CN102246523B - 多流视频发射方法和系统、多流视频组合方法以及用于接收多流视频的通信设备 - Google Patents

多流视频发射方法和系统、多流视频组合方法以及用于接收多流视频的通信设备 Download PDF

Info

Publication number
CN102246523B
CN102246523B CN200980149688.7A CN200980149688A CN102246523B CN 102246523 B CN102246523 B CN 102246523B CN 200980149688 A CN200980149688 A CN 200980149688A CN 102246523 B CN102246523 B CN 102246523B
Authority
CN
China
Prior art keywords
quality video
quality
video stream
low
described high
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980149688.7A
Other languages
English (en)
Other versions
CN102246523A (zh
Inventor
威廉姆·坎普
M·G·考克斯
莫里斯·拉比什
约加克·瓦萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN102246523A publication Critical patent/CN102246523A/zh
Application granted granted Critical
Publication of CN102246523B publication Critical patent/CN102246523B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

包括高质量视频流和低质量视频流的两个或更多个视频流通过无线网络同时发射到视频接收设备。所有视频流携带相同的视频内容，但是具有不同的视频质量。高质量视频流使用不等差错保护编码，使得第一分量(例如，高频分量)比第二分量(例如，低频分量)受到更高级别的差错保护。视频接收设备可以在信道状况有利时选择高质量视频流。当信道状况不够好以支持高质量视频流时，视频接收设备确定具有较大差错保护的高质量视频流的第一分量是否可用。如果可用，则视频接收设备将高质量视频流的第一分量与低质量视频流组合。否则，视频接收设备输出低质量视频流。

Description

多流视频发射方法和系统、多流视频组合方法以及用于接收多流视频的通信设备
背景技术
本发明总体上涉及用于无线通信系统中的视频分发的方法和装置，更具体地，涉及用于对通过无线网络发射的视频进行编码以减轻快衰落影响的方法和装置。
诸如蜂窝电话和个人数字助理的移动通信设备现在能够进行高速数据通信。移动通信设备的用户现在可以网上冲浪、发送和接收电子邮件消息、与朋友聊天、查看图像、播放音乐以及执行原先需要计算机的其他任务。随着不断增长的数据速率和带宽以及越来越大的显示器，现在能够使高质量视频内容从视频服务器流向用户，以用于在用户的移动通信设备上观看。
在通过无线网络传送视频内容时，选择性衰落可能引起问题。移动通信设备可能经历信道状况的快速变化，尤其是在室内环境中。如果信道状况劣化，则可能不能支持传送高质量视频内容所必须的数据速率。在这种情形下，输出到显示器的视频可能损坏或甚至可能中断，导致令人不悦的用户体验。响应于变化的信道状况的链路自适应可以用于减轻衰落的影响。然而，链路自适应需要从接收设备到发射设备的反馈。而且，由于接收设备报告信道状况的时间与调制和编码可以自适应的时间之间的延迟，链路自适应在慢衰落状况下可能比在快衰落状况下更有用。
因此，需要新的方法来减轻通过无线网络向移动通信设备传送视频时快衰落的影响。
发明内容
本发明提供了一种用于通过无线网络向视频接收设备传送视频内容的方法和装置。根据本发明，携带相同内容但具有不同质量的两个或更多个视频流同时通过无线网络发射到视频接收设备。优选地，一个流是高质量视频流，一个流是低质量视频流。高质量视频流使用不等差错保护码编码，使得第一分量（例如高频分量）比第二分量（例如，低频分量）受到更高级别的差错保护。视频接收设备可以在信道状况有利时选择高质量视频流。当信道状况并不够好以支持高质量视频流时，视频接收设备确定具有较大差错保护的高质量视频流的第一分量是否可用。如果可用，则视频接收将高质量视频流的第一分量与低质量视频流组合。否则，视频接收设备输出低质量视频流。
本发明的示例性实施方式包括一种多流视频发射方法。该视频发射方法的一个实施方式包括：从视频源接收选择的视频内容；生成包含所述选择的视频内容的高质量视频流和低质量视频流；使用不等差错保护码对所述高质量视频流进行编码，使得所述高质量视频流中的第一分量比第二分量受到更大的差错保护；对所述低质量视频流进行编码，使得所述低质量视频流的差错保护大于所述高质量视频流的低频分量的差错保护；以及向视频接收系统同时发射编码的低质量视频流和高质量视频流。
在该多流视频发射方法的一些实施方式中，使用不等差错保护码对所述高质量视频流进行编码包括利用比所述高质量视频流的低频分量更大的差错保护对所述高质量视频流的高频分量进行编码。
在该多流视频发射方法的一些实施方式中，使用不等差错保护码对所述高质量视频流进行编码包括对所述高质量视频进行编码以向所述高质量视频流的空间上不同的分量提供不等差错保护。
在该多流视频发射方法的一些实施方式中，使用不等差错保护码对所述高质量视频流进行编码包括基于重要性对所述高质量视频进行编码以向所述高质量视频流的不同部分提供不等差错保护。
本发明的其他实施方式包括一种用于向远程通信设备发射选择的视频内容的多流视频发射系统。该多流视频发射系统的一个实施方式包括：编码电路，所述编码电路被配置为，根据选择的视频内容生成高质量视频流，并且利用不等差错保护码对所述高质量视频流进行编码，使得所述高质量视频流中的第一分量比第二分量受到更大的差错保护，根据所述选择的视频内容生成低质量视频流，并且对所述低质量视频流进行编码，以提供比所述高质量视频流的第二分量更大的差错保护；发射器，用于向视频接收系统发射编码的高质量视频流和低质量视频流。
在该视频发射系统的一些实施方式中，所述第一编码电路被配置为利用比所述高质量视频流的低频分量更大的差错保护对所述高质量视频流的高频分量进行编码。
在该视频发射系统的一些实施方式中，所述第一编码电路被配置为利用不同级别的差错保护对所述高质量视频流的空间上不同的分量进行编码。
在该视频发射系统的一些实施方式中，所述第一编码电路被配置为基于重要性利用不同级别的差错保护对所述高质量视频流的不同部分进行编码。
本发明的其他实施方式包括一种在多流视频组合的接收设备处实现的方法。所述方法的一个实施方式包括：接收对应于选择的视频内容的高质量视频流，所述高质量视频流利用不等差错保护码保护，使得所述高质量视频流中的第一分量比第二分量具有更大的差错保护；接收对应于所述选择的视频内容的低质量视频流，所述低质量视频流利用差错保护码保护，使得所述低质量视频流比所述高质量视频流的第二分量具有更大的差错保护；生成分别针对所述高质量视频流的所述第一分量和所述第二分量的第一质量度量和第二质量度量；基于所述质量度量选择所述高质量视频流、所述低质量视频流和中间质量视频流中的一个用于输出；以及当所述质量度量满足第一预定条件时，对所述高质量视频流的所述第一分量和所述第二分量进行解码和组合以重新生成所述高质量视视频用于输出；当所述质量度量满足第二预定条件时，对所述高质量视频流的所述第一分量和所述低质量视频信号进行解码和组合以生成中间质量视频信号用于输出；当所述质量度量不满足所述第一条件和所述第二条件时，对所述低质量视频流进行解码以用于输出。
在该多流视频组合方法的一些实施方式中，所述高质量视频流的第一分量包括高频分量，并且其中，所述高质量视频流的第二分量包括低频分量。
在该多流视频组合方法的一些实施方式中，所述高质量视频流的第一分量和第二分量包括所述高质量视频流的空间上不同的部分。
在该多流视频组合方法的一些实施方式中，所述高质量视频流的第一分量和第二分量分别包括具有相对高重要性的部分和具有相对低重要性的部分。
在该多流视频组合方法的一些实施方式中，当所述质量度量满足第一预定条件时对所述高质量视频流的所述第一分量和所述第二分量进行解码和组合以重新生成所述高质量视频流用于输出包括：将所述第二质量度量与第一预定阈值进行比较；以及当所述第二质量度量小于所述第一预定阈值时，对所述高质量视频流的所述第一分量和所述第二分量进行解码和组合。
在该多流视频组合方法的一些实施方式中，当所述质量度量满足第二预定条件时对所述高质量视频流的所述第一分量和所述低质量视频信号进行解码和组合以生成中间质量信号用于输出包括：将所述第一质量度量与第二预定阈值进行比较；以及当所述第一质量度量小于所述第二预定阈值时，对所述高质量视频流的所述低质量视频流第一分量和所述低质量视频流进行解码。
在该多流视频组合方法的一些实施方式中，当所述质量度量不满足所述第一条件和所述第二条件时对所述低质量视频流进行解码以用于输出包括：当所述第一质量度量小于第一预定阈值并且所述第二质量度量小于所述第二预定阈值时对所述低质量视频流进行解码。
本发明的其他实施方式包括一种用于接收组合多流视频的通信设备。在一个实施方式中，该通信设备包括：接收器，所述接收器从视频发射设备接收对应于选择的视频内容的高质量视频流和低质量视频流，所述高质量视频流利用不等差错保护码保护，使得所述高质量视频流中的第一分量比第二分量具有更大的差错保护，并且所述低质量视频流利用差错保护码保护，使得所述低质量视频流比所述高质量视频流的第二分量具有更大的差错保护；控制单元，所述控制单元基于分别与所述高质量视频流的所述第一分量和所述第二分量相关联的第一质量度量和第二质量度量选择高质量视频流、低质量视频流和中间质量视频流中的一个用于输出；解码电路，所述解码电路响应于所述控制单元，并且被配置为，当所述质量度量满足第一预定条件时，对所述高质量视频流的所述第一分量和所述第二分量进行解码和组合以重新生成所述高质量视频流用于输出，当所述质量度量满足第二预定条件时，对所述高频质量视频流的所述第一分量和所述低质量视频流进行解码和组合以生成中间质量视频信号用于输出，并且当所述质量度量不满足所述第一条件和所述第二条件时，对所述低质量视频流进行解码以用于输出。
在该通信设备的一些实施方式中，所述高质量视频流的第一分量包括高频分量，并且其中，所述高质量视频流的第二分量包括低频分量。
在该通信设备的一些实施方式中，所述高质量视频流的第一分量和第二分量包括所述高质量视频流的空间上不同的部分。
在该通信设备的一些实施方式中，所述高质量视频流的第一分量和第二分量分别包括具有相对高重要性的部分和具有相对低重要性的部分。
在该通信设备的一些实施方式中，所述控制单元被配置为当第一信道质量度量满足第一预定条件时选择所述高质量视频流用于输出，并且当第一信道质量度量不满足所述第一预定条件时选择所述低质量视频流和所述中间质量视频流中的一个用于输出。
在该通信设备的一些实施方式中，所述控制单元被配置为当第二质量度量满足所述第二预定条件时选择所述中间质量视频流用于输出，并且当所述第二质量度量不满足所述第二预定条件时选择所述低质量视频流用于输出。
附图说明
图1示出根据本发明的一个示例性实施方式的用于发射具有相同视频内容但是不同视频质量的视频分布系统的主要功能元件。
图2示出根据本发明的一个示例性实施方式的具有相同视频内容但是不同质量的两个视频流的编码。
图3示出根据本发明的一个示例性实施方式的用于发射具有相同视频内容但是不同视频质量的两个或更多个视频流的视频发射系统。
图4示出用于视频发射系统的预处理器中的主要功能元件。
图5示出根据本发明的一个示例性实施方式的用于接收具有相同视频内容但是不同视频质量的两个或更多个视频流的示例性视频接收系统。
图6示出由用于自发地在具有相同视频内容但是不同质量的两个或更多个视频流之间切换的视频接收系统实现的示例性方法。
图7是示出本发明的一个示例性实施方式中的用于在具有相同视频内容但是不同质量的两个或更多个视频流之间切换的切换时序的时序图。
图8示出根据本发明的一个示例性实施方式的实现不等差错保护的示例性多流视频发射系统。
图9示出根据本发明的一个示例性实施方式的实现不等差错保护的示例性多流视频接收系统。
图10示出由实现不等差错保护的多流视频接收系统实现的示例性方法。
具体实施方式
本发明涉及通过移动通信网络向移动终端发射诸如视频流的实时多媒体流的方法。移动终端例如可以包括蜂窝电话、个人数字助理、计算机或其他通信设备。在移动通信网络中，由于选择性衰落，移动终端可能遇到快速变化的信道状况。一般利用足够的功率余量将视频流发射到移动终端，以确保在所有预期信道状况下的期望差错性能。然而，如果功率余量太低，则移动终端可能经历其中信道状况将不支持正确接收视频流并进行解码所需的数据速率的时段。在这种情况中，视频流可能损坏或丢失。
避免发射的视频流的损坏或丢失的一种方式是增加分配给视频流的功率净空或余量。功率净空或余量是为视频流发射分配的实际发射功率与正确接收视频流并进行解码所需的平均发射功率之间的差异。增加功率余量以降低的频谱效率为代价提供了对于视频流的损坏和丢失的更大保护。
根据本发明，通常被分配为发射高质量（HQ）视频流的功率的一部分反而被用于发射具有相同视频内容但是较低质量的一个或更多个附加的低质量（LQ）视频流。例如可以通过降低HQ视频流的分辨率和/或色深而生成LQ视频流。LQ视频流中源编码位的数目可以仅表示HQ视频流中的位数的10%。因此，HQ视频流余量的小的降低可以提供足够的功率来利用高余量发射LQ视频流。例如，针对HQ视频流的余量的2-3dB的降低可以实现利用10dB余量发射LQ视频流。
高质量和低质量视频流可以被同步，并且通过移动通信网络发射到移动终端。视频流可以被独立编码，并且通过分离的信道（例如，时隙或编码）发射到移动终端。移动终端然后可以选择瞬时信道状况支持的最高质量视频流以输出到显示器。当信道状况良好时，移动终端可以选择HQ视频流。当信道状况劣化时，移动终端可以切换到LQ视频流。通过切换到LQ视频流，可以避免视频的中断。因为视频流被独立编码，所以即使当高质量视频流自身不可用时，移动终端可以使用LQ视频流。
图1示出根据本发明的一个示例性实施方式的视频分布系统10的主要功能组件。视频分布系统10包括视频发射系统100和视频接收系统200。视频发射系统100例如可以包括移动通信网络中的基站，视频接收系统200可以包括诸如蜂窝电话或个人数字助理的移动通信设备。视频发射系统100从视频源20接收视频内容，生成具有相同视频内容但是不同质量的多个编码的源视频流，并通过无线通信信道30将多个编码的视频流发射到视频接收系统200。一般而言，视频发射系统100生成至少两个视频流：高质量视频流以及一个或更多个低质量视频流。术语高质量和低质量并不旨在意指特定质量级别，而是指示视频流的相对质量的相对术语。典型地，在各个视频流的质量方面存在显著差异。
视频接收系统200接收视频流并进行解码，生成指示视频接收系统200看到的各信道质量的一个或更多个信道质量度量，并且选择瞬时信道状况支持的最高质量视频流。帧差错率（FER）是信道质量度量的一个示例。比特差错率（BER）也可以用作信道质量度量。选择的视频流被输出到显示设备40用于由用户查看。当信道状况有利并且可以支持高数据速率时，视频接收系统200将选择高质量视频流以输出到显示设备40。当信道状况劣化时，视频接收系统200将选择低质量视频流中的一个。通过在信道状况不利时选择低质量视频流，可以避免视频节目的中断。
图2示出在一个示例性实施方式中应用的源和信道编码。原始视频文件包括每秒60帧（fps）。每帧是具有24位色的2000×1000的像素。在该示例中，从相同的视频内容生成两个视频流。视频流在此处被称为高质量（HQ）视频流和低质量（LQ）视频流。名称HQ和LQ并不意指特定质量级别，而是意味着指示两个流的相对质量。本领域技术人员将意识到，图2中示出的编码仅是可以应用的编码的一个示例，因此，示例并不旨在限制本发明。
HQ视频流包括30fps。每帧是具有24位色的2000×1000的像素。得到的针对HQ视频流的数据速率是1440mbs。HQ视频流使用H.264视频编解码器进行编码。来自视频编解码器的输出是48mbps的视频流。在源编码之后，利用比率为8/9的FEC码保护HQ视频流。来自FEC编码器的输出是54mbps的视频流。
通过对原始视频文件的帧进行下采样以降低视频帧的水平分辨率、垂直分辨率和/或色深而创建LQ视频流。在该示例性实施方式中，LQ视频流包括30fps。每帧是具有8位色深的635×315的像素。得到的针对LQ视频流的数据速率是48mbps。LQ视频流使用H.264视频编解码器进行编码，以生成1.6mbps的视频流。在源编码之后，利用比率为1/5的FEC码保护LQ视频流。来自FEC编码器的输出是8mbps的视频流。
优选地利用诸如eAAC+音频编解码器的标准音频编解码器对音频流进行编码。然后通过比率为1/5的FEC码保护编码的音频流。
图3示出根据一个示例性实施方式的示例性视频发射系统（即，基站）100。视频发射系统100包括：编码电路105，用于对视频内容进行编码，以生成多个编码的视频流；收发器电路140，用于向视频接收系统200发射视频流；接收信号处理器150，用于处理来自视频接收系统200的反馈信号；以及控制单元160，用于控制视频发射系统100的操作。如下面将更详细描述的，控制单元160可以基于从视频接收系统200接收的反馈来自适应针对视频流中的每个的源和信道编码。
编码电路105包括针对每个视频流的预处理器110、源编码器120和信道编码器130。编码电路105还包括针对相关联音频流的源编码器120和信道编码器130。如图4所述，预处理器110包括对视频内容进行下采样以提供预定质量的多个视频流的下采样器112。视频流通过滤波器114进行滤波，并且通过延迟元件116与其他视频流时间对准。来自所有预处理器110的经时间对准的采样流然后被输入到相应的源编码器120。源编码器120优选地是标准编解码器，诸如针对视频流的H.264编解码器和针对音频流的eAAC编解码器。然而，本领域技术人员将理解，本发明可以使用现在已知或者在以后发展的其他视频和音频编解码器。
在源编码之后，经过源编码的视频流和音频流被输入到相应的信道编码器130。信道编码器130利用前向纠错（FEC）码对视频和音频流进行编码，以防止可能在发射期间出现的比特差错。FEC码例如可以包括卷积码或分组码。优选地，低编码率（例如，1/5）用于低质量流，以提供相对高级别的差错保护，较高的编码率（例如，8/9）用于高质量流，以提供相对低级别的差错保护。低编码率还用于音频流。
信道编码后的视频流和音频流然后被调制，并通过分离的信道发射到视频接收系统200。可以向每个视频流和音频流应用相同的调制。可选地，不同的调制方案用于不同的视频流和音频流。收发器140通过分离的通信信道（例如，时隙或编码）向视频接收系统200发射对应于每个视频流和音频流的调制符号。收发器140例如可以包括根据诸如WCDMA和LTE标准的已知标准操作的蜂窝收发器。与LQ视频流相比，HQ视频流利用较低的余量发射，与HQ视频流相比，LQ视频流利用较高的余量发射。例如，高质量视频流可以具有1dB的余量。HQ视频流的1dB的附加余量所需的信道容量的增加可以提供针对LQ视频流的约8dB的余量。与使用信道容量来增加余量和/或HQ视频流的保护相比，这提供了7dB的附加余量用于传送视频内容，尽管在一些信道状况下具有较低质量。例如可以通过向低质量视频流提供与高质量视频流相比更大的差错保护来获得增加的余量。增加余量的方式包括增加发射功率以及以增加的纠错位或增加的冗余位的形式增加用于传送给定数目数据位的信道位的数目。
如下面将更详细描述的，用于接收不同质量的多个视频流的视频接收系统200可以向视频发射系统100发送反馈信号，以指示视频接收系统200处的接收的视频流的信道质量。例如，反馈信号可以包括针对接收的视频流的FER、BER或其他质量度量。反馈信号被接收信号处理器150处理并且提供到控制单元160。控制单元160可以使用从视频接收单元200反馈的信道质量度量来调整视频流的质量。例如，控制单元160可以通过改变下采样112使用的采样率来改变视频流的分辨率。控制单元150还可以响应于质量度量的变化改变应用于视频流的源和/或信道编码。
图5示出示例性视频接收系统200。视频接收系统200包括：收发器210，通过移动通信网络接收编码的视频和音频流；解码电路220，对视频和音频流进行解码；选择单元230，选择视频流之一以用于输出到显示设备40；发射信号处理器260，处理发射到视频发射系统100的反馈信号；以及控制单元250，用于控制视频接收系统200。收发器210例如可以包括根据现在已知或以后发展的任意标准（诸如WCDMA标准或LTE标准）操作的全功能蜂窝收发器。从收发器210输出的编码的视频和音频信号被提供到解码电路220。
解码电路220对每个视频流和音频流独立解码。解码电路220包括针对每个视频流和音频流的信道解码器222和源解码器224。解码电路220还包括针对每个视频流的后处理器226。信道解码器222检测和校正可能在发射期间出现的差错。针对视频流的信道解码器222也可以生成指示接收的视频流的接收信道质量的信道质量度量（例如，FER、BER等）。源编码器224解压缩从信道解码器222输出的视频流和音频信号，以生成适于输出到显示设备40的视频和音频信号。解码的视频流可以被后处理器226进一步处理。例如，后处理器226可以执行插值以缩放视频帧，使得来自HQ和LQ视频流的帧对用户来说看上去具有相同大小。
解码的视频和音频信号被输入到选择单元230。选择单元230包括针对每个视频和音频流的缓冲器232，以及将选择的视频缓冲器中的一个连接到选择单元230的视频输出236的选择开关234。控制单元250从信道解码器222接收信道质量度量，并且控制选择开关234输出用于在显示设备40上回放的选择的视频流中的一个。一般而言，控制单元250将选择瞬时信道状况支持的最高质量视频流。如果信道状况有利，则控制单元250将选择最高质量视频流以用于输出到显示设备240。当信道状况劣化时，HQ视频流的FER/BER将增加。当FER/BER达到预定阈值时，控制单元250将选择LQ视频流以防止视频内容回放中的中断。当信道状况再次改善时，控制单元250将切换回HQ视频流。因为视频流被独立编码，所以HQ视频流不需要被解码，并且播放LQ视频流。因此，即使HQ视频流不可用时，仍可以播放LQ视频流。
如上所述，质量度量被控制单元250使用以选择用于回放的视频流，并且可以反馈到视频发射系统100以使发射的视频流的视频质量自适应。发射信号处理器260处理用于通过上行链路控制信道发射到视频接收系统100的反馈信号。
如前所述，HQ视频流和LQ视频流都从视频发射系统100发射到视频接收系统200。视频接收系统200优选地对两种视频流都进行解码，并且将解码的视频流发送到相应的缓冲器232。视频接收系统200处的解码器信道解码器222生成至少针对HQ视频流的信道质量度量，并且将信道质量度量提供到控制单元250。质量度量例如可以包括解码之后相应视频流的FER或BER。在一些实施方式中，解码器222可以提供针对两种视频流的FER、BER或其他信道质量度量。控制单元250基于质量度量选择视频流之一以输出。
图6示出视频接收系统200实现的用于选择视频流以输出的示例性方法300。视频接收系统200对视频流中的一个或更多个进行解码（框302）。在该示例中，假设从视频发射系统接收两个视频流：HQ视频流和LQ视频流。视频接收系统处的信道解码器222生成至少针对HQ视频流的信道质量度量（框304）。质量度量例如可以包括HQ视频流的FER/BER。控制单元250将HQ视频流的FER/BER与第一预定阈值进行比较（框306）。可以注意，在该示例中质量度量是差错率，因此阈值是关于FER或BER的上限。当信道状况变糟时，FER和/或BER将增加。因此，可以基于可以容忍的最大差错量来设置阈值。如果FER/BER超过第一预定阈值，则控制单元250确定当前是否选择了LQ流（框308）。如果当前没有选择LQ流，则控制单元250生成控制信号以将输出切换到LQ视频流（框310）。如果选择了LQ流，则过程结束（框318），并且视频接收系统200继续输出LQ视频流。如果FER/BER小于第一预定阈值，则控制单元250确定当前是否选择了HQ流（框314）。如果当前没有选择HQ流，则控制单元250生成控制信号以将输出切换到HQ视频流（框316）。如果选择了HQ流，则过程结束（框318），并且视频接收系统200继续输出HQ视频流。
在本发明的一个示例性实施方式中，并不总是需要对LQ视频流进行解码。如果HQ视频流的信道质量足够，则可以通过禁止或关闭针对LQ视频流的信道解码器222和源解码器224来保留处理资源。当HQ视频流的质量劣化时，可以使能针对LQ视频流的解码。优选地，在切换LQ视频流之前使能LQ视频流的解码，使得针对LQ视频流的缓冲器232有时间填充。可以使用低于第一预定阈值的第二预定阈值来使能和禁止针对LQ视频流的解码。当HQ视频流的信道质量超过第二预定阈值时，控制单元250可以使能针对LQ视频流的解码。当HQ视频流的信道质量保持在第二预定阈值之下达规定时间段时，可以禁止针对LQ流的解码。
为了在HQ和LQ视频流之间顺利切换，控制单元250可以控制选择电路230的切换时序，使得从一个视频流到另一视频流的转变与被选择的视频流中的I帧的出现一致。图7是示出本发明的一个示例性实施方式中切换时序的时序图。HQ和LQ视频流中I帧的时序（示出为脉冲）优选地同步，使得HQ和LQ流中I帧之间的时间关系分别对于控制单元250是已知的。如图7所示，在时间t0处选择HQ流。HQ流的信道质量随后劣化，控制单元250在时间t1处切换到LQ视频流，这与LQ流中的I帧一致。当HQ流的信道质量改善时，控制单元250在时间t2处切换回HQ视频流，这与HQ视频流中的I帧一致。
在一个示例性实施方式中，视频发射系统100可以基于从视频接收系统200接收的反馈来自适应高质量、低质量视频流或二者的质量，以防止资源浪费并为用户提供更好的观看体验。当视频接收系统200长时间停留在LQ视频流时，视频发射系统200可以向下调整视频流中的一个或更多个的视频质量。相反，当视频接收系统200长时间停留在高质量视频流时，可以向上调整视频流中的一个或更多个的视频质量。
可以用多种不同方式实现降低视频质量。降低视频流的视频质量的一种方式是降低视频流中的帧的水平分辨率、垂直分辨率或色深。降低视频质量的另一方法是改变视频发射系统100处的源编码器120使用的压缩比。这些方法中的每一种都减少了发射到视频接收系统200的源编码位的数目。当经过源编码的视频流的数据速率降低时，利用目标差错率接收视频流所需的信噪比也存在相应的降低。源位数目的减少还增加了发射的视频流的功率余量。可以通过增加信道编码器130应用的冗余（即，降低编码率）来使用通过减少源编码位的数目获得的附加余量，以增加差错保护。可选地，可以通过减小信道编码位的发射数据速率或增加发射功率来使用附加余量。
与本申请同时提交的名为“多媒体流选择”的共同待审的美国专利申请描述了一种用于调整视频流的质量的示例性方法和装置，在此通过引用将其全部内容并入。
尽管描述的本发明的示例假设从视频发射系统向视频接收系统200发射两个流，但本领域技术人员将意识到，也可以发射一个或更多个附加的中间质量视频流。在这种情况下，视频接收系统200可以配置为选择当前信道状况支持的最高质量视频流。然而，每个发射的视频流都消耗可以用于其他目的的附加带宽。
根据本发明的一个示例性实施方式，当信道状况不足以支持高质量视频流时，通过使用针对高质量视频流的不等差错保护码并且将高质量视频流的可用部分与低质量视频流组合，可以在视频接收系统200处生成一个或更多个中间质量视频流。在该实施方式中，高质量视频流的高频分量比高质量视频流的低频分量受到更大的差错保护。向高频分量应用更大的差错保护是违反直觉的。通常，不等差错保护方案对于视频流中的低频分量提供更大的差错保护。本发明正好相反，因为第二低质量视频流包含视频的低频分量。当信道状况使得高质量视频流不被支持时，高质量视频流的高频分量可能仍可用。在这种情况下，视频接收系统200将高质量视频流的高频分量与低质量视频流组合，以创建用于输出到显示设备40的中间质量视频流。
图8示出如上所述用于向HQ视频流应用不等差错保护的示例性视频发射系统100。图8中示出的视频发射系统100基本上与图3中示出的视频发射系统100相同。因此，在图8中使用相同的附图标记来指示相应的组件。视频发射系统100包括编码电路105、收发器140、接收信号处理器150和控制单元160。编码电路105包括针对每个视频流的预处理器110和针对每个视频和音频流的源编码器120。源编码器120可以针对HQ视频流使用子带编码，以对HQ视频流的高频分量和低频分量分别编码。针对HQ视频流的源编码器120将高频分量和低频分量作为两个分离流输出。针对LQ视频流和音频流的源编码器120可以与之前描述的相同。编码电路105还包括多个信道编码器130；每个信道编码器针对由源编码器120输出的每个视频和音频流。因此，本实施方式实质上将HQ视频流分成两个分离流：高频流和低频流。与针对低频流的信道编码器130相比，针对高频流的信道编码器130向高频流应用更大级别的差错保护。然后三个视频流和一个音频流被输出到收发器用于发射。视频发射系统100的包括收发器140、接收信号处理器150和控制单元130的其余组件与之前描述的相同。
图9示出配置为选择性地组合HQ和LQ视频流以生成中间质量视频流的示例性视频接收系统200。图10中示出的视频发射系统200类似于图5中示出的视频发射系统100。因此，使用相同的参考标号以指示相应的组件。视频接收系统200包括收发器210、解码电路220、选择单元230、控制单元250和发射信号处理器260。解码电路220包括针对每个视频和音频流的信道解码器222和源解码器224。解码电路220还包括针对每个视频流的后处理器226。针对音频流和LQ视频流的信道解码器222可以与之前描述的相同。与之前的实施方式相反，解码电路222包括针对HQ视频流的高频（HF）和低频（LF）分量的分离的信道编码器。如前所述，HQ视频流的HF分量比LF分量具有更大的差错保护。针对HF和LF分量的信道编码器222可以向控制单元250提供分离的质量度量，质量度量用于选择视频流以输出。
针对LQ视频流和音频流的源解码器224可以与之前描述的相同。针对HQ视频流的源解码器224接收两个输入。第一输入来自针对HQ视频流的HF分量的信道解码器222。第二输入来自连接在针对HQ视频流的LF分量和LQ视频流的信道解码器222之间的开关242的输出。开关242具有连接到针对HQ视频流的LF分量的信道解码器222的输出的一个输入。第二输入连接到分辨率处理器240。分辨率处理器240处理LQ视频流以将LQ视频流的分辨率与HQ视频流的分辨率相匹配。增强的LQ视频流然后被输入到开关242。
控制单元250被配置为在HQ视频流、LQ视频流和中间质量（IQ）视频流之间进行选择。选择决定基于针对HQ视频流的至少LF分量的质量度量。因为LF分量受到较小的差错保护，所以控制单元250可以假设HF分量将具有要使用的可接受质量。然而，在做出使用HQ视频流的决定时，控制单元250同样也可以考虑HF分量的质量度量。
当信道状况有利时，控制单元250控制开关242向针对HQ视频流的源编码器224输出LF分量。源解码器224然后组合HF和LF分量以重新生成HQ视频流，并输出HQ视频流。控制单元250还控制选择电路234输出HQ视频流。当信道状况不支持HQ视频流时，控制单元250基于针对HQ视频流的HF和LF分量的质量度量确定是输出LQ视频流还是IQ视频流。如果HQ视频流的HF分量可用，则控制单元250控制开关242向源编码器224输出增强的LQ视频流。在这种情况下，针对HQ视频流的源编码器224将HQ视频流的HF分量与增强的LQ视频流组合以生成IQ视频流，并输出IQ视频流。控制单元250还控制选择电路234输出HQ视频流。如果HF分量不可用，则控制单元250控制选择电路234输出LQ视频流。
图11示出根据一个示例性实施方式用于在HQ视频流、LQ视频流或者IQ视频流之间进行选择的示例性方法500。视频接收系统200对视频流中的一个或更多个进行解码（框502）。在该示例中假设从视频发射系统接收两个视频流：HQ视频流和LQ视频流。视频接收系统200处的信道解码器222生成针对HQ视频流的至少LF分量的信道质量度量（框504）。质量度量例如可以包括视频流的FER/BER。如前所述，控制单元250将LF分量的FER/BER与第一预定阈值进行比较（框605）。可以注意，在本示例中质量度量是差错率，因此阈值是关于FER或BER的上限。当信道状况变糟时，FER和/或BER将增加。因此，可以基于可以容忍的最大差错量设置阈值。如果FER/BER超过第一预定阈值，则控制单元250确定当前是否选择了LQ流（框508）。如果当前选择了LQ流，则控制单元250生成控制信号以使选择电路230输出HQ视频流（框510）。如果选择了HQ流，则过程结束（框522），并且选择电路234继续输出HQ视频流。
回到框506，如果FER/BER小于第一预定阈值，则控制单元250基于针对HF分量的质量度量确定HQ流中的HF分量是否可用（框512）。如果HP分量可用，则选择中间质量流。控制单元250确定是否已经选择了IQ流（框514）。如果没有，则控制单元250切换至IQ视频流（框516）。如果HF分量不可用，则选择LQ视频流。控制单元250确定当前是否选择了LQ流（框518），并生成控制信号以使选择单元230输出LQ视频流（框520）。
在上面描述的系统中，HQ视频流的不同频率分量受到不同级别的差错保护。在本发明的一些实施方式中，可以使用相同的技术来向HQ视频的空间上不同的分量应用不同级别的差错保护。例如，可以向HQ视频流的中心部分比向HQ视频流的边缘部分提供更大级别的差错保护。中心部分然后可以在需要时与LQ流组合，以生成中间质量视频流。更具体而言，HQ视频流可以被分成具有相对高重要性的部分和具有相对低重要性的部分。具有高重要性的部分可以比具有较低重要性的部分受到更大的差错保护。作为一个示例，可以使用对象识别技术来识别前景对象。与背景对像相比，前景对象可以被给予更大的差错保护。具有相对高重要性的部分然后可以在需要时与LQ流组合，以生成中间质量视频流。
在不偏离本发明的范围和实质特性的条件下，当然可以用不同于此处阐述的方式的其他特定方式实施本发明。本发明因此在所有方面都被解释为是示意性而非限制性的，且旨在涵盖落在所附权利要求的含义和等价范围内的所有变化。

Claims (17)

1.一种多流视频发射方法，该方法包括：
从视频源接收选择的视频内容；
生成包含所述选择的视频内容的高质量视频流和低质量视频流；
使用不等差错保护码对所述高质量视频流进行编码，使得所述高质量视频流中的高频分量比所述高质量视频流中的低频分量受到更大的差错保护；
对所述低质量视频流进行编码，使得所述低质量视频流的差错保护大于所述高质量视频流的所述低频分量的差错保护；以及
向视频接收系统同时发射编码的低质量视频流和高质量视频流。
2.一种多流视频发射方法，该方法包括：
从视频源接收选择的视频内容；
生成包含所述选择的视频内容的高质量视频流和低质量视频流；
使用不等差错保护码对所述高质量视频流进行编码，使得所述高质量视频流中的中心部分比所述高质量视频流中的边缘部分受到更大的差错保护；
对所述低质量视频流进行编码，使得所述低质量视频流的差错保护大于所述高质量视频流的所述边缘部分的差错保护；以及
向视频接收系统同时发射编码的低质量视频流和高质量视频流。
3.一种多流视频发射方法，该方法包括：
从视频源接收选择的视频内容；
生成包含所述选择的视频内容的高质量视频流和低质量视频流；
使用不等差错保护码对所述高质量视频流进行编码，使得所述高质量视频流中的具有相对高重要性的部分比所述高质量视频流中的具有相对低重要性的部分受到更大的差错保护；
对所述低质量视频流进行编码，使得所述低质量视频流的差错保护大于所述高质量视频流的所述具有相对低重要性的部分的差错保护；以及
向视频接收系统同时发射编码的低质量视频流和高质量视频流。
4.一种用于发射选择的视频内容的多流视频发射系统，该多流视频发射系统包括：
编码电路，所述编码电路被配置为：
根据选择的视频内容生成高质量视频流，并且利用不等差错保护码对所述高质量视频流进行编码，使得所述高质量视频流中的高频分量比所述高质量视频流中的低频分量受到更大的差错保护；
根据所述选择的视频内容生成低质量视频流，并且对所述低质量视频流进行编码，以提供比所述高质量视频流的所述低频分量更大的差错保护；
发射器，该发射器用于向视频接收系统发射编码的高质量视频流和低质量视频流。
5.一种用于发射选择的视频内容的多流视频发射系统，该多流视频发射系统包括：
编码电路，所述编码电路被配置为：
根据选择的视频内容生成高质量视频流，并且利用不等差错保护码对所述高质量视频流进行编码，使得所述高质量视频流中的中心部分比所述高质量视频流中的边缘部分受到更大的差错保护；
根据所述选择的视频内容生成低质量视频流，并且对所述低质量视频流进行编码，以提供比所述高质量视频流的所述边缘部分更大的差错保护；
发射器，该发射器用于向视频接收系统发射编码的高质量视频流和低质量视频流。
6.一种用于发射选择的视频内容的多流视频发射系统，该多流视频发射系统包括：
编码电路，所述编码电路被配置为：
根据选择的视频内容生成高质量视频流，并且利用不等差错保护码对所述高质量视频流进行编码，使得所述高质量视频流中的具有相对高重要性的部分比所述高质量视频流中的具有相对低重要性的部分受到更大的差错保护；
根据所述选择的视频内容生成低质量视频流，并且对所述低质量视频流进行编码，以提供比所述高质量视频流的所述具有低重要性的部分更大的差错保护；
发射器，该发射器用于向视频接收系统发射编码的高质量视频流和低质量视频流。
7.一种多流视频组合的方法，所述方法包括：
接收对应于选择的视频内容的高质量视频流，所述高质量视频流利用不等差错保护码保护，使得所述高质量视频流中的高频分量比所述高质量视频流中的低频分量具有更大的差错保护；
接收对应于所述选择的视频内容的低质量视频流，所述低质量视频流利用差错保护码保护，使得所述低质量视频流比所述高质量视频流的所述低频分量具有更大的差错保护；
生成分别针对所述高质量视频流的所述高频分量和所述低频分量的第一质量度量和第二质量度量；
基于所述质量度量选择所述高质量视频流、所述低质量视频流和中间质量视频流中的一个用于输出；
当所述质量度量满足第一预定条件时，对所述高质量视频流的所述高频分量和所述低频分量进行解码和组合以重新生成所述高质量视频流用于输出；
当所述质量度量满足第二预定条件时，对所述高质量视频流的所述高频分量和所述低质量视频信号进行解码和组合以生成中间质量视频信号用于输出；以及
当所述质量度量不满足所述第一预定条件和所述第二预定条件时，对所述低质量视频流进行解码以用于输出，
其中将所述第一预定条件定义为信道状况有利，将所述第二预定条件定义为信道状况不足以支持所述高质量视频流并且所述高频分量可用。
8.一种多流视频组合的方法，所述方法包括：
接收对应于选择的视频内容的高质量视频流，所述高质量视频流利用不等差错保护码保护，使得所述高质量视频流中的中心部分比所述高质量视频流中的边缘部分具有更大的差错保护；
接收对应于所述选择的视频内容的低质量视频流，所述低质量视频流利用差错保护码保护，使得所述低质量视频流比所述高质量视频流的所述边缘部分具有更大的差错保护；
生成分别针对所述高质量视频流的所述中心部分和所述边缘部分的第一质量度量和第二质量度量；
基于所述质量度量选择所述高质量视频流、所述低质量视频流和中间质量视频流中的一个用于输出；
当所述质量度量满足第一预定条件时，对所述高质量视频流的所述中心部分和所述边缘部分进行解码和组合以重新生成所述高质量视频流用于输出；
当所述质量度量满足第二预定条件时，对所述高质量视频流的所述中心部分和所述低质量视频信号进行解码和组合以生成中间质量视频信号用于输出；以及
当所述质量度量不满足所述第一预定条件和所述第二预定条件时，对所述低质量视频流进行解码以用于输出，
其中将所述第一预定条件定义为信道状况有利，将所述第二预定条件定义为信道状况不足以支持所述高质量视频流并且所述高质量视频流的所述中心部分可用。
9.一种多流视频组合的方法，所述方法包括：
接收对应于选择的视频内容的高质量视频流，所述高质量视频流利用不等差错保护码保护，使得所述高质量视频流中的具有相对高重要性的部分比所述高质量视频流中的具有相对低重要性的部分具有更大的差错保护；
接收对应于所述选择的视频内容的低质量视频流，所述低质量视频流利用差错保护码保护，使得所述低质量视频流比所述高质量视频流的所述具有相对低重要性的部分具有更大的差错保护；
生成分别针对所述高质量视频流的所述具有相对高重要性的部分和所述具有相对低重要性的部分的第一质量度量和第二质量度量；
基于所述质量度量选择所述高质量视频流、所述低质量视频流和中间质量视频流中的一个用于输出；
当所述质量度量满足第一预定条件时，对所述高质量视频流的所述具有相对高重要性的部分和所述具有相对低重要性的部分进行解码和组合以重新生成所述高质量视频流用于输出；
当所述质量度量满足第二预定条件时，对所述高质量视频流的所述具有相对高重要性的部分和所述低质量视频信号进行解码和组合以生成中间质量视频信号用于输出；以及
当所述质量度量不满足所述第一预定条件和所述第二预定条件时，对所述低质量视频流进行解码以用于输出，
其中将所述第一预定条件定义为信道状况有利，将所述第二预定条件定义为信道状况不足以支持所述高质量视频流并且所述高质量视频流中的所述相对高重要性的部分可用。
10.根据权利要求7所述的方法，其中，当所述质量度量满足第一预定条件时对所述高质量视频流的所述高频分量和所述低频分量进行解码和组合以重新生成所述高质量视频流用于输出包括：
将所述第二质量度量与第一预定阈值进行比较；以及
当所述第二质量度量小于所述第一预定阈值时，对所述高质量视频流的所述高频分量和所述低频分量进行解码和组合。
11.根据权利要求10所述的方法，其中，当所述质量度量满足第二预定条件时对所述高质量视频流的所述高频分量和所述低质量视频信号进行解码和组合以生成中间质量信号用于输出包括：
将所述第一质量度量与第二预定阈值进行比较；以及
当所述第一质量度量小于所述第二预定阈值时，对所述高质量视频流的所述高频分量和所述低质量视频流进行解码。
12.根据权利要求11所述的方法，其中，当所述质量度量不满足所述第一预定条件和所述第二预定条件时对所述低质量视频流进行解码以用于输出包括：当所述第一质量度量小于第一预定阈值并且所述第二质量度量小于所述第二预定阈值时对所述低质量视频流进行解码。
13.一种用于接收多流视频的通信设备，所述通信设备包括：
接收器，所述接收器从视频发射设备接收对应于选择的视频内容的高质量视频流和低质量视频流，所述高质量视频流利用不等差错保护码保护，使得所述高质量视频流中的高频分量比所述高质量视频流中的低频分量具有更大的差错保护，并且所述低质量视频流利用差错保护码保护，使得所述低质量视频流比所述高质量视频流的所述低频分量具有更大的差错保护；
控制单元，所述控制单元基于分别与所述高质量视频流的所述高频分量和所述低频分量相关联的第一质量度量和第二质量度量选择高质量视频流、低质量视频流和中间质量视频流中的一个用于输出；
解码电路，所述解码电路响应于所述控制单元，并且被配置为：
当所述质量度量满足第一预定条件时，对所述高质量视频流的所述高频分量和所述低频分量进行解码和组合以重新生成所述高质量视频流用于输出；
当所述质量度量满足第二预定条件时，对所述高质量视频流的所述高频分量和所述低质量视频流进行解码和组合以生成中间质量视频信号用于输出；
当所述质量度量不满足所述第一预定条件和所述第二预定条件时，对所述低质量视频流进行解码以用于输出，
其中将所述第一预定条件定义为信道状况有利，将所述第二预定条件定义为信道状况不足以支持所述高质量视频流并且所述高频分量可用。
14.一种用于接收多流视频的通信设备，所述通信设备包括：
接收器，所述接收器从视频发射设备接收对应于选择的视频内容的高质量视频流和低质量视频流，所述高质量视频流利用不等差错保护码保护，使得所述高质量视频流中的中心部分比所述高质量视频流中的边缘部分具有更大的差错保护，并且所述低质量视频流利用差错保护码保护，使得所述低质量视频流比所述高质量视频流的所述边缘部分具有更大的差错保护；
控制单元，所述控制单元基于分别与所述高质量视频流的所述中心部分和所述边缘部分相关联的第一质量度量和第二质量度量选择高质量视频流、低质量视频流和中间质量视频流中的一个用于输出；
解码电路，所述解码电路响应于所述控制单元，并且被配置为：
当所述质量度量满足第一预定条件时，对所述高质量视频流的所述中心部分和所述边缘部分进行解码和组合以重新生成所述高质量视频流用于输出；
当所述质量度量满足第二预定条件时，对所述高质量视频流的所述中心部分和所述低质量视频流进行解码和组合以生成中间质量视频信号用于输出；
当所述质量度量不满足所述第一预定条件和所述第二预定条件时，对所述低质量视频流进行解码以用于输出，
其中将所述第一预定条件定义为信道状况有利，将所述第二预定条件定义为信道状况不足以支持所述高质量视频流并且所述高质量视频流中的所述中心部分可用。
15.一种用于接收多流视频的通信设备，所述通信设备包括：
接收器，所述接收器从视频发射设备接收对应于选择的视频内容的高质量视频流和低质量视频流，所述高质量视频流利用不等差错保护码保护，使得所述高质量视频流中的具有相对高重要性的部分比所述高质量视频流中的具有相对低重要性的部分更大的差错保护，并且所述低质量视频流利用差错保护码保护，使得所述低质量视频流比所述高质量视频流的所述具有相对低重要性的部分具有更大的差错保护；
控制单元，所述控制单元基于分别与所述高质量视频流的所述具有相对高重要性的部分和所述具有相对低重要性的部分相关联的第一质量度量和第二质量度量选择高质量视频流、低质量视频流和中间质量视频流中的一个用于输出；
解码电路，所述解码电路响应于所述控制单元，并且被配置为：
当所述质量度量满足第一预定条件时，对所述高质量视频流的所述具有相对高重要性的部分和所述相对低重要性的部分进行解码和组合以重新生成所述高质量视频流用于输出；
当所述质量度量满足第二预定条件时，对所述高质量视频流的所述具有相对高重要性的部分和所述低质量视频流进行解码和组合以生成中间质量视频信号用于输出；
当所述质量度量不满足所述第一预定条件和所述第二预定条件时，对所述低质量视频流进行解码以用于输出，
其中将所述第一预定条件定义为信道状况有利，将所述第二预定条件定义为信道状况不足以支持所述高质量视频流并且所述高质量视频流中的所述具有相对低重要性的部分可用。
16.根据权利要求13所述的通信设备，其中，所述控制单元被配置为当第一信道质量度量满足第一预定条件时选择所述高质量视频流用于输出，并且当第一信道质量度量不满足所述第一预定条件时选择所述低质量视频流和所述中间质量视频流中的一个用于输出。
17.根据权利要求16所述的通信设备，其中，所述控制单元被配置为当第二质量度量满足所述第二预定条件时选择所述中间质量视频流用于输出，并且当所述第二质量度量不满足所述第二预定条件时选择所述低质量视频流用于输出。
CN200980149688.7A 2008-12-15 2009-03-13 多流视频发射方法和系统、多流视频组合方法以及用于接收多流视频的通信设备 Expired - Fee Related CN102246523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/334,978 US8374254B2 (en) 2008-12-15 2008-12-15 Multimedia stream combining
US12/334,978 2008-12-15
PCT/US2009/037061 WO2010071686A1 (en) 2008-12-15 2009-03-13 Multimedia stream combining

Publications (2)

Publication Number Publication Date
CN102246523A CN102246523A (zh) 2011-11-16
CN102246523B true CN102246523B (zh) 2014-06-25

Family

ID=40924682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980149688.7A Expired - Fee Related CN102246523B (zh) 2008-12-15 2009-03-13 多流视频发射方法和系统、多流视频组合方法以及用于接收多流视频的通信设备

Country Status (5)

Country Link
US (1) US8374254B2 (zh)
EP (1) EP2371136B1 (zh)
JP (1) JP5422667B2 (zh)
CN (1) CN102246523B (zh)
WO (1) WO2010071686A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417550A (zh) * 2016-06-29 2019-03-01 微软技术许可有限责任公司 同时媒体流服务

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2204965B1 (en) * 2008-12-31 2016-07-27 Google Technology Holdings LLC Device and method for receiving scalable content from multiple sources having different content quality
US8806288B2 (en) * 2009-03-13 2014-08-12 Sharp Laboratories Of America, Inc. Systems and methods for providing unequal error protection code design from probabilistically fixed composition codes
US9203913B1 (en) * 2009-07-20 2015-12-01 Conviva Inc. Monitoring the performance of a content player
US8832281B2 (en) * 2010-01-08 2014-09-09 Tangome, Inc. Utilizing resources of a peer-to-peer computer environment
US9094527B2 (en) * 2010-01-11 2015-07-28 Tangome, Inc. Seamlessly transferring a communication
US8560633B2 (en) * 2010-01-11 2013-10-15 Tangome, Inc. Communicating in a peer-to-peer computer environment
US20110321104A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. System and method for mass distribution of high quality video
US8650604B2 (en) * 2010-10-27 2014-02-11 Samsung Electronics Co., Ltd. Method and system for synchronization of audio/video (A/V) stream format change in wireless communication systems
US8565323B1 (en) * 2010-11-30 2013-10-22 Amazon Technologies, Inc. Attention misdirection for streaming video
US8902970B1 (en) 2010-12-01 2014-12-02 Amazon Technologies, Inc. Altering streaming video encoding based on user attention
CN102158696B (zh) * 2011-01-25 2012-10-03 天津大学 一种基于扩展窗喷泉码的立体视频传输方法
US20120290437A1 (en) * 2011-05-12 2012-11-15 David Aaron Hibbard System and Method of Selecting and Acquiring Still Images from Video
CN102546096B (zh) * 2011-12-12 2014-06-11 河海大学 一种基于不等错误保护的实时多播自适应优化方法
WO2014025884A2 (en) 2012-08-07 2014-02-13 Visible World, Inc. Systems, methods and computer-readable media for resource-based allocation of content transmitted in a media network
US8751915B2 (en) * 2012-08-28 2014-06-10 Lsi Corporation Systems and methods for selectable positive feedback data processing
CN104685841A (zh) * 2012-09-27 2015-06-03 日本电气株式会社 用于传输音频信息的方法和分组通信系统
CN103873115A (zh) * 2012-12-15 2014-06-18 联想(北京)有限公司 信息处理的方法及电子设备
US9214959B2 (en) 2013-02-19 2015-12-15 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for skip layer data decoding
US9800842B2 (en) 2013-04-22 2017-10-24 Utc Fire & Security Corporation Efficient data transmission
US9274889B2 (en) 2013-05-29 2016-03-01 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for data processing using global iteration result reuse
US8959414B2 (en) 2013-06-13 2015-02-17 Lsi Corporation Systems and methods for hybrid layer data decoding
US8917466B1 (en) 2013-07-17 2014-12-23 Lsi Corporation Systems and methods for governing in-flight data sets in a data processing system
US8817404B1 (en) 2013-07-18 2014-08-26 Lsi Corporation Systems and methods for data processing control
US9196299B2 (en) 2013-08-23 2015-11-24 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for enhanced data encoding and decoding
US8908307B1 (en) 2013-08-23 2014-12-09 Lsi Corporation Systems and methods for hard disk drive region based data encoding
US9400797B2 (en) 2013-09-17 2016-07-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for recovered data stitching
US20150103885A1 (en) * 2013-10-11 2015-04-16 Oovoo Llc Real time ip video transmission with high resilience to network errors
US9219503B2 (en) 2013-10-16 2015-12-22 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for multi-algorithm concatenation encoding and decoding
US9323606B2 (en) 2013-11-21 2016-04-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for FAID follower decoding
RU2014104571A (ru) 2014-02-10 2015-08-20 ЭлЭсАй Корпорейшн Системы и способы для эффективного с точки зрения площади кодирования данных
US9378765B2 (en) 2014-04-03 2016-06-28 Seagate Technology Llc Systems and methods for differential message scaling in a decoding process
EP3001633B1 (en) * 2014-09-26 2017-08-16 Alcatel Lucent Server, client, method and computer program product for adaptive streaming of media content to a client
WO2016164069A1 (en) * 2015-04-08 2016-10-13 Intel Corporation Non-orthogonal superposition transmissions for multimedia broadcast multicast service (mbms)
US10270834B2 (en) * 2015-08-20 2019-04-23 Huawei Technologies Co., Ltd. System and method for online multimedia streaming services
US10820031B2 (en) * 2015-11-11 2020-10-27 Sony Corporation Communication apparatus for switching between a low-rate stream and a high-rate stream
CN106162183B (zh) * 2016-07-05 2019-05-31 重庆邮电大学 基于不等错误保护策略的最小化图像无线传输能耗方法
EP3410728A1 (en) * 2017-05-30 2018-12-05 Vestel Elektronik Sanayi ve Ticaret A.S. Methods and apparatus for streaming data
US11140368B2 (en) 2017-08-25 2021-10-05 Advanced Micro Devices, Inc. Custom beamforming during a vertical blanking interval
US10680927B2 (en) 2017-08-25 2020-06-09 Advanced Micro Devices, Inc. Adaptive beam assessment to predict available link bandwidth
US11539908B2 (en) * 2017-09-29 2022-12-27 Advanced Micro Devices, Inc. Adjustable modulation coding scheme to increase video stream robustness
US11398856B2 (en) 2017-12-05 2022-07-26 Advanced Micro Devices, Inc. Beamforming techniques to choose transceivers in a wireless mesh network
US10938503B2 (en) 2017-12-22 2021-03-02 Advanced Micro Devices, Inc. Video codec data recovery techniques for lossy wireless links
CN111837399B (zh) * 2018-04-24 2022-09-06 谷歌有限责任公司 一种用于同步媒体内容的回放方法、服务器和介质
US11699408B2 (en) 2020-12-22 2023-07-11 Ati Technologies Ulc Performing asynchronous memory clock changes on multi-display systems
US11917206B2 (en) * 2021-12-17 2024-02-27 Lenovo (Singapore) Pte. Ltd. Video codec aware radio access network configuration and unequal error protection coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1708992A (zh) * 2002-10-30 2005-12-14 皇家飞利浦电子股份有限公司 用于实现健壮的视频传输的数据分割的编码的视频分组结构、多路分解器、合并器、方法和设备
EP1615441A1 (en) * 2004-07-06 2006-01-11 STMicroelectronics S.r.l. Multiple description coding combined with channel encoding
CN1954612A (zh) * 2004-05-12 2007-04-25 皇家飞利浦电子股份有限公司 用于广播的可缩放视频编码

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
JPH11127138A (ja) * 1997-10-24 1999-05-11 Sony Corp 誤り訂正符号化方法及びその装置並びにデータ伝送方法
JP2001045098A (ja) * 1999-05-26 2001-02-16 Canon Inc データ通信システム、データ通信装置、データ通信方法及び記憶媒体
US7006568B1 (en) * 1999-05-27 2006-02-28 University Of Maryland, College Park 3D wavelet based video codec with human perceptual model
US7117423B2 (en) * 2002-04-24 2006-10-03 Georgia Tech Research Corp. Methods and systems for multiple substream unequal error protection and error concealment
JP4157340B2 (ja) * 2002-08-27 2008-10-01 松下電器産業株式会社 送信装置、受信装置を含む放送システム、受信装置、及びプログラム。
BRPI0406991A (pt) * 2003-01-28 2006-01-10 Thomson Licensing Difusão alternada de modo robusto
JP2005079793A (ja) * 2003-08-29 2005-03-24 Nec Corp 画像通信方法、画像通信システム、画像送信装置および画像受信装置
US20070291855A1 (en) * 2005-12-19 2007-12-20 Zvi Reznic Method, device and system of error-protection of a wireless video transmission
US8006168B2 (en) * 2005-12-19 2011-08-23 Amimon Ltd Apparatus and method for applying unequal error protection during wireless video transmission
JP2008042229A (ja) * 2006-08-01 2008-02-21 Hitachi Ltd 車載用デジタル放送受信装置
DE102007003187A1 (de) 2007-01-22 2008-10-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines zu sendenden Signals oder eines decodierten Signals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1708992A (zh) * 2002-10-30 2005-12-14 皇家飞利浦电子股份有限公司 用于实现健壮的视频传输的数据分割的编码的视频分组结构、多路分解器、合并器、方法和设备
CN1954612A (zh) * 2004-05-12 2007-04-25 皇家飞利浦电子股份有限公司 用于广播的可缩放视频编码
EP1615441A1 (en) * 2004-07-06 2006-01-11 STMicroelectronics S.r.l. Multiple description coding combined with channel encoding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417550A (zh) * 2016-06-29 2019-03-01 微软技术许可有限责任公司 同时媒体流服务

Also Published As

Publication number Publication date
JP5422667B2 (ja) 2014-02-19
EP2371136A1 (en) 2011-10-05
CN102246523A (zh) 2011-11-16
JP2012512560A (ja) 2012-05-31
EP2371136B1 (en) 2018-09-19
WO2010071686A1 (en) 2010-06-24
US20100150252A1 (en) 2010-06-17
US8374254B2 (en) 2013-02-12

Similar Documents

Publication Publication Date Title
CN102246523B (zh) 多流视频发射方法和系统、多流视频组合方法以及用于接收多流视频的通信设备
US20100150245A1 (en) Multimedia Stream Selection
KR100842544B1 (ko) 스케일러블 영상 코딩을 이용한 전송 방법 및 이를 이용한이동통신 시스템
JP5642803B2 (ja) 歪み認識のｍｉｍｏ通信
US8792588B2 (en) Method for operating a software radio receiver and software radio receiver
US20090110060A1 (en) Method and apparatus for performing lower complexity multiple bit rate video encoding using metadata
JP5042156B2 (ja) 無線通信システム、無線通信装置及び無線通信方法
KR20100111753A (ko) 무선 네트워크들에서 실시간 정보의 적응적인 인코딩을 위한 방법 및 시스템
CN104219539A (zh) 一种基于td-lte信道检测的视频编码与传输的方法
US20040240415A1 (en) Base station-centric method for managing bandwidth and QoS in error-prone system
US9094179B2 (en) Apparatus for providing multimedia services and method thereof
Kamnoonwatana et al. Flexible adaptive multiple description coding for video transmission
Cao et al. Device cooperation-assisted scalable video multicast with heterogeneous QoE guarantees
KR101566967B1 (ko) 디지털 방송 시스템에서 패킷 디코딩 방법 및 장치
US20050063314A1 (en) Method and system for content aware and energy efficient transmission of videos and images
KR101549316B1 (ko) 이종 네트워크를 통한 콘텐츠 전달을 위해 클리프 효과를 완화하기 위한 시스템 및 방법
US20130227628A1 (en) Apparatus for providing multimedia services and method thereof
US8825098B2 (en) Method and apparatus for providing multi-rate broadcast services
Fujihashi et al. Wi-Fi Offloading for Multi-Homed Hybrid Digital-Analog Video Streaming
Seferoglu et al. Video streaming to multiple clients overwireless local area networks
Khalek et al. Prioritized multimode precoding for joint minimization of source-channel video distortions
Perera et al. Adaptive modulation and coding based error resilience for transmission of compressed video
KR101715287B1 (ko) 무선 통신 기반 응용 서비스 제공 장치 및 그 방법
CN116647309A (zh) 一种联合信道质量的编码压缩质量的自适应调整方法
Kim et al. Resource Allocation Method for OFDM System to Transmit SVC over Frequency Selective Channel

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140625