CN103039086A - 视频反馈环 - Google Patents

视频反馈环 Download PDF

Info

Publication number
CN103039086A
CN103039086A CN201180032472XA CN201180032472A CN103039086A CN 103039086 A CN103039086 A CN 103039086A CN 201180032472X A CN201180032472X A CN 201180032472XA CN 201180032472 A CN201180032472 A CN 201180032472A CN 103039086 A CN103039086 A CN 103039086A
Authority
CN
China
Prior art keywords
point
link
vision signal
content
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180032472XA
Other languages
English (en)
Inventor
I·拉维
T·沙洛姆
M·塞拉
S·温格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delta Vidyo Inc
Original Assignee
Delta Vidyo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delta Vidyo Inc filed Critical Delta Vidyo Inc
Publication of CN103039086A publication Critical patent/CN103039086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/12Arrangements for observation, testing or troubleshooting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407Monitoring of transmitted content, e.g. distribution time, number of downloads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

用于对在始发站点或内容生产商(例如,电视演播室)和分配或消费站点(一个或多个)之间的前向视频传输进行监控、质量控制、内容使用的自动验证、置信度监控和/或净返回监控的技术。特别地,分配站点(一个或多个)将基于前向视频传输的视频信号从各个移交点返回到始发站点,以提供关于移交点处的视频质量的信息。

Description

视频反馈环
相关申请的交叉引用
本申请要求在2010年6月30日提交的美国临时申请序号61/360,200的优先权的权益,其整体内容通过引用结合于此。
发明背景
技术领域
本发明涉及在电视分配环境(例如,有线电视(CATV)和因特网协议电视(IPTV))中的双向视频传输。
背景技术
可在于2009年12月22日提交的且题为“System And Method For InteractiveSynchronized Video Watching(用于交互式同步视频观看的系统和方法)”的共同待审的美国专利申请序号61/289,249中找到与本申请相关的主题,该美国专利申请的整体内容通过引用结合于此。
在该公开的文献中,在始发站点和消费站点之间进行的音频-视频信号(“内容”)的传输被称为内容分配或视频分配。音频-视频内容在电视环境中的典型分配路径可包括至少以下实体:产生内容的内容工厂、涉及大量内容分配的关联机构(affiliate)、以及消费者。
首先,由内容工厂(也被称为内容生产商或内容供应商(例如,电视演播室))产生音频-视频内容并将其打包。这包括两个概念步骤:(1)内容获得,其中例如通过用比如摄像机和麦克风来捕捉场景、或通过在所述内容工厂和另一内容工厂(例如,另一演播室)之间使用某种形式的数据传输来获得音频-视频内容;和(2)内容处理或打包,其中所述内容工厂可通过例如将不同内容片断混合在一起、添加标识及类似的方式来处理内容。所述内容工厂可实时地操作,即,可对现场内容进行操作,或者该内容工厂可对非现场内容(例如,存储在视频数据库中的)根据非实时的时间表进行操作。在撰写时美国的大型内容工厂的一个示例是CNN。
一旦已经产生了内容,该内容就被分配给消费者。再一次地,包括有两个一般步骤。首先,内容工厂使涉及大量内容分配的被称为关联机构或被许可方的一个或多个实体可获得内容。第二,关联机构可从许多内容供应商获得内容,并使该内容在由该关联机构操作的网络上可由消费者获得,这经常在内容的某些有限的适应之后。所述适应可包括比如格式转换、对广告的拼接、添加关联机构的标识和/或启用数字版权管理保护;然而,内容的实质保持完好。撰写时美国的大型关联机构的一个实例是Comcast。该关联机构可实时地转播源自内容供应商的内容,或者该关联机构可在本地存储所述内容并在该关联机构选择的时候转播它(这可由消费者的需求决定,例如,视频点播,或由内容工厂设定的要求决定(例如,对预先记录的演出的早期分配,使消费者仅从某一天/某一个时间开始可获得它))。
最后,在消费者站点,接收该内容并将该内容呈现给消费者。在过去,这是一个严格的实时过程;如果用户在给定的时间调到给定的频道,他/她将看到该节目,否则就看不到。近期,已经配置了复杂的机制以允许用户与原始广播时间无关地存储、时移和观看内容,例如,数字视频记录器(DVR)。
内容工厂、关联机构和消费者在多数情况下是具有不同商业利益的独立的实体。这些实体每个和每个之间的链路被称为“移交点”。还可以设想,内容分配同时包括若干个内容工厂和关联机构。例如,当世界杯足球比赛在一个国家被拍摄时,当地的内容工厂可提供原始的内容。该内容可被传送至第二内容工厂,后者可添加例如另一个国家的语言的解说词。编辑的内容可被提供给第一关联机构,后者将内容不仅传送至其自身连接的消费者(例如,通过有线电视),还传送给第二关联机构,该第二关联机构通过不同的网络基本设施(例如,因特网)对相同的内容进行重新分配。在这种情况下,移交点存在于所有的内容工厂、关联机构和所有连接的消费者之间。
在今天,绝大多数的内容分配机制仅使用单向传输。如图1中所示,例如,诸如CNN或Fox新闻之类的内容工厂(101)可从视频源(102)(例如,摄像机或任何其它合适的源)创建现场视频内容。该内容可通过分配网络(103)(例如,租用线路、卫星连接以及逐渐增加的托管服务质量(QoS)的因特网连接)被传输至关联机构(104)的头端。该关联机构可使用单向传输机制及协议将内容通过例如有线电视(CATV)分配给消费者,该单向传输机制及协议可基于CableLabs规范。在消费者场所(premise)处,电视(106)(有时在机顶盒和/或其它硬件的协助下)向消费者呈现内容。
除了非常专门的质量监控设置外,在任何所涉及的实体-内容工厂、关联机构和消费者-之间没有普通的反馈机制。甚至在该专门的质量监控设置中,通常只提供有关网络质量或最多高度主观的由用户对视频质量的评估的摘要信息。例如,选中的消费者群可以使用专用设备,他们可使用该专用设备来传送主观视频质量信息连同其它数据,诸如频道偏好。网络设备可包括基于对网络元素的简单网络管理协议(SNMP)查询的质量监控。如果内容传输使用IP/UDP/RTP[RFC 3550](可在http://www.ietf.org/rfc/rfc3550.txt获得)协议堆栈,则可例如根据[RFC 3611](可在http://www.ietf.org/rfc/rfc3611.txt获得)利用RTCP扩展接收器报告来提供反馈。
虽然该摘要信息可告知市场研究员或网络工程师许多关于编程的质量和分配的网络质量方面的信息,但更多的面向内容的视频工程师、生产商和演播室里的其它媒体工作人员较不容易能够理解该摘要信息。然而,面向内容的媒体专业人士可识别-且可能通过使用由他们支配的工具改正-质量问题,如果这些问题以视频的形式向他们示出的话。
媒体质量评估也可与双向视频传输技术相关。通常,电视仅使用音频和视频媒体;不会刺激其它的人类感官。因此,对音频和视频质量的测量就足够了。已经提出了许多正式的媒体质量测量度量和技术,且一些已看到被部分采用,虽然在电视分配环境中不是必需的。
主观和客观的媒体质量测量技术可被区分;主观的技术与本发明的上下文没有太大关系。主观的技术需要一批人类观察者;该批人口越大且越不一致(相关于年龄、社会化、位置、语言和文化偏好等),可得到的结果越可靠。这使得可靠的主观测试非常昂贵且经常耗费时间。
客观技术可被区分为三大类:
(1)全参考技术使用原始信号和测试下的信号来确定质量;
(2)部分参考技术使用已被转换以消耗较少带宽的原始信号-例如,通过减小音频带宽、只取全带宽上的短间隔、减小全分辨率下的视频帧速率、减小视频分辨率等-和测试下的信号(适当地进行下采样)来确定质量;以及
(3)无参考技术,只对测试下的信号进行操作,且通常使用试探式技术,诸如检测分块或其它编码伪像的存在。
全参考技术被认定为比部分参考技术要可靠,部分参考技术进而被认定为比无参考技术可靠。
发明内容
本文公开的内容为可对在始发站点或内容生产商(例如,电视演播室)和分配或消费站点(一个或多个)之间的前向视频传输进行监控、质量控制、内容使用的自动验证、置信度监控和/或净返回(net-return)监控的技术。特别地,分配站点(一个或多个)将基于前向视频传输的视频信号从各个移交点返回到始发站点,以提供关于该移交点处的视频质量的信息。
媒体专业人士具有基于对视频的观察而对视频相关的参数进行调节的经验。使媒体专业人士了解在任何移交点可获得的视频质量可帮助他们针对消费者的人群改进视频质量。
对质量监控的布置可以是重要的。所监控的移交点离内容工厂越接近,则越多的消费者可从正被进行的调节受益。另一方面,所监控的移交点离消费者越接近,该监控可相对于用户观察的质量越具有决定性,因为在该监控中包括了可能的对在原始内容源和接近于消费者的移交点之间的所有实体的质量的不利影响。因此,从消费者场所-只是选择的一些,或一个大的群体-返回到演播室的内容反馈环可以有助于针对所有的消费者改进总的体验。
然而,该反馈环也可在内容工厂和消费者之间的前向传输路径中的任何其它合适的位置始发,这些位置诸如,例如,关联机构的头端、在关联机构自己的网络内战略选择的位置(诸如任何卫星上行链路或下行链路站点)和类似的位置。该反馈可导致消费者感知的内容质量通过对媒体编码相关参数的手动调节而得到改进。例如,面向内容的媒体专业人士可基于来自反馈环的信息调节颜色、亮度和类似的设置。替换地或附加地,可使用自动的工具来基于反馈信息调谐所分配视频的质量相关参数。例如,自动化设备可基于从反馈环接收的信息调节颜色、亮度和类似的设置。
该反馈环也可用于质量控制以外的目的。虽然更多的应用是可行的,但通过使用在内容工厂和关联机构之间的移交点作为示例,将介绍三种这样的使用,具体为:置信度监控、移交的保证和净返回。
“置信度监控”涉及对演播室和头端之间的完整内容传输链的监控。通过将内容反馈到演播室(可以扩张的形式),可通过正被反馈回来的内容的失真或缺失在演播室里容易地识别出在前向传输路径中的设备故障。
在“移交的保证”中,所述反馈环可有助于解决在内容工厂和关联机构之间的内容可用性和/或质量上的争端。如果内容工厂或独立的受信第三方(诸如,托管代理)可保持已被发送并正被反馈回该内容工厂或独立的受信第三方的内容的记录,且如果在内容工厂和关联机构之间有协定这些记录为真实的(这可例如通过使记录由内容工厂场所处的受信第三方完成来保证),该关联机构可以不向内容工厂中继回它可能已接收到的关于坏内容质量的抱怨,除非记录也显示这样的坏质量。
“净返回”可以在正在内容工厂中被生产的现场表演的上下文中被理解。虽然内容工厂对其自己的视频操作具有好的理解,但在内容工厂包括的媒体专业人士却察觉不到下游(即,关联机构中)发生的操作。如果该关联机构会在已经引入其自己的处理之后向内容工厂提供反馈链路,则内容工厂中的专业人士可使用这个输入来对呈现进行微调,从而适应关联机构所引入的改变。例如,如果该关联机构在屏幕的顶部右侧上引入大的标识,则内容工厂可通过保证没有重要内容被布置在该大的标识所使用的屏幕可操作区域中来作出反应。
也可实现反馈环的许多其它使用。
通过对反馈使用与用于前向传输相同的网络技术,在上述理解中的反馈环在长时间里已在技术上可行。然而,到现在为止,反馈环一直都处于不允许程度的昂贵状态,且因此几乎(如果曾经使用过的话)没被使用过。现代基于因特网的内容编码和分配技术,如在本文中所公开的以及基于首次在视频会议中使用的技术那样,有助于克服该成本障碍,从而能够在视频分配中将反馈用作日常工具。
附图说明
图1是根据现有技术的内容分配的框图。
图2是根据本发明的视频反馈环的框图。
图3是根据本发明的视频反馈环的框图。
图4是根据本发明的视频反馈环的框图。
在整个附图中,除非特别说明,相同的附图标记和字符用来表示所说明实施例的相同特征、元件、组件或部分。而且,虽然现在将参考附图具体描述所公开的发明,但这一描述是结合说明性实施例来完成的。
发明的详细描述
本发明揭示了可对在内容工厂和分配或消费站点(一个或多个)之间的前向视频传输进行监控、质量控制、内容使用的自动验证、置信度监控和/或净返回监控以及其它应用的技术。分配或消费站点(一个或多个)可将基于前向视频传输的视频信号从各个移交点返回到始发站点,以提供关于在移交点的视频质量的信息。
图2示出根据本发明的示例性设置,其中反馈源自消费者站点。内容工厂(201)准备内容。在现场的设置中,可例如通过一个或多个摄像机(202)和麦克风(203)记录该内容。该内容也可在模拟或数字媒体(204)(诸如,磁带录像机或DVD)上被预先记录。从上述任何的源,所述内容已经以合适的压缩格式为可用,或其可以由编码器(205)压缩(即,编码)。图2中所描绘的是是需要编码的情况。该编码器的输出包括通过分配网络(206)被传送至关联机构(一个或多个)的信号。
分配网络(206)可以是传统的电视分配网络,包括卫星链路分段、专用光纤、可能的MPLS提供的IP链路、或提供好的服务质量及可靠性的另一种形式的链路(虽然其可具有很高的成本)。该分配网络的细节与本发明不相关,因此不作进一步详细的讨论。虽然构成该分配网络的硬件的网络元素可控制某些形式的质量监控,但在该网络上,端到端的视频质量在多数情况下完全无法监控。分配网络中的视频分配可以是双向的或单向的-当今普通的商业惯例是单向的内容分配;本发明并不改变环境的这一方面。
分配网络的链路在这样的站点终止,该站点一方面可具有连接到分配网络的技术和财政资源,另一方面可要求分配网络提供的服务质量和可靠性。这些站点的示例为关联机构的头端:CATV或IPTV运营商的头端(207)、卫星运营商的上行链路(208)或(本地)的电视台(209)。其它站点可包括其它的内容工厂(例如,需要用于语言同步翻译的内容操作或启用审查制度的外国的内容工厂)以及存档站点。
诸如CATV、IPTV、卫星运营商或(本地)电视台之类的关联机构运行它们自己的网络(210、211和212)。在CATV的情况下,网络通常是私有的同轴电缆网络。IPTV运营商网络可基于由运营商拥有并操作的物理电缆或光纤,或者该运营商可依靠因特网基本设施并仅运行虚拟网络。卫星运营商情况下的“网络”由一个或多个向卫星(一个或多个)传送信号的上行链路组成,该卫星(一个或多个)将内容转播回地球表面,在地球表面由消费者场所中的天线碟或与消费者场所位于同一地点的天线碟接收该内容。电视台操作一个或多个用于地面广播的传输设施,这些设施将信号无线地传送至该信号可被消费者场所处的天线或与该消费者场所位于同一地点的天线接收的位置。不是所有以上所提到的细节都与本发明相关。但是,它们共享如下的特征,即,即使物理或虚拟网络结构可允许双向通信,内容分配也是单向的。
关联机构的网络链路在接近消费者场所处终止,且该网络链路连接到消费者操作(且可由消费者拥有)的端点设备(213、214、215、216和217,诸如电视和机顶盒)。
在本发明的一个实施例中,端点中的至少一个(213)还维持通过合适的网络(219)返回到内容工厂(201)的连接(218)。该合适的网络(219)可以是比如因特网。通过连接(218),音频视频反馈信号可被传送回内容工厂(201)。该音频视频信号可来源于内容工厂已通过视频分配网络(206)原始发送至关联机构(例如,(207))并通过关联机构的网络(例如,(210))发送至端点(213)的内容。可使用基于用户场所的编码器(220)对音频视频反馈信号进行编码,该编码器可集成在端点设备(213)中。
在同一或另一实施例中,在内容工厂中,可记录反馈信号以将来在记录器(221)中使用。该记录器可以是比如大小足以在足够长的时间期间记录反馈音频视频数据的带有硬盘驱动的PC,或任何其它合适的设备,且该记录器可由第三方操作。该记录可用于“移交的保证”的场合。
在同一或另一实施例中,在内容工厂中,反馈信号可由解码器(222)解码并在监控站(223)显示。该显示可由媒体专业人士(224)观察,该媒体专业人士能够调节演播室设置的参数(例如,照明),或前向编码器(205)的设置(即,“置信度监控”的场合),或可调节非技术参数(例如,演播人员的布置等)以反映通过观察所述显示获得的信息(即,“净返回”的场合)。
在同一或另一实施例中,在内容工厂中,反馈信号可由解码器(222)解码并反馈进入比较器和视频质量评估器(225)中。虽然比较器和质量评估器可以单独的实体实现,但有利地还是将它们集成到一个单独的设备中以避免高的带宽链路,不然的话在它们之间必须有高的带宽链路可用。该比较器可将反馈信号与时移的原始信号进行比较。该时移可手动或自动地设置,使得它补偿前向和反馈传输两者的传输延迟。如果该比较器检测到比如任何如下的情况,它可警告媒体专业人士(224):没有反馈信号(可由设备的故障或网络状况引起),坏的质量(即,时移的原始信号和反馈信号的质量之间的大分歧,这可由诸如松散连接器之类的非致命设备问题或由质量不佳的网络状况引起),或可接受的质量。如果反馈信号以与前向信号基本相同的质量传送,则质量评估器可采用全参考音频视频质量测量技术。然而在许多情况下,如果反馈信号以比前向信号低的质量进行传送,则成本效率更高。在该情况下,可采用部分参考的音频视频质量测量技术。已知这两种技术都比用于现有技术的端到端的媒体质量评估的无参考工具要可靠得多。该质量测量可用于“置信度监控”场合或“移交的保证”场合。
图3描绘根据本发明的另一示例性设置。在该设置中,类似于前一示例来考虑前向媒体分配链。此处,内容工厂(301)从适当的一个或多个源获得内容,比如,通过用摄像机(302)和麦克风(303)实时捕捉演播人员。该摄像机/麦克风信号由耦连至分配网络(305)的前向编码器(304)进行处理。该分配网络(305)馈送关联机构站点(306),诸如卫星上行链路、CATV头端,等等。关联机构站点(306)馈送消费者分配网络(307),诸如电视和类似设备之类的消费者接收器设备(308)链接至该消费者分配网络(307)。
在该示例中,反馈并不起始于最终消费者,而起始于媒体分配链中的中间移交点。虽然在所涉及的任何中间站点或网络中的任何位置可用作反馈的起始,但普遍有两类选择。第一类包括分配链拓扑中有商业边界的移交点。例如,内容工厂可由一个商业实体运行,而关联机构可由另一个商业实体运行。如果对已经由内容工厂(301)传递至关联机构(306)的媒体的质量有清楚的理解,则可促进商业关系。具体地,该反馈可有助于为在移交点或通向移交点的链路处的技术解决问题。此外,有时关联机构与内容工厂可在谁为移交点处的坏质量信号负责的问题上有争端。该反馈链路可有助于这种争端的和平解决。
第二类对反馈起始的选择包括在不同媒体传送技术的边界处的移交点。例如,反馈环可起始于结束光纤信道(具有非常高的服务质量和可靠性)并开始消费者级别的卫星信道(具有较低的服务质量和可靠性)的站点-即使这两种信道都由同一个商业实体(诸如关联机构)拥有或操作。对于第二类的一种使用是置信度监控。
在图3中,反馈环起始于既有商业边界又有技术边界的点。具体地,在该示例中,关联机构的CATV头端(306)可由不同于内容工厂(301)的商业实体操作,且该些网络技术也不同(高度可靠的分配网络(305)对消费者等级可靠的CATV网络(307))。
在关联机构的CATV头端中,可单独或组合地使用任何以下的技术来启用反馈。前向信号可由反馈发送器(309)通过合适的网络(316)(例如,因特网)以未修改的形式发送回内容工厂(301)。在内容工厂(301)中,前向信号由反馈接收器(310)接收并由反馈解码器(311)解码。替换地或附加地,前向信号可由转码器(312)转码成不同的媒体表示,并随后使用网络(316)由反馈发送器(309)发送至演播室(301)用于类似的处理。此处,术语“转码器”被广泛地采用;转码可包括媒体再现为像素/音频采样域并以相同或不同的媒体编码格式进行再编码的过程,或者其可仅包括对压缩信号的操作(即,通过丢弃层、帧、音频样本),或两者的组合。稍后在本文中会提供更多的细节。
在内容工厂中,可应用与如上述在图2中讨论的活动相类似的活动以进行类似的使用。具体地,由反馈接收器(310)接收的媒体可存储在记录器(312)中作将来使用(诸如用于将来移交保证),由解码器(311)解码并在显示器(313)上显示(且模拟信号用于音频)以由音频视频专业人士(314)监控用于净返回用途,或者被馈送进可实现类似技术的比较器和质量评估器(315),如上所讨论地,用于置信度监控。
图4更详细地示出了反馈传输。根据本发明,反馈环不是必要的部件,就它对于任何包括的成员产生收益而言。因此,它的成本敏感性非常高。因此,可商业上有利的是为该网络使用便宜的―至少当与非常高质量的且非常昂贵的分配网络相比―另一个选择。虽然本发明也可基于诸如移动网络之类的其它合适的网络,但本文中剩余的部分仍然使用因特网作为携带反馈信息的示例性网络。因特网不仅仅是比较不昂贵,而且是广泛可用的。然而,对于改进的成本效率,因特网话务可以“最大努力”被传送;也就是说,IP分组在传输期间会丢失,且该丢失并不一定是设备故障或供应不足的结果,而是网络的正常操作点。
传统的IPTV传输技术(诸如那些在商业可用的IPTV系统中的)对于通过最大努力连接在因特网上的使用可能是不合适的,因为它们依赖于托管IP网络的服务质量。其它已知的技术(例如,流送)用于处理因特网的损失特性,但是它们(经常以若干秒的数量级)添加延迟。对于前面提到的许多应用(例如,置信度监控和净返回),由反馈环引入的若干秒的延迟将使该反馈环不太有用。因此,对于改进的结果,反馈传输应该通过具有分组损失但具有低延迟的最大努力的网络来被传送。
视频会议技术,特别是那些基于可缩放视频编码(SVC)的技术,被熟知为对于通过最大努力因特网链路及低延迟的视频的高质量传输非常合适。根据本发明的一个方面,有利地,反馈环的视频传输方面通过使用基本设施(例如,如在共同待审的专利申请序列号61/289,249中揭示的)以SVC编码的视频形式进行传送。
如在图4中所描绘地,在本发明的同一或另一实施例中,反馈始发站点(401)包括SVC转码器(402)。SVC转码器(402)从分配网络(403)接收编码的前向内容(且也可执行进一步的解码和/或编码步骤),并向宿转送该内容,该宿在当前情况下可以比如为消费者分配网络(405)或消费者站点的接收器设备(404)。SVC转码器(402)首先,至少部分地,解码前向非SVC编码的内容,并对同一内容的SVC编码的表示进行编码。
SVC转码器还可包含子采样器(407),该子采样器(407)可时间地或空间地将全分辨率的前向内容子采样为如内容工厂中所需要的格式。例如,如果内容工厂希望运行全参考质量评估,则该子采样器可以是不活动的。但是,如果内容工厂希望只运行部分参考质量评估,那么所述子采样器可将前向内容的时空分辨率降低为内容工厂所需要的那种分辨率。子采样降低每秒需要被编码的像素个数,这随即既降低了需要通过反馈链路被传送的位的个数,又降低了编码所需要的处理器周期数,且由此可降低传输成本和设备成本。子采样的性质有利地基于内容特性进行选择。例如,对于体育频道,不建议进行时间性子采样,因为体育内容很大程度上得益于高的时间保真度。另一方面,对于电视系列幽默剧表演的形式,时间性的子采样是合适的,但是可能不建议进行空间性的子采样,因为空间上的细节在该内容形式中是高度重要的。
对于时间性的子采样,已显示帧或半帧跳转技术以低开销提供高性能。
对于空间性的子采样,可有利地使用包含至少4个分支两维滤波器的技术,从而即使在子采样之后也提供质量的合理近似值。直接的像素丢弃技术可引入太多混叠,从而允许在内容工厂中进行有用的质量测量返回。
简要地返回到图3,本领域的技术人员应该理解,在转码器(312)中采用任何子采样技术(如果有的话),在质量评估器(315)中应该使用同样的子采样技术。
返回到图4,SVC转码器(402)可产生多个层,该多个层中的一个或多个根据网络状况有利地使用一个或多个位于网络“中”的可缩放视频编码服务器(SVCS)(408)被传送至位于内容工厂(407)中的接收器(406)。在共同待审批的专利申请序号61/289,249中已经公开了SVCS(408)及其功能;其主要目的为对多个层进行管理以及对各个层的分组流中的丢失分组进行本地修复。
在另一实施例中,SVC转码器(402)可用传统的编码器替代。在提供好的服务质量的因特网的分段上,这可导致编码的视频到达内容工厂(407)。但是,随着网络状况的恶化,对SVC的使用变得越来越有利。
在另一实施例中,前向内容可使用可靠的传输协议(例如,传输控制协议(TCP))以(视频平面上)未修改的形式被传送回内容工厂。该功能可在例如内容工厂要求全参考质量评估时实现。在该情况下,网络所需要的资源是相当大的,且可引入显著的延迟,但反馈信息保证与前向信息完全一样,从而消除当用于移交保证场合下时会在商业争端中造成疑惑或讨论的所有原因。
如果前向编码的内容已为SVC编码格式,则转码器的功能可以简单到将要通过反馈链路发送回内容工厂的层的个数减小到反馈链路的容量能维持该层的程度。

Claims (24)

1.一种监控前向视频传输的方法,所述方法包括:
通过第一链路将第一视频信号从第一点传输至第二点;
在所述第二点产生来源于所述第一视频信号的第二视频信号;以及
通过第二链路将所述第二视频信号从所述第二点传输至所述第一点,其中所述第一链路和所述第二链路不在同一网络上建立。
2.如权利要求1所述的方法,其特征在于,所述第一链路包括单向链路。
3.如权利要求1所述的方法,其特征在于,所述第一链路包括分配网络的部分。
4.如权利要求1所述的方法,其特征在于,所述第二链路包括在因特网上建立的链路。
5.如权利要求1所述的方法,其特征在于,所述第一点包括内容工厂、关联机构站点、商业移交点或技术移交点中的至少一个。
6.如权利要求1所述的方法,其特征在于,所述第二点包括关联机构站点、商业移交点、技术移交点或端点中的至少一个。
7.如权利要求1所述的方法,其特征在于,所述第二视频信号包括适于置信度监控、净返回监控或移交保证中的至少一个的信号。
8.如权利要求1所述的方法,其特征在于,所述方法还包括:
向用户呈现所述第一视频信号的时移版本和第二视频信号。
9.如权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第一视频信号的时移版本与所述第二视频信号进行比较。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
基于所述比较的结果确定质量的指示。
11.如权利要求1所述的方法,其特征在于,所述第二视频信号包括以可缩放视频编码格式进行编码的视频信号。
12.一种具有一组指令的非瞬态计算机可读介质,所述指令被编程为执行:
通过第一链路将第一视频信号从第一点传输至第二点;
在所述第二点产生来源于所述第一视频信号的第二视频信号;以及
通过第二链路将所述第二视频信号从所述第二点传输至所述第一点,其中所述第一链路和所述第二链路不在同一网络上建立。
13.如权利要求12所述的非瞬态计算机可读介质,其特征在于,所述介质还包括指令,该指令使得所述第二视频信号包括适于置信度监控、净返回监控或移交保证中的至少一个的视频信号。
14.一种前向视频传输监控系统,包括:
第一点和第二点之间的第一链路;以及
所述第一点和所述第二点之间的第二链路,
其中所述第一点包括配置为通过所述第一链路将第一视频信号从所述第一点传输至所述第二点的点,所述第二点包括配置为产生来源于所述第一视频信号的第二视频信号并将所述第二视频信号通过所述第二链路从所述第二点传输至所述第一点的点,且其中所述第一链路和所述第二链路不在同一网络上建立。
15.如权利要求14所述的系统,其特征在于,所述第一链路包括单向链路。
16.如权利要求14所述的系统,其特征在于,所述第一链路包括分配网络的部分。
17.如权利要求14所述的系统,其特征在于,所述第二链路包括在因特网上建立的链路。
18.如权利要求14所述的系统,其特征在于,所述第一点包括内容工厂、关联机构站点、商业移交点或技术移交点中的至少一个。
19.如权利要求14所述的系统,其特征在于,所述第二点包括关联机构站点、商业移交点、技术移交点或端点中的至少一个。
20.如权利要求14所述的系统,其特征在于,所述第二视频信号包括适于置信度监控、净返回监控或移交保证中的至少一个的信号。
21.如权利要求14所述的系统,其特征在于,所述第二点包括配置为向用户呈现所述第一视频信号的时移版本和第二视频信号的点。
22.如权利要求14所述的系统,其特征在于,所述第二点包括配置为将所述第一视频信号的时移版本与所述第二视频信号进行比较的点。
23.如权利要求14所述的系统,其特征在于,所述第二点包括配置为基于所述比较的结果确定质量指示的点。
24.如权利要求14所述的系统,其特征在于,所述第二视频信号包括以可缩放视频编码格式进行编码的信号。
CN201180032472XA 2010-06-30 2011-06-13 视频反馈环 Pending CN103039086A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US36020010P 2010-06-30 2010-06-30
US61/360,200 2010-06-30
PCT/US2011/040172 WO2012005877A1 (en) 2010-06-30 2011-06-13 Video feedback loop

Publications (1)

Publication Number Publication Date
CN103039086A true CN103039086A (zh) 2013-04-10

Family

ID=45399434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180032472XA Pending CN103039086A (zh) 2010-06-30 2011-06-13 视频反馈环

Country Status (7)

Country Link
US (1) US20120002059A1 (zh)
EP (1) EP2589220A4 (zh)
JP (1) JP2013534785A (zh)
CN (1) CN103039086A (zh)
AU (1) AU2011276777A1 (zh)
CA (1) CA2803452A1 (zh)
WO (1) WO2012005877A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101580990B1 (ko) * 2009-01-13 2015-12-30 삼성전자주식회사 블루투스를 이용한 적응형 음질 제어 장치 및 방법
US9325985B2 (en) 2013-05-28 2016-04-26 Apple Inc. Reference and non-reference video quality evaluation
US9906782B2 (en) * 2015-01-14 2018-02-27 Cinder LLC Source agnostic audio/visual analysis framework
RU2652508C2 (ru) * 2016-09-30 2018-04-26 Общество с ограниченной ответственностью "СТРИМ Лабс" (ООО "СТРИМ Лабс") Способ и система для идентификации группы кадров цифрового телевещания
RU2651206C1 (ru) * 2016-12-21 2018-04-18 Общество с ограниченной ответственностью "СТРИМ Лабс" (ООО "СТРИМ Лабс") Способ и система выявления искажений в системах цифрового телевидения

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212994A1 (en) * 2002-05-09 2003-11-13 Radiant Communications Corporation Remote monitoring system
CN1605178A (zh) * 2001-11-05 2005-04-06 松下电器产业株式会社 在视频传输系统中使用的服务器装置和终端单元
US20050233705A1 (en) * 2004-02-27 2005-10-20 Nokia Corporation Method and system to improve handover between mobile video networks and cells
US20060130107A1 (en) * 2004-12-15 2006-06-15 Tom Gonder Method and apparatus for high bandwidth data transmission in content-based networks
US20070189275A1 (en) * 2006-02-10 2007-08-16 Ralph Neff System and method for connecting mobile devices
US20090249413A1 (en) * 2008-03-31 2009-10-01 Broadcom Corporation Video transmission system based on location data and methods for use therewith
US20100011117A1 (en) * 2008-07-09 2010-01-14 Apple Inc. Video streaming using multiple channels

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105309A (ja) * 1992-09-21 1994-04-15 Miharu Tsushin Kk Catvシステムにおける映像監視方法
CA2136567C (en) * 1994-11-24 2001-01-30 John Charles Maycock Apparatus and method for remote monitoring of video signals
US8424049B2 (en) * 2006-08-25 2013-04-16 Verizon Laboratories Inc. Measurement of video quality at customer premises
WO2008123125A1 (ja) * 2007-03-22 2008-10-16 Nec Corporation 画質評価システム、方法およびプログラム
US8064360B2 (en) * 2009-01-23 2011-11-22 Empire Technology Development Llc Wireless home network routing protocol

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605178A (zh) * 2001-11-05 2005-04-06 松下电器产业株式会社 在视频传输系统中使用的服务器装置和终端单元
US20030212994A1 (en) * 2002-05-09 2003-11-13 Radiant Communications Corporation Remote monitoring system
US20050233705A1 (en) * 2004-02-27 2005-10-20 Nokia Corporation Method and system to improve handover between mobile video networks and cells
US20060130107A1 (en) * 2004-12-15 2006-06-15 Tom Gonder Method and apparatus for high bandwidth data transmission in content-based networks
US20070189275A1 (en) * 2006-02-10 2007-08-16 Ralph Neff System and method for connecting mobile devices
US20090249413A1 (en) * 2008-03-31 2009-10-01 Broadcom Corporation Video transmission system based on location data and methods for use therewith
US20100011117A1 (en) * 2008-07-09 2010-01-14 Apple Inc. Video streaming using multiple channels

Also Published As

Publication number Publication date
EP2589220A1 (en) 2013-05-08
JP2013534785A (ja) 2013-09-05
CA2803452A1 (en) 2012-01-12
EP2589220A4 (en) 2014-07-23
AU2011276777A1 (en) 2013-02-07
WO2012005877A1 (en) 2012-01-12
US20120002059A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
US8990355B2 (en) Providing remote access to multimedia content
US8059662B2 (en) System and method for controlling content and delivery of internet protocol television (IPTV) services
US8904470B2 (en) Apparatus and method for managing media distribution
US8143508B2 (en) System for providing lyrics with streaming music
US10015530B2 (en) Extracting data from advertisement files for ad insertion
US10674224B2 (en) Adaptive packaging and distribution of channels
US8532172B2 (en) Adaptive language descriptors
US20100154003A1 (en) Providing report of popular channels at present time
CN103039086A (zh) 视频反馈环
US9781184B2 (en) Method and apparatus for distributing media
JP2013055638A (ja) ザッピングデータ提供システム、ザッピングデータ提供方法及びその方法のための記録媒体
CN105430510A (zh) 一种视频点播方法、网关、智能终端及视频点播系统
US8261314B2 (en) Apparatus and method for managing media content presentation
US20200322651A1 (en) System And Method For Delivering AV Content
Ki et al. ROUTE/DASH server system development for realtime UHD broadcasting
Kim et al. Design of Cloud-based remote collaborative system for broadcasting production workflow
Stanescu et al. Video consumption in the process of digital TV-Internet convergence
KR20120078888A (ko) 디지털 방송에서 동일 채널에서의 화면 단절 방지 장치 및 방법
CN114302166A (zh) 一种ip和ipqam网络融合调度的流媒体服务系统及其方法
Russell 2012 Report from the Society of Cable Telecommunications Engineers
Kuehl Architecting HD full motion video into military avionics infrastructures
Wester et al. Monitoring Video Services in an IP Connected World
Kaur et al. INTERNET PROTOCOL TELEVISION (IPTV)
KR20130067692A (ko) 비디오 게이트웨이를 통한 n-스크린 방송 서비스 제공 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130410