CN107211179A - 动态实时压缩 - Google Patents

动态实时压缩 Download PDF

Info

Publication number
CN107211179A
CN107211179A CN201680006935.8A CN201680006935A CN107211179A CN 107211179 A CN107211179 A CN 107211179A CN 201680006935 A CN201680006935 A CN 201680006935A CN 107211179 A CN107211179 A CN 107211179A
Authority
CN
China
Prior art keywords
video
compression
input
compression ratio
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680006935.8A
Other languages
English (en)
Other versions
CN107211179B (zh
Inventor
E.利达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valens Semiconductor Ltd
Original Assignee
Valens Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valens Semiconductor Ltd filed Critical Valens Semiconductor Ltd
Publication of CN107211179A publication Critical patent/CN107211179A/zh
Application granted granted Critical
Publication of CN107211179B publication Critical patent/CN107211179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383Accessing a communication channel
    • H04N21/4384Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

涉及不同压缩比之间的低等待时间视觉无损切换的系统和方法,在轻视频压缩比之间切换的同时保持固定的延迟,在保持未压缩视频相关参数的同时改变视觉无损压缩比,增加视觉无损压缩比以提供带宽用于额外的流,并且平滑地切换共享共同链路的视频源。

Description

动态实时压缩
对相关申请的交叉引用
本申请要求2015年1月24日提交的美国临时申请No.62/107,387和2015年8月25日提交的美国临时申请No.62/209,414的优先权。
技术领域
所公开的实施例中的一些涉及动态实时压缩,更具体地涉及在网络上利用轻视频压缩比(light video compression ratio)。
背景技术
未压缩和压缩视频系统需要不同的通信速率、处理器和缓冲器。例如,以1080p分辨率(1920×1080像素)流传输的未压缩蓝光电影需要约1.19Gbps的信道带宽,而在压缩(使用特定压缩方案)时,则仅为25Mbps。在另一示例中,24位的具有1920×1080像素的60Hz未压缩视频帧通常需要大约3Gbps的信道带宽。
通常在消费产品中使用的视频分辨率和帧速率已经急剧增长。例如,近年来,分辨率正在从标准清晰度(480p)转变到高清晰度(1080p)到四倍高清(2560x1440)到超高清4K(3840x2160),且帧速率正在从60Hz转变到120Hz,或者甚至是到240Hz。另外,需要增加颜色位精度,例如支持三种RGB颜色的30/36/48-位值的饱和色。这些条件对于传输未压缩视频数据的接口(诸如高清晰度多媒体接口(HDMI))造成了沉重的负担。
现有技术系统不能以低延迟实现两个轻压缩比(light compression ratio)之间的视觉无损运行中的切换,这是所公开的实施例的特征中的一个。
发明内容
所公开的实施例中的一些涉及不同压缩比之间的低等待时间视觉无损切换,在轻视频压缩比之间切换的同时保持固定的延迟,在保持未压缩视频相关参数的同时改变视觉无损压缩比,增加视觉无损压缩比以提供带宽用于额外的流,并且平滑地切换共享共同链路的视频源。
附图说明
这些实施例仅通过示例的方式参照附图在本文中进行描述。在附图中:
图1A示出了具有多个视频压缩比的低延迟视频流系统的一个实施例;
图1B示出了相应帧之间的总延迟略大于一个视频帧的情况;
图1C示出了能够存储少于两个HD-UV帧的编码器缓冲器的一个实施例;
图1D示出了能够存储少于两个HD-UV帧的解码器缓冲器的一个实施例;
图2示出了用于具有多个视频压缩比的低延迟视频流的方法的一个实施例;
图3A示出了支持不同视频压缩比之间的视觉无损切换的低延迟通信系统的一个实施例;
图3B示出了相应帧之间的总延迟低于单个视频帧的持续时间的情况;
图4示出了用于支持在不同视频压缩比之间的视觉无损切换的低延迟通信的方法的一个实施例;
图5A示出了固定延迟视频通信链路的一个实施例;
图5B示出了相应帧之间的总延迟低于单个视频帧的持续时间的情况;
图5C示出了快速切换的一个示例,其中第二压缩比被传输持续一个HD-UV帧的持续时间直到切换回到第一压缩比;
图5D示出了快速切换的另一示例,其中第二压缩比被传输持续短于一个HD-UV帧的持续时间直到切换回到第一压缩比;
图6示出了用于视觉无损视频切换的方法的一个实施例;
图7A示出了具有多个压缩比的固定延迟视频发射器的一个实施例;
图7B示出了用于在不同压缩比之间切换同时保持固定延迟的方法的一个实施例;
图8A示出了在运行中改变视频压缩比的同时保持定时和原色的压缩系统的一个实施例;
图8B示出了其中输出的HD-UV保持PRTUV的一个实施例;
图9示出了用于在运行中改变视频压缩比的同时保持定时和原色的方法的一个实施例;
图10示出了支持对压缩比的改变的网络的一个实施例,其视觉上无损以提供网络带宽用于额外的视频流;
图11示出了用于视觉无损地改变压缩比以提供网络带宽用于额外的流的方法的一个实施例;
图12示出了支持视频源的平滑切换的网络的一个实施例;
图13示出了用于视频源的平滑切换的方法的一个实施例。
具体实施方式
图1A示出了具有多个视频压缩比的低延迟视频流系统的一个实施例。低延迟视频流系统至少包括实时视频编码器(RT-VE)102和实时视频解码器(RT-VD)104。RT-VE 102接收输入的高清晰度未压缩视频(HD-UV)101,根据至少两个压缩比106中的一个压缩比来处理输入HD-UV,并且在资源预留通信链路103之上发送经处理的视频到RT-VD 104。在一个示例中,压缩比106包括在1:1至5:1之间(以下称为“直到5:1”)的第一压缩比,和直到10:1的第二压缩比;第一压缩比和第二压缩比之间的差异至少为25%。在一些实施例中,由RT-VE添加的压缩延迟对于两个压缩比均低于单个视频帧的持续时间。
RT-VD 104将处理的视频转换为输出HD-UV 105。低延迟视频流系统的特征在于这样的事实,在第一压缩比和第二压缩比之间的运行中的切换,在继续不间断地接收输入的HD-UV的同时,是视觉上无损的切换。运行中的切换还保持在输入HD-UV和输出HD-UV的相应帧之间的总延迟,该总延迟低于两个视频帧的持续时间。图1B示出了输入HD-UV 101和输出HD-UV 105的相应帧之间的总延迟略大于一个视频帧的情况。
在一个示例中,视觉无损切换表示,在输入HD-UV和输出HD-UV的相应帧之间的比较表明视频同步信号和视频定时信号由于运行中的切换而不受损坏。在另一示例中,视觉无损切换表示,在输入HD-UV和输出HD-UV的相应帧之间的比较表明第一压缩比和第二压缩比之间的运行中的切换不会导致一个或多个缺失视频帧。在另一示例中,视觉无损切换表示,在输入HD-UV和输出HD-UV的相应帧之间的比较表明第一压缩比和第二压缩比之间的运行中的切换不会导致一个或多个缺失的视频帧行。在另一示例中,视觉无损切换表示,在输入HD-UV和输出HD-UV的相应帧之间的比较表明第一压缩比和第二压缩比之间的运行中的切换不会导致一个或多个缺失的视频消隐信号。在另一示例中,视觉无损切换表示,没有丢失像素,不包括颜色深度。在另一示例中,视觉无损切换表示,由于第一压缩比和第二压缩比之间的切换,观看输出HD-UV的用户不被预期感知HD视频质量的中断。
在一个实施例中,低延迟视频流系统还包括用于设置系统的压缩比的控制器107。控制器可以被实现为以下元件中的至少一个元件的一部分:RT-VE、RT-VD和网络控制器。在一个示例中,控制器在运行中从第一压缩比切换到第二压缩比,以为新的额外视频流释放带宽。
在一个实施例中,低延迟视频流系统可以以子帧延迟为特征,其中输入HD-UV 101和输出HD-UV 105的相应帧之间的总延迟可以低于单个视频帧的持续时间。
在一个实施例中,低延迟视频流系统以平滑的压缩变化为特征,其中在第一压缩比和第二压缩比之间的运行中的切换不会中断来自解码器的未压缩视频的流动。额外地或替代地,低延迟视频流系统可以保持总延迟,该总延迟在第一压缩比和第二压缩比之间在运行中切换时不改变。
图1C示出了能够存储少于两个HD-UV帧的编码器缓冲器110的一个实施例。编码器缓冲器110可以实现为RT-VE 102的一部分,并且存储输入HD-UV 101,以用于进行将输入HD-UV 101压缩成压缩视频所需要的计算的目的。可选择地,编码器缓冲器120可以能够存储少于一个HD-UV帧,或者甚至仅存储少量的HD-UV线。
图1D示出了能够存储少于两个HD-UV帧的解码器缓冲器120的一个实施例。编码器缓冲器120可以实现为RT-VD 104的一部分,并且存储输入的处理视频,以用于进行从处理视频提取输出HD-UV 105所需要的计算的目的。可选择地,解码器缓冲器120可以能够存储少于一个输出HD-UV帧,或者甚至仅存储少量的HD-UV线。
图2示出了用于具有多个视频压缩比的低延迟视频流的方法的一个实施例。该方法包括以下步骤:在步骤130中,通过实时视频编码器(RT-VE)接收输入的高清晰度未压缩视频(HD-UV)。在步骤131中,根据直到5:1的第一压缩比,将输入的HD-UV转换成第一压缩视频,同时增加低于单个视频帧的持续时间的压缩延迟。在步骤132中,将第一压缩视频发送到实时视频解码器(RT-VD)。在步骤133中,通过RT-VD,将第一压缩视频转换成输出HD-UV。在步骤134中,在继续不间断地接收输入HD-UV的同时,根据直到10:1的第二压缩比,在运行中切换以将输入HD-UV转换为第二压缩视频,同时增加低于单个视频帧的持续时间的压缩延迟,其中,第二压缩比第一压缩比更深。在步骤135中,将第二压缩视频发送到RT-VD。并且在步骤136中,通过RT-VD,将第二压缩视频转换成输出HD-UV,使得从第一压缩视频到第二压缩视频的运行中的切换是视觉上无损的切换,该视觉上无损的切换使在输入HD-UV和输出HD-UV的相应帧之间的总延迟保持低于两个视频帧的持续时间。可选地,从第一压缩视频到第二压缩视频的运行中的切换是利用控制器进行的,该控制器设置低延迟视频流的压缩比。
在一个示例中,在第一压缩视频和第二压缩视频之间的运行中的切换不改变输入HD-UV和输出HD-UV的相应帧之间的总延迟。在另一示例中,在第一压缩视频与第二压缩视频之间的运行中的切换将总延迟转变为小于一个视频行的持续时间。
在一个示例中,该方法使用的RT-VE可以利用能够存储少于两个HD输入未压缩视频帧的缓冲器,以将输入HD-UV压缩成第二压缩视频。额外地或替代地,该方法使用的RT-VD可以利用能够存储少于一个输入HD无损视频帧的缓冲器,以从第一压缩视频提取HD-UV。
图3A示出了支持在不同视频压缩比之间的视觉无损切换的低延迟通信系统的一个实施例。该系统至少包括实时视频编码器(RT-VE)162和实时视频解码器(RT-VD)164。RT-VE 162接收输入的高清晰度未压缩视频(HD-UV)161,并且使用直到5:1的比率的第一帧内压缩或直到10:1的比率的第二帧内压缩将输入HD-UV压缩成压缩视频,其中,第一帧内压缩比和第二帧内压缩比之间的差异为至少25%。RT-VD 164接收压缩的视频并将压缩的视频解压缩成输出HD-UV 165。为了支持在第一压缩比和第二压缩比之间的视觉无损的运行中的切换,系统使输入HD-UV和输出HD-UV的对应视频像素之间的延迟保持低于两个HD视频帧的持续时间,同时继续不间断地接收输入HD-UV。
在一个示例中,使用运行中的视觉无损切换表示,在输入HD-UV和输出HD-UV之间的不同在执行第一压缩比和第二压缩比之间的切换之前、期间和之后都是视觉上无损的。
在另一示例中,视频压缩不是帧内压缩,并且第一压缩比和第二压缩比中的每一个压缩比在连续的运行中的比率切换之间压缩至少10个连续的视频帧。
在另一示例中,视频压缩是帧内压缩。图3B示出了输入HD-UV 161和输出HD-UV165的相应帧之间的总延迟低于一个视频帧的持续时间的情况。
图4示出了用于低延迟通信的方法的一个实施例,所述低延迟通信支持在不同视频压缩比之间的视觉无损切换。该方法包括以下步骤:在步骤180中,通过实时视频编码器(RT-VE)接收输入的高清晰度未压缩视频(HD-UV)。在步骤181中,使用直到5:1的比率的第一帧内压缩将输入HD-UV压缩成第一压缩视频,并且将其发送到实时视频解码器(RT-VD)。在步骤182中,通过RT-VD,将第一压缩视频解压成输出HD-UV。在步骤183中,在继续不间断地接收输入HD-UV的同时,在运行中切换以使用直到10:1的比率的第二帧内压缩将输入HD-UV压缩成第二压缩视频,并且将其发送到RT-VD,其中,第一帧内压缩比和第二帧内压缩比之间的差为至少25%。并且在步骤184中,通过RT-VD,将第二压缩视频解压成输出HD-UV,其中,运行中的切换既是视觉上无损的,也保持在输入HD-UV和输出HD-UV的相应视频像素之间的总延迟低于两个HD视频帧的持续时间。
可选地,所述方法还包括在不同的视频压缩比切换之前和之后立刻压缩至少10个连续视频帧的步骤。额外地或替代地,输入HD-UV和输出HD-UV的相应视频像素之间的延迟比单个视频帧的持续时间短。可选地,当在不同的视频压缩比之间切换时也保持短的延迟。
可以使用各种机制来实现压缩比之间的视觉无损的运行中的切换。在一个实施例中,视频通信系统包括使编码器能够通知解码器关于压缩比之间的切换的信令机制。在一个示例中,编码器将通知嵌入在分组报头中,并且解码器根据通知解码压缩数据。在另一示例中,从编码器到解码器的通知被放置在压缩元数据中,并且解码器根据元数据解码压缩数据。在一个实施例中,当在解码器中没有保存历史时,压缩比之间的视觉无损切换在压缩单元之间的边界上进行。在一个示例中,帧内压缩之间的切换发生在第一帧和第二(随后的)帧之间的边界上,使得第一压缩比用于压缩该第一帧,同时第二压缩比用于压缩跟随第一帧的第二(随后的)帧。在另一示例中,解码器根据关于用于压缩数据的压缩的指示来独立地解码每个帧或每组帧。此外,由于解码器能够识别该变化,所以编码器可以不明确地通知解码器有关压缩比之间的切换。
在实现压缩比之间的视觉无损的运行中的切换的视频系统的另一实施例中,编码器和解码器在压缩比之间切换的时候并行地执行重叠的计算。例如,假设压缩算法在十个视频行上操作,则在切换点附近,由两个编码器和两个解码器(每对解码器和编码器使用两个对应的压缩比中的一个)并行地处理十个视频行的至少一部分。此外,在该示例中,在通信链路之上将至少一些重叠的压缩数据发送到解码器,以便实现两个压缩比之间的视觉无损转换。也就是说,使用两种不同的压缩比,在通信链路之上,将对应于十个视频行的至少一部分的数据发送两次。
在实现在压缩比之间的视觉无损的运行中切换的视频系统的另一个实施例中,时间敏感的视频数据在也携带非时间敏感数据(如普通以太网数据)的信道之上传输。在切换压缩比的时间之前不久,减少非时间敏感数据的通量,以提供携带视觉无损压缩变化所需的过量的时间敏感数据所需要的额外带宽,特别是在与两个压缩比相关的时间敏感数据同时在信道之上传输时。
在实现在压缩比之间的视觉无损的运行中切换的视频系统的另一个实施例中,系统利用动态波形调制通信方案,例如在题为“在相同的电线上传输数字视频和数据的装置”的美国专利号8,565,337中所描述的,其全部内容通过引用并入本文。动态波形调制通信系统使用的带宽取决于通道特性。当干扰低于阈值时,使用消耗较少带宽的更高的调制来调制诸如视频像素数据的较不敏感的数据。然后,空闲的带宽可用于携带视觉无损压缩切换所需的过量的时间敏感数据,例如从两个视频源发送两个流或使用不同的压缩比发送两个流。可选地,该实施例还包括控制器,该控制器在当通信链路上的干扰条件足够低以获得视觉无损切换所需的空闲的带宽时,执行视觉无损切换。
在另一实施例中,压缩比之间的运行中切换利用了这样的事实:观看者对视频帧的第一(最高)和最后(最低)行中的人为现象较不敏感,并且在一些情况下,第一和/或最后行可以不显示在屏幕上。这些行可以由有损压缩器压缩,所述有损压缩器产生观察到的人为现象,而之间的行可以被无损压缩器压缩。
图5A示出了固定延迟视频通信链路的一个实施例。固定延迟视频通信链路至少包括实时视频编码器(RT-VE)202和实时视频解码器(RT-VD)204。RT-VE 202接收输入的高清晰度未压缩视频(HD-UV)201,将输入HD-UV 201压缩成第一或第二HD压缩视频,并且在通信链路204之上将HD压缩的视频传输到RT-VD 204。并且RT-VD 204将HD压缩视频解压成输出HD-UV 205。固定延迟通信链路以这样的事实为特征,在继续不间断地接收输入HD-UV的同时,在第一压缩比和第二压缩比之间的运行中的切换既是视觉无损的,也保持在输入HD-UV和输出HD-UV的对应像素之间的相同的固定延迟。在一个实施例中,固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。在一个实施例中,第一HD压缩视频的第一压缩比在1:1和2:1之间,第二HD压缩视频的第二压缩比直到到5:1,并且第一和第二压缩比之间的差为至少25%。
图5B示出了在输入HD-UV 201和输出HD-UV 205的相应帧之间的总延迟低于单个视频帧的持续时间的情况,第一压缩比(1:1-2:1)和第二压缩比(直到5:1)之间的转换的附近也是如此。
为了使固定延迟视频通信链路支持在第一压缩比和第二压缩比之间的运行中的视觉无损切换,将输入HD-UV压缩成第一或第二HD压缩视频并在通信链路之上将HD压缩视频传输到RT-VD的步骤可以根据以下三个可替代方案中的一个或多个来阐释:(i)将输入HD-UV压缩成第一或第二HD压缩视频,并在通信链路之上将第一或第二HD压缩视频传输到RT-VD,(ii)将输入HD-UV压缩成第一HD压缩视频和第二HD压缩视频两者至少持续短的持续时间,并在通信链路之上将第一HD压缩视频或第二HD压缩视频传输到RT-VD,和/或(iii)将输入HD-UV压缩成第一HD压缩视频和第二HD压缩视频两者至少持续短的持续时间,并且在通信链路之上将第一和第二HD压缩视频两者传输到RT-VD,持续比10秒更短的持续时间。
在一个实施例中,使用具有在第一和第二压缩比之间的值的第三压缩比来逐渐执行第一和第二压缩比之间的运行中的切换的至少一些。逐渐切换既是视觉无损的,也保持在输入HD-UV和输出HD-UV的相应像素之间的相同的固定延迟。例如,可以通过从2:1切换到3:1,然后3:1切换到4:1,逐渐地执行从2:1压缩到4:1的压缩的转换。
在一个实施例中,第一压缩比是未压缩视频。额外地或替代地,固定延迟视频通信链路还包括具有直到10:1的第三压缩比的第三HD压缩视频,其中,第二压缩比和第三压缩比之间的差为至少25%,并且在继续不间断地接收输入HD-UV的同时,在第二压缩比和第三压缩比之间的运行中的切换,既是视觉无损的,也保持输入HD-UV和输出HD-UV的相应像素之间的相同的固定延迟。
在一个实施例中,第一压缩和第二压缩是帧间压缩,并且视频通信链路还包括用于存储视频像素的缓冲器207,以便使HD压缩视频相关的延迟和HD压缩视频均衡。固定延迟视频通信链路还可以包括用于实现所述特征中的一个或多个特征的处理器208。在另一个实施例中,第一压缩是帧间压缩,且第二压缩是帧内压缩。
在一个实施例中,固定延迟视频通信链路支持在第一压缩比和第二压缩比之间的短的运行中切换,使得在切换回第一压缩比(例如,1:1-2:1)之前,第二压缩比(例如,2:1-4:1)被用于传输数据持续短于传输直到3个HD-UV帧所需的持续时间的持续时间。图5C示出了快速切换的一个示例,其中在切换回到使用第一压缩比之前,第二压缩比被用于传输数据持续一个HD-UV帧的持续时间。图5D示出了快速切换的另一示例,其中在切换回到使用第一压缩比之前,第二压缩比被用于传输数据持续短于一个HD-UV帧的持续时间。
额外地或替代地,固定延迟视频通信链路可以支持第一压缩比和第二压缩比之间的短的运行中切换,使得在切换回第一压缩比之前,第二压缩比用于传输数据持续短于传输30个HD-UV帧所需的持续时间的持续时间。
在一个示例中,视觉无损切换表示,输入HD-UV和输出HD-UV的相应帧之间的比较表明视频同步信号和视频定时信号在运行中的切换期间是不中断的。在另一示例中,视觉无损切换表示,在输入HD-UV和输出HD-UV的相应帧之间的比较表明第一压缩比和第二压缩比之间的运行中的切换不会导致一个或多个缺失视频帧。在另一示例中,视觉无损切换表示,在输入HD-UV和输出HD-UV的相应帧之间的比较表明第一压缩比和第二压缩比之间的运行中的切换不会导致一个或多个缺失的视频帧行。在另一示例中,视觉无损切换表示,在输入HD-UV和输出HD-UV的相应帧之间的比较表明第一压缩比和第二压缩比之间的运行中的切换不会导致一个或多个缺失的视频消隐信号。在另一示例中,视觉无损切换表示,没有丢失像素,不包括颜色深度。
图6示出了用于视觉无损视频切换的方法的一个实施例。该方法包括以下步骤:在步骤220中,接收输入的高分辨率未压缩视频(HD-UV)。在步骤221中,利用处理器,将输入HD-UV压缩成具有在1:1和5:1之间的第一压缩比的第一HD压缩视频。在步骤222中,在通信链路之上,将第一HD压缩视频传输到实时视频解码器(RT-VD)。在步骤223中,通过RT-VD,将第一HD压缩视频解压成输出HD-UV。在步骤224中,将输入HD-UV压缩成具有在2:1和10:1之间的第二压缩比的第二HD压缩视频,其中,在第一压缩比和第二压缩比之间的差为至少25%。在步骤225中,在所述通信链路之上,将第二HD压缩视频传输到所述RT-VD。并且在步骤226中,通过RT-VD,将第二HD压缩视频解压成输出HD-UV。可选地,当继续不间断地接收输入HD-UV的同时发生的在第一压缩比和第二压缩比之间的运行中切换既是视觉无损的,也保持输入HD-UV和输出HD-UV的相应像素之间的相同的固定延迟。在一个示例中,固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。在另一示例中,固定延迟是指比一个HD-UV帧的持续时间短的精确度。并且在另一示例中,固定延迟是指比一个HD-UV像素的持续时间短的精确度。
在一个实施例中,第一压缩比是未压缩视频。额外地或替代地,所述方法还包括具有在3:1和10:1之间的第三压缩比的第三HD压缩视频,其中,第二压缩比和第三压缩比之间的差为至少25%,并且在继续不间断地接收输入HD-UV的同时,在第二压缩比和第三压缩比之间的运行中的切换,既是视觉无损的,也保持输入HD-UV和输出HD-UV的相应像素之间的相同的固定延迟。
在一个实施例中,图6所示的方法支持在第一压缩比和第二压缩比之间的短的运行中切换,使得第二压缩比用于传输数据持续直到3个HD-UV帧的持续时间,直到切换回使用第一压缩比。额外地或替代地,所述方法支持第一压缩比和第二压缩比之间的短的运行中切换,使得在切换回使用第一压缩比之前,第二压缩比用于传输数据持续短于传输30个HD-UV帧所需的持续时间的持续时间。
图7A示出了具有多个压缩比的固定延迟视频发射器的一个实施例。固定延迟视频发射器至少包括:实时视频编码器(RT-VE)242、控制器243、缓冲器244和发射器245。RT-VE242接收输入高清晰度未压缩视频(HD-UV)241,并将输入HD-UV 241压缩成第一或第二轻高清晰度(HD)压缩视频(light high-definition(HD)compressed video)。在一个示例中,第一轻HD压缩视频的第一压缩比在1:1和5:1之间,第二轻HD压缩视频的第二压缩比在2:1和5:1之间,并且第一和第二压缩比之间的差为至少25%。
控制器243包括用于调整第一和第二轻高清晰度压缩视频的延迟的缓冲器244。缓冲器可以位于以下位置中的至少一个位置:在RT-VE 242之前(即,其在数据到达RT-VE 242之前存储数据),在RT-VE 242处和/或在RT-VE 242之后(即,它存储已经离开RT-VE 242的数据)。发射器245,在相对于输入的HD-UV的固定延迟之后,在通信链路246之上发送第一或第二轻HD压缩视频。在一个示例中,固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。
在一个实施例中,固定延迟视频发射器在第一和第二轻HD压缩视频相对于输入HD-UV之间保持相同的固定延迟,同时在第一和第二压缩比之间运行中切换,同时继续不间断地接收输入HD-UV。可选地,切换是视觉无损的。
在一个实施例中,为了保持第一和第二轻HD压缩视频相对于输入HD-UV的相同的固定延迟,控制器243相较于第二轻高清晰度压缩视频将更长的延迟添加到第一轻HD压缩视频。
在一个实施例中,发射器使用分组来发送第一轻HD压缩视频和第二轻HD压缩视频。发射器可以使用固定大小的分组,并且随着压缩比的增加而减少使用的分组的数量。额外地或替代地,发射器可以减小分组有效载荷中的至少一些的大小,以便以不同的压缩比保持固定的分组速率(packet rate)。在这两种情况下,可以在一系列若干分组的平均上计算固定延迟,使得其基本上不受分组大小和/或分组速率的变化的影响。在一个示例中,固定分组速率是指在帧的持续时间上该分组速率中的小于1%的不精确度。
图7B示出了用于在不同压缩比之间切换同时保持固定延迟的方法的一个实施例。该方法包括以下步骤:在步骤260中,接收输入的高分辨率未压缩视频(HD-UV)。在步骤261中,将输入HD-UV压缩成具有在1:1和5:1之间的第一压缩比的第一轻高清晰度(HD)压缩视频。在步骤262中,在相对于输入HD-UV的第一固定延迟之后,在通信链路之上发送第一轻HD压缩视频。可选地,第一固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。在步骤263中,在继续不间断地接收输入HD-UV的同时,将输入HD-UV压缩成具有在2:1和5:1之间的第二压缩比的第二轻HD压缩视频。可选地,在第一压缩比和第二压缩比之间的差为至少25%。并且在步骤264中,在相对于输入HD-UV的第二固定延迟之后,在通信链路之上发送第二轻HD压缩视频。可选地,第二固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。
在一个实施例中,第一固定延迟和第二固定延迟之间的差小于第一固定延迟的5%。所述方法还包括相较于第二轻HD压缩视频向第一轻HD压缩视频添加更长的延迟,以便使第一固定延迟和第二固定延迟均衡。额外地或可替代地,发送第一轻HD压缩视频和发送第二轻HD压缩视频之间的切换不会导致损害输入HD-UV的视频同步信号和视频定时信号。额外地或可替代地,发送第一轻HD压缩视频和发送第二轻HD压缩视频之间的切换不会导致输入HD-UV的缺失帧行。额外地或可替代地,发送第一轻HD压缩视频和发送第二轻HD压缩视频之间的切换不会导致输入HD-UV的缺失消隐信号。
图8A示出了在运行中改变视频压缩比的同时保持定时和原色的压缩系统的一个实施例。该压缩系统至少包括:视频发射器282和视频接收器284。视频发射器282接收输入高清晰度未压缩视频(HD-UV)280,该输入高清晰度未压缩视频(HD-UV)280以以下未压缩视频相关参数(PRTUV)为特征:未压缩的定时要求、未压缩的视频行数量和每视频行的未压缩的视频像素数量。视频发射器282将输入HD-UV 280压缩成具有在1:1和5:1之间的第一压缩比的第一压缩视频,并且在输出压缩视频链路283之上将第一压缩视频发送到视频接收器284。当接收到命令以平滑地在运行中将输入HD-UV 280的压缩切换成具有在2:1和10:1之间的第二压缩比的第二压缩视频时,视频发射器在输出压缩视频链路283之上将第二压缩视频发送到到视频接收器284,而不中断输入HD-UV的连续流动。视频接收器284将第一压缩视频和/或第二压缩视频解压成输出HD-UV。图8B示出了其中输出HD-UV在从第一压缩视频到第二压缩视频的改变之前、期间和之后保持PRTUV的一个实施例。可选地,输出HD-UV还保持输入HD-UV的像素的原色。
在一个实施例中,第一压缩视频和第二压缩视频的比率之间的差为至少25%。在一个实施例中,将第二压缩视频发送到视频接收器持续短于传输30个HD-UV帧所需的持续时间的持续时间,之后视频发射器将输入HD-UV的压缩平滑地在运行中改变成使用第一压缩比,以及将第一压缩视频发送到视频接收器,而不中断输入HD-UV的连续流动。额外地或替代地,可以将第二压缩视频发送到视频接收器持续短于传3个HD-UV帧的持续时间,之后视频发射器将输入HD-UV的压缩平滑地在运行中改变成使用第一压缩,以及将第一压缩视频发送到视频接收器,而不中断输入HD-UV的连续流动。
在一个实施例中,第一压缩视频具有1:1和2:1之间的压缩比,第二压缩视频具有4:1和10:1之间的压缩比,并且压缩系统还包括具有在2:1和4:1之间的第三压缩比的第三压缩视频。可选地,第一压缩视频和第三压缩视频之间的运行中改变,在改变之前、期间和之后,保持PRTUV。额外地或替代地,第一压缩视频和第三压缩视频之间的运行中改变还保持输入HD-UV的像素的原色。
在一个示例中,原色是红色、黄色和蓝色(RYB),或红色、绿色和蓝色(RGB),并且保持原色需要输入HD-UV和输出HD-UV的相应像素之间的差不超过12色调色环上的单次移位。在另一个示例中,原色是红色、黄色和蓝色(RYB),或红色、绿色和蓝色(RGB),为了保持原色,压缩不会引起将原色替换为另一原色的人为现象。
在一个实施例中,在所公开的实施例的上下文中,维持原色(红色、黄色和蓝色(RYB),或红色、绿色和蓝色(RGB))的压缩技术包括引起可以影响颜色深度的人为现象的压缩技术,并且包括引起可以导致12色调色环上的单次移位的人为现象的压缩技术,但是不包括引起用原色替换为另一原色的人为现象的压缩技术。例如,将像素的颜色深度从12位降低到8位的压缩技术在本文中被认为是保持原色的压缩技术,同时仅从所述像素的相邻像素导出像素值、或复制帧的压缩技术在本文中被认为是不保持原色的压缩技术,因为当像素被插值或复制而不是被传输时,蓝色像素可以容易地被红色像素替换。
在一个实施例中,输出HD-UV在从第一压缩视频到第二压缩视频的改变之前、期间和之后相对于输入HD-UV保持固定延迟。可选地,固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。
在一个实施例中,压缩系统还包括用于发出命令以平滑地在运行中改变输入HD-UV的压缩的控制器286。控制器286可以被实现为以下元件中的至少一个元件的一部分:视频发射器、视频接收器和/或网络控制器。
额外地或替代地,控制器286可以发出命令以将输入HD-UV的压缩从第一压缩视频平滑地在运行中改变到第二压缩视频,所述第一压缩视频是以第一压缩比压缩的,所述第二压缩视频是以第二压缩比压缩的。可以发出命令,以便:(i)释放带宽用于新的额外的视频流,和/或(ii)使在输入HD-UV和第二输入HD-UV之间能够视觉无损地平滑地改变。
图9示出了用于在运行中改变视频压缩比的同时保持定时和原色的方法的一个实施例。该方法包括以下步骤:在步骤300中,通过视频发射器,接收输入高清晰度未压缩视频(HD-UV),该输入高清晰度未压缩视频(HD-UV)以以下未压缩视频相关的参数(PRTUV)为特征:未压缩的定时要求、未压缩的视频行数量和每视频行的未压缩的视频像素数量。在步骤301中,将输入HD-UV压缩成具有在1:1和5:1之间的第一压缩比的第一压缩视频。在步骤302中,在通信链路之上,将第一压缩视频发送到视频接收器。在步骤303中,通过视频发射器,接收命令以将输入HD-UV的压缩平滑地在运行中改变成具有在2:1和10:1的第二压缩比的第二压缩视频。在步骤304中,在通信链路之上,将第二压缩视频发送到视频接收器,而不中断输入HD-UV的连续流动。可选地,第一压缩视频和第二压缩视频的比率之间的差为至少25%。在步骤305中,通过视频接收器,将第一压缩视频和/或第二压缩视频解压成输出HD-UV,其中输出HD-UV在从第一压缩视频改变成第二压缩视频之前、期间和之后保持PRTUV。可选地,输出HD-UV还保持输入HD-UV的像素的原色。
在一个实施例中,所述方法还包括:在短于传输30个HD-UV帧所需的持续时间的持续时间期间,将第二压缩视频发送到视频接收器,然后将输入的HD-UV的压缩平滑地在运行中改变成使用第一压缩比,以及将第一压缩视频发送到视频接收器,而不中断输入HD-UV的连续流动。额外地或替代地,所述方法还包括:在短于传输3个HD-UV帧所需的持续时间的持续时间期间,将第二压缩视频发送到视频接收器,然后将输入的HD-UV的压缩平滑地在运行中改变成使用第一压缩比,以及将第一压缩视频发送到视频接收器,而不中断输入HD-UV的连续流动。
在所述方法的一个实施例中,第一压缩视频具有1:1和2:1之间的压缩比,第二压缩视频具有4:1和10:1之间的压缩比,并且还包括具有在2:1和4:1之间的第三压缩比的第三压缩视频。所述方法还包括执行在第一压缩视频和第三压缩视频之间的平滑的运行中改变,同时在平滑的改变之前、期间和之后,保持PRTUV。
在一个实施例中,所述方法还包括在从第一压缩视频到第二压缩视频的改变之前、期间和之后,保持在输出HD-UV和输入HD-UV之间的固定延迟。可选地,固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。
在一个实施例中,所述方法还包括执行平滑的运行中改变以便释放带宽用于新的额外的视频流。额外地或替代地,所述方法还包括执行平滑的运行中改变以便使输入HD-UV和第二输入HD-UV之间能够视觉无损地切换。
图10示出了支持对视觉上无损的压缩比的改变以提供网络带宽用于额外的视频流的网络的一个实施例。网络至少包括:第一实时视频编码器(RT-VE)330、第一网络路径(333、334、335)、第一实时视频解码器(RT-VD)336、第二RT-VE 340、第二网络路径(343、334、345)和第二RT-VD 346。第一RT-VE 330接收第一输入高清晰度未压缩视频(HD-UV),使用直到10:1的第一压缩比将第一输入HD-UV压缩成第一压缩视频332,并且在第一网络路径(333、334、335)之上将第一压缩视频332发送到第一RT-VD 336。第一RT-VD 336从第一个压缩视频中提取输出HD-UV。可选地,相较于第一输入HD-UV,输出HD-UV是视觉无损的。
在建立第一网络路径(333、334、335)之后,以及由于包括在第一网络路径中的共同链路334上的带宽不足,第二RT-VE 340不能在包括共同链路334的第二网络路径(343、334、345)之上将第二压缩视频342发送到第二RT-VD 346。可选地,第二RT-VE 346接收第二输入HD-UV,并使用直到10:1的第二压缩比将第二输入HD-UV压缩成第二压缩视频。因此,为了使额外的视频流能够实现,第一RT-VE与不足的带宽成比例地,并以对于观看输出HD-UV的人视觉无损的方式,在运行中增加第一压缩比。由于在运行中增加第一压缩比,第二RT-VE能够在第二网络路径之上、与第一压缩视频并行地,将第一压缩视频发送到第二RT-VD。
在一个实施例中,网络还包括控制器350,所述控制器350用于评估不足的带宽,以及然后命令第一RT-VE 330,基于所评估的不足带宽、与不足带宽成比例地,在运行中增加第一压缩比。可选的,控制器350被实现为以下元件中的至少一个元件的一部分:RT-VE330、RT-VE 340、RT-VD 336、RT-VD 346和/或网络控制器。额外地或替代地,网络可以是资源预留网络。
在一个示例中,与不足带宽成比例地在运行中增加第一压缩比表示,关于在增加第一压缩比之前由第一压缩视频使用的带宽,该增加释放不超过150%的不足带宽。
在一个示例中,在运行中增加第一压缩比之前,该第一压缩比在1:1至5:1之间。在另一示例中,第一和第二压缩比在1:1和5:1之间。
在一个实施例中,第一压缩比的运行中的增加保持第一输入HD-UV和输出HD-UV的相应像素之前的相同的固定延迟。可选地,固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。额外地或替代地,第一压缩比的运行中的增加保持在第一输入HD-UV和输出HD-UV相应帧之间的总延迟,该总延迟低于两个视频帧的持续时间。
在一个示例中,第一压缩的视觉无损的运行中的增加表示,第一输入HD-UV和输出HD-UV的相应帧之间的比较表明由于第一压缩比的运行中增加,视频同步信号和视频定时信号是不中断的。在另一示例中,第一压缩的视觉无损的运行中的增加表示,第一输入HD-UV和输出HD-UV的相应帧之间的比较表明第一压缩比的运行中的增加不会导致一个或多个缺失视频帧。在另一示例中,第一压缩的视觉无损的运行中的增加表示,第一输入HD-UV和输出HD-UV的相应帧之间的比较表明第一压缩比的运行中的增加不会导致一个或多个缺失的视频消隐信号。
在一个实施例中,第一RT-VE 330包括用于存储第一输入HD-UV以进行将第一输入HD-UV压缩成第一压缩视频所需的计算的缓冲器,并且该缓冲器的容量低于存储第一输入HD-UV的两个视频帧所需要的容量。
图11示出了用于视觉无损地改变压缩比以提供网络带宽用于额外的流的方法的一个实施例。该方法包括以下步骤:在步骤360中,通过第一实时视频编码器(RT-VE),接收第一输入高清晰度未压缩视频(HD-UV),使用直到10:1的第一压缩比将第一输入HD-UV压缩成第一压缩视频,并且在第一网络路径之上将第一压缩视频发送到第一实时视频解码器(RT-VD)。在步骤361中,通过第一RT-VD从第一压缩视频中提取输出HD-UV。可选地,相较于第一输入HD-UV,输出HD-UV是视觉无损的。在步骤362中,推断在建立第一网络路径之后,以及由于包括在第一网络路径中的共同链路上的带宽不足,第二RT-VE不能在包括共同链路的第二网络路径之上将第二压缩视频发送到第二RT-VD。可选地,第二RT-VE接收第二输入HD-UV,并使用直到10:1的第二压缩比将第二输入HD-UV压缩成第二压缩视频。并且在步骤363中,与不足带宽成比例地,并以对于观看输出HD-UV的人视觉无损的方式,在运行中增加第一压缩比。由于第一压缩比的增加,第二RT-VE能够在第二网络路径之上、与第一压缩视频并行地,将第二压缩视频发送到第二RT-VD。
在一个实施例中,所述方法还包括评估不足带宽,以及然后命令第一RT-VE基于所评估的不足带宽、与不足带宽成比例地,在运行中增加第一压缩比。
在一个实施例中,第一压缩比的与不足带宽成比例的在运行中的增加表示,增加释放了不多于150%的不足带宽。额外地或替代地,第一和第二压缩比可以在1:1和5:1之间。
在一个实施例中,第一压缩比的运行中的增加保持第一输入HD-UV和输出HD-UV的相应像素之前的相同的固定延迟。可选地,固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。额外地或替代地,第一压缩比的运行中的增加可以保持在第一输入HD-UV和输出HD-UV相应帧之间的总延迟,该总延迟低于两个视频帧的持续时间。
图12示出了支持视频源的平滑切换的网络的一个实施例。该网络至少包括:第一实时视频编码器(RT-VE)400、第一网络路径(403、404、405)、第一实时视频解码器(RT-VD)406、第二RT-VE 410、第二网络路径(413、404、415)、第二RT-VD 416、视频切换控制器420和视频切换器422。第一RT-VE接收第一输入高清晰度未压缩视频(HD-UV),使用直到5:1的第一压缩比将第一输入HD-UV压缩成第一压缩视频402,并且在第一网络路径(403、404、405)之上将第一压缩视频发送到第一RT-VD 406,所述第一RT-VD 406从第一压缩视频402中提取第一输出HD-UV 407。第二RT-VE 410接收第二输入HD-UV,使用直到5:1的第二压缩比将第二输入HD-UV压缩成第二压缩视频412,并且在第二网络路径(413、404、415)之上将第二压缩视频发送到第二RT-VD 416,所述第二RT-VD 416从第二压缩视频412中提取第一输出HD-UV 417。
第一网络路径和第二网络路径共享共同链路404,所述共同链路404具有不足以携带第一和第二压缩视频(402、412)两者的带宽。为了支持视频源的平滑切换,视频切换控制器420通过以下方式同步第一输入HD-UV和第二输入HD-UV之间的切换:指示第一RT-VE 400和第二RT-VE 410以将第一压缩比和第二压缩比增加成使共同链路404能够携带第一和第二压缩视频(402、412)两者的压缩比,指示视频切换器422以执行第一和第二输出HD-UV(407、417)之间的平滑切换,指示第一RT-VE 400以在平滑切换之后停止发送第一压缩视频402,并且指示第二RT-VE 410以减小第二压缩比。额外地,为了实现平滑切换,与第一和第二输出HD-UV(407、417)相比,作为增加第一和第二压缩比的结果,第一和第二输出HD-UV(407、417)的转换以视觉无损的方式执行。
在一个实施例中,视频切换器接收第一输出HD-UV和第二输出HD-UV,执行平滑切换,并输出未压缩视频。在一个示例中,在第一输出HD-UV和第二输出HD-UV之间的切换期间,第一输出HD-UV和第二输出HD-UV之间的平滑切换是平滑切换而不中断。
在另一实施例中,视频切换器接收第一和第二压缩视频,执行平滑切换,并输出未压缩视频。在一个示例中,视频切换控制器在视频切换器处实现。
在一个实施例中,第一输入HD-UV和第二输入HD-UV是同步的,并且视频切换器不执行视频缩放。替代地,第一输入HD-UV和第二输入HD-UV是不同步的,并且视频切换器还执行视频缩放。在一个实施例中,视频切换控制器被实现为以下设备中的至少一个的一部分:第一RT-VE、第二RT-VE、视频切换器、第一RT-VD、第二RT-VD和独立设备。
在一个实施例中,第一RT-VE包括用于不同压缩比的至少两个不同的实时视频编码器。额外地地或替代地,第一RT-VE包括:低压缩实时视频编码器,以在增加第一压缩比之前压缩第一压缩视频;以及较高压缩实时视频编码器,以在增加第一压缩比之后压缩第一压缩视频。在一个示例中,在增加其压缩比之前,第一压缩比在1:1至3:1之间。
在一个实施例中,第一压缩比的增加保持第一输入HD-UV和第一输出HD-UV的相应像素之间的相同的固定延迟。可选地,固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。额外地或替代地,第一压缩比的增加保持在第一输入HD-UV和第一输出HD-UV相应帧之间的总延迟,该总延迟低于两个视频帧的持续时间。
在一个实施例中,对于观看由视频切换器提供的HD-UV的人而言,平滑切换是视觉上无损的。在另一个实施例中,平滑切换表示,在第一压缩视频和第一输出HD-UV的直到平滑切换的最后几个相应帧之间的比较,以及第二压缩视频和第二输出HD-UV的紧接着平滑切换之后的前几个相应帧的比较,表明由于平滑切换,视频同步信号和视频定时信号不中断。在另一个实施例中,平滑切换表示,在第一压缩视频和第一输出HD-UV的直到平滑切换的最后几个相应帧之间的比较,以及第二压缩视频和第二输出HD-UV的紧接着平滑切换之后的前几个相应帧的比较,表明平滑切换不导致一个或多个缺失视频帧。在另一个实施例中,平滑切换表示,在第一压缩视频和第一输出HD-UV的直到平滑切换的最后几个相应帧之间的比较,以及第二压缩视频和第二输出HD-UV的紧接着平滑切换之后的前几个相应帧的比较,表明平滑切换不导致一个或多个缺失视频消隐信号。并且,在另一个实施例中,平滑切换表示,由于平滑切换,不丢失像素,不包括颜色深度。
图13示出了用于视频源的平滑切换的方法的一个实施例。该方法包括以下步骤:在步骤440中,通过第一实时视频编码器(RT-VE),接收第一输入高清晰度未压缩视频(HD-UV),使用直到5:1的第一压缩比将第一输入HD-UV压缩成第一压缩视频,并且在第一网络路径之上将第一压缩视频发送到第一实时视频解码器(RT-VD)。在步骤441中,通过第一RT-VD从第一压缩视频中提取第一输出HD-UV。在步骤442中,通过第二RT-VE,接收第二输入HD-UV,使用直到5:1的第二压缩比将第二输入HD-UV压缩成第二压缩视频,并且在第二网络路径之上将第二压缩视频发送到第二RT-VD。在步骤443中,通过第二RT-VD从第二压缩视频中提取第二输出HD-UV。在步骤444中,推断第一网络路径和第二网络路径共享共同链路,所述共同链路具有不足以携带第一和第二压缩视频两者的带宽。并且使用以下步骤同步第一输出HD-UV和第二输出HD-UV之间的平滑切换:在步骤445中,指示第一RT-VE和第二RT-VE以增加第一压缩比和第二压缩比到使共同链路能够携带第一压缩视频和第二压缩视频两者的比率。在步骤446中,指示视频切换器以执行第一输出HD-UV和第二输出HD-UV之间的平滑切换。在步骤447中,指示第一RT-VE以在平滑切换之后停止发送第一压缩视频。并且在步骤448中,指示第二RT-VE以降低第二压缩比。
在一个示例中,在第一输出HD-UV和第二输出HD-UV之间的平滑切换是在第一输出HD-UV和第二输出HD-UV之间的切换期间不中断的平滑切换。
在一个实施例中,第一输入HD-UV和第二输入HD-UV是不同步的,并且进一步包括由视频切换器执行视频缩放。
在一个实施例中,所述方法还包括:通过第一RT-VE,操作低压缩实时视频编码器,以在增加第一压缩比之前压缩第一压缩视频;以及操作较高压缩实时视频编码器,以在增加第一压缩比之后压缩第一压缩视频。在一个示例中,在增加其压缩比之前,第一压缩比在1:1至3:1之间。
在一个实施例中,第一压缩比的增加保持第一输入HD-UV和第一输出HD-UV的相应像素之前的相同的固定延迟。可选地,固定延迟是指比HD-UV帧的四分之一的持续时间短的精确度。额外地或替代地,第一压缩比的增加保持在第一输入HD-UV和第一输出HD-UV相应帧之间的总延迟,该总延迟低于两个视频帧的持续时间。
以下陈述1至125总结了本说明书中描述的发明的特定方面:
1.一种低延迟视频流系统,包括多个视频压缩比,包括:实时视频编码器(RT-VE),所述RT-VE配置为接收输入高清晰度未压缩视频(HD-UV),根据第一压缩比和第二压缩比中的至少一个处理所述输入HD-UV,并且在资源预留通信链路之上将所处理的视频发送到实时视频解码器(RT-VD);其中,所述第一压缩比为直到5:1,并且所述第二压缩比比所述第一压缩比更深且为直到10:1;其中,对于所述两个压缩比,由所述RT-VE添加的压缩延迟低于单个视频帧的持续时间;并且所述RT-VD配置成将所处理的视频转换成输出HD-UV;其中,在继续不间断地接收所述输入HD-UV的同时,在所述第一压缩比和所述第二压缩比之间的运行中的切换均为视觉无损切换并且保持在所述输入HD-UV和所述输出HD-UV的相应帧之间的总延迟,所述总延迟低于两个视频帧的持续时间。
2.根据陈述1所述的低延迟视频流系统,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,由于所述运行中的切换,视频同步信号和视频定时信号是不被损害的。
3.根据陈述1所述的低延迟视频流系统,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比和所述第二压缩比之间的运行中的切换不会导致缺失视频帧。
4.根据陈述1所述的低延迟视频流系统,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比和所述第二压缩比之间的运行中的切换不会导致缺失视频帧行。
5.根据陈述1所述的低延迟视频流系统,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比和所述第二压缩比之间的运行中的切换不会导致缺失视频消隐信号。
6.根据陈述1所述的低延迟视频流系统,其中,所述视觉无损切换表示:没有丢失像素,不包括颜色深度。
7.根据陈述1所述的低延迟视频流系统,其中,所述视觉无损切换表示:由于所述第一压缩比和所述第二压缩比之间的切换,观看所述输出HD-UV的用户不被预期感知HD视频质量中的中断。
8.根据陈述1所述的低延迟视频流系统,还包括:控制器,所述控制器配置成设置所述低延迟视频流系统的所述压缩比。
9.根据陈述8所述的低延迟视频流系统,其中,所述控制器被实现为以下元件中的至少一个元件的一部分:所述RT-VE、所述RT-VD和网络控制器。
10.根据陈述8所述的低延迟视频流系统,其中,所述控制器配置成从所述第一压缩比在运行中切换到所述第二压缩比,以便为新的额外视频流释放带宽。
11.根据陈述1所述的低延迟视频流系统,其中,在所述输入HD-UV和所述输出HD-UV的相应帧之间的所述总延迟低于视频帧的持续时间。
12.根据陈述1所述的低延迟视频流系统,其中,在所述第一压缩比和所述第二压缩比之间的所述运行中的切换不会中断来自解码器的未压缩视频的流动。
13.根据陈述1所述的低延迟视频流系统,其中,当在所述第一压缩比和第二压缩比之间运行中切换时,所述总延迟不改变。
14.根据陈述1所述的低延迟视频流系统,其中,所述RT-VE包括:缓冲器,所述缓冲器配置为,为了进行将所述输入HD-UV压缩成压缩视频所需的计算的目的存储所述输入HD-UV,并且所述缓冲器的容量低于存储两个HD-UV帧所需要的容量。
15.根据陈述1所述的低延迟视频流系统,其中,所述RT-VD包括:缓冲器,所述缓冲器配置为,为了进行从所述压缩视频中提取所述输出HD-UV所需的计算的目的存储所述输入处理视频,并且所述缓冲器的容量低于存储两个输出HD-UV帧所需要的容量。
16.一种用于包括多个视频压缩比的低延迟视频流的方法,包括:通过实时视频编码器(RT-VE)接收输入高清晰度未压缩视频(HD-UV);根据直到5:1的第一压缩比,将所述输入HD-UV转换成第一压缩视频,同时添加低于单个视频帧的持续时间的压缩延迟;将所述第一压缩视频发送到实时视频解码器(RT-VD);通过所述RT-VD将所述第一压缩视频转换成输出HD-UV;在继续不间断地接收所述输入HD-UV的同时,在运行中切换以根据直到10:1的第二压缩比将所述输入HD-UV转换成第二压缩视频,同时添加低于单个视频帧的持续时间的压缩延迟;其中,所述第二压缩比比所述第一压缩比更深;将所述第二压缩视频发送到所述RT-VD;并且通过所述RT-VD将所述第二压缩视频转换成所述输出HD-UV;其中,从所述第一压缩视频到所述第二压缩视频的运行中的切换是视觉无损切换,所述视觉无损切换使在所述输入HD-UV和所述输出HD-UV的相应帧之间的总延迟保持低于两个视频帧的持续时间。
17.根据陈述16所述的方法,其中,当在所述第一压缩比和第二压缩比之间运行中切换时,所述总延迟不改变。
18.根据陈述16所述的方法,还包括存储少于两个HD-UV帧,以便将所述输入HD-UV压缩成所述第二压缩视频。
19.根据陈述16所述的方法,还包括存储少于一个输入HD无损视频帧,以便从所述第一压缩视频提取所述输出HD-UV。
20.一种低延迟通信系统,所述低延迟通信系统支持在不同视频压缩比之间的视觉无损切换,其包括:实时视频编码器(RT-VE),所述RT-VE配置为接收输入高清晰度未压缩视频(HD-UV),并且使用直到5:1的第一帧内压缩比或者直到10:1的第二帧内压缩比将所述输入HD-UV压缩成压缩视频,其中,所述第二帧内压缩比比所述第一帧内压缩比更深;以及实时视频解码器(RT-VD),所述RT-VD配置成接收所述压缩视频,并将所述压缩视频解压成输出HD-UV;其中,在继续不间断地接收所述输入HD-UV的同时,在所述输入HD-UV和所述输出HD-UV的相应视频像素之间的延迟低于两个HD视频帧的持续时间,并且在所述第一压缩比和所述第二压缩比之间的运行中切换是视觉无损的。
21.根据陈述20所述的低延迟通信系统,其中,所述运行中的视觉无损切换表示:在所述输入HD-UV和所述输出HD-UV之间的差在所述第一压缩比和所述第二压缩比之间的切换被执行之前、期间和之后都是视觉无损的。
22.根据陈述20所述的低延迟通信系统,其中,所述第一压缩比和所述第二压缩比中的每一个压缩比在连续的运行中的比率切换之间压缩至少10个连续的视频帧。
23.根据陈述20所述的低延迟视频流系统,其中,在所述输入HD-UV和所述输出HD-UV的相应视频像素之间的所述延迟短于单个视频帧的持续时间。
24.一种用于低延迟通信的方法,所述低延迟通信支持不同视频压缩比之间的视觉无损切换,所述方法包括:通过实时视频编码器(RT-VE)接收输入高清晰度未压缩视频(HD-UV);使用直到5:1的第一帧内压缩比,将所述输入HD-UV压缩成第一压缩视频,并且将其发送到实时视频解码器(RT-VD);通过所述RT-VD将所述第一压缩视频解压成输出HD-UV;在继续不间断地接收所述输入HD-UV的同时,在运行中切换以使用直到10:1的第二帧内压缩比将所述输入HD-UV压缩成第二压缩视频,并将其发送到所述RT-VD;其中,所述第二帧内压缩比比所述第一帧内压缩比更深;并且通过所述RT-VD将所述第二压缩视频解压成所述输出HD-UV;其中,所述运行中切换既是视觉无损的,也使在所述输入HD-UV和所述输出HD-UV的相应视频像素之间的总延迟保持低于两个HD视频帧的持续时间。
25.根据陈述24所述的方法,还包括在所述切换之前和之后立刻压缩至少10个连续视频帧。
26.根据陈述24所述的方法,其中,在所述输入HD-UV和所述输出HD-UV的相应视频像素之间的所述延迟短于单个视频帧的持续时间,在所述切换的附近也是如此。
27.一种固定延迟视频通信链路,包括:实时视频编码器(RT-VE),所述RT-VE配置为接收输入高清晰度未压缩视频(HD-UV),将所述输入HD-UV压缩成第一HD压缩视频或第二HD压缩视频,并且将所述HD压缩视频在通信链路之上传输到实时视频解码器(RT-VD);其中,所述第一HD压缩视频的第一压缩比在1:1和2:1之间,所述第二HD压缩视频的第二压缩比为直到5:1,并且在所述第一压缩比和所述第二压缩比之间的差为至少25%;并且所述RT-VD配置为将所述HD压缩视频解压成输出HD-UV;其中,在继续不间断地接收所述输入HD-UV的同时,所述第一压缩比和所述第二压缩比之间的运行中切换既是视觉无损的,也保持在所述输入HD-UV和所述输出HD-UV的相应像素之间的相同的固定延迟。
28.根据陈述27所述的固定延迟视频通信链路,其中,所述第一压缩比是未压缩视频。
29.根据陈述27所述的固定延迟视频通信链路,其中,在所述第一压缩比和所述第二压缩比之间的所述运行中切换中的至少一些是使用第三压缩比逐渐地执行的,所述第三压缩比具有所述第一压缩比和所述第二压缩比之间的值;其中,所述逐渐的切换既是视觉无损的,也保持在所述输入HD-UV和所述输出HD-UV的相应像素之间的相同的固定延迟。
30.根据陈述27所述的固定延迟视频通信链路,还包括:具有直到10:1的第三压缩比的第三HD压缩视频;其中,所诉第二压缩比和所述第三压缩比之间的差为至少25%,并且在连续不间断地接收所述输入HD-UV的同时,所述第二压缩比和所述第三压缩比之间的运行中切换,既是视觉无损的,也保持所述输入HD-UV和所述输出HD-UV的相应像素之间的相同的固定延迟。
31.根据陈述27所述的固定延迟视频通信链路,其中,所述第一压缩和所述第二压缩是帧间压缩,并且所述视频通信链路还包括缓冲器,所述缓冲器配置为存储视频像素,以便使所述HD压缩视频相关的延迟和所述HD压缩视频均衡。
32.根据陈述27所述的固定延迟视频通信链路,其中,所述第一压缩是帧间压缩,且所述第二压缩是帧内压缩。
33.根据陈述27所述的固定延迟视频通信链路,其中,所述固定延迟视频通信链路支持所述第一压缩比和所述第二压缩比之间的短的运行中切换,使得在切换回所述第一压缩比之前,所述第二压缩比用于传输数据持续短于传输直到3个HD-UV帧所需的持续时间的持续时间。
34.根据陈述27所述的固定延迟视频通信链路,其中,所述固定延迟视频通信链路支持所述第一压缩比和所述第二压缩比之间的短的运行中切换,使得在切换回所述第一压缩比之前,所述第二压缩比用于传输数据持续短于传输直到30个HD-UV帧所需的持续时间的持续时间。
35.根据陈述27所述的固定延迟视频通信链路,其中,视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,在所述运行中切换其期间,视频同步信号和视频定时信号不中断。
36.根据陈述27所述的固定延迟视频通信链路,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比和所述第二压缩比之间的所述运行中切换不会导致缺失视频帧。
37.根据陈述27所述的固定延迟视频通信链路,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比和所述第二压缩比之间的所述运行中切换不会导致缺失视频帧行。
38.根据陈述27所述的固定延迟视频通信链路,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比和所述第二压缩比之间的所述运行中切换不会导致缺失视频消隐信号。
39.根据陈述27所述的固定延迟视频通信链路,其中,所述视觉无损切换表示:没有丢失像素,不包括颜色深度。
40.一种用于视觉无损视频切换的方法,包括:接收输入高清晰度未压缩视频(HD-UV);利用处理器将所述输入HD-UV压缩成第一HD压缩视频,所述第一HD压缩视频具有在1:1和5:1之间的第一压缩比;在通信链路之上将所述第一HD压缩视频传输到实时视频解码器(RT-VD);通过所述RT-VD将所述第一HD压缩视频解压成输出HD-UV;将所述输入HD-UV压缩成第二HD压缩视频,所述第二HD压缩视频具有在2:1和10:1之间的第二压缩比;其中,所述第一压缩比和所述第二压缩比之间的差为至少25%;在所述通信链路之上将所述第二HD压缩视频传输到所述RT-VD;并且通过所述RT-VD将所述第二HD压缩视频解压成所述输出HD-UV;其中,在继续不间断地接收所述输入HD-UV的同时发生的所述第一压缩比和所述第二压缩比之间的运行中切换既是视觉无损的,也保持所述输入HD-UV和所述输出HD-UV的相应视频像素之间的相同的固定延迟。
41.根据陈述40所述的方法,其中,所述第一压缩比是未压缩视频。
42.根据陈述40所述的方法,还包括具有在3:1和10:1之间的第三压缩比的第三HD压缩视频;其中,所述第二压缩比和所述第三压缩比之间的差为至少25%,并且在继续不间断地接收所述输入HD-UV的同时,在所述第二压缩比和所述第三压缩比之间的运行中切换既是视觉无损的,也保持所述输入HD-UV和所述输出HD-UV的相应像素之间的相同的固定延迟。
43.根据陈述40所述的方法,其中,所述方法支持在所述第一压缩比和所述第二压缩比之间的短的运行中切换,使得所述第二压缩比用于传输数据持续直到3个HD-UV帧的持续时间,直到切换回使用所述第一压缩比。
44.根据陈述40所述的方法,其中,所述方法支持在所述第一压缩比和所述第二压缩比之间的短的运行中切换,使得所述第二压缩比用于传输数据持续直到30个HD-UV帧的持续时间,直到切换回使用所述第一压缩比。
45.根据陈述40所述的方法,其中,视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,在所述运行中切换期间,视频同步信号和视频定时信号不中断。
46.根据陈述40所述的方法,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比和所述第二压缩比之间的所述运行中切换不会导致缺失视频帧。
47.根据陈述40所述的方法,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比和所述第二压缩比之间的所述运行中切换不会导致缺失视频帧行。
48.根据陈述40所述的方法,其中,所述视觉无损切换表示:所述输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比和所述第二压缩比之间的所述运行中切换不会导致缺失视频消隐信号。
49.根据陈述40所述的方法,其中,所述视觉无损切换表示:没有丢失像素,不包括颜色深度。
50.一种具有多个压缩比的固定延迟视频发射器,包括:实时视频编码器(RT-VE),所述RT-VE配置为接收输入高清晰度未压缩视频(HD-UV),并且将所述输入HD-UV压缩成第一轻高清晰度(HD)压缩视频或第二轻高清晰度(HD)压缩视频;其中,所述第一轻HD压缩视频的第一压缩比在1:1和5:1之间,所述第二轻HD压缩视频的第二压缩比在2:1和5:1之间,并且在所述第一压缩比和所述第二压缩比之间的差为至少25%;控制器,所述控制器包括配置为调整所述第一轻HD压缩视频和所述第二轻HD压缩视频的延迟的缓冲器;并且发射器配置为在相对于所述输入HD-UV的固定延迟之后在通信链路之上发送所述第一轻HD压缩视频或所述第二轻HD压缩视频。
51.根据陈述50所述的固定延迟视频发射器,其中,所述固定延迟视频发射器还配置为,在所述第一压缩比和所述第二压缩比之间的运行中切换的同时,以及继续不间断地接收所述输入HD-UV的同时,对于所述第一轻HD压缩视频和所述第二轻HD压缩视频相对于所述输入HD-UV保持相同的固定延迟。
52.根据陈述51所述的固定延迟视频发射器,其中,所述切换是视觉无损的。
53.根据陈述50所述的固定延迟视频发射器,其中,相较于所述第二轻HD压缩视频,所述控制器向所述第一轻HD压缩视频添加更长的延迟,以便对于所述第一轻HD压缩视频和所述第二轻HD压缩视频相对于所述输入HD-UV保持相同的固定延迟。
54.根据陈述50所述的固定延迟视频发射器,其中,所述缓冲器位于以下位置中的至少一个:所述RT-VE之前,所述RT-VE处,以及所述RT-VE之后。
55.用于在保持固定延迟的同时在不同压缩比之间切换的方法,包括:接收输入高清晰度未压缩视频(HD-UV);将所述输入HD-UV压缩成第一轻HD压缩视频,所述第一轻HD压缩视频具有在1:1和5:1之间的第一压缩比;在相对于所述输入HD-UV的第一固定延迟之后在通信链路之上发送所述第一轻HD压缩视频;在继续不间断地接收所述输入HD-UV的同时,将所述输入HD-UV压缩成第二轻HD压缩视频,所述第二轻HD压缩视频具有在2:1和5:1之间的第二压缩比;其中,所述第一压缩比和所述第二压缩比之间的差为至少25%;以及在相对于所述输入HD-UV的第二固定延迟之后在通信链路之上发送所述第二轻HD压缩视频。
56.根据陈述55所述的方法,其中,所述第一固定延迟和所述第二固定延迟之间的差小于所述第一固定延迟的5%。
57.根据陈述56所述的方法,还包括:相较于所述第二轻HD压缩视频向第一轻HD压缩视频添加更长的延迟,以便使所述第一固定延迟和所述第二固定延迟均衡。
58.根据陈述56所述的方法,其中,发送所述第一轻HD压缩视频和发送所述第二轻HD压缩视频之间的切换不会导致损害所述输入HD-UV的视频同步信号和视频定时信号。
59.根据陈述56所述的方法,其中,发送所述第一轻HD压缩视频和发送所述第二轻HD压缩视频之间的切换不会导致所述输入HD-UV的缺失帧行。
60.根据陈述56所述的方法,其中,发送所述第一轻HD压缩视频和发送所述第二轻HD压缩视频之间的切换不会导致所述输入HD-UV的缺失消隐信号。
61.一种压缩系统,其配置为在运行中改变视频压缩比的同时保持未压缩视频相关参数(PRTUV),所述压缩系统包括:视频发射器,所述视频发射器配置为接收输入高清晰度未压缩视频(HD-UV),所述输入高清晰度未压缩视频特征在于以下PRTUV:未压缩定时要求、未压缩视频行数量、以及每视频行的未压缩视频像素数量;所述视频发射器还配置为将所述输入HD-UV压缩成具有在1:1和5:1之间的第一压缩比的第一压缩视频,并且在通信链路之上将所述第一压缩视频发送到视频接收器;所述视频发射器还配置为接收命令以将所述输入HD-UV的压缩平滑地在运行中改变成具有在2:1和10:1之间的第二压缩比的第二压缩视频,以及在所述通信链路之上将所述第二压缩视频发送到所述视频接收器,而不中断所述输入HD-UV的连续流动;其中,所述第一压缩视频和所述第二压缩视频的比率之间的差为至少25%;并且所述视频接收器配置为将所述第一压缩视频或所述第二压缩视频解压成输出HD-UV;其中,所述输出HD-UV在从所述第一压缩视频到所述第二压缩视频的所述改变之前、期间和之后,保持所述PRTUV。
62.根据陈述61所述的压缩系统,其中,将所述第二压缩视频发送到所述视频接收器持续短于传输30个HD-UV帧所需的持续时间的持续时间,之后所述视频发射器将所述输入HD-UV的压缩平滑地在运行中改变成使用所述第一压缩比,并且将所述第一压缩视频发送到所述视频接收器,而不中断所述输入HD-UV的连续流动。
63.根据陈述61所述的压缩系统,其中,将所述第二压缩视频发送到所述视频接收器持续短于传输3个HD-UV帧所需的持续时间的持续时间,之后所述视频发射器将所述输入HD-UV的压缩平滑地在运行中改变成使用所述第一压缩比,并且将所述第一压缩视频发送到所述视频接收器,而不中断所述输入HD-UV的连续流动。
64.根据陈述61所述的压缩系统,其中,所述第一压缩视频具有在1:1和2:1之间的压缩比,所述第二压缩视频具有在4:1和10:1之间的压缩比,并且还包括具有在2:1和4:1之间的第三压缩比的第三压缩视频;其中,在所述第一压缩视频和所述第三压缩视频之间的运行中的平滑改变在所述平滑改变之前、期间和之后保持所述PRTUV。
65.根据陈述61所述的压缩系统,其中,所述输出HD-UV在从所述第一压缩视频到所述第二压缩视频的所述改变之前、期间和之后还保持所述输入HD-UV的像素的原色。
66.根据陈述65所述的压缩系统,其中,所述原色是红色、黄色和蓝色(RYB),或者红色、绿色和蓝色(RGB),并且保持所述原色需要所述输入HD-UV和所述输出HD-UV的相应像素之间的差不超过12色调色环上的单次移位。
67.根据陈述65所述的压缩系统,其中,所述原色是红色、黄色和蓝色(RYB),或红色、绿色和蓝色(RGB),为了保持所述原色,所述压缩不会引起将一个原色替换为另一个原色的人为现象。
68.根据陈述61所述的压缩系统,其中,所述输出HD-UV在从所述第一压缩视频到所述第二压缩视频的所述改变之前、期间和之后相对于所述输入HD-UV保持固定延迟。
69.根据陈述61所述的压缩系统,其中,还包括控制器,所述控制器配置为发布命令以平滑地在运行中切换所述输入HD-UV的所述压缩,其中,所述控制器实现为以下元件中的至少一个的一部分:所述视频发射器、所述视频接收器和网络控制器。
70.根据陈述61所述的压缩系统,其中,还包括控制器,所述控制器配置为发布命令以将所述输入HD-UV的所述压缩从所述第一压缩视频平滑地在运行中切换为所述第二压缩视频;其中,发布命令以便释放带宽用于新的额外的视频流。
71.根据陈述61所述的压缩系统,其中,还包括控制器,所述控制器配置发布命令以将所述输入HD-UV的所述压缩从所述第一压缩视频平滑地在运行中切换为所述第二压缩视频;其中,发布所述命令以便实现在所述输入HD-UV和所述第二输入HD-UV之间的视觉无损的平滑改变。
72.一种用于在运行中改变视频压缩比的同时保持未压缩视频相关参数(PRTUV)的方法,所述方法包括:通过视频发射器,接收输入高清晰度未压缩视频(HD-UV),该输入高清晰度未压缩视频特征在于以下PRTUV:未压缩定时要求、未压缩视频行数量、以及每视频行的未压缩视频像素数量;将所述输入HD-UV压缩成具有在1:1和5:1之间的第一压缩比的第一压缩视频;在通信链路之上将所述第一压缩视频发送到视频接收器;通过所述视频发射器,接收命令以将所述输入HD-UV的压缩平滑地在运行中改变成具有在2:1和10:1之间的第二压缩比的第二压缩视频;在所述通信链路之上将所述第二压缩视频发送到所述视频接收器,而不中断所述输入HD-UV的连续流动;其中,所述第一压缩视频和所述第二压缩视频的比率之间的差为至少25%;以及通过所述视频接收器将所述第一压缩视频或所述第二压缩视频解压成输出HD-UV;其中,所述输出HD-UV在从所述第一压缩视频到所述第二压缩视频的所述改变之前、期间和之后,保持所述PRTUV。
73.根据陈述72所述的方法,还包括:在短于传输30个HD-UV帧所需的持续时间的持续时间期间,将所述第二压缩视频发送到所述视频接收器,然后将所述输入HD-UV的压缩平滑地在运行中改变成使用所述第一压缩比,以及将所述第一压缩视频发送到所述视频接收器,而不中断所述输入HD-UV的连续流动。
74.根据陈述72所述的方法,还包括:在短于传输3个HD-UV帧所需的持续时间的持续时间期间,将所述第二压缩视频发送到所述视频接收器,然后将所述输入HD-UV的压缩平滑地在运行中改变成使用所述第一压缩比,以及将所述第一压缩视频发送到所述视频接收器,而不中断所述输入HD-UV的连续流动。
75.根据陈述72所述的方法,其中,所述第一压缩视频具有在1:1和2:1之间的压缩比,所述第二压缩视频具有在4:1和10:1之间的压缩比,并且还包括具有在2:1和4:1之间的第三压缩比的第三压缩视频;并且还包括,执行在所述第一压缩视频和所述第三压缩视频之间的平滑的运行中改变,同时在所述平滑的改变之前、期间和之后保持所述PRTUV。
76.根据陈述72所述的方法,其中,所述输出HD-UV在从所述第一压缩视频到所述第二压缩视频的所述改变之前、期间和之后还保持所述输入HD-UV的像素的原色。
77.根据陈述72所述的方法,还包括在从所述第一压缩视频到所述第二压缩视频的改变之前、期间和之后,保持在所述输出HD-UV和所述输入HD-UV之间的固定延迟。
78.根据陈述72所述的方法,还包括执行平滑的运行中改变以便释放用于新的额外的视频流的带宽。
79.根据陈述72所述的方法,还包括执行平滑的运行中改变以便实现所述输入HD-UV和所述第二输入HD-UV之间的视觉无损切换。
80.一种网络,其配置为支持对压缩比的视觉无损的改变以提供网络带宽用于额外的视频流,所述网络包括:第一实时视频编码器(RT-VE),所述RT-VE配置为接收第一输入高清晰度未压缩视频(HD-UV),使用直到10:1的第一压缩比将所述第一输入HD-UV压缩成第一压缩视频,以及在第一网络路径之上将所述第一压缩视频发送到第一实时视频解码器(RT-VD);所述第一RT-VD配置成从所述第一压缩视频提取输出HD-UV;在建立所述第一网络路径之后,以及由于包括在所述第一网络路径中的共同链路上的不足带宽,第二RT-VE不能在包括所述共同链路的第二网络路径之上将第二压缩视频发送到第二RT-VD;其中,所述第二RT-VE配置为接收第二输入HD-UV以及使用直到10:1的第二压缩比将所述第二输入HD-UV压缩成第二压缩视频;并且所述第一RT-VE还配置为与所述不足带宽成比例地并且以对于观看所述输出HD-UV的人视觉无损的方式,在运行中增加所述第一压缩比;由此所述第一压缩比的运行中增加使所述第二RT-VE能够在所述第二网路路径之上、与所述第一压缩视频并行地,将所述第二压缩视频发送到所述第二RT-VD。
81.根据陈述80所述的网路,还包括控制器,所述控制器配置为评估所述不足带宽,以及然后命令所述第一RT-VE以基于所评估的不足带宽、与所述不足带宽成比例地在运行中增加所述第一压缩比。
82.根据陈述81所述的网络,其中,所述控制器被实现为以下元件中的至少一个元件的一部分:所述RT-VE、所述RT-VD和网络控制器。
83.根据陈述80所述的网络,其中,所述第一压缩比的与所述不足带宽成比例的在运行中的增加表示,所述增加释放不多于所述不足带宽的150%。
84.根据陈述80所述的网络,其中,在运行中增加所述第一压缩比之前,所述第一压缩比在1:1至5:1之间。
85.根据陈述80所述的网络,其中,所述第一压缩比和所述第二压缩比在1:1至5:1之间。
86.根据陈述80所述的网络,其中,所述第一压缩比的运行中的增加保持所述第一输入HD-UV和所述输出HD-UV的相应像素之前的相同的固定延迟。
87.根据陈述80所述的网络,其中,所述第一压缩比的运行中的增加保持所述第一输入HD-UV和所述输出HD-UV相应帧之间的总延迟,所述总延迟低于两个视频帧的持续时间。
88.根据陈述80所述的方法,其中所述网络为资源预留网络。
89.根据陈述80所述的网络,其中,所述第一压缩的视觉无损的运行中的增加表示:所述第一输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,由于所述第一压缩比的运行中的增加,视频同步信号和视频定时信号是不中断的。
90.根据陈述80所述的网络,其中,所述第一压缩的视觉无损的运行中的增加表示:所述第一输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比的运行中的增加不会导致缺失视频帧。
91.根据陈述80所述的网络,其中,所述第一压缩的视觉无损的运行中的增加表示:所述第一输入HD-UV和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比的运行中的增加不会导致缺失视频消隐信号。
92.根据陈述80所述的网络,其中,所述第一RT-VE包括缓冲器,所述缓冲器配置为出于进行所述第一输入HD-UV压缩成所述第一压缩视频所需的计算的目的存储所述第一输入HD-UV,并且所述缓冲器的容量低于存储所述第一输入HD-UV的两个视频帧所需要的容量。
93.一种用于视频压缩比的视觉无损改变的方法,其包括:通过第一实时视频编码器(RT-VE),接收第一输入高清晰度未压缩视频(HD-UV),使用直到10:1的第一压缩比将所述第一输入HD-UV压缩成第一压缩视频,以及在第一网络路径之上将所述第一压缩视频发送到第一实时视频解码器(RT-VD);通过所述第一RT-VD,从所述第一压缩视频提取输出HD-UV;推断在建立所述第一网络路径之后,以及由于包括在所述第一网络路径中的共同链路上的不足带宽,第二RT-VE不能在包括所述共同链路的第二网络路径之上将第二压缩视频发送到第二RT-VD;其中,所述第二RT-VE接收第二输入HD-UV以及使用直到10:1的第二压缩比将所述第二输入HD-UV压缩成第二压缩视频;以及与所述不足带宽成比例地、以对于观看所述输出HD-UV的人视觉无损的方式,在运行中增加所述第一压缩比;由此所述第一压缩比的增加使所述第二RT-VE能够在所述第二网路路径之上、与所述第一压缩视频并行地,将所述第二压缩视频发送到所述第二RT-VD。
94.根据陈述93所述的方法,还包括评估所述不足带宽,以及然后命令所述第一RT-VE以基于所评估的不足带宽、与所述不足带宽成比例地在运行中增加所述第一压缩比。
95.根据陈述93所述的方法,其中,所述第一压缩比的与所述不足带宽成比例的在运行中的增加表示,所述增加释放不多于所述不足带宽的150%。
96.根据陈述93所述的方法,其中,所述第一压缩比和所述第二压缩比在1:1至5:1之间。
97.根据陈述93所述的方法,其中,所述第一压缩比的运行中的增加保持所述第一输入HD-UV和所述输出HD-UV的相应像素之间的相同的固定延迟。
98.根据陈述93所述的方法,其中,所述第一压缩比的运行中的增加保持所述第一输入HD-UV和所述输出HD-UV相应帧之间的总延迟,所述总延迟低于两个视频帧的持续时间。
99.根据陈述93所述的方法,其中,所述第一压缩比的视觉无损的运行中的增加表示:所述第一压缩视频和所述输出HD-UV的相应帧之间的比较表明,由于所述第一压缩比的运行中的增加,视频同步信号和视频定时信号是不中断的。
100.根据陈述93所述的方法,其中,所述第一压缩比的视觉无损的运行中的增加表示:所述第一压缩视频和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比的运行中的增加不会导致缺失视频帧。
101.根据陈述93所述的方法,其中,所述第一压缩比的视觉无损的运行中的增加表示:所述第一压缩视频和所述输出HD-UV的相应帧之间的比较表明,所述第一压缩比的运行中的增加不会导致缺失视频消隐信号。
102.一种网络,其配置为支持视频源的平滑切换,所述网络包括:第一实时视频编码器(RT-VE),所述RT-VE配置为接收第一输入高清晰度未压缩视频(HD-UV),使用直到5:1的第一压缩比将所述第一输入HD-UV压缩成第一压缩视频,以及在第一网络路径之上将所述第一压缩视频发送到第一实时视频解码器(RT-VD),所述第一RT-VD配置成从所述第一压缩视频提取第一输出HD-UV;第二RT-VE配置为接收第二输入HD-UV,使用直到5:1的第二压缩比将所述第二输入HD-UV压缩成第二压缩视频,以及在第二网络路径之上将第二压缩视频发送到第二RT-VD,所述第二RT-VD配置为从第二压缩视频提取第二输出HD-UV;其中,所述第一网络路径和第二网络路径共享具有不足以携带所述第一压缩视频和所述第二压缩视频两者的带宽的共同链路;以及视频切换控制器,所述视频切换控制器配置为通过以下方式同步所述第一输入HD-UV和所述第二输入HD-UV之间的平滑切换:指示所述第一RT-VE和所述第二RT-VE以增加所述第一压缩比和所述第二压缩比至使所述共同链路能够携带所述第一压缩视频和所述第二压缩视频两者的比率,指示视频切换器以执行所述第一输出HD-UV和所述第二输出HD-UV之间的平滑切换,指示所述第一RT-VE以在所述平滑切换之后停止发送所述第一压缩视频,以及指示所述第二RT-VE以降低所述第二压缩比;其中,以视觉无损的方式执行所述第一压缩比和所述第二压缩比的增加,所述视觉无损的方式导致在所述切换之前、期间和之后相较于所述第一输入HD-UV和所述第二输入HD-UV为视觉无损的所述第一输出HD-UV和所述第二输出HD-UV。
103.根据陈述102所述的网络,其中,所述视频切换器配置为接收所述第一输出HD-UV和所述第二输出HD-UV,执行所述平滑切换,以及输出未压缩视频。
104.根据陈述103所述的网络,其中,在所述第一输出HD-UV和所述第二输出HD-UV之间的所述平滑切换是在所述第一输出HD-UV和所述第二输出HD-UV之间的切换的期间不中断的平滑切换。
105.根据陈述102所述的网络,其中,所述视频切换器配置为:接收所述第一压缩视频和所述第二压缩视频,执行所述平滑切换,以及输出未压缩视频。
106.根据陈述105所述的网络,其中,所述视频切换控制器在所述视频切换器处实现。
107.根据陈述102所述的网络,其中,所述第一输入HD-UV和所述第二输入HD-UV是同步的,并且所述视频切换器不执行视频缩放。
108.根据陈述102所述的网络,其中,所述第一输入HD-UV和所述第二输入HD-UV是不同步的,并且所述视频切换器还配置为执行视频缩放。
109.根据陈述102所述的网络,其中,所述视频切换控制器被实现为以下设备中的至少一个的一部分:所述第一RT-VE、所述第二RT-VE、所述视频切换器、所述第一RT-VD、所述第二RT-VD和独立设备。
110.根据陈述102所述的网络,其中,所述第一RT-VE包括用于不同压缩比的至少两个不同的实时视频编码器。
111.根据陈述102所述的网络,其中,所述第一RT-VE包括:低压缩实时视频编码器,以在增加所述第一压缩比之前压缩第一压缩视频;以及较高压缩实时视频编码器,以在增加所述第一压缩比之后压缩第一压缩视频。
112.根据陈述102所述的网络,其中,在所述增加之前,所述第一压缩比在1:1至3:1之间。
113.根据陈述102所述的网络,其中,所述第一压缩比的增加保持所述第一输入HD-UV和所述第一输出HD-UV的相应像素之前的相同的固定延迟。
114.根据陈述102所述的网络,其中,所述第一压缩比的增加保持所述第一输入HD-UV和所述第一输出HD-UV相应帧之间的总延迟,所述总延迟低于两个视频帧的持续时间。
115.根据陈述102所述的网络,其中,所述平滑切换表示:所述第一压缩视频和所述第一输出HD-UV的直到所述平滑切换的最后几个相应帧之间的比较,以及所述第二压缩视频和所述第二输出HD-UV的紧接着所述平滑切换之后的前几个相应帧的比较表明,由于所述平滑切换,视频同步信号和视频定时信号不中断。
116.根据陈述102所述的网络,其中,所述平滑切换表示,所述第一压缩视频和所述第一输出HD-UV的直到所述平滑切换的最后几个相应帧之间的比较,以及所述第二压缩视频和所述第二输出HD-UV的紧接着所述平滑切换之后的前几个相应帧的比较表明,平滑切换不导致缺失视频帧。
117.根据陈述102所述的网络,其中,所述平滑切换表示,所述第一压缩视频和所述第一输出HD-UV的直到所述平滑切换的最后几个相应帧之间的比较,以及所述第二压缩视频和所述第二输出HD-UV的紧接着所述平滑切换之后的前几个相应帧的比较表明,平滑切换不导致缺失视频消隐信号。
118.根据陈述102所述的网络,其中,所述平滑切换表示,由于所述平滑切换,不丢失像素,不包括颜色深度。
119.一种用于视频源切换的方法,包括:通过第一实时视频编码器(RT-VE),接收第一输入高清晰度未压缩视频(HD-UV),使用直到5:1的第一压缩比将所述第一输入HD-UV压缩成第一压缩视频,以及在第一网络路径之上将所述第一压缩视频发送到第一实时视频解码器(RT-VD);通过所述第一RT-VD从所述第一压缩视频提取第一输出HD-UV;通过第二RT-VE,接收第二输入HD-UV,使用直到5:1的第二压缩比将所述第二输入HD-UV压缩成第二压缩视频,以及在第二网络路径之上将第二压缩视频发送到第二RT-VD;通过所述第二RT-VD从所述第二压缩视频提取第二输出HD-UV;推断所述第一网络路径和第二网络路径共享具有不足以携带所述第一压缩视频和所述第二压缩视频两者的带宽的共同链路;通过以下方式同步所述第一输入HD-UV和所述第二输入HD-UV之间的平滑切换:指示所述第一RT-VE和所述第二RT-VE以增加所述第一压缩比和所述第二压缩比至使所述共同链路能够携带所述第一压缩视频和所述第二压缩视频两者的比率,指示视频切换器以执行所述第一输出HD-UV和所述第二输出HD-UV之间的平滑切换,指示所述第一RT-VE以在所述平滑切换之后停止发送所述第一压缩视频,以及指示所述第二RT-VE以降低所述第二压缩比。
120.根据陈述119所述的方法,其中,在所述第一输出HD-UV和所述第二输出HD-UV之间的所述平滑切换是在所述第一输出HD-UV和所述第二输出HD-UV之间的切换的期间不中断的平滑切换。
121.根据陈述119所述的方法,其中,所述第一输入HD-UV和所述第二输入HD-UV是不同步的,并且还包括由视频切换器执行视频缩放。
122.根据陈述119所述的方法,还包括:通过所述第一RT-VE,操作低压缩实时视频编码器,以在增加所述第一压缩比之前压缩所述第一压缩视频;以及操作较高压缩实时视频编码器,以在增加所述第一压缩比之后压缩所述第一压缩视频。
123.根据陈述119所述的方法,其中,在增加所述第一压缩比之前,所述第一压缩比在1:1至3:1之间。
124.根据陈述119所述的方法,其中,所述第一压缩比的增加保持所述第一输入HD-UV和所述第一输出HD-UV的相应像素之间的相同的固定延迟。
125.根据陈述119所述的方法,其中,所述第一压缩比的增加保持所述第一输入HD-UV和所述第一输出HD-UV相应帧之间的总延迟,所述总延迟低于两个视频帧的持续时间。
在本文中,预定值(诸如预定置信水平或预定阈值)是固定值和/或在执行将特定值与预定值进行比较的计算之前的任何时间确定的值。当用于确定是否直到利用某值的阈值的逻辑,在开始执行计算以确定是否直到阈值之前,是已知的时,该值也被认为是预定值。
在本说明书中,对“一个实施例”的提及意味着所涉及的特征可以包括在本发明的至少一个实施例中。此外,在本说明书中对“一个实施例”或“一些实施例”的单独的提及不一定涉及相同的实施例。另外,对“一个实施例”和“另一个实施例”的提及可以不一定涉及不同的实施例,而是可以是有时用来说明实施例的不同方面的术语。
本发明的实施例可以包括在本文中所描述的实施例的任何各种组合和/或整合。虽然一些实施例可以描绘串行的操作,但是实施例可以并行地和/或以与所描绘的顺序不同的顺序执行特定操作。此外,在文本和/或附图中使用重复的附图标记和/或字母是出于简化和清楚的目的,其本身并不表示所讨论的各种实施例和/或配置之间的关系。实施例在其应用中不限于方法操作的步骤的顺序或次序的细节,或者不限于在描述、附图或示例中设置的设备的实现细节。此外,附图中所示的各个块可以本质上是功能性的,因此可以不一定对应于离散的硬件元件。
尽管已经参考以特定顺序执行的特定步骤描述和示出了本文公开的方法,但是应当理解,在不脱离实施例的教导的情况下,这些步骤可以被组合、分割和/或重新排序以形成等同的方法。因此,除非在此特别指出,步骤的顺序和组合不是实施例的限制。此外,为了清楚起见,有时将以单数形式描述实施例的方法和机制。然而,一些实施例可以包括方法的多次迭代或机制的多个实例化,除非另有说明。例如,当在一个实施例中公开处理器时,本实施例的范围也旨在涵盖多个处理器的使用。为了清楚起见,已经在单独实施例的上下文中描述的实施例的特定特征也可以在单个实施例中以各种组合被提供。相反,为了简洁起见,已经在单个实施例的上下文中描述的实施例的各种特征也可以单独地或以任何合适的子组合提供。结合具体示例描述的实施例以举例而非限制的方式给出。此外,很明显,许多替代、修改和变型对于本领域技术人员是显而易见的。应当理解,在不脱离实施例的范围的情况下,可以利用其他实施例以及进行结构性改变。因此,本公开旨在包括落入所附权利要求及其等同物的精神和范围内的所有这样的替代、修改和变型。

Claims (14)

1.一种低延迟视频流系统,包括多个视频压缩比,包括:
实时视频编码器(RT-VE),所述RT-VE配置为接收输入高清晰度未压缩视频(HD-UV),根据第一压缩比和第二压缩比中的至少一个处理所述输入HD-UV,并且在资源预留通信链路之上将所处理的视频发送到实时视频解码器(RT-VD);其中,所述第一压缩比为直到5:1,并且所述第二压缩比比所述第一压缩比更深且为直到10:1;
其中,对于所述两个压缩比,由所述RT-VE添加的压缩延迟低于单个视频帧的持续时间;并且
所述RT-VD配置成将所处理的视频转换成输出HD-UV;
其中,在继续不间断地接收所述输入HD-UV的同时,在所述第一压缩比和所述第二压缩比之间的运行中的切换均为视觉无损切换并且保持在所述输入HD-UV和所述输出HD-UV的相应帧之间的总延迟,所述总延迟低于两个视频帧的持续时间。
2.一种用于包括多个视频压缩比的低延迟视频流的方法,包括:
通过实时视频编码器(RT-VE)接收输入高清晰度未压缩视频(HD-UV);
根据直到5:1的第一压缩比,将所述输入HD-UV转换成第一压缩视频,同时添加低于单个视频帧的持续时间的压缩延迟;
将所述第一压缩视频发送到实时视频解码器(RT-VD);
通过所述RT-VD将所述第一压缩视频转换成输出HD-UV;
在继续不间断地接收所述输入HD-UV的同时,在运行中切换以根据直到10:1的第二压缩比将所述输入HD-UV转换成第二压缩视频,同时添加低于单个视频帧的持续时间的压缩延迟;其中,所述第二压缩比比所述第一压缩比更深;
将所述第二压缩视频发送到所述RT-VD;以及
通过所述RT-VD将所述第二压缩视频转换成所述输出HD-UV;其中,从所述第一压缩视频到所述第二压缩视频的运行中的切换是视觉无损切换,所述视觉无损切换保持在所述输入HD-UV和所述输出HD-UV的相应帧之间的总延迟低于两个视频帧的持续时间。
3.一种低延迟通信系统,其支持在不同视频压缩比之间的视觉无损切换,所述低延迟通信系统包括:
实时视频编码器(RT-VE),所述RT-VE配置为接收输入高清晰度未压缩视频(HD-UV),并且使用直到5:1的第一帧内压缩比或者直到10:1的第二帧内压缩比将所述输入HD-UV压缩成压缩视频,其中,所述第二帧内压缩比比所述第一帧内压缩比更深;以及
实时视频解码器(RT-VD),所述RT-VD配置成接收所述压缩视频,并将所述压缩视频解压成输出HD-UV;
其中,在继续不间断地接收所述输入HD-UV的同时,在所述输入HD-UV和所述输出HD-UV的相应视频像素之间的延迟低于两个HD视频帧的持续时间,并且在所述第一压缩比和所述第二压缩比之间的运行中切换是视觉无损的。
4.一种用于低延迟通信的方法,所述低延迟通信方法支持不同压缩比之间的视觉无损切换,所述方法包括:
通过实时视频编码器(RT-VE)接收输入高清晰度未压缩视频(HD-UV);
使用直到5:1的第一帧内压缩比,将所述输入HD-UV压缩成第一压缩视频,并且将其发送到实时视频解码器(RT-VD);
通过所述RT-VD将所述第一压缩视频解压成输出HD-UV;
在继续不间断地接收所述输入HD-UV的同时,在运行中切换以使用直到10:1的第二帧内压缩比将所述输入HD-UV压缩成第二压缩视频,并将其发送到所述RT-VD;其中,所述第二帧内压缩比比所述第一帧内压缩比更深;以及
通过所述RT-VD将所述第二压缩视频解压成所述输出HD-UV;其中,所述运行中切换既是视觉无损的,也将在所述输入HD-UV和所述输出HD-UV的相应视频像素之间的总延迟保持低于两个HD视频帧的持续时间。
5.一种固定延迟视频通信链路,包括:
实时视频编码器(RT-VE),所述RT-VE配置为接收输入高清晰度未压缩视频(HD-UV),将所述输入HD-UV压缩成第一HD压缩视频或第二HD压缩视频,并且将所述HD压缩视频在通信链路之上传输到实时视频解码器(RT-VD);其中,所述第一HD压缩视频的第一压缩比在1:1和2:1之间,所述第二HD压缩视频的第二压缩比为直到5:1,并且在所述第一压缩比和所述第二压缩比之间的差为至少25%;以及
所述RT-VD配置为将所述HD压缩视频压缩成输出HD-UV;
其中,在继续不间断地接收所述输入HD-UV的同时,所述第一压缩比和所述第二压缩比之间的运行中切换既是视觉无损的,也保持在所述输入HD-UV和所述输出HD-UV的相应像素之间的相同的固定延迟。
6.一种用于视觉无损视频切换的方法,包括:
接收输入高清晰度未压缩视频(HD-UV);
利用处理器将所述输入HD-UV压缩成第一HD压缩视频,所述第一HD压缩视频具有在1:1和5:1之间的第一压缩比;
在通信链路之上将所述第一HD压缩视频传输到实时视频解码器(RT-VD);
通过所述RT-VD将所述第一HD压缩视频解压成输出HD-UV;
将所述输入HD-UV压缩成第二HD压缩视频,所述第二HD压缩视频具有在2:1和10:1之间的第二压缩比;其中,所述第一压缩比和所述第二压缩比之间的差为至少25%;
在所述通信链路之上将所述第二HD压缩视频传输到所述RT-VD;以及
通过所述RT-VD将所述第二HD压缩视频解压成所述输出HD-UV;其中,在继续不间断地接收所述输入HD-UV的同时发生的所述第一压缩比和所述第二压缩比之间的运行中切换既是视觉无损的,也保持所述输入HD-UV和所述输出HD-UV的相应视频像素之间的相同的固定延迟。
7.一种具有多个压缩比的固定延迟视频发射器,包括:
实时视频编码器(RT-VE),所述RT-VE配置为接收输入高清晰度未压缩视频(HD-UV),并且将所述输入HD-UV压缩成第一轻高清晰度(HD)压缩视频或第二轻高清晰度(HD)压缩视频;其中,所述第一轻HD压缩视频的第一压缩比在1:1和5:1之间,所述第二轻HD压缩视频的第二压缩比在2:1和5:1之间,并且在所述第一压缩比和所述第二压缩比之间的差为至少25%;
控制器,所述控制器包括配置为调整所述第一轻HD压缩视频和所述第二轻HD压缩视频的延迟的缓冲器;以及
发射器,所述发射器配置为在相对于所述输入HD-UV的固定延迟之后在通信链路之上发送所述第一轻HD压缩视频或所述第二轻HD压缩视频。
8.用于在保持固定延迟的同时在不同压缩比之间切换的方法,包括:
接收输入高清晰度未压缩视频(HD-UV);
将所述输入HD-UV压缩成第一轻HD压缩视频,所述第一轻HD压缩视频具有在1:1和5:1之间的第一压缩比;
在相对于所述输入HD-UV的第一固定延迟之后在通信链路之上发送所述第一轻HD压缩视频;
在继续不间断地接收所述输入HD-UV的同时,将所述输入HD-UV压缩成第二轻HD压缩视频,所述第二轻HD压缩视频具有在2:1和5:1之间的第二压缩比;其中,所述第一压缩比和所述第二压缩比之间的差为至少25%;以及
在相对于所述输入HD-UV的第二固定延迟之后在通信链路之上发送所述第二轻HD压缩视频。
9.一种压缩系统,其配置为在运行中改变视频压缩比的同时保持与未压缩视频相关的参数(PRTUV),所述压缩系统包括:
视频发射器,所述视频发射器配置为接收输入高清晰度未压缩视频(HD-UV),所述输入高清晰度未压缩视频特征为以下PRTUV:未压缩定时要求、未压缩视频行数量、以及每视频行的未压缩视频像素数量;
所述视频发射器还配置为将所述输入HD-UV压缩成具有在1:1和5:1之间的第一压缩比的第一压缩视频,并且在通信链路之上将所述第一压缩视频发送到视频接收器;
所述视频发射器还配置为接收命令以将所述输入HD-UV的压缩平滑地在运行中改变成具有在2:1和10:1之间的第二压缩比的第二压缩视频,以及在所述通信链路之上将所述第二压缩视频发送到所述视频接收器,而不中断所述输入HD-UV的连续流动;其中,所述第一压缩视频和所述第二压缩视频的比率之间的差为至少25%;以及
所述视频接收器配置为将所述第一压缩视频或所述第二压缩视频解压成输出HD-UV;
其中,所述输出HD-UV在从所述第一压缩视频到所述第二压缩视频的所述改变之前、期间和之后,保持所述PRTUV。
10.一种用于在运行中改变视频压缩比的同时保持与未压缩视频相关的参数(PRTUV)的方法,所述方法包括:
通过视频发射器,接收输入高清晰度未压缩视频(HD-UV),所述输入高清晰度未压缩视频的特征为以下PRTUV:未压缩定时要求、未压缩视频行数量、以及每视频行的未压缩视频像素数量;
将所述输入HD-UV压缩成具有在1:1和5:1之间的第一压缩比的第一压缩视频;
在通信链路之上将所述第一压缩视频发送到视频接收器;
通过所述视频发射器,接收命令以将所述输入HD-UV的压缩平滑地在运行中改变成具有在2:1和10:1之间的第二压缩比的第二压缩视频;
在所述通信链路之上将所述第二压缩视频发送到所述视频接收器,而不中断所述输入HD-UV的连续流动;其中,所述第一压缩视频和所述第二压缩视频的比率之间的差为至少25%;以及
通过所述视频接收器将所述第一压缩视频或所述第二压缩视频解压成输出HD-UV;其中,所述输出HD-UV在从所述第一压缩视频到所述第二压缩视频的所述改变之前、期间和之后,保持所述PRTUV。
11.一种网络,其配置为支持对压缩视频的视觉无损的改变以提供网络带宽用于额外的视频流,所述网络包括:
第一实时视频编码器(RT-VE),所述RT-VE配置为接收第一输入高清晰度未压缩视频(HD-UV),使用直到10:1的第一压缩比将所述第一输入HD-UV压缩成第一压缩视频,以及在第一网络路径之上将所述第一压缩视频发送到第一实时视频解码器(RT-VD);
所述第一RT-VD配置成从所述第一压缩视频提取输出HD-UV;
在建立所述第一网络路径之后,以及由于包括在所述第一网络路径中的共同链路上的不足带宽,第二RT-VE不能在包括所述共同链路的第二网络路径之上将第二压缩视频发送到第二RT-VD;其中,所述第二RT-VE配置为接收第二输入HD-UV以及使用直到10:1的第二压缩比将所述第二输入HD-UV压缩成第二压缩视频;以及
所述第一RT-VE还配置为与所述不足带宽成比例地并且以对于观看所述输出HD-UV的人视觉无损的方式,在运行中增加所述第一压缩比;由此所述第一压缩比的运行中增加使所述第二RT-VE能够在所述第二网路路径之上、与所述第一压缩视频并行地,将所述第二压缩视频发送到所述第二RT-VD。
12.一种用于视频压缩比的视觉无损改变的方法,其包括:
通过第一实时视频编码器(RT-VE),接收第一输入高清晰度未压缩视频(HD-UV),使用直到10:1的第一压缩比将所述第一输入HD-UV压缩成第一压缩视频,以及在第一网络路径之上将所述第一压缩视频发送到第一实时视频解码器(RT-VD);
通过所述第一RT-VD,从所述第一压缩视频提取输出HD-UV;
推断在建立所述第一网络路径之后,以及由于包括在所述第一网络路径中的共同链路上的不足带宽,第二RT-VE不能在包括所述共同链路的第二网络路径之上将第二压缩视频发送到第二RT-VD;其中,所述第二RT-VE接收第二输入HD-UV以及使用直到10:1的第二压缩比将所述第二输入HD-UV压缩成第二压缩视频;以及
与所述不足带宽成比例地、以对于观看所述输出HD-UV的人视觉无损的方式,在运行中增加所述第一压缩比;由此所述第一压缩比的所述增加使所述第二RT-VE能够在所述第二网路路径之上、与所述第一压缩视频并行地,将所述第二压缩视频发送到所述第二RT-VD。
13.一种网络,其配置为支持视频源的平滑切换,所述网络包括:
第一实时视频编码器(RT-VE),所述RT-VE配置为接收第一输入高清晰度未压缩视频(HD-UV),使用直到5:1的第一压缩比将所述第一输入HD-UV压缩成第一压缩视频,以及在第一网络路径之上将所述第一压缩视频发送到第一实时视频解码器(RT-VD),所述第一RT-VD配置成从所述第一压缩视频提取第一输出HD-UV;
第二RT-VE,所述第二RT-VE配置为接收第二输入HD-UV,使用直到5:1的第二压缩比将所述第二输入HD-UV压缩成第二压缩视频,以及在第二网络路径之上将第二压缩视频发送到第二RT-VD,所述第二RT-VD配置为从第二压缩视频提取第二输出HD-UV;
其中,所述第一网络路径和第二网络路径共享具有不足以携带所述第一压缩视频和所述第二压缩视频两者的带宽的共同链路;以及
视频切换控制器,所述视频切换控制器配置为通过以下方式同步所述第一输入HD-UV和所述第二输入HD-UV之间的平滑切换:指示所述第一RT-VE和所述第二RT-VE以增加所述第一压缩比和所述第二压缩比至使所述共同链路能够携带所述第一压缩视频和所述第二压缩视频两者的比率,指示视频切换器以执行所述第一输出HD-UV和所述第二输出HD-UV之间的平滑切换,指示所述第一RT-VE以在所述平滑切换之后停止发送所述第一压缩视频,以及指示所述第二RT-VE以降低所述第二压缩比;
其中,以视觉无损的方式执行所述第一压缩比和所述第二压缩比的增加,所述视觉无损的方式导致在所述切换之前、期间和之后相较于所述第一输入HD-UV和所述第二输入HD-UV为视觉无损的所述第一输出HD-UV和所述第二输出HD-UV。
14.一种用于视频源切换的方法,包括:
通过第一实时视频编码器(RT-VE),接收第一输入高清晰度未压缩视频(HD-UV),使用直到5:1的第一压缩比将所述第一输入HD-UV压缩成第一压缩视频,以及在第一网络路径之上将所述第一压缩视频发送到第一实时视频解码器(RT-VD);
通过所述第一RT-VD从所述第一压缩视频提取第一输出HD-UV;
通过第二RT-VE,接收第二输入HD-UV,使用直到5:1的第二压缩比将所述第二输入HD-UV压缩成第二压缩视频,以及在第二网络路径之上将第二压缩视频发送到第二RT-VD;
通过所述第二RT-VD从所述第二压缩视频提取第二输出HD-UV;
推断所述第一网络路径和第二网络路径共享具有不足以携带所述第一压缩视频和所述第二压缩视频两者的带宽的共同链路;以及
通过以下方式同步所述第一输入HD-UV和所述第二输入HD-UV之间的平滑切换:
指示所述第一RT-VE和所述第二RT-VE以增加所述第一压缩比和所述第二压缩比至使所述共同链路能够携带所述第一压缩视频和所述第二压缩视频两者的比率,
指示视频切换器以执行所述第一输出HD-UV和所述第二输出HD-UV之间的平滑切换,
指示所述第一RT-VE以在所述平滑切换之后停止发送所述第一压缩视频,以及
指示所述第二RT-VE以降低所述第二压缩比。
CN201680006935.8A 2015-01-24 2016-01-24 一种低延迟视频流系统和用于该系统的切换方法 Active CN107211179B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562107387P 2015-01-24 2015-01-24
US62/107,387 2015-01-24
US201562209414P 2015-08-25 2015-08-25
US62/209,414 2015-08-25
PCT/IL2016/050071 WO2016116936A1 (en) 2015-01-24 2016-01-24 Dynamic real-time compression

Publications (2)

Publication Number Publication Date
CN107211179A true CN107211179A (zh) 2017-09-26
CN107211179B CN107211179B (zh) 2020-04-28

Family

ID=56416527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006935.8A Active CN107211179B (zh) 2015-01-24 2016-01-24 一种低延迟视频流系统和用于该系统的切换方法

Country Status (2)

Country Link
CN (1) CN107211179B (zh)
WO (1) WO2016116936A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6172672B1 (en) * 1996-12-18 2001-01-09 Seeltfirst.Com Method and system for providing snapshots from a compressed digital video stream
CN1310919A (zh) * 1998-09-16 2001-08-29 Actv公司 压缩数字数据无缝视频切换系统
US20010055336A1 (en) * 1996-04-12 2001-12-27 Edward A. Krause Compressed-video reencoder system for modifying the compression ratio of digitally encoded video programs
CN102547283A (zh) * 2010-12-30 2012-07-04 Vixs系统公司 动态视频数据压缩
CN103051982A (zh) * 2012-12-28 2013-04-17 上海华为技术有限公司 一种视频流传输控制方法以及视频流传输控制装置
CN103443843A (zh) * 2011-03-29 2013-12-11 瑞萨电子株式会社 显示装置和显示装置控制电路
CN103581664A (zh) * 2012-07-31 2014-02-12 宏碁股份有限公司 无线影音传输系统及其方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7764965B2 (en) * 2007-04-10 2010-07-27 Microsoft Corporation Dynamically changing service characteristics based on device and network connectivity attributes
US8547995B2 (en) * 2009-11-25 2013-10-01 Barox Kommunikation Ag High definition video/audio data over IP networks
US20140357993A1 (en) * 2013-05-31 2014-12-04 eagleyemed, Inc. Dynamic adjustment of image compression for high resolution live medical image sharing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055336A1 (en) * 1996-04-12 2001-12-27 Edward A. Krause Compressed-video reencoder system for modifying the compression ratio of digitally encoded video programs
US6172672B1 (en) * 1996-12-18 2001-01-09 Seeltfirst.Com Method and system for providing snapshots from a compressed digital video stream
CN1310919A (zh) * 1998-09-16 2001-08-29 Actv公司 压缩数字数据无缝视频切换系统
CN102547283A (zh) * 2010-12-30 2012-07-04 Vixs系统公司 动态视频数据压缩
CN103443843A (zh) * 2011-03-29 2013-12-11 瑞萨电子株式会社 显示装置和显示装置控制电路
CN103581664A (zh) * 2012-07-31 2014-02-12 宏碁股份有限公司 无线影音传输系统及其方法
CN103051982A (zh) * 2012-12-28 2013-04-17 上海华为技术有限公司 一种视频流传输控制方法以及视频流传输控制装置

Also Published As

Publication number Publication date
CN107211179B (zh) 2020-04-28
WO2016116936A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
US10887662B2 (en) Changing visually lossless compression ratio while maintaining parameters related to uncompressed video
US10674190B2 (en) Systems and methods for bandwidth-limited video transport
US10255021B2 (en) Low latency screen mirroring
CN102439971B (zh) 用于无线系统中的无压缩视频通信的累进速率适配的方法和系统
US20080084927A1 (en) Real-time network adaptive digital video encoding/decoding
US10757481B2 (en) Class-based intelligent multiplexing over unmanaged networks
CN104980819A (zh) 一种视频传输方法及装置
JP2005260935A (ja) 圧縮ビデオ・ビットストリームにおいて平均イメージ・リフレッシュ・レートを増加させる方法及び装置
CN104270649A (zh) 影像编码装置及影像编码方法
CN105812711A (zh) 视频通话过程中优化图像质量的方法及系统
CN108540745B (zh) 高清双流视频的传输方法、发送端、接收端及传输系统
CN107852479A (zh) 在视频电话中切换显示装置
CN107211179A (zh) 动态实时压缩
CN105959731A (zh) 一种数字电视的统计复用编码方法
US20140098852A1 (en) Compression bandwidth overflow management using auxiliary control channel
Convertino et al. Wireless adaptive video streaming by real-time channel estimation and video transcoding
Zhu et al. Research on adaptive transmission of H. 264 video stream and QoS guarantee based on SIP
JP5592913B2 (ja) 映像符号化装置、映像符号化方法及び映像符号化プログラム
KR20170033235A (ko) 즉각적 분할화면 송수신 기반의 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant