CN107750456B - 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码 - Google Patents

利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码 Download PDF

Info

Publication number
CN107750456B
CN107750456B CN201680033970.9A CN201680033970A CN107750456B CN 107750456 B CN107750456 B CN 107750456B CN 201680033970 A CN201680033970 A CN 201680033970A CN 107750456 B CN107750456 B CN 107750456B
Authority
CN
China
Prior art keywords
signal
given
data
signals
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680033970.9A
Other languages
English (en)
Other versions
CN107750456A (zh
Inventor
里查德·克卢卡斯
圭多·梅亚尔迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
V Nova International Ltd
Original Assignee
V Nova International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by V Nova International Ltd filed Critical V Nova International Ltd
Publication of CN107750456A publication Critical patent/CN107750456A/zh
Application granted granted Critical
Publication of CN107750456B publication Critical patent/CN107750456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

提供一种用于对多个信号进行编码的方法和系统。接收多个输入信号。获得与多个输入信号中的给定输入信号有关的复杂性信息。依赖于多个输入信号的整体数据速率目标获得多个输入信号中的每个的数据速率目标。给定输入信号的数据速率目标至少部分取决于与给定输入信号有关的复杂性信息。根据相应获得的数据速率目标对多个输入信号进行编码，以获得多个经编码的信号。

Description

利用依赖于复杂性信息的一个信号的数据速率目标对多个信 号进行编码
相关应用
本申请涉及早先提交的序列号为61/812,046题为“SIGNAL ENCODING ANDDECODING IN A TIERED HIERARCHY WITH USE OF DIFFERENT TECHNIQUES FOR DIFFERENTLEVELS OF QUALITY”的美国临时专利申请(2013年4月15日提交)，通过引用将其全部教导并入本文。
本申请涉及于2014年4月15日提交的、2014年10月10日公开为US 2014-0321555A1的序列号为14/252,820、题为“HYBRID BACKWARD-COMPATIBLE SIGNAL ENCODING ANDDECODING”的美国专利申请的美国专利申请，通过引用将其全部教导并入本文。
本申请涉及于2012年5月14日提交的序列号为61/646,797、题为“SIGNALENCODING,DECODING AND RECONSTRUCTION OF TIME-BASED AND/OR MULTIDIMENSIONALSIGNALS BASED ON MULTIDIMENSIONAL TIER-BASED INHERITANCE”的美国临时专利申请，通过引用将其全部教导并入本文。
本申请涉及于2012年5月15日提交的序列号为61/647,426、题为“ESTIMATION,ENCODING,DECODING AND USAGE OF MOTION INFORMATION IN MULTIDIMENSIONAL SIGNALSTHROUGH MOTION ZONES,MOTION MATRIXES,WARP MAPS AND MOTION TRANSFORMS”的美国临时专利申请，通过引用将其全部教导并入本文。
本申请还涉及于2011年7月21日提交的、2013年11月7日公开为US 2013-0294704A1的序列号为13/188,188、题为“INHERITANCE IN A TIERED SIGNAL QUALITY HIERARCHY”的美国专利申请，通过引用将其全部教导并入本文。
本申请涉及于2011年7月21日提交的、2013年11月7日公开为US2013-0294495 A1的序列号为13/188,201、题为“TIERED SIGNAL DECODING AND SIGNAL RECONSTRUCTION”的美国专利申请，通过引用将其全部教导并入本文。
本申请涉及于2011年7月21日提交的、2013年11月7日公开为US2013-0294523 A1的序列号为13/188,207、题为“SIGNAL PROCESSING AND TIERED SIGNAL ENCODING”的美国专利申请，通过引用将其全部教导并入本文。
本申请涉及于2011年7月21日提交的、2013年11月7日公开为US2013-0294544 A1的序列号为13/188,220、题为“UPSAMPLING IN A TIERED SIGNAL QUALITY HIERARCHY”的美国专利申请，通过引用将其全部教导并入本文。
本申请涉及于2011年7月21日提交的序列号为13/188,226、题为“SIGNALPROCESSING AND INHERITANCE IN ATIERED SIGNAL QUALITY HIERARCHY”的美国专利申请，通过引用将其全部教导并入本文。
本申请涉及于2012年1月18日提交的、2013年11月7日公开为US2013-0294515 A1的序列号为13/352,944、题为“SIGNAL ANALYSIS AND GENERATION OF TRANSIENTINFORMATION”的美国专利申请，通过引用将其全部教导并入本文。
本申请涉及于2011年11月23日提交的序列号为61/563,169、题为“TIER-BASEDSYSTEM TO SEPARATE A MULTIDIMENSIONAL SIGNAL INTO STABLE/PREDICTABLEINFORMATION AND TRANSIENT INFORMATION”的美国提供专利申请，通过引用将其全部教导并入本文。
本申请涉及于2011年7月21日提交的、2013年11月7日公开为US2013-0297466 A1的序列号为13/188,237、题为“TRANSMISSION OF RECONSTRUCTION DATA IN A TIEREDSIGNAL HIERARCHY”的美国专利申请(代理人案号VNO11-06)，通过引用将其全部教导并入本文。
本申请涉及于2011年11月10日提交的序列号为61/558,302、题为“UPSAMPLINGAND DOWNSAMPLING OF MOTION MAPS AND OTHER AUXILIARY MAPS IN A TIERED SIGNALQUALITY HIERARCHY”的美国临时专利申请，通过引用将其全部教导并入本文。
本申请涉及于2011年11月23日提交的、2013年11月7日公开为US 2013-0294514A1的序列号为13/303,554、题为“UPSAMPLING AND DOWNSAMPLING OF MOTION MAPS ANDOTHER AUXILIARY MAPS IN A TIERED SIGNAL QUALITY HIERARCHY”的美国专利申请，通过引用将其全部教导并入本文。
本申请涉及于2012年1月18日提交的序列号为61/587,989、题为“DISTINCTENCODING/DECODING OF STABLE/PREDICTABLE INFORMATION AND TRANSIENT/STOCHASTICINFORMATION”的美国临时专利申请，通过引用将其全部教导并入本文。
本申请涉及于2013年1月18日提交的、2013年7月18日公开为US2013-0182965 A1的序列号为13/744,808、题为“DISTINCT ENCODING AND DECODING OF STABLEINFORMATION AND TRANSIENT/STOCHASTIC INFORMATION”的美国专利申请，通过引用将其全部教导并入本文。
技术领域
本申请涉及信号处理领域，尤其涉及用于编码多个信号的方法及系统。
背景技术
当比较不同的信号时(例如，足球比赛的编码大小通常大于对话情景的编码大小)并且当比较同一信号的不同时间部分时(例如，当摄像机从具有模糊的背景的球员的特写移至包括复杂人群的广角拍摄时，足球比赛的编码大小通常明显增加)，利用预定义质量设置(例如，使用可变比特率编码或VBR)对信号(诸如，音频或视频信号等)进行编码时生成的比特流的大小(例如，比特流的带宽)基于信号的内容而广泛地改变。
由于通信基础设施(诸如，广播基础设施等)通常提供固定量的带宽来传输比特流，所以编码器通常必须实施随着时间改变质量设置的编码策略，从而以恒定的比特率生成比特流(恒定的比特率编码或CBR)。
当将一个以上的信号多路复用成单个数据流(“多路复用的一束信号”)以经由给定通信链路传输时，在限定时段内执行恒定比特率的约束指一束信号、而非单个信号。
现有技术中已知多种技术用于处理将不同信号多路复用为具有整体CBR的同一数据流。具体地，两种最为常见的解决方案或基于对各个信号施加恒定的比特率(CBR)或基于应用所谓的“统计多路复用”技术。
对该束中的各个信号施加独立的CBR编码确实实现了该束的整体恒定比特率目标，但是，通常，从质量方面而言，不是最理想的，因为对于该束的给定时间块，编码器需要明显地降低用于对复杂信号进行编码的质量设置，以满足其单独的CBR，同时，该束中其他更为简单的信号以不必要的高质量设置被编码。
统计多路复用技术实现了获得该束的整体CBR的目标，而不必对该束中的每个信号施加CBR。这些技术通过利用自一次编码尝试至下一次编码常识的反馈循环对多路复用的一束信号的同一时间块(诸如，与图像组或GOP对应的时间间隔等)反复执行多次编码而实现了该目标。
例如，对于该束中的各个信号，利用给定的质量设置执行该束的时间块的第一次编码。统计多路复用器接收已编码的数据流并且测量为每个信号生成的比特率，并且随后，将关于该束中各个信号的一组新质量设置反馈回至编码器，以根据预定义目标(例如，给定信号的优先级等级等)优化该束可用的总比特率的分配。
相比于独立的单个信号CBR，利用整体CBR的统计多路复用整体实现了更好的质量结果，但是，也具有缺点。
首先，编码延迟通常较高，因为各个事件块必须被多次编码(具体地，至少两次)；因为在线性通道广播的背景中，通常使用多路复用，所以该缺点尤其明显，其中，编码必须实时发生。
其次，统计多路复用决策基于相对长时间块(即，若干次时间采样)内的有限数据(例如，单次编码尝试的结果)：因此，通过统计多路复用器做出的判断基于启发式和外推法并且通常不是最理想的。
发明内容
(1)一种用于对多个信号进行编码的信号处理系统，所述信号处理系统被配置为：接收多个输入信号；获得与所述多个输入信号中的给定输入信号有关的复杂性信息；依赖于所述多个输入信号的整体数据速率目标来获得所述多个输入信号中的每个的数据速率目标，所述给定输入信号的所述数据速率目标至少部分取决于与所述给定输入信号有关的所述复杂性信息；根据相应的已获得的所述数据速率目标对所述多个输入信号进行编码，以获得多个经编码的信号；以及输出所述多个经编码的信号。
(2)所述信号处理系统被配置为通过以下来获得与所述给定输入信号有关的所述复杂性信息：基于所述多个输入信号中的具有第一质量等级的所述给定输入信号以及处于第二、较低质量等级的所述给定输入信号的再现生成残差数据；以及至少部分地基于所生成的残差数据来获得与所述给定输入信号有关的所述复杂性信息。
(3)所述信号处理系统被配置为通过以下来生成所述残差数据：处理所述多个输入信号中的具有所述第一质量等级的所述给定输入信号，以生成处于所述第二、较低质量等级的所述给定输入信号的再现；处理所生成的处于所述第二、较低质量等级的所述给定输入信号的再现，以生成处于所述第一质量等级的所述给定输入信号的再现；以及基于处于所述第一质量等级的所述给定输入信号与所生成的处于所述第一质量等级的所述给定输入信号的再现之间的差异生成所述残差数据。
(4)所述系统包括：下采样器，用于处理具有所述第一质量等级的所述给定输入信号，以生成具有所述第二、较低质量等级的所述给定输入信号的再现；以及上采样器，用于处理所生成的处于所述第二、较低质量等级的所述给定输入信号的再现，以生成处于所述第一质量等级的所述给定输入信号的再现。
(5)所述信号处理系统被配置为生成与所述多个输入信号中的每个有关的所述复杂性信息。
(6)所述信号处理系统被配置为：多路复用所述多个经编码的信号，以获得多路复用的一束经编码的信号，所述多路复用的一束经编码的信号具有满足所述整体数据速率目标的组合数据速率；以及输出所述多路复用的一束经编码的信号。
(7)其中，所述多个输入信号的所述整体数据速率目标在给定的时间段内是恒定的。
(8)其中，所述多个输入信号包括多个视频信号，每个视频信号对应于不同的视频源。
(9)其中，给定视频信号包括一系列图像，所述信号处理系统被配置为使用所述给定视频信号的单个图像来获得复杂性信息。
(10)所述信号处理系统被配置为：获得与所述给定视频信号的一个图像有关的复杂性信息；以及根据使用所述给定视频信号的所述一个图像的所述复杂性信息而获得的所述数据速率目标，对所述给定视频信号的所述一个图像进行编码。
(11)所述信号处理系统被配置为：获得与所述给定视频信号的一个图像有关的复杂性信息；以及根据使用所述给定视频信号的所述一个图像的所述复杂性信息而获得的所述数据速率目标，对所述给定视频信号的另一个图像进行编码，所述另一个图像在所述给定视频信号的所述一系列图像中的所述一个图像之后。
(12)其中，所述多个输入信号中的每个的所述数据速率目标分别包括所述多个输入信号中的每个的比特率目标。
(13)所述信号处理系统被配置为：接收与所述多个输入信号中的给定输入信号有关的优先级信息；以及基于与所述给定输入信号有关的所述复杂性信息和所接收的与所述给定输入信号有关的所述优先级信息，来获得所述给定输入信号的所述数据速率目标。
(14)所述信号处理系统被配置为：从控制装置接收所述优先级信息；以及输出所述多个经编码的信号以发送至所述控制装置。
(15)所述信号处理系统被配置为接收优先级信息，所述优先级信息至少指示用于在给定的时间段内广播的、所述多个输入信号中的给定输入信号。
(16)其中，所述信号处理系统至少部分地布置在闭路电视CCTV安全系统中。
(17)其中，所述信号处理系统至少部分地布置在事件现场处。
(18)其中，所述信号处理系统至少部分地布置在至少一个无人驾驶车辆中。
(19)所述系统包括一组数据处理实体，所述一组数据处理实体中的每个数据处理实体被配置为对所述多个输入信号中的至少一个输入信号进行编码，其中，所述一组数据处理实体中的给定数据处理实体被配置为生成与至少一个输入信号有关的复杂性信息，并且将表示所生成的复杂性信息的数据发送至所述一组数据处理实体中的至少另一个数据处理实体。
(20)所述信号处理系统被配置为：处理所述多个输入信号中的给定输入信号，以至少获得所述给定输入信号的待编码数据；以及处理所述给定输入信号的所述数据速率目标和所述给定输入信号的待编码数据，以获得用于所述给定输入信号的至少一个量化参数。
(21)所述信号处理系统被配置为：处理所述至少一个量化参数和所述待编码数据，以获得用于所述给定输入信号的量化数据；以及处理所述量化数据，以获得所述给定输入信号的经编码的数据。
(22)所述信号处理系统被配置为并行处理所述量化数据的多个部分。
(23)一种由信号处理系统执行的、用于对多个信号进行编码的方法，所述方法包括：接收多个输入信号；获得与所述多个输入信号中的给定输入信号有关的复杂性信息；依赖于所述多个输入信号的整体数据速率目标来获得所述多个输入信号中的每个的数据速率目标，所述给定输入信号的所述数据速率目标至少部分取决于与所述给定输入信号有关的所述复杂性信息；根据相应的已获得的所述数据速率目标对所述多个输入信号进行编码，以获得多个经编码的信号；以及输出所述多个经编码的信号。
(24)其中，获得与所述给定输入信号有关的所述复杂性信息包括：基于所述多个输入信号中的具有第一质量等级的所述给定输入信号以及处于第二、较低质量等级的所述给定输入信号的再现生成残差数据；以及至少部分地基于所生成的残差数据来获得与所述给定输入信号有关的所述复杂性信息。
(25)其中，生成所述残差数据包括：处理所述多个输入信号中的具有所述第一质量等级的所述给定输入信号，以生成处于所述第二、较低质量等级的所述给定输入信号的再现；处理所生成的处于所述第二、较低质量等级的所述给定输入信号的再现，以生成处于所述第一质量等级的所述给定输入信号的再现；以及基于处于所述第一质量等级的所述给定输入信号与处于所述第一质量等级的所述给定输入信号的再现之间的差异生成所述残差数据。
(26)其中：处于所述第二、较低质量等级的所述给定输入信号的再现表示对处于所述第一质量等级的所述给定输入信号执行下采样操作的结果；以及处于所述第一质量等级的所述给定输入信号的再现表示对处于所述第二、较低质量等级的所述给定输入信号的再现执行上采样操作的结果。
(27)所述方法包括：生成与所述多个输入信号中的每个有关的所述复杂性信息。
(28)所述方法包括：多路复用所述多个经编码的信号，以获得多路复用的一束经编码的信号，所述多路复用的一束经编码的信号具有满足所述整体数据速率目标的整体数据速率；以及输出所述多路复用的一束经编码的信号。
(29)其中，所述多个输入信号的所述整体数据速率目标在给定的时间段内是恒定的。
(30)其中，所述多个输入信号包括多个视频信号，每个视频信号对应于不同的视频源。
(31)其中，给定视频信号包括一系列图像，所述方法包括：使用所述给定视频信号中的单个图像来获得复杂性信息。
(32)所述方法包括：获得与所述给定视频信号的一个图像有关的复杂性信息；以及根据使用所述给定视频信号的所述一个图像的所述复杂性信息而获得的所述数据速率目标，对所述给定视频信号的所述一个图像进行编码。
(33)所述方法包括：获得与所述给定视频信号的一个图像有关的复杂性信息；以及根据使用所述给定视频信号的所述一个图像的所述复杂性信息而获得的所述数据速率目标，对所述给定视频信号的另一个图像进行编码，所述另一个图像在所述给定视频信号的所述一系列图像中的所述一个图像之后。
(34)其中，所述多个输入信号中的每个的所述数据速率目标分别包括所述多个输入信号中的每个的比特率目标。
(35)所述方法包括：接收与所述多个输入信号中的给定输入信号有关的优先级信息；以及基于与所述给定输入信号有关的所述复杂性信息和与所接收的所述给定输入信号有关的所述优先级信息，获得所述给定输入信号的所述数据速率目标。
(36)所述方法包括：从控制装置接收所述优先级信息；以及输出所述多个经编码的信号以发送至所述控制装置。
(37)所述方法包括：接收优先级信息，所述优先级信息至少指示用于在给定的时间段内广播的、所述多个输入信号中的给定输入信号。
(38)所述方法包括：处理所述多个输入信号中的给定输入信号，以至少获得所述给定输入信号的待编码数据；以及处理所述给定输入信号的所述数据速率目标和所述给定输入信号的待编码数据，以获得用于所述给定输入信号的至少一个量化参数。
(39)所述方法包括：处理所述至少一个量化参数和所述待编码数据，以获得用于所述给定输入信号的量化数据；以及处理所述量化数据，以获得所述给定输入信号的经编码的数据。
(40)所述方法包括：并行处理所述量化数据的多个部分。
(41)一种物理适配器，被配置为执行根据项(23)至(40)中任一项所述的方法。
(42)一种计算机程序产品，包括其上储存有计算机可读指令的非暂时性计算机可读储存介质，所述计算机可读指令由计算机化设备执行，以使所述计算机化设备执行根据项(23)至(40)中任一项所述的方法。
(43)一种包括根据项(1)至(22)中任一项所述的信号处理系统的数据通信网络，所述数据通信网络进一步包括用于为至少一个编码操作生成优先级数据的控制装置，所述控制装置被配置为：从所述信号处理系统接收多个信号；获得表示所接收的所述多个信号中的至少一个信号的广播数据，所述至少一个信号被选择用于在给定的时间段内进行广播；至少部分地基于所获得的广播数据来生成优先级信息；以及将所述优先级信息输出以发送至至少一个所述信号处理系统，所述信号处理系统被配置为：依赖于所述优先级信息来获得所述至少一个信号的数据速率。
(44)所述控制装置被配置为：获得表示所接收的所述多个信号中的至少一个第一信号的第一广播数据，所述至少一个第一信号包括至少一个当前被广播的信号；以及生成与所述至少一个第一信号有关的第一优先级信息，所述信号处理系统被配置为：依赖于与所述至少一个第一信号有关的所述第一优先级信息来增加所述至少一个第一信号的已获得的数据速率目标。
(45)所述控制装置被配置为：生成与所接收的多个信号中的至少一个第二信号有关的第二优先级信息，所述至少一个第二信号不同于所述至少一个第一信号，所述信号处理系统被配置为：依赖于与所述至少一个第二信号有关的所述第二优先级信息来减少所述至少一个第二信号的已获得的数据速率目标。
(46)所述控制装置包括用户界面，其中，所述广播数据是经由所述用户界面处的用户输入而获得的。
(47)其中，所述控制装置远离所述信号处理系统布置。
(48)其中，所述控制装置被布置在视频制作台内。
(49)一种影响至少一个信号的数据速率分配的方法，所述方法在数据通信网络中执行，所述数据通信网络包括根据项(1)至(22)中任一项所述的信号处理系统，所述数据通信网络进一步包括控制装置，所述方法包括在所述控制装置处：从所述信号处理系统接收多个信号；获得表示所接收的所述多个信号中的至少一个信号的广播数据，所述至少一个信号被选择用于在给定的时间段内进行广播；至少部分地基于所获得的广播数据来生成优先级信息；以及将所述优先级信息输出以发送至所述信号处理系统，所述方法进一步包括在所述信号处理系统处：依赖于所述优先级信息来获得所述至少一个信号的数据速率。
(50)所述方法包括在所述控制装置处：获得表示所接收的多个信号中的至少一个第一信号的第一广播数据，所述至少一个第一信号包括至少一个当前被广播的信号；以及生成与所述至少一个第一信号有关的第一优先级信息，所述方法进一步包括在所述信号处理系统处：依赖于与所述至少一个第一信号有关的所述第一优先级信息来增加所述至少一个第一信号的已获得的数据速率目标。
(51)所述方法包括在所述控制装置处：生成与所接收的多个信号中的至少一个第二信号有关的第二优先级信息，所述至少一个第二信号不同于所述至少一个第一信号，所述方法进一步包括在所述信号处理系统处：依赖于与所述至少一个第二信号有关的所述第二优先级信息来减少所述至少一个第二信号的已获得的数据速率目标。
(52)其中，所述控制装置包括用户界面，所述方法包括在所述控制装置处：经由所述用户界面处的用户输入获得所述广播数据。
(53)一种计算机程序产品，包括其上储存有计算机可读指令的非暂时性计算机可读储存介质，所述计算机可读指令由计算机化设备执行，以使所述计算机化设备执行根据项(49)至(51)中任一项所述的方法。
附图说明
从结合所附附图进行的下列细节描述中，本公开的各种特征显而易见，其中：
图1示意性地示出了根据实施例的计算机处理器硬件的主要部件；
图2示意性地示出了构成图1中示出的计算机处理硬件的一部分的编码器的主要部件；
图3示出了构成图2中示出的编码器的一部分的复杂性评估器的主要部件；
图4示出了根据实施例获取复杂性信息的方法的流程图；
图5示意性地示出了构成图1中示出的计算机处理硬件的一部分的比特率目标分配器的主要部件；
图6示意性地示出了根据可替代实施例的信号处理系统的主要部件；
图7示出了根据实施例的数据通信网络的示意图；
图8示出了根据实施例的对多个信号进行编码的方法的流程图；
图9示出了根据实施例的影响至少一个信号的数据速率分配的方法的流程图。
具体实施方式
参考图1，示出了根据实施例的计算机处理器硬件190的示意性例图。在此处描述的非限制性实施方式中，信号处理器(例如，计算机处理器硬件190)被配置为接收多个信号100-1至100-N。给定信号100-1包括一系列图像100-1-1、100-1-2等。在各个信号的编码过程的初始阶段过程中(并且在将任何信号实际编码成经编码的数据之前)，信号处理器为信号100-1至100-N中的每一个生成复杂性信息120-1至120-N。复杂性信息提供了在给定图像中(例如，给定时间采样处的给定视频信号中)的细节的等级的指示。这样，复杂性信息表示在保持期望的质量等级的同时通过编码可以减小与给定视频信号相对应的数据量。通过编码器110-1至100-N可以生成复杂性信息120-1至120-N。
被配置成比特率目标分配器130的信号处理器在接收并且处理各个信号100-1至100-N的复杂性信息120-1至120-N的同时接收并且处理各个信号100-1至100-N的优先级信息125-1至125-N，并且生成各个信号的比特率目标140-1至140-N。与给定信号相关的优先级信息指示与其他信号100-1至100-N相比保持该给定信号的良好质量的重要性。各个信号的比特率目标140-1至140-N可以进一步基于在对多个信号100-1至100-N编码之后的多个信号100-1至100-N的整体比特率目标。在一些实施例中，从整体比特率目标获得给定信号的比特率目标。因此，根据相应的已接收的比特率目标140-1对给定信号100-1进行编码，从而生成经编码的数据150-1。然后，在该实施例中，通过多路复用器160将各个流的经编码的数据多路复用为单个信号数据流170。数据流170可以是例如MPEG传输流。
在一些实施例中，提供多个分离的比特率目标分配器130，每个比特率目标分配器为对应的编码器生成至少一个比特率目标。多个比特率目标分配器可以通信地耦接，使得复杂性信息和/或比特率目标可以在多个比特率目标分配器之中传播。相应地，每个比特率目标分配器可以访问多个信号中的每个的复杂性信息和/或比特率目标。
从一个或多个另外的实体中可以接收用于各个信号100-1至100-N的优先级信息125-1至125-N(图1中未示出)。该一个或多个另外的实体可以包括下面更为详细描述的控制装置。与给定信号有关的优先级信息影响对于给定信号的比特率分配。优先级信息可以影响信号100-1至100-N中的哪一个在一特定时刻处被优先。例如，与第一、高优先级信号有关的优先级信息可以用于增加该信号的所分配的比特率。与第二、低优先级信号有关的优先级信息可以用于减少该信号的所分配的比特率。通过优先级信息和复杂性信息可以影响给定的比特率分配。可以将不同的权重分配给优先级信息和/或复杂性信息，以改变各个参数在给定的比特率分配上所具有的影响量。
在非限制性实施例中，上述过程用于事件现场的低延迟远程视频制作的环境中。视频制作中心位于与事件现场不同的位置，并且事件现场生成的全部视频信号由事件现场处的编码器进行压缩和多路复用，以通过单一恒定的比特率传输被发送至视频制作中心。在制作中心的切换器系统不时的(例如，通过非限制性实施例，在任何给定的时间采样处)定义哪些视频馈送被用于实际的高优先级广播(例如，在该给定的时刻进行广播的直播视频信号；作为随后时刻的下一个被广播的候选的直播视频信号；用于产生重播序列的直播视频信号等)，并且将该信息编纂成各个视频信号的优先级信息。各个视频信号的优先级信息被发送至编码器，以影响对多路复用的一束信号中的视频信号的比特率(并且因此质量)分配。相似的非限制性实施方式允许视频制作中心在端到端传输中仍然保持非常低的延迟性的同时，在传输通道中以远低于整体比特率的消耗远程制作直播事件(例如，因为并非所有的视频信号需要始终以视觉无损质量进行传输)。在非限制性的示例性实施方式中，比特率控制器将在任何给定帧处为了实现视觉上无损的视频质量而需要的比特率分配给在该给定时刻广播的视频信号、将为了实现良好质量而需要的比特率分配给准备好在随后时刻广播的下一个视频信号；并且在满足整体多路复用的一束信号的恒定比特率的要求的同时，将为了实现其余信号的大致相同质量等级而需要的比特率分配给所有其他信号(“其余信号”)。
在其他非限制性实施方式中，具有多个摄像机的无人驾驶车辆以低延迟将视频信息传输至远程控制点。视频信息以多路复用的一束经编码的视频信号的形式被发送。基于通过无人驾驶车辆生成的优先级信息，各个视频信号的视频质量在任何给定的帧处被适配，以基于以下分配更多的比特率：1)各个视频信号(通过无人驾驶车辆的另一信号处理器建立的)的内容的优先级和2)各个视频信号的内容的复杂性。在其他非限制性实施方式中，当无人驾驶车辆从远程控制点接收到一个或多个视频信号的优先级信息时，从远程控制点接收的优先级信息优于通过无人驾驶车辆生成的优先级信息，并且比特率分配器根据从远程控制点接收的优先级信息处理和分配比特率。
在其他非限制性实施方式中，作为CCTV安全系统的一部分的多个摄像机以多路复用的一束经编码的视频信号的形式将信息发送至远程控制中心。各个视频信号的视频质量在任何给定的帧处被适配，以基于以下分配更多的比特率：1)由CCTV安全系统的另一信号处理器建立的各个视频信号的内容的优先级(例如，在非限制性实施方式中，至少部分基于各个视频信号中的运动物体的量以及基于视频信号示出的场景中人的存在)和2)各个视频信号的内容的复杂性。在其他非限制性实施方式中，当CCTV安全系统从远程控制点接收到一个或多个视频信号的优先级信息时，从远程控制点接收的优先级信息优于通过CCTV安全系统生成的优先级信息，并且比特率分配器根据从远程控制点接收的优先级信息处理和分配比特率。
为简单起见，此处示出的非限制性实施方式将信号称为采样序列(即，二维图像、视频帧、视频字段等)。在描述中，术语“图像”、“图片”、或“平面”(旨在具有“超平面”的最宽泛意义，即，具有任意维数和给定采样网格的元素阵列)通常用于标识沿着采样序列的信号的采样的数字再现，其中，对于其各个维度(例如，X和Y)，各个平面具有给定的分辨率，并且包括一组平面元素(或“元素”、或“像元”(pel)、或通常被称为“像素”的二维图像的显示元素，对于容积图像，通常被称为“体元”(voxel)等)，该组平面元素被表征为一个或多个“值”或“设置”(例如，通过非限制性实施例，合适的颜色空间中的颜色设置、指示密度等级的设置、指示温度等级的设置、指示音频音调的设置、指示振幅的设置等)。通过一组合适的坐标来标识每个平面元素，从而指示所述元素在图像的采样网格内的整数位置。信号维度可以仅包括空间维度(例如，在图像的情况下)或还可以包括时间维度(例如，在信号随时间演变的情况下)。
作为非限制性实施例，信号可以是图像、音频信号、多声道音频信号、视频信号、多视角视频信号(例如，3D视频)、容积信号(例如，医学成像、科学成像、全息成像等)、容积视频信号、或甚至具有四个以上维度的信号。
为简单起见，此处示出的非限制性实施方式通常将显示的信号(例如，诸如视频信号等)称为设置的2D平面(例如，合适颜色空间内的2D图像)。术语“帧”或“字段”用于与术语“图像”互换，以表示视频信号的时间采样；针对由帧构成的视频信号(渐进性的视频信号)所示出的任何构思和方法也易于适用于由字段构成的视频信号(交织的视频信号)，反之亦然。尽管此处示出的实施方式聚焦于视频信号，然而，本领域技术人员容易理解，相同的构思和方法还适用于任何其他类型的多维度信号(例如，容积信号、视频信号、3D视频信号、全视信号等)。
参考图2，示出了根据实施例的编码器110-1的示意图。编码器110-1构成上述所述计算机处理器硬件190的一部分。编码器110-1包括复杂性评估器210-1。
在此处描述的其他非限制性实施方式中，由复杂性评估器210-1处理信号100-1，以生成待编码的数据220-1和复杂性信息120-1。通过比特率目标分配器130处理复杂性信息120-1，以生成比特率目标140-1。通过比特率控制器230-1处理比特率目标140-1以及待编码的数据220-1，以生成量化参数235-1。通过量化器240-1接收并且处理量化参数235-1和待编码的数据220-1，以生成量化数据250-1。然后，通过熵编码器260-1处理量化数据250-1，以生成经编码的数据150-1。然后，可以将多个信号的经编码的数据150-1多路复用成用于传输的单个数据流。
在非限制性实施方式中，熵编码器260-1是在量化数据250-1的多个部分上并行操作的并行熵编码器。
在此处描述的其他非限制性实施方式中，通过利用基于层叠(tier)的解决方案处理层级结构(hierarchy)中的输入信号而实现复杂性评估器。
参考图3，示出了根据实施例的该复杂性评估器210-1的示意图。
通过下采样器310处理输入信号X0 100-1-1，该下采样器310生成信号X-1 101-1-1的下采样再现，即，处于下一个较低质量等级的信号再现(例如，在非限制性的实施方式中，较低空间和/或时间分辨率)。然后，通过上采样器320处理下采样的再现X-1 101-1-1，生成处于下一个较高(即原来的)质量等级的信号的上采样再现。然后，通过残差计算器330处理输入信号X0 100-1-1及信号的上采样再现，以生成残差数据R0 340。
通过下采样器311处理下采样再现X-1 101-1-1，该下采样器311生成信号的下采样再现X-2，即，处于下一个较低质量等级的信号再现。然后，通过上采样器321处理下采样再现X-2，生成处于下一个较高质量等级的信号的上采样再现。然后，通过残差计算器331处理信号X-1 101-1-1及信号的上采样再现，生成残差数据R-1 341。
该过程沿层叠的层级结构直至底部质量等级B进行重复，生成残差数据RB 340+B。
通过复杂性信息360的计算器接收该组残差数据R0 340、R-1 341、以及RB 340+B，生成复杂性信息120-1。然后，将复杂性信息120-1输入至比特率目标分配器，例如，比特率目标分配器130，以使比特率目标分配器能够获得输入信号X0 100-1-1的比特率目标。
在一些实施例中，在第一时间采样处，生成输入信号X0 100-1-1(例如，第一图像)的一组残差数据R0 340、R-1 341、以及RB 340+B。然后，基于第一时间采样的该组残差数据R0340、R-1 341、以及RB 340+B生成复杂性信息120-1，以获得输入信号X0 100-1-1在第一时间采样处的比特率目标。在第二时间采样处，生成输入信号X0 100-1-1(例如，第二图像)的又一组残差数据。然后，基于第二时间采样处的又一组残差数据生成复杂性信息120-1，以获得输入信号X0 100-1-1在第二时间采样处的比特率目标等。相应地，基于逐个图像生成复杂性信息，以动态地影响给定信号的比特率目标。
如上所述，复杂性信息提供了在给定图像(例如，在给定时间采样处的给定视频信号)中的细节的等级的指示。例如，包括由于摄像机的运动和/或运动物体而导致的大量模糊的图像可能具有相对较低等级的复杂性。相反，包含例如大量细节的图像(例如，一个或多个静止物体的图像)可能具有相对较高等级的复杂性。这与分析多个图像上的细节和运动的其他技术相反，在其他技术中，较大程度的运动导致较高等级的复杂性。此处，生成复杂性信息并且用于对单一图像进行编码。换言之，该过程基于逐个帧进行操作。这使得能够动态分配给定信号流的比特率并且反过来优化每个图像。此外，由于在编码之前不需要将多个图像作为单个时间块进行分组、预编码、和/或分析，所以能够降低比特率分配操作的计算复杂性。
参考图4，示出了获得根据实施例的复杂性信息的方法400。如上所述，可以由复杂性评估器210-1执行方法400。
在框图410处，接收处于质量等级的层叠式层级结构中的第一质量等级的信号。在该实施例中，接收的信号处于最高质量等级。
在框图420处，获得处于第二质量等级的信号再现。在该实施例中，相对于层叠式层级结构中的第一质量等级，第二质量等级是下一个最低的质量等级。在一些实施例中，处于第二质量等级的信号再现捕获原始信号的粗糙属性，而非原始信号的更为详细的精细属性。
在框图430处，使用具有第一质量等级的信号和处于第二质量等级的信号再现获得第一残差数据。第一残差数据集合可以包括多个重构值，该重构值指示如何使用处于第二质量等级的信号再现重构处于第一质量等级的信号。在一些实施例中，使用处于第二质量等级的信号再现获得处于第一质量等级的信号的预测再现。基于具有第一质量等级的信号与处于第一质量等级的信号的预测再现之间的差异可以获得第一残差集合。
在框图440处，获得处于第三质量等级的信号再现。在该实施例中，相对于处于层叠式层级结构中的第二质量等级，第三质量等级是下一个最低的质量等级。
在框图450处，使用处于第二质量等级的信号再现和处于第三质量等级的信号再现生成第二残差数据集合。第二残差数据集合可以包括多个重构值，该重构值指示如何使用处于第三质量等级的信号再现重构处于第二质量等级的信号再现。
重复上述所述操作，直到层叠式层级结构中的最低或基本质量等级。在框图460，获得处于第n质量等级的信号再现，其中，n是质量等级的层叠式层级结构中的质量等级的编号。在框图470，使用处于第(n-1)质量等级的信号再现和处于第n质量等级的信号再现生成第(n-1)个残差数据集合。
在框图480处，使用来自n-1个残差数据集合中的至少一些的残差数据获得复杂性信息。残差数据可以包括指示如何重构处于较高质量等级的信号的多种不同类型的数据中的一种。例如，残差数据可以包括诸如上采样操作的参数、量化阈值信息、元数据、频谱信息、调整数据等不同类型的重构数据的任意一个或多个集合、平面等，以重构处于不同等级的信号。
如参考图3所述，复杂性评估器210-1通过对各个再现执行下采样和上采样操作来获得质量等级的层叠式层级结构中处于各个质量等级的给定信号的再现。在其他示例性实施方式中，通过执行量化操作来获得处于不同质量等级的给定信号的再现。例如，可以量化处于第一质量等级的给定信号的再现，以获得处于第二较低质量等级的给定信号的再现。在其他实施例中，通过执行过滤操作获得处于不同质量等级的给定信号的再现。例如，可以将处于第一质量等级的给定信号的再现进行过滤，以获得处于第二较低质量等级的给定信号的再现，
在另一非限制性实施方式中，图5示出了根据实施例的比特率目标分配器130的示意图，参考图5，比特率目标分配器的功能实现如下。模拟器530接收用于该束的整体比特率目标510以及各个子流520的一组复杂性信息和各个子流540的一组优先级信息。模拟器530生成被输出至比特率目标选择器550的模拟数据535，比特率目标选择器550使用模拟数据535生成全部子流560的建议比特率目标。各个子流560的比特率目标被广播至全部编码器，这些编码器用于对各个子流进行编码以获得各个子流的经编码的数据。
在一些实施例中，多个单独的比特率目标分配器各自计算相同的子流的比特率。在这些情况下，在对各个子流进行编码之前，多个比特率目标分配器对已分配的比特率达成一致。达成一致可能涉及例如对于多个比特率目标分配器之中的一个或多个子流共享比特率目标信息和/或复杂性信息。
参考图6，示出了根据实施例的信号处理系统600的示意图。信号处理系统600包括一组数据处理实体610-1至610-N。如上所述，该组数据处理实体610-1至610-N中的每个数据处理实体均包括比特率目标分配器130并且进一步包括编码器110-1至110-N。在一些实施例中，并非该组数据处理实体610-1至610-N中的每个数据处理实体均包括比特率目标分配器130和/或编码器110-1至110-N。例如，该组数据处理实体610-1至610-N之间可以共享单个比特率目标分配器130。该组数据处理实体610-1至610-N中的每个数据处理实体均可以例如经由一个或多个通信通道620-1连接地耦合至该组数据处理实体610-1至610-N中的至少一个其他数据处理实体。该一个或多个通信通道620-1可被布置成使跨一个或多个网络的数据处理实体中的至少一些之间的通信成为可能。换言之，信号处理系统600可被布置成跨一个或多个独立设备和/或一个或多个独立位置的分布式系统。该组数据处理实体610-1至610-N中的每个数据处理实体均可以接收多个信号中的一个或多个信号，例如，信号100-1至100-N。
在一些实施例中，该组数据处理实体610-1至610-N中的给定数据处理实体从多个信号获得与一个或多个信号有关的复杂性信息。因此，给定的数据处理实体可以将获得的复杂性信息通信至该组数据处理实体610-1至610-N中的至少一个其他数据处理实体。相应地，该组数据处理实体610-1至610-N中的每个数据处理实体均可以访问与多个信号中的所有信号有关的复杂性信息。与多个信号中的所有信号有关的复杂性信息可以用于影响对在给定数据处理实体处执行的给定信号的比特率分配。换言之，每个数据处理实体均可被配置为与该组数据处理实体610-1至610-N中的其他数据处理实体协作，以为给定的信号分配比特率。
在一些实施例中，该组数据处理实体610-1至610-N中的给定数据处理实体从多个信号中获得给定信号的预测比特率目标。至少部分基于针对给定信号获得的复杂性信息来获得预测的比特率目标。然后，给定的数据处理实体可以将预测的比特率目标通信至该组数据处理实体610-1至610-N中的至少一个其他数据处理实体。相应地，该组数据处理实体610-1至610-N中的每个数据处理实体均可访问多个信号中的全部信号的预测比特率目标。因此，与多个信号中的全部信号有关的预测比特率目标可用于影响对在给定数据处理实体处执行的给定信号的比特率分配。
在一些实施例中，多个经编码的信号被输出以发送至一个或多个接收器。经由单个多路复用的数据流可以传输多个经编码的信号。在一些实施例中，经由多个独立的数据流可以传输多个经编码的信号。每个数据流均可以包括来自多个经编码的信号的至少一个经编码的信号。可以将至少一些不同的数据流传输至不同的接收器。
可以基于恒定的比特率CBR输出多个经编码的信号。例如，每个时间段的总输出数据量可被配置成恒定的。在一些实施例中，可以基于可变的比特率VBR输出多个经编码的信号。例如，每个时间段的总输出数据量可被配置成可变的。
参考图7，示出了根据实施例的数据通信网络700。如上所述，数据通信网络700包括信号处理系统600并且进一步包括控制装置710。控制装置710可被布置为远离信号处理系统600。控制装置710可以位于远程控制点处。控制装置710包括解码器730和视觉混合器740。在一些实施例中，可以包括作为共用硬件模块的一部分或作为单独硬件模块的解码器和/或视觉混合器。控制装置710和信号处理系统600可以经由一个或多个通信通道连接地耦合。控制装置710被配置为从信号处理系统600接收多个信号。例如，多个信号可以是多路复用的多束信号。多个信号可以构成数据流170的一部分。通过一个或多个通信通道可以接收多个信号。例如，多个信号可以是多个直播视频馈送。解码器730被配置为对多个信号中的至少一个信号进行解码。
控制装置710生成优先级信息720并且将优先级信息720传输至信号处理系统600，以影响对多个信号中的至少一个信号的比特率分配。视觉混合器740生成优先级信息720。优先级信息720可以与所选的用于在给定时间段内进行广播的至少一个信号有关。换言之，控制装置710将附加参数(即，优先级信息720)馈送回至由信号处理系统600执行的比特率分配过程。例如，与给定信号有关的优先级信息720的输出能够致使信号处理系统600增加给定信号的已分配的比特率。
控制装置710被配置为获得广播数据。广播数据表示来自已接收的多个信号中的至少一个信号。选择由广播数据表示的至少一个信号用于在给定的时间段内进行广播。控制装置710被配置为至少部分基于已获得的广播数据生成优先级信息720。然后，控制装置710将优先级信息720传输至信号处理系统600。
在一些实施例中，控制装置710包括用户界面。经由用户界面处的用户输入可以获得广播数据。例如，控制装置可以包括视频切换器和/或视频制作台。在一些实施例中，基于摄像机信号灯系统生成一个或多个摄像机信号。一个或多个摄像机信号可以用于获得广播数据，以生成优先级信息720。在一些实施例中，具有通用输入/输出(GPIO)触点的一个或多个控制中继器用于获得广播数据。
与常规技术相反，此处的方法和实施方式的特定实施例表示在整体恒定的比特率约束内实现一束信号的高效多路复用、同时保持最小的编码延迟和最大的处理功率效率的创新方法。
此处示出的方法和实施方式的特定实施例还包括了在信号被实际编码之前，生成信号的一部分的比特率-质量曲线的模型的方法，以生成各个流的最佳编码设置(诸如，通过非限制性实施例，生成量化参数)，而既不需要进行多次编码也不需要来自信号的之前时间块的编码信息，且有益于实现更低的计算复杂性，从而实现多路复用的一束信号的共用的恒定的比特率。
此处实施方式的特定实施例背离于常规的系统和方法，基于总可用比特率、基于各个信号的固有复杂性、并且基于用户提供的一个或多个信号的实时优先级信息(如可用)，通过实时适配其相应的比特率分配提供动态的多路复用信号的新颖性方法。
根据一种实施方式，本发明是用于在对其编码之前(与利用第一编码的输出的现有策略的多路复用技术相反)快速评估给定信号(即，一束给定信号的一部分)的复杂性并且随后实时适配分配至所述给定信号的比特率目标、以命中(hit)给定一束信号的全局目标比特率的方法。
在一些实施例中，基于给定图像所需的质量等级获得给定图像的目标比特率。具有高等级复杂性的图像可以要求相应的高比特率，以实现一定质量等级。在一些实施例中，获得多个信号中的每个的目标比特率，使得在多个信号上实现恒定的质量等级。通过一个或多个质量测量可以确定给定图像的质量等级。质量测量的实施例包括但不限于峰值信噪比(PSNR)、结构相似性测量(SSIM)、均方误差测量(MSE)、多级结构相似性测量(MS-SSIM)等。
特定实施方式提供了一种改善如何为多个信号分配带宽的方法。例如，尽管降低了传输多个信号时所需的带宽，然而可以保持多个信号的给定质量等级。通过使用仅包含在给定信号的单一图像中的信息，逐个图像地获得复杂性信息，可以实时地将数据速率动态地分配至给定的信号。在一些实施例中，使用优先级信息可以允许选定信号(例如，被优先的信号)的带宽分配超过可能另行使用的‘默认’等级。因此，可以改善选定信号的视觉质量。
应当认识到，包括多路复用器和/或使用多路复用器对于提供上述所述优点并不是必须的。例如，无论输出信号是否被多路复用，皆可以实现在降低传输所需的带宽的同时，改善多个信号的质量等级和/或在多个信号之间保持质量等级。例如，经由独立流可以将输出信号传输至一个或多个独立的接收器。
相似地，可以理解，比特率仅是分配给给定信号的数据速率的一个例子，以便以特定质量等级对给定信号进行编码。例如，无论采用何种数据速率，上述所述优点皆可以实现在降低传输所需的带宽的同时，保持多个信号的质量等级。合适的数据速率的其他实施例包括但不限于信息速率、数据信令速率、有效载荷速率等。
相似地，提供了用于对多个信号进行编码的系统和方法。该系统和方法实现了上述所述优点。
参考图8，示出了根据实施例的对多个信号进行编码的方法800。通过信号处理系统执行方法800。信号处理系统的一个例子是信号处理器。信号处理系统可以是单个数据处理实体。在一些实施例中，信号处理系统包括一组数据处理实体。信号处理系统可以包括被配置为处理信息和/或指令的一个或多个处理器。通过硬件和/或软件可以执行由一个或多个处理器执行的操作。一个或多个处理器可以包括多个共置的处理器或多个分散定位的处理器。信号处理系统可以包括被配置为存储用于一个或多个处理器的信息和/或指令的计算机可用存储器。存储器可以包括易失性存储器和/或非失性存储器。
如上所述，信号处理系统可以包括一个或多个比特率分配器和/或一个或多个编码器。独立的比特率分配器和/或独立编码器可以用于已接收的多个信号中的每个信号。在一些实施例中，单个比特率分配器和/或单个编码器被配置成处理来自已接收的多个信号中的多个信号。
多个信号的一个例子是一束信号。信号可以包括数据流。例如，多个信号中的给定信号可以是视频信号。给定的视频信号可以对应于具体的视频源。给定的视频信号可以包括一系列图像。图像的一个例子是帧。给定的视频信号的给定图像可以表示在给定的时间采样处的给定的视频信号。时间采样的一个例子是时间上的一个时刻。多个时间采样的组合可构成时间块。例如，可以每秒25帧获得视频信号。视频信号的一秒钟时间块可以包括25个时间采样，每个时间采样与表示在特定时间采样处的给定视频信号的给定图像相关联。
在框图810处，信号处理系统接收多个输入信号。
在框图820处，信号处理系统获取与多个输入信号中的给定输入信号有关的复杂性信息。复杂性信息可以至少部分基于已生成的残差数据。基于多个输入信号的给定输入信号(具有第一质量等级)并且基于处于第二较低质量等级的给定输入信号的再现可以生成残差数据。在一些实施例中，信号处理系统被配置为处理多个输入信号中的给定输入信号(给定输入信号具有第一质量等级)，以生成处于第二较低质量等级的给定输入信号的再现。该处理操作的一个例子是下采样操作。通过下采样器可以执行下采样操作。在一些实施例中，信号处理系统被配置为处理处于第二较低质量等级的给定输入信号的再现，以生成处于第一质量等级的给定输入信号的再现。该处理操作的一个例子是上采样操作。通过上采样器可以执行上采样操作。信号处理系统可被进一步配置为基于处于第一质量等级的给定输入信号与处于第一质量等级的给定输入信号的再现之间的差异生成残差数据。
在一些实施例中，信号处理系统被配置为处理(例如下采样)处于第二较低质量等级的给定输入信号的再现，以生成处于第三甚至更低质量等级的给定输入信号的再现。之后，可以对处于第三质量等级的给定输入信号的再现进行处理(例如上采样)，以生成处于第二质量等级的给定输入信号的第二次再现。然后，可以处理处于第二质量等级的给定输入信号的再现和处于第二质量等级的给定输入信号的第二次再现，以生成第二残差数据。可以沿着质量等级的层叠式层级结构向下重复生成残差集合的此过程。换言之，可以基于质量等级的层叠式层级结构中处于连续较低质量等级的给定信号的再现生成残差数据的集合。
在一些实施例中，信号处理系统被配置为生成与给定输入信号有关的复杂性信息。在一些实施例中，信号处理系统被配置为从一个或多个另外的实体接收复杂性信息。在一些实施例中，信号处理系统被配置为从至少一个存储器检索复杂性信息。在一些实施例中，信号处理系统被配置为获得多个输入信号中的每个输入信号的复杂性信息。信号处理系统可以被配置为获得与给定输入信号的一个图像有关的复杂性信息。换言之，基于在特定时间采样处的给定输入信号可以获得已获得的复杂性信息。换言之，用于给定输入信号的已获得的复杂性信息可以表示给定输入信号在指定时刻的复杂性。在对该给定的图像执行编码之前，可以获得给定图像的复杂性信息。在一些实施例中，与单个给定帧有关的复杂性信息用于影响单个给定帧的编码。
在框图830，信号处理系统获得多个输入信号中的每个的数据速率目标。依赖于多个输入信号的整体数据速率目标获得多个输入信号中的每个的数据速率目标。整体数据速率目标的一个例子是总数据速率目标。在给定的时间段内，整体数据速率目标可以是恒定的。在一些实施例中，整体数据速率目标可被配置为在给定的时间段内改变。给定输入信号的数据速率目标至少部分取决于与给定输入信号有关的复杂性信息。数据速率的例子是比特率。数据速率目标的例子是比特率目标。
在框图840处，信号处理系统根据相应的已获得的数据速率目标对多个输入信号进行编码，以获得多个经编码的信号。
在框图850处，信号处理系统输出多个经编码的信号。
在一些实施例中，信号处理系统被配置为获得与给定输入信号的第一图像有关的复杂性信息并且对给定输入信号的第一图像执行编码。换言之，基于针对同一图像获得的复杂性信息对第一图像进行编码。换言之，信号处理系统可以被配置为获得与给定信号的一个图像有关的复杂性信息，该信号包括一系列图像，并且信号处理系统可以被配置为根据使用给定信号的所述一个图像的复杂性信息而获得的数据速率目标对给定信号的所述一个图像执行编码。
在一些实施例中，信号处理系统被配置为获得与给定输入信号的第一图像有关的复杂性信息并且对给定输入信号的第二个不同的图像执行编码。第二图像可以表示在相对于第一图像的稍后时间采样处的给定输入信号。换言之，基于针对先前图像获得的复杂性信息对第二图像进行编码。例如，第一图像和第二图像可以是按时间排序的图像序列的一部分。第二图像可以是在按时间排序的序列中紧接在第一图像之后的图像。因此，在对给定输入信号的第二图像进行编码时，可以使用目标比特率。换言之，信号处理系统可以被配置为获得与给定信号(该信号包括图像序列)的一个图像有关的复杂性信息，并且被配置为根据使用给定信号的所述一个图像的复杂性信息而获得的数据速率目标对给定信号的另一图像执行编码，所述另一图像位于给定视频信号的图像序列中的所述一个图像之后。
在一些实施例中，信号处理系统被配置为将多个经编码的信号进行多路复用，以获得多路复用的一束经编码的信号。多路复用的一束经编码的信号可以具有满足整体数据速率目标的整体数据速率。
在一些实施例中，信号处理系统被配置为接收与多个输入信号中的给定输入信号有关的优先级信息。在一些实施例中，从远程控制装置接收优先级信息。在一些实施例中，通过信号处理系统生成优先级信息。基于给定输入信号的复杂性信息和给定输入信号的优先级信息可以获得给定输入信号的数据速率目标。在一些实施例中，信号处理系统将多个经编码的信号输出以发送至远程控制装置。例如，优先级信息至少可以指示在给定时间段内进行广播的多个信号中的给定输入信号。在一些实施例中，优先级信息至少指示例如当前瞬间时间段内当前正在广播的多个信号中的给定输入信号。例如，优先级信息可以至少指示作为随后时间段内广播的候选的多个输入信号中的给定输入信号。优先级信息可以影响给定信号的数据速率分配。
在一些实施例中，信号处理系统包括一组数据处理实体，该组数据处理实体中的每个数据处理实体均被配置为对多个输入信号中的至少一个输入信号进行编码。给定的数据处理实体可以被配置为生成与至少一个输入信号有关的复杂性信息并且将指示已生成的复杂性信息的数据传输至该组数据处理实体中的至少另一个数据处理实体。
在一些实施例中，信号处理系统被配置为处理多个输入信号中的给定输入信号，以至少获得给定输入信号的待编码数据。可以处理给定输入信号的数据速率目标及定输入信号的待编码数据，以获得用于给定输入信号的至少一个量化参数。可以处理该至少一个量化参数及待编码数据，以获得给定输入信号的量化数据。可以处理量化数据，以获得给定输入信号的经编码的数据。信号处理系统可以被配置为并行处理量化数据的多个部分。
参考图9，示出了根据一个实施例的信令图900，其示出了影响多个信号中的一个或多个信号的数据速率分配的方法。该方法可以在诸如数据通信网络700的数据通信网络中执行，并且如上所述包括所述控制装置710和信号处理系统600。数据通信网络还包括广播网络910。
在一些实施例中，控制装置710远离信号处理系统600布置。控制装置710可以布置在视频制作台内。
在项s9a，在控制装置710处从信号处理系统600接收多个信号。
在项s9b，通过控制装置710获得广播数据，广播数据表示所选的在给定的时间段内用于广播的所接收的多个信号中的至少一个信号。
在项s9c，控制装置710至少部分基于已获得的广播数据生成优先级信息。已生成的优先级信息与选择用于在给定的时间段内进行广播的至少一个信号有关并且指示选择用于进行广播的至少一个信号优于未选择用于进行广播的信号。
在项s9d，将已生成的优先级信息输出以发送至信号处理系统600。
在项s9e，信号处理系统600根据通过控制装置710生成的优先级信息获得至少一个信号的数据速率目标。换言之，通过在项s9c生成的优先级信息影响数据速率目标分配。因此，如上面更为详细描述的，数据速率目标分配基于针对至少一个信号而获得的复杂性信息和所接收的优先级信息。
在项s9f，信号处理系统600将多个信号发送至控制装置710。多个信号包括由项s9b处的广播数据指示的至少一个信号，其具有在项s9e处分配的数据速率。
在项s9g，控制装置710通过广播网络910广播至少一个信号。
在一些实施例中，通过控制装置710获得第一广播数据，其指示已接收的多个信号中的至少一个第一信号。该至少一个第一信号可以包括至少一个当前广播的信号。可以生成与至少一个第一信号有关的第一优先级信息。信号处理系统600可以被配置为根据第一优先级信息来增加至少一个第一信号的已获得的数据速率目标。换言之，第一优先级信息可以用于影响与至少一个第一信号有关的数据速率分配操作。
在一些实施例中，通过控制装置710生成第二优先级信息。第二优先级信息与已接收的多个信号中的至少一个第二信号有关，该至少一个第二信号不同于该至少一个第一信号。信号处理系统600可以被配置为根据第二优先级信息减少至少一个第二信号的已获得的数据速率目标。换言之，第二优先级信息可以用于影响与至少一个第二信号有关的数据速率分配操作。
在一些实施例中，通过控制装置710获得第二广播数据。第二广播数据表示已接收的多个信号中的至少一个第三信号。该至少一个第三信号可以包括所选的用于在随后时间段内(例如，在至少一个第一信号进行广播之后)进行广播的至少一个信号。可以生成与至少一个第三信号有关的第三优先级信息。信号处理系统600可以被配置为根据第三优先级信息增加或减少至少一个第三信号的已获得的数据速率目标。换言之，第三优先级信息可以用于影响与至少一个第三信号有关的数据速率分配操作。
换言之，可以在第一程度内(例如，实现第一质量等级)影响当前正在广播的信号的分配数据速率，可以在第二程度内(例如，实现第二质量等级)影响下一准备好进行广播的信号的分配数据速率，并且可以在第三程度内(例如，实现第三质量等级)影响其不用于广播的其他信号的分配数据速率。
在其他实施例中，控制装置包括用户界面。控制装置经由用户界面处的用户输入可以获得广播数据。
在软件或硬件中可以实现、或者使用软件与硬件的组合可以实现此处描述的技术。可以包括配置完成和/或支持此处描述的任何或所有技术的装置。
通过计算机软件可以执行上述所述方法。在一些实施方式中，提供一种计算机程序产品，包括具有储存的计算机可读指令的非易失性计算机可读储存介质。通过计算机化设备运行计算机可读指令，以致使计算机化设备执行上述所述方法。
此处描述的实施方式可以包括一个或多个计算机化设备、路由器、网络、工作站、手持式或膝上型电脑等的配置，以完成和/或支持此处公开的任何或所有方法。换言之，一个或多个计算机化设备或处理器可被编程和/或配置为操作完成此处描述的实施方式。
此处描述的实施方式可以包括执行上述所述方法和过程的软件程序。一个该实施方式包括含被编码的计算机程序逻辑、指令等计算机可读硬件储存资源(即，非易失性计算机可读介质)，当在具有处理器和对应存储器的计算机化设备中执行时，致使处理器执行此处描述的任意方法或过程。该布置可被设置成在计算机可读介质上进行布置或编码的软件、代码、和/或数据结构，诸如，光学介质(例如，CD-ROM)、闪存、或其他光盘、或诸如一个或多个芯片中的固件或微码或者专用集成电路(ASIC)等其他介质。软件或固件或其他该配置能够安装到计算机化设备中，以致使计算机化设备执行此处描述的技术。
已经展开了示出并且描述所描述的原理的实施例的前述描述。该描述并不旨在穷尽或将这些原理局限于所公开的任何精确形式。根据上述教导，多种改造和变形是可能的。

Claims (49)

1.一种用于对多个信号进行编码的信号处理系统，所述信号处理系统被配置为：
接收多个输入信号；
获得与所述多个输入信号中的给定输入信号有关的复杂性信息；
接收与所述多个输入信号中的给定输入信号有关的优先级信息，其中，与所述给定输入信号有关的优先级信息指示与所述多个输入信号中的其他输入信号相比保持所述给定输入信号的质量的重要性；
依赖于所述多个输入信号的整体数据速率目标来获得所述多个输入信号中的每个的数据速率目标，所述给定输入信号的所述数据速率目标至少部分取决于与所述给定输入信号有关的所述复杂性信息和与所述给定输入信号有关的优先级信息，其中，权重因子被分配，以改变所述复杂性信息和所述优先级信息中的每一者在所述数据速率目标所具有的影响量；
根据相应的已获得的所述数据速率目标对所述多个输入信号进行编码，以获得多个经编码的信号；以及
输出所述多个经编码的信号。
2.根据权利要求1所述的信号处理系统，所述信号处理系统被配置为通过以下来获得与所述给定输入信号有关的所述复杂性信息：
基于所述多个输入信号中的具有第一质量等级的所述给定输入信号以及处于第二、较低质量等级的所述给定输入信号的再现生成残差数据；以及
至少部分地基于所生成的残差数据来获得与所述给定输入信号有关的所述复杂性信息。
3.根据权利要求2所述的信号处理系统，所述信号处理系统被配置为通过以下来生成所述残差数据：
处理所述多个输入信号中的具有所述第一质量等级的所述给定输入信号，以生成处于所述第二、较低质量等级的所述给定输入信号的再现；
处理所生成的处于所述第二、较低质量等级的所述给定输入信号的再现，以生成处于所述第一质量等级的所述给定输入信号的再现；以及
基于处于所述第一质量等级的所述给定输入信号与所生成的处于所述第一质量等级的所述给定输入信号的再现之间的差异生成所述残差数据。
4.根据权利要求3所述的信号处理系统，包括：
下采样器，用于处理具有所述第一质量等级的所述给定输入信号，以生成具有所述第二、较低质量等级的所述给定输入信号的再现；以及
上采样器，用于处理所生成的处于所述第二、较低质量等级的所述给定输入信号的再现，以生成处于所述第一质量等级的所述给定输入信号的再现。
5.根据权利要求1至4中任一项所述的信号处理系统，所述信号处理系统被配置为生成与所述多个输入信号中的每个有关的所述复杂性信息。
6.根据权利要求1至4中任一项所述的信号处理系统，所述信号处理系统被配置为：
多路复用所述多个经编码的信号，以获得多路复用的一束经编码的信号，所述多路复用的一束经编码的信号具有满足所述整体数据速率目标的组合数据速率；以及
输出所述多路复用的一束经编码的信号。
7.根据权利要求1至4中任一项所述的信号处理系统，其中，所述多个输入信号的所述整体数据速率目标在给定的时间段内是恒定的。
8.根据权利要求1至4中任一项所述的信号处理系统，其中，所述多个输入信号包括多个视频信号，每个视频信号对应于不同的视频源。
9.根据权利要求8所述的信号处理系统，其中，给定视频信号包括一系列图像，所述信号处理系统被配置为使用所述给定视频信号的单个图像来获得复杂性信息。
10.根据权利要求9所述的信号处理系统，所述信号处理系统被配置为：
获得与所述给定视频信号的一个图像有关的复杂性信息；以及
根据使用所述给定视频信号的所述一个图像的所述复杂性信息而获得的所述数据速率目标，对所述给定视频信号的所述一个图像进行编码。
11.根据权利要求9所述的信号处理系统，所述信号处理系统被配置为：
获得与所述给定视频信号的一个图像有关的复杂性信息；以及
根据使用所述给定视频信号的所述一个图像的所述复杂性信息而获得的所述数据速率目标，对所述给定视频信号的另一个图像进行编码，所述另一个图像在所述给定视频信号的所述一系列图像中的所述一个图像之后。
12.根据权利要求1至4中任一项所述的信号处理系统，其中，所述多个输入信号中的每个的所述数据速率目标分别包括所述多个输入信号中的每个的比特率目标。
13.根据权利要求1至4中任一项所述的信号处理系统，所述信号处理系统被配置为：
从控制装置接收所述优先级信息；以及
输出所述多个经编码的信号以发送至所述控制装置。
14.根据权利要求1至4中任一项所述的信号处理系统，所述信号处理系统被配置为接收优先级信息，所述优先级信息至少指示用于在给定的时间段内广播的、所述多个输入信号中的给定输入信号。
15.根据权利要求1至4中任一项所述的信号处理系统，其中，所述信号处理系统至少部分地布置在闭路电视CCTV安全系统中。
16.根据权利要求1至4中任一项所述的信号处理系统，其中，所述信号处理系统至少部分地布置在事件现场处。
17.根据权利要求1至4中任一项所述的信号处理系统，其中，所述信号处理系统至少部分地布置在至少一个无人驾驶车辆中。
18.根据权利要求1至4中任一项所述的信号处理系统，包括一组数据处理实体，所述一组数据处理实体中的每个数据处理实体被配置为对所述多个输入信号中的至少一个输入信号进行编码，
其中，所述一组数据处理实体中的给定数据处理实体被配置为生成与至少一个输入信号有关的复杂性信息，并且将表示所生成的复杂性信息的数据发送至所述一组数据处理实体中的至少另一个数据处理实体。
19.根据权利要求1至4中任一项所述的信号处理系统，所述信号处理系统被配置为：
处理所述多个输入信号中的给定输入信号，以至少获得所述给定输入信号的待编码数据；以及
处理所述给定输入信号的所述数据速率目标和所述给定输入信号的待编码数据，以获得用于所述给定输入信号的至少一个量化参数。
20.根据权利要求19所述的信号处理系统，所述信号处理系统被配置为：
处理所述至少一个量化参数和所述待编码数据，以获得用于所述给定输入信号的量化数据；以及
处理所述量化数据，以获得所述给定输入信号的经编码的数据。
21.根据权利要求20所述的信号处理系统，所述信号处理系统被配置为并行处理所述量化数据的多个部分。
22.一种由信号处理系统执行的、用于对多个信号进行编码的方法，所述方法包括：
接收多个输入信号；
获得与所述多个输入信号中的给定输入信号有关的复杂性信息；
接收与所述多个输入信号中的给定输入信号有关的优先级信息，其中，与所述给定输入信号有关的优先级信息指示与所述多个输入信号中的其他输入信号相比保持所述给定输入信号的质量的重要性；
依赖于所述多个输入信号的整体数据速率目标来获得所述多个输入信号中的每个的数据速率目标，所述给定输入信号的所述数据速率目标至少部分取决于与所述给定输入信号有关的所述复杂性信息和与所述给定输入信号有关的优先级信息，其中，所述复杂性信息和所述优先级信息在所述数据速率目标所具有的影响量由权重因子指示，并且其中，所述权重因子被分配以改变所述复杂性信息和所述优先级信息中的每一者在所述数据速率目标所具有的影响量；
根据相应的已获得的所述数据速率目标对所述多个输入信号进行编码，以获得多个经编码的信号；以及
输出所述多个经编码的信号。
23.根据权利要求22所述的方法，其中，获得与所述给定输入信号有关的所述复杂性信息包括：
基于所述多个输入信号中的具有第一质量等级的所述给定输入信号以及处于第二、较低质量等级的所述给定输入信号的再现生成残差数据；以及
至少部分地基于所生成的残差数据来获得与所述给定输入信号有关的所述复杂性信息。
24.根据权利要求23所述的方法，其中，生成所述残差数据包括：
处理所述多个输入信号中的具有所述第一质量等级的所述给定输入信号，以生成处于所述第二、较低质量等级的所述给定输入信号的再现；
处理所生成的处于所述第二、较低质量等级的所述给定输入信号的再现，以生成处于所述第一质量等级的所述给定输入信号的再现；以及
基于处于所述第一质量等级的所述给定输入信号与处于所述第一质量等级的所述给定输入信号的再现之间的差异生成所述残差数据。
25.根据权利要求24所述的方法，其中：
处于所述第二、较低质量等级的所述给定输入信号的再现表示对处于所述第一质量等级的所述给定输入信号执行下采样操作的结果；以及
处于所述第一质量等级的所述给定输入信号的再现表示对处于所述第二、较低质量等级的所述给定输入信号的再现执行上采样操作的结果。
26.根据权利要求22至25中任一项所述的方法，所述方法包括：
生成与所述多个输入信号中的每个有关的所述复杂性信息。
27.根据权利要求22至25中任一项所述的方法，所述方法包括：
多路复用所述多个经编码的信号，以获得多路复用的一束经编码的信号，所述多路复用的一束经编码的信号具有满足所述整体数据速率目标的整体数据速率；以及
输出所述多路复用的一束经编码的信号。
28.根据权利要求22至25中任一项所述的方法，其中，所述多个输入信号的所述整体数据速率目标在给定的时间段内是恒定的。
29.根据权利要求22至25中任一项所述的方法，其中，所述多个输入信号包括多个视频信号，每个视频信号对应于不同的视频源。
30.根据权利要求29所述的方法，其中，给定视频信号包括一系列图像，所述方法包括：
使用所述给定视频信号中的单个图像来获得复杂性信息。
31.根据权利要求30所述的方法，所述方法包括：
获得与所述给定视频信号的一个图像有关的复杂性信息；以及
根据使用所述给定视频信号的所述一个图像的所述复杂性信息而获得的所述数据速率目标，对所述给定视频信号的所述一个图像进行编码。
32.根据权利要求30所述的方法，所述方法包括：
获得与所述给定视频信号的一个图像有关的复杂性信息；以及
根据使用所述给定视频信号的所述一个图像的所述复杂性信息而获得的所述数据速率目标，对所述给定视频信号的另一个图像进行编码，所述另一个图像在所述给定视频信号的所述一系列图像中的所述一个图像之后。
33.根据权利要求22至25中任一项所述的方法，其中，所述多个输入信号中的每个的所述数据速率目标分别包括所述多个输入信号中的每个的比特率目标。
34.根据权利要求22至25中任一项所述的方法，所述方法包括：
从控制装置接收所述优先级信息；以及
输出所述多个经编码的信号以发送至所述控制装置。
35.根据权利要求22至25中任一项所述的方法，所述方法包括：
接收优先级信息，所述优先级信息至少指示用于在给定的时间段内广播的、所述多个输入信号中的给定输入信号。
36.根据权利要求22至25中任一项所述的方法，所述方法包括：
处理所述多个输入信号中的给定输入信号，以至少获得所述给定输入信号的待编码数据；以及
处理所述给定输入信号的所述数据速率目标和所述给定输入信号的待编码数据，以获得用于所述给定输入信号的至少一个量化参数。
37.根据权利要求36所述的方法，所述方法包括：
处理所述至少一个量化参数和所述待编码数据，以获得用于所述给定输入信号的量化数据；以及
处理所述量化数据，以获得所述给定输入信号的经编码的数据。
38.根据权利要求37所述的方法，所述方法包括：
并行处理所述量化数据的多个部分。
39.一种物理适配器，被配置为执行根据权利要求22至38中任一项所述的方法。
40.一种包括根据权利要求1至21中任一项所述的信号处理系统的数据通信网络，所述数据通信网络进一步包括用于为至少一个编码操作生成优先级数据的控制装置，所述控制装置被配置为：
从所述信号处理系统接收多个信号；
获得表示所接收的所述多个信号中的至少一个信号的广播数据，所述至少一个信号被选择用于在给定的时间段内进行广播；
至少部分地基于所获得的广播数据来生成优先级信息；以及
将所述优先级信息输出以发送至至少一个所述信号处理系统，所述信号处理系统被配置为：
依赖于所述优先级信息来获得所述至少一个信号的数据速率。
41.根据权利要求40所述的数据通信网络，所述控制装置被配置为：
获得表示所接收的所述多个信号中的至少一个第一信号的第一广播数据，所述至少一个第一信号包括至少一个当前被广播的信号；以及
生成与所述至少一个第一信号有关的第一优先级信息，所述信号处理系统被配置为：
依赖于与所述至少一个第一信号有关的所述第一优先级信息来增加所述至少一个第一信号的已获得的数据速率目标。
42.根据权利要求41所述的数据通信网络，所述控制装置被配置为：
生成与所接收的多个信号中的至少一个第二信号有关的第二优先级信息，所述至少一个第二信号不同于所述至少一个第一信号，所述信号处理系统被配置为：
依赖于与所述至少一个第二信号有关的所述第二优先级信息来减少所述至少一个第二信号的已获得的数据速率目标。
43.根据权利要求40至42中任一项所述的数据通信网络，所述控制装置包括用户界面，
其中，所述广播数据是经由所述用户界面处的用户输入而获得的。
44.根据权利要求40至42中任一项所述的数据通信网络，其中，所述控制装置远离所述信号处理系统布置。
45.根据权利要求40至42中任一项所述的数据通信网络，其中，所述控制装置被布置在视频制作台内。
46.一种影响至少一个信号的数据速率分配的方法，所述方法在数据通信网络中执行，所述数据通信网络包括根据权利要求1至21中任一项所述的信号处理系统，所述数据通信网络进一步包括控制装置，所述方法包括在所述控制装置处：
从所述信号处理系统接收多个信号；
获得表示所接收的所述多个信号中的至少一个信号的广播数据，所述至少一个信号被选择用于在给定的时间段内进行广播；
至少部分地基于所获得的广播数据来生成优先级信息；以及
将所述优先级信息输出以发送至所述信号处理系统，所述方法进一步包括在所述信号处理系统处：
依赖于所述优先级信息来获得所述至少一个信号的数据速率。
47.根据权利要求46所述的方法，所述方法包括在所述控制装置处：
获得表示所接收的多个信号中的至少一个第一信号的第一广播数据，所述至少一个第一信号包括至少一个当前被广播的信号；以及
生成与所述至少一个第一信号有关的第一优先级信息，所述方法进一步包括在所述信号处理系统处：
依赖于与所述至少一个第一信号有关的所述第一优先级信息来增加所述至少一个第一信号的已获得的数据速率目标。
48.根据权利要求47所述的方法，所述方法包括在所述控制装置处：
生成与所接收的多个信号中的至少一个第二信号有关的第二优先级信息，所述至少一个第二信号不同于所述至少一个第一信号，所述方法进一步包括在所述信号处理系统处：
依赖于与所述至少一个第二信号有关的所述第二优先级信息来减少所述至少一个第二信号的已获得的数据速率目标。
49.根据权利要求46至48中任一项所述的方法，其中，所述控制装置包括用户界面，所述方法包括在所述控制装置处：
经由所述用户界面处的用户输入获得所述广播数据。
CN201680033970.9A 2015-04-13 2016-04-13 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码 Active CN107750456B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562146663P 2015-04-13 2015-04-13
US62/146,663 2015-04-13
PCT/GB2016/051034 WO2016166532A1 (en) 2015-04-13 2016-04-13 Encoding a plurality of signals with data rate target of a signal depending on complexity information

Publications (2)

Publication Number Publication Date
CN107750456A CN107750456A (zh) 2018-03-02
CN107750456B true CN107750456B (zh) 2022-02-11

Family

ID=56024329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680033970.9A Active CN107750456B (zh) 2015-04-13 2016-04-13 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码

Country Status (6)

Country Link
US (2) US10609381B2 (zh)
EP (2) EP3284255B1 (zh)
CN (1) CN107750456B (zh)
ES (1) ES2953917T3 (zh)
PL (1) PL3284255T3 (zh)
WO (1) WO2016166532A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180302455A1 (en) * 2017-04-18 2018-10-18 Facebook, Inc. Systems and methods for adjusting video transmission bitrates
US10225211B2 (en) 2017-07-20 2019-03-05 Arris Enterprises Llc Statistical multiplexer with service priority weighting
GB2573486B (en) * 2017-12-06 2022-12-21 V Nova Int Ltd Processing signal data using an upsampling adjuster
US10880354B2 (en) * 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
US6084910A (en) * 1997-01-31 2000-07-04 Hughes Electronics Corporation Statistical multiplexer for video signals
US6078958A (en) * 1997-01-31 2000-06-20 Hughes Electronics Corporation System for allocating available bandwidth of a concentrated media output
DE10122419B4 (de) * 2001-05-09 2007-11-08 Siemens Ag Verfahren zur dynammischen Kanalzuordnung
US8204079B2 (en) * 2002-10-28 2012-06-19 Qualcomm Incorporated Joint transmission of multiple multimedia streams
CN101432981A (zh) * 2004-10-27 2009-05-13 Eg技术有限公司 用于信道组的最优速率分配
US20090276815A1 (en) * 2008-04-30 2009-11-05 Echostar Technologies L.L.C. Systems, methods and apparatus for democratic allocation of bandwidth
US8922659B2 (en) * 2008-06-03 2014-12-30 Thales Dynamically reconfigurable intelligent video surveillance system
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US8711943B2 (en) * 2011-07-21 2014-04-29 Luca Rossato Signal processing and tiered signal encoding
US9129411B2 (en) 2011-07-21 2015-09-08 Luca Rossato Upsampling in a tiered signal quality hierarchy
US8977065B2 (en) 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
US8531321B1 (en) * 2011-07-21 2013-09-10 Luca Rossato Signal processing and inheritance in a tiered signal quality hierarchy
US10873772B2 (en) 2011-07-21 2020-12-22 V-Nova International Limited Transmission of reconstruction data in a tiered signal quality hierarchy
US9300980B2 (en) 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US9510018B2 (en) 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
WO2013108230A1 (en) 2012-01-18 2013-07-25 Luca Rossato Distinct encoding and decoding of stable information and transient/stochastic information
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
CN104620583A (zh) * 2012-05-14 2015-05-13 卢卡·罗萨托 基于支持信息的残差数据的编码和重构
CN105580369B (zh) * 2013-03-11 2019-04-26 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统
EP2987325B1 (en) 2013-04-15 2018-08-29 V-Nova International Ltd Hybrid backward-compatible signal encoding and decoding
JP6253794B2 (ja) * 2014-02-13 2017-12-27 ドルビー・インターナショナル・アーベー エンハンストダイナミックレンジを備える信号のための区分的階層間予測
US20180176588A1 (en) * 2014-03-14 2018-06-21 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
US20160088298A1 (en) * 2014-09-22 2016-03-24 Ximin Zhang Video coding rate control including target bitrate and quality control

Also Published As

Publication number Publication date
EP4270952A2 (en) 2023-11-01
US20180054616A1 (en) 2018-02-22
US20200322612A1 (en) 2020-10-08
EP3284255C0 (en) 2023-06-07
ES2953917T3 (es) 2023-11-17
US11159799B2 (en) 2021-10-26
CN107750456A (zh) 2018-03-02
EP4270952A3 (en) 2023-12-27
EP3284255B1 (en) 2023-06-07
PL3284255T3 (pl) 2023-10-30
US10609381B2 (en) 2020-03-31
WO2016166532A1 (en) 2016-10-20
EP3284255A1 (en) 2018-02-21

Similar Documents

Publication Publication Date Title
US11159799B2 (en) Encoding a plurality of signals
US10257528B2 (en) Method and apparatus for adaptive encoding and decoding based on image quality
KR101173335B1 (ko) 영상분할기반 초고해상도 비디오 부호화 및 복호화 장치, 및 그 제어 방법
US10999583B2 (en) Scalability of multi-directional video streaming
US20230370624A1 (en) Distributed analysis of a multi-layer signal encoding
US10321144B2 (en) Method and system for determining encoding parameters of video sources in large scale video surveillance systems
US20140119456A1 (en) Encoding video into lower resolution streams
US10721476B2 (en) Rate control for video splicing applications
CN113170237B (zh) 视频编码与解码方法和设备
US20220182654A1 (en) Exchanging information in hierarchical video coding
EP3827588A1 (en) Spatial layer rate allocation
US20160295235A1 (en) Image processing apparatus, image processing method and non-transitory computer readable storage medium
US20240048764A1 (en) Method and apparatus for multi view video encoding and decoding, and method for transmitting bitstream generated by the multi view video encoding method
WO2024084248A1 (en) Distributed analysis of a multi-layer signal encoding
JP6231046B2 (ja) 動画データ配信管理装置、動画データ配信管理方法、プログラム
GB2540204A (en) Rate control of streaming modules sharing a communication channel
TH2001007039A (th) ระบบและวิธีสำหรับการเข้ารหัสวีดิทัศน์เสมือนจริง 360 องศา
KR20210051691A (ko) 타일 기반 스트리밍을 위한 관심 영역 기반 타일 부호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant