CN106412584B - 传输显示数据的系统和方法 - Google Patents
传输显示数据的系统和方法 Download PDFInfo
- Publication number
- CN106412584B CN106412584B CN201610586148.7A CN201610586148A CN106412584B CN 106412584 B CN106412584 B CN 106412584B CN 201610586148 A CN201610586148 A CN 201610586148A CN 106412584 B CN106412584 B CN 106412584B
- Authority
- CN
- China
- Prior art keywords
- frame
- compressed
- difference
- source
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/428—Recompression, e.g. by spatial or temporal decimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
- H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种传输显示数据的系统和方法。提出了一种传输显示数据的系统。该系统包括被配置为接收源帧并输出压缩帧的帧编码部分。帧编码部分具有:被配置为使用源帧和编码参考帧生成差异帧的差异单元;被配置为输出源帧或差异帧的压缩版本作为压缩帧的编码输出单元;以及被配置为将源帧的压缩版本存储为新的编码参考帧的第一压缩帧缓冲器,其中帧编码部分进一步包括被配置为将分别从源帧和差异帧得到的帧的图像质量进行比较的帧判定单元。
Description
相关申请的交叉引用
此申请要求2015年7月27日提交的名称为“压缩帧缓冲器保持压缩(CompressedFrame Buffer Hold Compression)”的美国临时专利申请62/197,452的优先权和权益,其全部内容通过引用被合并于此。
技术领域
本公开涉及传输显示数据的系统和方法。
背景技术
随着显示设备的分辨率增加,需要被传递到显示设备(例如从主机系统)或在显示设备的内部组件之间传递的信息量显著增加。举例而言,4K分辨率(也就是3840×2160)的显示设备具有大约4倍于1920×1080分辨率的显示设备的像素数量。这意味着有大约4倍的信息量需要被传递到更高分辨率的显示设备或在其内传递。
处理显示信息量的显著增加的一种方式是增加在其上传输信息的信道的物理带宽或容量。另一种方式是在通过信道传输信息之前压缩信息。然而,实现现有的数据压缩的系统和方法可能过度增加复杂性,因此增加显示设备的成本。
因此,鉴于正在生产越来越高的分辨率的显示设备的当前趋势,需要有一种不过于复杂的传输显示数据的系统和方法。
发明内容
本公开提供了一种传输显示数据的系统。该系统包括被配置为接收源帧并输出压缩帧的帧编码部分。帧编码部分具有:被配置为使用源帧和编码参考帧生成差异帧的差异单元;被配置为输出源帧或差异帧的压缩版本作为压缩帧的编码输出单元;以及被配置为将源帧的压缩版本存储为新的编码参考帧的第一压缩帧缓冲器,其中帧编码部分进一步包括被配置为将分别从源帧和差异帧得到的帧的图像质量进行比较的帧判定单元。
本公开还提供了一种传输显示数据的方法。该方法包括:由帧编码部分接收源帧;使用源帧和编码参考帧生成差异帧;将源帧的压缩版本存储为新的编码参考帧;以及输出源帧或差异帧的压缩版本作为压缩帧。
附图说明
被包括作为本公开的一部分的附图示出了各种实施例,并连同上面给出的一般描述和下面给出的各个实施例的详细描述一起用于解释和教导本文所描述的原理。
图1示出了根据一个实施例的传输显示数据的系统和方法的示例性实施方式。
图2示出了根据一个实施例的图1的编码部分的示例性操作的流程图。
图3示出了根据一个实施例的图1的解码部分的示例性操作的流程图。
图4示出了根据一个实施例的传输显示数据的系统和方法的另一实施方式。
图5示出了根据一个实施例的图4的编码部分的示例性操作的流程图。
图6示出了根据一个实施例的图4的解码部分的示例性操作的流程图。
附图中的图不一定按比例绘制,在所有图中,为了例示的目的,类似结构或功能的元件通常由相同的附图标记表示。图只是意在使对本文中描述的各个实施例的描述容易,而不是描述本文所公开的教导的每个方面,并且不限制权利要求的范围。
具体实施方式
在本文公开的特征和教导中的每个可以单独使用,或与其它特征和教导结合使用,以提供本系统和方法。单独和结合使用许多这些特征和教导的代表性示例都将参考附图来描述。尽管本文中的详细描述向本领域普通技术人员示出了用于实践本教导的方面的进一步细节,但这并不限制权利要求的范围。因此,在详细描述中公开的特征的组合是本教导的代表性示例,并且在最广泛的意义上来说对于实践教导可能不是必须的。
根据一个示例性实施例,本系统和方法在解码部分中使用压缩帧缓冲器以通过在时间上集成标准帧和差异帧来提高静态图像的质量。如本文所用,“标准帧”或者仅“帧”指的是用于呈现完整的静态图像的显示数据,而“差异帧”指的是与两个帧之间的差异对应的差异数据。因此,通常,差异帧本身不包含用于呈现完整的静态图像的所有数据。视频可以包括多个帧。
当标准帧被发送到解码部分时,已经处于压缩形式的标准帧被存储在解码部分的压缩帧缓冲器中,作为新的解码参考帧。此外,解码部分解压缩并输出标准帧。当差异帧被发送到解码部分时,解码部分输出通过组合差异帧和先前存储的解码参考帧而形成的重构帧。
图1示出了传输显示数据的系统和方法的示例性实施方式。参考图1,系统100包括经由信道连接的帧编码部分110(以下简称为编码部分110)和帧解码部分120(以下简称为解码部分120)。信道可以采取允许数据从帧编码部分110被传输到帧解码部分120的任何形式。作为非限制性的示例,信道可以是显示设备内的显示面板与显示驱动器之间的总线连接,或显示设备与外部主机系统之间的电缆连接。系统100接收源帧I作为输入,并输出用于显示的最终帧O。最终帧O的图像质量可以接近于源帧I的图像质量。
帧编码部分110包括编码器111、差异单元112、压缩帧缓冲器113、解码器114和115、帧判定单元116、求和单元117和编码输出单元(例如多路复用器118)。虽然图1将这些组件示出为分离的组件,但这些组件中的一个或多个可以被组合。例如,解码器114和115可以是同一解码器,而不是分离的解码器114和115,或者,在另一示例中,编码器111可以与解码器115组合。
在帧周期t期间,编码部分110接收源帧I并将它输入到差异单元112和编码器111中,差异单元112使用编码参考帧RE对源帧I执行差异操作。具体地,差异单元112从源帧I减去编码参考帧RE,以生成差异帧D。编码参考帧RE从压缩帧缓冲器113被获取,并在被输入到差异单元112之前被解码器114解压缩。差异单元112将差异帧D输出到编码器111。
编码器111接收并压缩源帧I和差异帧D中的每个。编码器111然后将压缩的源帧CI与压缩的差异帧CD输出到解码器115。编码器111和解码器115可以确保相同的参考帧被生成。
解码器115解压缩压缩的源帧CI和压缩的差异帧CD中的每个,并输出解压缩的源帧DI和解压缩的差异帧DD。解压缩的源帧DI被输出到帧判定单元116,解压缩的差异帧DD被输出到求和单元117。求和单元117将解压缩的差异帧DD和编码参考帧RE相加,并将求和帧S输出到帧判定单元116。
帧判定单元116评估并比较求和帧S和解压缩的源帧DI中的每个的图像质量与源帧I的图像质量,并将比较判定信号输出到多路复用器118。也就是说,在进行比较时,帧判定单元116确定求和帧S和解压缩的源帧DI中的哪一个具有最靠近或最接近源帧I的图像质量。帧判定单元116可以使用包括例如阈值分析和均方误差(MSE)分析的许多技术来评估和比较其输入帧的图像质量。
多路复用器118接收压缩的源帧CI和压缩的差异帧CD作为输入。取决于从帧判定单元116接收的比较判定信号,多路复用器118将压缩的源帧CI或压缩的差异帧CD作为压缩的帧CF输出到信道。例如,如果帧判定单元116确定从压缩的源帧CI得到的解压缩的源帧DI与求和帧S相比具有更好的图像质量(也就是相比S更靠近I),则多路复用器118可以输出压缩的源帧CI作为压缩的帧CF,压缩帧缓冲器113可将压缩的源帧CI存储在压缩帧缓冲器113中作为新的编码参考帧,使得它可以在随后的帧周期>t期间被用来生成差异帧。
另一方面,如果帧判定单元116判定从压缩的差异帧CD得到的求和帧S与解压缩的源帧DI相比具有更好的图像质量,则多路复用器118可以输出压缩的差异帧CD作为压缩的帧CF。压缩的帧CF可以用指示压缩的帧是标准帧(也就是压缩的源帧CI)还是差异帧(也就是压缩的差异帧CD)的标志(未示出)来编码。
解压缩的源帧DI的图像质量与求和帧S的图像质量的比较相对于源帧I来进行。也就是说,如果解压缩的源帧DI更靠近或更接近源帧I,则解压缩的源帧DI被选择。另一方面,如果求和帧S更靠近或更接近源帧I,则求和帧S被选择。
解码部分120从信道接收压缩的帧CF。解码部分120包括帧类型选择器121、压缩帧缓冲器122、解码输出单元(例如多路复用器123)、解码器124和126以及求和单元125。虽然图1将这些组件示出为分离的组件,但这些组件中的一个或多个可以被组合。例如,解码器124和126可以是同一解码器,而不是分离的解码器124和126。
解码器124解压缩压缩的帧CF并输出解压缩的帧DF。帧类型选择器121接收解压缩的帧DF作为输入,并例如通过评估作为压缩的帧CF的一部分被编码或发送的标志来确定解压缩的帧DF是标准帧还是差异帧。已经确定了解压缩的帧DF的类型后,帧类型选择器121将判定信号输出到压缩帧缓冲器122和多路复用器123。
如果帧类型选择器121确定解压缩的帧DF是标准帧,则帧类型选择器121经由判定信号指示压缩帧缓冲器122将压缩的帧CF存储为新的解码参考帧,其可以在随后的帧周期>t期间被用来生成重构帧(将在下面进一步描述)。帧类型选择器121还指示多路复用器123输出解压缩的帧DF作为用于显示为图像的最终帧O。
如果帧类型选择器121确定解压缩的帧DF是差异帧,则帧类型选择器121指示多路复用器123输出重构帧RF作为最终帧O。重构帧RF由求和单元125生成,求和单元125将在这种情况下作为差异帧的解压缩的帧DF加到解码参考帧RD。解码参考帧RD从压缩帧缓冲器122获取,并在被输入到求和单元125之前被解码器126解压缩。如果从压缩帧缓冲器122获取解码参考帧RD是破坏性的(也就是将其删除),则解码参考帧RD可以在其获取之后被再次存储,使得它在随后的帧周期>t期间可用。
因此,总结图1,如果标准帧被发送以用于显示,则进入的源帧在左侧由编码部分110压缩,在压缩帧缓冲器113中被存储为新的编码参考帧,并且作为压缩的帧通过信道被传输。在被解码部分120接收后,压缩的帧在压缩帧缓冲器122中被存储为新的解码参考帧,被解压缩,然后被输出作为用于显示的最终帧。另一方面,如果差异帧被发送以用于显示,则计算进入的源帧与参考帧的差异,进入的源帧被压缩,然后与指示它是差异帧的标志一起通过信道被发送。在被解码部分120接收后,压缩的差异帧被解压缩,并被加到从压缩帧缓冲器122获取的解码参考帧,以生成用于显示的最终帧。
根据图1的示例性实施例,当连续源帧显示相同的或基本相似的图像(例如静止或缓慢变化的图像的视频)时,差异帧可被发送,而不是标准帧。这样做将是有利的,因为连续帧之间的差异是较小的,所以传输差异帧将不需要大量的信道带宽。此外,从差异帧生成的最终帧倾向于具有更好的图像质量,因为相同的源图像通过信道被有效地传输两次或更多次,但具有大约单次传输的信道损失。然而,当连续帧显示截然不同的图像或者当第一源帧正在被发送时,标准帧可以被发送,而不是差异帧。在任何情况下,确定是标准帧(也就是压缩的源帧)还是差异帧(也就是压缩的差异帧)通过信道被发送的帧判定单元116确保了最终帧的图像质量不比标准帧被发送时的图像质量差。
图2示出了根据一个实施例的图1的编码部分的示例性操作的流程图。编码部分接收源帧(201)。编码部分压缩源帧以生成压缩的源帧(202),然后解压缩压缩的源帧以生成解压缩的源帧(203)。
编码部分从第一压缩帧缓冲器获取并解压缩编码参考帧,以生成解压缩的编码参考帧(204)。编码部分取源帧与解压缩的编码参考帧之间的差异,以生成差异帧(205)。编码部分压缩差异帧,以生成压缩的差异帧(206)。编码部分解压缩压缩的差异帧,以生成解压缩的差异帧(207)。编码部分将解压缩的差异帧和解压缩的编码参考帧相加,以生成求和帧(208)。
编码部分评估和比较求和帧和解压缩的源帧,以确定哪一个具有更好的图像质量(209)。如果从压缩的差异帧得到的求和帧具有更好的图像质量(210),则编码部分通过信道发送压缩的差异帧(211)。如果从压缩的源帧得到的解压缩的源帧具有更好的图像质量(212),则编码部分通过信道发送压缩的源帧作为标准帧(213),并将压缩的源帧存储在第一压缩帧缓冲器中作为新的编码参考帧(214)。
图3示出了根据一个实施例的图1的解码部分的示例性操作的流程图。解码部分从信道接收压缩的帧(301),并解压缩压缩的帧以生成解压缩的帧(302)。解码部分确定解压缩的帧是标准帧还是差异帧(303)。
如果解压缩的帧是标准帧(304),则解码部分输出解压缩的标准帧作为用于显示的最终帧(305)。解码部分还将压缩的帧存储在第二压缩帧缓冲器中作为新的解码参考帧(306)。
如果解压缩的帧是差异帧(307),则解码部分从第二压缩帧缓冲器获取并解压缩解码参考帧以生成解压缩的解码参考帧(308)。解码部分然后将解压缩的帧和解压缩的解码参考帧相加以生成重构帧(309),并输出重构帧作为用于显示的最终帧(310)。
在图1的情况下并如上所述,只有标准帧被写入到解码部分120的压缩帧缓冲器122中,而差异帧没有。然而,在其它实施方案中,可以预期差异帧也可以被存储在第二压缩帧缓冲器中。
此外,在一些实施例中,可以使用预测帧(例如由运动向量创建),而不是仅组合解码参考帧与差异帧来生成重构帧。例如,如果运动向量连同差异帧一起被发送,则运动向量可被用来对解码参考帧进行变换,以生成预测帧。然后,可通过组合差异帧和预测帧来生成重构帧。
此外,在一些实施例中,帧判定单元116的操作可以在编码器111的压缩操作之前执行。这将节省压缩两次的需要,但是在确定最终质量方面有效性降低。
图4示出了根据一个实施例的本系统和方法的另一示例性实施方式。图4的实施例与图1的实施例的差别在于图4在其帧编码部分和帧解码部分中的每个中具有额外的编码器,从而增加其复杂性。换句话说,在图1的实施例中,压缩的帧被直接存储在压缩帧缓冲器122中,而在下面将进一步详细描述的图4的实施例中,压缩的帧可以在被储存在压缩帧缓冲器422中之前被解压缩然后被再次压缩。如本文所用,在压缩帧缓存器中“直接”存储压缩的帧是指压缩的帧被存储而没有被编码器进一步处理。
参考图4,系统400包括经由信道连接的帧编码部分410(以下有时简称为编码部分410)和帧解码部分420(以下有时简称为解码部分420)。信道可以采取允许数据从帧编码部分410被传输到帧解码部分420的任何形式。系统400接收源帧I作为输入,并输出最终帧O。最终帧O的图像质量可以接近于源帧I的图像质量。
编码部分410包括编码器411和419、差异单元412、压缩帧缓冲器413、解码器414和415、帧判定单元416、求和单元417以及多路复用器418和420。虽然图4将这些组件示出为分离的组件,这些组件中的一个或多个可以被组合。例如,解码器414和415可以是同一解码器,而不是分离的解码器414和415。在另一示例中,解码器415可以被集成到编码器411。
在帧周期t期间,编码部分410接收源帧I并将它输入到差异单元412和编码器411,差异单元412使用编码参考帧RE对源帧I执行差异操作。具体地,差异单元412从源帧I减去编码参考帧RE,以生成差异帧D。编码参考帧RE从压缩帧缓冲器413被获取,并在被输入到差异单元412之前被解码器414解压缩。差异单元412将差异帧D输出到编码器411。
编码器411接收并压缩源帧I和差异帧D中的每个。编码器411然后将压缩的源帧CI与压缩的差异帧CD输出到解码器415。编码器411和解码器415可以用作确保相同的参考帧被生成的一对帧内编码器-解码器。
解码器415解压缩压缩的源帧CI和压缩的差异帧CD中的每个,并输出解压缩的源帧DI和解压缩的差异帧DD。解压缩的源帧DI被输出到帧判定单元416,解压缩的差异帧DD被输出到求和单元417。求和单元417将解压缩的差异帧DD和编码参考帧RE相加,并将求和帧S输出到帧判定单元416和编码器419。
帧判定单元416评估并比较求和帧S和解压缩的源帧DI的图像质量,并将比较判定信号输出到多路复用器418和420。帧判定单元416可以使用包括例如阈值分析和均方误差(MSE)分析的许多技术来评估和比较其输入帧的图像质量。
多路复用器418接收压缩的源帧CI和压缩的差异帧CD作为输入。取决于从帧判定单元416接收的比较判定信号,多路复用器418将压缩的源帧CI或压缩的差异帧CD作为压缩的帧CF输出到信道。例如,如果帧判定单元416确定从压缩的源帧CI得到的解压缩的源帧DI与求和帧S相比具有更好的图像质量,则多路复用器418可以输出压缩的源帧CI作为压缩的帧CF,压缩帧缓冲器413可将压缩的源帧CI存储在压缩帧缓冲器413中作为新的编码参考帧,使得它可以在随后的帧周期>t期间被用来生成差异帧。
另一方面,如果帧判定单元416判定从压缩的差异帧CD得到的求和帧S与解压缩的源帧DI相比具有更好的图像质量,则多路复用器418可以输出压缩的差异帧CD作为压缩的帧CF。压缩的帧CF可以用指示压缩的帧是标准帧(也就是压缩的源帧CI)还是差异帧(也就是压缩的差异帧CD)的标志(未示出)来编码。
编码器419压缩求和帧S,以生成压缩的求和帧。多路复用器420接收压缩的源帧CI和压缩的求和帧CS作为输入。取决于从帧判定单元416接收的比较判定信号,多路复用器420将压缩的源帧CI或压缩的求和帧CS输出到压缩帧缓冲器413,用于存储为新的编码参考帧。
因而,与当被多路复用器118输出时仅压缩的源帧CI被存储在压缩帧缓冲器113中的图1的实施例不同,图4的实施例根据压缩的源帧CI和压缩的差异帧CD中的哪一个被多路复用器418输出来存储压缩的源帧CI或压缩的求和帧CS。例如,如果多路复用器418输出压缩的源帧CI,则多路复用器420输出压缩的源帧CI,用于存储在压缩帧缓冲器413中。如果多路复用器418输出压缩的差异帧CD,则多路复用器420输出压缩的求和帧CS,用于存储在压缩帧缓冲器413中。
解码部分420从信道接收压缩的帧CF。解码部分420包括帧类型选择器421、压缩帧缓冲器422、多路复用器423和428、解码器424和426、求和单元425和编码器427。虽然图4将这些组件示出为分离的组件,但这些组件中的一个或多个可以被组合。例如,解码器424和426可以是同一解码器,而不是分离的解码器424和426。
解码器424解压缩压缩的帧CF并输出解压缩的帧DF。帧类型选择器421接收解压缩的帧DF作为输入,并例如通过评估作为压缩的帧CF的一部分被编码或发送的标志来确定解压缩帧是标准帧还是差异帧。已经确定了解压缩的帧DF的类型后,帧类型选择器421将判定信号输出到多路复用器423。
如果帧类型选择器421确定解压缩的帧DF是标准帧,则帧类型选择器421指示多路复用器423输出解压缩的帧DF作为用于显示为图像的最终帧O。如果帧类型选择器421确定解压缩的帧DF是差异帧,则帧类型选择器421指示多路复用器423输出重构帧RF为最终帧O。重构帧RF由求和单元425生成,求和单元425将在这种情况下作为差异帧的解压缩的帧DF加到解码参考帧RD。解码参考帧RD从压缩帧缓冲器422获取,并在被输入到求和单元425之前被解码器426解压缩。
此外,编码器427压缩重构帧RF,并将它输出到多路复用器428。如果帧类型选择器421确定解压缩的帧DF是标准帧,则帧类型选择器421指示多路复用器428输出压缩的帧CF,用于存储为新的解码参考帧。如果帧类型选择器421确定解压缩的帧DF是差异帧,则帧类型选择器421指示多路复用器428将压缩的重构帧RF输出到压缩帧缓冲器422中,用于存储为新的解码参考帧。两个帧可在随后的帧周期>t期间被用来生成重构帧。相比之下,当压缩的帧CF是标准帧时,图1的实施例仅将压缩的帧CF存储在压缩帧缓冲器113中。
与图1的实施例相比图4的实施例的优点总地来说包括:当以较低比特率传输时在一系列图像上的图像显示质量的提高;以及当以全比特率传输时当对缓慢移动的时序图像进行编码时基线方面的提高。然而,因为图4的实施例在编码部分和解码部分中的每个中需要额外的编码器,所以增加了复杂性,这可能转化为增加的功率使用量、增加的设计和制造成本以及降低的可靠性。因此,与图4的实施例相比图1的实施例的优点总地来说包括:简化的编码器/解码器模型、同样质量的静态图像、以及对于移动图像不比基线压缩技术差的质量。
图5示出了根据一个实施例的图4的编码部分的示例性操作的流程图。编码部分接收源帧(501)。编码部分压缩源帧以生成压缩的源帧(502),然后解压缩压缩的源帧以生成解压缩的源帧(503)。
编码部分从第一压缩帧缓冲器获取并解压缩编码参考帧,以生成解压缩的编码参考帧(504)。编码部分取源帧与解压缩的编码参考帧之间的差异,以生成差异帧(505)。编码部分压缩差异帧,以生成压缩的差异帧(506)。编码部分解压缩压缩的差异帧,以生成解压缩的差异帧(507)。编码部分将解压缩的差异帧和解压缩的编码参考帧相加,以生成求和帧(508)。
编码部分评估和比较求和帧和解压缩的源帧,以确定其中的哪一个具有更好的图像质量(509)。如果从压缩的差异帧得到的求和帧具有更好的图像质量(510),则编码部分通过信道发送压缩的差异帧(511)。编码部分然后还压缩求和帧(512),并将压缩的求和帧存储在第一压缩帧缓冲器中作为新的编码参考帧(513)。
另一方面,如果从压缩的源帧得到的解压缩的源帧具有更好的图像质量(514),则编码部分通过信道发送压缩的源帧作为标准帧(515),并将压缩的源帧存储在第一压缩帧缓冲器中作为新的编码参考帧(516)。
图6示出了根据一个实施例的图4的解码部分的示例性操作的流程图。解码部分从信道接收压缩的帧(601),并解压缩压缩的帧以生成解压缩的帧(602)。解码部分然后确定解压缩的帧是标准帧还是差异帧(603)。
如果解压缩的帧是标准帧(604),则解码部分输出解压缩的帧作为用于显示的最终帧(605)。解码部分还将从信道接收的压缩的帧存储在第二压缩帧缓冲器中作为新的解码参考帧(606)。
另一方面,如果解压缩的帧是差异帧(607),则解码部分从第二压缩帧缓冲器获取并解压缩解码参考帧以生成解压缩的解码参考帧(608)。解码部分然后将解压缩的帧和解压缩的解码参考帧相加以生成重构帧(609),并输出重构帧作为用于显示的最终帧(610)。解码部分然后压缩重构帧(611),并将压缩的重构帧存储在第二压缩帧缓冲器中作为新的解码参考帧(612)。
各个实施例可使用硬件元件、软件元件或二者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、步骤、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任意组合。确定实施例是否使用硬件元件和/或软件元件来实现根据多个因素而不同,诸如期望的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
至少一个实施例的一个或多个方面可以由被存储在机器可读介质上的代表处理器内的各种逻辑的代表性指令来实现,该代表性指令在被机器读取时使得机器产生逻辑来执行本文描述的技术。被称为“IP核”的这样的代表可以被存储在有形的机器可读介质上,并被提供给各个客户或生产设施,以加载到实际上构造逻辑的制造机器或处理器内。
尽管已经参考各种实施方式描述了在本文中提出的某些特征,但是该描述并非旨在以限制性的意义来解释。因此,本文所描述的实施方式以及对本公开所属的领域内的技术人员显而易见的其它实施方式的各种修改被认为在本公开的精神和范围内。出于解释的目的,前面的描述已经参考具体实施例进行了描述。然而,上面的说明性的讨论并非旨在穷举或将权利要求的范围限制为所公开的精确形式。考虑到上述教导,许多修改和变化是可能的。为了最好地解释构成权利要求的基础的原理及其实际应用而选择了实施例,从而使得本领域技术人员能够最好地使用实施例以及各种修改来适合预期的特定使用。
Claims (22)
1.一种传输显示数据的系统,所述系统包括:
被配置为接收源帧并输出压缩帧的帧编码部分,所述帧编码部分具有:
被配置为使用所述源帧和编码参考帧生成差异帧的差异单元;
被配置为确定分别从所述源帧和所述差异帧得到的帧中的哪一个具有更接近所述源帧的图像质量的帧判定单元;
被配置为响应于来自所述帧判定单元的所述确定的结果而输出所述源帧或所述差异帧的压缩版本作为压缩帧的编码输出单元;和
被配置为将所述源帧的压缩版本存储为新的编码参考帧的第一压缩帧缓冲器。
2.根据权利要求1所述的系统,其中所述编码输出单元响应于由所述帧判定单元确定从所述源帧得到的帧具有更接近所述源帧的图像质量而输出所述源帧的压缩版本。
3.根据权利要求1所述的系统,其中所述编码输出单元响应于由所述帧判定单元确定从所述差异帧得到的帧具有更接近所述源帧的图像质量而输出所述差异帧的压缩版本。
4.根据权利要求1所述的系统,进一步包括:
被配置为从所述帧编码部分接收所述压缩帧的帧解码部分,所述帧解码部分具有:
被配置为使用所述压缩帧和解码参考帧生成重构帧的求和单元;
被配置为输出所述重构帧的解码输出单元;和
被配置为将所述压缩帧存储为新的解码参考帧的第二压缩帧缓冲器。
5.根据权利要求4所述的系统,其中所述压缩帧被存储在所述第二压缩帧缓冲器中而没有被编码器进一步处理。
6.根据权利要求4所述的系统,其中所述帧解码部分进一步包括被配置为确定所述压缩帧是标准帧还是差异帧的帧类型选择器。
7.根据权利要求6所述的系统,其中所述第二压缩帧缓冲器被配置为响应于由所述帧类型选择器确定所述压缩帧是标准帧而将所述压缩帧存储为新的解码参考帧。
8.根据权利要求6所述的系统,其中所述解码输出单元响应于由所述帧类型选择器确定所述压缩帧是差异帧而输出所述重构帧。
9.根据权利要求7所述的系统,其中所述帧解码部分进一步包括被配置为压缩所述重构帧以生成压缩的重构帧的编码器。
10.根据权利要求9所述的系统,其中所述第二压缩帧缓冲器被配置为响应于由所述帧类型选择器确定所述压缩帧是差异帧而将所述压缩的重构帧存储为新的解码参考帧。
11.根据权利要求4所述的系统,其中生成所述重构帧包括:
解压缩所述压缩帧以生成第一加数帧,
解压缩所述解码参考帧以生成第二加数帧,和
将所述第一加数帧和所述第二加数帧相加以生成所述重构帧。
12.一种传输显示数据的方法,该方法包括:
由帧编码部分接收源帧;
使用所述源帧和编码参考帧生成差异帧;
将所述源帧的压缩版本存储为新的编码参考帧;
确定分别从所述源帧和所述差异帧得到的帧中的哪一个具有更接近所述源帧的图像质量;和
响应于所述确定的结果而输出所述源帧或所述差异帧的压缩版本作为压缩帧。
13.根据权利要求12所述的方法,其中所述源帧的压缩版本响应于从所述源帧得到的帧具有更接近所述源帧的图像质量的确定而被输出。
14.根据权利要求12所述的方法,其中所述差异帧的压缩版本响应于从所述差异帧得到的帧具有更接近所述源帧的图像质量的确定而被输出。
15.根据权利要求12所述的方法,进一步包括:
由帧解码部分接收所述压缩帧;
使用所述压缩帧和解码参考帧生成重构帧;
将所述压缩帧存储为新的解码参考帧;和
输出所述重构帧。
16.根据权利要求15所述的方法,其中所述压缩帧被存储为所述新的解码参考帧而没有被编码器进一步处理。
17.根据权利要求15所述的方法,进一步包括确定所述压缩帧是标准帧还是差异帧。
18.根据权利要求17所述的方法,其中所述压缩帧响应于所述压缩帧是标准帧的确定而被存储为所述新的解码参考帧。
19.根据权利要求18所述的方法,其中所述重构帧响应于所述压缩帧是差异帧的确定而被输出。
20.根据权利要求18所述的方法,进一步包括压缩所述重构帧以生成压缩的重构帧。
21.根据权利要求20所述的方法,进一步包括响应于所述压缩帧是差异帧的确定而将所述压缩的重构帧存储为所述新的解码参考帧。
22.根据权利要求15所述的方法,其中生成所述重构帧包括:
解压缩所述压缩帧以生成第一加数帧,
解压缩所述解码参考帧以生成第二加数帧,和
将所述第一加数帧和所述第二加数帧相加以生成所述重构帧。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562197452P | 2015-07-27 | 2015-07-27 | |
US62/197,452 | 2015-07-27 | ||
US14/970,420 | 2015-12-15 | ||
US14/970,420 US10419512B2 (en) | 2015-07-27 | 2015-12-15 | System and method of transmitting display data |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106412584A CN106412584A (zh) | 2017-02-15 |
CN106412584B true CN106412584B (zh) | 2022-01-14 |
Family
ID=56979318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610586148.7A Active CN106412584B (zh) | 2015-07-27 | 2016-07-22 | 传输显示数据的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10419512B2 (zh) |
EP (1) | EP3125551A1 (zh) |
KR (1) | KR102582121B1 (zh) |
CN (1) | CN106412584B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1152242A (zh) * | 1995-08-02 | 1997-06-18 | 松下电器产业株式会社 | 图像编码装置和传送系统及其量化控制法和平均通过量算法 |
CN101719978A (zh) * | 2008-10-09 | 2010-06-02 | 联发科技股份有限公司 | 提高运动补偿内插的图像质量的方法及装置 |
US7751482B1 (en) * | 2004-02-27 | 2010-07-06 | Vbrick Systems, Inc. | Phase correlation based motion estimation in hybrid video compression |
CN102714728A (zh) * | 2010-01-14 | 2012-10-03 | 住友电气工业株式会社 | 视频图像编码数据的显示方法、设备和通信系统 |
WO2013081085A1 (en) * | 2011-11-28 | 2013-06-06 | Canon Kabushiki Kaisha | Moving image encoding apparatus, control method thereof and computer program |
CN103491388A (zh) * | 2012-06-11 | 2014-01-01 | 株式会社东芝 | 视频发送器和视频接收器 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10191341A (ja) | 1996-12-24 | 1998-07-21 | Toshiba Corp | 画像伸張装置 |
JP3409734B2 (ja) | 1999-04-20 | 2003-05-26 | 日本電気株式会社 | 画像合成システム及び方法 |
JP3662171B2 (ja) * | 2000-06-05 | 2005-06-22 | 三菱電機株式会社 | 符号化装置及び符号化方法 |
EP1298937A1 (en) | 2001-09-26 | 2003-04-02 | Chih-Ta Star Sung | Video encoding or decoding using recompression of reference frames |
KR100563781B1 (ko) * | 2002-09-24 | 2006-03-27 | 가부시키가이샤 히다치 고쿠사이 덴키 | 주목해야 할 화상의 표시방법과 장치 및 원격화상감시시스템 |
KR20050078099A (ko) * | 2004-01-30 | 2005-08-04 | 삼성전자주식회사 | 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법 |
US7697608B2 (en) * | 2004-02-03 | 2010-04-13 | Sony Corporation | Scalable MPEG video/macro block rate control |
JP2008124772A (ja) * | 2006-11-13 | 2008-05-29 | Hitachi Ltd | 符号化装置及び符号化方法 |
US20080260023A1 (en) | 2007-04-18 | 2008-10-23 | Chih-Ta Star Sung | Digital video encoding and decoding with refernecing frame buffer compression |
KR100928324B1 (ko) | 2007-10-02 | 2009-11-25 | 주식회사 아이브이넷 | 압축된 동영상을 복원하기 위한 프레임 버퍼 메모리 운영방법 및 이에 적합한 디코딩 장치 |
WO2009066284A2 (en) * | 2007-11-20 | 2009-05-28 | Ubstream Ltd. | A method and system for compressing digital video streams |
JPWO2010032334A1 (ja) * | 2008-09-22 | 2012-02-02 | 富士通株式会社 | 品質指標値算出方法、情報処理装置、動画配信システムおよび記録媒体 |
US8831090B2 (en) * | 2008-11-18 | 2014-09-09 | Avigilon Corporation | Method, system and apparatus for image capture, analysis and transmission |
CN102714717A (zh) | 2009-10-15 | 2012-10-03 | 豪威科技有限公司 | 低成本的视频编码器 |
KR101828099B1 (ko) | 2010-04-07 | 2018-02-12 | 빈첸초 리구오리 | 메모리 요건을 완화한 영상 전송 시스템 |
US8233534B2 (en) | 2010-04-09 | 2012-07-31 | Newport Media, Inc. | Frame buffer compression and memory allocation in a video decoder |
GB2484969B (en) * | 2010-10-29 | 2013-11-20 | Canon Kk | Improved reference frame for video encoding and decoding |
EP2617198A1 (de) * | 2011-01-12 | 2013-07-24 | Siemens Aktiengesellschaft | Kompression und dekompression von referenzbildern in einem videokoder |
US20130243100A1 (en) | 2012-03-15 | 2013-09-19 | Mediatek Inc. | System and Method for Adaptive Frame Re-compression in Video Processing System |
US9277218B2 (en) | 2013-01-22 | 2016-03-01 | Vixs Systems, Inc. | Video processor with lossy and lossless frame buffer compression and methods for use therewith |
EP2952003B1 (en) * | 2013-01-30 | 2019-07-17 | Intel Corporation | Content adaptive partitioning for prediction and coding for next generation video |
US9549161B2 (en) * | 2013-07-08 | 2017-01-17 | Samsung Display Co., Ltd. | Image and video in mosaic formats |
-
2015
- 2015-12-15 US US14/970,420 patent/US10419512B2/en active Active
-
2016
- 2016-07-22 KR KR1020160093407A patent/KR102582121B1/ko active IP Right Grant
- 2016-07-22 CN CN201610586148.7A patent/CN106412584B/zh active Active
- 2016-07-27 EP EP16181511.3A patent/EP3125551A1/en not_active Ceased
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1152242A (zh) * | 1995-08-02 | 1997-06-18 | 松下电器产业株式会社 | 图像编码装置和传送系统及其量化控制法和平均通过量算法 |
US7751482B1 (en) * | 2004-02-27 | 2010-07-06 | Vbrick Systems, Inc. | Phase correlation based motion estimation in hybrid video compression |
CN101719978A (zh) * | 2008-10-09 | 2010-06-02 | 联发科技股份有限公司 | 提高运动补偿内插的图像质量的方法及装置 |
CN102714728A (zh) * | 2010-01-14 | 2012-10-03 | 住友电气工业株式会社 | 视频图像编码数据的显示方法、设备和通信系统 |
WO2013081085A1 (en) * | 2011-11-28 | 2013-06-06 | Canon Kabushiki Kaisha | Moving image encoding apparatus, control method thereof and computer program |
CN103491388A (zh) * | 2012-06-11 | 2014-01-01 | 株式会社东芝 | 视频发送器和视频接收器 |
Non-Patent Citations (1)
Title |
---|
网络自适应无线视频传输算法研究;智绪龙;《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》;20120430;全文 * |
Also Published As
Publication number | Publication date |
---|---|
EP3125551A1 (en) | 2017-02-01 |
CN106412584A (zh) | 2017-02-15 |
US10419512B2 (en) | 2019-09-17 |
KR102582121B1 (ko) | 2023-09-22 |
US20170034238A1 (en) | 2017-02-02 |
KR20170013817A (ko) | 2017-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10382778B2 (en) | Method for motion vector storage in video coding and apparatus thereof | |
US12113988B2 (en) | Device and method of video decoding with first and second decoding code | |
US11570472B2 (en) | Encoding device and encoding method | |
US11849124B2 (en) | Device and method of video encoding with first and second encoding code | |
CN110913218A (zh) | 一种视频帧预测方法、装置及终端设备 | |
US11611741B2 (en) | Video decoding device and video decoding method | |
CN110944173A (zh) | 视频解码方法、装置、电子设备以及存储介质 | |
CN106412584B (zh) | 传输显示数据的系统和方法 | |
US20190166373A1 (en) | Image encoding/decoding method and apparatus and image processing equipment | |
JP2020156106A (ja) | 動画像符号化装置および動画像符号化方法 | |
US20240146975A1 (en) | Dynamic queuing of entropy-coded data for transmission in a bitstream | |
US9549193B2 (en) | Video encoding method and video encoding device | |
TW202437758A (zh) | 為了在位元流中傳輸所進行熵編碼資料之動態佇列 | |
US20180076827A1 (en) | Processor and data processing method thereof | |
JP2012191397A (ja) | 動画像復号化装置および動画像復号化方法 | |
JP2012191247A (ja) | 動画像符号化装置および動画像符号化方法 | |
JP2006041659A (ja) | 可変長デコーダ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |