CN103283231B - 在视频编码器中参考图像的压缩和解压缩 - Google Patents
在视频编码器中参考图像的压缩和解压缩 Download PDFInfo
- Publication number
- CN103283231B CN103283231B CN201280005268.3A CN201280005268A CN103283231B CN 103283231 B CN103283231 B CN 103283231B CN 201280005268 A CN201280005268 A CN 201280005268A CN 103283231 B CN103283231 B CN 103283231B
- Authority
- CN
- China
- Prior art keywords
- compression
- image
- filter
- rbm
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007906 compression Methods 0.000 title claims abstract description 121
- 230000006835 compression Effects 0.000 title claims abstract description 121
- 230000006837 decompression Effects 0.000 title claims description 33
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000013139 quantization Methods 0.000 claims description 10
- 230000006872 improvement Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 101000687317 Homo sapiens RNA-binding motif protein, X chromosome Proteins 0.000 description 2
- 102100024939 RNA-binding motif protein, X chromosome Human genes 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/428—Recompression, e.g. by spatial or temporal decimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Abstract
本发明涉及用于变换图像数据的方法和设备，所述图像数据在压缩和存储在参考图像存储器中之前通过压缩滤波器变换。在扩展中，在从参考存储器读取和解压缩图像数据时通过解压缩滤波器进行与压缩滤波器相逆的变换。本发明可用于使用参考图像存储器的图像压缩方法和图像解压缩方法。
Description
技术领域
本发明涉及用于对第一图像数据进行变换的方法和设备。
背景技术
在过去几年中要编码的图像格式例如由于新型拍摄系统的引入而变得越来越大。从而目前尤其是发生从具有625x576个像点的全图像尺寸的最近50年在欧洲所使用的电视传输系统PAL（逐行倒相方法（Phase Alternation Line））到具有1920x1080个像点或1280x720个像点的HDTV（高清晰度电视）的转换。要期待的是，将来在新型电视系统中还将引入更大的图像格式。
HDTV和将来的系统使用数字压缩方法，以便将视频图像序列压缩为使得这些视频图像例如可以经由互联网或经由移动无线电信道传输。但是由于图像格式的放大，压缩视频图像序列所需要的计算功率和在此情况下所需要的存储器需求显著增加。其后果是，在存储器和实现压缩方法的计算单元之间的数据传递也显著升高。
因此诸如视频编码联合协作组（Joint Colloborative Team on Video Coding,JCT-VC）、ITU和ISO/IEC的共同工作组（ITU-International Telecommunication Union（国际电信联盟），ISO-International Standardization Organisation（国际标准化组织），IEC-International Electrotechnical Commission（国际电工技术委员会））的工作组不仅从事压缩率的改善、而且从事标准化方法，以便能够高效地将视频图像存放在相应编解码器的参考图像存储器中并且能够以节省资源的方式访问所述视频图像。
图1示出用于对图像序列进行压缩的具有参考图像存储器SRB的已知设备。在此情况下，例如借助于也作为INTER编码模式已知的预测编码来对图像编码。图像之一被分解成例如具有16x16个像点的图像块BB并且接着被逐块地编码。然后对于图像块之一在参考图像REF中寻找一个参考图像块RBB，所述参考图像块保证用于估计该图像块的图像内容的良好基础。为此将该图像块递交给运动估计单元ME，所述运动估计单元根据参考子图像REFT从该参考子图像中选择参考图像块并且借助于运动矢量MV将所选择的参考图像块用信号通知给运动补偿单元MC，其中所述参考子图像包括在通过图像解压缩单元PC进行图像解压缩之后的参考图像REF的部分。该运动补偿单元基于参考图像和运动矢量提供所述参考图像块。
在下一步骤中，通过从图像块BB中减去参考图像块RBB来产生差图像块BD。随后使该差图像块在变换单元T中例如按照离散余弦变换方法经受变换。在该变换单元的输出端处提供变换系数TK，所述变换系数随后为了量化而被输送给量化单元Q。在该量化单元的输出端处提供经量化的变换系数TQ，这些经量化的变换系数通过由熵编码单元EC所执行的熵编码而被转变成输出信号AS。
在反馈回路中，经量化的变换系数TQ借助于通过逆量化单元IQ的逆量化被转变成重构的变换系数TKR。这些重构的变换系数TKR通过逆变换单元IT的逆变换被变换成重构的差图像块BDR。在另一步骤中，通过将重构的差图像块BDR和参考图像块RBB相加生成重构的图像块RBM。
在较旧的编码方法中，重构的图像块直接被写入到参考图像存储器中。在当前处于标准化的方法中，为了减小数据容量使重构的图像块首先还经受通过图像压缩单元PC进行的图像压缩，所述图像压缩明显减小重构的图像块的数据容量。通过图像压缩单元PC出现的被压缩的重构图像块RBC随后被存放在参考图像存储器中。为了允许运动估计单元和运动补偿单元访问所需要的图像数据，在请求参考图像REF或该参考图像的特定图像片段时首先从参考图像存储器SRB中读取相应的经压缩的重构图像块并且借助于通过图像解压缩单元PD的图像解压缩转变成参考子图像REFT。
图2示出与在图1中所示的编码器相对应的解码器。在此情况下，输出信号AS借助于熵解码单元ED被解码成经量化的变换系数TQ。此外，这些经量化的变换系数借助于逆变换单元IQ被逆量化成重构的变换系数TKR。接着是通过逆信息单元IT将重构的变换系数TKR逆变换成重构的差图像块BDR。
除了该输出信号之外，尤其是也将相应的运动矢量MV传送给该解码器。该解码器在使用参考子图像REFT的情况下可以由此通过运动补偿单元MC确定参考图像块RBB，所述参考图像块通过与重构的差图像块相加而被转变成重构的图像块RBM。
重构的图像块RBM例如可以被转发给显示器。重构的图像块RBM随后借助于通过图像压缩单元PC进行的压缩被转变成经压缩的重构图像块RBC，该经压缩的重构图像块接着被存放在参考图像存储器SRB中。存放在参考图像存储器中的经压缩的重构图像块可以通过图像解压缩单元PD被解压缩成参考子图像。
文献[1]描述了无损图像压缩方法/图像解压缩方法，其中在浮点DCT变换（DCT-Discrete Cosinus Transformation（离散余弦变换））以及以一维表示对变换之后两维布置的系数扫描之后执行位平面编码。
在根据文献[2]的方法中建议一种存储器访问带宽减小技术。在此情况下除了变换和量化之外还针对图像压缩单元PC建议DC预测和熵编码或针对图像解压缩单元PD建议与此相逆的步骤。
在另一文献[3]中，介绍在分块图像存储之前和之后在压缩或解压缩图像数据时的测试结果。
最后在文献[4]中介绍基于一维DPCM的图像存储压缩方法（DPCM- DiskretePulscode Modulation （离散脉冲编码调制））。
至少在文献[1]和[4]中所建议的压缩方法是无损的。
发明内容
存在说明可以用来相对于现有技术提高图像压缩单元或图像解压缩单元的压缩或解压缩的方法和设备的任务。
该任务通过独立权利要求解决。本发明的改进方案可以从从属权利要求中得出。
本发明涉及用于变换第一图像数据的方法，所述第一图像数据以通过图像压缩单元压缩的方式被存放在参考图像存储器中并且在从参考图像存储器调用时通过图像解压缩单元被解压缩成第二图像数据，其中这些图像数据在通过图像压缩单元压缩之前被借助于压缩滤波器变换为使得产生图像压缩单元的压缩率的提高。
在现有的编码方法中，图像压缩单元经常无损地工作。通过应用压缩滤波器可以在不与图像压缩单元相互作用的情况下通过压缩滤波器的滤波参数控制图像细节的损失。在此也有利的是，可以单独地使压缩滤波器的构型与图像压缩单元的特性相匹配。
优选地，至少根据以下参数之一来产生所述压缩滤波器：
-为了对第一图像数据进行编码所使用的编码模式；
-为了对第一图像数据进行编码所使用的量化参数；
-为了对第一图像数据进行预测编码所使用的运动矢量。
通过根据上述参数中的至少一个来控制压缩滤波器可以实现改善的压缩，因为可以控制第一图像数据的特定于压缩滤波器控制的特质，例如特定编码模式、所使用的量化参数或者所使用的运动矢量。
在本发明的有利的改进方案中，以子带滤波器的形式尤其是在抑制量化噪声的情况下来产生所述压缩滤波器，所述量化噪声由于量化而包含在第一图像数据中。由此可以通过以下方式改善图像压缩单元的压缩，即仅能以大的耗费被编码的图像内容（例如边缘清晰的线）和“无用的”图像内容（例如量化噪声）被滤除，从而可以更有效地被压缩。
有利地，从一系列多个选项中这样确定所述压缩滤波器，使得选择在第一图像数据的可预先给定的数据速率情况下优化误差函数、也即最小化在固定数据速率情况下借助于压缩误差通过压缩引起的误差的滤波器。由此，仅选择在可预先给定的数据速率情况下实现非常好的图像质量的压缩滤波器。与此类似地，也可以这样实现该改进方案，即在质量不变的情况下选择产生最低数据速率的滤波器。
优选地，这样产生第二图像数据，即在通过解压缩单元执行解压缩之后使解码的图像数据经受解压缩滤波器，其中通过解压缩滤波器执行与压缩滤波器相逆的步骤。
通过本发明的该改进方案能够实现，也可以使用仅减小第一图像数据的清晰度的压缩滤波器。为此可以这样产生第二图像数据，即在通过图像解压缩单元执行解压缩之后使解码的图像经受解压缩滤波器，其中压缩滤波器和解压缩滤波器实施以下选项中的至少一个：
-通过压缩滤波器减少第一图像数据的第一数量的像点并且通过解压缩滤波器提高第二图像数据的第二数量的像点，使得第一数量和第二数量采取相同的值；
-通过压缩滤波器减少第一图像数据的第三数量的像点位平面并且通过解压缩滤波器提高第二图像数据的第四数量的像点位平面，使得第一数量和第二数量采取相同的值。
通过该扩展可以以特别高效的方式变换第一图像数据，使得可以通过图像压缩单元极其高效地执行压缩。
本发明还涉及用于对第一图像数据进行变换的设备，所述第一图像数据以通过图像压缩单元压缩的方式被存放在参考图像存储器中并且在从参考图像存储器调用时通过图像解压缩单元被解压缩成第二图像数据，其中该设备具有用于对图像数据进行变换的压缩滤波器，所述压缩滤波器在压缩之前这样对第一图像数据进行变换，即使得在图像压缩单元中产生压缩率的提高。所述设备的优点可以从相对应的方法权利要求中得出。
优选地，给该设备这样补充用于产生第二图像数据的解压缩滤波器，即在通过图像解压缩单元执行解压缩之后使解码的图像数据经受解压缩滤波器，其中该解压缩滤波器与所述压缩滤波器相逆地工作。该扩展的优点可以从相对应的方法权利要求中得出。
附图说明
根据附图对本发明及其改进方案更详细地进行阐述。
具体地：
图1示出由现有技术已知的用于对图像数据进行压缩的编码器；
图2示出由现有技术已知的用于对经压缩的图像数据进行解压缩的解码器；
图3示出经修改的第一编码器，其是本发明的第一变型方案；
图4示出经修改的第一解码器，其是本发明的第一变型方案；
图5示出第二编码器，其是本发明的第二变型方案；
图6示出第二解码器，其是本发明的第二变型方案。
在图中，具有相同功能和作用方式的元件配备有相同的附图标记。
具体实施方式
图1和2示出根据现有技术的图像压缩单元PC和图像解压缩单元PD的应用。图1和2已经在引言中详尽地得以阐述，从而在此处参照在引言中的叙述。
图3示出用于变换的方法的第一实施例，其中图3同样代表用于执行该方法的设备。图3与图1的不同在于，直接在图像压缩单元PC之前压缩滤波器CF被集成在信号处理链中。也称为第一图像数据的重构的图像块RBM被输送给压缩滤波器CF用于变换或滤波。在压缩滤波器CF的输出端处，在执行该变换之后第一图像数据RBM作为经修改的第一图像数据RBMX存在。这些经修改的第一图像数据随后被输送给图像压缩单元PC用于将经修改的第一图像数据压缩成经压缩的重构图像块RBC，其中经压缩的重构图像块RBC最后被存放在参考图像存储器SRB中。为了读取和处理参考图像存储器的数据，相应的经压缩的重构图像块RBC被输送给图像解压缩单元PD，所述图像解压缩单元由此通过解压缩生成下面也称为第二图像数据的参考子图像REFT。图3中的另外的方法步骤与图1中的方法步骤类似，从而对此不进行进一步探讨。
图4示出本发明示例性地在解码器处或在解码方法的范围中的使用，其中根据图4的结构除了变化之外与根据图2的结构相同。与图2不同，在图4中在反馈回路中直接在图像压缩单元PC之前将压缩滤波器CF连接到信号处理中。从第一图像数据RBM中通过应用压缩滤波器CF得出经修改的第一图像数据RBMX。另外的步骤类似于根据图2和3的实施。
为了使图3中的编码器和图4中的解码器无漂移地工作，分别示出的压缩滤波器CF在两个实施中相同。
压缩滤波器 CF被构成为使得该压缩滤波器在借助于图像压缩单元压缩之前这样对第一图像数据进行变换，即使得在随后的图像压缩单元的处理步骤中可以产生压缩率的提高。在压缩滤波器CF的一种实施例中，该压缩滤波器被构成为使得能以通过压缩滤波器的滤波参数控制的方式减少图像细节。在此情况下，压缩滤波器可以以低通滤波器的形式来构造，其中可以借助于滤波器参数来调整极限频率并且所述压缩滤波器通过其滤波特性滤除第一图像数据中的高频分量。通过滤除高频图像分量，图像压缩单元能够相对于现有技术以更高的压缩率对经修改的第一图像数据进行压缩。在可替换的改进方案中，压缩滤波器CF被设计为子带滤波器的形式，所述压缩滤波器尤其是在抑制由于量化而包含在第一图像数据中的量化噪声的情况下执行第一图像数据的变换。
除了在第一图像数据内的图像清晰度或图像细节的变化之外，其中在此情况下第一图像数据和经修改的图像数据的像点的数量是相同的，如在图5和6中现在所述的那样，也可以通过压缩滤波器引起格式减小，也即像点的数量的减少。
图5为此在反馈回路中示出借助于压缩滤波器CF、图像压缩单元PC和参考图像存储器SRB中的存储对第一图像数据RBM 的信号处理，如已经在图3中详尽地阐述的。与图3的不同之处现在是，在请求第二图像数据时首先从参考图像存储器中读取相应的经压缩的重构图像块RBC，通过图像解压缩单元PD解压缩成经修改的第二图像数据RBCY，通过解压缩滤波器DF将经修改的第二图像数据逆变换成参考子图像REFT。例如，压缩滤波器CF将第一图像数据的100x100个像点的图像尺寸减小成经修改的第一图像数据的50x50个像点的图像尺寸。该像点减少例如通过2x2滤波器执行，该滤波器将所考虑的四个点中的每一个的幅度值与0.25的加权相乘并且使由此得出的经加权的幅度值相加。由此从2x2个像点中得出经修改的第一图像数据的一个新像点。解压缩滤波器从50x50个像点中产生100x100个像点，例如通过将一个像点复制到重构像点的2x2个像点的每个位置处。图像信号处理领域的技术人员已知用于格式减小和格式提高的其它方法，从而此处不对此进一步予以探讨。
图6示出借助解码器的根据图5的本发明的变型方案。该变型方案的作用方式类似于根据图5的实施。
在压缩和解压缩滤波器的另一构型中，像点的幅度值被减小，例如通过量化，或者被提高，例如通过逆量化。
在特别的实施变型方案中，由压缩滤波器和解压缩滤波器组成的对无损地工作，也即压缩滤波器（CF）解压缩滤波器（DF）=1或该逻辑连接得出单位矩阵，其中符号对应于卷积或乘积。
除了迄今的例子之外，压缩滤波器和必要时解压缩滤波器可以在大量实施变型方案中存在。例如，存在具有不同极限频率的5个低通滤波器用于选择。在应用压缩滤波器的这些实施变型方案之一之前首先对于压缩滤波器的每个实施变型方案确定，由此通过相应的压缩滤波器和图像压缩单元得出压缩率与图像质量损失比为何种程度。为此对于每个变型方案借助于成本函数确定所属的成本值。在对于压缩滤波器的所有实施变形方案存在成本值之后，选择实现最低成本值的变型方案。
通过相应的矩形体现的、在图1-6中所示的相应的方法步骤或装置或单元可以以软件、硬件或以软件和硬件的组合来实现。从而它们可以以程序代码被存放在程序存储器中并且通过处理器读取和处理，其中所述处理器与该程序存储器和用于发送和接收例如图像块或输出信号的数据的接口相连接。
文献目录：
[1] JCTVC-B103: "Reference frame compression using image coder", ISO/IEC Document: JCTVC-Bl03, 2nd Meeting: Geneva, CH, 21-27 July, 2010, 作者:Chong Soon Lim
[2] JCTVC-B089: "Compressed Reference Frame Buffers (CRFB) ", ISO/IECDocument: JCTVC-B089, 2nd Meeting: Geneva, CH, 21-28 July, 2010, 作者: MehmetUmut Demircin等人
[3] JCTVC-B090: "ALF memory compression and IBDI/ALF codingefficiency test results in TMuC-0.1", JSO/IEC, Document: JCTVC-B090,作者:Madhukar Budagavi
[4] JCTVC-B057: "DPCM-based memory compression", ISO/IEC DocumentJCTVC-B057, 2nd Meeting: Geneva, CH, 21-28 July 2010. 作者: Hirofumi Aoki。
Claims (8)
1.用于对第一图像数据（RBM）进行变换的方法，所述第一图像数据以通过图像压缩单元（PC）压缩的方式被存放在参考图像存储器（SRB）中并且在从所述参考图像存储器（SRB）调用时通过图像解压缩单元（PD）被解压缩成第二图像数据（REFT），其特征在于，所述第一图像数据（RBM）在通过所述图像压缩单元（PC）压缩之前被借助于压缩滤波器（CF）变换为使得产生所述图像压缩单元（PC）的压缩率的提高，其中所述第一图像数据的像点数量在通过所述压缩滤波器（CF）的变换之前和之后是相同的，
其中，至少根据以下参数之一来产生所述压缩滤波器（CF）：
-为了对所述第一图像数据（RBM）进行编码所使用的编码模式（P，I，B）；
-为了对所述第一图像数据（RBM）进行编码所使用的量化参数（QP）；
-为了对所述第一图像数据（RBM）进行预测编码所使用的运动矢量（MV）。
2.根据权利要求1所述的方法，其特征在于，以子带滤波器（TBF）的形式来产生所述压缩滤波器（CF）。
3.根据权利要求2所述的方法，其特征在于，在抑制量化噪声的情况下以子带滤波器（TBF）的形式来产生所述压缩滤波器（CF），所述量化噪声由于量化（Q）而包含在所述第一图像数据（RBM）中。
4.根据权利要求1至3之一所述的方法，其特征在于，在确定所述压缩滤波器（CF）时，从一系列多个选项中选择在所述第一图像数据（RBM）的可预先给定的数据速率情况下优化速率失真（RD）函数的滤波器。
5.根据权利要求1至3之一所述的方法，其特征在于，通过以下方式产生所述第二图像数据（REFT），即在通过所述图像解压缩单元（PD）执行所述解压缩之后使解码的图像数据经受解压缩滤波器（DF），其中通过所述解压缩滤波器（DF）执行与所述压缩滤波器（CF）相逆的步骤。
6.根据权利要求1至3之一所述的方法，其特征在于，通过以下方式产生所述第二图像数据（REFT），即在通过所述图像解压缩单元（PD）执行所述解压缩之后使解码的图像经受解压缩滤波器（DF），其中所述压缩滤波器（CF）和所述解压缩滤波器（DF）实施以下选项：
-通过所述压缩滤波器（CF）减少所述第一图像数据（RBM）的像点位平面的第三数量并且通过所述解压缩滤波器（DF）提高所述第二图像数据（REFT）的像点位平面的第四数量，使得所述第一图像数据（RBM）的像点的第一数量和所述第二图像数据（REFT）的像点的第二数量采取相同的值。
7.用于对第一图像数据（RBM）进行变换的设备（DEV），所述第一图像数据能以通过图像压缩单元（PC）压缩的方式存放在参考图像存储器（SRB）中并且在从所述参考图像存储器（SRB）调用时能通过图像解压缩单元（PD）解压缩成第二图像数据（REFT），
具有用于对所述第一图像数据（RBM）进行变换的压缩滤波器（CF），在压缩之前所述第一图像数据被变换为使得能产生所述图像压缩单元（PC）的压缩率的提高，其中所述第一图像数据的像点数量在通过所述压缩滤波器（CF）的变换之前和之后是相同的，
其中，至少根据以下参数之一来产生所述压缩滤波器（CF）：
-为了对所述第一图像数据（RBM）进行编码所使用的编码模式（P，I，B）；
-为了对所述第一图像数据（RBM）进行编码所使用的量化参数（QP）；
-为了对所述第一图像数据（RBM）进行预测编码所使用的运动矢量（MV）。
8.根据权利要求7所述的设备，具有解压缩滤波器（DF），其用于通过以下方式产生所述第二图像数据（REFT），即在通过所述图像解压缩单元（PD）执行所述解压缩之后使解码的图像数据经受解压缩滤波器（DF），其中所述解压缩滤波器（DF）与所述压缩滤波器（CF）相逆地工作。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP11150714 | 2011-01-12 | ||
| EP11150714.1 | 2011-01-12 | ||
| PCT/EP2012/050435 WO2012095490A1 (de) | 2011-01-12 | 2012-01-12 | Kompression und dekompression von referenzbildern in einem videokoder |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103283231A CN103283231A (zh) | 2013-09-04 |
| CN103283231B true CN103283231B (zh) | 2018-04-27 |
Family
ID=45495941
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280005271.5A Expired - Fee Related CN103329527B (zh) | 2011-01-12 | 2012-01-12 | 在视频编码器中参考图像的压缩和解压缩 |
| CN201280005268.3A Expired - Fee Related CN103283231B (zh) | 2011-01-12 | 2012-01-12 | 在视频编码器中参考图像的压缩和解压缩 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280005271.5A Expired - Fee Related CN103329527B (zh) | 2011-01-12 | 2012-01-12 | 在视频编码器中参考图像的压缩和解压缩 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9398292B2 (zh) |
| EP (2) | EP2614647B1 (zh) |
| JP (2) | JP5710022B2 (zh) |
| KR (2) | KR101873207B1 (zh) |
| CN (2) | CN103329527B (zh) |
| WO (2) | WO2012095487A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5710022B2 (ja) | 2011-01-12 | 2015-04-30 | シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ | ビデオデコーダにおける参照画像の圧縮方法及び伸長方法 |
| JP2014123841A (ja) * | 2012-12-20 | 2014-07-03 | Jvc Kenwood Corp | 画像符号化装置および画像符号化方法 |
| US10015515B2 (en) * | 2013-06-21 | 2018-07-03 | Qualcomm Incorporated | Intra prediction from a predictive block |
| US9883197B2 (en) | 2014-01-09 | 2018-01-30 | Qualcomm Incorporated | Intra prediction of chroma blocks using the same vector |
| JP2015146474A (ja) * | 2014-01-31 | 2015-08-13 | 株式会社アクセル | 符号化装置及び復号化装置 |
| JP5879571B2 (ja) * | 2014-01-31 | 2016-03-08 | 株式会社アクセル | 符号化装置及び復号化装置 |
| US10419512B2 (en) * | 2015-07-27 | 2019-09-17 | Samsung Display Co., Ltd. | System and method of transmitting display data |
| KR20170017573A (ko) * | 2015-08-07 | 2017-02-15 | 삼성전자주식회사 | 영상 데이터 처리 방법 및 이를 지원하는 전자 장치 |
| US10798396B2 (en) | 2015-12-08 | 2020-10-06 | Samsung Display Co., Ltd. | System and method for temporal differencing with variable complexity |
| EP3185556A1 (en) | 2015-12-21 | 2017-06-28 | Thomson Licensing | Method and apparatus for combined adaptive resolution and internal bit-depth increase coding |
| JP6875821B2 (ja) * | 2016-10-19 | 2021-05-26 | キヤノン株式会社 | 画像符号化装置、撮像装置、画像符号化方法およびプログラム |
| US10838922B2 (en) * | 2017-03-31 | 2020-11-17 | International Business Machines Corporation | Data compression by using cognitive created dictionaries |
| CN108810556B (zh) * | 2017-04-28 | 2021-12-24 | 炬芯科技股份有限公司 | 压缩参考帧的方法、装置及芯片 |
| CN109511008B (zh) * | 2018-11-27 | 2021-07-13 | 成都索贝数码科技股份有限公司 | 一种基于对象存储支持视音频文件内容追加的方法 |
| JP7359653B2 (ja) * | 2019-11-06 | 2023-10-11 | ルネサスエレクトロニクス株式会社 | 動画像符号化装置 |
| KR102167561B1 (ko) | 2020-03-11 | 2020-10-20 | 톈진 나가르 메커니컬 인더스트리 리미티드 컴퍼니 | 고압 플런저 방식 싱글 다이아프램 펌프 |
| KR102167568B1 (ko) | 2020-03-11 | 2020-10-20 | 톈진 나가르 메커니컬 인더스트리 리미티드 컴퍼니 | 고압 플런저 방식 더블 다이아프램 펌프 |
| US20230336594A1 (en) * | 2022-04-15 | 2023-10-19 | Google Llc | Videoconferencing with Reduced Quality Interruptions Upon Participant Join |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3165296B2 (ja) | 1992-12-25 | 2001-05-14 | 三菱電機株式会社 | フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式 |
| JP3575508B2 (ja) | 1996-03-04 | 2004-10-13 | Ｋｄｄｉ株式会社 | 符号化動画像再生装置 |
| CA2185753C (en) | 1996-03-04 | 2000-09-12 | Hideo Ohira | Digital image decoding apparatus |
| US6208689B1 (en) | 1996-03-04 | 2001-03-27 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for digital image decoding |
| US5818530A (en) * | 1996-06-19 | 1998-10-06 | Thomson Consumer Electronics, Inc. | MPEG compatible decoder including a dual stage data reduction network |
| US5933195A (en) * | 1997-09-26 | 1999-08-03 | Sarnoff Corporation | Method and apparatus memory requirements for storing reference frames in a video decoder |
| US5987180A (en) | 1997-09-26 | 1999-11-16 | Sarnoff Corporation | Multiple component compression encoder motion search method and apparatus |
| US6229852B1 (en) * | 1998-10-26 | 2001-05-08 | Sony Corporation | Reduced-memory video decoder for compressed high-definition video data |
| JP2000165875A (ja) * | 1998-11-26 | 2000-06-16 | Oki Electric Ind Co Ltd | メモリ量の少ない動画像解像度変換符号化・復号装置 |
| JP2002535895A (ja) * | 1999-01-15 | 2002-10-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像シーケンスの符号化及びノイズフィルタリング |
| US6470051B1 (en) * | 1999-01-25 | 2002-10-22 | International Business Machines Corporation | MPEG video decoder with integrated scaling and display functions |
| US6983101B1 (en) | 1999-03-31 | 2006-01-03 | Sanyo Electric Co., Ltd. | Image recording apparatus, image reproducing apparatus and image recording/reproducing apparatus |
| JP3286615B2 (ja) | 1999-03-31 | 2002-05-27 | 三洋電機株式会社 | 映像記録装置、映像再生装置および映像記録再生装置 |
| JP2002077925A (ja) | 2000-08-31 | 2002-03-15 | Kddi Corp | ディジタル圧縮動画像ストリーム再符号化装置 |
| US6983017B2 (en) | 2001-08-20 | 2006-01-03 | Broadcom Corporation | Method and apparatus for implementing reduced memory mode for high-definition television |
| JP4209631B2 (ja) | 2002-05-23 | 2009-01-14 | パナソニック株式会社 | 符号化装置、復号化装置、及び、圧縮伸長システム |
| KR100654436B1 (ko) * | 2004-07-07 | 2006-12-06 | 삼성전자주식회사 | 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더 |
| CN101023673B (zh) * | 2004-09-16 | 2011-06-08 | 汤姆逊许可证公司 | 具有利用局部亮度变化的加权预测的视频编解码器 |
| SG130962A1 (en) | 2005-09-16 | 2007-04-26 | St Microelectronics Asia | A method and system for adaptive pre-filtering for digital video signals |
| JP2007166323A (ja) | 2005-12-14 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 画像復号装置、および画像復号方法 |
| US7903733B2 (en) | 2006-01-26 | 2011-03-08 | Qualcomm Incorporated | Adaptive filtering to enhance video encoder performance |
| JP4384130B2 (ja) * | 2006-03-28 | 2009-12-16 | 株式会社東芝 | 動画像復号方法及び装置 |
| WO2007114368A1 (ja) | 2006-03-30 | 2007-10-11 | Kabushiki Kaisha Toshiba | 画像符号化装置及び方法並びに画像復号化装置及び方法 |
| JP4973886B2 (ja) * | 2006-06-21 | 2012-07-11 | 日本電気株式会社 | 動画像復号装置、復号画像記録装置、それらの方法及びプログラム |
| WO2008010929A2 (en) * | 2006-07-18 | 2008-01-24 | Thomson Licensing | Methods and apparatus for adaptive reference filtering |
| US8503521B2 (en) | 2007-01-16 | 2013-08-06 | Chih-Ta Star SUNG | Method of digital video reference frame compression |
| US8270739B2 (en) * | 2007-12-03 | 2012-09-18 | Ecole De Technologie Superieure | System and method for quality-aware selection of parameters in transcoding of digital images |
| JP4994500B2 (ja) * | 2007-11-02 | 2012-08-08 | エコール・ドゥ・テクノロジー・スュペリュール | デジタル画像のトランスコードにおけるパラメータの画質を認識した選択のためのシステムおよび方法 |
| GB2457262A (en) | 2008-02-08 | 2009-08-12 | Linear Algebra Technologies | Compression / decompression of data blocks, applicable to video reference frames |
| US8548041B2 (en) * | 2008-09-25 | 2013-10-01 | Mediatek Inc. | Adaptive filter |
| JP2010098352A (ja) | 2008-10-14 | 2010-04-30 | Panasonic Corp | 画像情報符号化装置 |
| US20100098169A1 (en) * | 2008-10-16 | 2010-04-22 | Texas Instruments Incorporated | Method and apparatus for motion estimation using compressed reference frame |
| JPWO2010092740A1 (ja) * | 2009-02-10 | 2012-08-16 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラムおよび集積回路 |
| US8724707B2 (en) * | 2009-05-07 | 2014-05-13 | Qualcomm Incorporated | Video decoding using temporally constrained spatial dependency |
| JP5361998B2 (ja) * | 2009-05-29 | 2013-12-04 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 |
| US8233534B2 (en) | 2010-04-09 | 2012-07-31 | Newport Media, Inc. | Frame buffer compression and memory allocation in a video decoder |
| JP5710022B2 (ja) | 2011-01-12 | 2015-04-30 | シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ | ビデオデコーダにおける参照画像の圧縮方法及び伸長方法 |
-
2012
- 2012-01-12 JP JP2013548842A patent/JP5710022B2/ja not_active Expired - Fee Related
- 2012-01-12 KR KR1020137020898A patent/KR101873207B1/ko active IP Right Grant
- 2012-01-12 CN CN201280005271.5A patent/CN103329527B/zh not_active Expired - Fee Related
- 2012-01-12 WO PCT/EP2012/050430 patent/WO2012095487A1/de active Application Filing
- 2012-01-12 EP EP12700392.9A patent/EP2614647B1/de not_active Not-in-force
- 2012-01-12 EP EP12705230.6A patent/EP2617198A1/de not_active Withdrawn
- 2012-01-12 US US13/979,601 patent/US9398292B2/en not_active Expired - Fee Related
- 2012-01-12 US US13/979,497 patent/US9723318B2/en active Active
- 2012-01-12 KR KR1020137020897A patent/KR101890203B1/ko active IP Right Grant
- 2012-01-12 CN CN201280005268.3A patent/CN103283231B/zh not_active Expired - Fee Related
- 2012-01-12 JP JP2013548845A patent/JP5698382B2/ja not_active Expired - Fee Related
- 2012-01-12 WO PCT/EP2012/050435 patent/WO2012095490A1/de active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN103283231A (zh) | 2013-09-04 |
| KR20140042778A (ko) | 2014-04-07 |
| WO2012095490A1 (de) | 2012-07-19 |
| EP2614647A1 (de) | 2013-07-17 |
| KR101890203B1 (ko) | 2018-08-21 |
| EP2617198A1 (de) | 2013-07-24 |
| KR20140042779A (ko) | 2014-04-07 |
| CN103329527B (zh) | 2017-03-01 |
| EP2614647B1 (de) | 2017-10-18 |
| KR101873207B1 (ko) | 2018-07-02 |
| JP5710022B2 (ja) | 2015-04-30 |
| US9398292B2 (en) | 2016-07-19 |
| JP2014506441A (ja) | 2014-03-13 |
| US20130301711A1 (en) | 2013-11-14 |
| JP2014506442A (ja) | 2014-03-13 |
| JP5698382B2 (ja) | 2015-04-08 |
| CN103329527A (zh) | 2013-09-25 |
| US20140003517A1 (en) | 2014-01-02 |
| WO2012095487A1 (de) | 2012-07-19 |
| US9723318B2 (en) | 2017-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103283231B (zh) | 在视频编码器中参考图像的压缩和解压缩 | |
| EP1257127B1 (en) | Video transcoder with spatial resolution reduction | |
| JP3118237B1 (ja) | 画像予測復号化方法 | |
| EP2395756A2 (en) | Signal-processing apparatus and electronic apparatus using same | |
| EP2675164A1 (en) | Image processing system, image processing method and program | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JP2000059795A (ja) | 情報ストリ―ムデコ―ダにおいてモ―ションベクトル情報を適応的にスケ―リングする方法および装置 | |
| CN100401780C (zh) | 在视频解码器中动态选择变换尺寸的方法和系统 | |
| CN103703784A (zh) | 具有约束滤波系数的自适应环路滤波方法及其装置 | |
| KR20010078393A (ko) | 스케일 가능한 코딩방법 | |
| WO2021263251A1 (en) | State transition for dependent quantization in video coding | |
| KR100277953B1 (ko) | 디지털 티브이 수신 장치 | |
| JP4880868B2 (ja) | 性能向上のための動画像圧縮方法及び装置 | |
| KR20070027781A (ko) | 멀티 포맷 비디오 디코더 및 디블로킹 필터링 방법 | |
| JP2002359852A (ja) | 画像予測復号化装置及び方法 | |
| CN116980609A (zh) | 视频数据处理方法、装置、存储介质及设备 | |
| JP3343553B1 (ja) | 画像予測符号化装置及び方法 | |
| JP2002335532A (ja) | 画像予測復号化方法及び画像予測符号化装置 | |
| JPH04326886A (ja) | サブバンド符号化における周波数変換係数のスキャニング方式 | |
| CN116998150A (zh) | 视频编解码中网格量化的状态转换 | |
| KR100714853B1 (ko) | 동영상 압축 시스템에서 루프 필터와 포스트 필터의적응적인 통합 적용장치 | |
| JP2003219421A (ja) | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム | |
| JP2001016589A (ja) | 画像情報変換装置、画像情報伝達システム及び画像情報変換方法 | |
| JP2000217111A (ja) | 画像サイズ変換可能なディジタル動画像復号装置およびプログラム記録媒体 | |
| JPH0730895A (ja) | 画像処理装置及びその処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180427 |