CN111491163B - 基于对图像块的像素域预处理操作的图像块编码 - Google Patents

基于对图像块的像素域预处理操作的图像块编码 Download PDF

Info

Publication number
CN111491163B
CN111491163B CN201911020131.5A CN201911020131A CN111491163B CN 111491163 B CN111491163 B CN 111491163B CN 201911020131 A CN201911020131 A CN 201911020131A CN 111491163 B CN111491163 B CN 111491163B
Authority
CN
China
Prior art keywords
circuitry
sad
block
encoding mode
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911020131.5A
Other languages
English (en)
Other versions
CN111491163A (zh
Inventor
M·G·萨尔沃尔
A·塔巴塔拜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111491163A publication Critical patent/CN111491163A/zh
Application granted granted Critical
Publication of CN111491163B publication Critical patent/CN111491163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及基于对图像块的像素域预处理操作的图像块编码。提供了用于基于对图像块的像素域预处理操作进行图像块编码的嵌入式编解码器(EBC)电路系统。EBC电路系统包括存储第一图像块的存储器和编码器电路系统，该编码器电路系统在像素域中根据按行残差值的第一预测块计算第一绝对差之和(SAD)并且根据按列残差值的第二预测块计算第二SAD。对于第一编码模式和第二编码模式中的每一个，编码器电路系统从残差预测类型集合中选择残差预测类型作为最优残差预测类型，并选择量化参数集合作为最优量化参数。编码器电路系统基于所选择的残差预测类型和所选择的量化参数集合分别在第一编码模式和第二编码模式下生成编码的第一图像块的位流集合。

Description

基于对图像块的像素域预处理操作的图像块编码
对相关申请的交叉引用/通过引用并入
无。
技术领域
本公开的各种实施例涉及嵌入式编解码器电路系统中的图像和视频压缩和解压缩技术。更具体而言，本公开的各种实施例涉及用于基于对图像块的像素域预处理操作进行图像块编码的嵌入式编解码器(EBC)电路系统和方法。
背景技术
用于图像压缩的成像技术的最新进展已导致对可以存储具有不同分辨率(例如，全高清(HD)4K分辨率和8K分辨率)的图像而不会显著降级视觉质量和/或对存储器使用造成影响的图像捕获和显示设备中的片上编解码器的需求增加。通常，常规的图像编码电路系统可以被配置为通过不同的编码方案对图像块进行编码，并且进一步从编码的图像块的多个位流中完全重建不同的图像块。可以执行这样的操作以便确定对图像块进行编码的最佳模式，以使得从编码的图像块重建的图像块具有最小的压缩伪像。可以将重建的图像块与原始图像块进行比较以选择最佳编码模式。每个图像块的重复的编码、重建和比较以找到最佳编码模式的恶性循环会导致过多计算资源、存储器资源的利用，并进一步造成图像块的编码操作中的延迟。
通过将所描述的系统与本公开的一些方面进行比较，常规和传统方法的进一步限制和缺点对于本领域技术人员将变得清楚，如本申请的其余部分并参考附图所阐述的。
发明内容
基本上如结合至少一个附图所示和/或结合至少一个附图所描述的，如权利要求中更完整地阐述的，提供了用于基于对图像块的像素域预处理操作进行图像块编码的嵌入式编解码器(EBC)电路系统和方法。
通过阅读本公开的以下详细描述以及附图，可以理解本公开的这些和其它特征和优点，其中相同的标号始终表示相同的部件。
附图说明
图1是图示根据本公开实施例的具有用于基于对图像块的像素域预处理操作进行图像块编码的嵌入式编解码器(EBC)电路系统和其它电路系统的示例性媒体设备的框图。
图2是图示根据本公开实施例的具有用于基于对图像块的像素域预处理操作进行图像块编码的各种外围部件的图1的EBC电路系统的框图。
图3A和3B共同图示了根据本公开实施例的用于由图2的EBC电路系统基于对图像块的像素域预处理操作进行图像块编码的示例性场景。
图4A和4B共同描绘了图示根据本公开实施例的用于基于对图像块的像素域预处理操作进行图像块编码的示例性操作的流程图。
具体实施方式
可以在用于基于对图像块的像素域预处理操作进行图像块编码的方法和嵌入式编解码器(EBC)电路系统中找到本公开的各种实施例。所公开的EBC电路系统提供了选择对图像块进行编码的最佳(即，最优)模式而无需从图像块的变换域编码阶段之后获得的位流中完全重建图像块的解决方案。由于常规技术必须重建整个图像块以选择对图像块进行编码的最佳模式，因此所公开的EBC电路系统在原始图像块的像素域预处理阶段(变换域编码阶段之前)确定对图像块进行编码的最佳模式。所公开的EBC电路系统还解决了在像素域预处理阶段中最优量化参数值和残差(residual)预测类型(例如，仅DC或全频残差)的选择。因此，所公开的EBC电路系统选择最佳模式，同时仍维持图像块的视觉上无损的图像质量。像素域预处理阶段使得可以实现对计算资源和存储器资源的最少且高效使用，以比常规技术快得多的处理时间对不同图像块执行编码操作。
图1是图示根据本公开实施例的具有用于基于对图像块的像素域预处理操作进行图像块编码的嵌入式编解码器(EBC)电路系统和其它电路系统的示例性媒体设备的框图。参考图1，示出了媒体设备102，其包括处理器106、EBC电路系统108和外部存储器110。在一些实施例中，图像传感器104可以与处理器106、EBC电路系统108和外部存储器110接口连接。还示出了系统总线112，该系统总线112将图像传感器104、处理器106、EBC电路系统108和外部存储器110互连。
媒体设备102可以包括合适的逻辑、电路系统和接口，其可以被配置为将未压缩的原始图像和/或视频作为编码(即，压缩的)图像和/或视频存储在外部存储器110中。媒体设备102还可以被配置为在媒体设备102处管理媒体内容的编码和解码(例如，编码的图像和/或视频)以及解码的媒体内容的进一步回放。媒体设备102可以包括专用的片上编解码器电路系统(诸如EBC电路系统)以及用于存储图像(未经压缩或编码的原始图像)的外部存储器110，以及用于离线(在没有网络的情况下)在媒体设备102处对媒体内容进行编码的其它计算电路系统。在一些实施例中，媒体设备102还可以包括一个或多个图像传感器(例如图像传感器104)以捕获原始图像文件格式的图像，该原始图像文件格式是未压缩的文件格式。在这种情况下，捕获的图像可以由媒体设备102的EBC电路系统108编码。媒体设备102的示例可以包括但不限于数码相机、便携式通信设备(例如，膝上型计算机、智能电话、平板电脑、平板手机、智能手表、智能眼镜等)、媒体服务器、工作站、台式计算机以及增强现实/虚拟现实/混合现实(AR/VR/MR)设备。
虽然未在图1中示出，但媒体设备102还可以包括网络接口，该网络接口可以被配置为通过通信网络(也未示出)管理与其它外围设备或对等连接的设备共享编码的和/或原始未压缩的图像和/或视频。为了简洁起见，已经从本公开中省略了网络接口和通信网络的详细描述。
图像传感器104可以包括合适的逻辑、电路系统和接口，其可以被配置为捕获图像传感器104的视场(FOV)中的场景的原始未压缩图像或原始未压缩图像的序列。图像传感器104可以被实现为有源像素传感器，诸如互补金属氧化物半导体(CMOS)传感器。在这样的实施方式中，图像传感器104可以被配置为在CMOS传感器的传感器核心上对像素的每一行或每一列(一维(1D)像素阵列或1D图像块)执行渐进扫描(一行一行地)。渐进扫描可以是垂直扫描(按列)或水平扫描(按行)。在一些实施例中，代替有源像素传感器，图像传感器104可以被实现为无源像素传感器之一(诸如电荷耦合器件(CCD)传感器、过采样二进制图像传感器、平面傅立叶捕获阵列(PFCA)、背照式(BSI或BI)传感器等)。虽然未示出，但是图像传感器104还可以包括专用微处理器(或微控制器)，该专用微处理器被配置为根据来自图像传感器104、用于处理存储在帧缓冲器中的图像的图形处理单元(GPU)和/或与图像传感器104集成的存储器的图像数据进行操作。
处理器106可以包括适当的逻辑，电路和接口，其可以被配置为执行存储在专用存储器(例如，外部存储器110或EBC电路系统108中的片上存储器)中的指令集。可以基于本领域中已知的多种处理器技术来实现处理器106。处理器106的示例可以包括但不限于图形处理单元(GPU)、用于处理器的协处理器(诸如专用图像协处理器)、专用数字信号处理器、中央处理单元(CPU)、基于x86的处理器、基于x64的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器。
EBC电路系统108可以包括合适的逻辑、电路系统和接口，其可以被配置为基于特定的编码模式对第一图像块(例如，根据具体压缩因子的8x4或16x8图像块)进行编码，其中具体的编码模式是基于对第一图像块的像素域预处理操作来选择的。EBC电路系统108还可以被配置为响应于在EBC电路系统108处接收到的指令来对编码的第一图像块进行解码。第一图像块可以是在图像传感器104按行或列扫描之后从图像传感器104的读出寄存器中直接检索的输入图像帧(即，原始未压缩的图像帧)或像素阵列(行或列)的一部分。EBC电路系统108还可以管理将编码的第一图像块的位流存储在外部存储器110中，或者可以管理经由专用通信网络将编码的第一图像块的位流传送到其它媒体设备。
EBC电路系统108可以被实现为与媒体设备102的其它计算电路系统接口连接的专用硬件编码器/解码器。在这样的实施方式中，EBC电路系统108可以与具体计算电路系统上的具体形状因子相关联。具体计算电路系统的示例可以包括但不限于现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、专用集成电路(ASIC)、可编程ASIC(PL-ASIC)、专用集成部分(ASSP)以及基于标准微处理器(MPU)或数字信号处理器(DSP)的片上系统(SOC)。根据另一个实施例，EBC电路系统108还可以与图形处理单元(GPU)接口连接，以并行化EBC电路系统108的操作。根据又一个实施例，EBC电路系统108可以被实现为存储在存储器中的可编程指令和媒体设备102的硬件电路系统上的逻辑单元(或可编程逻辑单元)的组合。
外部存储器110可以包括合适的逻辑、电路系统和接口，其可以被配置为存储输入图像帧(未压缩的原始或编码的)或输入图像序列。外部存储器110还可以被配置为充当图像缓冲器，以存储从图像传感器104检索的原始未压缩图像块。此外，外部存储器110可以存储与可以基于对图像块的像素域预处理操作来选择的顺序编码/解码方案(其与最优编码模式对应)相关联的指令。在示例性实施例中，外部存储器110可以是可以与EBC电路系统108在外部接口连接的动态随机存取存储器(DRAM)电路。在另一个示例性实施例中，外部存储器110可以是可以与EBC电路系统108在外部接口连接的静态随机存取存储器(SRAM)电路。外部存储器110的实现的进一步的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU高速缓存或安全数字(SD)卡。
虽然未在图1中示出，但是媒体设备102还可以包括视频编解码器，该视频编解码器可以兼容并支持可以包括高级视频编解码器(AVC)/媒体专家组(MPEG-4/AVC)或H.264、MPEG-4/HEVC或H.265等的已知编解码器标准。此外，视频编解码器可以被其它编解码器库支持，这些编解码器库可以包括FFmpeg、Xvid、DIVx、VP1-9、Windows Media编解码器、FFavs等。
系统总线112可以是硬件总线，其可以包括到媒体设备102的不同部件的数据通道(或传导路径)集合。换句话说，系统总线112可以至少互连媒体设备102的不同部件的数据端口、地址端口和控制信号端口。例如，系统总线112可以将图像传感器104、处理器106、EBC电路系统108、外部存储器110和其它电路系统彼此互连。系统总线112可以被配置为促进媒体设备102板上的不同部件之间的串行数据通信或并行化数据通信。系统总线112的示例可以包括8位并行单系统总线、16位并行单系统总线、32位并行单系统总线、64位并行单系统总线、串行数据总线等。
在操作中，输入图像帧的多个图像块(例如，2D图像块)可以由媒体设备102的外部存储器110接收。在一些实施例中，可以从片上图像传感器(诸如图像传感器104)或连接到媒体设备102的相机设备顺序地检索来自多个图像块的第一图像块。在其它实施例中，多个图像块可以从存储在媒体设备102的持久性存储装置中的未压缩原始图像的逻辑分区中检索，或者从其它媒体存储设备(诸如相机、数据服务器，等等)在外部接收。
根据实施例，EBC电路系统108可以被配置为从外部存储器110或图像传感器104顺序地接收来自多个图像块的第一图像块。媒体设备102还可以被配置为将第一图像块存储在媒体设备102的存储器(诸如外部存储器110)的第一存储空间中。EBC电路系统108可以被配置为对第一图像块执行顺序编码方案以生成编码的第一图像块的位流。但是，为了应用顺序编码方案，可以在对第一图像块进行实际的变换域编码操作之前作为预处理操作的一部分在像素域中确定最优编码模式。如常规技术中所实现的，可以在不通过不同编码模式来重建编码的第一图像块的情况下确定最优编码模式。像素域绝对差之和(SAD)要求硬件不便的逆变换操作。但是，由于不要求每个图像块的重建，因此所公开的方法易于在硬件中实现。
根据一个实施例，EBC电路系统108可以被配置为将输入图像帧分区为多个图像块。多个图像块中的每个图像块可以包括多个像素值。每个图像块的尺寸可以基于预定值，诸如“8×4像素”或“16×4像素”。每个图像块中的每个像素还可以由位深度表示，诸如八位的组合。EBC电路系统108还可以被配置为在像素域中对输入图像帧的第一图像块执行预处理操作。可以执行预处理操作以确定编码模式集合当中的编码模式，其中可以利用确定的编码模式来用所需的位深度对第一图像块进行编码。该编码模式集合可以包括第一编码模式和第二编码模式。第一编码模式和第二编码模式可以分别与第一顺序编码方案和第二顺序编码方案对应。第一顺序编码方案和第二顺序编码方案中的每个顺序编码方案可以包括一系列操作，诸如前向变换操作、量化操作、残差预测操作、DPCM操作和熵编码操作。这里，前向变换的应用可以与在第一图像块的每一行应用一维行离散余弦变换(1D行DCT)或在第一图像块的每一列上应用1D列DCT以生成多个变换系数对应。
在一些实施例中，前向变换的类型可以基于正弦酉变换(unitary transform)的族(其包括正交基或特征向量的族)。前向变换的示例可以包括但不限于I-VIII型DCT、I-VIII型离散正弦变换(DST)、离散小波变换(DWT)和双树复数小波变换(DCWT)。类似地，熵编码方案可以是可变长度编码(VLC)方案或以下之一：上下文自适应可变长度编码(CAVLC)方案或上下文自适应二进制算术编码(CABAC)方案。VLC方案的示例可以包括但不限于Lempel-Ziv编码、霍夫曼编码、算术编码、exp-Golomb编码、Golomb编码和渐进Golomb编码。
在预处理操作中，EBC电路系统108可以被配置为基于残差预测方案对第一图像块的按行应用来生成第一预测块。类似地，EBC电路系统108还可以被配置为基于残差预测方案对第一图像块的按列应用来生成第二预测块。残差预测方案可以是至少以下之一：差分脉冲编码调制(DPCM)方案、自适应DPCM方案或PCM方案。EBC电路系统108还可以被配置为根据第一图像块的不同残差预测值来计算像素域中的不同绝对差之和(SAD)值。更具体而言，EBC电路系统108可以被配置为在像素域中从按行残差值的第一预测块计算第一SAD并从按列残差值的第二预测块计算第二SAD。当分别被按行和按列扫描时，第一SAD和第二SAD可以提供第一图像块的像素值的空间变化的测量。在一些实施例中，代替SAD，可以使用图像块之间的其它相似性测量，例如平方差之和(SSD)，而不限制本公开的范围。
EBC电路系统108还可以被配置为从残差预测类型集合当中选择残差预测类型，作为用于编码模式集合中的每个编码模式的残差预测方案的参数。例如，如果残差预测方案是DPCM方案，那么可以将残差预测类型选择为全频DPCM或仅直流(DC)DPCM。换句话说，可以确定在第一编码模式和第二编码模式下是在第一图像块的所有频率分量(DC和交流(AC))电平上还是仅在DC电平上执行DPCM方案。
EBC电路系统108还可以被配置为基于计算出的第一SAD和计算出的第二SAD为第一编码模式和第二编码模式中的每一个选择量化参数集合作为最优量化参数。例如，已经参考图2、3A和3B进一步详细描述了预处理操作。
在第一编码模式和第二编码模式下，基于选择的残差预测类型和选择的量化参数集合，EBC电路系统108可以被配置为分开地对第一图像块进行编码以生成编码的第一图像块的位流集合。该位流集合中的每个位流可以与顺序编码方案集合中的不同顺序编码方案对应。换句话说，每个位流可以与不同的压缩模式对应，其中各个方案和操作的不同参数可以变化。例如，第一编码模式可以与第一顺序编码方案对应，其可以包括1D行DCT的序列、具有所选择的量化参数的量化、残差预测方案(具有所选择的残差预测类型)以及熵编码方案。第二编码模式可以与第二顺序编码方案对应，其可以包括1D列DCT的序列、具有所选择的量化参数的量化、残差预测方案(具有所选择的残差预测类型)以及熵编码方案。
EBC电路系统108可以被配置为计算与位流集合中的每个位流相关联的位损失值。根据实施例，可以从针对位流集合中的每个位流的位覆盖值来计算位损失值。在这种情况下，位损失值可以是位流的位总数减去对应位流的位覆盖值的差。位覆盖值可以表示在第一编码模式或第二编码模式下无损编码的第一图像块中的所有样本的位数。类似地，位损失值可以表示与以有损方式编码的第一图像块的样本集合对应的位流中的位数。因此，位覆盖值和位损失值二者都可以表示编码质量的测量，该测量被用于从第一编码模式和第二编码模式中决定最优编码模式。EBC电路系统108可以被配置为从位流集合中识别与该位流集合中的其它位流相比具有最小位损失值的位流。换句话说，从位流集合中，识别出的位流是具有最少数量以有损方式编码的样本(与第一图像块对应)的位流。识别出的位流可以与从第一编码模式或第二编码模式之一选择的优选编码模式对应。因此，EBC电路系统108可以被配置为基于与位流集合的每个位流相关联的位损失值的计算来选择第一编码模式或第二编码模式之一作为最优编码模式。
常规的编码电路系统可能必须从基于不同顺序编码方案编码的第一图像块的不同位流中完全重建图像块集合。因此，为了完全重建，常规的编码电路系统可能必须解码不同位流的整个集合，并将完全重建的图像块的第一集合中的每一个与第一图像块进行比较。可以这样做以将编码模式识别为可以导致最小压缩伪像、最大压缩因子以及已编码的第一图像块的总体位深度的减小的最优编码模式。由于图像块的第一集合的完全重建可以是计算资源密集的处理，其可以增加计算时间(包括编码/解码时间)，并且还要求更多的存储器用于处理。相反，EBC电路系统108可以基于与多个压缩位流中的每一个相关联的位损失值的计算来识别最优编码模式。可以选择该最优编码模式，而无需从第一图像块的不同位流完全重建不同的图像块。像素域绝对差之和(SAD)通常要求硬件不便的逆变换操作。但是，所公开的EBC电路系统108易于在硬件中实现，因为由于预处理阶段而不要求块的完全重建。
EBC电路系统108还可以被配置为通过应用与最优编码模式对应的最优顺序编码方案来对第一图像块进行编码以生成编码的第一图像块的位流。媒体设备102可以被配置为将位流作为压缩的第一图像块的流存储在小于存储第一图像块所需的空间的存储空间中。
根据实施例，EBC电路系统108的EBC解码器电路系统(图1中未示出)可以被配置为预存储不同的编码表，例如，用于熵编码方案的编码表和量化表。因此，编码的第一图像块的位流可以不需要包括不同的编码表和量化表。根据实施例，EBC电路系统108可以被配置为生成编码的图像块的位流，使得该位流可由外部解码器解码，该外部解码器可以利用不同的解码方案来解码编码的第一图像块的位流。在这种情况下，EBC电路系统108可以被配置为在与编码的第一图像块的位流相关联的报头信息或不同元流中添加不同的编码表(例如，用于熵编码方案的编码表)和量化表。通过在位流中添加这样的自定义表和量化表，EBC电路系统108的输出可以由其它解码器电路系统可解码。
根据实施例，编码的第一图像块的位流可以作为输入图像(诸如2D图像)的一部分存储在诸如外部存储器110或EBC电路系统108中的片上存储器之类的存储器中。编码的第一图像块的位流可以在不同的应用中具有多种实施方式。在一个示例性实施方式中，处理器106可以被配置为经由系统总线112将编码的第一图像块的位流传送到显示电路系统(例如，视频卡)的帧缓冲器(或帧存储装置)，其中显示电路系统与媒体设备102的系统总线112通信地耦合(或接口连接)。帧缓冲器可以充当显示电路系统的压缩帧缓冲器。媒体设备102(或解码电路系统(图1中未示出))可以解码并进一步利用编码的第一图像块的位流来将图像的补丁显示到媒体设备102的显示屏上。在另一个示例性实施方式中，处理器106可以被配置为经由系统总线112将编码的第一图像块的位流传送到媒体设备102中的解码器缓冲器，诸如视频解码器的解码器图片缓冲器(DPB)、用于图像解码器的缓冲器存储器或视频编解码器的编码图片缓冲器(CPB)之类。
在示例性实施方式中，媒体设备102可以是相机(诸如数字摄像机或数字图像相机之类)，并且编码的第一图像块的位流可以与直接从相机中的CMOS传感器接收的像素值的2D阵列对应。在具体场景中，可以在CMOS传感器电路系统中实现EBC电路系统108。EBC电路系统108的详细操作已经例如在图2、3A和3B中进一步详细描述。
图2是图示根据本公开实施例的具有用于基于对图像块的像素域预处理操作进行图像块编码的各种外围部件的图1的EBC电路系统的框图。结合图1中的元件来解释图2。参考图2，示出了EBC电路系统108的框图200。EBC电路系统108可以包括输入/输出(I/O)接口202、片上存储器204、编码器电路系统206和解码器电路系统208。在框图200中，还示出了经由系统总线112通信地耦合到EBC电路系统108的图像传感器104、处理器106和外部存储器110。在一些实施例中，处理器106和外部存储器110可以在EBC电路系统108内部实现，而不背离本公开的范围。
I/O接口202可以包括合适的逻辑、电路系统和接口，其可以被配置为管理多个I/O端口，以促进经由系统总线112来自其它外围电路系统(例如，外部存储器110、处理器106或图像传感器104)的通信数据的交换。通信数据可以包括编码的图像块的位流、控制信号、CPU指令等。I/O端口的配置可以取决于EBC电路系统108的规范，例如，ASIC、FPGA或SoC芯片中的物理I/O引脚。
片上存储器204可以包括合适的逻辑、电路系统和接口，其可以被配置为存储可以被EBC电路系统108的不同部件用来对输入图像帧的多个图像块进行编码的不同操作数据(例如，变换域数据、残差电平、量化电平、熵编码位等)。片上存储器204可以被配置为存储的操作数据的示例可以包括但不限于编码的第一图像块的位流、变换域数据、经量化变换的电平、经量化变换的残差电平以及1D/2D图像块。片上存储器204可以被实现为用既定的存储器规范(诸如R/W速度、存储器尺寸、制造因素等)设计的具体存储器。片上存储器204的示例可以包括但不限于静态随机存取存储器(SRAM)、动态存取存储器(DRAM)和静态动态RAM(SD-RAM)。
编码器电路系统206可以包括合适的逻辑、电路系统和接口，其可以被配置为通过应用存储在存储器(诸如片上存储器204或外部存储器110)中的最优顺序编码方案来生成编码的第一图像块的位流。最优顺序编码方案可以与最优编码模式对应，其可以基于对第一图像块的像素域预处理操作来选择。编码器电路系统206可以被优化以减少可用于在编码操作中对第一图像块的经量化变换的残差电平的块进行编码的位数(即，每样本的位的位深度(bps))。将位深度减小到优选值可以导致第一图像块的压缩效率和/或压缩因子的改善。在一些实施例中，编码器电路206可以是硬件编码器芯片，其可以基于ASIC、可编程逻辑设备(PLD)、SOC、FPGA、数字信号处理器(DSP)或其它专用电路系统之一来实现。在其它实施例中，编码器电路系统206可以被实现为硬件和片上存储器204中存储的指令集(例如，基于超高速集成电路(VHSIC)硬件描述语言(VHDL)或HDL逻辑的指令)的组合。
解码器电路系统208可以包括合适的逻辑、电路系统和接口，其可以被配置为基于位流中的报头信息来对编码的第一图像块的位流进行解码。在解码操作中，位流可以由解码器电路系统208处理，以从位流重建第一图像块。解码的第一图像块可以表现出明显减少的压缩伪像，这从重建的第一图像块的改善的视觉质量可以清楚看出。解码器电路系统208可以具有预存储的量化表和编码表，这些表可以充当解码器电路系统208对编码的第一图像块的位流进行解码的参考。在一些实施例中，解码器电路系统208可以是硬件编码器芯片，其可以基于ASIC、可编程逻辑设备(PLD)、SOC、FPGA、数字信号处理器(DSP)或其它专用电路系统之一来实现。在其它实施例中，解码器电路系统208可以被实现为硬件和片上存储器204中存储的指令集(例如，基于VHDL或HDL逻辑的指令)的组合。
在操作中，处理器106可以被配置为将存储在外部存储器110(或片上存储器204)中的输入图像帧划分成多个图像块。在多个图像块中，可以通过编码器电路系统206从外部存储器110(或片上存储器204)检索第一图像块。在一些情况下，第一图像块的检索可以基于对多个图像块当中的第一图像块的选择。编码器电路系统206可以被配置为在选择最优编码模式之前在像素域中对输入图像帧的第一图像块执行预处理操作。在某些实施例中，第一图像块在YCbCr颜色空间中表示，其中第一图像块由亮度块(即，亮度分量)、色度-U(即，色度蓝色差异分量)和色度-V块(即，色度红色差异分量)表示。在这种情况下，编码器电路系统206可以被配置为在像素域中对亮度块、色度-U块和色度-V块分别执行预处理操作。预处理操作可以导致选择最优量化参数(作为自适应量化方案的一部分)和最优残差预测类型(例如，全频DPCM或仅DC DPCM)。最优残差预测类型可以与残差预测方案的参数对应，所述参数可以导致编码的图像块的位流的最小位损失值，并且从这种位流解码的图像块在视觉上可以是无损的并且压缩伪像的影响最小。
在预处理操作之后，编码器电路系统206可以被配置为通过第一编码模式和第二编码模式对第一图像块执行编码操作，第一编码模式和第二编码模式可以分别与第一顺序编码方案和第二顺序编码方案对应。第一编码模式和第二编码模式可以包括前向变换、量化、残差预测的顺序应用，并且随后是对第一图像块应用熵编码方案。熵编码方案可以是可变长度编码(VLC)方案或以下之一：上下文自适应可变长度编码(CAVLC)方案或上下文自适应二进制算术编码(CABAC)方案。VLC方案的示例可以包括但不限于Lempel-Ziv编码、霍夫曼编码、算术编码、exp-Golomb编码、Golomb编码和渐进Golomb编码。
前向变换的类型、量化参数和残差预测类型可以在第一编码模式与第二编码模式之间变化。编码器电路系统206还可以被配置为基于来自由第一编码模式和第二编码模式生成的位流的位损失值来从第一编码模式和第二编码模式之一中选择最优编码模式。在本文已经详细描述了预处理操作。
在预处理操作中，编码器电路系统206可以被配置为基于残差预测方案对第一图像块的按行应用来生成第一预测块。编码器电路系统206还可以被配置为基于残差预测方案对第一图像块的按列应用来生成第二预测块。残差预测方案可以是至少以下之一：差分脉冲编码调制(DPCM)方案、自适应DPCM方案或PCM方案。
在示例性实施例中，第一预测块可以与残余像素值的水平DPCM块对应，并且第二预测块可以与残余像素值的垂直DPCM块对应。可以基于第一图像块的每一行像素中的每对连续像素值之间的差来生成第一预测块。类似地，可以基于第一图像块的像素的每一列像素中的每对连续像素值之间的差来生成第二预测块。
编码器电路系统206还可以被配置为基于图像块中的对应像素值来设置第一预测块和第二预测块的具体残差值。例如，可以在水平预测块和垂直预测块中将用于所有蓝色像素的DPCM残差值设置为“0”。编码器电路系统206还可以被配置为在像素域中从按行残差值的第一预测块计算第一SAD并从按列残差值的第二预测块计算第二SAD。第一预测块和第二预测块可以与第一图像块对应。第一SAD和第二SAD可以表示第一预测块和第二预测块中的绝对差之和(即，像素域中的残差值)。而且，第一SAD和第二SAD可以指示沿着不同扫描方向(或扫描次序)的就更强边缘而言的输入图像块的空间复杂度的测量，扫描方向例如，从左到右的按行水平扫描或从顶部到底部的按列垂直扫描。
编码器电路系统206还可以被配置为确定可以在第一编码模式和第二编码模式下对第一图像块应用的残差预测方案的最优参数。最优参数可以包括残差预测类型参数，其可以指定可以基于残差预测方案进行处理的经量化变换的电平的一部分。编码器电路系统206可以被配置为从残差预测类型集合中选择残差预测类型，作为针对第一编码模式和第二编码模式中的每一个的最优残差预测类型。残差预测类型集合可以包括但不限于仅DC的DPCM类型和全频DPCM类型。最优残差预测类型可以与残差预测方案的参数对应，所述参数可以导致编码的图像块的位流的最小位损失值，并且从这种位流解码的图像块在视觉上可以是无损的，并且压缩伪像的影响最小。残差预测类型的选择可以取决于前向变换的类型，诸如分别在第一编码模式和第二编码模式下指定的第一类型的前向变换和第二类型的前向变换。此后，可以基于计算出的第一SAD和计算出的第二SAD来选择残差预测类型。
在示例性实施例中，第一类型的前向变换可以是用于第一编码模式的1D列DCT。编码器电路系统206还可以被配置为针对第一编码模式检查计算出的第一SAD是否大于或等于计算出的第二SAD。当计算出的第一SAD大于或等于计算出的第二SAD时，残差预测类型可以是全频DPCM类型。否则，当计算出的第一SAD小于计算出的第二SAD时，残差预测类型可以是仅DC的DPCM类型。
在仅DC的DPCM类型中，编码器电路系统206可以被配置为仅对第一图像块的经DC量化变换的电平应用DPCM方案。在应用DPCM方案后，剩余的经AC量化变换的残差电平可能保持不受影响。类似地，在全频DPCM类型中，所有经量化变换的残差电平(包括DC和AC电平)都可以经历DPCM方案。
在示例性实施例中，第二类型的前向变换可以是用于第二编码模式的1D行DCT。在这种情况下，编码器电路系统206可以被配置为根据用于第一图像块的亮度块和一对色度块(即，色度U和色度V分量)的具体位深度来确定该亮度块和该色度块对的偏移量参数。具体位深度可以是用于编码的亮度或色度块的目标位深度。偏移量参数可以与自适应偏移量值对应，该自适应偏移量值可以指示亮度块值从色度块值的偏移量。可以进一步基于用于亮度块和色度块对的目标位深度来确定偏移量参数的值。对于色度块对，可以与目标位深度无关地通过“0”来初始化偏移量参数的值，并且对于亮度块，偏移量参数的值可以是非零值。
表1中已经给出了针对不同目标位深度的偏移量参数的不同值的示例，如下所示：
Figure BDA0002246943170000171
表1：针对不同块类型的偏移量值
在表1中，与目标位深度无关，对于色度块对，偏移量参数的值为“0”。对于“4bps”(每个样本的位)的位深度，亮度块的非零值是“35”，并且对于“6bps”的位深度，该非零值是“75”。这里，原始位深度表示被用于表示第一图像块的色度分量或亮度分量的位数。目标位深度表示对相同的色度分量或亮度分量进行编码以便在优选的位预算内实现期望的压缩率可能需要的位数。
编码器电路系统206还可以被配置为针对第二编码模式检查计算出的第一SAD是否小于或等于计算出的第二SAD和所确定的偏移量参数之和。在示例性实施例中，当计算出的第一SAD小于或等于计算出的第二SAD与所确定的偏移量参数之和时，残差预测类型可以是全频DPCM类型。否则，当计算出的第一SAD大于计算出的第二SAD与所确定的偏移量参数之和时，残差预测类型可以是仅DC的DPCM类型。
编码器电路系统206还可以被配置为基于计算出的第一SAD与计算出的第二SAD的比较来确定最小SAD值。此后，可以检查所确定的最小SAD值是否小于阈值。针对第一编码模式和第二编码模式中的每一个的量化参数集的选择可以基于确定所确定的最小SAD值是否小于阈值的检查。阈值可以基于块类型(即，对于亮度分量和色度分量是不同的)和目标位深度而变化。
表2中给出了用于选择量化参数集的针对不同块类型的不同阈值的示例，如下所示：
Figure BDA0002246943170000181
表2：针对不同块类型的阈值
在表2中，针对“4bps”和“6bps”的目标位深度并且块类型为亮度的阈值被设置为“525”，并且针对“4bps”和“6bps”的目标位深度并且块类型为色度的阈值分别被设置为“250”和“300”。
编码器电路系统206可以被配置为针对第一编码模式和第二编码模式中的每一个选择量化参数集作为最优量化参数。可以基于最小SAD值与阈值的比较来选择用于第一编码模式和第二编码模式中的每一个的量化参数集。量化参数的具体值还可以根据第一编码模式和第二编码模式的DCT类型、块类型以及目标位深度来确定。表3中给出了针对不同目标位深度和不同块类型的不同量化参数集的示例，如下所示：
Figure BDA0002246943170000182
Figure BDA0002246943170000191
表3：针对不同目标位深度和不同块类型的不同量化参数集
根据表3，用于第一编码模式和第二编码模式的量化参数集可以包括表3中的四个给定量化参数(QN0、QN1、QN2和QN3)当中三个不同量化参数的不同组合。例如，在示例中，当用于第一编码模式和第二编码模式的最小SAD小于阈值时，可以从或者(a)QN0、QN1和QN2的组合；或者(b)QN1、QN2和QN3组合中选择量化参数集。如表3中所给出的，量化参数的具体值还可以根据用于第一编码模式和第二编码模式的DCT类型、块类型和目标位深度来确定。
第一SAD和第二SAD的计算以及残差预测类型和量化参数集的选择与和像素域中的第一图像块相关联的预处理操作对应。在将不同的顺序编码方案应用于变换域中的第一图像块的编码操作之前执行预处理操作。在本文中，描述了通过不同编码模式对第一图像块应用不同的顺序编码方案。
在预处理操作之后，在一些实施例中，编码器电路系统206还可以被配置为在第一编码模式下对第一图像块应用第一顺序编码方案，以便从编码的第一图像块的位流集合生成第一位流。可以基于针对第一编码模式所选择的残差预测类型和所选择的量化参数集合来生成第一位流。第一顺序编码方案可以包括第一类型的前向变换(例如，1D行DCT)、量化、残差预测(例如，DPCM方案)和熵编码方案的顺序应用。而且，编码器电路系统206可以被配置为在第二编码模式下对第一图像块应用第二顺序编码方案，以生成编码的第一图像块的位流集合中的第二位流。可以基于针对第二编码模式所选择的残差预测类型和所选择的量化参数集合来生成第二位流。第二顺序编码方案可以包括第二类型的前向变换(例如，1D列DCT)、量化、残差预测(例如，DPCM方案)和熵编码方案的顺序应用。
为了从第一编码模式和第二编码模式中选择最佳编码模式，编码器电路系统206还可以被配置为从编码的第一图像块的位流集合中计算第一位损失值集合和第二位损失值集合。可以分别针对第一编码模式和第二编码模式计算第一位损失值集合和第二位损失值集合。根据实施例，可以从针对位流集合中的每个位流的位覆盖值来计算位损失值。在这种情况下，位损失值可以是位流的总位数减去对应位流的位覆盖值的差。位覆盖值可以表示在第一编码模式或第二编码模式下无损编码的第一图像块中的所有样本的位数。类似地，位损失值可以表示与以有损方式编码的第一图像块的样本集合对应的位流中的位数。因此，位覆盖值和位损失值二者都可以表示编码质量的测量，该测量被用于从第一编码模式和第二编码模式中确定最优编码模式。
根据实施例，编码器电路系统206可以被配置为从编码的第一图像块的位流集合中缩放第一位损失值集合和第二位损失值集合。可以进行缩放以确保可以在归一化的规模(scale)上进行第一编码模式的位损失值与第二编码模式的位损失值之间的比较。更具体而言，即使当用于第一图像块的输入位深度对于第一编码模式和第二编码模式是相同的时，用于编码的第一图像块的操作位深度(在熵编码阶段之后)也可以(或可以不)针对第一编码模式与第二编码模式而不同。例如，对于每个样本“8”位(bps)的输入位深度，通过第一编码模式和第二编码模式的编码的第一图像块的操作位深度可以分别是“6bps”和“4bps”。因此，经由第一编码模式和第二编码模式，编码的第一图像块中的每个样本可以分别由“6位”和“4位”表示。为了进行公平的比较，编码器电路系统206可以被配置为从编码的第一图像块的位流集合缩放第一位损失值集合和第二位损失值集合。
此后，编码器电路系统206可以选择第一编码模式或第二编码模式之一作为用于第一图像块的最佳编码模式。最佳编码模式可以与如下编码模式对应：通过该编码模式，可以用最小的位损失值对图像块进行编码并且从编码的图像块对图像块进行重建/解码可以导致视觉上无损的图像块的生成。可以基于计算出的第一位损失值集合和计算出的第二位损失值集合来进行选择。换句话说，将总位损失值最小的编码模式选为最佳编码模式。编码器电路系统206还可以被配置为通过最佳编码模式对第一图像块应用最优顺序编码方案，以生成编码的图像块的位流。如图1和2中所描述的，由EBC电路系统108执行的功能和/或操作已经在例如图3A和3B中进一步详细描述。
图3A和3B共同图示了根据本公开实施例的用于由图2的EBC电路系统基于对图像块的像素域预处理操作进行图像块编码的示例性场景。结合图1和图2中的元件来解释图3A和3B。
在304处，可以在像素域中对输入图像帧302的第一图像块302A执行预处理操作。编码器电路系统206可以被配置为执行预处理操作，以便从第一编码模式和第二编码模式中选择编码模式作为将第一图像块302A编码成编码的第一图像块的位流的最优编码模式。每种编码模式可以包括前向变换操作、量化操作、残差预测操作(例如，DPCM操作)和熵编码操作。
在306A处，可以生成第一图像块302A的第一变换块。编码器电路系统206可以被配置为通过对第一图像块302A应用第一类型的前向变换(诸如1D行DCT)来从第一图像块302A生成第一变换块。
在306B处，可以生成第一图像块302A的第二变换块。编码器电路系统206可以被配置为通过对第一图像块302A应用第二类型的前向变换(诸如1D列DCT)来从第一图像块302A生成第二变换块。
在308处，可以对第一变换块和第二变换块进行量化。编码器电路系统206可以被配置为量化第一变换块和第二变换块，以生成经量化变换的电平的第一块和经量化变换的电平的第二块。可以基于为第一编码模式和第二编码模式确定的量化参数集合中的每一个量化参数来进行量化。可以对在306A处应用行DCT变换之后获得的变换块执行在308A、308B和308C处的量化操作。编码器电路系统206可以被配置为基于为第二类型的前向变换确定的第二量化参数集合中的每一个量化参数来量化第二变换块以生成经量化的变换块的第二集合。可以对在308A处应用列DCT变换之后获得的变换块执行在308D、308E和308F处的量化操作。
在310处，可以将经量化变换的电平的第一块和经量化变换的电平的第二块变换成经量化变换的残差电平的第一块和经量化变换的残差电平的第二块。可以通过对经量化变换的电平的第一块和经量化变换的电平的第二块应用最优DPCM方案来引起变换。编码器电路系统206可以被配置为将最优DPCM方案应用于经量化变换的电平的第一块和经量化变换的电平的第二块，以生成经量化变换的电平的第一块和经量化变换的电平的第二块。DPCM操作的应用可以在310A、310B和310C处对经量化变换的电平的第一块并且在310D、310E和310F处对经量化变换的电平的第二块执行。
在312处，可以基于PCM方案对第一图像块302A的应用来计算多个像素域残差值。编码器电路系统206可以被配置为基于PCM方案对第一图像块302A的应用来计算多个像素域残差值。
在314处，可以对经量化变换的残差电平的第一块和经量化变换的残差电平的第二块进行熵编码。编码器电路系统206可以被配置为对经量化变换的残差电平的第一块和经量化变换的残差电平的第二块进行熵编码，以生成编码的第一图像块的位流集合。
可以基于在314A、314B和314C处将熵编码方案应用于经量化变换的残差电平的第一块来生成第一位流。类似地，可以基于在314D、314E和314F处将熵编码方案应用于经量化变换的残差电平的第二块来生成第二位流。熵编码方案可以是可变长度编码(VLC)方案或以下之一：上下文自适应可变长度编码(CAVLC)方案或上下文自适应二进制算术编码(CABAC)方案。VLC方案的示例可以包括但不限于Lempel-Ziv编码、霍夫曼编码、算术编码、exp-Golomb编码、Golomb编码和渐进Golomb编码。
在316处，可以分别为第一位流和第二位流计算第一位损失值集合和第二位损失值集合。编码器电路系统206可以被配置为分别为第一位流和第二位流计算第一位损失值集合和第二位损失值集合。
在318处，从第一编码模式和第二编码模式中选择最优编码模式。编码器电路系统206可以被配置为基于对第一位流和第二位流中的每一个的位损失值的计算而从第一编码模式和第二编码模式中选择最优编码模式，如图1和2中所讨论的。最佳编码模式可以与如下编码模式对应：通过该编码模式，可以用最小的位损失值对图像块进行编码并且从编码的图像块对图像块进行重建/解码可以导致视觉上无损的图像块的生成。
图4A和4B共同描绘了图示根据本公开实施例的用于基于对图像块的像素域预处理操作进行图像块编码的示例性操作的流程图。参考图4，示出了流程图400。结合例如图1、2、3A和3B来描述流程图400。在EBC电路系统108处实现的操作开始于402并且前进到404。
在404处，可以从服务器、外部设备或图像传感器104接收输入图像帧。EBC电路系统108可以被配置为从服务器、外部设备或图像传感器104接收输入图像帧。例如，输入图像帧可以是视频的图像帧。在某些场景中，输入图像帧可以是由与媒体设备102相关联的图像捕获设备捕获的图像。
在406处，可以存储输入图像帧。片上存储器204或外部存储器110可以被配置为存储输入图像帧，如图1中所讨论的。
在408处，输入图像帧可以被分区为多个图像块，每个图像块包括多个像素值。EBC电路系统108可以被配置为将输入图像帧分区为多个图像块，如图1中讨论的。
在410处，可以存储多个图像块中的第一图像块。片上存储器204或外部存储器110可以被配置为存储多个图像块中的第一图像块。
在412处，可以在预处理操作中基于残差预测方案对第一图像块的按行应用而生成第一预测块。编码器电路系统206可以被配置为基于残差预测方案对第一图像块的按行应用而在预处理操作中生成预处理操作中的第一预测块。
在414处，可以在预处理操作中基于残差预测方案对第一图像块的按列应用而生成第二预测块。编码器电路系统206可以被配置为基于残差预测方案对第一图像块的按列应用而在预处理操作中生成预处理操作中的第二预测块。
在416处，可以在像素域中根据按行残差值的第一预测块计算第一SAD并且根据按列残差值的第二预测块计算第二SAD。编码器电路系统206可以被配置为在像素域中从按行残差值的第一预测块计算第一SAD并且从按列残差值的第二预测块计算第二SAD。
在418处，可以基于计算出的第一SAD和计算出的第二SAD为第一编码模式和第二编码模式中的每一个从残差预测类型集合中选择残差预测类型作为最优残差预测类型。编码器电路系统206可以被配置为基于计算出的第一SAD和计算出的第二SAD从残差预测类型集合中选择残差预测类型作为针对第一编码模式和第二编码模式中的每一个的最优残差预测类型。最优残差预测类型可以与残差预测方案的参数对应，该参数可以导致编码的图像块的位流的最小位损失值，并且从这种位流解码的图像块在视觉上可以是无损的，并且压缩伪像的影响最小。
在420处，可以基于计算出的第一SAD和计算出的第二SAD为第一编码模式和第二编码模式中的每一个选择量化参数集合作为最优量化参数。编码器电路系统206可以被配置为基于计算出的第一SAD和计算出的第二SAD选择量化参数集合作为针对第一编码模式和第二编码模式中的每一个的最优量化参数。
在422处，可以基于为第一编码模式和第二编码模式中的每一个所选择的残差预测类型和所选择的量化参数集合在第一编码模式和第二编码模式下生成编码的第一图像块的位流集合。编码器电路系统206可以被配置为基于为第一编码模式和第二编码模式中的每一个所选择的残差预测类型和所选择的量化参数集合在第一编码模式和第二编码模式下生成编码的第一图像块的位流集合。
在424处，可以根据编码的第一图像块的位流来计算针对第一编码模式的第一位损失值集合和针对第二编码模式的第二位损失值集合。编码器电路系统206可以被配置为根据编码的第一图像块的位流来计算针对第一编码模式的第一位损失值集合和针对第二编码模式的第二位损失值集合。
在426处，可以基于计算出的第一位损失值集合和第二位损失值集合来选择第一编码模式或第二编码模式之一作为用于第一图像块的最佳编码模式。编码器电路系统206可以被配置为基于计算出的第一位损失值集合和第二位损失值集合来选择第一编码模式或第二编码模式之一作为用于第一图像块的最佳编码模式。
在428处，可以通过在所选择的最优编码模式下应用顺序编码方案来对第一图像块进行编码，以获得编码的第一图像块的位流。编码器电路系统206可以被配置为通过应用所选择的最优编码模式下的顺序编码方案来对第一图像块进行编码，以获得编码的第一图像块的位流。控制结束。
本公开的各种实施例可以提供非暂态计算机可读介质和/或存储介质，和/或非暂态机器可读介质和/或存储介质，其上存储有具有机器和/或计算机可执行的用于压缩数字图像数据的至少一个代码段的机器代码和/或计算机程序。至少一个代码段可以使机器和/或计算机执行包括存储输入图像帧的多个图像块中的第一图像块的步骤。在像素域中，从按行残差值的第一预测块计算第一绝对差之和(SAD)，并且从按列残差值的第二预测块计算第二SAD。第一预测块和第二预测块可以与第一图像块对应。为第一编码模式和第二编码模式中的每一个从残差预测类型集合中选择残差预测类型作为最优残差预测类型。可以基于计算出的第一SAD和计算出的第二SAD来选择残差预测类型。在一些实施例中，残差预测类型集合可以包括仅DC的DPCM类型和全频DPCM类型。而且，为第一编码模式和第二编码模式中的每一个选择量化参数集合作为最优量化参数。可以基于计算出的第一SAD和计算出的第二SAD来选择用于第一编码模式和第二编码模式中的每一个的量化参数集合。分别在第一编码模式和第二编码模式下生成编码的第一图像块的位流集合。可以基于针对第一编码模式和第二编码模式所选择的残差预测类型和所选择的量化参数集合来生成位流集合。
本公开的某些实施例可以在嵌入式编解码器(EBC)电路系统中找到。本公开的各种实施例可以提供EBC电路系统，该EBC电路系统可以包括存储器和通信地耦合到该存储器的编码器电路系统。存储器可以被配置为存储输入图像帧的多个图像块中的第一图像块。编码器电路系统可以被配置为在像素域中从按行残差值的第一预测块计算第一绝对差之和(SAD)以及从按列残差值的第二预测块计算第二SAD。第一预测块和第二预测块可以与第一图像块对应。编码器电路系统还可以被配置为为第一编码模式和第二编码模式中的每一个从残差预测类型集合中选择残差预测类型作为最优残差预测类型。可以基于计算出的第一SAD和计算出的第二SAD来选择残差预测类型。在一些实施例中，残差预测类型集合可以包括仅DC的DPCM类型和全频DPCM类型。而且，编码器电路系统可以被配置为为第一编码模式和第二编码模式中的每一个进一步选择量化参数集合作为最优量化参数。可以基于计算出的第一SAD和计算出的第二SAD来选择用于第一编码模式和第二编码模式中的每一个的量化参数集合。编码器电路系统可以被配置为分别在第一编码模式和第二编码模式下生成编码的第一图像块的位流集合。可以基于针对第一编码模式和第二编码模式所选择的残差预测类型和所选择的量化参数集合来生成位流集合。
根据实施例，编码器电路系统还可以被配置为将输入图像帧分区为多个图像块。每个图像块可以包括多个像素值。根据实施例，第一SAD和第二SAD的计算以及残差预测类型和量化参数集合的选择与在变换域中对第一图像块应用顺序编码方案之前的预处理操作对应，所述预处理操作与像素域中的第一图像块相关联。
根据实施例，编码器电路系统还可以被配置为在预处理操作中基于残差预测方案对第一图像块的按行应用来生成第一预测块。编码器电路系统还可以被配置为在预处理操作中基于残差预测方案对第一图像块的按列应用来生成第二预测块。残差预测方案可以是至少以下之一：差分脉冲编码调制(DPCM)方案、自适应DPCM方案或PCM方案。根据实施例，第一预测块可以与残差像素值的水平DPCM块对应，并且第二预测块可以与残差像素值的垂直DPCM块对应。
根据实施例，编码器电路系统还可以被配置为针对第一编码模式检查计算出的第一SAD是否大于或等于计算出的第二SAD。当计算出的第一SAD大于或等于计算出的第二SAD时，残差预测类型可以是全频DPCM类型。当计算出的第一SAD小于计算出的第二SAD时，残差预测类型可以是仅DC的DPCM类型。
根据实施例，第一图像块可以被表示为YCbCr颜色空间中的至少亮度块和一对色度块。编码器电路系统还可以被配置为根据用于亮度块和色度块对的具体位深度来确定用于亮度块和色度块对的偏移量参数。编码器电路系统还可以被配置为针对第二编码模式检查计算出的第一SAD是否小于或等于计算出的第二SAD和所确定的偏移量参数之和。当计算出的第一SAD小于或等于该和时，残差预测类型可以是全频DPCM类型。否则，当计算出的第一SAD大于该和时，残差预测类型可以是仅DC的DPCM类型。
根据实施例，编码器电路系统还可以被配置为基于计算出的第一SAD与计算出的第二SAD的比较来确定最小SAD值。此后，可以检查所确定的最小SAD值是否小于阈值。用于第一编码模式和第二编码模式中的每一个的量化参数集合的选择可以基于该检查。
根据实施例，编码器电路系统还可以被配置为在预处理操作之后对第一图像块应用第一顺序编码方案，以根据编码的第一图像块的位流集合在第一编码模式下生成第一位流。可以基于针对第一编码模式所选择的残差预测类型和所选择的量化参数集合来生成第一位流。根据实施例，第一顺序编码方案可以包括第一类型的前向变换、量化、残差预测和熵编码方案的顺序应用。第一类型的前向变换可以是1D行DCT。
根据实施例，编码器电路系统还可以被配置为在预处理操作之后对第一图像块应用第二顺序编码方案，以根据编码的第一图像块的位流集合在第二编码模式下生成第二位流。可以基于针对第二编码模式所选择的残差预测类型和所选择的量化参数集合来生成第二位流。第二顺序编码方案可以包括第二类型的前向变换、量化、残差预测和熵编码方案的顺序应用。第二类型的前向变换可以是1D列DCT。
根据实施例，编码器电路系统还可以被配置为根据编码的第一图像块的位流集合为第一编码模式计算第一位损失值集合并且为第二编码模式计算第二位损失值集合。此后，第一编码模式或第二编码模式之一可以被编码器电路系统选作用于第一图像块的最佳编码模式。可以基于计算出的第一位损失值集合和计算出的第二位损失值集合来进行选择。
可以用硬件或硬件和软件的组合来实现本公开。本公开可以以集中方式、以至少一个计算机系统或以分布式方式实现，其中不同元件可以分布在若干互连计算机系统上。适于执行本文描述的方法的计算机系统或其它装置可以是适合的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，该计算机程序在被加载和执行时可以控制计算机系统，使得它执行本文描述的方法。本公开可以以包括还执行其它功能的集成电路系统的一部分的硬件来实现。
本公开还可以嵌入在计算机程序产品中，其中计算机程序产品包括使得能够实现本文所述的方法的所有特征，并且当其被加载到计算机系统中时能够执行这些方法。
虽然已经参考某些实施例对本公开进行了描述，但是本领域技术人员将理解的是，在不背离本公开的范围的情况下，可以进行各种改变并且等价物可以被替换。此外，在不背离其范围的情况下，可以进行许多修改以使特定的情形或材料适于本公开的教导。因此，本公开不是要限于所公开的特定实施例，而是本公开将包括属于所附权利要求的范围内的所有实施例。

Claims (24)

1.一种嵌入式编解码器EBC电路系统，包括：
存储器，用于存储输入图像帧的多个图像块中的第一图像块；以及
编码器电路系统，其中所述编码器电路系统被配置为：
在像素域中从按行残差值的第一预测块计算第一绝对差之和SAD以及从按列残差值的第二预测块计算第二SAD，其中第一预测块和第二预测块与第一图像块对应；
基于计算出的第一SAD和计算出的第二SAD，为第一编码模式和第二编码模式中的每一个从残差预测类型集合中选择残差预测类型作为最优残差预测类型；
基于计算出的第一SAD和计算出的第二SAD，为第一编码模式和第二编码模式中的每一个选择量化参数集合作为最优量化参数；以及
基于针对第一编码模式和第二编码模式所选择的残差预测类型和所选择的量化参数集合，在第一编码模式和第二编码模式下生成编码的第一图像块的位流集合。
2.如权利要求1所述的EBC电路系统，其中所述编码器电路系统还被配置为将输入图像帧分区为所述多个图像块，其中每个图像块包括多个像素值。
3.如权利要求1所述的EBC电路系统，其中，在变换域中对第一图像块应用顺序编码方案之前，第一SAD和第二SAD的计算以及残差预测类型和量化参数集合的选择与在像素域中与第一图像块相关联的预处理操作对应。
4.如权利要求1所述的EBC电路系统，其中所述编码器电路系统还被配置为在预处理操作中基于残差预测方案对第一图像块的按行应用来生成第一预测块。
5.如权利要求4所述的EBC电路系统，其中所述编码器电路系统还被配置为在预处理操作中基于残差预测方案对第一图像块的按列应用来生成第二预测块。
6.如权利要求5所述的EBC电路系统，其中所述残差预测方案是至少以下之一：差分脉冲编码调制DPCM方案、自适应DPCM方案或PCM方案。
7.如权利要求1所述的EBC电路系统，其中第一预测块与残差像素值的水平DPCM块对应，并且第二预测块与残差像素值的垂直DPCM块对应。
8.如权利要求1所述的EBC电路系统，其中编码器电路系统还被配置为针对第一编码模式检查计算出的第一SAD是否大于或等于计算出的第二SAD。
9.如权利要求8所述的EBC电路系统，其中，当计算出的第一SAD大于或等于计算出的第二SAD时，残差预测类型是全频DPCM类型。
10.如权利要求8所述的EBC电路系统，其中，当计算出的第一SAD小于计算出的第二SAD时，残差预测类型是仅直流DC的DPCM类型。
11.如权利要求1所述的EBC电路系统，其中残差预测类型集合包括仅DC的DPCM类型和全频DPCM类型。
12.如权利要求1所述的EBC电路系统，其中第一图像块被表示为YCbCr颜色空间中的至少亮度块和一对色度块。
13.如权利要求12所述的EBC电路系统，其中所述编码器电路系统还被配置为根据用于该亮度块和该对色度块的具体位深度来确定用于该亮度块和该对色度块的偏移量参数。
14.如权利要求13所述的EBC电路系统，其中所述编码器电路系统还被配置为针对第二编码模式检查计算出的第一SAD是否小于或等于计算出的第二SAD和所确定的偏移量参数之和。
15.如权利要求14所述的EBC电路系统，其中，当计算出的第一SAD小于或等于所述和时，残差预测类型是全频DPCM类型。
16.如权利要求14所述的EBC电路系统，其中，当计算出的第一SAD大于所述和时，残差预测类型是仅DC的DPCM类型。
17.如权利要求1所述的EBC电路系统，其中所述编码器电路系统还被配置为：
基于计算出的第一SAD与计算出的第二SAD的比较来确定最小SAD值；以及
检查所确定的最小SAD值是否小于阈值。
18.如权利要求17所述的EBC电路系统，其中用于第一编码模式和第二编码模式中的每一个的量化参数集合的选择基于所述检查。
19.如权利要求1所述的EBC电路系统，其中所述编码器电路系统还被配置为在预处理操作之后对第一图像块应用第一顺序编码方案，以根据编码的第一图像块的位流集合在第一编码模式下生成第一位流，其中第一位流是基于针对第一编码模式所选择的残差预测类型和所选择的量化参数集合而生成的。
20.如权利要求19所述的EBC电路系统，其中第一顺序编码方案包括第一类型的前向变换、量化、残差预测和熵编码方案的顺序应用，并且其中第一类型的前向变换是一维行离散余弦变换，即1D行DCT。
21.如权利要求1所述的EBC电路系统，其中编码器电路系统还被配置为在预处理操作之后对第一图像块应用第二顺序编码方案，以根据编码的第一图像块的位流集合在第二编码模式下生成第二位流，其中第二位流是基于针对第二编码模式所选择的残差预测类型和所选择的量化参数集合而生成的。
22.如权利要求21所述的EBC电路系统，其中第二顺序编码方案包括第二类型的前向变换、量化、残差预测和熵编码方案的顺序应用，并且其中第二类型的前向变换是1D列DCT。
23.如权利要求1所述的EBC电路系统，其中所述编码器电路系统还被配置为：
根据编码的第一图像块的位流集合为第一编码模式计算第一位损失值集合并且为第二编码模式计算第二位损失值集合；以及
基于计算出的第一位损失值集合和计算出的第二位损失值集合，选择第一编码模式或第二编码模式之一作为用于第一图像块的最佳编码模式。
24.一种在包括存储器和编码器电路系统的嵌入式编解码器EBC电路系统中实现的方法，所述方法包括：
由存储器存储输入图像帧的多个图像块中的第一图像块；以及
由所述编码器电路系统在像素域中从按行残差值的第一预测块计算第一绝对差之和SAD以及从按列残差值的第二预测块计算第二SAD，其中第一预测块和第二预测块与第一图像块对应；
由所述编码器电路系统基于计算出的第一SAD和计算出的第二SAD为第一编码模式和第二编码模式中的每一个从残差预测类型集合中选择残差预测类型作为最优残差预测类型；
由所述编码器电路系统基于计算出的第一SAD和计算出的第二SAD为第一编码模式和第二编码模式中的每一个选择量化参数集合作为最优量化参数；以及
由所述编码器电路系统基于针对第一编码模式和第二编码模式所选择的残差预测类型和所选择的量化参数集合在第一编码模式和第二编码模式下生成编码的第一图像块的位流集合。
CN201911020131.5A 2019-01-29 2019-10-25 基于对图像块的像素域预处理操作的图像块编码 Active CN111491163B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/260,193 US10893272B2 (en) 2019-01-29 2019-01-29 Image block coding based on pixel-domain pre-processing operations on image block
US16/260,193 2019-01-29

Publications (2)

Publication Number Publication Date
CN111491163A CN111491163A (zh) 2020-08-04
CN111491163B true CN111491163B (zh) 2022-10-28

Family

ID=71733625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911020131.5A Active CN111491163B (zh) 2019-01-29 2019-10-25 基于对图像块的像素域预处理操作的图像块编码

Country Status (4)

Country Link
US (1) US10893272B2 (zh)
JP (1) JP6868793B2 (zh)
KR (1) KR102267792B1 (zh)
CN (1) CN111491163B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117769834A (zh) * 2021-07-27 2024-03-26 北京达佳互联信息技术有限公司 跨分量样点自适应偏移中的编解码增强
KR20240042646A (ko) * 2021-09-08 2024-04-02 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 교차-컴포넌트 샘플 적응적 오프셋에서의 코딩 강화

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087427A (zh) * 2006-06-06 2007-12-12 北京大学深圳研究生院 一种h.264标准的帧内预测模式选择方法
CN101895756A (zh) * 2010-07-15 2010-11-24 北京大学 视频图像块的编码、解码、重构方法及系统
WO2011031692A2 (en) * 2009-09-10 2011-03-17 Dolby Laboratories Licensing Corporation Speedup techniques for rate distortion optimized quantization
CN103024383A (zh) * 2012-12-14 2013-04-03 北京工业大学 一种基于hevc框架的帧内无损压缩编码方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3211989B2 (ja) * 1992-08-31 2001-09-25 日本ビクター株式会社 直交変換符号化装置及び復号化装置
US6192081B1 (en) 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
JP3624581B2 (ja) 1996-10-28 2005-03-02 ソニー株式会社 映像信号の圧縮装置
US7436890B2 (en) 2002-06-05 2008-10-14 Kddi R&D Laboratories, Inc. Quantization control system for video coding
KR100871588B1 (ko) * 2007-06-25 2008-12-02 한국산업기술대학교산학협력단 인트라 부호화 장치 및 그 방법
US20120195364A1 (en) 2011-01-31 2012-08-02 Apple Inc. Dynamic mode search order control for a video encoder
JP2012169762A (ja) * 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像復号化装置およびその方法とプログラム
US9521410B2 (en) 2012-04-26 2016-12-13 Qualcomm Incorporated Quantization parameter (QP) coding in video coding
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
US9161040B2 (en) * 2014-01-10 2015-10-13 Sony Corporation Adaptive block partitioning with shared bit-budget
EP3107298A4 (en) * 2014-03-14 2017-10-11 Samsung Electronics Co., Ltd. Image encoding method for sample value compensation and apparatus therefor, and image decoding method for sample value compensation and apparatus therefor
US10284849B2 (en) * 2015-04-13 2019-05-07 Qualcomm Incorporated Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
US9955186B2 (en) * 2016-01-11 2018-04-24 Qualcomm Incorporated Block size decision for video coding
US10595033B2 (en) * 2017-02-15 2020-03-17 Sony Corporation Variable length coding of header data for image compression
US10750175B2 (en) * 2017-05-04 2020-08-18 Sony Corporation Quantization partitioning for enhanced image compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087427A (zh) * 2006-06-06 2007-12-12 北京大学深圳研究生院 一种h.264标准的帧内预测模式选择方法
WO2011031692A2 (en) * 2009-09-10 2011-03-17 Dolby Laboratories Licensing Corporation Speedup techniques for rate distortion optimized quantization
CN101895756A (zh) * 2010-07-15 2010-11-24 北京大学 视频图像块的编码、解码、重构方法及系统
CN103024383A (zh) * 2012-12-14 2013-04-03 北京工业大学 一种基于hevc框架的帧内无损压缩编码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Inter-Prediction Residual DPCM;Matteo Naccari等;《JCTVC-M0442》;20130421;全文 *
基于H. 264/AVC的快速编码模式选择算法研究;余四洋;《中国优秀硕士学位论文全文数据库》;20121231;全文 *

Also Published As

Publication number Publication date
CN111491163A (zh) 2020-08-04
JP2020123947A (ja) 2020-08-13
KR20200094071A (ko) 2020-08-06
JP6868793B2 (ja) 2021-05-12
US20200244960A1 (en) 2020-07-30
US10893272B2 (en) 2021-01-12
KR102267792B1 (ko) 2021-06-24

Similar Documents

Publication Publication Date Title
CN113545064B (zh) 用于处理视频内容的方法和装置及计算机可读存储介质
JP5777080B2 (ja) 合成ビデオのためのロスレス・コード化および関連するシグナリング方法
JP4895400B2 (ja) 画像フレームの非フレームエッジブロックの表現における改良された圧縮
US10645386B1 (en) Embedded codec circuitry for multiple reconstruction points based quantization
US20190068981A1 (en) Storing and retrieving lossy-compressed high bit depth image data
JP7195348B2 (ja) ビデオコーディングにおけるフィルタリングのための装置および方法
CN111491163B (zh) 基于对图像块的像素域预处理操作的图像块编码
JP2022549773A (ja) 映像データの可逆符号化
WO2011028735A2 (en) Vector embedded graphics coding
CN115836525A (zh) 用于从多个交叉分量进行预测的方法和系统
US10728557B2 (en) Embedded codec circuitry for sub-block based entropy coding of quantized-transformed residual levels
US10798419B2 (en) Embedded codec circuitry for sub-block based encoding of quantized prediction residual levels
CN111541895B (zh) 用于残差电平数据的位置相关熵编码的嵌入式编解码器（ebc）电路系统
JP6860053B2 (ja) サブブロックに基づく精緻化ビット割り当てのための埋め込みコーデック回路
US10931954B2 (en) Image coding modes selection for an embedded codec circuitry
JP2020127188A5 (zh)
US10652543B2 (en) Embedded codec circuitry and method for frequency-dependent coding of transform coefficients
US10778990B2 (en) Embedded codec circuitry for randomized refinement of uncoded-bits
US9013595B1 (en) Digital video camera with internal data sample compression
WO2022213122A1 (en) State transition for trellis quantization in video coding
WO2022217245A1 (en) Remaining level binarization for video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant