CN110087072A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN110087072A
CN110087072A CN201910072938.7A CN201910072938A CN110087072A CN 110087072 A CN110087072 A CN 110087072A CN 201910072938 A CN201910072938 A CN 201910072938A CN 110087072 A CN110087072 A CN 110087072A
Authority
CN
China
Prior art keywords
data
compression
image data
mode
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910072938.7A
Other languages
English (en)
Other versions
CN110087072B (zh
Inventor
全圣浩
朴昶洙
宋纹圭
李庆九
李佶桓
张爀在
郑暻娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180041790A external-priority patent/KR102465206B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110087072A publication Critical patent/CN110087072A/zh
Application granted granted Critical
Publication of CN110087072B publication Critical patent/CN110087072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种图像处理装置。所述图像处理装置包括：编码电路，被配置为：将第一图像数据压缩为包括预测数据和残差数据的第二图像数据，通过对第二图像数据执行熵编码将第二图像数据压缩为第三图像数据，生成表示第三图像数据的压缩率的头，并将第三图像数据与头一起存储在存储器装置中作为压缩的第一图像数据。

Description

图像处理装置
本申请要求于2018年1月26日提交到韩国知识产权局的第10-2018-0010183号韩国专利申请、于2018年2月8日提交到韩国知识产权局的第10-2018-0015932号韩国专利申请以及于2018年4月10日提交到韩国知识产权局的第10-2018-0041790号韩国专利申请的权益和优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
本公开涉及一种图像处理装置。
背景技术
越来越多的应用需要高分辨率视频图像和高帧率图像。因此，通过图像处理装置的各种多媒体知识产权(IP)块对存储这些图像的存储器进行访问的数据量(即，带宽)已经大大增加。
每个图像处理装置具有有限的处理能力。当带宽增加时，图像处理装置的处理能力可能达到这个限制。因此，图像处理装置的用户在记录或播放视频图像时，可能经历速度的下降。
发明内容
本发明构思的至少一个实施例提供一种具有提高的处理速度的图像处理装置。
根据本发明构思的示例性实施例，提供一种被配置为压缩第一图像数据的图像处理装置。所述图像处理装置包括：编码电路，被配置为：将第一图像数据压缩为包括预测数据和残差数据的第二图像数据，通过对第二图像数据执行熵编码将第二图像数据压缩为第三图像数据，生成表示第三图像数据的压缩率的头，并将第三图像数据与头一起存储在存储器装置中作为压缩的第一图像数据。
根据本发明构思的示例性实施例，提供一种被配置为压缩第一图像数据的图像处理装置。所述图像处理装置包括：编码电路，编码电路具有：模式选择电路，被配置为基于接收到的信号确定第一模式被设置为无损压缩模式还是有损压缩模式；第一逻辑电路，被配置为将第一图像数据压缩为包括预测数据和残差数据的第二图像数据；第二逻辑电路，被配置为使用至少一个量化参数(QP)量化第二图像数据；第三逻辑电路，被配置为对以下项中的一个执行熵编码：i)当第一模式被设置为无损压缩模式时的第一逻辑电路的输出；ii)当第一模式被设置为有损压缩模式时的第二逻辑电路的输出。
根据本发明构思的示例性实施例，提供一种被配置为解压缩第一压缩图像数据的图像处理装置。所述图像处理装置包括：模式选择电路，被配置为当第一压缩图像数据以无损方式被压缩时将第一模式设置为无损解压缩，并且当第一压缩图像数据以有损方式被压缩时将第一模式设置为有损解压缩；第一逻辑电路，对第一压缩图像数据执行熵解码；第二逻辑电路，当第一模式设置为有损解压缩时对第一逻辑电路的输出执行逆量化；以及第三逻辑电路，被配置为：当第一模式被设置为无损解压缩时通过将在第一逻辑电路的输出中接收到的残差数据与预测数据相加来执行解压缩，并且当第一种模式被设置为有损解压缩时通过将在第二逻辑电路的输出中接收到的残差数据与预测数据相加来执行解压缩。
附图说明
通过参照附图对本发明的示例性实施例进行详细描述，本发明将变得清楚，其中：
图1是根据本发明构思的示例性实施例的图像处理装置的框图；
图2是图1中所示的帧缓冲压缩器(FBC)的详细框图；
图3是图2中所示的编码器的详细框图；
图4是图2中所示的解码器的详细框图；
图5是用于解释根据本发明构思的示例性实施例的图像处理装置的YUV420格式数据的三种操作模式的概念图；
图6是用于解释根据本发明构思的示例性实施例的图像处理装置的YUV422格式数据的三种操作模式的概念图；
图7示出根据本发明构思的示例性实施例的由图像处理装置无损压缩的数据的结构；
图8是用于解释图7的无损压缩数据的压缩方法的表；
图9示出根据本发明构思的示例性实施例的由图像处理装置无损压缩的数据的结构；
图10是用于解释图9的无损压缩数据的压缩方法的表；
图11示出根据本发明构思的示例性实施例的由图像处理装置无损压缩的数据的结构；
图12示出根据本发明构思的示例性实施例的由图像处理装置有损压缩的数据的结构；
图13示出根据本发明构思的示例性实施例的由图像处理装置有损压缩的数据的结构；
图14示出根据本发明构思的示例性实施例的由图像处理装置有损压缩的数据的结构；
图15示出根据本发明构思的示例性实施例的由图像处理装置有损压缩的数据的结构；
图16是根据本发明构思的示例性实施例的图像处理装置的框图；
图17是根据本发明构思的示例性实施例的图像处理装置的框图。
具体实施方式
现在将参照图1至图17描述根据本发明构思的示例性实施例的图像处理装置。
图1是根据本发明构思的至少一个实施例的图像处理装置的框图。
参照图1，根据本发明构思的至少一个实施例的图像处理装置包括多媒体知识产权(IP)100(例如，IP核、IP块、电路等)、帧缓冲压缩器(FBC)200(例如，电路、数字信号处理器等)、存储器300和系统总线400。
在示例性实施例中，多媒体IP 100是直接执行图像处理装置的图像处理的图像处理装置的部分。多媒体IP 100可包括用于执行图像记录和再现(诸如，视频图像的摄录、回放等)的多个模块。
多媒体IP 100从外部装置(诸如，相机)接收第一数据(例如，图像数据)，并将第一数据转换为第二数据。例如，第一数据可以是原始运动图像数据或原始静态图像数据。第二数据可以是由多媒体IP 100生成的数据，并且还可包括从多媒体IP 100处理第一数据得到的数据。多媒体IP 100可将第二数据重复地存储在存储器300中，并通过各种步骤更新第二数据。第二数据可包括这些步骤中使用的所有数据。第二数据可以以第三数据的形式存储在存储器300中。因此，第二数据可以是被存储在存储器300中之前的数据，或者是从存储器300被读取之后的数据。
在示例性实施例中，多媒体IP 100包括图像信号处理器(ISP)110、抖动校正模块(G2D)120、多格式编解码器(MFC)130、图形处理器(GPU)140和显示器150。然而，本发明构思不限于这种情况。也就是说，多媒体IP100可包括上述的ISP 110、G2D 120、MFC 130、GPU140和显示器150中的至少一个。换句话说，多媒体IP 100可由必须访问存储器300以处理表示运动图像或静态图像的数据的处理模块来实现。
ISP 110接收第一数据，并通过预处理第一数据将第一数据转换为第二数据。这里，第一数据可以是RGB格式的图像源数据。例如，ISP 110可将RGB格式的第一数据转换为YUV格式的第二数据。
RGB格式指的是基于光的三原色表示颜色的数据格式。也就是说，使用三种颜色(即，红色，绿色和蓝色)来表示图像。另一方面，YUV格式表示分离地表示亮度(即，亮度信号)和色度(即，色度信号)的数据格式。也就是说，Y表示亮度信号，U(Cb)和V(Cr)分别表示色度信号。U表示亮度信号与蓝色信号分量之间的差异，V表示亮度信号与红色信号分量之间的差异。这里，项Y、U(Cb)和V(Cr)可定义为平面。例如，关于亮度信号的数据可被称为Y平面的数据，关于色度信号的数据可被称为U(Cb)平面的数据或V(Cr)平面的数据。
可通过使用转换公式转换RGB格式的数据，来获得YUV格式的数据。例如，可使用诸如Y＝0.3R+0.59G+0.11B，U＝(B－Y)×0.493，V＝(R－Y)×0.877的转换公式将RGB格式的数据转换为YUV格式的数据。
由于人眼对亮度信号敏感，但对颜色信号不太敏感，因此，压缩YUV格式的数据可比压缩RGB格式的数据更容易。因此，ISP 110可将RGB格式的第一数据转换为YUV格式的第二数据。
在ISP 110将第一数据转换为第二数据之后，ISP 110将第二数据存储在存储器300中。
G2D 120可执行静态图像数据或运动图像数据的抖动校正。G2D 120可读取存储在存储器300中的第二数据或第一数据以执行抖动校正。这里，抖动校正表示检测运动图像数据中的相机的抖动并去除抖动。
G2D 120可通过校正第一数据或第二数据中的抖动来生成新的第二数据或更新第二数据，并且可将新的或更新的第二数据存储在存储器300中。
MFC 130可以是用于压缩运动图像数据的编解码器。通常，运动图像数据的尺寸非常大。因此，需要用于减小运动图像数据的尺寸的压缩模块。可基于多个帧之间的关联关系来压缩运动图像数据，并且该压缩可由MFC 130执行。MFC 130可读取并压缩第一数据，或者可读取并压缩存储在存储器300中的第二数据。
MFC 130可通过压缩第一数据或第二数据来生成新的第二数据或更新第二数据，并将新的第二数据或更新的第二数据存储在存储器300中。
GPU 140可执行算术处理以计算并生成二维或三维图形。GPU 140可对第一数据或存储在存储器300中的第二数据执行算术处理。GPU 140可专门处理图形数据并且可并行处理图形数据。
GPU 140可通过压缩第一数据或第二数据来生成新的第二数据或更新第二数据，并将新的第二数据或更新的第二数据存储在存储器300中。
显示器150可将存储在存储器300中的第二数据显示在屏幕上。显示器150可将图像数据(即，由多媒体IP 100的其他元件(即，ISP 110、G2D 120、MFC 130和GPU 140)处理的第二数据)显示在屏幕上。然而，本发明构思不限于这种情况。
多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150中的每个可单独操作。也就是说，ISP 110、G2D 120、MFC 130、GPU 140和显示器150中的每个可单独地访问存储器300以写入或读取数据。
在一个实施例中，在多媒体IP 100的元件单独地访问存储器300之前，FBC 200通过压缩第二数据将第二数据转换为第三数据。FBC 200可将第三数据发送到多媒体IP 100，多媒体IP 100可将第三数据发送到存储器300。
因此，由FBC 200生成的第三数据可被存储在存储器300中。相反地，存储在存储器300中的第三数据可被多媒体IP 100加载并发送到FBC 200。FBC 200可通过对第三数据进行解压缩来将第三数据转换为第二数据。FBC200可将第二数据发送到多媒体IP 100。
也就是说，每当多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150单独地访问存储器300时，FBC 200可将第二数据压缩为第三数据并将第三数据发送到存储器300。例如，在多媒体IP 100的一个组件生成第二数据并将第二数据存储在存储器300中之后，帧缓冲压缩器200可压缩存储的数据并将压缩的数据存储到存储器300中。相反地，每当从多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150向存储器300做出数据请求时，FBC 200可将第三数据解压缩为第二数据并将第二数据发送到多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150中的每个。
存储器300可存储由FBC 200生成的第三数据，并将存储的第三数据提供给FBC200，使得FBC 200可对第三数据进行解压缩。
在一个实施例中，系统总线400连接到多媒体IP 100和存储器300中的每个。具体地讲，多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150可单独地连接到系统总线400。系统总线400可用作多媒体IP100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150与存储器300彼此交换数据的路径。
在一个实施例中，FBC 200未连接到系统总线400，并且当多媒体IP 100的ISP110、G2D 120、MFC 130、GPU 140和显示器150中的每个访问存储器300时，FBC 200将第二数据转换为第三数据或将第三数据转换为第二数据。
图2是图1中所示的FBC 200的详细框图。
参照图2，FBC 200包括编码器210(例如，编码电路)和解码器220(例如，解码电路)。
编码器210可从多媒体IP 100接收第二数据并生成第三数据。这里，可从多媒体IP100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150中的每个发送第二数据。可通过多媒体IP 100和系统总线400将第三数据发送到存储器300。
相反地，解码器220可将存储在存储器300中的第三数据解压缩为第二数据。第二数据可被发送到多媒体IP 100。这里，第二数据可被发送到多媒体IP 100的ISP 110、G2D120、MFC 130、GPU 140和显示器150中的每个。
图3是图2中所示的编码器210的详细框图。
参照图3，编码器210包括第一模式选择器219(例如，模式选择电路)、预测模块211(例如，逻辑电路或处理器)、量化模块213(例如，逻辑电路或处理器)、熵编码模块215(例如，逻辑电路或处理器)和填充(padding)模块217(例如，逻辑电路或处理器)。
在一个实施例中，第一模式选择器219确定编码器210将在无损模式(例如，无损压缩)还是有损模式(例如，有损压缩)下操作。当编码器210基于第一模式选择器219的确定结果在无损模式下操作时，第二数据可沿着图3的无损路径被压缩。当编码器210在有损模式下操作时，第二数据可沿着有损路径被压缩。
第一模式选择器219可从多媒体IP 100接收用于确定将执行无损压缩还是有损压缩的信号。这里，无损压缩表示不损失数据的压缩，并且具有根据数据而变化的压缩率。另一方面，有损压缩表示数据部分丢失的压缩。有损压缩具有比无损压缩更高的压缩率，并且具有预设的固定压缩率。
在无损模式的情况下，第一模式选择器219使第二数据沿着无损路径流向预测模块211、熵编码模块215和填充模块217。相反地，在有损模式的情况下，第一模式选择器219使第二数据沿着有损路径流向预测模块211、量化模块213和熵编码模块215。
预测模块211将第二数据转换为预测图像数据。预测图像数据是作为预测数据和残差数据(residual data)的组合的第二数据的压缩表示。在一个实施例中，预测数据是图像数据的一个像素的图像数据，并且从预测数据和与图像数据的所述一个像素邻近的像素的图像数据之间的差来创建残差数据。例如，如果所述一个像素的图像数据具有0至255的值，则可需要8比特来表示该值。当邻近像素具有与所述一个像素的值相似的值时，多个邻近像素中的每个邻近像素的残差数据远小于预测数据。例如，如果邻近像素具有相似的值，则在不损失数据的情况下，可仅表示所述一个像素的值与邻近像素的值的差(即，残差)，并且表示该差所需的数据的比特的数量可远小于8比特。例如，当具有值253、254和255的像素被连续布置时，如果预测数据是253，则残差数据表示(253(预测)、1(残差)、2(残差))可以是足够的，并且这个残差数据表示所需的每像素的比特的数量可以是远小于8比特的2比特。例如，由于8比特预测数据253(11111101)、2比特残差数据254-253＝1(01)以及2比特残差数据255-253＝2(10)，所以24比特的数据253、254和255可被减少到12比特。
因此，预测模块211可通过将第二数据划分为预测数据和残差数据来压缩第二数据的整体尺寸。各种方法可用于确定预测数据。
预测模块211可逐像素或逐块来执行预测。这里，块可以是由多个邻近像素形成的区域。例如，基于像素的预测可表示从多个像素中的一个像素创建所有的残差数据，基于块的预测可表示针对每个块从相应块的像素创建残差数据。
量化模块213可进一步压缩被预测模块211压缩的第二数据。量化模块213可使用预设的量化参数(QP)去除第二数据的较低的比特(例如，使用QP量化第二数据)。例如，如果预测数据是253(11111101)，则可通去除较低的2比特，将预测数据从8比特减少到6比特，其结果是252(111111)的预测数据。具体地讲，可通过将数据乘以QP来选择代表值，其中，小数点以下的数被丢弃，因此导致损失。如果像素数据具有0到28-1(＝255)的值，则QP可被定义为1/(2n-1)(其中，n是等于或小于8的正整数)。然而，当前实施例不限于这种情况。
这里，由于去除的较低的比特稍后不会被恢复，因此它们丢失。因此，量化模块213仅在有损模式下使用。有损模式可具有比无损模式的压缩率相对高的压缩率，并且可具有预设的固定压缩率。因此，稍后不需要关于压缩率的信息。
熵编码模块215可通过熵编码，来压缩在有损模式下由量化模块213压缩的第二数据或者在无损模式下由预测模块211压缩的第二数据。在熵编码中，可根据频率来分配比特的数量。
在一个实施例中，熵编码模块215使用霍夫曼编码(Huffman coding)来压缩第二数据。在可选的实施例中，熵编码模块215通过指数哥伦布编码(exponential Golombcoding)或哥伦布赖斯编码(Golomb rice coding)来压缩预测图像数据。在一个实施例中，熵编码模块215使用k值来生成表，并且使用生成的表来压缩预测图像数据。k值可以是在熵编码中使用的熵编码值。
填充模块217可对在无损模式下由熵编码模块215压缩的第二数据执行填充。这里，填充可表示添加无意义的数据以符合特定的尺寸。这将在后面更详细地描述。
填充模块217不仅可在无损模式下激活，而且可在有损模式下激活。在有损模式下，第二数据可由量化模块213以大于预期压缩率的压缩率来压缩。在这种情况下，即使在有损模式下，第二数据也可经过填充模块217，转换成第三数据，然后发送到存储器300。在示例性实施例中，省略填充模块217，从而不执行填充。
此外，编码器210还可包括压缩管理器218，并且压缩管理器218确定分别用于量化和熵编码的QP表和熵表的组合，并根据确定的QP表和熵表的组合来控制第二数据的压缩。
在这种情况下，第一模式选择器219确定编码器210将在有损模式下操作。因此，第二数据沿着图3的有损路径被压缩。也就是说，基于FBC 200使用有损压缩算法压缩第二数据的前提，压缩管理器218确定需要QP表和熵表的组合，并且根据确定的QP表和熵表的组合来压缩第二数据。
具体地讲，QP表可包括一个或多个条目，并且多个条目中的每个条目可包括用于量化第二数据的QP。
在一个实施例中，熵表指的是由k值标识的用于执行熵编码算法的多个码表。可在一些实施例中使用的熵表可包括指数哥伦布编码和哥伦布赖斯编码中的至少一个。
压缩管理器218确定包括预定数量的条目的QP表，并且FBC 200使用确定的QP表来量化预测的第二数据。此外，压缩管理器218使用预定数量的k值确定熵表，并且FBC 200使用确定的熵表对量化的第二数据执行熵编码。也就是说，FBC 200基于由压缩管理器218确定的QP表和熵表的组合来生成第三数据。
然后，FBC 200可将生成的第三数据写入存储器300。此外，FBC 200可从存储器300读取第三数据，对读取的第三数据进行解压缩，并将解压缩的第三数据提供给多媒体IP100。
图4是图2中所示的解码器220的详细框图。
参照图4，解码器220包括第二模式选择器229(例如，模式选择电路)、去填充模块227(例如，逻辑电路或处理器)、熵解码模块225(例如，逻辑电路)、逆量化模块223(例如，逻辑电路或处理器)和预测补偿模块221(例如，逻辑电路或处理器)。
第二模式选择器229确定存储在存储器300中的第三数据通过第二数据的无损压缩生成还是通过第二数据的有损压缩生成。在示例性实施例中，第二模式选择器229基于头的存在或不存在，确定第三数据通过在无损模式下压缩第二数据来生成还是通过在有损模式下压缩第二数据来生成。在一个实施例中，在第三数据包括至少一个量化参数时在有损模式下压缩第三数据，并且在第三数据不包括量化参数时在无损模式下压缩第三数据。在另一实施例中，压缩数据与指示数据以有损方式还是无损方式被压缩的标志一起存储。
如果第三数据通过在无损模式下压缩第二数据而生成，则第二模式选择器229使得第三数据沿着无损路径流向去填充模块227、熵解码模块225和预测补偿模块221。相反地，如果第三数据通过在有损模式下压缩第二数据而生成，则第二模式选择器229使得第三数据沿着有损路径流向熵解码模块225、逆量化模块223和预测补偿模块221。
去填充模块227可去除由编码器210的填充模块217填充的数据的一部分。当省略填充模块217时，可省略去填充模块227。
熵解码模块225可对由熵编码模块215压缩的数据进行解压缩。熵解码模块225可使用霍夫曼编码、指数哥伦布编码或哥伦布赖斯编码来执行解压缩。由于第三数据包括k值，因此，熵解码模块225可使用k值执行解码。
逆量化模块223可对由量化模块213压缩的数据进行解压缩。逆量化模块223可恢复量化模块213使用预定量化参数(QP)压缩的第二数据。例如，逆量化模块223可对熵解码模块225的输出执行逆量化操作。然而，逆量化模块223不能完全恢复在压缩过程中丢失的数据。因此，逆量化模块223仅在有损模式下操作。
预测补偿模块221可执行预测补偿以恢复通过预测模块211表示为预测数据和残差数据的数据。例如，预测补偿模块221可将残差数据表示(253(预测)、1(残差)和2(残差))转换为(253、254和255)。例如，预测补偿模块221可通过将残差数据与预测数据相加来恢复数据。
预测补偿模块221可恢复由预测模块211逐像素或逐块预测的数据。因此，第二数据可被恢复或者第三数据可被解压缩，然后被发送到多媒体IP 100。
此外，解码器220还可包括解压缩管理器228。在第三数据的解压缩中，解压缩管理器228可执行用于适当地反映QP表和熵表的组合的操作，其中，QP表和熵表的组合已经如上面参照图3描述由压缩管理器218确定以压缩第二数据。
在示例性实施例中，图像处理装置的第二数据是YUV格式的数据。这里，YUV格式的数据可具有YUV 420格式或YUV 422格式。
图5是用于解释根据本发明构思的示例性实施例的由图像处理装置处理的YUV420数据格式的三种操作模式的概念图。
参照图1至图5，FBC 200的编码器210和解码器220可具有三种操作模式。在图5中，YUV 420格式的第二数据具有16×16的亮度信号块Y、8×8的第一色度信号块Cb或U、以及8×8的第二色度信号块Cr或V。这里，每个块的尺寸表示布置了多少行和多少列的像素，16×16的尺寸表示由16行和16列的像素组成的块的尺寸。
FBC 200可包括三种操作模式：级联(concatenation)模式①、部分级联模式②和分离模式③。这三种模式与数据的压缩格式有关，并且可以是与有损模式和无损模式分开确定的操作模式。在示例性实施例中，三种操作模式中的仅两种操作模式是可用的。在另一示例性实施例中，三种操作模式中的仅一种操作模式是可用的。
级联模式①是用于将亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr一起压缩和解压缩的操作模式。也就是说，在级联模式①下，压缩的单位块是如图5中所示组合亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr的块。因此，压缩的单位块可具有16×24的尺寸。例如，单个压缩操作可用于压缩包括亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr的数据块。
在部分级联模式②下，第一色度信号块Cb和第二色度信号块Cr彼此组合，并被一起压缩和解压缩，亮度信号块Y被分离地压缩和解压缩。因此，亮度信号块Y可具有其原始尺寸16×16，第一色度信号块Cb和第二色度信号块Cr被组合的块可具有16×8的尺寸。例如，第一压缩操作可用于压缩亮度信号块Y，第二压缩操作可用于压缩包括第一色度信号块Cb和第二色度信号块Cr的数据块。
分离模式③是用于分离地压缩和解压缩亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr的操作模式。这里，为了使压缩和解压缩的单位块尺寸相等，亮度信号块Y保持在其原始尺寸16×16，并且第一色度信号块Cb和第二色度信号块Cr均被放大到16×16的尺寸。例如，第一压缩操作可用于压缩亮度信号块Y，第二压缩操作可用于压缩第一色度信号块Cb，第三压缩操作可用于压缩第二色度信号块Cr。
因此，如果亮度信号块Y的数量是N，则第一色度信号块Cb的数量和第二色度信号块Cr的数量均可被减少到N/4。
当根据本发明构思的示例性实施例的图像处理装置的FBC 200在级联模式①下操作时，可通过对存储器300的单次访问请求来读取所有需要的数据。具体地讲，当多媒体IP100需要RGB格式的数据而不是YUV格式的数据时，FBC 200在级联模式①下操作是有利的。这是因为在级联模式①下可一次获得所有的亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr，并且因为需要所有的亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr来获得RGB数据。
当压缩的单位块比在级联模式①下小时，分离模式③可能需要较少的硬件资源。因此，当多媒体IP 100需要YUV格式的数据而不是RGB格式的数据时，分离模式③会更有利。
最后，部分级联模式②是级联模式①与分离模式③之间的折衷。部分级联模式②比级联模式①需要更少的硬件资源，并且即使当需要RGB数据时，部分级联模式②也比分离模式③做出对存储器300更少的访问请求(两次访问请求)。
第一模式选择器219确定将在三种模式(即，级联模式①、部分级联模式②和分离模式③)中的哪一种模式下压缩第二数据。第一模式选择器219可从多媒体IP 100接收指示将执行级联模式①、部分级联模式②和分离模式③中的哪一种模式的信号。例如，信号可被设置为用于指示级联模式的第一电压电平、用于指示部分级联模式的第二电压电平、以及用于指示分离模式的第三电压电平，其中，第一电压电平至第三电压电平彼此不同。
第二模式选择器229可根据级联模式①、部分级联模式②和分离模式③中的哪一种模式将第二数据压缩为第三数据，来对第三数据进行解压缩。例如，如果使用级联模式压缩第二数据，则第二模式选择器229可进行单次访问以检索包括亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr的压缩数据。例如，如果使用部分级联模式压缩第二数据，则第二模式选择器229可进行两次访问以检索包括亮度信号块Y的第一压缩数据和包括第一色度信号块Cb和第二色度信号块Cr的第二压缩数据。例如，如果使用分离模式压缩第二数据，则第二模式选择器229可进行三次访问以检索包括亮度信号块Y的第一压缩数据、包括第一色度信号块Cb的第二压缩数据以及包括第二色度信号块Cr的第三压缩数据。
图6是用于解释根据本发明构思的示例性实施例的图像处理装置的YUV422数据格式的三种操作模式的概念图。
参照图1至图4和图6，FBC 200的编码器210和解码器220也可具有用于YUV 422格式的三种操作模式。在图6中，YUV 422格式的第二数据具有16×16的亮度信号块Y、16×8的第一色度信号块Cb或U以及16×8的第二色度信号块Cr或V。
在级联模式①下，压缩的单位块是亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr被组合的块。因此，压缩的单位块可具有16×32的尺寸。
在部分级联模式②下，第一色度信号块Cb和第二色度信号块Cr彼此组合，并被一起压缩和解压缩，亮度信号块Y被分离地压缩和解压缩。因此，亮度信号块Y可具有其原始尺寸16×16，并且第一色度信号块Cb和第二色度信号块Cr被组合的块可具有16×16的尺寸。因此，亮度信号块Y的尺寸可等于第一色度信号块Cb和第二色度信号块Cr被组合的块的尺寸。
分离模式③是用于分离地压缩和解压缩亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr的操作模式。这里，为了使压缩和解压缩的单位块尺寸相等，亮度信号块Y保持其原始尺寸16×16，并且第一色度信号块Cb和第二色度信号块Cr均被放大到尺寸16×16。
因此，如果亮度信号块Y的数量是N，则第一色度信号块Cb的数量和第二色度信号块Cr的数量均被减少到N/2。
图7示出根据本发明构思的示例性实施例的由图像处理装置无损压缩的数据的结构。图8是用于解释图7的无损压缩数据的压缩方法的表。
参照图1至图8，第三数据(即，压缩数据)包括有效载荷(payload)和头。
头指示压缩率，有效载荷包括实际压缩数据和解压缩所需的值。
在图8中，通过示例的方式示出用于解释16×16的块的无损压缩的表。由于数据格式是YUV 420并且操作模式是分离模式③，因此，图5的亮度信号块Y、第一色度信号块Cb或第二色度信号块Cr可对应于这个表。像素深度表示在一个像素中表示的值的比特值。例如，需要8比特的像素深度来表示0至255的值。因此，在图8的示例中，每个像素中表示的值可以是0至255。
在存储器300中，能够以硬件方式一次访问的数据的尺寸被预先确定。存储器300的数据访问单元的尺寸可表示可在存储器300中访问的数据的尺寸。在图8中，为方便起见，将假设存储器300的数据访问单元的尺寸是32字节。
一个像素可具有8比特(即，1字节)的数据，16×16的块可具有总共256字节的数据。也就是说，第二数据(即，未压缩数据)的尺寸可以是256字节。
在无损压缩的情况下，压缩数据的尺寸可每次不同。为了从存储器300读取压缩数据，压缩数据的尺寸必须分开记录。然而，如果按原样记录压缩数据的尺寸，则压缩效率会通过记录的尺寸而被降低。因此，压缩率可被标准化以提高压缩效率。
具体地讲，在图8中，压缩率的范围基于作为存储器300的数据访问单元的尺寸的32字节来定义。也就是说，如果压缩数据的尺寸是0至32字节，则压缩率是100％至87.5％。在这种情况下，将压缩率调节到87.5％的操作(即，将压缩数据的尺寸调节为32字节的操作)可被执行，并且0可被记录在头中。同样地，如果压缩数据的尺寸是161至192字节，则压缩率是37.5％至25％。在这种情况下，将压缩率调节为25％的操作(即，将压缩数据的尺寸调节为192字节的操作)可被执行，并且5可被记录在头中。
图3的填充模块217可执行将压缩数据的尺寸调节到相应范围的最大尺寸的操作。也就是说，如果压缩数据的尺寸是170字节，则由于170字节在161字节与192字节之间，因此添加22字节“0”的填充操作可被执行以将压缩数据的尺寸调节为192字节。
通过填充模块217将其尺寸调节到相应范围的最大尺寸的压缩数据可成为第三数据的有效载荷。因此，有效载荷的尺寸(n1比特)可以是存储器300的数据访问单元的尺寸的整数倍。
头可包括图8的头索引。头的尺寸可根据压缩数据的尺寸而变化，但是，因为头仅表示0至7，所以在图8的情况下头的尺寸可以是3比特。
在示例性实施例中，头和有效载荷被存储在存储器300的不同区域中。也就是说，头可与另一头邻近地存储，有效载荷可与另一有效载荷邻近地存储。
在一个实施例中，有效载荷包括二进制码和k值码。二进制码可表示压缩的第二数据。k值码可表示由熵编码模块215确定的k值。
二进制码可包括整个块的数据值。因此，二进制码可连续地包括包含在块中的每个像素的数据。
由于当前模式是分离模式③，因此，k值码是针对亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr中的任何一个的k值。
图9示出根据本发明构思的示例性实施例的由图像处理装置无损压缩的数据的结构。图10是用于解释图9的无损压缩数据的压缩方法的表。
在图10中，通过示例的方式示出用于解释16×8的块的无损压缩的表。由于数据格式是YUV 420并且操作模式是部分级联模式②，所以图5的第一色度信号块Cb和第二色度信号块Cr被组合的块可对应于这个表。在图10中，为方便起见，将假设存储器300的数据访问单元的尺寸是32字节。
16×8的块可具有总共128字节的数据。也就是说，第二数据的尺寸可以是128字节。
压缩率的范围基于作为存储器300的数据访问单元的尺寸的32字节来定义。也就是说，如果压缩数据的尺寸是0至32字节，则压缩率是100％至75％。在这种情况下，将压缩率调节到75％的操作(即，将压缩数据的尺寸调节为32字节的操作)可被执行，并且0可被记录在头中。同样地，如果压缩数据的尺寸是97至128字节，则压缩率是25％至0％。在这种情况下，将压缩率调节为0％的操作(即，将压缩数据的尺寸调节为128字节的操作)可被执行，并且3可被记录在头中。这个操作可由图3的填充模块217来执行。
参照图9，通过填充模块217将其尺寸调节到相应范围的最大尺寸的压缩数据可成为第三数据的有效载荷。因此，有效载荷的尺寸(n2比特)可以是存储器300的数据访问单元的尺寸的整数倍。
在一个实施例中，有效载荷包括二进制码和k值码。由于当前模式是部分级联模式②，并且16×8的块是第一色度信号块Cb和第二色度信号块Cr被组合的块，因此，k值码包括第一色度信号块Cb的k值码和第二色度信号块Cr的k值码。第一色度信号块Cb的k值码和第二色度信号块Cr的k值码的布置顺序可变化。
根据示例性实施例的图像处理装置的有效载荷仅包括一个k值码，而不分离地具有第一色度信号块Cb的k值码和第二色度信号块Cr的k值码。在这种情况下，k值码在第一色度信号块Cb和第二色度信号块Cr中相同。
由于图9示出在部分级联模式②下第一色度信号块Cb和第二色度信号块Cr被组合的块的数据结构，因此，二进制码可包括关于第一色度信号块Cb的数据和关于第二色度信号块Cr二者的数据。
在二进制码中，可针对所有像素首先放置关于第一色度信号块Cb的数据，然后可针对所有像素放置关于第二色度信号块Cr的数据。也就是说，第一色度信号块Cb的数据和第二色度信号块Cr的数据可被分离地布置。第一色度信号块Cb的数据和第二色度信号块Cr的数据的布置顺序可变化。
可选地，根据示例性实施例的图像处理装置的二进制码具有如下的交织结构：在该交织结构中，第一色度信号块Cb的数据和第二色度信号块Cr的数据针对一个像素被连续地布置，并且第一色度信号块Cb的数据和第二色度信号块Cr的数据针对另一像素被连续地布置。
因为仅一个平面被包括在分离模式③中，因此，在分离模式③下不需要考虑该结构。然而，由于多个平面被包括在级联模式①和部分级联模式②中，因此，交织结构可被使用。
因此，在级联模式①下，针对所有像素的亮度信号块Y的数据、针对所有像素的第一色度信号块Cb的数据和针对所有像素的第二色度信号块Cr的数据也可被分离地布置在二进制码中。亮度信号块Y的数据、第一色度信号块Cb的数据和第二色度信号块Cr的数据的布置顺序可变化。
可选地，在级联模式①的二进制码中，可针对一个像素布置亮度信号块Y的数据、第一色度信号块Cb的数据和第二色度信号块Cr的数据。然后，可针对另一像素布置亮度信号块Y的数据、第一色度信号块Cb的数据和第二色度信号块Cr的数据。
也就是说，在二进制码中，可针对每个平面布置数据，或者可针对每个像素布置数据(交织结构)。
图11示出根据本发明构思的示例性实施例的由图像处理装置无损压缩的数据的结构。
参照图11，如果当前模式是级联模式①，则亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr被组合的块被压缩。因此，k值码可包括亮度信号块Y的k值码、第一色度信号块Cb的k值码和第二色度信号块Cr的k值码。这里，亮度信号块Y的k值码、第一色度信号块Cb的k值码和第二色度信号块Cr的k值码的布置顺序可变化。
根据实施例的图像处理装置的有效载荷仅包括一个k值码，而不分离地具有亮度信号块Y的k值码、第一色度信号块Cb的k值码和第二色度信号块Cr的k值码。在这种情况下，k值码在亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr中相同。
可选地，如果三个平面中的仅两个平面共享相同的k值码，则总共两个k值码可被包括在有效载荷中。
在一个实施例中，包括二进制码和k值码的有效载荷的尺寸(n3比特)是存储器300的数据访问单元的尺寸的整数倍。
图12示出根据本发明构思的示例性实施例的由图像处理装置有损压缩的数据的结构。
参照图12，通过在有损模式下压缩第二数据而生成的第三数据仅包括有效载荷，而没有头。
在一个实施例中，有效载荷包括二进制码、k值码和QP码。在一个实施例中，QP码包括由图3中的量化模块213使用的QP。在一个实施例中，解码器220的逆量化模块223使用QP码对通过量化模块213压缩的数据进行解压缩。
图12的第三数据可以是与分离模式③对应的第三数据的结构。因此，k值码和QP码可仅针对亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr中的一个而存在。
由于压缩率在有损模式下是固定的，因此，第三数据的尺寸(即，有效载荷的尺寸(m1比特))可以是固定的。
图13示出根据本发明构思的示例性实施例的由图像处理装置有损压缩的数据的结构。
参照图13，有效载荷包括二进制码、k值码和QP码。由于压缩率在有损模式下是固定的，因此，第三数据的尺寸(即，有效载荷的尺寸(m2比特))可以是固定的。图13的第三数据可以是第一色度信号块Cb和第二色度信号块Cr在部分级联模式②下被组合的块的第三数据的结构。因此，存在两个k值码和两个QP码。具体地讲，有效载荷包括第一色度信号块Cb的k值码、第二色度信号块Cr的k值码、第一色度信号块Cb的QP码和第二色度信号块Cr的QP码。
第一色度信号块Cb的k值码、第二色度信号块Cr的k值码、第一色度信号块Cb的QP码、第二色度信号块Cr的QP码和二进制码(即，压缩数据)的顺序可变化。
在一个实施例中，两个k值码被共享。因此，当相同的k值码被共享时，仅存在一个k值码。
同样地，两个QP码可被共享。因此，当相同的QP码被共享时，仅存在一个QP码。图14示出根据本发明构思的示例性实施例的由图像处理装置有损压缩的数据的结构。
参照图14，有效载荷包括二进制码、k值码和QP码。由于压缩率在有损模式下是固定的，因此，第三数据的尺寸(即，有效载荷的尺寸(m3比特))可以是固定的。图14的第三数据可以是亮度信号块Y、第一色度信号块Cb和第二色度信号块Cr在级联模式①下被组合的块的第三数据的结构。因此，存在三个k值码和三个QP码。具体地讲，有效载荷包括亮度信号块Y的k值码、第一色度信号块Cb的k值码、第二色度信号块Cr的k值码、亮度信号块Y的QP码、第一色度信号块Cb的QP码以及第二色度信号块Cr的QP码。
亮度信号块Y的k值码、第一色度信号块Cb的k值码、第二色度信号块Cr的k值码、亮度信号块Y的QP码、第一色度信号块Cb的QP码、第二色度信号块Cr的QP码和二进制码的顺序可变化。
在一个实施例中，三个k值码被共享。因此，当相同的k值被共享时，仅存在一个k值码。当三个平面中的两个共享k值码时，仅存在两个k值码。
同样地，三个QP码可被共享。因此，当相同的QP码被共享时，仅存在一个QP码。当三个平面中的两个共享QP码时，仅存在两个QP码。
现在将参照图1至图6和图15描述根据本发明构思的示例性实施例的图像处理装置。
图15示出根据本发明构思的示例性实施例的由图像处理装置有损压缩的数据的结构。
参照图1至图6和图15，在有损模式下，有效载荷可仅包括二进制码和最大QP码，而没有k值码。这里，存储在最大QP码中的QP可以是可行的QP之中的最大值。如果像素数据具有0至28-1(＝255)的值，则QP可被定义为1/(2n-1)(其中，n是8或小于8的正整数)。然而，当前实施例不限于这种情况。
在一个实施例中，熵编码模块215通过根据相似数据的频率分配比特来执行熵编码。如果QP是最大值，则相似数据的频率不高。因此，执行熵编码可增大数据尺寸。
因此，根据本发明构思的实施例的图像处理装置的第二数据由编码器210的量化模块213直接转换为第三数据，而不经过熵编码模块215。
因此，当量化模块213的QP具有最大值时，根据实施例的图像处理装置的编码器210在有效载荷中不包括k值码，并且在有效载荷中仅包括二进制码和最大QP码。由于压缩率在有损模式下是固定的，因此，第三数据的尺寸(即，有效载荷的尺寸(m4比特))可以是固定的。
现在将参照图16描述根据示例性实施例的图像处理装置。
图16是根据本发明构思的示例性实施例的图像处理装置的框图。
参照图16，根据本发明构思的示例性实施例的图像处理装置的FBC 200直接连接到系统总线400。
FBC 200不直接连接到多媒体IP 100，而是通过系统总线400连接到多媒体IP100。具体地讲，多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU140和显示器150中的每个可通过系统总线400与FBC 200交换数据，并通过系统总线400将数据发送到存储器300。
也就是说，在压缩操作中，多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150中的每个可通过系统总线400将第二数据(即，未压缩数据)发送到FBC 200。然后，FBC 200可将第二数据压缩为第三数据，并通过系统总线400将第三数据(即，压缩数据)发送到存储器300。
类似地，在解压缩操作中，FBC 200可通过系统总线400接收存储在存储器300中的第三数据，并将第三数据解压缩为第二数据。然后，FBC 200可通过系统总线400将第二数据发送到多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150中的每个。
在图16的实施例中，尽管FBC 200没有直接连接到多媒体IP 100的ISP110、G2D120、MFC 130、GPU 140和显示器150，但它可通过系统总线400间接连接到多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150。因此，硬件配置可被简化，并且操作速度可被提高。
现在将参照图17描述根据本发明构思的示例性实施例的图像处理装置。
图17是根据本发明构思的示例性实施例的图像处理装置的框图。
参照图17，根据实施例的图像处理装置被配置为使得存储器300和系统总线400通过FBC 200彼此连接。
也就是说，存储器300不直接连接到系统总线400并且仅通过FBC 200连接到系统总线400。此外，多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150可直接连接到系统总线400。因此，多媒体IP 100的ISP 110、G2D 120、MFC 130、GPU 140和显示器150可仅通过FBC 200访问存储器300。
由于在当前实施例中FBC 200涉及对存储器300的所有的访问，因此，FBC 200可直接连接到系统总线400，存储器300可通过FBC 200连接到系统总线400。这可减少数据传输中的错误并提高操作速度。
尽管已经参照本发明构思的示例性实施例具体示出和描述了本发明构思，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的本发明构思的范围的情况下，可对其进行各种修改。

Claims (20)

1.一种被配置为压缩第一图像数据的图像处理装置，所述图像处理装置包括：
编码电路，被配置为：将第一图像数据压缩为包括预测数据和残差数据的第二图像数据，通过对第二图像数据执行熵编码将第二图像数据压缩为第三图像数据，生成表示第三图像数据的压缩率的头，并将第三图像数据与头一起存储在存储器装置中作为压缩的第一图像数据。
2.根据权利要求1所述的图像处理装置，还包括：
知识产权核，直接连接到编码电路；
数据总线，直接连接到知识产权核和存储器装置，
其中，编码电路直接从知识产权核接收第一图像数据，编码电路将压缩的第一图像数据直接发送到知识产权核，知识产权核通过数据总线发送压缩的第一图像数据以存储在存储器装置中。
3.根据权利要求1所述的图像处理装置，还包括：
知识产权核；
数据总线，直接连接到知识产权核、编码电路和存储器装置，
其中，编码电路通过数据总线从知识产权核间接接收第一图像数据，并且编码电路通过数据总线将压缩的第一图像数据间接发送到存储器装置。
4.根据权利要求1所述的图像处理装置，还包括：
知识产权核；
数据总线，直接连接到知识产权核和编码电路，
其中，编码电路通过数据总线从知识产权核间接接收第一图像数据，并且编码电路将压缩的第一图像数据直接发送到存储器装置。
5.根据权利要求1所述的图像处理装置，其中，头包括与多个可用的压缩率范围之中的一个压缩率范围对应的索引，并且第三图像数据的压缩率适合在所述一个压缩率范围内。
6.根据权利要求1所述的图像处理装置，其中，编码电路将压缩的第一图像数据的尺寸调节为存储器装置的数据访问单元的尺寸的整数倍。
7.根据权利要求1所述的图像处理装置，其中，压缩的第一图像数据还包括：在熵编码中使用的至少一个熵编码值。
8.根据权利要求7所述的图像处理装置，其中，熵编码包括：使用至少一个量化参数来量化第二图像数据，并对量化的结果执行熵编码。
9.根据权利要求8所述的图像处理装置，其中，压缩的第一图像数据还包括所述至少一个量化参数。
10.根据权利要求1所述的图像处理装置，其中，编码电路包括：模式选择电路，被配置为接收指示压缩模式是以下模式中的一种模式的信息：级联模式、部分级联模式、以及分离模式，
其中，在级联模式期间，编码电路通过将亮度数据、第一色度数据和第二色度数据组合成第一组合数据并压缩第一组合数据来压缩第一图像数据，
其中，在部分级联模式期间，编码电路通过压缩亮度数据，将第一色度数据和第二色度数据组合成第二组合数据并压缩第二组合数据，来压缩第一图像数据，
其中，在分离模式期间，编码电路通过分离地压缩亮度数据、第一色度数据和第二色度数据来压缩第一图像数据。
11.一种被配置为压缩第一图像数据的图像处理装置，所述图像处理装置包括：
编码电路，包括：
模式选择电路，被配置为基于接收到的信号确定第一模式被设置为无损压缩模式还是有损压缩模式；
第一逻辑电路，被配置为将第一图像数据压缩为包括预测数据和残差数据的第二图像数据；
第二逻辑电路，被配置为使用至少一个量化参数来量化第二图像数据；
第三逻辑电路，被配置为：当第一模式被设置为无损压缩模式时，对第一逻辑电路的输出执行熵编码，当第一模式被设置为有损压缩模式时，对第二逻辑电路的输出执行熵编码。
12.根据权利要求11所述的图像处理装置，还包括：
知识产权核，直接连接到编码电路；
数据总线，直接连接到知识产权核和存储器装置，
其中，编码电路直接从知识产权核接收第一图像数据，编码电路将基于第三逻辑电路的输出生成的压缩的第一图像数据直接发送到知识产权核，并且知识产权核通过数据总线发送压缩的第一图像数据以存储在存储器装置中。
13.根据权利要求11所述的图像处理装置，还包括：
知识产权核；
数据总线，直接连接到知识产权核、编码电路和存储器装置，
其中，编码电路通过数据总线从知识产权核间接接收第一图像数据，并且编码电路通过数据总线将基于第三逻辑电路的输出生成的压缩的第一图像数据间接发送到存储器装置。
14.根据权利要求11所述的图像处理装置，还包括：
知识产权核；
数据总线，直接连接到知识产权核和编码电路，
其中，编码电路通过数据总线从知识产权核间接接收第一图像数据，并且编码电路将基于第三逻辑电路的输出生成的压缩的第一图像数据直接发送到存储器装置。
15.根据权利要求11所述的图像处理装置，其中，编码电路确定由第三逻辑电路输出的数据的压缩率，生成表示所述压缩率的头，并将由第三逻辑电路输出的数据与头一起存储在存储器装置中作为压缩的第一图像数据。
16.根据权利要求15所述的图像处理装置，其中，头包括与多个可用的压缩率范围之中的一个压缩率范围对应的索引，并且所述压缩率适合在所述一个压缩率范围内。
17.根据权利要求11所述的图像处理装置，其中，编码电路将压缩的第一图像数据的尺寸调节为存储器装置的数据访问单元的尺寸的整倍数。
18.根据权利要求15所述的图像处理装置，其中，压缩的第一图像数据还包括：在熵编码中使用的至少一个熵编码值。
19.根据权利要求15所述的图像处理装置，其中，当第一模式被设置为有损压缩模式时，压缩的第一图像数据还包括所述至少一个量化参数。
20.根据权利要求11所述的图像处理装置，其中，模式选择电路被配置为：确定第二模式是否被设置为以下模式中的一种模式：级联模式、部分级联模式、以及分离模式，
其中，在级联模式期间，第一逻辑电路通过将亮度数据、第一色度数据和第二色度数据组合成第一组合数据并压缩第一组合数据来压缩第一图像数据，
其中，在部分级联模式期间，第一逻辑电路通过压缩亮度数据，将第一色度数据和第二色度数据组合成第二组合数据并压缩第二组合数据，来压缩第一图像数据，
其中，在分离模式期间，第一逻辑电路通过分离地压缩亮度数据、第一色度数据和第二色度数据来压缩第一图像数据。
CN201910072938.7A 2018-01-26 2019-01-25 图像处理装置 Active CN110087072B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20180010183 2018-01-26
KR10-2018-0010183 2018-01-26
KR10-2018-0015932 2018-02-08
KR20180015932 2018-02-08
KR10-2018-0041790 2018-04-10
KR1020180041790A KR102465206B1 (ko) 2018-01-26 2018-04-10 이미지 처리 장치

Publications (2)

Publication Number Publication Date
CN110087072A true CN110087072A (zh) 2019-08-02
CN110087072B CN110087072B (zh) 2022-10-28

Family

ID=67391600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910072938.7A Active CN110087072B (zh) 2018-01-26 2019-01-25 图像处理装置

Country Status (2)

Country Link
US (2) US11095876B2 (zh)
CN (1) CN110087072B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11095876B2 (en) 2018-01-26 2021-08-17 Samsung Electronics Co., Ltd. Image processing device
US10754793B2 (en) * 2018-02-28 2020-08-25 Micron Technology, Inc. Memory module data object processing systems and methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070269115A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Encoded High Dynamic Range Textures
US20110150072A1 (en) * 2009-12-21 2011-06-23 Han Ki-Hun Encoding method, decoding method and apparatus thereof
CN104378644A (zh) * 2013-08-16 2015-02-25 上海天荷电子信息有限公司 定宽度变长度像素样值串匹配增强的图像压缩方法和装置
CN104885467A (zh) * 2013-01-30 2015-09-02 英特尔公司 用于下一代视频编码的内容自适应参数变换

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201834B1 (en) 1996-12-20 2001-03-13 Intel Corporation Method and apparatus for packet loss recovery with standard-based packet video
KR101336243B1 (ko) 2007-05-10 2013-12-03 삼성전자주식회사 부가 정보가 삽입된 영상 데이터의 전송 스트림 구조,송수신 방법 및 장치
US9349156B2 (en) 2009-09-25 2016-05-24 Arm Limited Adaptive frame buffer compression
CA3039403C (en) 2011-06-24 2021-06-08 Lg Electronics Inc. Image information encoding and decoding method
US20130083855A1 (en) * 2011-09-30 2013-04-04 Dane P. Kottke Adaptive color space selection for high quality video compression
JP2013239893A (ja) 2012-05-15 2013-11-28 Hitachi Consumer Electronics Co Ltd 映像圧縮記録装置及び映像圧縮記録方法
US9299166B2 (en) 2012-12-13 2016-03-29 Qualcomm Incorporated Image compression method and apparatus for bandwidth saving
US9899007B2 (en) 2012-12-28 2018-02-20 Think Silicon Sa Adaptive lossy framebuffer compression with controllable error rate
US10116933B2 (en) 2013-10-14 2018-10-30 Mediatek Inc. Method of lossless mode signaling for video system with lossless and lossy coding
US10038915B2 (en) 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
KR102264161B1 (ko) 2014-08-21 2021-06-11 삼성전자주식회사 이미지 처리 장치, 이미지 처리 시스템, 이미지 처리 시스템의 동작방법 및 이미지 처리 시스템을 포함하는 시스템 온 칩
CN104346597B (zh) 2014-10-29 2018-04-27 中山大学 一种qr码检测与校正提取方法及ip核
CA2964728C (en) 2014-10-30 2023-04-04 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
US10275186B2 (en) * 2015-10-30 2019-04-30 Sandisk Technologies Llc System and method of data compression and data shaping
CN105608027B (zh) 2015-12-18 2018-10-19 华为技术有限公司 非易失存储设备和访问非易失存储设备的方法
US10554977B2 (en) * 2017-02-10 2020-02-04 Intel Corporation Method and system of high throughput arithmetic entropy coding for video coding
US11095876B2 (en) 2018-01-26 2021-08-17 Samsung Electronics Co., Ltd. Image processing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070269115A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Encoded High Dynamic Range Textures
US20110150072A1 (en) * 2009-12-21 2011-06-23 Han Ki-Hun Encoding method, decoding method and apparatus thereof
CN104885467A (zh) * 2013-01-30 2015-09-02 英特尔公司 用于下一代视频编码的内容自适应参数变换
CN104378644A (zh) * 2013-08-16 2015-02-25 上海天荷电子信息有限公司 定宽度变长度像素样值串匹配增强的图像压缩方法和装置

Also Published As

Publication number Publication date
US20210344900A1 (en) 2021-11-04
US20190238833A1 (en) 2019-08-01
US11095876B2 (en) 2021-08-17
CN110087072B (zh) 2022-10-28
US11991347B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
US11785215B2 (en) Encoding method, decoding method, encoding/decoding system, encoder, and decoder
JP2010515397A (ja) ビデオハードウェアにおける画像圧縮のためのアーキテクチャ
RU2008150330A (ru) Сжатие видеоданных без видимых потерь
US11445160B2 (en) Image processing device and method for operating image processing device
US10304213B2 (en) Near lossless compression scheme and system for processing high dynamic range (HDR) images
KR102626217B1 (ko) 프레임 버퍼 컴프레서 및 이를 포함하는 이미지 처리 장치
US11991347B2 (en) Image processing device
US20210250575A1 (en) Image processing device
US11153586B2 (en) Image processing device and frame buffer compressor
US11190810B2 (en) Device and method for compressing image data using quantization parameter and entropy tables
KR102543449B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
KR20220015556A (ko) 이미지 처리 장치 및 프레임 버퍼 컴프레서
TWI827579B (zh) 影像處理裝置
KR20190091179A (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
TWI795480B (zh) 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置
KR20220149124A (ko) 이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템
CN118214872A (zh) 一种超高清无损图像编解码方法和系统
KR20220090850A (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant