CN113949876A - 图像传感器模块、图像处理系统和图像压缩方法 - Google Patents

Abstract

提供了一种图像传感器模块、图像处理系统和图像压缩方法。压缩由图像传感器产生的图像数据的图像压缩方法包括：接收将对其进行压缩的图像数据的目标像素组的像素值和将用于目标像素组的压缩中的参考像素的参考值；确定其中将对所述目标像素值执行平均化计算的平均化方向；在所述平均化方向上平均化目标像素的像素值；基于所述参考像素产生包括将应用于所述平均值的补偿值的平衡信息；以及基于所述平均值、所述平衡信息和压缩信息产生比特流。

Description

图像传感器模块、图像处理系统和图像压缩方法

相关申请的交叉引用

本申请要求在韩国知识产权局于2020年7月16日提交的韩国专利申请No.10-2020-0088452的优先权和于2021年3月4日提交的韩国专利申请No.10-2021-0029045的优先权，以上申请的公开以引用方式全文并入本文中。

技术领域

本公开整体涉及图像传感器，更具体地涉及一种用于压缩隔离区中的数据的图像传感器模块、图像处理系统和图像压缩方法。

背景技术

随着对高质量和高清晰度图片、图像等的兴趣增加，图像传感器的像素阵列中的感测像素的数量以及由图像传感器产生的图像数据的尺寸已增加。可以将图像数据发送到图像处理装置，其中可以压缩图像数据以提高传输效率，并且可以将压缩图像数据发送到图像处理装置。图像数据可以包括二维或多维的各种图像图案。为了压缩包括在图像图案的特定区中的像素数据，并且可以应用其中提高压缩效率并且降低压缩损失的压缩方法。

发明内容

本公开提供了用于有效地压缩隔离区的像素数据的图像传感器模块、图像处理系统和图像压缩方法。

根据本公开的实施例，提供了一种压缩由图像传感器产生的图像数据的图像压缩方法，包括：接收将对其执行压缩的图像数据的目标像素组的像素值以及将用于所述目标像素组的压缩中的参考像素的参考值；确定其中将对所述目标像素值执行平均化计算的平均化方向；在所述平均化方向上平均化目标像素的像素值；基于所述参考像素产生包括将应用于所述平均值的补偿值的平衡信息；以及基于所述平均值、所述平衡信息和压缩信息产生比特流。

根据本公开的另一实施例，提供了一种图像传感器模块，包括：图像传感器，其被配置为产生包括多个像素的图像数据；编码器，其被配置为通过以像素组为单位按次序压缩由所述图像传感器产生的图像数据来产生包括多个比特流的压缩数据，并且压缩将根据多种编码方法中的至少一种编码方法压缩的目标像素组；以及接口，其被配置为将压缩数据输出至外部图像处理装置，其中，所述编码器根据所述多种编码方法中的第一编码方法基于目标像素的像素值来产生平均值，产生包括将应用于所述平均值的补偿值的平衡信息，并且产生包括所述平均值、所述平衡信息和压缩信息的比特流。

根据本公开的另一实施例，提供了一种图像处理系统,包括：图像传感器，其被配置为感测接收到的光学信号并且产生图像数据；编码器，其被配置为按次序压缩所述图像数据的多个像素组并且产生多个比特流；以及解码器，其被配置为解压缩所述多个比特流，并且恢复所述图像数据，其中，所述编码器产生包括基于目标像素的像素值的平均值和将应用于所述平均值的补偿值的平衡信息，并且产生包括所述平均值、所述平衡信息和压缩信息的比特流。

附图说明

将从结合附图的以下的详细描述中更清楚地理解本公开的实施例，在附图中：

图1是根据实施例的图像处理系统的框图；

图2是根据实施例的像素阵列和应用于图像传感器模块的图像数据的混合概念图；

图3A是根据实施例的编码器的框图；

图3B是根据实施例的编码器的框图；

图4是根据实施例的参考映射的混合概念图；

图5是根据实施例的压缩方法的流程图；

图6A是描述图5的压缩方法的操作的概念图；

图6B是描述图5的压缩方法的操作的概念图；

图6C是描述图5的压缩方法的操作的概念图；

图6D是描述图5的压缩方法的操作的概念图；

图7A是示出根据实施例的比特流的概念图；

图7B是示出根据实施例的比特流的概念图；

图8是描述根据实施例的利用比较例的压缩方法的概念图；

图9是示出根据实施例的图像数据和参考映射的概念图；

图10是描述根据实施例的压缩方法的概念图；

图11A是示出根据实施例的图像传感器模块的框图；

图11B是示出根据实施例的图像传感器模块的框图；

图12是根据实施例的解码器的示意框图；

图13是根据实施例的图像处理系统的框图；

图14是描述根据实施例的压缩信息的表格图；

图15A是包括多相机模块的电子装置的框图；

图15B是图15A中的相机模块的框图；以及

图16是根据实施例的电子装置的示意框图。

具体实施方式

下文中，将参照附图详细描述本公开的实施例。

图1示出了根据实施例的图像处理系统10。图2示出了根据实施例的像素阵列和应用于图像传感器模块的图像数据。

图像处理系统10可以感测对象或物体的图像，将感测到的图像存储至存储器和/或处理感测到的图像，并且可以将处理后的图像存储在存储器中。根据实施例，图像处理系统10可以实施为数码相机、数码摄像机、移动电话、平板电脑或便携式电子装置。便携式电子装置可包括笔记本电脑、移动电话、智能电话、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数字静态相机、数字摄像机、音频装置、便携式多媒体播放器(PMP)、个人导航装置(PND)、MP3播放器，手持游戏机、电子书、可穿戴装置等。另外，图像处理系统10可以作为部件安装在电子设备(诸如无人机、高级驾驶员辅助系统(ADAS)、车辆、家具、制造设施、门、各种测量设备等)中。

参照图1，图像处理系统10可包括图像传感器模块100和图像处理装置200。在实施例中，图像传感器模块100可包括图像传感器110、编码器120和接口(I/F)130。在实施例中，图像传感器模块100可以实施为多个半导体芯片。例如，图像传感器110的像素阵列(例如，图2中的PXA)可以集成到一个半导体芯片中，或者可以集成到其中图像传感器110、编码器120和I/F 130的逻辑电路不同的其它半导体芯片中，所述多个半导体芯片可以经由连接构件彼此电连接，或者可以经堆叠的穿通件彼此电连接。然而，实施例不限于此，图像传感器模块100可以实施为单个半导体芯片，而不限于此。

在实施例中，图像处理装置200可包括I/F 210、存储器220、解码器230和图像信号处理器240。

图像传感器模块100可以拍摄外部目标、对象或物体，并且产生图像数据IDT。图像传感器模块100可包括图像传感器110，其能够将通过透镜LS入射的目标的光学信号转换为电信号。

图像传感器110可包括其中多个感测像素(例如，图2中的SPX)二维地布置的像素阵列(例如，图2中的PXA)，并且可以输出图像数据IDT，图像数据IDT包括分别对应于像素阵列PXA的多个感测像素SPX的多个像素值。

像素阵列PXA可包括多条行线、多条列线以及连接至所述多条行线中的每一条和所述多条列线中的每一条并且按照矩阵形式布置的多个感测像素SPX。

像素阵列PXA的多个感测像素SPX中的每一个可以感测多种参考颜色中的至少一种颜色的光学信号。例如，所述多种参考颜色可包括红色、绿色和蓝色，或者红色、绿色、蓝色和白色，并且还可包括除这些颜色以外的颜色。例如，所述多种参考颜色可包括青色、黄色、绿色和品红色。像素阵列PXA可以产生像素信号，像素信号包括关于多个感测像素SPX中的每一个的参考颜色的信息。

例如，如图2所示，像素阵列PXA可包括红色感测像素SPX_R、蓝色感测像素SPX_B以及第一绿色感测像素SPX_Gr和第二绿色感测像素SPX_Gb。与红色感测像素SPX_R布置在同一行的绿色感测像素可被称作第一绿色感测像素SPX_Gr，并且与蓝色感测像素SPX_B布置在同一行的绿色感测像素可被称作第二绿色感测像素SPX_Gb。

红色感测像素SPX_R、蓝色感测像素SPX_B、第一绿色感测像素SPX_Gr和第二绿色感测像素SPX_Gb可以按照多行多列布置，并且这种布置可被称作像素图案PT。多个像素图案PT可以在像素阵列PXA中重复布置。

例如，如图2所示，像素图案PT可包括按照2×2矩阵布置的红色感测像素SPX_R、按照2×2矩阵布置的蓝色感测像素SPX_B、按照2×2矩阵布置的第一绿色感测像素SPX_Gr和按照2×2矩阵布置的第二绿色感测像素SPX_Gb。这种类型的像素图案PT可被称作四格图案。然而，本公开的技术思想不限于此，并且像素图案PT可包括按照2×2矩阵布置的红色感测像素SPX_R、蓝色感测像素SPX_B、第一绿色感测像素SPX_Gr和第二绿色感测像素SPX_Gb，并且这种类型的像素图案PT可被称作拜尔图案(例如，见图9)。可替换地，像素图案PT可包括按照n×n(其中n是等于或大于3的整数)矩阵布置的红色感测像素SPX_R、按照n×n矩阵布置的蓝色感测像素SPX_B、按照n×n矩阵布置的第一绿色感测像素SPX_Gr和按照n×n矩阵布置的第二绿色感测像素SPX_Gb。

可以基于由像素阵列PXA输出的像素信号来产生图像数据IDT。图像数据IDT可具有对应于像素阵列PXA的像素图案PT的颜色图案。作为示例，当像素阵列PXA具有拜尔图案时，图像数据IDT也可具有拜尔图案。作为另一示例，当像素阵列PXA具有四格图案时，图像数据IDT可具有四格图案或者拜尔图案。

例如，当像素阵列PXA具有四格图案时，可以从像素图案PT中包括的相同颜色的四个感测像素SPX输出一个像素信号，或者可以随着从四个感测像素SPX中的每一个输出像素信号而输出四个像素信号。当输出一个像素信号时，图像数据IDT可具有拜尔图案，并且当输出四个像素信号时，如图2所示，图像数据IDT可具有四格图案。

图像数据IDT可包括交替布置的红色像素PX_R、蓝色像素PX_B、第一绿色像素PX_Gr和第二绿色像素PX_Gb。图像数据IDT的像素PX可以指示对应于像素阵列PXA的感测像素SPX的数据(即，像素数据)。红色像素PX_R、蓝色像素PX_B、第一绿色像素PX_Gr和第二绿色像素PX_Gb可以分别对应于红色感测像素SPX_R、蓝色感测像素SPX_B、第一绿色感测像素SPX_Gr、第二绿色感测像素SPX_Gb。

图像数据IDT可包括多个像素组PG，并且在这种情况下，根据图像数据IDT的颜色图案PT，可以将像素组PG设为包括以多行多列按次序布置或者在一个方向上布置的预设数量的像素PX，或者包括对应于相同参考颜色的彼此邻近的像素PX。

例如，如图2所示，当图像数据IDT具有四格图案时，可以将像素组PG设为对应于相同参考颜色(例如，红色、蓝色和绿色等)，并且包括彼此邻近的四个像素PX。作为另一示例，当图像数据IDT具有拜尔图案时，可以将像素组PG设为包括按照矩阵布置的预设数量的(例如，四个)不同颜色的像素PX。

再参照图1，多个感测像素SPX中的每一个可包括至少一个光敏元件或光电转换元件。光敏元件可以感测光并且将感测到的光转换为电信号。例如，光敏元件可包括光电二极管、光电晶体管、光电门、钉扎光电二极管(PPD)或其组合。

多个感测像素SPX中的每一个可包括光敏元件和用于输出对应于由光敏元件产生的电信号的像素信号的像素电路。例如，像素电路可具有包括传输晶体管、复位晶体管、放大晶体管和选择晶体管的四晶体管结构。然而，实施例不限于此，并且像素电路可具有一晶体管结构、三晶体管结构、四晶体管结构、五晶体管结构或者其中多个像素PX共享一些晶体管的结构。在实施例中，像素电路中的每一个可以配备有存储器和/或模数转换器。

在实施例中，发送特定波段的光学信号(例如，特定颜色的光学信号)的多个滤色器可以布置在多个像素PX上，以分别对应于像素阵列PXA的多个像素PX，并且可以转换通过对应于配备在像素PX中的至少一个光敏元件的滤色器发送的光学信号。因此，多个感测像素SPX中的每一个可以输出对应于分配的至少一种参考颜色的至少一个像素信号。然而，实施例不限于此。例如，入射在配备在感测像素SPX中的至少一个光敏元件上的特定波段的光的光学信号可以被选择性地转换为电信号。

在实施例中，图像数据IDT可包括原始图像数据或者其中已对原始图像数据执行了预处理操作的图像数据，原始图像数据包括其中由像素阵列PXA输出的所述多个像素信号已被数模转换的所述多个像素值。

对于数据传输速度、根据数据传输的功耗降低和数据存储空间的效率，图像传感器模块100可以通过利用编码器120来压缩图像数据IDT，并且将压缩数据CDT发送至图像处理装置200。

编码器120可以从图像传感器110接收图像数据IDT，压缩图像数据IDT，并且产生压缩数据CDT。压缩数据CDT可以按照编码的比特流形式实施。下文中，编码的比特流可以简称为比特流。比特流可包括压缩结果和压缩信息(例如，指示压缩方法的模式信息)。

编码器120可以通过以像素组PG为单位编码图像数据IDT来产生压缩数据CDT。编码器120可以通过编码一个像素组PG来产生一个比特流，并且基于图像数据IDT中的所有像素组PG的比特流来产生压缩数据CDT。随着像素组PG被编码，像素组PG可以被压缩，下文中，在本公开中，编码可以与压缩在相同的意义上使用。

编码器120可以通过利用基于对应于在将对其执行压缩的像素组PG(即，目标像素组)之前已被先前压缩的像素PX的像素值产生的参考映射来执行压缩。编码器120可以基于在参考映射中的邻近于目标像素组中的至少一个目标像素的至少一个参考像素的参考值来压缩目标像素的像素值。可以基于参考像素的像素值产生参考值，例如，参考值可为随着参考像素的像素值被压缩和解压缩而产生的值。

目标像素的像素值可具有与相邻参考像素的像素值相似的值。另外，目标像素组中的目标像素的像素值可具有彼此相似的值。因此，编码器120可以通过使用基于差分脉冲编码调制(DPCM)的编码方法来压缩目标像素组，在差分脉冲编码调制(DPCM)中，基于目标像素组的目标像素与相邻像素之间的差(诸如例如目标像素的像素值与参考像素的参考值之间的差值、或者目标像素的像素值与其他目标像素组的像素值之间的差值)来执行编码操作。因此，可以提高压缩效率或压缩率，并且因此可以减少由于压缩而导致的数据丢失。

图像数据IDT中的隔离区中包括的目标像素组的像素的像素值与参考像素的像素值之间的差可较大。换句话说，目标像素的像素值与参考像素的参考值之间的相关性可较低。

在这种情况下，隔离区可以指示在图像数据IDT中产生的二维或多维图像图案的周边区的至少两个方向(例如，彼此正交的两个方向)上对应于周边区的区，诸如例如对应于图像图案的边缘的区。

根据实施例的编码器120可包括平衡模式压缩器BMC，并且当目标像素的像素值与参考像素的参考值之间的差较大时，平衡模式压缩器BMC可以通过利用诸如例如水平或竖直(HV)平衡编码方法的专用编码方法来压缩目标像素。平衡模式压缩器BMC可以通过在水平方向或纵向上或者在竖直方向或横向上平均化目标像素的像素值来产生平均值，并且基于平均值和平衡信息产生比特流。在这种情况下，平衡信息可包括用于补偿平均值与像素值之间的差的信息，并且可包括选择值和坡度值，选择值指示是否通过在编码操作期间将相邻像素的参考值之间的差值应用于平均值作为补偿值来恢复像素值，坡度值指示相对于特定像素是将差值或预设默认值加至平均值还是从平均值中减去差值或预设默认值。可以参照图5至图10更详细地描述这种HV平衡编码方法。

当编码器130通过利用上述DPCM方法压缩隔离区中的像素组或者基于包括指示目标像素中的每一个的像素值的所述多个数据比特的最高有效位(MSB)的一些高数据比特根据隔离区中的像素组的编码方法进行压缩时，可能发生大量数据丢失。因此，通过对压缩数据CDT进行解压缩而产生的恢复的图像数据中可能发生图像劣化，并且在图像数据中可能发生伪影。然而，如上所述，根据实施例的编码器120可以通过使用专用编码方法(例如，HV平衡编码方法)来压缩隔离区域中的像素组。因此，可以提高压缩效率，并且可以减少数据丢失。

编码器120可以经由I/F 130向图像处理装置200提供压缩数据CDT。例如，I/F 130可以实施为基于移动工业处理器接口(MIPI)的相机串行接口(CSI)。然而，I/F 130的类型不限于此，并且可以根据各种协议标准来实施。

图像处理装置200可以通过转换从图像传感器模块100接收的压缩数据CDT来产生要在显示器上显示的图像。图像处理装置200可以从图像传感器模块100接收压缩数据CDT，通过对压缩数据CDT解压缩来产生解压缩数据DDT(诸如例如恢复的图像数据)，并对解压缩数据DDT执行图像处理操作。

在实施例中，图像处理装置200可以经由I/F 210从图像传感器模块100接收压缩数据CDT。像图像传感器模块100中配备的I/F 130一样，I/F 210可以用MIPI实施，但不限于此。图像处理装置200可以将接收到的压缩数据CDT存储到存储器220。

存储器220可以是用于存储数据的存储位置。压缩数据CDT可以存储在存储器220中。此外，存储器220还可以存储诸如例如操作系统(OS)、各种程序和各种数据(例如，压缩数据CDT)的其他数据。存储器220可以包括易失性存储器(诸如随机存取存储器(RAM)、动态随机存取存储器(DRAM)和/或静态RAM(SRAM))或者非易失性存储器(诸如相变RAM(PRAM)、电阻RAM(ReRAM)、磁性RAM(MRAM)和/或闪存)。在图1中，存储器220被示出为包括在图像处理装置200中，但不限于此，并且存储器220可以单独地设置在图像处理装置200之外。

解码器230可以从存储器220读取压缩数据CDT，并且通过解压缩压缩数据CDT来产生解压缩数据DDT。解码器230可以将解压缩数据DDT提供至图像信号处理器240。

解码器230可以通过利用根据由图像传感器模块100的编码器120执行的压缩方法或编码方法的解压缩方法或者解码方法来以像素组PG为单位解压缩压缩数据CDT。解码器230可以基于压缩数据CDT的比特流中包括的压缩信息来确定应用于像素组PG的解压缩方法。解码器230可以基于在待解压缩的目标像素组之前已被解压缩的像素(即，包括对应于参考像素的参考值的参考映射)来解压缩目标像素组的目标像素。

在实施例中，解码器230可以利用根据HV平衡编码方法的解码方法来解压缩目标像素组。解码器230可以基于平衡信息通过调整比特流中包括的平均值来存储像素值。

图像信号处理器240可以对接收到的解压缩数据DDT执行各种图像处理操作。作为非限制性示例，图像信号处理器240可以对解压缩数据DDT执行坏像素补偿、偏差补偿、透镜畸变补偿、颜色增益补偿、阴影补偿、伽马补偿、去噪和/或锐化中的至少一种图像处理操作。在实施例中，根据图像传感器模块100的性能，可以省略上述图像处理操作中的一些。例如，当图像传感器模块100包括高质量的图像传感器110时，可以省略图像处理操作的坏像素补偿(例如，静态坏像素补偿)或者偏差补偿等。

另一方面，编码器120和解码器230中的每一个可以实施为软件或硬件或者诸如固件的软件和硬件的组合。当编码器120和解码器230实施为软件时，上述功能中的每一个可以实施为编程的源代码并且可以加载到图像传感器模块100和图像处理装置200中的每一个中配备的存储介质中，并且随着配备在图像传感器模块100和图像处理装置200中的每一个中的处理器(例如，图像处理器)执行软件，可以实施编码器120和解码器230的功能。当编码器120和解码器230实施为硬件时，编码器120和解码器230可包括逻辑电路和寄存器，并且可以基于寄存器设置执行上述功能中的每一个。

在图1中，图像处理系统10示为包括图像传感器模块100和图像处理装置200，但是实施例不限于此。例如，图像处理系统10可包括图像传感器模块100和图像处理装置200中的一些，或者可实施为包括多个图像传感器模块100。另外，在图1中，解码器230和图像信号处理器240示为分离的部件，但是实施例不限于此。例如，图像信号处理器240可实施为包括解码器230。

图3A和图3B示出了根据实施例的编码器。图3A和图3B示出了图1中的编码器120的示例。

参照图1和图3A，编码器120可包括参考像素检测器121、压缩电路122、模式选择器123、恢复图像产生器124和参考缓冲器125。

参考像素检测器121可以从图像传感器(例如，图1中的110)接收图像数据IDT，并且从参考缓冲器125接收包括用于压缩目标像素组的参考像素的参考值的参考映射。参考像素检测器121可以检测存储在参考缓冲器125中的恢复的图像数据中的邻近于目标像素组的参考像素的参考值(即，参考像素的恢复的像素值)，并且可以从参考缓冲器125接收参考值作为参考映射。参考像素检测器121可以将目标像素组和图像数据IDT的参考映射提供至压缩电路122。

压缩电路122可以基于参考映射压缩目标像素组。压缩电路122可包括平衡模式压缩器BMC和正常模式压缩器NMC，并且平衡模式压缩器BMC和正常模式压缩器NMC可以通过利用彼此不同的压缩方法或编码方法来压缩目标像素组。正常模式压缩器NMC可以输出第一编码数据EDT1，并且平衡模式压缩器BMC可以输出第二编码数据EDT2。

正常模式压缩器NMC可以基于参考映射按照DPCM方法编码目标像素组。在实施例中，正常模式压缩器NMC可以产生参考像素的参考值与目标像素的像素值之间的差以及目标像素的像素值之间的差值，并且可以基于差值产生比特流。在实施例中，正常模式压缩器NMC可以产生目标像素的像素值的平均值与参考像素的参考值之间的差值以及平均值与目标像素的像素值之间的差值，并且可以基于差值产生比特流。可以输出正常模式压缩器NMC中产生的比特流作为第一编码数据EDT1。

平衡模式压缩器BMC可以按照上面参照图1描述的HV平衡编码方法来编码目标像素组。如以上参照图1描述的，可以通过在纵向方向或竖直方向上平均化目标像素的像素值来产生平均值，并且可以基于用于补偿各平均值中的平均值与像素值之间的差的平衡信息来产生比特流。可以输出通过平衡模式压缩器BMC产生的比特流作为第二编码数据EDT2。

在这种情况下，平衡模式压缩器BMC可以确定是否平均从上至下连续布置的目标像素的像素值，或者是否平均从左至右(即，其中将执行平均化计算的方向)连续布置的目标像素的像素值。平衡模式压缩器BMC可以基于参考映射的参考值来确定其中将执行平均化计算的方向。

在图3A中，压缩电路122示为包括平衡模式压缩器BMC和正常模式压缩器NMC，但是实施例不限于此，压缩电路122还可包括通过利用与平衡模式压缩器BMC和/或正常模式压缩器NMC的编码方法不同的编码方法来编码目标像素组的压缩器。

模式选择器123可以选择从压缩电路122接收到的压缩数据(例如，第一编码数据EDT1和第二编码数据EDT2之一)，并且可以输出选择的编码数据作为压缩数据CDT。

模式选择器123可以按照根据解码第一编码数据EDT1和第二编码数据EDT2中的每一个的方法的解码方法来解码第一编码数据EDT1和第二编码数据EDT2，并且可以基于根据解码的误差率来选择第一编码数据EDT1和第二编码数据EDT2之一。误差率可以指示解码的数据(即，解码的像素值与解码之前的像素值)之间的差，差值越小，误差率可越低。当误差率越低时，由图像处理装置200产生的解压缩数据DDT(即，恢复的图像数据的图像劣化)可以越少。因此，模式选择器123可以选择第一编码数据EDT1和第二编码数据EDT2中具有较低误差率的编码数据作为压缩数据CDT，并且可以输出压缩数据CDT。

在实施例中，正常模式压缩器NMC或者另一分离的压缩器可以通过编码目标像素组(例如，第一编码数据EDT1)来产生编码数据，并且当第一编码数据EDT1的误差率超过参考误差率时，平衡模式压缩器BMC可以操作。平衡模式压缩器BMC可以通过编码目标像素组来产生第二编码数据EDT2。当第一编码数据EDT1的误差率等于或小于参考误差率时，模式选择器123可以输出第一编码数据EDT1作为压缩数据CDT。当第一编码数据EDT1的误差率超过第二编码数据EDT2时，模式选择器123可以输出从平衡模式压缩器BMC接收到的第二编码数据EDT2作为压缩数据CDT。

恢复图像产生器124可以通过解码压缩数据CDT来产生恢复的图像作为数据。恢复图像产生器124可以通过按照对应于压缩数据CDT中包括的所述多个比特流中的每一个的编码方法的解码方法进行解码来恢复目标像素组的像素值。对应于恢复的像素值的像素可以用作将对其执行压缩的其它目标像素组的参考像素。

参考缓冲器125可以存储恢复的图像数据，并且将用于压缩目标像素组的参考像素的参考值提供至参考像素检测器121。在实施例中，参考缓冲器125可包括线存储器，并且存储目标像素组的目标像素周围的参考像素。在实施例中，参考缓冲器125可以实施为诸如DRAM和SRAM的易失性存储器。然而，实施例不限于此，并且参考缓冲器125可以实施为诸如ReRAM和PRAM的非易失性存储器。

参照图3B，编码器120a可包括参考像素检测器121、预检测器126、压缩电路122、模式选择器123、恢复图像产生器124和参考缓冲器125。与图3A的编码器120相比，编码器120a还可包括预检测器126。已经参照图3A描述了参考像素检测器121、压缩电路122、模式选择器123、恢复图像产生器124和参考缓冲器125的操作，并且省略对其的重复描述。

预检测器126可以启用或停用平衡模式压缩器BMC。在实施例中，预检测器126可以基于参考像素的参考值启用或停用平衡模式压缩器BMC。例如，当参考值与目标像素的像素值之间的差等于或大于阈值或特定代码值时，可启用平衡模式压缩器BMC，并且当小于阈值时，可以停用平衡模式压缩器BMC。在实施例中，预检测器126可包括寄存器，并且可以基于存储在寄存器中的控制信号启用或停用平衡模式压缩器BMC。例如，可以从图像处理装置200接收到控制信号。

当停用平衡模式压缩器BMC时，压缩电路122中配备的另一压缩器(例如，正常模式压缩器NMC)可以编码目标像素组，并且可以输出编码数据(例如，第一编码数据EDT1)作为压缩数据CDT。

当启用平衡模式压缩器BMC时，压缩电路122中配备的压缩器和平衡模式压缩器BMC中的至少一些可以各自对目标像素组编码，并且模式选择器123可以输出编码数据中的具有最低误差率的编码数据作为压缩数据CDT。

在实施例中，虽然启用平衡模式压缩器BMC，但是压缩电路122中配备的压缩器中的平衡模式压缩器BMC的优先级可较低。例如，正常模式压缩器NMC可以首先编码目标像素组，以产生第一编码数据EDT1，当第一编码数据EDT1的误差率超过参考误差率时，平衡模式压缩器BMC可以操作。平衡模式压缩器BMC可以通过编码目标像素组来产生第二编码数据EDT2。当第一编码数据EDT1的误差率等于或小于参考误差率时，模式选择器123可以输出第一编码数据EDT1作为压缩数据CDT。当第一编码数据EDT1的误差率超过第二编码数据EDT2时，模式选择器123可以输出从平衡模式压缩器BMC接收到的第二编码数据EDT2作为压缩数据CDT。

在实施例中，当启用平衡模式压缩器BMC时，可停用压缩电路122中配备的另一压缩器(例如，正常模式压缩器NMC)，并且可以输出由平衡模式压缩器BMC产生的第二编码数据EDT2作为压缩数据CDT。因此，可减少编码器120a的功耗。

图4示出了根据实施例的参考映射。在图4中，用于像素的参考指标是以字母开头的字母数字。在该实施例中，与像素关联的三位数字指示该像素的值(换句话说，像素值或参考值)。例如，指示为T0的像素的值为283。

参照图4，图像数据IDT可包括多个像素组PG，并且可以在其中设置多个像素组PG的方向上按次序被压缩。在实施例中，可以在从左至右的方向和从上至下的方向上按次序并且以像素组PG为单位来压缩图像数据IDT。然而，实施例不限于此，可以在从右至左的方向或从下至上的方向上压缩图像数据IDT。

可以对目标像素组TG或者对目标像素组TG的目标像素T0、T1、T2和T3执行压缩。可以基于与已执行了压缩的相同颜色的邻近像素组PG对应的像素组PG中包括的像素来压缩目标像素组TG。用于压缩目标像素组TG的邻近像素可被称作参考像素。

可以产生邻近于来自参考缓冲器125的恢复的图像数据RIDT的目标像素组TG的参考像素的参考值作为参考映射RM。在这种情况下，参考值可以指示在像素值被压缩和解压缩之后产生的值。例如，参考映射RM可包括参考像素(例如、R11、R12、R13、R14、R21、R22、R23、R24、R31、R32、R33和R34)的参考值。

可以基于参考映射RM压缩目标像素组TG。例如，可以基于邻近的参考像素R13、R14、R23、R24、R32和R34的参考值中具有相对最高的相关性的参考值或者预设方向上的邻近的参考像素的参考值对目标像素组TG或者目标像素组TG的目标像素T0编码。

目标像素组TG的目标像素T0、T1、T2和T3的像素值之间的差可较大。例如，当目标像素T0的像素值为283时，邻近的参考像素R14、R23和R32的参考值分别为137、148和127，并且阈值设为125，像素值与参考值之间的差值可以等于或大于125，目标像素组TG可以对应于隔离区。按照这种方式，当目标像素组TG对应于隔离区时，可以基于HV平衡编码方法压缩目标像素组TG。例如，图3中的平衡模式压缩器BMC可以按照HV平衡编码方法来压缩目标像素组TG，并且在这种情况下，平衡模式压缩器BMC可以使用目标像素组TG的相邻像素。

图5示出了根据实施例的压缩方法，图6A、图6B、图6C和图6D示出了图5的压缩方法的操作。

可以通过图3A和图3B中的平衡模式压缩器BMC来执行图5和图6A至图6D的压缩方法。

目标像素T0、T1、T2和T3的像素值可以彼此相似。平衡模式压缩器BMC可以通过利用目标像素T0、T1、T2和T3的像素值的相似性根据HV平衡模式编码方法来压缩目标像素T0、T1、T2和T3，在这种情况下，可以使用参考映射(例如，图4中的RM)中包括的像素组中的至少一个像素组。

假设平衡模式压缩器BMC利用参考映射RM的像素组的最靠近目标像素组TG的左侧的像素组的参考像素R31、R32、R33和R34压缩目标像素组TG，来描述根据实施例的压缩方法。实施例不限于此。

参照图5，平衡模式压缩器BMC可以接收目标像素组的像素值和参考像素的参考像素值(S110)。换句话说，平衡模式压缩器BMC可以接收包括目标像素组TG的图像数据IDT和包括参考像素的参考值的参考映射RM。目标像素组TG(要对其执行压缩的像素组)可包括目标像素T0、T1、T2和T3，并且可以接收目标像素T0、T1、T2和T3中的每一个的像素值。参考像素可包括用于压缩目标像素组的目标像素的相邻像素。相邻像素的像素值可以被压缩，然后被恢复，并且作为参考值产生。

平衡模式压缩器BMC可以确定其中根据HV平衡模式编码方法(下文中，称作平均化方向)要执行平均化计算的方向(S120)。参照图6A，平衡模式压缩器BMC可以确定要在水平方向HD还是在竖直方向VD上执行平均化计算。

在实施例中，平衡模式压缩器BMC可以基于参考像素R31、R32、R33和R34确定平均化方向。例如，当参考像素在水平方向HD上的差值RDh(例如，参考像素R31和R32的参考值之间的差值)等于或小于参考像素在竖直方向VD上的差值RDv(例如，参考像素R33和R34的参考值之间的差值)时，平衡模式压缩器BMC可以将水平方向HD确定为平均化方向。相反，当在水平方向HD上的差值RDh大于在竖直方向VD上的差值RDv时，平衡模式压缩器BMC可以将竖直方向VD确定为平均化方向。作为另一示例，当参考像素在水平方向HD上的差值RDh与目标像素在水平方向HD上的差值TDh(例如，目标像素T0和T1的像素值之间的差值)之间的差值(例如，(RDh-TDh)的绝对值)等于或小于参考像素在竖直方向HV上的差值RDv与目标像素在竖直方向HV上的差值TDv(例如，目标像素T0与T3的像素值之间的差值)之间的差值(例如，(RDv-TDv)的绝对值)时，平衡模式压缩器BMC可以将水平方向HD确定为平均化方向，在相反的情况下，则可以将竖直方向VD确定为平均化方向。然而，实施例不限于此，并且平衡模式压缩器BMC可以按照各种方法确定平均化方向。在实施例中，平衡模式压缩器BMC可以将预设方向确定为平均化方向。

再参照图5，平衡模式压缩器BMC可以根据确定的平均化方向平均目标像素的像素值(S130)。

如图6B所示，当将水平方向HD确定为平均化方向时，平衡模式压缩器BMC可以平均目标像素T0和T1的像素值以及目标像素T2和T3的像素值。因此，可以计算目标像素T0和T1的平均值AVGh0(其为287(＝(283+291)/2))和目标像素T2和T3的平均值AVGh1(其为300(

(298+301)/2))。

如图6C所示，当将竖直方向VD确定为平均化方向时，平衡模式压缩器BMC可以平均目标像素T0和T2的像素值以及平均目标像素T1和T3的像素值。因此，可以计算目标像素T0和T2的平均值AVGv0(其为291(

(283+298)/2))和目标像素T1和T3的平均值AVGv1(其为296(＝(291+301)/2))。

平衡模式压缩器BMC可以基于参考像素产生平衡信息(S140)。

平均值与像素值之间可以存在差。平衡模式压缩器BMC可以产生平衡信息，以补偿平均值与像素值之间的差。平衡信息可包括用于补偿平均值与像素值之间的差的信息，并且可包括选择值和坡度值，所述选择值指示在编码操作期间是否通过将相邻像素的参考值之间的差值应用于平均值(即，差值的绝对值)来恢复像素值，所述坡度值指示相对于特定像素将差值(或预设默认值)加至平均值还是从平均值减去差值(或预设默认值)。

参照图6D，当将平均化方向确定为水平方向HD时，平衡模式压缩器BMC可以计算参考像素R31和R32的差值Rd0以及目标像素(例如，T0和T1)的差值Td0，并且可以通过将差值Rd0与差值Td0比较来确定第一选择值，所述第一选择值指示是否在解码目标像素T0和T1时应用不同的值作为补偿值。

例如，当参考像素的差值Rd0非‘0'并且等于或小于目标像素的差值Td0时，平衡模式压缩器BMC可以确定例如代码值‘1'的第一选择值，该第一选择值指示应用参考像素的差值Rd0作为补偿值。

当参考像素的差值Rd0等于或大于目标像素的差值Td0以及为‘0'时，平衡模式压缩器BMC可以确定例如，代码值‘0'的第一选择值，该第一选择值指示不应用参考像素的差值Rd0作为补偿值。在这种情况下，可以应用预设默认作为补偿值。根据平均值的丢失程度，可以设置最佳补偿值作为默认值。例如，当比特流中丢失四比特的平均值时，可将默认值设为4。

当在解码期间应用大于目标像素的差值Td0的参考像素的差值Rd0作为补偿值时，目标像素的恢复的像素值(即，解码的像素值)与原始像素值(即，编码之前的像素值)之间的差可比平均值与原始像素值之间的差更大。另外，当参考像素的差值Rd0为‘0'，并且应用参考像素的差值Rd0作为补偿值时，可以不补偿平均值与原始像素值之间的差值。因此，当参考像素的差值Rd0大于目标像素的差值Td0或者为‘0'时，平衡模式压缩器BMC可以将第一选择值确定为代码值‘0'，并且当解码时可以根据第一选择值的代码值‘0'应用默认值而不是参考像素的差值Rd0作为补偿值。

平衡模式压缩器BMC可以确定指示目标像素T0和T1中哪个像素具有更大的值的第一坡度值。换句话说，第一坡度值可以指示针对目标像素T0和T1中的特定像素是将差值加至平均值还是从平均值减去差值。例如，当第一坡度值是代码值‘0'时，目标像素T0的像素值可以大于目标像素T1的像素值，当第一坡度值是代码值‘1'时，目标像素T1的像素值可以大于目标像素T0的像素值。因此，当第一坡度值是‘0'时，在解码时，可以恢复其中补偿值(差值Rd0或者默认值)加至平均值(例如，图6B中的AVGh0)的值作为目标像素T0的像素值，可以恢复其中从平均值AVGh0中减去补偿值的值作为目标像素T1的像素值。

与上述的相似，平衡模式压缩器BMC可以计算参考像素R33和R34的差值Rd1以及目标像素T2和T3的差值Td1，并且可以当解码目标像素T2和T3时通过将差值Rd1与差值Td1进行比较来确定指示是否应用差值Rd1的第二选择值。另外，平衡模式压缩器BMC可以确定指示目标像素T2和T3的坡度的第二坡度值。

当将平均化方向确定为竖直方向VD时，平衡模式压缩器BMC可以按照与上述的方法相似的方法来产生平衡信息。

再参照图5，平衡模式压缩器BMC可以产生包括平均值、平衡信息和压缩信息的比特流(S150)。

另一方面，如上参照图3A描述的，压缩方法还可包括：在产生比特流之后，通过解压缩比特流来产生恢复的像素值；以及基于恢复的像素值产生恢复的图像数据，恢复的图像数据包括要用于压缩在目标像素组之后要被执行压缩的下一目标像素组的参考像素。

图7A和图7B示出了根据实施例的比特流。

可以假设在压缩之前的目标像素(例如，图4中的T0、T1、T2或T3)的像素值由包括10比特的数据表示，并且随着目标像素组TG以约50％的压缩率被压缩，比特流BSa和BSb各自具有包括20比特的数据。

参照图7A和图7B，比特流BSa和BSb可包括报头HD和数据块DB。报头HD可包括具有用于压缩的编码方法(例如，DPCM方法、HV平衡模式编码方法等)的模式信息、压缩率、丢失信息等，数据块DB可包括根据目标像素T0、T1、T2和T3的像素值的信息，例如，所述多个平均值和与平均值有关的平衡信息。

当将比特流BSa或BSb发送至图像处理装置(例如，图1中的200)作为压缩数据CDT时，解码器(例如，图1中的230)可以基于报头HD中包括的模式信息来确定压缩方法(例如，编码方法)，并且可以通过基于对应于压缩方法的解压缩方法(例如，解码方法)中包括的信息和数据块DB解码比特流BSa和BSb来解压缩压缩数据CDT。

报头HD可被分配至第十七比特B16至第二十比特B19。由于四比特被分配至报头HD，因此报头HD可包括4×4(＝16)条模式信息之一。

数据块DB被分配至第一比特B0至第十六比特B15，数据块DB可包括第一平均区AVE0和第二平均区AVE1以及平衡信息区BIF。第一平均区AVE0和第二平均区AVE1中的每一个可被分配六比特，第一平均区AVE0可被分配至第十一比特B10至第十六比特B15，第二平均区AVE1可被分配至第五比特B4至第十比特B9。第一平均区AVE0和第二平均区AVE1可包括目标像素的平均值AVGh0和AVGh1(或者AVGv0和AVGv1)。

平衡信息区BIF可被分配给四比特，即，第一比特B0至第四比特B3。

参照图7A，平衡信息区BIF可包括第一坡度值S0、第二坡度值S1、第一选择值b0和第二选择值b1。在这种情况下，关于平均化方向的信息可以被包括在报头HD中作为模式信息。

参照图7B，平衡信息区BIF可包括诸如平均化方向的信息。平衡信息区BIF可包括关于平均化方向的信息D、坡度值S、第一选择值b0和第二选择值b1。相同的坡度值S可应用于目标像素T0和T1(或者T0和T2)以及目标像素T2和T3(或者T1和T3)。例如，当坡度值S是代码值‘1'时，在编码期间，对于目标像素T0和T1中的目标像素T1，可以将补偿值(例如，图6D中的差值Rd0或者默认值)加至平均值(例如，AVGh0)，并且对于目标像素T0，可以从平均值中减去补偿值。另外，对于目标像素T2和T3中的目标像素T3，可以将补偿值(例如，图6D中的差值Rd1或者默认值)加至平均值(例如，AVGh1)，并且对于目标像素T2，可以从平均值中减去补偿值。

图8示出了根据压缩方法的比较例的压缩方法实施例，其中可以省略基本上重复的描述。比较而言，虽然图6A至图6D和图7A至图7B可以示出根据HV方法的压缩方法，但是实施例不限于此。例如，图8示出了根据利用参考映射RM的DPCM方法的压缩方法，例如，可以通过正常模式压缩器(例如，图3A和图3B中的NMC)执行压缩方法。

参照图8，正常模式压缩器NMC可以基于参考映射RM中包括的至少一个参考像素的参考值来压缩目标像素T0、T1、T2和T3。例如，参考映射RM的参考像素R32可以用于目标像素组TG的压缩。

正常模式压缩器NMC可以计算参考像素R32的参考值与目标像素T0的像素值之间的差值d0。例如，可以从像素值283中减去参考值127，因此，差值d0可为156。在这种情况下，当像素值小于补偿参考值时，差值d0可具有负值。可替换地，可以通过从补偿参考值中减去像素值来产生差值d0。

正常模式压缩器NMC可以计算目标像素T0、T1、T2和T3之间的差值d1、d2和d3。差值d1、d2和d3可以分别为78(＝361-283)、-41(＝320-361)和82(＝402-320)。

平衡模式压缩器BMC可以基于参考像素R32的参考值与目标像素T0的像素值之间的差值d0以及目标像素T0、T1、T2和T3之间的差值d1、d2和d3来产生用于目标像素组TG的比特流BS'。

比特流BS'可包括报头HD和数据块DB，并且数据块DB可包括多个剩余区，例如，第一剩余区至第四剩余区RD0、RD1、RD2和RD3。例如，第一剩余区至第四剩余区RD0、RD1、RD2和RD3可包括参照图8计算的差值d0、d1、d2和d3。作为非限制性示例，比特流BS'中包括的值可以通过使用最高有效数比特表示法被表示为负值和正值。

第一剩余区至第四剩余区RD0、RD1、RD2和RD3中的每一个可被分配给相同数量的比特。例如，第四剩余区RD3可被分配至第一比特B0至第四比特B3，第三剩余区RD2可被分配至第五比特B4至第八比特B7，第二剩余区RD1可被分配至第九比特B8至第十二比特B11，第一剩余区RD0可被分配至第十三比特B12至第十六比特B15。

另一方面，差值d0可为156，差值d1、d2和d3可分别为78、-41和82。差值d1、d2和d3可由相似或相同数量的比特(例如，八比特，其包括表示绝对值的七比特和表示符号的一比特)表示。然而，差值d0可与差值d1、d2和d3有很大的不同，并且可能需要八比特用于表示差值d0的绝对值。然而，因为第一剩余区至第四剩余区RD0、RD1、RD2和RD3被分配给相同数量的比特，因此当正常模式压缩器NMC基于根据当前比较示例的压缩方法对隔离区的像素组PG执行压缩时，会发生大量数据丢失。

因此，当目标像素组TG对应于隔离区时，根据实施例的图像传感器模块(例如，图1中的100)可以通过利用HV平衡编码方法对目标像素组TG执行压缩，减少压缩损失，并且提高压缩效率。

图9示出了根据实施例的图像数据和参考映射。

在图9中，图像数据IDTa可包括拜尔图案。在实施例中，可以通过利用连续布置的四个像素单元来设置像素组PG。在实施例中，像素组PG可包括两个红色像素和两个绿色像素或者两个蓝色像素和两个绿色像素。

可以以像素组PG为单位执行压缩，并且可以产生与在目标像素组TG之前被压缩并且邻近于目标像素组TG的相同颜色像素组PG对应的像素组PG的参考像素(例如、R11、R12、R13、R14、R21、R22、R23、R24、R31、R32、R33和R34)的参考值作为用于压缩目标像素组TG的参考映射RM。

目标像素组TG与参考像素R11、R12、R13、R14、R21、R22、R23、R24、R31、R32、R33和R34的像素值之间可以存在明显的差(例如，125或更大，不限于此)，并且可以将目标像素组TG确定为对应于隔离区。因此，可以基于HV平衡编码方法来压缩目标像素组TG。

图10示出了根据实施例的压缩方法。可以通过利用参考映射RM对图9中的图像数据IDTa执行图10的压缩方法。

参照图10，平衡模式压缩器(例如，图3A中的BMC)可以基于参考映射RM中包括的至少一个像素组的参考值来压缩目标像素T0、T1、T2和T3。例如，参考像素R31、R32、R33和R34可用于压缩目标像素组TG。在压缩期间，可以使用与目标像素具有相同颜色的参考像素。

像素组PG包括在水平方向HD上连续布置的四个像素，并且平衡模式压缩器BMC可以将水平方向HD确定为平均化方向。平衡模式压缩器BMC可以通过平均化对应于相同颜色的目标像素T0和T2的像素值来计算第一平均值AVGh0，并且通过平均化对应于相同颜色的目标像素T1和T3的像素值来计算第二平均值AVGh1。

平衡模式压缩器BMC可以基于参考像素R31和R33的参考值的差值Rd0以及目标像素T0和T2的像素值的差值Td0来产生关于目标像素T0和T2的平衡信息(例如，第一选择值和第一坡度值)。平衡模式压缩器BMC可以基于参考像素R32和R34的参考值的差值Rd1以及目标像素T1和T3的像素值的差值Td1来产生关于目标像素T1和T3的平衡信息(例如，第二选择值和第二坡度值)。

平衡模式压缩器BMC可以计算参考像素R33的补偿参考值与目标像素T0的像素值之间的差值d0，此外，计算目标像素T0和T2的像素值之间的差值d1。另外，平衡模式压缩器BMC可以计算参考像素R34的补偿参考值与目标像素T1的像素值之间的差值d2，并且计算目标像素T1和T3的像素值之间的差值d3。平衡模式压缩器BMC可以基于差值d0、d1、d2和d3产生比特流BS(例如，见图7A的Bsa、图7B的BSb和/或图8的BS’，不限于此)。可在比特流BS的数据块DB中包括差值d0、d1、d2和d3。

平衡模式压缩器BMC可以基于第一平均值AVGh0和第二平均值AVGh1以及平衡信息来产生比特流BS(例如，图7A的BSa或者图7B的BSb)。

图11A和图11B示出了根据实施例的图像传感器模块。

参照图11A，图像传感器模块100’可包括基本上与图1的图像传感器100相同的图像传感器110、编码器120和I/F130以及处理逻辑150。可以省略重复的描述。

图像传感器110可包括像素阵列PXA以及驱动和读出电路DRC。如上所述，像素阵列PXA可包括按照多行多列布置的多个像素PX。驱动和读出电路DRC可以控制像素阵列PXA，并且将从像素阵列PXA接收到的像素信号转换为像素值。驱动和读出电路DRC可以产生包括分别对应于接收到的像素信号的像素值的原始图像数据RDT。

处理逻辑150可以对原始图像数据RDT执行预处理。例如，预处理可包括诸如坏像素校正、串扰补偿、降噪、合并(binning)、尺寸改变和颜色空间转换的图像处理。

编码器120可以通过压缩从处理逻辑150接收到的图像数据IDT(或者原始图像数据RDT)来产生压缩数据CDT。编码器120可以以像素组为单位压缩图像数据IDT，并且通过利用已被执行压缩的邻近像素组来压缩要被执行压缩的目标像素组。如上所述，当目标像素组对应于隔离区时，编码器120可通过利用HV平衡编码方法来压缩目标像素组。

可将压缩数据CDT提供至I/F 130，并且I/F 130可将压缩数据CDT发送至图像处理装置(例如，图1中的200)。

参照图11B，图像传感器模块100a还可包括存储器160。存储器160可包括诸如DRAM和SRAM的易失性存储器或者诸如PRAM、ReRAM、MRAM和闪速存储器的非易失性存储器。由编码器120产生的压缩数据CDT可被存储在存储器160中。可以从存储器160读取压缩数据CDT，并且经由I/F 130输出压缩数据CDT。

图12示出了根据实施例的解码器220。

解码器220可以通过按照相反的次序由编码器(例如，图1中的120)执行用于编码图像数据IDT执行的一系列操作，通过解压缩压缩数据CDT来产生解压缩数据DDT(例如，恢复的图像数据)。

解码器220可以通过利用对应于编码器120所使用的编码方法的解码方法来解压缩压缩数据CDT。解码器220可以以比特流为单位来解码压缩数据CDT。

解码器220可包括参考像素检测器221、模式解码器222、解压缩器223和参考缓冲器224。

参考像素检测器221可以接收压缩数据CDT，并且从参考缓冲器224接收将用于解压缩压缩数据CDT中包括的比特流的要被解压缩的目标比特流的参考映射RM。参考映射RM可包括与要被参考的比特流有关的像素组的相邻像素的参考值(即，参考像素的参考值)。

参考像素检测器221可以检测在存储在参考缓冲器中的恢复的图像数据中邻近于目标像素组的参考像素位置的参考值(即，参考像素的恢复像素值)，并且可以从参考缓冲器224接收参考值作为参考映射RM。参考像素检测器221可以向模式解码器222或解压缩器223提供压缩数据CDT的目标比特流和参考映射RM。

模式解码器222可以解码比特流的报头HD，并且通过利用解码结果确定模式信息、压缩率、丢失信息等。根据实施例，模式解码器222可以通过利用解码报头HD的结果来验证已在HV平衡编码方法或者另一编码方法(例如，DPCM方法)中执行压缩。

解压缩器223可以基于确定的压缩模式、压缩率、丢失信息等从比特流中恢复目标像素。根据实施例，当通过利用解码报头HD的结果确定已在HV平衡编码方法中产生比特流时，解压缩器223可以从比特流的数据块中验证平均值和平衡信息，并且可以基于平衡信息通过将补偿值应用于平均值来恢复压缩的像素的像素值。通过解码比特流产生的像素组可以作为解压缩数据DDT输出。

参考缓冲器224可以存储解压缩数据DDT，即，恢复的图像数据。在实施例中，参考缓冲器224可以存储对应于恢复的图像数据的下一个要被解压缩的比特流的像素组。在实施例中，图像处理装置(例如，图1中的200)中配置的存储器或者缓冲器(例如，存储器220)可以用作参考缓冲器224。

图13示出了根据实施例的图像处理系统10b。图像处理系统10b是图1的图像处理系统10的可修改的实施例。

参照图13，图像处理系统10b可包括图像传感器模块100b和图像处理装置200b。图像传感器模块100b可包括图像传感器110和I/F 130。图像传感器模块100b还可包括存储器。图像处理装置200b可包括I/F 210、编码器250、解码器230、图像信号处理器240和存储器220。图13中的编码器250可以对应于图1中的编码器120。

将图13的图像处理系统10b与图1的图像处理系统10进行比较，与图像传感器模块100b不同的图像处理装置200b可包括编码器250，并且图像处理装置200b可以压缩图像数据IDT。其它部件可以基本上彼此相同。可以省略对与图1的图像处理系统10的部件基本上相似的图像处理系统10b的部件的重复描述。

参照图13，图像传感器模块100b可以产生图像数据IDT(原始图像数据或者预处理的图像数据)。图像数据IDT可以经I/F 130发送至图像处理装置200b。图像处理装置200b可以从图像传感器模块100b接收图像数据IDT，编码图像数据IDT以形成压缩数据CDT，并且将压缩数据CDT存储至存储器220。然后，解码器230可以读取存储在存储器220中的压缩数据CDT，并且解压缩压缩数据CDT。解码器230可以将压缩数据CDT(例如，恢复的图像数据)提供至图像信号处理器240。

如上所述，可以以像素组为单位执行压缩和解压缩，可以基于HV平衡编码方法压缩或者解压缩对应于压缩数据CDT的隔离区的像素组。

图14示出了根据实施例的压缩信息。图14示出了根据由移动工业处理器接口(MIPI)联盟提出的标准的压缩模式(或压缩方法)的示例。

参照图14，可以根据各种压缩模式压缩四格图案的图像数据(例如，图2中的IDT)。然而，实施例不限于此，可以根据各种压缩模式压缩其中交替布置有包括按照n×n矩阵布置的像素的红色像素组、蓝色像素组、第一绿色像素组和第二绿色像素组的图像数据。

作为压缩模式，可以使用基于平均值的方向差分(AD)模式、基于扩展的多像素的差分(eMPD)模式、基于扩展的水平或竖直方向的差分(eHVD)模式、基于扩展的水平或竖直平均值的差分(eHVA)模式、基于倾斜方向的差分(OD)模式、扩展的离群值补偿(eOUT)模式、离群值补偿(OUT)模式、和固定量化且无参考(FNR)模式。然而，上述压缩模式的名称可以仅是示例，实施例不限于此。

在AD模式中，可以通过利用DPCM方法对目标像素组执行编码。例如，可以基于目标像素组的像素值的平均值之间的差值和各个像素值与平均值之间的差值来产生比特流(例如，图7A中的BSa)。

根据具体实施算法，AD模式可以分为MODE0、MODE1、MODE2和MODE3。因为可以将四比特分配给表示压缩方法的报头，所以十六种压缩模式可以通过利用彼此不同的比特来表示报头信息。例如，MODE0可以用比特0000表示，MODE1可以用比特0001表示，MODE2可以用比特0010表示，并且MODE3可以用比特0011表示。

在OD模式中，可以压缩对角线结构的图像数据IDT。根据具体实施算法，OD模式可分为MODE4(例如，比特0100)和MODE5(例如，比特0101)。相似地，eMPD模式可包括MODE8(例如，比特1000)、MODE9(例如，比特1001)、MODE10(例如，比特1010)和MODE11(例如，比特1011)，eHVD模式可包括MODE12(例如，比特1100)和MODE13(例如，比特1101)。

eHVA模式可包括MODE14(例如，比特1110)。根据实施例的HV平衡模式可以对应于eHVA模式，平衡模式压缩器(例如，图3A中的BMC)可以产生包括指示eHVA模式的报头HD的比特流。

eOUT模式可包括MODE15(例如，比特1111)，OUT模式可包括MODE7(例如，比特0111)。FNR模式可包括MODE6(例如，比特0110)。在实施例中，根据存储在寄存器中的值，MODE7(例如，0111)可被包括在eOUT模式中。

在实施例中，模式选择器(例如，图3A和图3B中的123)可以按次序评估AD模式、eMPD模式、eHVD模式、eHVA模式、OD模式、eOUT模式、OUT模式和FNR模式，并且可以根据诸如压缩率和丢失信息的压缩评估指标来选择最佳模式。然而，本公开不限于所述的模式评估次序。

图15A示出了包括具有多个相机模块的多相机模块的电子装置1000，图15B示出了图15A中的相机模块。

参照图15A，电子装置1000可包括多相机模块1100、应用处理器1200、PMIC 1300和外部存储器1400。

多相机模块1100可包括多个相机模块1100a、1100b和1100c。虽然附图中示出了其中布置了三个相机模块1100a、1100b和1100c的实施例，但是实施例不限于此。在实施例中，多相机模块1100可仅包括两个相机模块，或者可以修改和实施为包括k(其中，k是等于或大于4的自然数)个相机模块。

下文中，参照图15B，将描述相机模块1100b的详细构造，但是下面的描述可等同地应用于根据实施例的其它相机模块1100a和1100c。

参照图15B，相机模块1100b可包括棱镜1105、光路折叠元件(下文中，称作OPFE)1110、致动器1130、图像感测装置1140和存储部1150。

棱镜1105可以改变从外部入射的光L的路径，其包括反光材料的反射表面1107。

在多个实施例中，棱镜1105可以将在第一方向X上入射的光L的路径改变为垂直于第一方向X的第二方向Y。另外，棱镜1105可以使反光材料的反射表面1107以中心轴线1106为中心旋转到方向A，或者通过将中心轴线1106旋转到方向B来将在第一方向X上入射的光L的路径改变为第二方向Y。在这种情况下，OPFE 1110可以移动到垂直于第一方向X和第二方向Y的第三方向Z。

在多个实施例中，如所示出的，棱镜1105在方向A上的最大旋转角度可以在正(+)方向A上等于或小于大约15度并且在负(-)方向A上大于大约15度，但是实施例不限于此。

在多个实施例中，棱镜1105可以在正(+)方向B或负(-)方向B上移动大约20度的角度或者在大约10度与大约20度之间或大约15度与大约20度之间移动，在这种情况下，移动的角度可以为在正(+)方向B或负(-)方向B上的相同的角度，或者在大约1度的范围内几乎相似。

在多个实施例中，棱镜1105可以将反射表面1107移动到与中心轴线1106的延伸方向平行的第三方向(例如，Z方向)。

在多个实施例中，相机模块1100b可包括两个或更多个棱镜，并且通过这些棱镜在第一方向X上入射的光L的路径可以不同地改变，诸如改变为垂直于第一方向X的第二方向Y，再次改变为第一方向X或第三方向Z，并且回到第二方向Y。

例如，OPFE 1110可包括光学透镜，其包括m(其中m是自然数)个组。m个透镜可以在第二方向Y上移动，并且改变相机模块1100b的光学变焦比。例如，当相机模块1100b的基本光学变焦比为Z，并且OPFE 1110中包括的m个光学透镜移动时，相机模块1100b的光学变焦比可以改变为3Z或5Z或者更大的光学变焦比。

致动器1130可以将OPFE 1110或者所述光学透镜(下文中，称作光学透镜)移动至特定位置。例如，致动器1130可以调整光学透镜的位置，使得图像传感器1142位于光学透镜的焦距处，以用于精确感测。

图像感测装置1140可包括图像传感器1142、控制逻辑1144和存储器1146。可以应用图1中的图像传感器模块100或者图13中的图像传感器模块100b作为图像感测装置1140。

图像传感器1142可以通过利用通过光学透镜提供的光L来感测感测目标的图像。控制逻辑1144可以控制相机模块1100b的所有操作，并且处理感测到的图像。例如，控制逻辑1144可以根据经由控制信号线CSLb提供的控制信号来控制相机模块1100b的操作，并且可以执行图像处理(诸如从感测的图像(例如，图像中的人的脸、手臂、腿等)提取对应于特定图像的图像数据)以及降噪。

在实施例中，控制逻辑1144可包括编码器(例如，图1中的120)，并且压缩(或者编码)感测到的图像或经图像处理的图像。如上所述，编码器120可以以像素组为单位压缩图像，并且根据HV平衡编码方法来压缩隔离区的像素组。

存储器1146可以存储相机模块1100b的操作所需的信息，像校准数据1147。校准数据1147可为通过利用从相机模块1100b外部提供的光L产生图像数据所需的信息，并且可包括例如关于旋转角度的信息、关于焦距的信息、关于光学轴的信息等的信息。当相机模块1100b按照其中焦距根据光学透镜的位置变化的多状态相机形式实施时，校准数据1147可包括光学透镜的每个位置(或者每种状态)的焦距值和关于自动对焦的信息。

在多个实施例中，压缩数据可以存储在存储器1146中。另外，存储器1146可以用作编码器120的参考缓冲器125。

存储部1150可以存储图像传感器1142感测到的图像数据。存储部1150可以布置在图像感测装置1140外部，并且可以实施为构成图像感测装置1140并且呈堆叠形式的传感器芯片。在多个实施例中，图像传感器1142可包括第一芯片，并且控制逻辑1144、存储部1150和存储器1146可包括第二芯片，因此，它们全部可以按照两个芯片堆叠的形式实施。

在多个实施例中，存储部1150可以实施为电可擦除可编程只读存储器(EEPROM)，但是实施例不限于此。在多个实施例中，图像传感器1142可包括像素阵列，并且控制逻辑1144可包括模数转换器和用于处理感测到的图像的图像信号处理器。

一起参照图15A和图15B，在多个实施例中，多个相机模块1100a、1100b和1100c中的每一个可包括致动器1130。因此，多个相机模块1100a、1100b和1100c中的每一个可根据其中包括的致动器1130的操作包括彼此相同或不同的校准数据1147。

在多个实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100b)可包括具有上述棱镜1105和OPFE 1110的折叠透镜型的相机模块，并且其它相机模块(例如，1100a和1100c)可包括不具有棱镜1105和OPFE 1110的竖直型相机模块，但是实施例不限于此。

在多个实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100c)可包括通过使用例如红外线(IR)提取深度信息的竖直型深度照相机。在这种情况下，应用处理器1200可以通过将竖直深度相机提供的图像数据与其他相机模块(例如1100a或1100b)提供的图像数据合并来产生三维(3D)深度图像。

在多个实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可具有彼此不同的视场。在这种情况下，例如，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)的光学透镜可以彼此不同，但是实施例不限于此。

另外，在多个实施例中，多个相机模块1100a、1100b和1100c中的每一个的视场可以彼此不同。例如，相机模块1100a可包括超广角相机，相机模块1100b可包括广角相机，相机模块1100c可包括长焦相机，但是实施例不限于此。在这种情况下，多个相机模块1100a、1100b和1100c中的每一个中包括的光学透镜也可以彼此不同，但是实施例不限于此。

在多个实施例中，多个相机模块1100a、1100b和1100c中的每一个可以在物理上彼此分开布置。换句话说，一个图像传感器1142的感测区域可以不被多个相机模块1100a、1100b和1100c划分和使用，独立的图像传感器1142可以布置在多个相机模块1100a、1100b和1100c中的每一个内。

再参照图15A，应用处理器1200可包括图像处理装置1210、存储器控制器1220和内部存储器1230。应用处理器1200以及多个相机模块1100a、1100b和1100c可以实施为彼此分离为例如分离的半导体芯片。

图像处理装置1210可包括多个子图像处理器1212a、1212b和1212c、图像产生器1214以及相机模块控制器1216。

图像处理装置1210可包括对应于多个相机模块1100a、1100b和1100c的数量的多个子图像处理器1212a、1212b和1212c。

可以经由图像信号线ISLa将相机模块1100a产生的图像数据提供至子图像处理器1212a，可以经由图像信号线ISLb将相机模块1100b产生的图像数据提供至子图像处理器1212b，并且可以经由图像信号线ISLc将相机模块1100c产生的图像数据提供至子图像处理器1212c。可以通过利用例如基于MIPI的CSI来执行图像数据的传输，但是实施例不限于此。

在实施例中，多个子图像处理器1212a、1212b和1212c中的至少一个可包括解码器(例如，图1中的230)。当对应的相机模块1100a、1100b和1100c包括编码器(例如，图1中的120)时，多个子图像处理器1212a、1212b和1212c可包括用于解压缩压缩图像数据的解码器230。

在多个实施例中，图13中的图像处理装置200b可以实施为多个子图像处理器1212a、1212b和1212c中的至少一个，并且多个子图像处理器1212a、1212b和1212c中的至少一个子图像处理器可包括编码器(例如，图13中的250)和解码器(例如，图13中的230)。

另一方面，在多个实施例中，一个子图像处理器可以布置为对应于多个相机模块。例如，子图像处理器1212a和子图像处理器1212c可以不实施为如所示出的彼此分离，但是还可以实施为集成到一个子图像处理器中，并且由相机模块1100a和相机模块1100c提供的图像数据可以在被选择元件(例如，多路复用器)选择之后被提供至集成的子图像处理器。在这种情况下，子图像处理器1212b可以不集成，并且从相机模块1100b接收图像数据。

另外，在多个实施例中，可以经由图像信号线ISLa将由相机模块1100a产生的图像数据提供至子图像处理器1212a，可以经由图像信号线ISLb将由相机模块1100b产生的图像数据提供至子图像处理器1212b，并且可以经由图像信号线ISLc将由相机模块1100c产生的图像数据提供至子图像处理器1212c。另外，可以将由子图像处理器1212b处理的图像数据直接提供至图像产生器1214，但是通过子图像处理器1212a和子图像处理器1212c处理的图像数据可以在被选择元件(例如，多路复用器)选择任一个之后被提供至图像产生器1214。

子图像处理器1212a、1212b和1212c中的每一个可以对由多个相机模块1100a、1100b和1100c提供的图像数据执行图像处理，诸如坏像素校正、自动对焦校正、自动白平衡、自动曝光(3A调整)、降噪、锐化、伽马控制和重新拼接(re-mosaic)。

在多个实施例中，重新拼接信号处理可以在被相机模块1100a、1100b和1100c中的每一个执行之后被提供至子图像处理器1212a、1212b和1212c。

可以将通过子图像处理器1212a、1212b和1212c中的每一个处理的图像数据提供至图像产生器1214。图像产生器1214可以根据图像产生信息或者模式信号通过利用由子图像处理器1212a、1212b和1212c中的每一个提供的图像数据来产生输出图像。

根据图像产生信息或者模式信号，图像产生器1214可以通过合并由图像处理器1212a、1212b和1212c产生的至少一部分图像数据来产生输出图像。另外，根据图像产生信息或模式信号，图像产生器1214可以通过选择由图像处理器1212a、1212b和1212c产生的任一个图像数据来产生输出图像。

在多个实施例中，图像产生信息可包括变焦信号或者变焦因子。另外，在多个实施例中，例如，模式信号可包括基于用户选择的模式的信号。

当图像产生信息包括变焦信号(变焦因子)，并且相机模块1100a、1100b和1100c具有彼此不同的视场时，图像产生器1214可以根据变焦信号的类型执行彼此不同的操作。例如，当变焦信号包括第一信号时，可以通过利用由子图像处理器1212a输出的图像数据和由子图像处理器1212c输出的图像数据中的从子图像处理器1212a输出的图像数据以及从子图像处理器1212b输出的图像数据来产生输出图像。当变焦信号包括与第一信号不同的第二信号时，可以通过利用子图像处理器1212a输出的图像数据和子图像处理器1212c输出的图像数据中的子图像处理器1212c输出的图像数据以及子图像处理器1212b输出的图像数据来产生输出图像。当变焦信号包括与第一信号和第二信号不同的第三信号时，图像产生器1214可以不执行这种图像数据合并，并且通过选择由子图像处理器1212a、1212b和1212c中的每一个输出的图像数据中的任一个来产生输出图像。然而，实施例不限于此，并且可以根据需要修改和执行处理图像数据的方法。

在多个实施例中，图像处理装置1210还可包括选择子图像处理器1212a、1212b和1212c的输出并且将其发送至图像产生器1214的选择器。

在这种情况下，选择器可以根据变焦信号或者变焦因子执行彼此不同的操作。例如，当变焦信号包括第四信号(例如，变焦比包括第一比)时，选择器可以选择来自子图像处理器1212a、1212b和1212c的输出中的任一个并且将其发送至图像产生器1214。

另外，当变焦信号包括与第四信号不同的第五信号(例如，变焦比包括第二比)时，选择器可以将来自子图像处理器1212a、1212b和1212c的输出中的p(其中p是等于或大于2的自然数)个输出按次序发送至图像产生器1214。例如，选择器可以将来自子图像处理器1212b的输出和来自子图像处理器1212c的输出按次序发送至图像产生器1214。另外，选择器可以将来自子图像处理器1212a的输出和来自子图像处理器1212b的输出按次序发送至图像产生器1214。图像产生器1214可以通过合并按次序提供的p个输出来产生一个输出图像。

在这种情况下，可以由子图像处理器1212a、1212b和1212c预先执行图像处理(诸如重新拼接、视频/预览分辨率尺寸缩小、伽马控制和高动态范围(HDR)处理)，然后，处理后的图像数据可以被发送到图像产生器1214。因此，即使处理后的图像数据经由选择器作为一条信号线提供给图像产生器1214，也可以在高速下执行图像产生器1214的图像合并操作。

在多个实施例中，图像产生器1214可以从子图像处理器1212a、1212b和1212c中的至少一个接收彼此具有不同曝光时间的多个图像数据，并且对多个图像数据执行HDR处理，并且然后可以产生具有增加的动态范围的合并的图像数据。

相机模块控制器1216可以向相机模块1100a、1100b和1100c中的每一个提供控制信号。由相机模块控制器1216产生的控制信号可以经由彼此分离的控制信号线CSLa、CSLb和CSLc提供给对应的相机模块1100a、1100b和1100c。

根据包括变焦信号的图像产生信息或模式信号，可以将多个相机模块1100a、1100b和1100c中的任何一个指定为主相机(例如1100b)，并且可以将其他相机模块(例如1100a和1100c)指定为从相机。这条信息可以包括在控制信号中，并且经由彼此分离的控制信号线CSL1、CSLb和CSLc提供给对应的相机模块1100a、1100b和1100c。

根据变焦因子或操作模式信号，可以改变作为主相机和从相机操作的相机模块。例如，当相机模块1100a的视场比相机模块1100b的视场更宽，并且变焦因子指示较低的变焦比时，相机模块1100a可以作为主相机操作，并且相机模块1100b可以作为从相机操作。相反，当变焦因子指示高变焦比时，相机模块1100b可以作为主相机操作，相机模块1100a可以作为从相机操作。

在多个实施例中，由相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个的控制信号可以包括同步使能信号。例如，当相机模块1100b是主相机，并且相机模块1100a和1100c是从相机时，相机模块控制器1216可以向相机模块1100b发送同步使能信号。已经接收到同步使能信号的相机模块1100b可以基于所提供的同步使能信号产生同步信号，并且可以经由同步使能信号线SSL将产生的同步信号提供给相机模块1100a和1100c。相机模块1100b以及相机模块1100a和1100c可以与同步信号同步，并且将图像数据发送到应用处理器1200。

在多个实施例中，由相机模块控制器1216提供给多个相机模块1100a、1100b和1100c的控制信号可以包括根据模式信号的模式信息。基于模式信息，多个相机模块1100a、1100b和1100c可以关于感测速度在第一操作模式和第二操作模式下操作。

多个相机模块1100a、1100b和1100c可以以第一速度产生图像信号(例如，产生第一帧率的图像信号)，以高于第一速度的第二速度对产生的图像信号进行编码(例如，对高于第一帧率的第二帧率的图像信号进行编码)，并且将编码后的图像信号发送给应用处理器1200。在这种情况下，第二速度可以等于或小于第一速度的30倍。

应用处理器1200可以将接收到的图像信号(即，编码的图像信号)存储在其中配备的内部存储器1230或应用处理器1200外部的外部存储器1400中，然后可以从内部存储器1230或外部存储器1400读取和解码编码的信号，并且可以显示基于解码的图像信号产生的图像数据。例如，对应于图像处理装置1210的多个子处理器1212a、1212b和1212c的对应的子处理器可以执行解码，并且另外，可以对解码的图像信号执行图像处理。

多个相机模块1100a、1100b和1100c可以在第二操作模式下以低于第一速度的第三速度产生图像信号(例如，产生低于第一帧率的第三帧率的图像信号)，并且将图像信号发送到应用处理器1200。提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器1200可以对接收到的图像信号执行图像处理，或者将图像信号存储到内部存储器1230或外部存储器1400。

PMIC 1300可以向多个相机模块1100a、1100b和1100c中的每一个提供电力(例如，电源电压)。例如，PMIC 1300可以在应用处理器1200的控制下经由电力信号线PSLa向相机模块1100a提供第一电力，经由电力信号线PSLb向相机模块1100b提供第二电力，并经由电力信号线PSLc向相机模块1100c提供第三电力。

PMIC 1300可以响应于来自应用处理器1200的电力控制信号PCON产生与多个相机模块1100a、1100b和1100c中的每一个对应的电力，并且另外可以调整电力的电平。电力控制信号PCON可以包括多个相机模块1100a、1100b和1100c的每种操作模式的电力调整信号。例如，操作模式可以包括低电力模式，并且在这种情况下，电力控制信号PCON可以包括关于在低电力模式下操作的相机模块和设置的电力电平的信息。提供给多个相机模块1100a、1100b和1100c中的每一个的电力的电平可以彼此相同或不同。此外，电力电平可以动态地改变。

图16示出了根据实施例的电子装置2000。图16的电子装置2000可包括移动终端。

参照图16，电子装置2000可包括应用处理器2100、相机模块2200、工作存储器2300、存储部2400、显示装置2600、用户接口2700和无线收发器2500。

应用处理器2100可以控制电子装置2000的操作，并且可以实施为驱动应用程序、操作系统等的片上系统(SoC)。应用处理器2100可以向显示装置2600提供或在存储部2400中存储由相机模块2200提供的图像数据。

以上参考图1至图11B描述的图像传感器模块100和100a可应用于相机模块2200。相机模块2200可包括编码器2210，编码器2210可通过压缩图像数据来产生压缩数据，并且将压缩数据发送到应用处理器2100。如上所述，当至少一些图像数据(例如，当至少一个像素组)对应于隔离区时，编码器2210可以通过使用HV平衡编码方法来压缩像素组。

应用处理器2100可以包括解码器2110，解码器2110通过使用与编码器2210的压缩方法(例如，编码方法)对应的解码方法来对压缩数据进行解压缩。解码器2110可以对从相机模块2200接收到的压缩数据进行解压缩并产生恢复的图像数据，并且应用处理器2100可以对恢复的图像数据执行图像处理。应用处理器2100可以在显示装置2600上显示或者在存储部2400中存储恢复的图像数据或经图像处理的图像数据。

工作存储器2300可以实施为易失性存储器(诸如DRAM和SRAM)或者非易失性存储器(例如FeRAM、RRAM和PRAM)。工作存储器2300可以存储应用处理器2100执行或处理的程序和/或数据。

存储部2400可以实施为非易失性存储器(诸如NAND闪存和电阻存储器)，并且存储部2400可以提供为例如存储器卡，诸如多媒体卡(MMC)、嵌入式MMC(eMMC)、安全卡(SD)和微SD。存储部2400可存储从相机模块2200接收到的图像数据或由应用处理器2100处理或产生的数据。

用户接口2700可以实施为能够接收用户输入的各种装置，诸如键盘、窗帘式键盘、触摸面板、指纹传感器和麦克风。用户接口2700可以接收用户输入，并向应用处理器2100提供与接收到的用户输入对应的信号。

无线收发器2500可包括收发器2510、调制解调器2520和天线2530。

虽然已经参照本公开的实施例具体地示出和描述了本公开，但是相关领域的普通技术人员将理解，在不脱离所附权利要求的精神和范围的情况下，可以做出形式和细节上的各种改变。

Claims (20)

1.一种图像压缩方法，包括：

接收将对其进行压缩的图像数据的目标像素组的像素值以及将用于所述目标像素组的压缩中的参考像素的参考值；

确定其中将对所述目标像素值执行平均化计算的平均化方向；

在所述平均化方向上平均化目标像素的像素值；

基于所述参考像素产生包括将应用于平均值的补偿值的平衡信息；以及

基于所述平均值、所述平衡信息和压缩信息产生比特流。

2.根据权利要求1所述的图像压缩方法，其中：

所述图像数据通过图像传感器产生，

所述参考值对应于在所述目标像素组之前已被压缩的所述参考像素的恢复的像素值，并且所述像素值中的至少一个像素值与所述参考值之间的差等于或大于阈值。

3.根据权利要求1所述的图像压缩方法，其中，所述平均化包括：在所述目标像素中在所述平均化方向上针对两对目标像素计算第一平均值和第二平均值。

4.根据权利要求3所述的图像压缩方法，其中，产生所述平衡信息的步骤包括：基于所述两对目标像素中的第一对目标像素的差值和所述参考像素中的第一对参考像素的差值来产生关于所述第一对目标像素的平衡信息。

5.根据权利要求4所述的图像压缩方法，其中，所述平衡信息包括用于所述第一对目标像素的第一选择值和第一坡度值，

其中，所述第一选择值指示是否将所述第一对参考像素的差值应用于所述第一平均值，并且

所述第一坡度值指示所述第一对目标像素中的具有更大的像素值的目标像素。

6.根据权利要求5所述的图像压缩方法，其中，当所述第一选择值指示所述第一对参考像素的差值不应用于所述第一对目标像素的第一平均值时，将预设默认值设为应用于所述第一平均值。

7.根据权利要求4所述的图像压缩方法，其中，所述平衡信息包括用于所述两对目标像素中的每一对的选择值和坡度值。

8.根据权利要求4所述的图像压缩方法，其中，所述平衡信息包括用于所述两对目标像素中的每一对的选择值和共同地应用于所述两对目标像素的坡度值。

9.根据权利要求1所述的图像压缩方法，其中，所述比特流包括报头和数据块，并且

在所述报头或所述数据块中包括关于所述平均化方向的信息。

10.根据权利要求1所述的图像压缩方法，还包括：

在产生所述比特流之后，通过解压缩所述比特流来产生恢复的像素值；以及

基于恢复的像素值，产生恢复的图像，所述恢复的图像包括将用于在所述目标像素组之后将对其执行压缩的下一目标像素组的压缩的参考像素。

11.根据权利要求1所述的图像压缩方法，其中，所述目标像素组包括对应于相同颜色并且按照2×2矩阵布置的四个像素。

12.一种图像传感器模块，包括：

图像传感器，其被配置为产生包括多个像素的图像数据；

编码器，其被配置为通过以像素组为单位按次序压缩由所述图像传感器产生的图像数据来产生包括多个比特流的压缩数据，并且压缩将根据多种编码方法中的至少一种编码方法压缩的目标像素组；以及

接口，其被配置为将所述压缩数据输出至外部图像处理装置，

其中，所述编码器根据所述多种编码方法中的第一编码方法基于目标像素的像素值产生平均值，产生包括将应用于所述平均值的补偿值的平衡信息，并且产生包括所述平均值、所述平衡信息和压缩信息的比特流。

13.根据权利要求12所述的图像传感器模块，其中，所述编码器基于参考值确定其中将对所述目标像素的像素值执行平均化计算的方向，所述参考值对应于在所述目标像素组之前已被压缩的参考像素的恢复的像素值。

14.根据权利要求13所述的图像传感器模块，其中，所述编码器基于所述目标像素中的第一对目标像素在所述方向上的差值和所述参考像素中的第一对参考像素的差值来确定用于所述第一对目标像素的选择值和坡度值。

15.根据权利要求12所述的图像传感器模块，其中，所述编码器通过根据所述多种编码方法压缩所述目标像素组来产生多条编码数据，并且选择所述多条编码数据中的具有最小误差率的编码数据作为用于所述目标像素组的压缩数据。

16.根据权利要求12所述的图像传感器模块，其中，当所述目标像素组的目标像素的像素值与参考值之间的差等于或大于阈值时，所述编码器根据所述多种编码方法中的第一编码方法来压缩所述目标像素组。

17.根据权利要求12所述的图像传感器模块，其中，所述多个比特流中的至少一个比特流包括用于所述目标像素的差值、选择值和坡度值。

18.一种图像处理系统，包括：

图像传感器，其被配置为感测接收到的光学信号并且产生图像数据；

编码器，其被配置为按次序压缩所述图像数据的多个像素组并且产生多个比特流；以及

解码器，其被配置为解压缩所述多个比特流，并且恢复所述图像数据，

其中，所述编码器产生包括基于目标像素的像素值的平均值和将应用于所述平均值的补偿值的平衡信息，并且产生包括所述平均值、所述平衡信息和压缩信息的比特流。

19.根据权利要求18所述的图像处理系统，其中，所述图像数据包括对应于相同颜色并且按照2×2矩阵布置的四个像素。

20.根据权利要求18所述的图像处理系统，其中，所述多个比特流经由基于移动工业处理器接口的相机串行接口从所述编码器发送至所述解码器。

Images