CN116134489A - 生成目标图像数据的方法、电子装置，和非暂时性计算机可读介质 - Google Patents

Abstract

一种方法，包括从图像信号处理器获得用于生成目标图像数据的嵌入式稀疏图像数据，其中嵌入式稀疏图像数据包括稀疏图像数据，稀疏图像数据包括像素，像素至少包括第一颜色像素、第二颜色像素和第三颜色像素；从稀疏图像数据中提取包括第一和第二数据部分的拆分数据；合并第一和第二数据部分以获得压缩数据；根据压缩曲线对压缩数据进行逆转换以获得逆转换的残差数据；将误差范围内的随机值加到逆转换的残差数据上以获得重构的残差数据；以及基于重构的残差数据和稀疏图像数据重构密集图像数据，其中密集图像数据包括像素，像素包括第一颜色像素。

Description

生成目标图像数据的方法、电子装置，和非暂时性计算机可读介质

技术领域

本申请涉及一种生成目标图像数据的方法、一种实现这种方法的电子装置，以及一种包括存储在其上用于执行这种方法的程序指令的非暂时性计算机可读介质。

背景技术

智能手机、平板终端等电子装置在我们的日常生活中被广泛使用。如今，许多电子装置都配备了摄像头组件来捕捉图像。一些电子装置是便携式的，因此很容易携带。因此，电子装置的使用者可以随时随地利用电子装置的摄像头组件轻松地对对象进行拍照。

有多种格式来捕获对象的图像并生成其目标图像数据。一种广为人知的格式是包括稀疏图像数据的拜耳格式。

除了稀疏图像数据，为了提高目标图像数据中对象的图像质量，摄像头组件在拍摄物体的图像时也会产生密集图像数据。在这种情况下，稀疏图像数据和密集图像数据用于生成目标图像数据以显示在显示器上或存储在电子装置的存储器中。为了降低电子装置的开发成本，优选使用通用的图像信号处理器根据稀疏图像数据和密集图像数据生成目标图像数据。

发明内容

本申请旨在解决上述技术问题中的至少一个。因此，本申请需要提供一种生成目标图像数据的方法、实现这种方法的电子装置，以及包括存储在其上的用于执行这种方法的程序指令的非暂时性计算机可读介质。

根据本申请，一种生成目标图像数据的方法可以包括：

从图像信号处理器获取用于生成目标图像数据的嵌入式稀疏图像数据，其中，所述嵌入式稀疏图像数据包括稀疏图像数据，并且所述稀疏图像数据包括多个像素，所述多个像素至少包括第一颜色像素、第二颜色像素和第三颜色像素；

从所述稀疏图像数据中提取包括第一数据部分和第二数据部分的拆分数据；

合并所述第一数据部分和所述第二数据部分，以获得压缩数据；

根据压缩曲线对所述压缩数据进行逆转换，以获得逆转换的残差数据；

将误差范围内的随机值加到所述逆转换的残差数据上，以获得重构的残差数据；和

基于所述重构的残差数据和所述稀疏图像数据重构密集图像数据，其中，所述密集图像数据包括多个像素，所述多个像素包括第一颜色像素。

根据本申请，一种电子装置可以包括：

图像信号处理器，配置为基于嵌入式稀疏图像数据生成目标图像数据；和

主处理器，配置为：

从所述图像信号处理器获取用于生成所述目标图像数据的所述嵌入式稀疏图像数据，其中，所述嵌入式稀疏图像数据包括稀疏图像数据，并且所述稀疏图像数据包括多个像素，所述多个像素至少包括第一颜色像素、第二颜色像素和第三颜色像素；

从所述稀疏图像数据中提取包括第一数据部分和第二数据部分的拆分数据；

合并所述第一数据部分和所述第二数据部分，以获得压缩数据；

根据压缩曲线对所述压缩数据进行逆转换，以获得逆转换的残差数据；

将误差范围内的随机值加到所述逆转换的残差数据上，以获得重构的残差数据；和

基于所述重构的残差数据和所述稀疏图像数据重构密集图像数据，其中，所述密集图像数据包括多个像素，所述多个像素包括第一颜色像素。

根据本申请，一种非暂时性计算机可读介质上可以存储有程序指令，所述程序指令用于至少执行以下操作：

从图像信号处理器获取用于生成目标图像数据的嵌入式稀疏图像数据，其中，所述嵌入式稀疏图像数据包括稀疏图像数据，并且所述稀疏图像数据包括多个像素，所述多个像素至少包括第一颜色像素、第二颜色像素和第三颜色像素；

从所述稀疏图像数据中提取包括第一数据部分和第二数据部分的拆分数据；

合并所述第一数据部分和所述第二数据部分，以获得压缩数据；

根据压缩曲线对所述压缩数据进行逆转换，以获得逆转换的残差数据；

将误差范围内的随机值加到所述逆转换的残差数据上，以获得重构的残差数据；和

基于所述重构的残差数据和所述稀疏图像数据重构密集图像数据，其中，所述密集图像数据包括多个像素，所述多个像素包括第一颜色像素。

附图说明

从下面参照附图的描述中，本申请实施例的这些和/或其它方面和优点将变得显而易见，并且更容易理解。

图1是本申请实施例的电子装置的第一侧的平面图；

图2是本申请实施例的电子装置的第二侧的平面图；

图3是本申请第一实施例的电子装置的框图；

图4是本申请实施例的电子装置执行的目标图像生成处理的流程图(部分1)；

图5是本申请实施例的电子装置执行的目标图像生成处理的流程图(部分2)；

图6是本申请实施例中产生输入到图像信号处理器的嵌入式稀疏图像数据的机制的示意图；

图7是本申请实施例中解释如何基于密集图像数据中的第一对中的两个相邻像素计算原始残差数据和压缩数据的示意图；

图8为本申请的实施例中压缩原始残差数据生成压缩数据的压缩曲线的示例之一；

图9是本申请实施例中解释如何对原始残差数据进行拆分生成拆分数据并将拆分数据嵌入到稀疏图像数据中的示意图；

图10是本申请实施例中解释如何基于重构的密集图像数据和生成的图像数据生成组合图像数据的示意图；

图11是解释如何基于压缩数据重构密集图像数据中第一对中的两个相邻像素的示意图；

图12是第一对中相邻的两个像素的差值较小时的局部放大的压缩曲线图；

图13是第一对中相邻的两个像素的差值较大时的局部放大的压缩曲线图；以及

图14为本申请实施例中基于嵌入式稀疏图像数据生成目标图像数据的机制的示意图。

具体实施方式

将详细描述本申请的实施例，并且实施例的示例将在附图中示出。在整个描述中，相同或相似的元件和具有相同或相似功能的元件由相同的附图标记表示。本文中结合附图所描述的实施例是解释性的，旨在说明本公开，但不应理解为对本公开的限制。

(第一实施例)

图1是本申请的第一实施例的电子装置10的第一侧的平面图，图2是本申请的第一实施例的电子装置10的第二侧的平面图。第一侧可称为电子装置10的后侧，而第二侧可称为电子装置10的前侧。

如图1和图2所示，电子装置10可以包括显示器20和摄像头组件30。在本实施例中，摄像头组件30包括第一主摄像头32、第二主摄像头34和副摄像头36。第一主摄像头32和第二主摄像头34可以拍摄电子装置10的第一侧的图像，副摄像头36可以拍摄电子装置10的第二侧的图像。因此，第一主摄像头32和第二主摄像头34是所谓的外摄像头(out-camera)，副摄像头36是所谓的内摄像头(in-camera)。举例来说，电子装置10可以是手机、平板电脑、个人数字助理等。

第一主摄像头32、第二主摄像头34和副摄像头36中的每一个都具有图像传感器，该图像传感器将已经通过滤色器的光转换为电信号。电信号的信号值取决于通过滤色器的光量。

尽管根据本实施例的电子装置10具有三个摄像头，但是电子装置10可以具有少于三个或多于三个的摄像头。例如，电子装置10可以具有两个、四个、五个等摄像头。

图3是本实施例的电子装置10的框图。如图3所示，除了显示器20和摄像头组件30之外，电子装置10还可以包括主处理器40、图像信号处理器42、存储器44、电源电路46和通信电路48。显示器20、摄像头组件30、主处理器40、图像信号处理器42、存储器44、电源电路46和通信电路48通过总线50相互连接。

主处理器40执行存储在存储器44中的一个或多个程序指令。主处理器40通过执行程序指令来实现电子装置10的各种应用和数据处理。主处理器40可以是一个或多个计算机处理器。主处理器40不限于一个CPU核，也可以具有多个CPU核。主处理器40可以是电子装置10的主CPU、图像处理单元(image processing unit，IPU)或设置有摄像头组件30的DSP。

图像信号处理器42控制摄像头组件30并处理由摄像头组件30捕获的各种图像数据以产生目标图像数据。例如，图像信号处理器42可以将去马赛克处理、降噪处理、自动曝光处理、自动对焦处理、自动白平衡处理、高动态范围处理等应用到由摄像头组件30捕获的图像数据。

在本实施例中，主处理器40和图像信号处理器42相互协作，以生成摄像头组件30所捕获的对象的目标图像数据。即，主处理器40和图像信号处理器42被配置为通过摄像头组件30捕获对象的图像，并对捕获的图像数据进行各种图像处理。

存储器44存储要由主处理器40执行的程序指令和各种数据。例如，捕获图像的数据也存储在存储器44中。

存储器44可以包括高速RAM存储器和/或非易失性存储器，例如闪存和磁盘存储器。也就是说，存储器44可以包括其中存储有程序指令的非暂时性计算机可读介质。

电源电路46可以具有诸如锂离子可充电电池的电池和用于管理电池的电池管理单元(battery management unit，BMU)。

通信电路48用于接收和发送数据以通过无线通信与电信网络系统的基站、互联网或其他设备进行通信。无线通信可以采用任何通信标准或协议，包括但不限于全球移动通信系统(Global System for Mobile communication，GSM)、码分多址(Code DivisionMultiple Access，CDMA)、长期演进(Long Term Evolution，LTE)、LTE-Advanced、5G。通信电路48可以包括天线和射频电路。

如图4和图5是本实施例的电子装置10的目标图像生成处理的流程图。在本实施例中，例如，由主处理器40执行目标图像生成处理，以生成目标图像数据。然而，主处理器40还可以与图像信号处理器42协作以生成目标图像数据。因此，主处理器40和图像信号处理器42构成本实施例中的图像处理器。

此外，在本实施例中，目标图像生成处理的程序指令存储在存储器44的非暂时性计算机可读介质中。因此，例如，当从存储器44中读取程序指令并在主处理器40中执行程序指令时，主处理器40执行图4和图5所示的目标图像生成过程。

参照图4，例如，主处理器40获得稀疏图像数据和密集图像数据(步骤S10)。在本实施例中，主处理器40从摄像头组件30获得稀疏图像数据和密集图像数据。也就是说，摄像头组件30捕获对象的图像并生成稀疏图像数据和密集图像数据。在本实施例中，稀疏图像数据包括多个绿色像素、多个红色像素以及多个蓝色像素。另一方面，密集图像数据包括多个绿色像素。

为了利用摄像头组件30生成稀疏图像数据和密集图像数据，摄像头组件30可以具有专门的图像传感器来捕获对象的图像并使用单个摄像头通过执行单次成像操作生成稀疏图像数据和密集图像数据。在这种情况下，例如，第一主摄像头32可以捕获对象的图像并且通过执行单个成像操作来生成稀疏图像数据和密集图像数据。

另一方面，摄像头组件30可以使用两个摄像头来捕捉对象的图像，并通过执行单个成像操作来生成稀疏图像数据和密集图像数据。在这种情况下，例如，第一主摄像头32捕获对象的图像并生成稀疏图像数据，而第二主摄像头34捕获对象的图像并生成密集图像数据。

另一方面，摄像头组件30可以使用单个摄像头通过执行两次成像操作来捕获对象的图像并生成稀疏图像数据和密集图像数据。例如，副摄像头36通过执行第一次成像操作来捕获对象的图像以生成稀疏图像数据，然后副摄像头36通过在第一次成像操作之后立即执行第二次成像操作来捕获对象的图像，生成密集的图像数据。

图6是解释生成要输入到图像信号处理器42的嵌入式稀疏图像数据的机制的示意图。

如图6所示，稀疏图像数据符合拜耳格式。因此，用于捕获对象图像的摄像头组件30的图像传感器的滤色器的绿色、红色和蓝色的排布符合拜耳排布。在拜耳格式中，绿色像素G1的数量是稀疏图像数据中红色像素R1的数量或蓝色像素B1的数量的两倍。稀疏图像数据也可以称为来自摄像头组件30的原始数据(RAW data)。

密集图像数据由绿色像素G2组成。这是因为人眼对绿色的亮度比对红色或蓝色的亮度更敏感。在本实施例中，捕获密集图像以调整目标图像数据的亮度。

接下来，如图4所示，例如，主处理器40在密集图像数据中选择两个绿色像素G2，并生成选择的两个绿色像素G2的原始残差数据(步骤S12)。即，在本实施例中，为了减少数据量，通过计算密集图像数据中相邻两个像素之间的差值来生成原始残差数据。

图7是解释如何生成原始残差数据、压缩数据和拆分数据的示意图。如图6和图7所示，稀疏图像数据中的绿色像素G1对应于密集图像数据中的绿色像素G2a。即，同一位置的绿色像素G1的值与绿色像素G2a的值大致相等。

另一方面，绿色像素G2b包含在密集图像数据中，但不包含在稀疏图像数据中。即，稀疏图像数据不包含与密集图像数据中的绿色像素G2b对应的绿色像素。在图7中，作为示例示出了构成第一对的彼此相邻的一个绿色像素G2a和一个绿色像素G2b。换言之，例如，主处理器40在步骤S12中选择密集图像数据中的第一对中的一个，并且重复后述的步骤S12至步骤S20，直到所有的第一对都被处理完。

一般而言，相邻两个像素的亮度近似或相同。即，绿色像素G2a的值和与该绿色像素G2a相邻的绿色像素G2b的值的差值通常较小。因此，在本实施例中，为了减少数据量，绿色像素G2a的值和与绿色像素G2a相邻的绿色像素G2b的值之间的差值是通过从与绿色像素G2b相邻的绿色像素G2a的值中减去绿色像素G2b的值而获得的。

换言之，密集图像数据中的两个相邻像素G2a和G2b构成第一对以生成原始残差数据。在图6中的稀疏图像数据的例子中，有12(3×4)个第一对用于计算原始残差数据。换言之，第一对的数量是密集图像数据的绿色像素G2的数量的一半。

此外，例如，在本实施例中，1个绿色像素G2由10比特(bits)构成。也就是说，密集图像数据的一个绿色像素G2的值在0到1023之间。由于原始残差数据的值变为+1023到-1024之间，因此，原始残差数据由11比特组成。

接下来，参照图4，例如，主处理器40基于原始残差数据生成压缩数据(步骤S14)。有多种方法可以压缩原始残差数据以减少原始残差数据的比特的数值。这里将解释压缩原始残差数据的方式的一个示例。

图8是压缩原始残差数据以生成压缩数据的压缩曲线的示例之一。即，根据压缩曲线将原始残差数据转换为压缩数据。压缩曲线也称为色调曲线以压缩各种数据，并且定义原始残差数据的值与压缩数据的值之间的关系。压缩数据的比特的数值小于原始残差数据的比特的数值。

例如，如图7和图8所示，在本实施例中，由11比特组成的原始残差数据被压缩为由8比特组成的压缩数据。也就是说，原始残差数据的值在-1024和+1023之间，而压缩数据的值在-128和+127之间。

如上所述，由于密集图像数据的相邻两个绿色像素G2a和G2b的值之间的差值通常较小，因此压缩曲线在原始残差数据的绝对值较小的范围内基本呈线性增减。另一方面，压缩曲线在原始残差数据的绝对值较大的范围内基本上是平坦的或恒定的。结果，压缩曲线呈S形。

通过基于图8所示的压缩曲线压缩原始残差数据，可以将11比特组成的原始残差数据压缩成8比特组成的压缩数据。例如，如果原始残差数据的值为10，则压缩数据的值也为10。因此，如果将原始残差数据的值根据压缩曲线展开，则残差数据的值可以返回到10。也就是说，在原始残差数据的绝对值较小的范围内，压缩数据可以返回到与原始残差数据基本相同的残差数据。

另一方面，如果原始残差数据的值为1023，则压缩数据的值为127。另外，如果原始残差数据的值为980，则压缩数据的值为126。即，在原始残差数据的绝对值较大的范围内，压缩数据无法恢复到与原始残差数据相同的残差数据。换言之，当原始残差数据的绝对值较大时，残差数据基于压缩数据的扩展值是粗糙的。但是，由于原始残差数据的绝对值大的可能性低于原始残差数据的绝对值小的可能性，因此原始残差数据的绝对值较大的值范围的低再现性是可以接受的。

接下来，如图4所示，主处理器40基于压缩数据生成拆分数据(步骤S16)。即，由于压缩数据的像素尺寸过大而无法将其嵌入到稀疏图像数据中，因此在本实施例中，将压缩数据拆分为两部分数据，即第一数据部分和第二数据部分。

图9是解释如何从压缩数据生成拆分数据的示意图。图9的上部示出了相关技术的比较例，图9的下部示出了对本实施例的说明。

如图9所示，压缩数据的值用8比特表示，被拆分为4比特的第一数据部分和4比特的第二数据部分。

在本实施例中，虽然图像信号处理器42中的对应稀疏图像数据的每个像素的可用空间由14比特组成，但是稀疏图像数据的每个像素需要10比特。因此，14比特中的4比特是保留的比特并且不用于图像信号处理器42中。也就是说，14比特中的4比特的空间是其中不存储稀疏图像数据的空闲空间。

因此，在本实施例中，为了能够将由8比特组成的压缩数据插入到稀疏图像数据的4个保留的比特中，将8比特压缩数据被分成两个4比特部分，作为拆分数据。因此，第一数据部分的大小和第二数据部分的大小与稀疏图像数据的空闲空间的大小相匹配。因此，在本实施例中，将8比特的压缩数据被分为4比特的第一数据部分和4比特的第二数据部分。

接下来，如图4所示，例如，主处理器40将拆分数据嵌入到稀疏图像数据中以生成嵌入式稀疏图像数据(步骤S18)。如图9和图6所示，拆分数据嵌入到稀疏图像数据的两组4个保留的比特中。

更具体地说，在本实施例中，稀疏图像数据的每个红色像素R1、每个蓝色像素B1和每个绿色像素G1具有4个保留的比特，作为图像信号处理器42的空闲空间。以下，嵌入了拆分数据的稀疏图像数据也称为嵌入式稀疏图像数据。

如图6所示，在拜耳格式的稀疏图像数据中，红色像素R1和绿色像素G1可以构成第二对，蓝色像素B1和绿色像素G1也可以构成第二对。在拜耳格式中，每对两个相邻像素包括绿色像素G1以及红色像素R1，或包括绿色像素G1以及蓝色像素B1。在图6中的稀疏图像数据的例子中，稀疏图像数据包括12(3×4)个第二对，每一对由绿色像素G1和红色像素R1组成，或由绿色像素G1和蓝色像素B1组成。

第二对中的绿色像素G1对应于位于与密集图像数据中第一对对应的位置的第一对中的绿色像素G2。也就是说，当稀疏图像数据的第二对的位置与密集图像数据的第一对的位置相同时，稀疏图像数据中第二对的绿色像素G1的值与密集图像数据中第一对的绿色像素G2的值基本相同。

在本实施例中，拆分数据的第一数据部分被嵌入到第二对的绿色像素G1中的4比特的空闲空间中，拆分数据的第二数据部分被嵌入到第二对中的红色像素R1或蓝色像素B1中的4比特的空闲空间中。

也就是说，拆分数据的第一数据部分和第二数据部分被嵌入到第二对的两个相邻的红色像素R1和绿色像素G1中或第二对的两个相邻的蓝色像素B1和绿色像素G1中。因此，在本实施例中，拆分数据的第一数据部分和第二数据部分都可以嵌入到稀疏图像数据的空闲空间中。

此外，在本实施例中，密集图像数据的第一对与稀疏图像数据的第二对具有一一对应关系。因此，第一数据部分和第二数据部分被嵌入到第二对的两个相邻像素中，第二对的两个相邻像素对应于最初计算第一数据部分和第二数据部分的第一对。即，将第一数据部分和第二数据部分插入到对应于原始第一对的位置的第二对中。

然而，拆分数据可以以允许指定拆分数据的第一数据部分和第二数据部分在稀疏图像数据中的嵌入位置的任何方式嵌入到稀疏图像数据的空闲空间中。

在图9的上部所示的比较例中，当稀疏图像数据输入到图像信号处理器42时，绿色像素G2b的信息被丢弃。然而，在本实施例中，绿色像素G2b的数据也可以嵌入到稀疏图像数据中，因此不会丢弃绿色像素G2b的信息。

接下来，如图4所示，例如，主处理器40判断密集图像数据中的所有第一对是否都已被处理并完成(步骤S20)。也就是说，在本实施例中，每个基于第一对的原始残差数据都应该被嵌入到稀疏图像数据中。

如果密集图像数据中的所有第一对并未全部被处理和完成(步骤S20：否)，则目标图像生成过程返回到步骤12并重复从步骤S12到步骤S18的过程。也就是说，重复从步骤S12到步骤S18的过程，直到所有第一对的原始残差数据都嵌入到稀疏图像数据中。

另一方面，例如，如果密集图像数据中的所有第一对都已被处理并完成(步骤S20：是)，则主处理器40将嵌入式稀疏图像数据输入到图像信号处理器42(步骤S22)。即，包括稀疏图像数据和拆分数据的嵌入式稀疏图像数据被输入到图像信号处理器42以生成目标图像数据。此后，图像信号处理器42开始处理嵌入式稀疏图像数据中的稀疏图像数据以生成目标图像数据。

接下来，如图5所示，例如，主处理器40从图像信号处理器42获得嵌入式稀疏图像数据(步骤S30)。也就是说，图像信号处理器42具有一个或多个数据输出端口，用于在处理过程中输出各种数据，以及一个或多个数据输入端口，用于将各种数据输入图像信号处理器42。因此，主处理器40通过图像信号处理器42的一个数据输出端口获得嵌入式稀疏图像数据。

图10是说明本实施例的生成目标图像数据的机制的示意图。如图10所示，嵌入式稀疏图像数据可以从图像信号处理器42获得，嵌入式稀疏图像数据包括稀疏图像数据和拆分数据。

顺便提及，当嵌入式稀疏图像数据在处理期间，从图像信号处理器42获得的嵌入式稀疏图像数据可能与输入到图像信号处理器42的嵌入式稀疏图像数据不同。然而，由于拆分数据是存储在稀疏图像数据中的空闲空间中并且没有被破坏，因此这里公开的目标图像生成过程是可以接受的。

接下来，如图5所示，例如，主处理器40从嵌入式稀疏图像数据中提取拆分数据(步骤S32)。也就是说，主处理器40在稀疏图像数据中提取第二对中的一个拆分数据。在本实施例中，稀疏图像数据的每个像素包括4比特的拆分数据的第一数据部分或4比特的拆分数据的第二数据部分。因此，包括第一数据部分和第二数据部分的拆分数据被从嵌入式稀疏图像数据中提取出来。在本实施例中，例如，主处理器40在步骤S32中从稀疏图像数据中的第二对中提取拆分数据，并重复步骤S32至以下提到的步骤S40，直到第二对中的所有拆分数据都被处理完。

接下来，如图5所示，例如，主处理器40将拆分数据的第一数据部分和第二数据部分合并在一起以获得压缩数据(步骤S34)。如前所述，在生成拆分数据时，8比特的压缩数据已经被拆分为4比特的第一数据部分和4比特的第二数据部分。因此，可以通过将已经从同一第二对中提取的第一数据部分和第二数据部分合并来重构压缩数据。通过将第一数据部分和第二数据部分合并在同一第二对中，可以再次得到图9所示的压缩数据。

接下来，如图5所示，例如，主处理器40对压缩数据进行逆转换以获得逆转换的残差数据(步骤S36)。如前所述，在步骤S14中，根据压缩曲线已经将11比特的原始残差数据压缩为8比特的压缩数据。因此，可以从8比特组成的压缩数据中得到11比特组成的逆转换的残差数据。

图11是解释如何从拆分数据中重构密集图像数据的示意图。即，图11示出了与参照图7说明的原始残差数据和压缩数据的生成相反的过程。

如图11所示，可以利用图8所示的压缩曲线对压缩数据进行逆转换得到逆转换的残差数据。也就是说，在生成压缩数据时，压缩数据已经通过使用图8所示的压缩曲线从原始残差数据转换而来。因此，通过对压缩数据进行逆转换，逆转换的残差数据与原始残差数据相同或接近。

接下来，如图5所示，例如，主处理器40将误差范围内的随机值加到逆转换的残差数据上以获得重构的残差数据(步骤S38)。由于逆转换的残差数据相对于原始残差数据包含一定量的误差，因此主处理器将误差范围内的随机值加到逆转换的残差数据上以隐藏相对于原始残差数据的错误。

图12是第一对中的绿色像素G2a和G2b之间的差值相对较小的局部放大的压缩曲线图。图13示出了第一对中的绿色像素G2a和G2b之间的差值相对较大的局部放大的压缩曲线图。

如图12所示，如果压缩数据的值为10，则逆转换的残差数据的值也为10。即可以精确得到逆转换的残差数据，并且逆转换的残差数据与原始残差数据相等。

另一方面，如图13所示，如果压缩数据为110，则逆转换的残差数据的值为810。但是，原始残差数据可能是810、811、812或813。也就是说，在压缩原始残差数据时，如果原始残差数据为810、811、812和813，则压缩数据变为110。因此，不可能通过对压缩数据进行逆转换得到完全相同的原始残差数据。它会导致目标图像数据中出现锯齿和线条。

因此，在本实施方式中，例如，主处理器40将误差范围内的随机值加到逆转换的残差数据中。如图13所示，主处理器40将0、1、2或3添加到810。在这种情况下，0、1、2和3的值是误差范围内的随机值，并且810是逆转换的残差数据。即，误差范围内的随机值是原始残差数据在压缩曲线中能够取的值与逆转换的残差数据的值的差值中的一个。

根据图8中的压缩曲线，误差范围的随机值取决于残差数据的值。如果残差数据很小，则误差范围很窄。例如，如果压缩数据为10，则误差范围的随机值只能为0，因为逆转换的残差数据只能为10。

另一方面，如果残差数据很大，则误差范围很广。例如，如果压缩数据是110，则误差范围的随机值是0、1、2或3，因为逆转换的残差数据是810，而原始残差数据可能是810、811、812或813。

在本实施例中，如果压缩数据大于110，则误差范围大于4。

原始残差数据是未知的，因此，在本实施例中，将误差范围内的随机值加到逆转换的残差数据中以获得重构的残差数据。换言之，重构的残差数据可以随机分散在可能的原始残差数据中。

接下来，如图5所示，例如，主处理器40基于重构的残差数据重构密集图像数据(步骤S40)。即，如图11所示，为了计算绿色像素G2b的值，将重构的残差数据与绿色像素G2a的值相加。

如上所述，密集图像数据包括多个第一对，每个第一对包括绿色像素G2a和绿色像素G2b。另外，残差数据的值表示第一对中的绿色像素G2a的值与绿色像素G2b的值的差值。绿色像素G2a的值可以从来自图像信号处理器42的嵌入式稀疏图像数据中获得，因为绿色像素G2b的值与稀疏图像数据中的绿色像素G1的值基本相同。因此，可以通过将残差数据的值与绿色像素G2a的值相加来计算绿色像素G2b的值。

此后，密集图像数据的第一对可以通过合并稀疏图像数据的绿色像素G2a的值和通过将残差数据的值与绿色像素G2a的值相加而计算出的绿色像素G2b的值而获得。

接下来，如图5所示，例如，主处理器40判断嵌入式稀疏图像数据中的所有拆分数据是否已被处理并完成(步骤S42)。也就是说，在本实施例中，应从嵌入式稀疏图像数据中提取每个拆分数据，并对其进行处理以重构密集图像数据中所有第一对的绿色像素G2b。

如果嵌入式稀疏图像数据中的拆分数据并未全部处理完毕(步骤S42：否)，则目标图像生成过程返回到步骤32并重复从步骤S32到步骤S40的过程。即，重复从步骤S32到步骤S40的处理，直到重构密集图像数据中所有第一对的绿色像素G2b为止。

另一方面，若嵌入式稀疏图像数据中的所有拆分数据均已处理完毕(步骤S42：是)，则表示由包括绿色像素G2a和绿色像素G2b的第一对组成的密集图像数据已经被重构完成。因此，例如，主处理器40从图像信号处理器42的一个数据输出端口获得基于稀疏图像数据的生成图像数据(步骤S48)。如图10所示，可以从图像信号处理器42获得作为以稀疏图像数据开始的处理结果的生成的图像数据。

接下来，如图5所示，例如，主处理器40将重构的密集图像数据与在步骤44中获得的生成图像数据组合以生成组合图像数据(步骤S46)。

图14是在步骤S46中基于稀疏图像数据的生成图像数据和重构的密集图像数据的一个例子。如图14所示，在图像信号处理器42中基于稀疏图像数据生成了生成图像数据。因此，即使生成图像数据的图像显示在显示器20上，图像的亮度也可能稍微粗糙，但它是全彩色图像。相反，如果在显示器20上显示密集图像数据的图像，则图像的亮度可以令人满意，因为密集图像数据的颜色是绿色，它是人眼的光敏颜色。因此，在本实施例中，将密集图像数据与基于稀疏图像数据的生成图像数据进行合成，生成组合图像数据。

接下来，如图5和图10所示，例如，主处理器40将组合图像数据输入到图像信号处理器42的一个数据输入端口(步骤S48)。此后，图像信号处理器42继续处理组合图像数据，最终从图像信号处理器42输出目标图像数据。

例如，可以基于目标图像数据生成要在显示器20上显示的图像。或者，目标图像数据可以存储在存储器44中。目标图像数据有多种格式。例如，目标图像数据可以被格式化为JPEG、TIFF、GIF等。

如上所述，根据本实施例的电子装置10，通过将误差范围内的随机值与逆转换的残差数据相加而得到重构的残差数据。因此，重构的残差数据可以随机分散在可能的原始残差数据中。进而可以隐藏目标图像数据中的锯齿。

顺便提及，在上述实施例中，虽然将压缩数据拆分为第一数据部分和第二数据部分，但如果稀疏图像数据中的空闲空间足以容纳非拆分的压缩数据，则不一定要拆分压缩数据。在这种情况下，压缩数据可以直接嵌入到稀疏图像数据中，因此可以从图像信号处理器42获得的嵌入式稀疏图像数据中直接提取压缩数据。

此外，在上述实施例中，虽然以绿色生成密集图像数据，但是可以使用另一种颜色来生成密集图像数据。例如，黄色可用于生成密集图像数据。在这种情况下，摄像头组件30的图像传感器的滤色器由红黄蓝(RYB)组成，稀疏图像数据由红黄蓝组成，而密集图像数据由黄色组成。

此外，稀疏图像数据可以包括多于三种颜色。例如，稀疏图像数据可以包括绿色像素、红色像素、蓝色像素和黄色像素。也就是说，稀疏图像数据可以包括至少三种颜色的多个像素。

在本申请实施例的描述中，应当理解诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“背部”、“左”、“右”、“垂直”、“水平”、“顶部”、“底部”、“内”、“外”、“顺时针”和“逆时针”等术语应被解释为是指所描述的或所讨论的图中所示的方向或位置。这些相对术语仅用于简化对本申请的描述，并不表示或暗示所提及的设备或元件必须具有特定的方向，或者以特定的方向构造或操作。因此，这些术语不能被解释为限制本公开。

此外，诸如“第一”和“第二”之类的术语在本文中用于描述的目的，并不旨在指示或暗示相对重要性或重要性或暗示所指示的技术特征的数量。因此，采用“第一”和“第二”定义的特征可以包括一个或多个该特征。在本申请的描述中，“多个”是指两个或两个以上，除非另有说明。

在对本申请实施例的描述中，除非另有说明或限制，“安装”、“连接”、“耦合”等术语是广义使用的，例如可以是固定连接、可拆卸连接或连接成一体；可以是机械连接，也可以是电气连接；可以是直接连接，或通过中间结构间接连接；也可以是两个元件内部连通。本领域技术人员可以根据具体情况来理解。

在本申请实施例中，除非另有说明或限制，第一特征在第二特征之“上”或之“下”可以包括第一特征与第二特征直接接触的实施例；还可以包括这样的实施例，其中第一特征和第二特征彼此不直接接触，而是通过在它们之间形成的附加特征接触。此外，第一特征在第二特征的“之上”、“上方”或“在顶部”可以包括第一特征在第二特征的正上方或者侧上方的实施例，或仅表示第一特征的高度高于第二特征的高度；而第一特征在第二特征的“之下”、“下方”或“在底部”可以包括第一特征是在第二个特征的正下方或侧下方的实施例，或者仅表示第一个特征的高度低于第二个特征的高度。

在以上描述中提供了各种实施例和例子以实现本申请的不同结构。为了简化本申请，上面描述了某些元件和设置。然而，这些元件和设置仅作为示例，并不旨在限制本申请。此外，参考数字和/或参考字母可以在本申请的不同示例中重复。这种重复是为了简化和清楚的目的，而不是指不同实施例和/或设置之间的关系。此外，在本申请中提供了不同工艺和材料的示例。然而，本领域技术人员将理解，也可以应用其他工艺和/或材料。

在整个说明书中对“实施例”、“一些实施例”、“示例性实施例”、“示例”、“具体示例”或“一些示例”的引用是指在本文中结合实施例或示例描述的特定特征、结构、材料或特性包括在本申请的至少一个实施例或示例中。因此，贯穿本说明书的上述短语的出现不一定指本申请的相同实施例或示例。此外，特定特征、结构、材料或特性可以在一个或多个实施例或示例中以任何合适的方式组合。

在流程图中描述或在此以其他方式描述的任何过程或方法可以理解为包括一个或多个模块，用于在过程中实现特定逻辑功能或步骤的可执行指令的代码段或部分，并且本申请的优选实施例的范围包括其它实现方式，本领域技术人员应该理解，功能可以以不同于所示或讨论的顺序的顺序来实现，包括以基本相同的顺序或以相反的顺序。

此处以其他方式描述或流程图所示的逻辑和/或步骤，例如用于实现该逻辑功能的可执行指令的特定序列表，可以在指令执行系统、装置或设备(如基于计算机的系统，该系统包括能够从指令执行系统、装置和设备获得指令并执行该指令的处理器或其它系统)所使用的任何计算机可读介质中具体实现，或与指令执行系统、装置和设备组合使用。至于本说明书，“计算机可读介质”可以是适用于包括、存储、通信、传播或传输程序以供指令执行系统、装置或设备使用，或与指令执行系统、装置或设备组合使用的任何装置。计算机可读介质的更具体示例包括但不限于：具有一根或多根电线的电子连接器(电子装置)、便携式计算机外壳(磁性设备)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤设备和便携式光盘只读存储器(CDROM)。此外，计算机可读介质甚至可以是纸或其他能够在其上打印程序的适当介质，这是因为，例如，纸或其他适当介质可以被光学扫描，然后必要时用其他适当方法对其进行编辑、解密或处理以电子方式获取程序，然后将程序存储在计算机内存中。

应当理解，本申请的各个部分可以通过硬件、软件、固件或者它们的组合来实现。在上述实施例中，多个步骤或方法可以通过存储在存储器中并由适当的指令执行系统执行的软件或固件来实现。例如，如果是通过硬件实现，同样在另一个实施例中，这些步骤或方法可以通过本领域已知的以下技术中的一种或组合来实现：具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路，具有适当组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本领域技术人员应当理解，本申请上述示例方法中的全部或部分步骤可以通过程序指令相关硬件来实现。该程序可以存储在计算机可读存储介质中，该程序在计算机上运行时该程序包括本申请方法实施例中的一个或多个步骤的组合。

另外，本申请实施例的各个功能单元可以集成在处理模块中，或者这些单元可以单独物理存在，或者两个或多个单元集成在处理模块中。集成的模块可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成模块以软件功能模块的形式实现并作为独立的产品销售或者使用时，该集成模块可以存储在计算机可读取存储介质中。

上述存储介质可以是只读存储器、磁盘、光盘等。

尽管已经示出和描述了本申请实施例，但是本领域的技术人员应当理解，这些实施例是解释性的，不能解释为限制本申请，并且可以在不脱离本申请的范围的情况下对本申请实施例进行改变、修改、替代和变形。

Claims (14)

1.一种生成目标图像数据的方法，其特征在于，包括：

从图像信号处理器获取用于生成目标图像数据的嵌入式稀疏图像数据，其中，所述嵌入式稀疏图像数据包括稀疏图像数据，并且所述稀疏图像数据包括多个像素，所述多个像素至少包括第一颜色像素、第二颜色像素和第三颜色像素；

从所述稀疏图像数据中提取包括第一数据部分和第二数据部分的拆分数据；

合并所述第一数据部分和所述第二数据部分，以获得压缩数据；

根据压缩曲线对所述压缩数据进行逆转换，以获得逆转换的残差数据；

将误差范围内的随机值加到所述逆转换的残差数据上，以获得重构的残差数据；和

基于所述重构的残差数据和所述稀疏图像数据重构密集图像数据，其中，所述密集图像数据包括多个像素，所述多个像素包括所述第一颜色像素。

2.根据权利要求1所述的方法，其特征在于，所述误差范围内的随机值是原始残差数据在所述压缩曲线中取的值与所述逆转换的残差数据的值之间的差值中的一个。

3.根据权利要求1所述的方法，其特征在于，所述密集图像数据中相邻的两个像素构成第一对，所述第一对包括所述第一颜色像素的第一值和所述第一颜色像素的第二值。

4.根据权利要求3所述的方法，其特征在于，所述重构所述密集图像数据，包括：

从所述稀疏图像数据中获取所述第一对中的所述第一颜色像素的第一值；

将所述重构的残差数据与所述第一颜色像素的第一值相加，以获得第一颜色像素的第二值。

5.根据权利要求1所述的方法，其特征在于，进一步包括：

在基于来自图像信号处理器的所述稀疏图像数据生成所述目标图像数据的过程中获取生成图像数据；和

将所述生成图像数据和从所述重构的残差数据中重构的所述密集图像数据组合以生成组合图像数据。

6.根据权利要求5所述的方法，其特征在于，进一步包括将所述组合图像数据输入到所述图像信号处理器。

7.根据权利要求1所述的方法，其特征在于，所述压缩曲线大致呈S形，其中较大残差数据的压缩比大于较小残差数据的压缩比。

8.根据权利要求3所述的方法，其特征在于，进一步包括：

从捕获对象的摄像头组件中获取所述稀疏图像数据和所述密集图像数据；

基于所述密集图像数据，通过计算所述密集图像数据中所述第一对中的所述第一颜色像素的第一值与所述第二颜色像素的第二值之间的差值，生成原始残差数据；

根据所述压缩曲线对所述原始残差数据进行压缩生成所述压缩数据，以减少所述原始残差数据的数据量；

通过将所述压缩数据拆分为所述第一数据部分和所述第二数据部分来生成所述拆分数据；和

将所述拆分数据嵌入到所述稀疏图像数据中，以生成所述嵌入式稀疏图像数据。

9.根据权利要求8所述的方法，其特征在于，所述稀疏图像数据中的两个相邻像素构成第二对，将所述第一数据部分和所述第二数据部分嵌入到位于与所述密集图像数据的所述第一对对应位置的所述第二对的两个相邻像素中。

10.根据权利要求8所述的方法，其特征在于，进一步包括：

将所述嵌入式稀疏图像数据输入到所述图像信号处理器。

11.根据权利要求1-10中任一项所述的方法，其特征在于，第一颜色是绿色，第二颜色是红色，第三颜色是蓝色。

12.根据权利要求11所述的方法，其特征在于，所述稀疏图像数据符合拜耳格式。

13.一种电子装置，其特征在于，包括：

图像信号处理器，配置为基于嵌入式稀疏图像数据生成目标图像数据；和

主处理器，配置为：

从所述图像信号处理器获取用于生成所述目标图像数据的所述嵌入式稀疏图像数据，其中，所述嵌入式稀疏图像数据包括稀疏图像数据，并且所述稀疏图像数据包括多个像素，所述多个像素至少包括第一颜色像素、第二颜色像素和第三颜色像素；

从所述稀疏图像数据中提取包括第一数据部分和第二数据部分的拆分数据；

合并所述第一数据部分和所述第二数据部分，以获得压缩数据；

根据压缩曲线对所述压缩数据进行逆转换，以获得逆转换的残差数据；

将误差范围内的随机值加到所述逆转换的残差数据上，以获得重构的残差数据；和

基于所述重构的残差数据和所述稀疏图像数据重构密集图像数据，其中，所述密集图像数据包括多个像素，所述多个像素包括第一颜色像素。

14.一种非暂时性计算机可读介质，其上存储有程序指令，所述程序指令用于至少执行以下操作：

从图像信号处理器获取用于生成目标图像数据的嵌入式稀疏图像数据，其中，所述嵌入式稀疏图像数据包括稀疏图像数据，并且所述稀疏图像数据包括多个像素，所述多个像素至少包括第一颜色像素、第二颜色像素和第三颜色像素；

从所述稀疏图像数据中提取包括第一数据部分和第二数据部分的拆分数据；

合并所述第一数据部分和所述第二数据部分，以获得压缩数据；

根据压缩曲线对所述压缩数据进行逆转换，以获得逆转换的残差数据；

将误差范围内的随机值加到所述逆转换的残差数据上，以获得重构的残差数据；和

基于所述重构的残差数据和所述稀疏图像数据重构密集图像数据，其中，所述密集图像数据包括多个像素，所述多个像素包括第一颜色像素。

Images