CN115918104A - 目标图像数据的生成方法，电子设备和非暂时性计算机可读介质 - Google Patents

Abstract

一种生成目标图像数据的方法包括：获取稀疏图像数据和稠密图像数据，其中，稀疏图像数据包括至少第一颜色像素、第二颜色像素和第三颜色像素中的多个像素，稠密图像数据包括所述第一颜色像素中的多个像素；通过计算稠密图像数据中的每两个相邻像素之间的差值，基于稠密图像数据来生成残差数据；压缩残差数据生成压缩数据，以减少残差数据的数据量；分割所述压缩数据的每个像素生成分割数据，其中所述分割数据包括第一数据部分和第二数据部分；以及将分割数据嵌入到稀疏图像数据中来生成嵌入式稀疏图像数据。

Description

目标图像数据的生成方法，电子设备和非暂时性计算机可读介质

技术领域

本发明涉及一种生成目标图像数据的方法，一种实现这种方法的电子设备以及一种包括存储在其上用于执行这种方法的程序指令的非暂时性计算机可读介质。

背景技术

智能手机、平板终端等电子设备广泛应用于我们的日常生活中。现在，许多电子设备都配备了摄像机组件来捕捉图像。一些电子设备是便携式的，易于携带，因此，电子设备的用户可以随时随地通过使用电子设备的摄像机组件来轻松地拍摄对象的照片。

有许多格式来获取对象的图像并生成其目标图像数据。广为人知的格式之一是拜耳格式，其包括稀疏图像数据。

除了稀疏图像数据之外，为了基于目标图像数据提高对象的图像质量，当摄像机组件捕获对象时还生成稠密图像数据。在这种情况下，稀疏图像数据和稠密图像数据被用于生成待在显示器上显示或待在电子设备的存储器中存储的目标图像数据。然而，普通的图像信号处理器不能处理这两种类型的图像数据。

发明内容

本发明旨在解决上述技术问题中的至少一个。因此，本发明需要提供一种生成目标图像数据的方法和实现这种方法的电子设备。

根据本发明，生成目标图像数据的方法可以包括：

获取稀疏图像数据和稠密图像数据，其中稀疏图像数据包括至少第一颜色像素、第二颜色像素和第三颜色像素中的多个像素，稠密图像数据包括第一颜色像素中的多个像素；

通过计算所述稠密图像数据中的每两个相邻像素之间的差值，基于所述稠密图像数据生成残差数据；

压缩所述残差数据生成压缩数据，以减少所述残差数据的数据量；

分割所述压缩数据的每个像素生成分割数据，其中，所述分割数据包括第一数据部分和第二数据部分；以及

将所述分割数据嵌入到所述稀疏图像数据中来生成嵌入式稀疏图像数据。

在一些实施例中，该方法还可以包括将所述嵌入式稀疏图像数据输入到图像信号处理器，所述图像信号处理器处理所述嵌入式稀疏图像数据中的所述稀疏图像数据以生成所述目标图像数据。

在一些实施例中，所述稠密图像数据中的每两个相邻像素可以构成第一组，并且所述第一组包括所述第一颜色像素的第一值和所述第一像素的第二值。

在一些实施例中，所述稀疏图像数据中的每两个相邻像素可以构成第二组，并且所述第二组包括所述第一颜色像素的第三值和所述第二颜色像素的第四值，或者包括所述第一颜色像素的第三值和所述第三颜色像素的第四值。

在一些实施例中，所述第一组中的所述第一颜色像素的第一值可以对应于位于与所述第二组中的所述第一颜色像素的第三值，所述稠密图像数据的所述第一组的位置与所述稀疏图像数据的所述第二组的位置对应。

在一些实施例中，所述生成残差数据可以包括从所述第一组中的所述第一颜色像素的第一值中减去所述第一颜色像素的第二值。

在一些实施例中，其中生成压缩数据可以包括减少所述残差数据的比特数。

在一些实施例中，减少所述残差数据的比特数可以包括基于定义所述残差数据的像素值与所述压缩数据的像素值之间的关系的压缩曲线将所述残差数据转换为所述压缩数据。

在一些实施例中，所述稀疏图像数据中的每一个所述第一颜色像素、每一个所述第二颜色像素和每一个所述第三颜色像素可以具有其中不存储所述稀疏图像数据的备用空间。

在一些实施例中，在生成所述分割数据时，所述分割数据的所述第一数据部分和所述第二数据部分的大小可以与所述稀疏图像数据中的每一个所述第一颜色像素、每一个所述第二颜色像素和每一个所述第三颜色像素中的备用空间的大小相匹配。

在一些实施例中，生成所述嵌入式稀疏图像数据可以包括将所述第一组的所述第一数据部分和所述第二数据部分嵌入到所述稀疏图像数据的第二组的备用空间中。

在一些实施例中，该方法可以进一步包括：

在嵌入式稀疏图像数据输入到所述图像信号处理器之后，从所述图像信号处理器获取所述嵌入式稀疏图像数据；

从图像信号处理器获取的嵌入式稀疏图像数据中提取分割数据，以生成压缩数据；

扩展由所述分割数据生成的所述压缩数据以重构所述残差数据；以及

基于从压缩数据重构的残差数据重构稠密图像数据。

在一些实施例中，该方法可以进一步包括：

在处理期间获取生成的图像数据，以基于来自所述图像信号处理器的所述稀疏图像数据来生成目标图像数据；以及

组合所生成的图像数据和从残差数据重构的稠密图像数据，以生成组合图像数据。

在一些实施例中，所述方法还可以包括将所述组合图像数据输入到所述图像信号处理器。

在一些实施例中，第一颜色可以是绿色，第二颜色可以是红色，第三颜色可以是蓝色。

在一些实施例中，稀疏图像数据可以符合拜耳格式。

根据本发明，一种电子设备可以包括：

摄像机组件，被配置为获取对象的图像并生成稀疏图像数据和稠密图像数据；以及

主处理器，被配置为：

获取稀疏图像数据和稠密图像数据，其中稀疏图像数据包括至少第一颜色像素、第二颜色像素和第三颜色像素中的多个像素，稠密图像数据包括第一颜色像素中的多个像素；

通过计算稠密图像数据中的每两个相邻像素之间的差值，基于稠密图像数据生成残差数据；

压缩残差数据生成压缩数据，以减少所述残差数据的数据量；

分割所述压缩数据的每个像素生成分割数据，其中，所述分割数据包括第一数据部分和第二数据部分；以及

将分割数据嵌入到稀疏图像数据中来生成嵌入式稀疏图像数据。

在一些实施例中，主处理器还可以被配置为将所述嵌入式稀疏图像数据输入到图像信号处理器，所述图像信号处理器处理所述嵌入式稀疏图像数据中的所述稀疏图像数据以生成所述目标图像数据。

在一些实施例中，所述稠密图像数据中的每两个相邻像素可以构成第一组，并且所述第一组可以包括所述第一颜色像素的第一值和所述第一像素的第二值。

在一些实施例中，稀疏图像数据中的每两个相邻像素可以构成第二组，并且第二组可以包括第一颜色像素的第三值和第二颜色像素的第四值，或者可以包括第一颜色像素的第三值和第三颜色像素的第四值。

在一些实施例中，所述第一组中的所述第一颜色像素的第一值可以对应于位于所述第二组中的所述第一颜色像素的第三值，其中，所述稠密图像数据的所述第一组的位置与所述稀疏图像数据的所述第二组的位置对应。

在一些实施例中，可以从第一组中的第一颜色像素的第一值中减去第一颜色像素的第二值来生成残差数据。

在一些实施例中，可以减少残差数据的比特数来生成压缩数据。

在一些实施例中，可以基于定义残差数据的像素值和压缩数据的像素值之间的关系的压缩曲线将残差数据转换为压缩数据来减少残差数据的比特数。

在一些实施例中，所述稀疏图像数据中的每一个所述第一颜色像素、每一个所述第二颜色像素和每一个所述第三颜色像素可以具有其中不存储所述稀疏图像数据的备用空间。

在一些实施例中，当生成所述分割数据时，所述分割数据的所述第一数据部分和所述第二数据部分的大小可以与所述稀疏图像数据中的每一个所述第一颜色像素、每一个所述第二颜色像素和每一个所述第三颜色像素中的备用空间的大小相匹配。

在一些实施例中，可以将所述第一组的所述第一数据部分和所述第二数据部分嵌入到所述稀疏图像数据的所述第二组的备用空间中来生成所述嵌入式稀疏图像数据。

在一些实施例中，主处理器可进一步配置为：

在嵌入式稀疏图像数据输入到图像信号处理器后，从所述图像信号处理器获取所述嵌入式稀疏图像数据；

从图像信号处理器获取的嵌入式稀疏图像数据中提取分割数据，生成压缩数据；

扩展由所述分割数据生成的所述压缩数据以重构所述残差数据；以及

基于由所述压缩数据重构的所述残差数据来重构所述稠密图像数据。

在一些实施例中，主处理器可进一步配置为：

在处理期间获取生成的图像数据，以基于来自所述图像信号处理器的所述稀疏图像数据来生成目标图像数据；以及

将所生成的图像数据和由所述残差数据重构的所述稠密图像数据进行组合，以生成组合图像数据。

在一些实施例中，所述主处理器可以进一步被配置为将所述组合图像数据输入到所述图像信号处理器。

在一些实施例中，第一颜色可以是绿色，第二颜色可以是红色，第三颜色可以是蓝色。

在一些实施例中，稀疏图像数据可以符合拜耳格式。

根据本发明，非暂时计算机可读介质可以包括存储在其上的程序指令，用于至少执行以下操作：

获取稀疏图像数据和稠密图像数据，其中稀疏图像数据包括至少第一颜色像素、第二颜色像素和第三颜色像素中的多个像素，稠密图像数据包括第一颜色像素中的多个像素；

通过计算所述稠密图像数据中的每两个相邻像素之间的差值，基于所述稠密图像数据来生成残差数据；

压缩所述残差数据生成压缩数据，以减少所述残差数据的数据量；

分割所述压缩数据的每个像素生成分割数据，其中，所述分割数据包括第一数据部分和第二数据部分；以及

将所述分割数据嵌入到所述稀疏图像数据中来生成嵌入式稀疏图像数据，以生成目标图像数据。

附图说明

本发明的实施例的这些和/或其他优点将根据以下结合附图的描述而变得更加明显，且更容易理解，其中：

图1示出了根据本发明的一个实施例的电子设备的第一侧的平面图；

图2示出了根据本发明的实施例的电子设备的第二侧的平面图；

图3示出了根据本发明的实施例的电子设备的框图；

图4示出了根据本发明的实施例的由电子设备执行的目标图像生成过程(第1部分)的流程图；

图5示出了根据本发明的实施例的由电子设备执行的目标图像生成过程(第2部分)的流程图；

图6示出了用于说明在本发明的实施例中生成要输入到图像信号处理器的嵌入式稀疏图像数据的机制的示意图；

图7示出了用于说明在本发明的实施例中如何生成残差数据和压缩数据的示意图；

图8示出了在本发明的实施例中压缩残差数据以生成压缩数据的压缩曲线的示例之一；

图9示出了用于说明在本发明的实施例中如何从压缩数据中生成分割数据的示意图；

图10示出了用于说明在本发明的实施例中生成目标图像数据的机制的示意图；

图11示出了用于说明在本发明的实施例中如何重构残差数据和稠密图像数据的像素值的示意图；以及

图12示出了在本发明的实施例中基于稀疏图像数据的生成的图像数据、基于从图像信号处理器中获取的嵌入式稀疏图像数据所重构的稠密图像数据、以及将生成的图像数据和稠密图像数据组合而生成的组合图像数据的一个示例。

具体实施方式

以下将详细描述本发明的实施例，并且将在附图中示出实施例的示例。在整个描述中，相同或类似的元件以及具有相同或类似功能的元件由相同的附图标记来表示。本文参考附图描述的实施例是说明性的，并且旨在说明本发明，但不应被说明为限制本发明。

图1示出了根据本发明的实施例的电子设备10的第一侧的平面图，并且图2示出了根据本发明的实施例的电子设备10的第二侧的平面图。第一侧可称为电子设备10的后侧，而第二侧可称为电子设备10的前侧。

如图1和2所示，电子设备10可以包括显示器20和摄像机组件30。在本实施例中，摄像机组件30包括第一主摄像头32、第二主摄像头34和子摄像头36。第一主摄像头32和第二主摄像头34捕获电子设备10的第一侧的图像，并且子摄像头36可以捕获电子设备10的第二侧的图像。因此，第一主摄像头32和第二主摄像头34是所谓的外置摄像头，而子摄像头36是所谓的内置摄像头。作为示例，电子设备10可以是移动电话、平板计算机、个人数字助理等。

尽管根据本实施例的电子设备10具有三个摄像头，但电子设备10可以具有少于三个摄像头或多于三个摄像头。例如，电子设备10可以具有两个、四个、五个等摄像头。

图3示出了根据本实施例的电子设备10的框图。如图3所示，除了显示器20和摄像机组件30之外，电子设备10可以包括主处理器40、图像信号处理器42、存储器44、电源电路46和通信电路48。显示器20、摄像机组件30、主处理器40、图像信号处理器42、存储器44、电源电路46和通信电路48经由总线50彼此连接。

主处理器40执行存储在存储器44中的一个或多个程序。主处理器40通过执行程序来实现电子设备10的各种应用和数据处理。主处理器40可以是一个或多个计算机处理器。主处理器40不限于一个CPU内核，它可以具有多个CPU内核。主处理器40可以是电子设备10的主CPU、图像处理单元(IPU)或设置有摄像机组件30的数字信号处理器(DSP)。

图像信号处理器42控制摄像机组件30，并处理由摄像机组件30捕获的各种图像数据，以生成目标图像数据。例如，图像信号处理器42可以对摄像机组件30拍摄的图像数据执行去马赛克处理、降噪处理、自动曝光处理、自动对焦处理、自动白平衡处理、高动态范围处理等。

在本实施例中，主处理器40和图像信号处理器42相互协作以生成由摄像机组件30捕获的对象的目标图像数据。即，主处理器40和图像信号处理器42被配置为通过摄像机组件30捕获对象的图像，并对捕获的图像数据执行各种图像处理。

存储器44存储要由主处理器40执行的程序和各种数据。例如，已捕获的图像的数据存储在存储器44中。

存储器44可以包括高速RAM存储器和/或诸如闪存和磁盘存储器的非易失性存储器。也就是说，存储器44可以包括存储程序的非暂时性计算机可读介质。

电源电路46可以具有诸如锂离子可充电电池的电池和用于管理电池的电池管理单元(BMU)。

通信电路48被配置为接收和发送数据，以经由无线通信与电信网络系统的基站、因特网或其他设备进行通信。无线通信可以采用任何通信标准或协议，包括但不限于全球移动通信系统(GSM)、码分多址(CDMA)、长期演进(LTE)、LTE-Advanced、第五代(5G)。通信电路48可以包括天线和射频(RF)电路。

图4和图5示出了根据本实施例的由电子设备10执行的目标图像生成过程的流程图。在本实施例中，例如，通过主处理器40执行目标图像生成过程，以生成目标图像数据。然而，主处理器40与图像信号处理器42协作以生成目标图像数据。因此，主处理器40和图像信号处理器42构成本实施例中的图像处理器。

另外，在本实施例中，目标图像生成处理的程序指令存储在存储器44的非暂时性计算机可读介质中。当从存储器44读出程序指令并在主处理器40中执行程序指令时，主处理器40实现图4和图5所示的目标图像生成过程。

如图4所示，例如，主处理器40获取稀疏图像数据和稠密图像数据(步骤S10)。在本实施例中，主处理器40从摄像机组件30中获取稀疏图像数据和稠密图像数据。也就是说，摄像机组件捕获对象的图像并生成稀疏图像数据和稠密图像数据。在本实施例中，稀疏图像数据包括由绿色像素、红色像素和蓝色像素组成的多个像素。另一方面，稠密图像数据包括绿色像素的多个像素。

为了用摄像机组件30生成稀疏图像数据和稠密图像数据，摄像机组件30可以具有专门的图像传感器，以执行单个成像操作来用单个相机捕获对象的图像并生成稀疏图像数据和稠密图像数据。在这种情况下，例如，第一主摄像头32可以执行单个成像操作来捕获对象的图像并生成稀疏图像数据和稠密图像数据。

另一方面，摄像机组件30可以使用两个摄像头来捕获对象的图像，并执行单个成像操作来生成稀疏图像数据和稠密图像数据。在这种情况下，例如，第一主摄像头32捕获对象的图像并生成稀疏图像数据，而第二主摄像头34捕获对象的图像并生成稠密图像数据。

另一方面，摄像机组件30可以执行两个成像操作来用单个相机捕获对象的图像并生成稀疏图像数据和稠密图像数据。例如，子摄像头36执行第一成像操作来获取对象的图像，以生成稀疏图像数据，然后子摄像头36在第一成像操作之后立即执行第二成像操作来捕获对象的图像，以生成稠密图像数据。

图6示出了用于说明生成待输入到图像信号处理器42的嵌入式稀疏图像数据的机制的示意图。

如图6所示，稀疏图像数据符合拜耳格式。因此，将捕获对象的图像的摄像机组件30的图像传感器的滤色器中的绿色、红色和蓝色设置为符合拜耳设置。在拜耳格式中，稀疏图像数据中绿色像素的数量是红色像素或蓝色像素数量的两倍。稀疏图像数据也可以被称为来自摄像机组件30的原始(RAW)数据。

稠密图像数据由绿色像素组成。这是因为对人眼来说，绿色的亮度比红色或蓝色的亮度更敏感。在本实施例中，捕获稠密图像以调整目标图像数据的亮度。

接下来，如图4所示，例如，主处理器40基于稠密图像数据生成残差数据(步骤S12)。即，在本实施例中，为了减少数据量，计算稠密图像数据中的每两个相邻像素之间的差值来生成残差数据。

图7示出了说明如何生成残差数据和压缩数据的示意图。如图6和图7所示，在稀疏图像数据和稠密图像数据中都包括多个绿色像素P1。另一方面，多个绿色像素P2包括在稠密图像数据中，但它们不包括在稀疏图像数据中。在图7中，作为示例，示出了绿色像素P1中的一个和绿色像素P2中的一个。

通常，每两个相邻像素的亮度与另一个像素的亮度近似或相同。即，绿色像素P1的值与邻近绿色像素P1的绿色像素P2的值之间的差值通常较小。因此，在本实施例中，为了减少数据量，从与绿色像素P2相邻的绿色像素P1的值减去绿色像素P2的值来获取绿色像素P1的值和与绿色像素P1相邻的绿色像素P2的值之间的差值。

换句话说，稠密图像数据中的每两个相邻像素构成第一组以生成残差数据。在图6中的稀疏图像数据的示例中，有12(3×4)个第一组来计算残差数据。在生成残差数据之后，残差数据的像素数是稠密图像数据的像素数的一半。

例如，在本实施例中，稠密图像数据的一个像素由10个比特组成。也就是说，稠密图像数据的一个像素值在0到1023之间。另一方面，残差数据的一个像素由11个比特组成，因为残差数据的一个像素值在+1023和-1024之间。

接下来，如图4所示，例如，主处理器40基于残差数据生成压缩数据(步骤S14)。有各种方法来压缩残差数据以减少残差数据的比特数。因此，这里将说明压缩残差数据的方法的一个示例。

图8示出了压缩残差数据以生成压缩数据的压缩曲线的示例之一。即，基于压缩曲线将残差数据转换为压缩数据。压缩曲线也被称为色调曲线，色调曲线用于压缩各种数据并且定义残差数据的像素值和压缩数据的像素值之间的关系。压缩数据的像素值的比特数小于残差数据的像素值的比特数。

如图7和图8所示，在本实施例中，将残差数据的11比特的一个像素压缩为压缩数据的8比特的一个像素。也就是说，残差数据的一个像素值在-1024和+1023之间，而压缩数据的一个像素值在-128和+127之间。

如上所述，由于稠密图像数据的每两个相邻像素值之间的差值通常较小，因此，在残差数据的像素的绝对值较小的范围内，压缩曲线基本上是线性的。另一方面，在残差数据的像素的绝对值大的范围内，压缩曲线基本上是平坦或恒定的。结果，压缩曲线呈S形。

基于图8所示的压缩曲线来压缩残差数据，残差数据的11比特像素可压缩为压缩数据的8比特像素。例如，如果残差数据的像素值是10，则残差数据的像素值也是10。因此，如果扩展所述残差数据的像素值，则残差数据的像素值可以回到10。即，在残差数据的像素的绝对值小的范围内，压缩数据可以回到与原始数据基本相同的残差数据。

另一方面，如果残差数据的像素值为1023，则压缩数据的像素值为127。另外，如果残差数据的像素值为850，则压缩数据的像素值为126。即，在残差数据的像素的绝对值较大的范围内，压缩数据不能回到与原始数据相同的残差数据。换句话说，当残差数据的像素的原始绝对值大时，基于压缩数据扩展的残差数据的像素值是粗略的。然而，由于残差数据的像素的绝对值大的可能性低于残差数据的像素的绝对值小的可能性，所以在残余数据的像素的绝对值大的范围内的值的低再现性是可接受的。

接下来，如图4所示，主处理器40基于压缩数据生成分割数据(步骤S16)。也就是说，由于压缩数据的像素的大小太大而无法将其嵌入到稀疏图像数据，在本实施例中，压缩数据的每个像素被分成两条数据，即，第一数据部分和第二数据部分。

图9示出了说明如何从压缩数据生成分割数据的示意图。图9的上部示出了相关技术的比较示例，图9的下部示出了对本实施例的说明。

如图9所示，压缩数据的像素值用8比特表示，并将其分割为4比特的第一数据部分和4比特的第二数据部分。

在本实施例中，图像信号处理器42中的可用空间由用于稀疏图像数据的每个像素的14个比特组成，但是稀疏图像数据的每个像素需要10个比特。因此，14比特中的4比特是预留比特，不在图像信号处理器42中使用。即，14比特中的4比特的空间是不存储稀疏图像数据的备用空间。

因此，在本实施例中，为了能够将压缩数据的8比特的像素值插入稀疏图像数据的4个预留比特中，将压缩数据的8比特的像素值分成两个4比特作为分割数据。结果，第一数据部分的大小和第二数据部分的大小与稀疏图像数据的备用空间的大小相匹配。在本实施例中，8比特的每个像素被分成4比特的第一部分数据和4比特的第二部分数据。

接下来，如图4所示，例如，主处理器40将分割数据嵌入到稀疏图像数据中，以生成嵌入式稀疏图像数据(步骤S18)。如图9和图6所示，将4比特的分割数据嵌入到稀疏图像数据的4个预留比特中。更具体地说，稀疏图像数据的每个红色像素、每个蓝色像素和每个绿色像素具有4个预留比特，这是用于图像信号处理器42的备用空间。在下文中，已经嵌入分割数据的稀疏图像数据也被称为嵌入式稀疏图像数据。

在拜耳格式的稀疏图像数据中，红色像素R1和绿色像素P1可以构成第二组，蓝色像素B1和绿色像素P1也可以构成第二组。在拜耳格式中，每两个相邻像素包括绿色像素P1以及红色像素R1或蓝色像素B1。

第二组中的绿色像素P1对应于位于与稠密图像数据的第一组相对应的位置的第一组中的绿色像素P1。即，当稀疏图像数据的第二组的位置与稠密图像数据的第一组位置相同时，稀疏图像数据的第二组中的绿色像素P1的值与稠密图像数据的第一组中的绿色像素P1的值基本相同。

在本实施例中，将分割数据的第一数据部分嵌入到第二组的绿色像素P1的4比特的备用空间中，将分割数据的第二数据部分嵌入到红色像素R1或蓝色像素B1的4比特的备用空间中。

即，分割数据的第一数据部分和第二数据部分被嵌入到第二组的每两个相邻的红色和绿色像素R1和P1中或第二组的每两个相邻的蓝色和绿色像素B1和P1中。在本实施例中，分割数据的所有第一数据部分和第二数据部分被嵌入到稀疏图像数据的备用空间中。

在本实施例中，稠密图像数据的第一组和稀疏图像数据的第二组具有一一对应关系。因此，将第一数据部分和第二数据部分嵌入到与原始的第一组相对应的第二组的两个相邻像素中，以计算它们的第一数据部分和第二数据部分。即，第一数据部分和第二数据部分被插入到对应于原始第一组的位置的第二组中。

然而，如果分割数据可以指定分割数据的第一数据部分和第二数据部分在稀疏图像数据中嵌入的位置，则可以以任何方式将分割数据嵌入到稀疏图像数据的备用空间中。

在图9上半部分所示的比较例中，当稀疏图像数据被输入到图像信号处理器42时，丢弃绿色像素P2的信息。然而，在本实施例中，绿色像素P2的数据也可以嵌入到稀疏图像数据中，因此绿色像素P2的信息不会被丢弃。

接下来，如图4所示，例如，主处理器40将嵌入式稀疏图像数据输入到图像信号处理器42(步骤S20)。即，将包括稀疏图像数据和分割数据的嵌入式稀疏图像数据输入到图像信号处理器42，以生成目标图像数据。此后，图像信号处理器42开始处理嵌入式稀疏图像数据中的稀疏图像数据，以获取目标图像数据。

接下来，如图5所示，例如，主处理器40从图像信号处理器42获取嵌入式稀疏图像数据(步骤S30)。即，图像信号处理器42具有用于在处理期间输出各种数据的一个或多个数据输出端口和用于向图像信号处理器42输入各种数据的一个或多个数据输入端口。因此，主处理器40经由图像信号处理器42的数据输出端口之一获取嵌入式稀疏图像数据。

图10示出了用于说明在本实施例中生成目标图像数据的机制的示意图。如图10所示，可以从图像信号处理器42获取嵌入式稀疏图像数据，并且嵌入式稀疏图像数据包括稀疏图像数据和分割数据。

附带地，当嵌入式稀疏图像数据在处理期间时，从图像信号处理器42获取的嵌入式稀疏图像数据可能与输入到图像信号处理器42的嵌入式稀疏图像数据不相同。然而，由于分割数据存储在稀疏图像数据中的备用空间中，因此对于本文公开的目标图像生成过程是可接受的。

接下来，如图5所示，例如，主处理器40从嵌入式稀疏图像数据中提取分割数据(步骤S32)。在本实施例中，稀疏图像数据的每个像素包括4比特的分割数据。因此，在图9中所示出的每个像素中的4比特的分割数据是从嵌入式稀疏图像数据中提取出来的。

接下来，如图5所示，例如，主处理器40将分割数据的第一数据部分和第二数据部分合在一起，以获取压缩数据(步骤S34)。如上所述，当生成分割数据时，压缩数据的8比特的像素值被分割成4比特的第一数据部分和4比特的第二数据部分。因此，将从同一第二组中提取的第一数据部分和第二数据部分合起来，可以重构分割数据的8比特的像素值。联合分割数据的每个像素的第一数据部分和第二数据部分，可以再次获取如图9所示的压缩数据。

接下来，如图5所示，例如，主处理器40扩展压缩数据以重构残差数据(步骤S36)。如上所述，11比特的残差数据的像素已经被压缩到压缩数据的8比特的像素。因此，可以扩展压缩数据来重构残差数据的11比特的像素。

图11示出了用于说明如何重构残差数据和稠密图像数据的像素值的示意图。图11示出了参考图7说明的生成残差数据和压缩数据的相反过程。

如图11所示，压缩后的数据可以利用图8所示的压缩曲线进行扩展，以再次获取残差数据。即，在生成压缩数据时，已经使用图8所示的压缩曲线从残差数据转换压缩数据。因此，使用图8所示的压缩曲线对压缩数据进行逆变换，可以再次获取残差数据。

例如，如果压缩数据的像素值为10，则残差数据的像素值为10。此外，如果压缩数据的像素值为127，则残差数据的像素值为1023。然而，如果压缩数据的像素值为126，则残差数据的像素值为850。

如上所述，由于压缩数据的像素值用8比特表示，而残差数据的像素值用11比特表示，因此如果残差数据的像素值大，该值的再现性就不那么高。然而，如果残差数据的像素值小，则该值的再现性高。

接下来，如图5所示，例如，主处理器40基于残差数据重构稠密图像数据(步骤S38)。即，如图11所示，为了计算绿像素P2的值，将稀疏图像数据的绿像素P1的值与残差数据的绿像素P2的值相加。

如上所述，稠密图像数据包括多个第一组，每个第一组包括绿色像素P1和绿色像素P2。另外，残差数据的每个像素值指示每个第一组中的绿色像素P1的值和绿色像素P2的值之间的差值。可以从来自图像信号处理器42的稀疏图像数据中获取绿色像素P1的值，并且因此可以与残差数据的绿色像素P2的值相加来计算绿色像素P2的值。

此后，可以将稀疏图像数据的绿色像素P1的值和将残差数据和绿色像素P1的值相加而计算得到的绿色像素P2的值合并来获取稠密图像数据的第一组。对每个第一组进行重复并应用该过程，重新生成稠密图像数据。

接下来，如图5所示，例如，主处理器40基于稀疏图像数据从图像信号处理器42的数据输出端口之一获取生成的图像数据(步骤S40)。如图10所示，可以从图像信号处理器42中获取在基于稀疏图像数据的处理期间生成的图像数据。

接下来，如图5所示，例如，主处理器40组合在步骤38中重构的稠密图像数据和在步骤40中获取的生成的图像数据，以生成组合图像数据(步骤S42)。

图12示出了基于在步骤S38中重构的稀疏图像数据和稠密图像数据生成的图像数据的一个示例。如图12所示，在图像信号处理器42中，根据稀疏图像数据生成所生成的图像数据。结果，即使在显示器20上显示生成的图像数据的图像，该图像的亮度可能略粗糙，但它是全彩色图像。相反，如果在显示器20上显示稠密图像数据的图像，则由于稠密图像数据的颜色是人眼光敏感的绿色，因此图像的亮度可以足够好。因此，在本实施例中，基于稀疏图像数据将稠密图像数据与生成的图像数据组合，以生成组合的图像数据。

接下来，如图5和图10所示，例如，主处理器40将组合图像数据输入到图像信号处理器42的数据输入端口之一(步骤S44)。此后，图像信号处理器继续对组合图像数据进行处理，并且最终从图像信号处理器42输出目标图像数据。

例如，可以基于目标图像数据生成要显示在显示器20上的图像。或者，目标图像数据可以存储在存储器44中。目标图像数据有多种格式。例如，目标图像数据的格式是JPEG、TIFF、GIF等。

如上所述，根据本实施例的电子设备10，可以将稠密图像数据作为分割数据嵌入到输入到图像信号处理器42的稀疏图像数据中，然后可以基于嵌入到稀疏图像数据中的分割数据来重构稠密图像。结果，通过组合基于稀疏图像数据所生成的图像数据和从嵌入式稀疏图像数据中的分割数据重构的稠密图像数据，可以再生基于稠密图像数据的图像，并且可以提高目标图像数据的质量。

此外，由于嵌入式稀疏图像数据的格式与稀疏图像数据的格式相同，所以用于稀疏图像数据的公共图像信号处理器仍然可以用作用于嵌入式稀疏图像数据的图像信号处理器42。因此，不需要新开发图像信号处理器42来处理本实施例的嵌入式稀疏图像数据以生成目标图像数据。

顺便提及，在上述实施例中，尽管以绿色生成稠密图像数据，但也可以使用其他颜色来生成稠密图像数据。例如，黄色可用于生成稠密图像数据。在这种情况下，摄像机组件30的图像传感器的滤色器由红、黄、蓝(RYB)构成，稀疏图像数据由红、黄、蓝构成，而稠密图像数据由黄构成。

此外，稀疏图像数据可以包括三种以上的颜色。例如，稀疏图像数据可以包括绿色像素、红色像素、蓝色像素和黄色像素。即，稀疏图像数据可以包括至少三种颜色的多个像素。

在本发明的实施例的描述中，应当理解，诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前方”、“后方”、“后面”、“左”、“右”、“垂直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”和“逆时针”等术语应被解释为指代如所讨论的附图中所描述或示出的方向或位置。这些相关术语仅用于简化对本发明的描述，并且不指示或暗示所提及的设备或元件必须具有特定方向，或者以特定方向构造或操作。因此，这些术语不能被构造来限制本发明。

此外，这里使用诸如“第一”和“第二”的术语是为了描述的目的，并且不打算指示或暗示相对重要性或意义，或者暗示所指示的技术特征的数量。因此，使用“第一”和“第二”限定的特征可以包括该特征中的一个或多个。在本发明的描述中，除非另有说明，“多个”表示两个或两个以上。

在本发明的实施例的描述中，除非另有规定或限制，否则术语“安装”、“连接”、“耦合”等被广泛使用，并且可以是例如固定连接、可拆卸连接或整体连接；还可以是机械或电连接；也可以是通过中间结构的直接连接或间接连接；也可以是两个元素的内部通信，本领域技术人员可以根据具体情况理解。

在本发明的实施例中，除非另有规定或限制，否则第一特征在第二特征“之上”或在第二特征“之下”的结构可以包括第一特征与第二特征直接接触的实施例，并且还可以包括其中第一特征和第二特征彼此不直接接触，而是通过在它们之间形成的附加特征接触的实施例。此外，第一特征“位于”第二特征“上面”、“上方”或“顶部”可包括第一特征位于该第二特征正“上面”、“上方”或“顶部”的实施例或者斜“上”、“上方”或“顶部”的实施例，或者仅仅意味着第一特征的高度高于第二特征；而“在”第二特征的“下面”、“下方”或“底部”的第一特征可以包括第一特征位于第二特征正“下面”、“下方”或“底部”或者斜“下面”、“下方”或“底部”的实施例，或者仅仅意味着第一特征的高度低于第二特征。

在上述描述中提供了各种实施例和示例，以实现本发明的不同结构。为了简化本发明，在上文描述了某些元件和设置。然而，这些元件和设置仅作为示例，并不旨在限制本发明。此外，在本发明的不同示例中，附图标记和/或附图字母可以重复。这种重复是为了简化和清楚，并且不涉及不同实施例和/或设置之间的关系。此外，在本发明中提供了不同工艺和材料的示例。然而，本领域技术人员应当理解，也可以应用其他处理和/或材料。

在本说明书中对“实施例”、“一些实施例”、“示例性实施例”、“示例”、“特定示例”或“一些示例”的引用意味着结合实施例或示例描述的特定特征、结构、材料或特性包括在本发明的至少一个实施例或示例中。因此，贯穿本说明书的上述短语的出现不一定指的是本发明的相同实施例或示例。此外，在一个或多个实施例或示例中，特定特征、结构、材料或特性可以以任何合适的方式组合。

在流程图中描述的或文本中以其他方式描述的任何过程或方法可以理解为包括用于实现过程中的特定逻辑功能或步骤的可执行指令代码的一个或多个模块、段或部分，并且本发明的优选实施例的范围包括其他实施方式，其中本领域技术人员应当理解，功能可以以与示出或讨论的顺序不同的顺序来实现，包括以基本相同的顺序或相反的顺序来实现。

在此以其他方式描述或在流程图中示出的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定序列表，可以具体地在任何计算机可读介质中实现，所述计算机可读介质将由指令执行系统、装置或设备(例如基于计算机的系统，所述系统包括能够从指令执行系统、装置和设备获取指令并执行指令的处理器或其他系统)使用，或者将与指令执行系统、装置和设备组合使用。关于本说明书，“计算机可读介质”可以是适于包括、存储、通信、传播或传送将由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何设备。计算机可读介质的更具体的示例包括但不限于：具有一个或多个导线的电子连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤设备和便携式光盘只读存储器(CDROM)。此外，计算机可读介质甚至可以是能够在其上打印程序的纸张或其他适当介质，这是因为，例如，纸张或其他适当介质可以被光学扫描，然后在必要时用其他适当方法编辑、解密或处理，以电学方式获取程序，然后程序可以存储在计算机存储器中。

应当理解，本发明的每个部分可以通过硬件、软件、固件或它们的组合来实现。在上述实施例中，多个步骤或方法可以由存储在存储器中并由适当的指令执行系统执行的软件或固件来实现。例如，同在另一实施例中，如果通过硬件实现，步骤或方法可以通过本领域已知的以下技术之一或组合来实现：具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路、具有适当组合逻辑门电路的专用集成电路、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。

本领域技术人员应当理解，本发明的上述示例方法中的步骤的全部或部分可以通过用程序命令相关硬件来实现。所述程序可以存储在计算机可读存储介质中，并且当在计算机上运行时，所述程序包括本发明的方法实施例中的步骤之一或组合。

此外，本发明的实施例的每个功能单元可以集成在处理模块中，或者这些单元可以是单独的物理存在，或者两个或更多个单元集成在处理模块中。所述集成模块可以以硬件形式实现，也可以以软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立产品出售或使用时，集成模块可以存储在计算机可读存储介质中。

上述存储介质可以是只读存储器、磁盘、CD等。

尽管已经示出和描述了本发明的实施例，但本领域技术人员将理解，这些实施例是说明性的，并且不能被说明为限制本发明，并且在不脱离本发明的范围的情况下，可以在实施例中进行改变、修改、替换和变化。

Claims (33)

1.一种生成目标图像数据的方法，包括：

获取稀疏图像数据和稠密图像数据，其中，所述稀疏图像数据包括至少第一颜色像素、第二颜色像素和第三颜色像素中的多个像素，所述稠密图像数据包括所述第一颜色像素中的多个像素；

通过计算所述稠密图像数据中的每两个相邻像素之间的差值，基于所述稠密图像数据来生成残差数据；

压缩所述残差数据生成压缩数据，以减少所述残差数据的数据量；

分割所述压缩数据的每个像素生成分割数据，其中，所述分割数据包括第一数据部分和第二数据部分；以及

将所述分割数据嵌入到所述稀疏图像数据中来生成嵌入式稀疏图像数据。

2.根据权利要求1所述的方法，其中，所述方法还包括：将所述嵌入式稀疏图像数据输入到图像信号处理器，所述图像信号处理器处理所述嵌入式稀疏图像数据中的所述稀疏图像数据以生成所述目标图像数据。

3.根据权利要求1所述的方法，其中，所述稠密图像数据中的每两个相邻像素构成第一组，并且所述第一组包括所述第一颜色像素的第一值和所述第一像素的第二值。

4.根据权利要求3所述的方法，其中，所述稀疏图像数据中的每两个相邻像素构成第二组，并且所述第二组包括所述第一颜色像素的第三值和所述第二颜色像素的第四值，或者包括所述第一颜色像素的第三值和所述第三颜色像素的第四值。

5.根据权利要求4所述的方法，其中，所述第一组中的所述第一颜色像素的所述第一值对应于所述第二组中的所述第一颜色像素的所述第三值，其中，所述稠密图像数据的所述第一组的位置与所述稀疏图像数据的所述第二组的位置对应。

6.根据权利要求5所述的方法，其中，所述生成残差数据包括从所述第一组中的所述第一颜色像素的所述第一值中减去所述第一颜色像素的所述第二值。

7.根据权利要求6所述的方法，其中，生成所述压缩数据包括减少所述残差数据的比特数。

8.根据权利要求7所述的方法，其中，减少所述残差数据的比特数包括基于压缩曲线将所述残差数据转换为所述压缩数据，所述压缩曲线用于限定所述残差数据的像素值与所述压缩数据的像素值之间的关系。

9.根据权利要求8所述的方法，其中，所述稀疏图像数据中的每一个所述第一颜色像素、每一个所述第二颜色像素和每一个所述第三颜色像素具有其中不存储所述稀疏图像数据的备用空间。

10.根据权利要求9所述的方法，其中，在生成所述分割数据时，所述分割数据的所述第一数据部分和所述第二数据部分的大小与所述稀疏图像数据中的每一个所述第一颜色像素、每一个所述第二颜色像素和每一个所述第三颜色像素中的备用空间的大小相匹配。

11.根据权利要求10所述的方法，其中，生成所述嵌入式稀疏图像数据包括将所述第一组的所述第一数据部分和所述第二数据部分嵌入到所述稀疏图像数据的所述第二组的所述备用空间中。

12.根据权利要求2所述的方法，其中，所述方法还包括：

在所述嵌入式稀疏图像数据被输入到所述图像信号处理器之后，从所述图像信号处理器获取所述嵌入式稀疏图像数据；

从所述图像信号处理器获取的所述嵌入式稀疏图像数据中提取所述分割数据，以生成所述压缩数据；

扩展由所述分割数据生成的所述压缩数据以重构所述残差数据；以及

基于由所述压缩数据重构的所述残差数据来重构所述稠密图像数据。

13.根据权利要求12所述的方法，其中，所述方法还包括：

在处理期间获取生成的图像数据，以基于来自所述图像信号处理器的所述稀疏图像数据来生成所述目标图像数据；以及

将所生成的图像数据和由所述残差数据重构的所述稠密图像数据进行组合，以生成组合图像数据。

14.根据权利要求13所述的方法，其中，所述方法还包括将所述组合图像数据输入到所述图像信号处理器。

15.根据权利要求1至14中任一项所述的方法，其中，所述第一颜色为绿色，所述第二颜色为红色，所述第三颜色为蓝色。

16.根据权利要求15所述的方法，其中，所述稀疏图像数据符合拜耳格式。

17.一种电子设备，包括：

摄像机组件，被配置为捕获对象的图像并生成稀疏图像数据和稠密图像数据；以及

主处理器，被配置为：

获取所述稀疏图像数据和所述稠密图像数据，其中，所述稀疏图像数据包括至少第一颜色像素、第二颜色像素和第三颜色像素中的多个像素，所述稠密图像数据包括所述第一颜色像素中的多个像素；

通过计算所述稠密图像数据中的每两个相邻像素之间的差值，基于所述稠密图像数据来生成残差数据；

压缩所述残差数据生成压缩数据，以减少所述残差数据的数据量；

分割所述压缩数据的每个像素生成分割数据，其中，所述分割数据包括第一数据部分和第二数据部分；以及

将所述分割数据嵌入到所述稀疏图像数据中来生成嵌入式稀疏图像数据。

18.根据权利要求17所述的电子设备，其中，所述主处理器还被配置为将所述嵌入式稀疏图像数据输入到图像信号处理器，所述图像信号处理器处理所述嵌入式稀疏图像数据中的所述稀疏图像数据以生成所述目标图像数据。

19.根据权利要求17所述的电子设备，其中，所述稠密图像数据中的每两个相邻像素构成第一组，并且所述第一组包括所述第一颜色像素的第一值和所述第一像素的第二值。

20.根据权利要求19所述的电子设备，其中，所述稀疏图像数据中的每两个相邻像素构成第二组，并且所述第二组包括所述第一颜色像素的第三值和所述第二颜色像素的第四值，或者包括所述第一颜色像素的第三值和所述第三颜色像素的第四值。

21.根据权利要求20所述的电子设备，其中，所述第第一组中的所述第一颜色像素的所述第一值对应于位于所述第二组中的所述第一颜色像素的所述第三值，其中，所述稠密图像数据的所述第一组的位置与所述稀疏图像数据的所述第二组的位置对应。

22.根据权利要求21所述的电子设备，其中，从所述第一组中的所述第一颜色像素的所述第一值中减去所述第一颜色像素的所述第二值来生成残差数据。

23.根据权利要求22所述的电子设备，其中，减少所述残差数据的比特数来生成所述压缩数据。

24.根据权利要求23所述的电子设备，其中，基于压缩曲线将所述残差数据转换为所述压缩数据，来减少所述残差数据的比特数，所述压缩曲线用于限定所述残差数据的像素值与所述压缩数据的像素值之间的关系。

25.根据权利要求24所述的电子设备，其中，所述稀疏图像数据中的每一个所述第一颜色像素、每一个所述第二颜色像素和每一个所述第三颜色像素具有其中不存储所述稀疏图像数据的备用空间。

26.根据权利要求25所述的电子设备，其中，当生成所述分割数据时，所述分割数据的所述第一数据部分和所述第二数据部分的大小与所述稀疏图像数据中的每一个所述第一颜色像素、每一个所述第二颜色像素和每一个所述第三颜色像素中的备用空间的大小相匹配。

27.根据权利要求26所述的电子设备，其中，将所述第一组的所述第一数据部分和所述第二数据部分嵌入到所述稀疏图像数据的所述第二组的备用空间中，来生成所述嵌入式稀疏图像数据。

28.根据权利要求18所述的电子设备，其中，所述主处理器还被配置为：

在所述嵌入式稀疏图像数据被输入到所述图像信号处理器之后，从所述图像信号处理器获取所述嵌入式稀疏图像数据；

从所述图像信号处理器获取的所述嵌入式稀疏图像数据中提取所述分割数据，以生成所述压缩数据；

扩展由所述分割数据生成的所述压缩数据以重构所述残差数据；以及

基于由所述压缩数据重构的所述残差数据来重构所述稠密图像数据。

29.根据权利要求28所述的电子设备，其中，所述主处理器还被配置为：

在处理期间获取生成的图像数据，以基于来自所述图像信号处理器的所述稀疏图像数据来生成所述目标图像数据；以及

将所生成的图像数据和由所述残差数据重构的所述稠密图像数据进行组合，以生成组合图像数据。

30.根据权利要求29所述的电子设备，其中，所述主处理器还被配置为将所述组合图像数据输入到所述图像信号处理器。

31.根据权利要求17至30中任一项所述的电子设备，其中，所述第一颜色为绿色，所述第二颜色为红色，所述第三颜色为蓝色。

32.根据权利要求31所述的电子设备，其中，所述稀疏图像数据符合拜耳格式。

33.一种非暂时性计算机可读介质，包括存储在其上用于至少执行以下操作的程序指令：

获取稀疏图像数据和稠密图像数据，其中，所述稀疏图像数据包括至少第一颜色像素、第二颜色像素和第三颜色像素中的多个像素，所述稠密图像数据包括第一颜色像素中的多个像素；

通过计算所述稠密图像数据中的每两个相邻像素之间的差值，基于所述稠密图像数据来生成残差数据；

压缩所述残差数据生成压缩数据，以减少所述残差数据的数据量；

分割所述压缩数据的每个像素生成分割数据，其中，所述分割数据包括第一数据部分和第二数据部分；以及

将所述分割数据嵌入到所述稀疏图像数据中来生成嵌入式稀疏图像数据，以生成目标图像数据。

Images