CN116711307A - 生成嵌入式图像数据的方法、图像传感器、电子设备和非暂态计算机可读介质 - Google Patents

生成嵌入式图像数据的方法、图像传感器、电子设备和非暂态计算机可读介质 Download PDF

Info

Publication number
CN116711307A
CN116711307A CN202180090321.3A CN202180090321A CN116711307A CN 116711307 A CN116711307 A CN 116711307A CN 202180090321 A CN202180090321 A CN 202180090321A CN 116711307 A CN116711307 A CN 116711307A
Authority
CN
China
Prior art keywords
data
pixel
value
image data
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180090321.3A
Other languages
English (en)
Inventor
新井俊彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN116711307A publication Critical patent/CN116711307A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

根据本公开的实施例的一种生成嵌入式图像数据的方法包括：从第一图像数据中获取一段被摄体像素数据；从第二图像数据中获取多段相邻像素数据；基于被摄体像素数据的值、多段相邻像素数据的值中的最小值以及多段相邻像素数据的值中的最大值来计算残余数据；通过使用压缩曲线来压缩残余数据，以生成压缩数据；将压缩数据分割成多段分割数据；以及将多段分割数据嵌入到第二图像数据中，以生成嵌入式图像数据。

Description

生成嵌入式图像数据的方法、图像传感器、电子设备和非暂态 计算机可读介质
技术领域
本发明涉及一种生成嵌入式图像数据的方法、图像传感器、电子设备和非暂态计算机可读介质。
背景技术
诸如智能手机和平板终端的电子设备广泛用于我们的日常生活中。如今，许多电子设备都配备有用于捕获图像的相机组件。一些电子设备是便携式的，并且因此易于携带。因此，电子设备的用户可以通过使用电子设备的相机组件随时随地容易地拍摄对象的照片。
图像传感器有多种滤色器格式。在这些滤色器格式中，拜耳(Bayer)格式是最流行的格式之一。为了获得更精确的图像，除了拜耳格式之外，图像传感器还捕获全绿图像，因为人眼对绿色非常敏感。电子设备对拜耳格式的图像数据和全绿图像的图像数据执行融合处理，以生成更精确的图像。
然而，存储全绿图像的图像数据不仅需要从图像传感器到存储器的额外传输带宽，还需要其他资源。它还需要更复杂的硬件结构和更高的开发成本，因此也增加了制造成本。其他滤色器格式也存在同样的问题。
发明内容
本公开旨在解决上述技术问题中的至少一个。因此，本公开需要提供一种生成嵌入式图像数据的方法、图像传感器、电子设备和非暂态计算机可读介质。
根据本公开，一种生成嵌入式图像数据的方法可以包括：
从第一图像数据中获取一段被摄体像素数据，其中所述第一图像数据由第一颜色像素组成，并且所述被摄体像素数据包含被摄体像素的值；
从第二图像数据中获取多段相邻像素数据，其中所述多段相邻像素数据包含与所述被摄体像素相邻的相邻像素的值，所述第二图像数据由第二颜色像素、第三颜色像素和第四颜色像素组成，所述第二颜色像素的密度等于或大于所述第三颜色像素的密度或所述第四颜色像素的密度的两倍，并且所述第一图像数据的所述第一颜色像素的密度基本上等于包括所述第二图像数据的所述第二颜色像素、所述第三颜色像素和所述第四颜色像素的像素的密度；
基于所述被摄体像素数据的值、所述多段相邻像素数据的值中的最小值以及所述多段相邻像素数据的值中的最大值来计算残余数据；
通过使用压缩曲线来压缩所述残余数据，以生成压缩数据，其中所述残余数据的值增加得越多，所述压缩曲线上的压缩比增加得就越多；
将所述压缩数据分割成多段分割数据；以及
将所述多段分割数据嵌入到所述第二图像数据中，以生成嵌入式图像数据。
根据本公开，一种重建由第一颜色像素组成的第一图像数据的被摄体像素数据的被摄体像素的值的方法可以包括：
从嵌入式图像数据中提取多段分割数据；
组合所述多段分割数据以生成包括残余压缩数据和信息位的压缩数据；
通过使用压缩曲线扩展所述压缩数据的所述残余压缩数据以获得扩展数据，其中所述残余压缩数据的值增加得越多，所述压缩曲线上的压缩比增加得就越多；以及
基于所述扩展数据、所述信息位以及第二图像数据的多段相邻像素数据的值中的最小值和最大值来重建所述被摄体像素数据的所述被摄体像素的值，其中所述多段相邻像素数据包含与所述被摄体像素相邻的相邻像素的值，所述第二图像数据由第二颜色像素、第三颜色像素和第四颜色像素组成，所述第二颜色像素的密度等于或大于所述第三颜色像素的密度或所述第四颜色像素的密度的两倍，并且所述第一图像数据的所述第一颜色像素的密度基本上等于包括所述第二图像数据的所述第二颜色像素、所述第三颜色像素和所述第四颜色像素的像素的密度，其中所述信息位指示如何基于所述扩展数据和所述第二图像数据的所述多段相邻像素数据重建所述被摄体像素数据的所述被摄体像素的值。
根据本公开，一种图像传感器可以包括：
第一获取器，所述第一获取器被配置成从第一图像数据中获取一段被摄体像素数据，其中所述第一图像数据由第一颜色像素组成，并且所述被摄体像素数据包含被摄体像素的值；
第二获取器，所述第二获取器被配置成从第二图像数据中获取多段相邻像素数据，其中所述多段相邻像素数据包含与所述被摄体像素相邻的相邻像素的值，所述第二图像数据由第二颜色像素、第三颜色像素和第四颜色像素组成，所述第二颜色像素的密度等于或大于所述第三颜色像素的密度或所述第四颜色像素的密度的两倍，并且所述第一图像数据的所述第一颜色像素的密度基本上等于包括所述第二图像数据的所述第二颜色像素、所述第三颜色像素和所述第四颜色像素的像素的密度；
计算器，所述计算器被配置成基于所述被摄体像素数据的值、所述多段相邻像素数据的值中的最小值以及所述多段相邻像素数据的值中的最大值来计算残余数据；
压缩器，所述压缩器被配置成通过使用压缩曲线来压缩所述残余数据，以生成压缩数据，其中所述残余数据的值增加得越多，所述压缩曲线上的压缩比增加得就越多；
分割器，所述分割器被配置成将所述压缩数据分割成多段分割数据；以及
嵌入器，所述嵌入器被配置成将所述多段分割数据嵌入到所述第二图像数据中，以生成嵌入式图像数据。
根据本公开，一种电子设备可以包括：
上述图像传感器；以及
存储器，所述存储器被配置成存储从所述图像传感器输出的所述嵌入式图像数据。
根据本公开，一种非暂态计算机可读介质可以包括存储在其上的程序指令，以重建由第一颜色像素组成的第一图像数据的被摄体像素数据的被摄体像素的值，并且至少执行以下操作：
从嵌入式图像数据中提取多段分割数据；
组合所述多段分割数据以生成包括残余压缩数据和信息位的压缩数据；
通过使用压缩曲线扩展所述压缩数据的所述残余压缩数据以获得扩展数据，其中所述残余压缩数据的值增加得越多，所述压缩曲线上的压缩比增加得就越多；以及
基于所述扩展数据、所述信息位以及第二图像数据的多段相邻像素数据的值中的最小值和最大值来重建所述被摄体像素数据的所述被摄体像素的值，其中所述多段相邻像素数据包含与所述被摄体像素相邻的相邻像素的值，所述第二图像数据由第二颜色像素、第三颜色像素和第四颜色像素组成，所述第二颜色像素的密度等于或大于所述第三颜色像素的密度或所述第四颜色像素的密度的两倍，并且所述第一图像数据的所述第一颜色像素的密度基本上等于包括所述第二图像数据的所述第二颜色像素、所述第三颜色像素和所述第四颜色像素的像素的密度，其中所述信息位指示如何基于所述扩展数据和所述第二图像数据的所述多段相邻像素数据重建所述被摄体像素数据的所述被摄体像素的值。
附图说明
本公开的实施例的这些和/或其他方面和优势将从参照附图进行的以下描述中变得明显且更容易理解，在附图中：
图1是根据本公开的实施例的电子设备的第一侧的平面图；
图2是根据本公开的实施例的电子设备的第二侧的平面图；
图3是根据本公开的实施例的电子设备的框图；
图4示出了根据本公开的实施例的电子设备的相机组件的图像传感器中的滤色器的布置的示例；
图5示出了在本公开的实施例的电子设备中生成嵌入式图像数据和目标图像数据的处理流程；
图6示出了嵌入和重建全绿图像的图像数据的处理流程；
图7是用于基于拜耳格式的图像数据和全绿图像的图像数据生成嵌入式图像数据的嵌入式图像数据生成过程的流程图；
图8示出了由根据本公开的实施例的电子设备10处理的数据的数据格式的一个示例；
图9示出了被摄体绿色像素和相邻绿色像素的亮度的示例模式；
图10是用于减小残余数据的值的第一选项的说明图；
图11是用于减小残余数据的值的第一选项的说明图；
图12是用于减小残余数据的值的第二选项的说明图；
图13示出了压缩残余数据的压缩曲线的一个示例；
图14示出了根据图13中所示的压缩曲线所修改的压缩曲线的一个示例；
图15示出了嵌入式图像数据，其中多段分割数据被嵌入到每个对应像素的数据空间的备用空间和每个耦合像素的数据空间的备用空间中；
图16是用于重建全绿图像的图像数据的全绿图像重建过程的流程图；以及
图17示出了重建全绿图像的图像数据的处理流程。
具体实施方式
将详细描述本公开的实施例，并且将在附图中示出实施例的示例。在整个描述中，相同或相似的元件以及具有相同或相似功能的元件由相同的附图标记表示。参照附图在此描述的实施例是解释性的，并且旨在说明本公开，但不应被解释为限制本公开。
图1是根据本公开的实施例的电子设备10的第一侧的平面图，并且图2是根据本公开的实施例的电子设备10的第二侧的平面图。第一侧可以被称为电子设备10的后侧，而第二侧可以被称为电子设备10的前侧。
如图1和图2所示，电子设备10可以包括显示器20和相机组件30。在本实施例中，相机组件30包括第一主相机32、第二主相机34和副相机36。第一主相机32和第二主相机34可以捕获电子设备10的第一侧的图像，并且副相机36可以捕获电子设备10的第二侧的图像。因此，第一主相机32和第二主相机34是所谓的外部相机，而副相机36是所谓的内部相机。作为示例，电子设备10可以是移动电话、平板电脑、个人数字助理等。
第一主相机32、第二主相机34和副相机36中的每一者均具有成像传感器，该成像传感器将已经通过滤色器的光转换成电信号。电信号的信号值取决于已经通过滤色器的光量。
虽然根据本实施例的电子设备10具有三个相机，但电子设备10可以具有少于三个的相机或者多于三个的相机。例如，电子设备10可以具有两个、四个、五个等相机。
图3是根据本实施例的电子设备10的框图。如图3所示，除了显示器20和相机组件30之外，电子设备10可以包括主处理器40、图像信号处理器42、存储器44、电源电路46以及通信电路48。显示器20、相机组件30、主处理器40、图像信号处理器42、存储器44、电源电路46和通信电路48经由总线50彼此连接。
主处理器40执行存储在存储器44中的一个或更多个程序指令。主处理器40通过执行程序指令来实现电子设备10的各种应用和数据处理。主处理器40可以是一个或更多个计算机处理器。主处理器40不限于一个CPU内核，而是可以具有多个CPU内核。主处理器40可以是电子设备10的主CPU、图像处理单元(IPU)或与相机组件30一起提供的DSP。
图像信号处理器42控制相机组件30，并且处理由相机组件30捕获的各种类型的图像数据，以生成目标图像数据。例如，图像信号处理器42可以将去马赛克处理、降噪处理、自动曝光处理、自动聚焦处理、自动白平衡处理、高动态范围处理等应用于由相机组件30捕获的图像数据。
在本实施例中，主处理器40和图像信号处理器42彼此协作以生成由相机组件30捕获的对象的目标图像数据。即，主处理器40和图像信号处理器42被配置成借助相机组件30来捕获对象的图像，并且对被捕获的图像数据应用各种类型的图像处理。
存储器44存储要由主处理器40执行的程序指令和各种类型的数据。例如，被捕获的图像的数据也存储在存储器44中。
存储器44可以包括高速RAM存储器和/或诸如闪存和磁盘存储器的非易失性存储器。即，存储器44可以包括存储有程序指令的非暂态计算机可读介质。
电源电路46可以具有诸如锂离子可充电电池的电池和用于管理电池的电池管理单元(BMU)。
通信电路48被配置成接收和发送数据，以经由无线通信与电信网络系统的基站、互联网或其他设备通信。无线通信可以采用任何通信标准或协议，包括但不限于GSM(全球移动通信系统)、CDMA(码分多址)、LTE(长期演进)、进阶长期演进(LTE-Advanced)、第五代(5G)。通信电路48可以包括天线和RF(射频)电路。
图4示出了相机组件30的图像传感器中的滤色器的布置的示例。在图4所示的示例中，滤色器的布置符合拜耳格式，以输出拜耳格式的图像数据。此外，图像传感器捕获并输出全绿图像的图像数据，以生成更精确的图像。
为了同时捕获拜耳格式的图像数据和全绿图像的图像数据，图像传感器具有包括红色滤光器和绿色滤光器的像素、包括蓝色滤光器和绿色滤光器的像素以及包括全绿滤光器的像素。因此，图像传感器可以一次输出拜耳格式的图像数据和全绿图像的图像数据。
在拜耳格式的图像数据中，根据本实施例，绿色像素的密度是红色像素的密度或蓝色像素的密度的两倍。红色像素的密度和蓝色像素的密度基本相同。然而，在拜耳格式的图像数据中，如果绿色像素的密度等于或大于红色像素的密度或蓝色像素的密度的两倍，则可以实现本实施例。
另一方面，在全绿图像的图像数据中，根据本实施例，所有像素都由绿色像素组成。全绿图像的图像数据的绿色像素的密度基本上等于包括拜耳格式的图像数据的红色像素、蓝色像素和绿色像素的像素的密度。
接下来，将解释根据本公开的实施例的生成嵌入式图像数据和目标图像数据的处理流程。图5示出了在本公开的实施例的电子设备10中生成嵌入式图像数据和目标图像数据的处理流程，并且图6示出了嵌入和重建全绿图像的图像数据的处理流程。
如图5和图6所示，根据本公开的实施例的电子设备10，图像传感器60的第一获取器60a获取全绿图像的图像数据，并且图像传感器60的第二获取器60b获取拜耳格式的图像数据。在本实施例中，图像传感器60包括在相机组件30中。
拜耳格式的图像数据包括绿色像素G1，并且全绿图像的图像数据也包括绿色像素G1。拜耳格式的图像数据中的绿色像素G1的值基本上等于全绿图像的图像数据中的绿色像素G1的值。换言之，全绿图像的图像数据中的绿色像素G1的值之后也可以从拜耳格式的图像数据中获得。结果，在本实施例中，丢弃关于全绿图像的图像数据中的绿色像素G1的值的信息。
另一方面，无法从拜耳格式的图像数据中获取全绿图像的图像数据中的绿色像素G2的值。因此，在本实施例中，关于绿色像素G2的值的信息被嵌入到拜耳格式的图像数据中。
更具体地说，如图6所示，图像传感器60的计算器60c基于全绿图像的被摄体绿色像素G2x的被摄体像素数据的值和相邻绿色像素G1a、G1b、G1c和G1d的多段相邻像素数据的值来计算残余数据。将全绿图像的图像数据的被摄体绿色像素G2x嵌入到拜耳格式的图像数据中，使得之后可以重建被摄体绿色像素G2x的被摄体像素数据的值的信息。拜耳格式的图像数据中的相邻绿色像素G1a、G1b、G1c和G1d是与全绿图像的图像数据中的被摄体绿色像素G2x相邻的像素，因为拜耳格式的图像数据中的相邻绿色像素G1a、G1b、G1c和G1d可以被视为全绿图像的图像数据中的相邻绿色像素G1a、G1b、G1c和G1d。
在正常情况下，被摄体绿色像素G2x的值接近于与被摄体绿色像素G2x相邻的相邻绿色像素G1a、G1b、G1c和G1d的值。因此，残余数据的值非常小。
此后，图像传感器60的压缩器60d压缩残余数据，并且图像传感器60的分割器60e将残余数据分割成多段分割数据。然后，图像传感器60的嵌入器60f将多段分割数据嵌入到拜耳格式的图像数据中，以生成嵌入式图像数据。
即，如图5所示，图像传感器60输出嵌入式图像数据，并且嵌入式图像数据被存储在电子设备10中，例如存储在电子设备10的存储器44中。换言之，根据本实施例的图像传感器60不输出全绿图像的图像数据。结果，可以省略将全绿图像的图像数据从图像传感器60传输到存储器44的机制。
此后，电子设备10从存储器44中读出嵌入式图像数据，并且从拜耳格式的嵌入式图像数据中提取关于被摄体绿色像素G2的信息，并且基于拜耳格式的图像数据的相邻绿色像素G1的信息和关于从拜耳格式的图像数据中重建的被摄体绿色像素G2的信息来重建全绿图像的图像数据。
然后，电子设备10对拜耳格式的图像数据执行拜耳图像处理，并且对全绿图像的图像数据执行全绿图像处理，以生成目标图像。例如，目标图像被显示在显示器20上、存储在存储器44中、或者经由通信电路48被发送到另一个电子设备。目标图像数据的数据格式例如是JPG、PNG、GIF、TIFF等。
接下来，将更详细地解释在根据本公开的实施例的电子设备10中执行的用于生成目标图像的过程。
图7是用于基于拜耳格式的图像数据和全绿图像的图像数据生成嵌入式图像数据的嵌入式图像数据生成过程的流程图。
如图5和图7所示，电子设备10的图像传感器60的第一获取器60a从全绿图像的图像数据中获取被摄体像素数据(步骤S10)。被摄体像素数据包含全绿图像的图像数据中要处理的被摄体绿色像素G2x的值。
图8示出了由根据本公开的实施例的电子设备10处理的数据的数据格式的一个示例。如图8所示，全绿图像的图像数据中的被摄体绿色像素G2x的值可以用12位表示。然而，被摄体像素数据的数据空间由16位组成，因此被摄体像素数据的数据空间具有由4位组成的备用空间。因为在本实施例中，被摄体绿色像素G2x的值用12位表示，所以被摄体绿色像素G2x的数据范围在0至4095之间。
接下来，如图5和图7所示，电子设备10的图像传感器60的第二获取器60b获取与被摄体绿色像素G2x相邻的相邻绿色像素G1a、G1b、G1c和G1d的多段相邻像素数据(步骤S12)。即，获得四段相邻像素数据。四段相邻像素数据分别包含绿色像素G1a、G1b、G1c和G1d的值。相邻像素数据可以从拜耳格式的图像数据或全绿图像的图像数据中获得，因为拜耳格式的图像数据中的绿色像素G1a、G1b、G1c和G1d的值基本上等于全绿图像的图像数据中的绿色像素G1a、G1b、G1c和G1d的值。
如图8所示，相邻绿色像素G1a、G1b、G1c和G1d的每个值可以用12位表示。然而，相邻像素数据的数据空间由16位组成，并且因此相邻像素数据的数据空间具有由4位组成的备用空间。由于相邻绿色像素的值由12位表示，因此相邻绿色像素的数据范围也在0至4095之间。
接下来，如图5和图7所示，电子设备10的图像传感器60的计算器60c基于被摄体像素数据和相邻像素数据计算残余数据(步骤S14)。在本实施例中，基于被摄体像素数据和四段相邻像素数据来计算残余数据。
图9示出了绿色像素G2x、G1a、G1b、G1c和G1d的亮度的示例模式。例如，被摄体绿色像素G2x可能位于亮度的平面中、亮度的边界中、亮度的灰度中、亮度的对角线边界中、亮度的对角线灰度中或亮度的窄线中。即，绿色像素G2x、G1a、G1b、G1c和G1d的亮度有许多模式。
因此，在本实施例中，电子设备10的图像传感器60采用特殊方法来基于四段相邻像素数据计算残余数据，以减小残余数据的值。
图10和图11是用于减小残余数据的值的第一选项的说明图。如图10和图11所示，i1至i4分别指示相邻绿色像素G1a、G1b、G1c和G1d的相邻像素数据的值。在本实施例中，四段相邻像素数据按照值的顺序排序。即，值i1是最小的，即最暗的。值i4是最大的，即最亮的。
电子设备10的图像传感器60计算(i1+i4)/2，并且判断被摄体像素数据的值x是否小于(i1+i4)/2或者被摄体像素数据的值x是否等于或大于(i1+i4)/2。如果被摄体像素数据的值x小于(i1+i4)/2，则向信息位D分配0，这是本实施例中的第一逻辑值。然后，图像传感器60通过从被摄体像素数据的值x减去值i1来计算残余数据。即，计算x-i1。随后将信息位D添加到压缩数据中。
另一方面，如果被摄体像素数据的值x等于或大于(i1+i4)/2，则向信息位D分配1，这是本实施例中的第二逻辑值。然后，图像传感器60通过从值i4减去被摄体像素数据的值x来计算残余数据。即，计算i4-x。随后将信息位D添加到压缩数据中。
图10和图11中所示的第一选项适用于包括许多黑白边缘的图像。例如，第一选项适用于包括许多字符的图像。
图12是用于减小残余数据的值的第二选项的说明图。如图12所示，信息位D指示被摄体像素数据的值x是否等于最小值i1或最大值i4或者介于最小值i1与最大值i4之间。如果被摄体像素数据的值x等于或大于最小值i1且等于或小于最大值i4，则向信息位D分配0，这是本实施例中的第一逻辑值。另一方面，如果被摄体像素数据的值x小于最小值i1或大于最大值i4，则向信息位D分配1，这是本实施例中的第二逻辑值。
如果被摄体像素数据的值x小于值i1，则图像传感器60通过从被摄体像素数据的值x减去值i1来计算残余数据。即，计算x-i1。这里，由x-i1计算的残余数据的符号总是负的。随后将信息位D＝1添加到压缩数据中。
如果被摄体像素数据的值x等于或大于最小值i1且等于或小于最大值i4，则图像传感器60通过从被摄体像素数据的值x减去(i2+i3)/2的值来计算残余数据。即，计算x-(i2+i3)/2。这里，值i2为多段相邻像素数据的值中的第二最小值，并且值i3为第三最小值。随后将信息位D＝0添加到压缩数据中。
如果被摄体像素数据的值大于值i4，则图像传感器60通过从被摄体像素数据的值x减去值i4来计算残余数据。即，计算x-i4。这里，由x-i4计算的残余数据的符号总是正的。随后将信息位D＝1添加到压缩数据中。
应当理解的是，在第一选项和第二选项中，信息位D指示如何计算残余数据。虽然在上述本实施例中，第一逻辑值为0并且第二逻辑值为1，但是第一逻辑值可以为1并且第二逻辑值可以为0。
此外，在第二选项中，残余数据的符号也指示如何计算残余数据。即，如果信息位D为1并且残余数据的符号为负，则表示已经计算x-i1来生成残余数据。相反，如果信息位D为1并且残余数据的符号为正，则表示已经计算x-i4来生成残余数据。
此外，基于拜耳格式的图像数据和/或全绿图像的图像数据的亮度分布来决定应当使用第一选项和第二选项中的哪一个。例如，如果拜耳格式的绿色像素G1的图像数据的亮度分布指示亮度被偏振成亮区域和暗区域，则应当选择第一选项。另一方面，如果拜耳格式的绿色像素G1的图像数据的亮度分布指示亮度从亮区域扩展到暗区域，则应当选择第二选项。可以计算拜耳格式的绿色像素G1的图像数据的亮度分布的评价值。因此，稍后可以基于拜耳格式的图像数据的绿色像素G1的评价值来识别已经使用了第一选项和第二选项中的哪一个。
在本实施例中，通过图像传感器60的计算器60c计算拜耳格式的绿色像素G1的图像数据的亮度分布的评价值。因此，图像传感器60可以基于评价值自动决定应当使用第一选项和第二选项中的哪一个来生成残余数据。
如图8所示，残余数据可以用13位表示，因为被摄体绿色像素G2x的值和相邻绿色像素G1a、G1b、G1c和G1d的值用12位表示。即，残余数据由有符号的13位组成。然而，在本实施例中，由于上述计算残余数据的特殊方法，预计残余数据的值通常非常小。
接下来，如图5和图7所示，根据本公开的实施例的电子设备10的图像传感器60的压缩器60d基于残余数据生成压缩数据(步骤S16)。压缩数据包括残余压缩数据和信息位D。通过压缩残余数据来生成残余压缩数据。即，残余压缩数据的位数小于残余数据的位数。在本实施例中，如图8所示，残余压缩数据由7位组成。
压缩残余数据有各种方法。在本实施例中，电子设备10的图像传感器60使用压缩曲线，该压缩曲线是定义残余数据的输入和残余压缩数据的输出的一种函数。
图13示出了压缩曲线的一个示例。在该示例中，压缩曲线用伽马2.2表示。在压缩曲线上，残余数据的值增加得越多，压缩比增加得就越多。
然而，在本实施例中，可以预期在正常情况下残余数据的值非常小。因此，对于残余数据的值较小的范围，也可以修改压缩曲线以降低压缩比。在这种情况下，残余数据的值较大的范围的压缩比变高。然而，由于残余数据的值较大的可能性非常低，这不是什么大问题。
换言之，如果残余数据的值较大，则意味着被摄体绿色像素G2x的亮度与相邻绿色像素G1a、G1b、G1c和G1d的亮度显著不同。然而，即使在残余数据随后被扩展之后，亮度包括一定量的误差，这种误差对于人眼来说也是不可区分的。
图14示出了根据图13中所示的压缩曲线修改的压缩曲线的一个示例。在图14所示的示例中，残余数据的值较小的范围的压缩比小于图13中所示的压缩曲线的压缩比。因此，与图13中所示的压缩曲线相比，可以更精确地扩展残余压缩数据。
在本实施例中，如图8所示，压缩数据由8位组成，并且其包括由1位组成的信息位D和由7位组成的残余压缩数据。
接下来，如图5和图7所示，根据本公开的实施例的电子设备10的图像传感器60的分割器60e基于压缩数据生成分割数据(步骤S18)。即，压缩数据被分割成至少两段分割数据。在本实施例中，如图8所示，由8位组成的压缩数据被分割成两段由4位组成的分割数据。
接下来，如图5和图7所示，根据本公开的实施例的电子设备10的图像传感器60的嵌入器60f将分割数据嵌入到拜耳格式的图像数据中，以生成嵌入式图像数据(步骤S20)。例如，如图8所示，由于一段分割数据由4位组成，并且拜耳格式的图像数据的像素数据的备用空间由4位组成，因此需要两个备用空间来嵌入这两段分割数据。
通常，这两段分割数据可以嵌入到拜耳格式的图像数据中的像素数据的数据空间的任何备用空间中。然而，为了有效地执行用于嵌入和提取这两段分割数据的过程，拜耳格式的图像数据中的两个备用空间应当是接近的。
因此，如图15所示，根据本公开的实施例的电子设备的图像传感器60将两段分割数据嵌入到对应像素R或B的像素数据的数据空间的备用空间和耦合像素G1的像素数据的数据空间的备用空间中。
例如，当被摄体绿色像素G2x是要嵌入的被摄体像素时，被摄体绿色像素G2x的对应像素R或B是拜耳格式的图像数据中的红色像素Rc。拜耳格式的图像数据中的对应像素Rc的位置对应于全绿图像中的被摄体绿色像素G2x的位置。拜耳格式的图像数据中的对应像素Rc的耦合像素G1是拜耳格式的图像数据中的耦合像素G1d。耦合像素G1d的位置紧邻对应像素Rc的位置。全绿图像中的相邻绿色像素G1d的值与拜耳格式中的耦合像素G1d的值基本相同。
因此，例如，根据被摄体绿色像素G2x的被摄体像素数据生成的第一段分割数据被嵌入到对应像素Rc的像素数据的数据空间的备用空间中。此外，根据被摄体绿色像素G2x的被摄体像素数据生成的第二段分割数据被嵌入到耦合像素G1d的像素数据的数据空间的备用空间中。
类似地，当被摄体绿色像素G2y是要嵌入的被摄体像素时，被摄体绿色像素G2y的对应像素R或B是拜耳格式的图像数据中的蓝色像素Bc。拜耳格式的图像数据中的对应像素Bc的位置对应于全绿图像中的被摄体绿色像素G2y的位置。拜耳格式的图像数据中的对应像素Bc的耦合像素G1是拜耳格式的图像数据中的绿色像素G1b。耦合像素G1b的位置紧邻对应像素Bc的位置。全绿图像中的相邻绿色像素G1b的值与拜耳格式中的耦合像素G1b的值基本相同。
因此，例如，根据被摄体绿色像素G2y的被摄体像素数据生成的第一段分割数据被嵌入到对应像素Bc的像素数据的数据空间的备用空间中。此外，根据被摄体绿色像素G2y的被摄体像素数据生成的第二段分割数据被嵌入到耦合像素G1b的像素数据的数据空间的备用空间中。
即，以拜耳格式将两段分割数据嵌入到对应于被摄体绿色像素G2的对应像素R或B的像素数据的数据空间的备用空间和紧邻对应像素R或B的耦合像素G1的像素数据的数据空间的备用空间中。
接下来，如图5和图7所示，根据本公开的实施例的电子设备10的图像传感器60输出嵌入式图像数据(步骤S22)。换言之，图像传感器60不输出全绿图像的图像数据，因为用于重建全绿图像的图像数据的信息已经被嵌入到称为嵌入式图像数据的拜耳格式的图像数据中。
在步骤S22中图像传感器60输出嵌入式图像数据之后，完成嵌入式图像数据生成过程。然而，重复执行嵌入式图像数据生成过程，直到处理完被摄体绿色像素G2的所有被摄体图像数据为止。
如图3和图5所示，嵌入式图像数据从图像传感器60中输出并存储在例如存储器44中。嵌入式图像数据也被称为拜耳格式的原始图像数据。因此，嵌入式图像数据应经受目标图像生成过程以生成目标图像数据。
在根据本公开的实施例的电子设备10中，由图像信号处理器42执行目标图像生成过程。图像信号处理器42对拜耳格式的图像数据执行拜耳图像处理，并且对全绿图像的图像数据执行全绿图像处理。此后，图像信号处理器42融合拜耳格式的图像数据和全绿图像的图像数据并且最终输出目标图像数据。
因此，在本实施例中，电子设备10必须从嵌入式图像数据中重建全绿图像的图像数据，因为用于重建全绿图像的图像数据的信息已经通过图7中所示的嵌入式图像数据生成过程被嵌入到嵌入式图像数据中。
为了重建全绿图像的图像数据，根据本公开的实施例的电子设备10执行图16中所示的全绿图像重建过程。
即，图16是用于重建全绿图像的图像数据的全绿图像重建过程的流程图。图17示出了重建全绿图像的图像数据的处理流程。基本上，全绿图像重建过程是上述嵌入式图像数据生成过程的逆过程。
在本实施例中，全绿图像重建过程由主处理器40执行。即，全绿图像重建过程被实现为包括程序指令的软件程序。程序指令可以被存储在非暂态计算机可读介质上，该介质例如为电子设备10中的存储器44。此外，程序指令可以被存储在电子设备10外部的非暂态计算机可读介质上。在这种情况下，例如，电子设备10可以经由通信电路48通过互联网从存储程序指令的服务器获得程序指令。
然而，全绿图像重建过程可以由诸如专用集成电路的一件硬件来实现。
如图16和图17所示，根据本公开的实施例的电子设备10从嵌入式图像数据中提取分割数据(步骤S30)。例如，电子设备10从存储器44中获取嵌入式图像数据，并且从相应像素R或B的像素数据的数据空间的备用空间和耦合像素G1的像素数据的数据空间的备用空间中提取两段分割数据。
接下来，如图16和图17所示，根据本公开的实施例的电子设备10组合在步骤S30中获取的分割数据以生成压缩数据(步骤S32)。例如，电子设备10组合两段各自由4位组成的分割数据，并且生成由8位组成的压缩数据。
接下来，如图16和图17所示，根据本公开的实施例的电子设备10扩展压缩数据以生成扩展数据(步骤S34)。如图8所示，在本实施例中，由8位组成的压缩数据包括由1位组成的信息位D和由7位组成的残余压缩数据。
因此，电子设备10通过使用图13或图14中所示的压缩曲线来扩展残余压缩数据以获得扩展数据。换言之，通过基于在步骤S14中生成残余压缩数据所用的压缩曲线对残余压缩数据进行逆变换，获得由13位组成的扩展数据。
如上所述，扩展数据的值并不精确地等于残余数据的值。即，如上所述，如果扩展数据的值较小，则扩展数据的值几乎精确地等于残余数据的值，因为压缩比非常低。另一方面，如果扩展数据的值较大，则扩展数据的值不精确地等于残余数据的值，因为压缩比非常高。然而，如上所述，这不是什么问题。
接下来，如图16和图17所示，根据本公开的实施例的电子设备10基于扩展数据和信息位D重建被摄体像素数据(步骤S36)。步骤S36的过程是图7中所示的嵌入式图像数据生成过程中步骤S14的逆过程。
因此，如果在步骤S14中已经基于上述第一选项生成了压缩数据，则通过在步骤S14中计算残余数据的逆过程，基于第一选项重建被摄体像素数据。
另一方面，如果在步骤S14中已经基于上述第二选项生成了压缩数据，则通过在步骤S14中计算残余数据的逆过程，基于第二选项重建被摄体像素数据。如在步骤S14中所说明的，基于拜耳格式的图像数据的亮度分布，即，基于拜耳格式的图像数据的绿色像素G1的评价值，决定应当使用哪一个逆过程。
接下来，如图16和图17所示，根据本公开的实施例的电子设备10将被摄体绿色像素G2x的被摄体像素数据引入到相邻绿色像素G1的图像数据中，以重建全绿图像的图像数据(步骤S38)。即，在相邻绿色像素G1a、G1b、G1c和G1d的四段相邻像素数据之间引入被摄体绿色像素G2x的重建后的被摄体像素数据。
在步骤38中引入被摄体绿色像素G2的重建后的被摄体像素数据之后，完成全绿图像重建过程。然而，为了重建包括相邻绿色像素G1和被摄体绿色像素G2的全绿图像的图像数据，重复执行全绿图像重建过程，直到处理完嵌入在嵌入式图像数据中的所有分割数据。
在重建完全绿图像的图像数据之后，对全绿图像的图像数据进行全绿图像处理。此外，对拜耳格式的图像数据进行拜耳图像处理。此后，执行融合处理以融合全绿图像的图像数据和拜耳格式的图像数据，从而生成目标图像数据。
在本实施例中，全绿图像处理、拜耳图像处理和融合处理的这些处理在图像信号处理器42中执行。因此，全绿图像的图像数据和拜耳格式的图像数据从主处理器40输入到图像信号处理器42中。然而，全绿图像处理、拜耳图像处理和融合处理的这些处理可以实现为包括程序指令的软件程序，该软件程序由例如主处理器40操作。
如上所述，按照根据本公开的实施例的电子设备10，如图8所示，压缩数据包括残余压缩数据和指示如何计算残余数据的信息位D。因此，电子设备10可以决定如何根据扩展数据和相邻像素数据重建被摄体像素数据。
此外，由于信息位D指示如何计算残余数据，所以当计算残余数据时，可以在多种方法中选择用于减小残余数据的值的更合适的方法。因此，可以修改压缩曲线以对残余数据的值较小的范围降低压缩比，而不是对残余数据的值较大的范围提高压缩比。结果，因为残余数据的值通常非常小，所以可以更精确地生成目标图像数据。
顺便提一下，在上述实施例中，全绿图像的图像数据是由第一颜色像素组成的第一图像数据的示例之一，第一颜色像素是绿色像素G1和G2。第一颜色像素不限于绿色像素G1和G2，并且可以将别的颜色应用于第一颜色像素。
此外，拜耳格式的图像数据是由第二颜色像素、第三颜色像素和第四颜色像素组成的第二图像数据的示例之一。第二图像数据的格式不限于拜耳格式，即，可以将别的格式应用于第二图像数据。
在对本公开的实施例的描述中，应当理解的是，诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上部”、“下部”、“前部”、“后部”、“背部”、“左侧”、“右侧”、“竖直”、“水平”、“顶部”、“底部”、“内部”、“外部”、“顺时针”和“逆时针”的术语应当被解释为指如所讨论的附图中所描述或示出的方向或位置。这些相关术语仅用于简化本公开的描述，并且不指示或暗示所提及的设备或元件必须具有特定取向，或者以特定取向构造或操作。因此，这些术语不能被构造成限制本公开。
此外，出于描述的目的在此使用诸如“第一”和“第二”的术语，并且不旨在指示或暗示相对重要性或意义，或者暗示所指示的技术特征的数量。因此，用“第一”和“第二”定义的特征可以包括该特征中的一个或更多个。在本公开的描述中，除非另有说明，否则“多个”意味着两个或多于两个。
在本公开的实施例的描述中，除非另有说明或限制，否则术语“安装的”、“连接的”、“耦合的”等被广泛使用，并且可以是例如固定连接、可拆卸连接或整体连接；也可以是机械连接或电气连接；也可以是直接连接或通过中间结构的间接连接；也可以是两个元件的内部通信，这可以由本领域技术人员根据具体情况来理解。
在本公开的实施例中，除非另有说明或限制，否则其中第一特征在第二特征“上”或在第二特征“下”的结构可以包括其中第一特征与第二特征直接接触的实施例，并且还可以包括其中第一特征和第二特征彼此不直接接触而是通过形成在它们之间的附加特征接触的实施例。此外，第一特征在第二特征“上(on)”、“上方(above)”或“之上(on top of)”可以包括其中第一特征在第二特征的正或斜“上”、“上方”或“之上”的实施例，或者仅仅意味着第一特征处于比第二特征的高度高的高度；而第一特征在第二特征“下(below)”、“下方(under)”或“之下(on bottom of)”可以包括其中第一特征在第二特征的正或斜“下”、“下方”或“之下”的实施例，或者仅仅意味着第一特征处于比第二特征的高度低的高度。
在上面描述中提供了各种实施例和示例以实现本公开的不同结构。为了简化本公开，在上面描述了某些元件和设置。然而，这些元件和设置仅作为示例，并且不旨在限制本公开。此外，在本公开的不同示例中，可以重复参考编号和/或参考字母。这种重复是出于简化和清晰的目的，而不是指不同实施例和/或设置之间的关系。此外，本公开中提供了不同工艺和材料的示例。然而，本领域技术人员将理解的是，也可以应用其他工艺和/或材料。
在整个说明书中，对“实施例”、“一些实施例”、“示例性实施例”、“示例”、“具体示例”或“一些示例”的引用意味着结合实施例或示例描述的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。因此，在整个说明书中，上述短语的出现不一定是指本公开的相同实施例或示例。此外，在一个或更多个实施例或示例中，特定特征、结构、材料或特性可以以任何合适的方式进行组合。
在流程图中描述的或在此以其他方式描述的任何过程或方法可以被理解为包括用于实现过程中的具体逻辑功能或步骤的可执行指令的代码的一个或多个模块、片段或部分，并且本公开的优选实施例的范围包括其他实现方式，其中本领域技术人员应当理解的是，功能可以以与所示或所讨论的序列不同的序列来实现，包括以基本相同的序列或相反的序列来实现。
在此以其他方式描述的或在流程图中示出的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定序列表，可以在任何计算机可读介质中具体实现，该计算机可读介质将由指令执行系统、装置或设备(例如基于计算机的系统，该系统包括能够从指令执行系统、装置和设备获得指令并执行该指令的处理器或其他系统)使用，或者将与指令执行系统、装置和设备结合使用。就本说明书而言，“计算机可读介质”可以是自适应地包括、存储、通信、传播或传输将由指令执行系统、装置或设备使用或与指令执行系统、装置或设备组合使用的程序的任何装置。计算机可读介质的更具体示例包括但不限于：具有一根或多根导线的电子连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤设备和便携式光盘只读存储器(CDROM)。此外，计算机可读介质甚至可以是能够在其上打印程序的纸或其他合适的介质，这是因为，例如，当需要以电子方式获得程序时，可以光学扫描纸或其他合适的介质，然后用其他合适的方法编辑、解密或处理，然后程序可以被存储在计算机存储器中。
应当理解的是，本公开的每个部分可以通过硬件、软件、固件或其组合来实现。在上述实施例中，多个步骤或方法可以通过存储在存储器中的软件或固件来实现，并且通过适当的指令执行系统来执行。例如，如果通过硬件实现，同样在另一实施例中，步骤或方法可以通过本领域中已知的以下技术之一或组合来实现：具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路、具有适当组合逻辑门电路的专用集成电路、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。
本领域技术人员应当理解的是，本公开的上述示例性方法中的全部步骤或部分步骤可以通过用程序命令相关硬件来实现。这些程序可以存储在计算机可读存储介质中，并且当在计算机上运行时，这些程序包括本公开的方法实施例中的步骤之一或组合。
此外，本公开的实施例的每个功能单元可以集成在一个处理模块中，或者这些单元可以是单独的物理存在，或者两个或更多个单元集成在一个处理模块中。集成模块可以以硬件的形式或以软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立产品出售或使用时，集成模块可以存储在计算机可读存储介质中。
上述存储介质可以是只读存储器、磁盘、CD等。
尽管已经示出并描述了本公开的实施例，但是本领域技术人员将理解的是，这些实施例是解释性的，并且不能被解释为限制本公开，并且在不脱离本公开的范围的情况下，可以在实施例中进行改变、修改、替代和变型。

Claims (15)

1.一种生成嵌入式图像数据的方法，包括：
从第一图像数据中获取一段被摄体像素数据，其中，所述第一图像数据由第一颜色像素组成，并且所述被摄体像素数据包含被摄体像素的值；
从第二图像数据中获取多段相邻像素数据，其中，所述多段相邻像素数据包含与所述被摄体像素相邻的相邻像素的值，所述第二图像数据由第二颜色像素、第三颜色像素和第四颜色像素组成，所述第二颜色像素的密度等于或大于所述第三颜色像素的密度或所述第四颜色像素的密度的两倍，并且所述第一图像数据的所述第一颜色像素的密度基本上等于包括所述第二图像数据的所述第二颜色像素、所述第三颜色像素和所述第四颜色像素的像素的密度；
基于所述被摄体像素数据的值、所述多段相邻像素数据的值中的最小值以及所述多段相邻像素数据的值中的最大值来计算残余数据；
通过使用压缩曲线来压缩所述残余数据，以生成压缩数据，其中，所述残余数据的值增加得越多，所述压缩曲线上的压缩比增加得就越多；
将所述压缩数据分割成多段分割数据；以及
将所述多段分割数据嵌入到所述第二图像数据中，以生成嵌入式图像数据。
2.根据权利要求1所述的方法，其中，所述压缩数据包括残余压缩数据和信息位，所述残余压缩数据通过压缩所述残余数据而生成，并且所述信息位指示如何计算所述残余数据。
3.根据权利要求2所述的方法，其中，所述多段相邻像素数据为四段。
4.根据权利要求3所述的方法，其中，所述计算所述残余数据包括：
计算(i1+i4)/2，其中，i1为所述多段相邻像素数据的值中的最小值，并且i4为所述多段相邻像素数据的值中的最大值；
如果所述被摄体像素数据的值小于(i1+i4)/2，则向所述信息位分配第一逻辑值；以及
如果所述被摄体像素数据的值等于或大于(i1+i4)/2，则向所述信息位分配第二逻辑值。
5.根据权利要求4所述的方法，其中，所述计算所述残余数据还包括：
如果所述被摄体像素数据的值小于(i1+i4)/2，则通过从所述被摄体像素数据的值减去所述最小值i1来计算所述残余数据；以及
如果所述被摄体像素数据的值等于或大于(i1+i4)/2，则通过从所述最大值i4减去所述被摄体像素数据的值来计算所述残余数据。
6.根据权利要求3所述的方法，其中，所述计算所述残余数据包括：
如果所述被摄体像素数据的值等于或大于所述最小值i1且等于或小于所述最大值i4，则向所述信息位分配第一逻辑值；以及
如果所述被摄体像素数据的值小于所述最小值i1或大于所述最大值i4，则向所述信息位分配第二逻辑值。
7.根据权利要求6所述的方法，其中，所述计算所述残余数据还包括：
如果所述被摄体像素数据的值小于所述最小值i1，则通过从所述被摄体像素数据的值减去所述最小值i1来计算所述残余数据；
如果所述被摄体像素数据的值等于或大于所述最小值i1且等于或小于所述最大值i4，则通过从所述被摄体像素数据的值减去(i2+i3)/2的值来计算所述残余数据，其中，值i2为所述多段相邻像素数据的值中的第二最小值，并且值i3为所述多段相邻像素数据的值中的第三最小值；以及
如果所述被摄体像素数据的值大于所述最大值i4，则通过从所述被摄体像素数据的值减去所述最大值i4来计算所述残余数据。
8.根据权利要求1所述的方法，其中，所述压缩数据被分割成两段分割数据。
9.根据权利要求8所述的方法，其中，将所述两段分割数据嵌入到所述第二图像数据的对应像素的数据空间的备用空间和所述第二图像数据的耦合像素的数据空间的备用空间中，
所述第二图像数据中的所述对应像素的位置对应于所述第一图像数据中的所述被摄体像素的位置，以及
所述耦合像素的位置紧邻所述第二图像数据中的所述对应像素的位置。
10.根据权利要求1所述的方法，其中，所述第二图像数据是拜耳格式的图像数据。
11.根据权利要求1所述的方法，其中，所述第一颜色像素为绿色像素，所述第二颜色像素为绿色像素，所述第三颜色像素为红色像素，并且所述第四颜色像素为蓝色像素。
12.一种重建第一图像数据的被摄体像素数据的被摄体像素的值的方法，所述第一图像数据由第一颜色像素组成，所述方法包括：
从嵌入式图像数据中提取多段分割数据；
组合所述多段分割数据以生成包括残余压缩数据和信息位的压缩数据；
通过使用压缩曲线扩展所述压缩数据的所述残余压缩数据以获得扩展数据，其中，所述残余压缩数据的值增加得越多，所述压缩曲线上的压缩比增加得就越多；以及
基于所述扩展数据、所述信息位以及第二图像数据的多段相邻像素数据的值中的最小值和最大值来重建所述被摄体像素数据的所述被摄体像素的值，其中，所述多段相邻像素数据包含与所述被摄体像素相邻的相邻像素的值，所述第二图像数据由第二颜色像素、第三颜色像素和第四颜色像素组成，所述第二颜色像素的密度等于或大于所述第三颜色像素的密度或所述第四颜色像素的密度的两倍，并且所述第一图像数据的所述第一颜色像素的密度基本上等于包括所述第二图像数据的所述第二颜色像素、所述第三颜色像素和所述第四颜色像素的像素的密度，其中，所述信息位指示如何基于所述扩展数据和所述第二图像数据的所述多段相邻像素数据重建所述被摄体像素数据的所述被摄体像素的值。
13.一种图像传感器，包括：
第一获取器，所述第一获取器被配置成从第一图像数据中获取一段被摄体像素数据，其中，所述第一图像数据由第一颜色像素组成，并且所述被摄体像素数据包含被摄体像素的值；
第二获取器，所述第二获取器被配置成从第二图像数据中获取多段相邻像素数据，其中，所述多段相邻像素数据包含与所述被摄体像素相邻的相邻像素的值，所述第二图像数据由第二颜色像素、第三颜色像素和第四颜色像素组成，所述第二颜色像素的密度等于或大于所述第三颜色像素的密度或所述第四颜色像素的密度的两倍，并且所述第一图像数据的所述第一颜色像素的密度基本上等于包括所述第二图像数据的所述第二颜色像素、所述第三颜色像素和所述第四颜色像素的像素的密度；
计算器，所述计算器被配置成基于所述被摄体像素数据的值、所述多段相邻像素数据的值中的最小值以及所述多段相邻像素数据的值中的最大值来计算残余数据；
压缩器，所述压缩器被配置成通过使用压缩曲线来压缩所述残余数据，以生成压缩数据，其中，所述残余数据的值增加得越多，所述压缩曲线上的压缩比增加得就越多；
分割器，所述分割器被配置成将所述压缩数据分割成多段分割数据；以及
嵌入器，所述嵌入器被配置成将所述多段分割数据嵌入到所述第二图像数据中，以生成嵌入式图像数据。
14.一种电子设备，包括：
根据权利要求13所述的图像传感器；以及
存储器，所述存储器被配置成存储从所述图像传感器输出的所述嵌入式图像数据。
15.一种非暂态计算机可读介质，包括存储在其上的程序指令，以重建由第一颜色像素组成的第一图像数据的被摄体像素数据的被摄体像素的值，并且至少执行以下操作：
从嵌入式图像数据中提取多段分割数据；
组合所述多段分割数据以生成包括残余压缩数据和信息位的压缩数据；
通过使用压缩曲线扩展所述压缩数据的所述残余压缩数据以获得扩展数据，其中，所述残余压缩数据的值增加得越多，所述压缩曲线上的压缩比增加得就越多；以及
基于所述扩展数据、所述信息位以及第二图像数据的多段相邻像素数据的值中的最小值和最大值来重建所述被摄体像素数据的所述被摄体像素的值，其中，所述多段相邻像素数据包含与所述被摄体像素相邻的相邻像素的值，所述第二图像数据由第二颜色像素、第三颜色像素和第四颜色像素组成，所述第二颜色像素的密度等于或大于所述第三颜色像素的密度或所述第四颜色像素的密度的两倍，并且所述第一图像数据的所述第一颜色像素的密度基本上等于包括所述第二图像数据的所述第二颜色像素、所述第三颜色像素和所述第四颜色像素的像素的密度，其中，所述信息位指示如何基于所述扩展数据和所述第二图像数据的所述多段相邻像素数据重建所述被摄体像素数据的所述被摄体像素的值。
CN202180090321.3A 2021-03-04 2021-03-04 生成嵌入式图像数据的方法、图像传感器、电子设备和非暂态计算机可读介质 Pending CN116711307A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/079085 WO2022183437A1 (en) 2021-03-04 2021-03-04 Method of generating embedded image data, image sensor, electrical device and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
CN116711307A true CN116711307A (zh) 2023-09-05

Family

ID=83153884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180090321.3A Pending CN116711307A (zh) 2021-03-04 2021-03-04 生成嵌入式图像数据的方法、图像传感器、电子设备和非暂态计算机可读介质

Country Status (2)

Country Link
CN (1) CN116711307A (zh)
WO (1) WO2022183437A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2235953B1 (en) * 2008-01-21 2011-09-14 Telefonaktiebolaget L M Ericsson (publ) Prediction-based image processing
WO2014127153A1 (en) * 2013-02-14 2014-08-21 Red. Com, Inc. Video camera
CN110971904B (zh) * 2018-10-15 2020-12-04 新相微电子(上海)有限公司 一种图像压缩的控制方法
CN112261391B (zh) * 2020-10-26 2022-01-04 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端

Also Published As

Publication number Publication date
WO2022183437A1 (en) 2022-09-09

Similar Documents

Publication Publication Date Title
CN108370405B (zh) 一种图像信号转换处理方法、装置及终端设备
US8675984B2 (en) Merging multiple exposed images in transform domain
US20170244916A1 (en) Method for generating high-dynamic range image, camera device, terminal and imaging method
CN111510698A (zh) 图像处理方法、装置、存储介质及移动终端
CN109479151B (zh) 采用颜色分量的像素处理
EP4254964A1 (en) Image processing method and apparatus, device, and storage medium
CN108198161A (zh) 一种双摄像头图像的融合方法、装置及设备
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN113784175A (zh) 一种hdr视频转换方法、装置、设备及计算机存储介质
CN113096022B (zh) 图像虚化处理方法、装置、存储介质与电子设备
US7817850B2 (en) Information terminal
CN114467298B (zh) 一种图像信号转换处理方法、装置及终端设备
CN116097297A (zh) 去除图像中的噪声的方法和电子设备
CN116711307A (zh) 生成嵌入式图像数据的方法、图像传感器、电子设备和非暂态计算机可读介质
CN115918104A (zh) 目标图像数据的生成方法，电子设备和非暂时性计算机可读介质
CN116134489A (zh) 生成目标图像数据的方法、电子装置，和非暂时性计算机可读介质
WO2022174460A1 (en) Sensor, electrical device, and non-transitory computer readable medium
CN108933945B (zh) 一种gif图片的压缩方法、装置及存储介质
CN114930799A (zh) 用于具有多个摄像头的电子设备的方法和电子设备
WO2021253166A1 (en) Method of generating target image data and electrical device
CN108370442B (zh) 一种高动态范围图像的处理方法、装置及计算机可读存储介质
CN116250247A (zh) 电子设备、生成图像数据的方法和非暂时性计算机可读介质
Abebe High Dynamic Range Imaging
CN114827430B (zh) 一种图像处理方法、芯片及电子设备
WO2022016385A1 (en) Method of generating corrected pixel data, electrical device and non-transitory computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination