CN116803096A - 传感器、电子设备和非暂时性计算机可读介质 - Google Patents

传感器、电子设备和非暂时性计算机可读介质 Download PDF

Info

Publication number
CN116803096A
CN116803096A CN202180091315.XA CN202180091315A CN116803096A CN 116803096 A CN116803096 A CN 116803096A CN 202180091315 A CN202180091315 A CN 202180091315A CN 116803096 A CN116803096 A CN 116803096A
Authority
CN
China
Prior art keywords
data
image data
pixel
pixel data
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180091315.XA
Other languages
English (en)
Inventor
新井俊彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN116803096A publication Critical patent/CN116803096A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

一种成像传感器(60)包括第一电路(62)和第二电路(64)。第一电路(62)获得第一采集像素数据，并且从成像传感器(60)输出第一采集像素数据作为常规处理图像数据，第一采集像素数据为常规增益像素的数据。第二电路(64)获得第二采集像素数据，并且对第二采集像素数据进行规范化处理，以获得第一规范化像素数据，第二采集像素数据为低增益像素的数据；如果常规处理图像数据未饱和，则从成像传感器(60)输出第一规范化像素数据作为常规处理图像数据，以及如果常规处理图像数据饱和，则从第一规范化像素数据中剪辑出第二规范化像素数据，并且从成像传感器(60)输出第二规范化像素数据作为常规处理图像数据。

Description

传感器、电子设备和非暂时性计算机可读介质
技术领域
本发明涉及一种传感器、一种电子设备和一种非暂时性计算机可读介质。
背景技术
智能手机和平板终端等电子设备广泛应用于我们的日常生活中。如今，许多电子设备都配备了用于采集图像的相机组件。一些电子设备是便携式的，所以易于携带。因此，电子设备的用户可以通过使用电子设备的相机组件随时随地轻松地拍摄物体的照片。
许多电子设备可以产生高动态范围(High Dynamic Range，HDR)图像数据，该图像数据可以表示从暗像素到亮像素的宽亮度范围。在此种情况下，由相机组件的成像传感器采集的像素数据的灵敏度水平在常规增益像素和低增益像素之间是不同的。因此，需要一个特定过程来对成像传感器采集的低增益像素的像素数据进行规范化处理。即使不需要HDR图像数据，此种特定过程也是必要的。此外，还需要特定的硬件结构和/或软件过程来执行该特定过程。因此，开发此种特定硬件结构和/或特定软件的成本增加了。
发明内容
本发明旨在解决上述技术问题中的至少一个。因此，本发明需要提供一种成像传感器、一种电子设备和一种非暂时计算机可读介质。
根据本发明，一种成像传感器可以包括第一电路和第二电路。
第一电路被配置为：获得第一采集像素数据，并且从成像传感器输出第一采集像素数据作为常规处理图像数据，第一采集像素数据为常规增益像素的数据。
第二电路被配置为：获得第二采集像素数据，并且对第二采集像素数据进行规范化处理，以获得第一规范化像素数据，第二采集像素数据为低增益像素的数据。
第二电路还被配置为：当将常规处理图像数据输入到常规图像链路中时，如果常规处理图像数据未饱和，则从成像传感器输出第一规范化像素数据作为常规处理图像数据。
第二电路还被配置为：当将常规处理图像数据输入到常规图像链路中时，如果常规处理图像数据饱和，则从第一规范化像素数据中剪辑出第二规范化像素数据，并且从成像传感器输出第二规范化像素数据作为常规处理图像数据。
根据本发明，一种电子设备可以包括上文所述的成像传感器以及第三电路。
第三电路被配置为：在低增益像素本身的常规处理图像数据的备用空间和另一像素的另一常规处理图像数据的备用空间中，收集所嵌入的多个数据片，以获得压缩数据。
根据本发明，一种非暂时性计算机可读介质，其上存储有用于至少执行以下操作的程序指令。
在低增益像素本身的常规处理图像数据的备用空间和另一像素的另一常规处理图像数据的备用空间中，收集所嵌入的多个数据片。常规处理图像数据是从成像传感器输出的。
基于所收集的数据片获得压缩数据。
对压缩数据进行扩展，以获得重构的第一规范化像素数据。
附图说明
结合附图，根据下列详细描述，本发明实施例的前述和/或其他方面和优点将变得更明显和更容易理解。
图1示出了根据本发明的实施例的电子设备的第一侧的平面视图。
图2示出了根据本发明的实施例的电子设备的第二侧的平面视图。
图3示出了根据本发明的实施例的电子设备的框图。
图4示出了根据本发明实施例的电子设备的相机组件中的成像传感器的像素阵列的一个示例。
图5示出了根据本发明实施例的电子设备的相机组件中的成像传感器的像素阵列的另一个示例。
图6示出了根据本发明实施例的相机组件的成像传感器的结构，以及在成像传感器中执行的为电子设备的常规图像链路生成常规处理图像数据的过程。
图7示出了根据本发明实施例的为电子设备的常规图像链路生成常规处理图像数据的常规处理图像数据生成过程的流程图。
图8示出了根据本发明实施例的相机组件的成像传感器的结构以及在成像传感器中执行的为电子设备的HDR图像链路生成常规处理图像数据的过程。
图9示出了根据本发明实施例的为电子设备的HDR图像链路生成常规处理图像数据的常规处理图像数据生成过程的流程图。
图10示出了通过减少第一规范化像素数据的比特数来压缩第一规范化像素数据的压缩色调曲线的一个示例。
图11示出了若输出是线性的情况下第一规范化像素数据及其从成像传感器的输出之间的关系。
图12示出了根据本发明的电子设备中的常规处理图像数据的比特格式。
图13示出了将四个数据片嵌入到特定像素阵列中的常规处理图像数据中的一个示例。
图14示出了基于从第二电路输出的常规处理图像数据重构第一规范化像素数据的第一规范化像素数据恢复过程。
图15示出了从图13所示出的像素阵列中的常规处理图像数据中收集四个数据片的一个示例。
图16示出了待输入到HDR图像链路的第一规范化像素数据的重构。
图17示出了用于对通过从常规处理图像数据收集多个数据片而获得的压缩数据进行扩展的扩展色调曲线。
图18示出了在根据本发明的电子设备中利用常规图像链路和HDR图像链路的方式。
具体实施方式
将详细描述本发明的实施例，并且将在附图中示出实施例的示例。在整个说明书中，可以由类似的附图标记表示相同或相似的元件以及具有相同或相似功能的元件。本文中参考附图所描述的实施例是解释性的，旨在说明本发明，但不应被解释为限制本发明。
图1是根据本发明实施例的电子设备10的第一侧的平面视图，图2是根据本发明实施例的电子设备10的第二侧的平面视图。第一侧可以被称为电子设备10的后侧，而第二侧可以被称为电子设备10的前侧。
如图1和图2所示，电子设备10可以包括显示器20和相机组件30。在本实施例中，相机组件30包括第一主相机32、第二主相机34和子相机36。第一主相机32和第二主相机34可以采集电子设备10的第一侧的图像，并且子相机36可以采集电子设备10的第二侧的图像。因此，第一主相机32和第二主相机34是所谓的外部相机，而子相机36是所谓的内部相机。作为示例，电子设备10可以是移动电话、平板电脑、个人数字助理等。
第一主相机32、第二主相机34和子相机36中的每一个都具有成像传感器，该成像传感器将已经通过滤色器的光转换成电信号。电信号的信号值取决于通过滤色器的光量。
虽然根据本实施例的电子设备10具有三个相机，但是电子设备10可以具有少于三个相机或者多于三个相机。例如，电子设备10可以具有两个相机、四个相机、五个相机等等。
图3是根据本实施例的电子设备10的框图。如图3所示，除了显示器20和相机组件30之外，电子设备10可以包括主处理器40、图像信号处理器42、存储器44、电源电路46和通信电路48。显示器20、相机组件30、主处理器40、图像信号处理器42、存储器44、电源电路46和通信电路48经由总线50彼此连接。
主处理器40执行存储在存储器44中的一个或多个程序指令。主处理器40通过执行程序指令来实现电子设备10的各种应用和数据处理。主处理器40可以是一个或多个计算机处理器。主处理器40不限于一个中央处理单元(Central Processing Unit，CPU)内核，而是可以具有多个CPU内核。主处理器40可以是电子设备10的主CPU、图像处理单元(ImageProcessing Unit，IPU)或与相机组件30一同提供的数字信号处理器(Digital SignalProcessor，DSP)。
图像信号处理器42控制相机组件30，并对由相机组件30采集的各种图像数据进行处理，以生成目标图像数据。例如，图像信号处理器42可以对由相机组件30采集的图像数据应用去马赛克处理、降噪处理、自动曝光处理、自动聚焦处理、自动白平衡处理、高动态范围处理等。
在本实施例中，主处理器40和图像信号处理器42彼此协作，以生成由相机组件30采集的物体的目标图像数据。即，将主处理器40和图像信号处理器42配置为借助于相机组件30采集物体的图像，并对所采集的图像数据应用各种图像处理。
存储器44存储将由主处理器40执行的程序指令和各种数据。例如，采集图像的数据也存储在存储器44中。
存储器44可以包括高速RAM存储器和/或非易失性存储器(诸如，闪存和磁盘存储器)。换而言之，存储器44可以包括存储程序指令的非暂时性计算机可读介质。
电源电路46可以具有诸如锂离子可充电电池之类的电池和用于管理电池的电池管理单元(Battery Management Unit，BMU)。
将通信电路48配置为接收和发送数据，以经由无线通信与电信网络系统的基站、互联网或其他设备通信。无线通信可以采用任何通信标准或协议，包括但不限于全球移动通信系统(Global System for Mobile communication，GSM)、码分多址(Code DivisionMultiple Access，CDMA)、长期演进(Long Term Evolution，LTE)、进阶长期演进(LTE-Advanced)、第五代移动通信技术(5th generation，5G)。通信电路48可以包括天线和射频(Radio Frequency，RF)电路。
图4示出了相机组件30中的成像传感器60的像素阵列的一个示例。换而言之，相机组件30具有成像传感器60以采集物体的图像。图4所示的像素阵列包括绿色像素、红色像素和蓝色像素。存在两种类型的绿色像素，即，常规增益绿色像素GR和低增益绿色像素GL。低增益绿色像素GL的灵敏度低于常规增益绿色像素GR的灵敏度。例如，低增益绿色像素GL的模拟增益低于常规增益绿色像素GR的模拟增益。在另一示例中，低增益绿色像素GL的曝光时间短于常规增益绿色像素GR的曝光时间。
类似地，存在两种类型的红色像素，即，常规增益红色像素RR和低增益红色像素RL。低增益红色像素RL的灵敏度低于常规增益红色像素RR的灵敏度。此外，还存在两种类型的蓝色像素，即，常规增益蓝色像素BR和低增益蓝色像素BL。低增益蓝色像素BL的灵敏度低于常规增益蓝色像素BR的灵敏度。
图5示出了相机组件30中的成像传感器60的像素阵列的另一个示例。在该示例中，成像传感器60也具有常规增益绿色像素GR、低增益绿色像素GL、常规增益红色像素RR、低增益红色像素RL、常规增益蓝色像素BR和低增益蓝色像素BL。然而，图5中的像素阵列中像素的排列方式不同于图4中的像素阵列中像素的排列方式。
此外，像素阵列的排列方式是可选的。因此，可以将任意一种像素阵列的排列方式应用于成像传感器60。此外，成像传感器60的像素阵列的颜色不限于绿色、红色和蓝色。例如，成像传感器60的像素阵列的颜色可以包括红色、黄色和蓝色(RYB)。更具体地，成像传感器可以具有常规增益红色像素、低增益红色像素、常规增益黄色像素、低增益黄色像素、常规增益蓝色像素和低增益蓝色像素。因此，在下文中，一个像素或多个像素可以指示任何颜色的一个像素或多个像素。
图6示出了相机组件30的成像传感器60的结构，以及在成像传感器60中执行的为常规图像链路70生成常规处理图像数据的过程。图6中的成像传感器60生成常规处理图像数据，并且将常规处理图像数据输出到常规图像链路70。例如，在图像信号处理器42中包括有常规图像链路70，以处理常规处理图像数据中的常规图像数据。在本实施例中，常规图像链路70可以处理12比特常规图像数据，这是常规图像链路70的标准比特宽度。
如图6所示，成像处理器60具有用于像素阵列的常规增益像素的第一电路62和用于像素阵列的低增益像素的第二电路64。下文中，将以一个像素为例说明第一电路62和第二电路64的功能。
第一电路62获得第一采集像素数据，该第一采集像素数据为常规增益像素的数据。第一采集像素数据的值取决于通过滤色器的光量。换而言之，在常规增益像素中积累的电子量与通过滤色器的光的强度成比例。第一电路62将累积的电子转换为第一采集像素数据的数字值。
此后，第一电路62将第一采集像素数据作为常规处理图像数据，从成像传感器60输出到常规图像链路70。即，由于第一采集像素数据是从常规增益像素中获得的，其灵敏度也是常规的，故，第一电路62不改变第一采集像素数据。因此，第一电路62将第一采集像素数据本身作为常规处理图像数据，从成像传感器60输出到常规图像链路70。常规图像处理数据与常规图像链路70兼容。
例如，在本实施例中，常规处理图像数据由16比特组成，并且第一规范化像素数据由12比特组成。因此，可以将第一规范化像素数据容纳于常规处理图像数据中。换而言之，常规图像链路70接受12比特的常规图像数据，这是常规图像链路70中待处理的最大比特数。即，在本实施例中，常规图像链路70的标准比特宽度是12比特。
另一方面，第二电路64获得第二采集像素数据，该第二采集像素数据为低增益像素的数据，并且处理第二采集像素数据，以生成常规处理图像数据。图7示出了为常规图像链路70生成常规处理图像数据的常规处理图像数据生成过程的流程图。在本实施例中，在由硬件结构构成的成像传感器60的第二电路64中执行常规处理图像数据生成过程。
如图7所示，首先，第二电路64从像素阵列中获得第二采集像素数据(步骤S10)。第二采集像素数据的值取决于通过滤色器的光量。换而言之，在低增益像素中积累的电子量与通过滤色器的光的强度成比例。第二电路64将累积的电子转换为第二采集像素数据的数字值。
此后，如图7所示，第二电路64对第二采集像素数据进行规范化处理，以获得第一规范化像素数据(步骤S12)。如上所述，低增益像素的灵敏度低于常规增益像素的灵敏度。因此，需要对第二采集像素数据的值进行规范化处理，以获得第一规范化像素数据。
如图7所示，在步骤S12中将第二采集像素数据的值转换为常规增益水平。换而言之，第一规范化像素数据的值基本上等于在低增益像素的灵敏度等于常规增益像素的灵敏度的情况下的值。因此，规范化处理过程是对低增益像素的低灵敏度进行补偿的一种补偿过程。
此后，如图7所示，第二电路64判断常规处理像素数据的值是否饱和，以确定是否应该输出第一规范化像素数据作为常规处理图像数据，以输入到常规图像链路70中(步骤S14)。
例如，在本实施例中，第一规范化像素数据由18比特组成，并且常规图像链路70可以接受12比特图像数据。因此，如果第一规范化像素数据的值等于或小于4095(212可以表示等于或大于0至等于或小于4095)，则当将常规处理数据输入到常规图像链路70中时，该常规处理数据未饱和。在此种情况下，第二电路64判断第一规范化像素数据的值是否等于或小于4095(212可以表示从0至4095)。
如果常规处理图像数据未饱和(步骤S14：否)，则第二电路64从成像传感器60输出第一规范化像素数据，作为常规处理图像数据(步骤S16)。即，由于第一规范化像素数据等于或小于4095，因此常规处理图像数据未饱和，第二电路64将第一规范化像素数据本身作为常规处理图像数据，从成像传感器60输出到常规图像链路70。
由于第一规范化像素数据等于或小于4095，所以可以用12比特来表示该数据。因此，可以将由12比特组成的第一规范化像素数据容纳于由16比特组成的常规处理图像数据中。
将与第一规范化像素数据相对应的常规处理图像数据的12比特图像数据输入到常规图像链路70中。即，常规图像链路70以与处理从第一电路62输出的常规处理图像数据的常规图像数据相同的方式，对从第二电路64输出的常规处理图像数据的12比特图像数据进行处理。
另一方面，如果常规处理图像数据饱和(步骤S14：是)，则第二电路64从第一规范化像素数据中剪辑出第二规范化像素数据(步骤S18)。例如，在本实施例中，第一规范化像素数据由18比特组成。在此种情况下，第二电路64将由18比特组成的第一规范化像素数据的较低的12比特剪辑作为第二规范化像素数据。即，第二规范化像素数据的最大值为12比特数据，因此第二规范化像素数据的值在4095处饱和。
此后，第二电路64将第二规范化像素数据作为常规处理图像数据从成像传感器60输出到常规图像链路70(步骤S20)。例如，在本实施例中，第二规范化像素数据在4095(212)处，并且将12比特的常规处理图像数据输入到常规图像链路70中。即，常规图像链路70以与处理从第一电路62输出的常规处理图像数据的常规图像数据相同的方式，对从第二电路64输出的常规处理图像数据的12比特图像数据进行处理。
在执行完步骤S20之后，完成常规处理图像数据生成过程。然而，图7所示的常规处理图像数据生成过程是针对一个像素的过程。因此，成像传感器60的第二电路64将针对每个低增益像素执行如图7所示的常规处理图像数据生成过程。
基于图6和图7已解释了为常规图像链路70生成常规处理图像数据的过程。然而，根据本实施例的电子设备10还具有高动态范围(High Dynamic Range，HDR)图像链路。因此，成像传感器60还需要采集并输出用于HDR图像链路的HDR图像数据。
由于图像信号处理器42同时具有常规图像链路70和HDR图像链路，因此，也可以将常规图像链路70称为用于处理非HDR图像数据的非HDR图像链路。
图8示出了在成像传感器60中执行的为HDR图像链路72生成常规处理图像数据的过程。图8所示出的HDR图像链路72与图6所示出的常规图像链路70相对应。
图8中的第一电路62对于HDR图像链路72的功能与图8中的第一电路62的功能相同。因此，第一电路62以与图6所示出的方式相同的方式获得第一采集像素数据，并输出第一采集像素数据作为常规处理图像数据。
另一方面，与图6中第二电路64的功能相比，图8中针对HDR图像链路72的第二电路64具有附加的功能。即，在图8中的第二电路64中，将由18比特组成的第一规范化像素数据的饱和信息嵌入到常规处理图像数据中，以使得能够恢复饱和信息。即，第二电路64将第一规范化像素数据的饱和信息嵌入到常规处理图像数据本身和另一常规处理图像数据中，使得稍后可以重构第一规范化像素数据。
图9示出了为HDR图像链路72生成常规处理图像数据的常规处理图像数据生成过程的流程图。在本实施例中，在由硬件结构构成的成像传感器60中的第二电路64中执行该常规处理图像数据生成过程。
图9中从步骤S10到步骤S20的过程与图7相同。因此，在此不对其作详细说明。在步骤S20之后，第二电路64压缩第一规范化像素数据，以减少数据量并获得压缩数据(步骤S30)。第一规范化像素数据是在步骤S12中生成的数据。例如，在本实施例中，将由18比特组成的第一规范化像素数据压缩为由16比特组成的压缩数据。
存在多种方法来压缩第一规范化像素数据。例如，在本实施例中，第二电路64基于压缩色调曲线压缩第一规范化像素数据。在压缩色调曲线中，第一规范化像素数据越大时，压缩率越高。即，第一规范化像素数据越小时，压缩率越低。
图10示出了通过减少第一规范化像素数据的比特数来压缩第一规范化像素数据的压缩色调曲线的一个示例，图11示出了第一规范化像素数据和第一规范化数据的线性输出之间的关系，以及图12示出了本实施例的电子设备10中的常规处理图像数据的比特格式。
如图12所示，在本实施例中，常规处理图像数据由16比特组成，但是由于常规图像链路70接受12比特图像数据，所以图像数据的有效比特是12比特。第一规范化像素数据由18比特组成，第二规范化像素数据由12比特组成。即，在步骤S12中，第二电路64对第二采集像素数据进行规范化处理，以获得由18比特组成的第一规范化像素数据。
由16比特组成的常规处理图像数据的剩余比特为4比特，构成了备用空间。在本实施例中，备用空间用于容纳第一规范化像素数据的饱和信息。由于备用空间仅由4比特组成，因此将第一规范化像素数据的饱和信息稀疏地嵌入到常规处理图像数据的多个备用空间中。
如图11所示，由18比特组成的第一规范化像素数据可以表示等于或大于0至等于或小于262143的值。如果第一规范化像素数据的值等于或大于0且等于或小于4095，则可以用12比特表示该值，因此，可以将该值容纳于第二规范化像素数据中，而该第二规范化像素数据可以容纳于由16比特组成的常规处理图像数据中。
另一方面，如果第一规范化像素数据的值等于或大于4096且等于或小于262143，则不能用12比特表示该值，因此，该值无法容纳于第二规范化像素数据中，而该第二规范化像素数据可容纳于常规处理图像数据中。因此，第二电路64将第一规范化像素数据的饱和信息嵌入到常规处理图像数据中。
在步骤30中，第二电路64通过使用图10所示的压缩色调曲线对第一规范化像素数据进行压缩，以获得压缩数据并减少数据量。
例如，基于图10中的压缩色调曲线，当第一规范化像素数据为0时，分配的压缩数据也为0。另一方面，基于图10中的压缩色调曲线，当第一规范化像素数据是262143时，分配的压缩数据是65535。第一规范化像素数据的值越高，压缩率越高。
如果常规处理图像数据是饱和的，则表示像素非常亮。像素越亮，人眼就越难区分不同亮度的像素。因此，在本实施例中，随着第一规范化像素数据的值增加，压缩率也随之增加。
作为压缩处理的结果，可以将由18比特组成的第一规范化像素数据转换为由16比特组成的压缩数据，该压缩数据可以表示等于或大于0且等于或小于65535的值。
随后，如图9所示，第二电路64将压缩数据划分为多个数据片，并将多个数据片嵌入到低增益像素本身的常规处理图像数据的备用空间和另一像素的另一常规处理图像数据的备用空间中(步骤S32)。
在本实施例中，由于压缩数据由16比特组成，因此将压缩数据划分为4个数据片，每个数据片由4比特组成。如图12所示，由16比特组成的常规处理图像数据的备用空间由4比特组成。因此，第二电路64需要将4个数据片(每个数据片由4比特组成)分散地嵌入到4个常规处理图像数据的备用空间中。
图13示出了将4个数据片嵌入到特定像素阵列中的常规处理图像数据中的一个示例。在该示例中，第二电路64将第一数据片嵌入到低增益红色像素RL本身的常规处理图像数据的备用空间中，其中，已经从低增益红色像素RL生成了压缩数据。
此外，第二电路64将第二数据片嵌入到低增益红色像素RL右侧相邻的常规增益红色像素RR的常规处理图像数据的备用空间中。此外，第二电路64将第三数据片嵌入到低增益红色像素RL右下方相邻的常规增益红色像素RR的常规处理图像数据的备用空间中。此外，第二电路64将第四数据片嵌入到低增益红色像素RL下方相邻的常规增益红色像素RR的常规处理图像数据的备用空间中。
然而，将数据片嵌入到常规处理图像数据的备用空间中的方法不限于图13的示例。存在各种方法可以稀疏地嵌入压缩数据的数据片。此外，可以将数据片嵌入到与生成压缩数据的原始像素相同颜色像素或不同颜色像素的常规处理图像数据中。
随后，如图9所示，第二电路64从成像传感器60输出第二规范化像素数据和嵌入到备用空间中的数据片，作为常规处理图像数据(步骤S34)。
如图12所示，第二电路64将由12比特组成的第二规范化像素数据存储在常规处理图像数据的有效比特中，并将由4比特组成的数据片存储在常规处理图像数据的备用空间中。因此，将由16比特组成的常规处理图像数据从成像传感器60输出到常规图像链路70和HDR图像链路。即，在本实施例中，常规处理图像数据包括第二规范化像素数据和压缩数据的数据片。
在执行步骤S34之后，完成常规处理图像数据生成过程。然而，图9所示出的常规处理图像数据生成过程是针对一个像素的。因此，成像传感器60的第二电路64将针对每个低增益像素执行如图9所示的常规处理图像数据生成过程。
如图6所示，可以将来自第一电路62的基于第一采集像素数据的常规处理图像数据、来自第二电路64的基于第一规范化像素数据的常规处理图像数据、以及基于第二规范化像素数据的常规处理图像数据直接输入到常规图像链路70中。
另一方面，如图8所示，为了获得输入到HDR图像链路72中的HDR图像数据的第一规范化像素数据，电子设备10必须基于多个常规处理图像数据来重构第一规范化像素数据。
图14示出了基于从第二电路64输出的常规处理图像数据来重构第一规范化像素数据的第一规范化像素数据恢复过程。
如图8所示，由第三电路66执行第一规范化像素数据恢复过程。例如，可以由主处理器40组成第三电路66，主处理器40执行软件程序以实现第一规范化像素数据恢复过程。软件程序的指令可以存储在非暂时性计算机可读介质上，并且主处理器40从非暂时性计算机可读介质中读取并执行该软件程序的指令，以执行第一规范化像素数据恢复过程。
此外，可以由主处理器40和图像信号处理器42的组合组成第三电路66，或者，可以用专用集成电路(Application Specific Integrated Circuit，ASIC)来实现第三电路66，以实现第一规范化像素数据恢复过程。
如图14所示，第三电路66在低增益像素本身的常规处理图像数据的备用空间和另一像素的另一常规处理图像数据的备用空间中收集多个数据片，以获得压缩数据(步骤S40)。
图15示出了从图13所示出的像素阵列中的常规处理图像数据中收集4个数据片的一个示例。图16示出了将输入到HDR图像链路70的HDR图像数据的第一规范化像素数据的重构。
如图15和图16所示，在本实施例中，第三电路66从低增益红色像素RL的常规处理图像数据的备用空间中收集第一数据片，从右侧的常规增益红色像素RR的常规处理图像数据的备用空间中收集第二数据片，从右下方的常规增益红色像素RR的常规处理图像数据的备用空间中收集第三数据片，以及从下方的常规增益红色像素RR的常规处理图像数据的备用空间中收集第四数据片。
在本实施例中，备用空间由4比特组成，因此压缩数据由16比特(4乘以4比特)组成。换而言之，第三电路66将收集到的4个数据片连接在一起，以重构压缩数据。
随后，如图14所示，第三电路66对在步骤S40中收集到的压缩数据进行扩展，以获得重构的第一规范化像素数据(步骤S42)。在本实施例中，第二电路64在步骤S30中通过使用图10所示的压缩色调曲线压缩了第一规范化像素数据。因此，第三电路66通过使用图17所示出的扩展色调曲线对压缩数据进行扩展。图17中的扩展色调曲线是图10中的压缩色调曲线的镜像。第三电路66通过使用图17中的扩展色调曲线将压缩数据逆向转换为重构的第一规范化像素数据，该重构的第一规范化像素数据几乎等于成像传感器60中的第一规范化像素数据。
如图17所示，压缩数据的值等于或大于0且等于或小于65535(216)，而第一规范化像素数据的值等于或大于0且等于或小于262143(218)。因此，无法精确地恢复第一规范化像素数据的值。不过，这不是什么大问题，因为具有较大值的第一规范化像素数据的亮度几乎饱和，人眼不可能察觉到压缩的误差。
接下来，如图14所示，第三电路66将重构的第一规范化像素数据输出到HDR图像链路72(步骤S44)。在本实施例中，重构的第一规范化像素数据由18比特组成。因此，可以将重构的第一规范化像素数据输入到HDR图像链路72中，以处理HDR图像数据。
在执行步骤S44之后，完成第一规范化像素数据恢复过程。然而，图14所示出的第一规范化像素数据恢复过程是针对一个像素的。因此，第三电路66将对每个低增益像素执行如图14所示的第一规范化像素数据恢复过程。
图18示出了利用常规图像链路70和HDR图像链路72的方式。常规图像链路70可以快速地处理常规图像数据，但是常规图像数据的质量不是那么高。另一方面，HDR图像链路72可以基于HDR图像数据生成高质量的图像，但是该处理过程不是那么快。
例如，在本实施例中，电子设备10利用常规图像链路70使用经剪辑的第二规范化像素数据来生成运动图像(视频)。在此种情况下，由于运动图像的特性，电子设备10需要在一定时间内处理许多图像。
另一方面，电子设备10利用HDR图像链路72使用重构的第一规范化像素数据来生成静止图像。在此种情况下，电子设备10可以具有足够的处理时间来重构第一规范化像素数据以及对重构的第一规范化像素数据进行处理。
在另一示例中，电子设备10可以基于运动图像的帧速率来切换常规图像链路70和HDR图像链路72。例如，如果运动图像的帧速率等于或大于特定阈值(例如，每秒60个图像)，则电子设备10利用常规图像链路70基于经剪辑的第二规范化像素数据，来生成运动图像。
另一方面，如果运动图像的帧速率小于特定阈值，则电子设备10利用HDR图像链路72基于重构的第一规范化像素数据，来生成运动图像。
当然，电子设备10可以基于各种因素选择常规图像链路70和HDR图像链路72中的一个，以使得平滑地处理图像数据并为用户获得高质量的图像。
如上文所述，根据本实施例的电子设备10，如图6所示，电子设备10可以像处理常规图像数据一样处理HDR图像数据。因此，电子设备10可以平滑且快速地处理常规图像数据。
此外，如图8所示，电子设备10可以根据第一规范化像素数据的压缩数据的嵌入数据片来重构HDR图像数据。因此，电子设备10可以处理和加工HDR图像数据，以为用户获得高质量图像。因此，用户可以获得不饱和图像，并且欣赏HDR图像。
此外，尽管在上述实施例中，为了减少数据量而压缩了第一规范化像素数据，但是不一定要压缩第一规范化像素数据。在此种情况下，成像传感器60的第二电路64将第一规范化像素数据划分为多个数据片，并将这些数据片嵌入到低增益像素本身的常规处理图像数据和另一像素的另一常规处理图像数据中。
此外，如果压缩数据的数据长度等于或小于常规处理图像数据的备用空间的数据长度，则第二电路64不需要将压缩数据划分为多个数据片。在此种情况下，第二电路64将压缩数据嵌入到低增益像素本身的常规处理图像数据的备用空间中。
在本发明的实施例的描述中，应当理解，诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上部”、“下部”、“前部”、“后部”、“背部”、“左侧”、“右侧”、“垂直”、“水平”、“顶部”、“底部”、“内部”、“外部”、“顺时针”和“逆时针”之类的术语应该被解释为指如所讨论的附图中所描述或示出的方向或位置。这些相对术语仅用于简化本发明的描述，并不指示或暗示所提及的设备或元件必须具有特定朝向，或者以特定朝向构造或操作。因此，这些术语不能构成对本发明的限制。
此外，在本文中使用诸如“第一”和“第二”的术语仅用于描述的目的，并且不旨在指示或暗示相对重要性或意义，也不暗示所指示的技术特征的数量。因此，用“第一”和“第二”限定的特征可以包括该特征中的一个或多个。在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。
在本发明的实施例的描述中，除非另外指定或限制，“安装(的)”、“连接(的)”、“耦接(的)”等术语被广泛使用，并且可以是例如固定连接、可拆卸连接、或整体连接；也可以是机械连接或电气连接；也可以是直接连接或通过中间结构的间接连接；还可以是两个元件的内部通信，本领域技术人员根据特定情况可以理解其含义。
在本发明的实施例中，除非另外指定或限制，第一特征在第二特征“之上”或在第二特征“之下”的结构可以包括下述实施例：第一特征与第二特征直接接触，或者第一特征和第二特征彼此不直接接触，而是通过在两者之间形成附加特征接触。此外，第一特征在第二特征的“上”、“上方”或“之上”可以包括下述实施例：第一特征径直地/倾斜地在第二特征“上”、“上方”或“之上”，或者，仅仅指第一特征的高度高于第二特征的高度；而第一特征在第二特征的“下”、“下方”或“之下”可以包括下述实施例：第一特征径直地/倾斜地在第二特征“下”、“下方”或“之下”，或者，仅仅指第一特征的高度低于第二特征的高度。
在上文的描述中提供了各种实施例和示例来实现本发明的不同结构。为了简化本发明，在上文中描述了某些元素和设置。然而，这些元素和设置仅作为示例，并不旨在限制本发明。此外，在本发明的不同示例中，可以重复使用参考数字和/或参考字母。此种重复是为了简化和清晰，而不是指不同实施例和/或设置之间的关系。此外，本发明中提供了不同工艺和材料的示例。然而，本领域技术人员将理解，也可以应用其他工艺和/或材料。
在整个说明书中，提及“实施例”、“一些实施例”、“示例性实施例”、“示例”、“特定示例”或“一些示例”是指：结合实施例或示例描述的特定特征、特定结构、特定材料或特定特性包括在本发明的至少一个实施例或示例中。因此，贯穿本说明书的上述短语的出现不一定是指本发明的同一实施例或示例。此外，在一个或多个实施例或示例中，特定特征、特定结构、特定材料或特定特性可以以任何合适的方式组合。
在流程图中描述的或在本文以其他方式描述的任何过程或方法可以被理解为包括用于实现该过程中的特定逻辑功能或步骤的可执行指令的代码的一个或多个模块、片段或部分，并且本发明的优选实施例的范围包括其他实施例。本领域技术人员应该理解，可以以与所示或讨论的顺序不同的顺序来实现功能，包括以基本相同的顺序或相反的顺序。
在本文中以其他方式描述的或在流程图中示出的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定序列表，可以在任何计算机可读介质中具体实现，以供指令执行系统、装置或设备(例如基于计算机的系统、包括处理器的系统、或能够从指令执行系统、装置和设备获得指令并执行指令的其他系统)使用，或与指令执行系统、装置和设备组合使用。就本说明书而言，“计算机可读介质”可以是自适应地包括、存储、通信、传播或传输将由指令执行系统、装置或设备使用或与指令执行系统、装置或设备组合使用的程序的任何设备。计算机可读介质的更具体示例包括但不限于：具有一根或多根导线的电子连接(电子器件)、便携式计算机外壳(磁性设备)、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦除可编程只读存储器(Erasable ProgrammableRead-Only Memory，EPROM或闪存)、光纤设备和便携式光盘只读存储器(Compact DiskRead-Only Memory，CDROM)。此外，计算机可读介质甚至可以是能够在其上打印程序的纸或其他合适的介质，这是因为，例如，当需要以电子方式获得程序时，可以对纸张或其他合适的介质进行光学扫描，然后通过其他合适的方法编辑、解密或处理，然后可以将程序存储在计算机存储器中。
应当理解，本发明的每个部分可以通过硬件、软件、固件或它们的组合来实现。在上述实施例中，可以通过存储在存储器中的软件或固件来实现多个步骤或多个方法，并由适当的指令执行系统来执行这些步骤或方法。例如，如果通过硬件实现，同样在另一个实施例中，步骤或方法可以通过本领域已知的以下技术之一或组合来实现：具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路、具有适当组合逻辑门电路的专用集成电路、可编程门阵列(Programmable Gate Array，PGA)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)等。
本领域技术人员应当理解，可以通过用程序命令相关硬件来实现本发明的上述示例性方法中的全部步骤或部分步骤。这些程序可以存储在计算机可读存储介质中，并且当在计算机上运行时，这些程序包括本发明的方法实施例中的步骤之一或其组合。
此外，本发明实施例的每个功能单元可以集成在一个处理模块中，或者，这些单元可以单独的物理存在，或者，两个或更多个单元集成在一个处理模块中。集成模块可以以硬件的形式或以软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立产品出售或使用时，集成模块可以存储在计算机可读存储介质中。
上述存储介质可以是只读存储器、磁盘、CD等。
尽管已经示出和描述了本发明的实施例，但是本领域技术人员将理解，这些实施例是解释性的，并且不能被解释为限制本发明，并且在不脱离本发明的范围的情况下，可以在实施例中进行改变、修改、替代和变化。

Claims (14)

1.一种成像传感器，包括：
第一电路，被配置为：获得第一采集像素数据，并且从所述成像传感器输出所述第一采集像素数据作为常规处理图像数据，其中，所述第一采集像素数据是常规增益像素的数据；以及
第二电路，被配置为：获得第二采集像素数据，并且对所述第二采集像素数据进行规范化处理，以获得第一规范化像素数据，其中，所述第二采集像素数据是低增益像素的数据；
其中，所述第二电路还被配置为：当将所述常规处理图像数据输入到常规图像链路中时，如果所述常规处理图像数据未饱和，则从所述成像传感器输出所述第一规范化像素数据作为常规处理图像数据；以及
所述第二电路还被配置为：当将所述常规处理图像数据输入到所述常规图像链路中时，如果所述常规处理图像数据饱和，则从所述第一规范化像素数据中剪辑出第二规范化像素数据，并且从所述成像传感器输出所述第二规范化像素数据作为所述常规处理图像数据。
2.根据权利要求1所述的成像传感器，其中，将所述常规处理图像数据输入到处理非高动态范围HDR图像数据的所述常规图像链路中。
3.根据权利要求1所述的成像传感器，其中，所述第二电路还被配置为：将所述第一规范化像素数据的饱和信息嵌入到所述常规处理图像数据本身和另一常规处理图像数据中。
4.根据权利要求3所述的成像传感器，其中，所述第二电路还被配置为：压缩所述第一规范化像素数据，以减少数据量并获得压缩数据。
5.根据权利要求4所述的成像传感器，其中，所述第二电路被配置为：将所述压缩数据划分为多个数据片，并且将所述多个数据片嵌入到所述低增益像素本身的所述常规处理图像数据的备用空间和另一像素的另一常规处理图像数据的备用空间中，其中，所述备用空间是指将所述第二规范化像素数据容纳于所述常规处理图像数据中之后所述常规处理图像数据的剩余空间。
6.根据权利要求5所述的成像传感器，其中，所述第二电路还被配置为：通过基于压缩色调曲线减少所述第一规范化像素数据的比特数，来压缩所述第一规范化像素数据。
7.根据权利要求6所述的成像传感器，其中，基于所述压缩色调曲线压缩所述第一规范化像素数据，所述第一规范化像素数据越大，所述压缩色调曲线的压缩率越高。
8.根据权利要求7所述的成像传感器，其中，将所述多个数据片嵌入到所述低增益像素本身的所述常规处理图像数据的所述备用空间和与所述低增益像素相邻的像素的常规处理图像数据的备用空间中。
9.根据权利要求8所述的成像传感器，其中，所述第二电路还被配置为：从所述成像传感器输出包括所述第二规范化像素数据和所述压缩数据的所述数据片的所述常规处理图像数据。
10.一种电子设备，包括：
根据权利要求5-9中任一项所述的成像传感器；以及
第三电路，被配置为：在所述低增益像素本身的所述常规处理图像数据的所述备用空间和所述另一像素的所述另一常规处理图像数据的所述备用空间中收集嵌入的所述多个数据片，以获得所述压缩数据。
11.根据权利要求10所述的电子设备，其中，所述第三电路还被配置为：对通过收集所述多个数据片而获得的所述压缩数据进行扩展，以获得重构的第一规范化像素数据。
12.根据权利要求11所述的电子设备，其中，所述第三电路还被配置为：输出所述重构的第一规范化像素数据。
13.根据权利要求12所述的电子设备，其中，将所述重构的第一规范化像素数据输入到HDR图像链路中，以对所述重构的第一规范化像素数据进行处理。
14.一种非暂时性计算机可读介质，其上存储有用于至少执行以下操作的程序指令：
在低增益像素本身的常规处理图像数据的备用空间和另一像素的另一常规处理图像数据的备用空间中，收集所嵌入的多个数据片，其中，所述常规处理图像数据是从成像传感器输出的；
基于所收集的数据片获得压缩数据；以及
对所述压缩数据进行扩展，以获得重构的第一规范化像素数据。
CN202180091315.XA 2021-02-22 2021-02-22 传感器、电子设备和非暂时性计算机可读介质 Pending CN116803096A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/077306 WO2022174460A1 (en) 2021-02-22 2021-02-22 Sensor, electrical device, and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
CN116803096A true CN116803096A (zh) 2023-09-22

Family

ID=82932289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180091315.XA Pending CN116803096A (zh) 2021-02-22 2021-02-22 传感器、电子设备和非暂时性计算机可读介质

Country Status (2)

Country Link
CN (1) CN116803096A (zh)
WO (1) WO2022174460A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4764950B2 (ja) * 2010-07-06 2011-09-07 キヤノン株式会社 撮像装置
US8749665B2 (en) * 2011-01-31 2014-06-10 SK Hynix Inc. Dynamic range extension for CMOS image sensors for mobile applications
JP2013038504A (ja) * 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
US9843738B2 (en) * 2015-10-01 2017-12-12 Semiconductor Components Industries, Llc High dynamic range imaging pixels with improved readout
JP6039782B2 (ja) * 2015-11-18 2016-12-07 富士フイルム株式会社 放射線画像検出装置及び放射線画像検出装置に用いられる照射検出方法
US10432879B2 (en) * 2018-01-16 2019-10-01 Omnivision Technologies, Inc. Dual conversion gain high dynamic range image sensor readout circuit memory storage structure
CN109889743B (zh) * 2019-03-05 2020-09-01 长光卫星技术有限公司 一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法
CN111294529B (zh) * 2020-03-11 2021-11-16 长春长光辰芯光电技术有限公司 高动态范围tdi图像传感器及其成像方法

Also Published As

Publication number Publication date
WO2022174460A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
US9172888B2 (en) Determining exposure times using split paxels
US9118841B2 (en) Determining an image capture payload burst structure based on a metering image capture sweep
JP6169186B2 (ja) 画像処理方法及び装置並びに撮影端末
KR102412007B1 (ko) 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
US8675984B2 (en) Merging multiple exposed images in transform domain
US9087391B2 (en) Determining an image capture payload burst structure
US7817850B2 (en) Information terminal
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
CN113472997B (zh) 图像处理方法及装置、移动终端及存储介质
CN116803096A (zh) 传感器、电子设备和非暂时性计算机可读介质
CN115918104A (zh) 目标图像数据的生成方法，电子设备和非暂时性计算机可读介质
CN113364964B (zh) 图像处理方法、图像处理装置、存储介质与终端设备
WO2022183437A1 (en) Method of generating embedded image data, image sensor, electrical device and non-transitory computer readable medium
CN116097297A (zh) 去除图像中的噪声的方法和电子设备
CN116134489A (zh) 生成目标图像数据的方法、电子装置，和非暂时性计算机可读介质
KR101871946B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
WO2022016385A1 (en) Method of generating corrected pixel data, electrical device and non-transitory computer readable medium
WO2021253166A1 (en) Method of generating target image data and electrical device
WO2024020958A1 (en) Method of generating an image, electronic device, apparatus, and computer readable storage medium
CN116250247A (zh) 电子设备、生成图像数据的方法和非暂时性计算机可读介质
CN114946170B (zh) 生成图像的方法和电子设备
US9025046B2 (en) Method for white balance adjustment
WO2021159295A1 (en) Method of generating captured image and electrical device
CN117296329A (zh) 电子设备、生成图像数据的方法和非暂时性计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination