CN111918005B - 图像传感器、终端、数据处理方法、装置及存储介质 - Google Patents

图像传感器、终端、数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN111918005B
CN111918005B CN202010973121.XA CN202010973121A CN111918005B CN 111918005 B CN111918005 B CN 111918005B CN 202010973121 A CN202010973121 A CN 202010973121A CN 111918005 B CN111918005 B CN 111918005B
Authority
CN
China
Prior art keywords
blue
pixel unit
region
spectrum
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010973121.XA
Other languages
English (en)
Other versions
CN111918005A (zh
Inventor
刘君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010973121.XA priority Critical patent/CN111918005B/zh
Publication of CN111918005A publication Critical patent/CN111918005A/zh
Priority to PCT/CN2021/111189 priority patent/WO2022057506A1/zh
Priority to EP21868334.0A priority patent/EP4213479A4/en
Application granted granted Critical
Publication of CN111918005B publication Critical patent/CN111918005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本申请实施例提供了一种图像传感器、终端、数据处理方法、装置及存储介质，涉及图像采集技术领域。图像传感器包括多个像素单元，多个像素单元包括：对红色光谱区域敏感的第一像素单元；对绿色光谱区域敏感的第二像素单元；对第一蓝色光谱区域敏感的第三像素单元；对第二蓝色光谱区域敏感的第四像素单元。本申请降低了图像传感器的蓝色通道与人眼蓝视锥细胞的偏差，提升了蓝色区域的颜色准确性。

Description

图像传感器、终端、数据处理方法、装置及存储介质
技术领域
本申请实施例涉及图像采集技术领域，特别涉及一种图像传感器、终端、数据处理方法、装置及存储介质。
背景技术
图像传感器是在光电技术基础上发展起来的将光学图像转换成电信号的器件。
在相关技术中，图像传感器的像素阵列采用拜尔阵列(Bayer Pattern)设计。拜耳阵列中包括RGB(Red Green Blue，红绿蓝)三种感光亚像素，拜耳阵列是按照2*2的阵列单元重复形成的，该2*2的阵列单元中包括1个R感光亚像素、1个B感光亚像素和2个G感光亚像素，R感光亚像素对绿色光感光，B感光亚像素对蓝色光感光，G感光亚像素对绿色光感光。
发明内容
本申请实施例提供一种图像传感器、终端、数据处理方法、装置及存储介质。所述技术方案如下：
一方面，本申请实施例提供一种图像传感器，所述图像传感器包括多个像素单元，所述多个像素单元包括：
对红色光谱区域敏感的第一像素单元；
对绿色光谱区域敏感的第二像素单元；
对第一蓝色光谱区域敏感的第三像素单元；
对第二蓝色光谱区域敏感的第四像素单元。
另一方面，本申请实施例提供一种终端，所述终端包括如上述方面所述的图像传感器。
另一方面，本申请实施例提供一种数据处理方法，所述方法包括：
获取环境光照射物体经反射进入图像传感器的第一反射光的光谱获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对第一蓝色光谱区域敏感的第三像素单元，对第二蓝色光谱区域敏感的第四像素单元；
根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第二蓝色分量；
根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第二蓝色分量，确定人眼的红绿蓝响应。
另一方面，本申请实施例提供一种数据处理装置，所述装置包括：
光谱获取模块，用于获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对第一蓝色光谱区域敏感的第三像素单元，对第二蓝色光谱区域敏感的第四像素单元；
分量确定模块，用于根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第二蓝色分量；
响应确定模块，用于根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第二蓝色分量，确定人眼的红绿蓝响应。
又一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的数据处理方法。
又一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面中提供的数据处理方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过引入两个不同的蓝色光谱区域，从而降低了图像传感器的蓝色通道与人眼蓝视锥细胞的偏差，提升了蓝色区域的颜色准确性。
附图说明
图1是相关技术中图像传感器的红色通道与人眼红视锥细胞分别在红色波段的光谱响应的示意图；
图2是相关技术中图像传感器的绿色通道与人眼绿视锥细胞分别在绿色波段的光谱响应的示意图；
图3是相关技术中图像传感器的蓝色通道与人眼蓝视锥细胞分别在蓝色波段的光谱响应的示意图；
图4是相关技术中麦克亚当椭圆的示意图；
图5是本申请一个实施例提供的图像传感器的示意图；
图6是本申请一个实施例提供的两个蓝色通道与人眼蓝视锥细胞分别对应的光谱响应的示意图；
图7是本申请一个实施例提供的滤色片阵列的示意图；
图8是本申请一个实施例提供的数据处理方法的流程图；
图9是本申请一个实施例提供的数据处理装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人眼视网膜上会存在三种视锥细胞分别对长中短波长敏感，即分别对红绿蓝光敏感。如图1所示，其示出了相关技术中图像传感器的红色通道与人眼红视锥细胞分别在红色波段(红色光谱区域)的光谱响应的示意图；如图2所示，其示出了相关技术中图像传感器的绿色通道与人眼绿视锥细胞分别在绿色波段(绿色光谱区域)的光谱响应的示意图；如图3所示，其示出了相关技术中图像传感器的蓝色通道与人眼蓝视锥细胞分别在蓝色波段(蓝色光谱区域)的光谱响应的示意图。需要说明的是，上述图1、图2和图3中人眼视锥细胞在不同波段的光谱响应采用的是CIE(Commission Internationale de L’Eclariage，国际照明委员会)1931三刺激值XYZ，上述光谱响应针对的是2度观察视角，如果针对其它观察视角，需要采用CIE其他三刺激响应。相关技术中图像传感器的红色通道在短波长(450nm～500nm)基本没有响应，而对应的CIE1931三刺激值X存在响应，这通常可以通过传感器的蓝色通道的响应进行补偿。
由图1、图2和图3可知，传感器的RGB三个通道的光谱响应都与人眼视锥细胞的光谱响应(标准光谱响应)存在差异。由于人眼蓝色视锥细胞的蓝色通道的响应很窄，这一差异会导致最终图像传感器的蓝色通道响应与人眼蓝色视锥细胞的偏差更大，而且经过大脑处理之后，这一色差也更容易被人察觉。如图4所示，其示出了一种macadam(麦克亚当椭圆)的示意图，在xy颜色空间上，椭圆中心与边缘具有恰可察觉(just noticeable)色差(需要说明的是，为了便于说明，椭圆尺寸已经放大了十倍)。由图4可以看出，麦克亚当椭圆左下角蓝紫色区域内的椭圆尺寸明显小于麦克亚当椭圆其他区域内的椭圆尺寸，因此，人眼对该蓝紫色区域更敏锐，微小的色差即可被察觉。其中，x、y计算公式如下所示：
Figure BDA0002684815180000051
因此，图像传感器蓝色通道对应的光谱响应对最终的颜色准确性有重大影响。为了提升蓝色区域的颜色准确性，本申请实施例中引入了两种蓝色光谱区域，分别为第一蓝色光谱区域和第二蓝色光谱区域。本申请实施例通过图像传感器实现两个蓝色光谱区域，降低了图像传感器的蓝色通道与人眼蓝视锥细胞的偏差，提升了蓝色区域的颜色准确性。
请参考图5，其示出了本申请一个实施例提供的图像传感器的示意图，该图像传感器500包括多个像素单元，上述多个像素单元包括：对红色光谱区域敏感的第一像素单元510；对绿色光谱区域敏感的第二像素单元520；对第一蓝色光谱区域敏感的第三像素单元530；对第二蓝色光谱区域敏感的第四像素单元540。
图像传感器500是指用于采集图像的设备，图像传感器500可以将光信号转换为电信号。红色光谱区域用于表征红色光的光谱特性，绿色光谱区域用于表征绿色光的光谱特性，第一蓝色光谱区域和第二蓝色光谱区域用于表征蓝色光的光谱特性。
在可能的实现方式中，第一蓝色光谱区域和第二蓝色光谱区域是两个不同的蓝色光谱区域，标准蓝色光谱区域分别与第一蓝色光谱区域、第二蓝色光谱区域存在重合区域。
在可能的实现方式中，第一蓝色光谱区域位于标准蓝色光谱区域的长波长区域，第二蓝色光谱区域位于标准蓝色光谱区域的低波长区域。
在可能的实现方式中，第一蓝色光谱区域包括440nm～480nm波段，第二蓝色光谱区域包括400nm～440nm波段。
在可能的实现方式中，第一蓝色光谱区域与第二蓝色光谱区域存在重合，该重合波段属于人眼蓝视锥细胞对应的光谱响应波段(即标准蓝色光谱区域)中的一部分波段。光谱响应是指图像传感器500对于不同波长光线的响应能力，通常用光谱曲线给出，光谱响应表示不同波长的光子产生电子-空穴对的能力。人眼视锥细胞是视细胞的一种，位于视网膜内，因为它能接受光刺激，并将光能转换为神经冲动，故亦称光感受器。标准蓝色光谱区域，与第一蓝色光谱区域中的第一波段，以及第二蓝色光谱区域中的第二波段存在重合波段。
在第一波段和第二波段，第三像素单元对应的光谱响应和第四像素单元对应的光谱响应恰可以表示人眼蓝视锥细胞对应的光谱响应。
在示意性实施例中，第三像素单元对应的光谱响应的响应波段还包括第三波段，第四像素单元对应的光谱响应的响应波段还包括第四波段。第三波段大于人眼蓝视锥细胞对应的光谱响应的响应波段；第四波段小于人眼蓝视锥细胞对应的光谱响应的响应波段。
如图6所示，其示出了本申请一个实施例提供的两个蓝色通道对应的光谱响应与人眼蓝视锥细胞对应的光谱响应的示意图。第三像素单元对应的光谱响应曲线61与第四像素单元对应的光谱响应曲线62存在重合区域(S1区域)，人眼蓝视锥细胞对应的光谱响应曲线63，与第三像素单元对应的光谱响应曲线61和第四像素单元对应的光谱响应曲线62在S1区域存在重合；第三像素单元对应的光谱响应曲线61的响应波段中的第三波段向长波长方向(S2区域)偏移；第四像素单元对应的光谱响应曲线62的响应波段中的第四波段向短波长方向(S3区域)偏移。
示例性地，根据第三像素单元对应的光谱响应和第四像素单元对应的光谱响应，可以推断人眼蓝视锥细胞对应的光谱响应。例如，第四像素单元对应的光谱响应包含了蓝色波段以及更长的蓝绿波段。L1所示光刺激引起的第三像素单元对应的光谱响应和第四像素单元对应的光谱响应恰可以表示人眼蓝视锥细胞对应的光谱响应；当第四像素单元对应的光谱响应与第三像素单元对应的光谱响应的比值增大时，如L2所示光刺激引起的第三像素单元对应的光谱响应和第四像素单元对应的光谱响应，其偏离了人眼蓝视锥细胞敏感的蓝色波段，表明此时人眼蓝视锥细胞对应的实际光谱响应小于第四像素单元对应的光谱响应，需要对第四像素单元对应的光谱响应进行修正来预测真正的人眼蓝视锥细胞对应的光谱响应。当第四像素单元对应的光谱响应与第三像素单元对应的光谱响应的比值减小时，如L3所示光刺激引起的第三像素单元对应的光谱响应和第四像素单元对应的光谱响应，其来自于人眼蓝视锥细胞敏感的蓝色波段，此时第四像素单元对应的光谱响应仍然可以表示人眼蓝视锥细胞对应的光谱响应。
综上所述，本申请实施例提供的技术方案中，通过引入两个不同的蓝色光谱区域，从而降低了图像传感器的蓝色通道与人眼蓝视锥细胞的偏差，提升了蓝色区域的颜色准确性。
在示意性实施例中，像素单元包括光传感器和滤色片。
示例性地，光传感器的前面装有m个滤色片阵列，该滤色片阵列中包括n*n个滤色片，该n*n个滤色片中红色滤色片、绿色滤色片、第一蓝色滤色片和第二蓝色滤色片个数比例相同，m为正整数，n为大于等于2的整数。如图7所示，其示出了本申请一个实施例提供的滤色片阵列的示意图，以滤色片阵列700包括2*2个滤色片为例进行介绍说明，该滤色片阵列700的左上角为红色滤色片71，右上角为第一蓝色滤色片72，左下角为第二蓝色滤色片73，右下角为绿色滤色片74。本申请实施例对滤色片阵列中红色滤色片、绿色滤色片、第一蓝色滤色片和第二蓝色滤色片中各个滤色片的排列方式不作限定。
光传感器是在光电技术基础上发展起来的将光学图像转换成电信号的器件，分为真空管光传感器和半导体光传感器。固态光传感器是高度集成的半导体光电器件，在一个器件上可以完成光电信号的转换、传输和处理。固态光传感器的核心是电荷转移器件，包括以下至少一项：CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary MetalOxide Semiconductor，互补式金属-氧化物-半导体)。
CCD是以阵列形式排列在衬底材料上的金属-氧化物-半导体(Metal OxideSemiconductor，MOS)电容器组成的，具有光生电荷、积蓄和转移的功能。CCD可以把光信号转换为电脉冲信号。每一个脉冲反应一个光敏元的受光情况，脉冲幅度的高低反映该光敏元受光的强弱，输出脉冲的顺序可以反映光敏元的位置。CMOS芯片除了具有CCD芯片的功能单元，还包括了控制电路、A/D(Analog/Digit，数/模)转换和视频信号处理电路，可以进行亮度、对比度、噪音控制、边缘检测等复杂处理。
在可能的实现方式中，滤色片包括第一滤色片、第二滤色片、第三滤色片和第四滤色片；其中，
第一滤色片，用于滤除红色光谱区域之外的所有光信号，使得仅通过与红色光谱区域相关联的光信号。
第二滤色片，用于滤除绿色光谱区域之外的所有光信号，使得仅通过与绿色光谱区域相关联的光信号。
第三滤色片，用于滤除第一蓝色光谱区域之外的所有光信号，使得仅通过与第一蓝色光谱区域相关联的光信号。
第四滤色片，用于滤除第二蓝色光谱区域之外的所有光信号，使得仅通过与第二蓝色光谱区域相关联的光信号。
需要说明的是，第一滤色片与红色滤色片的含义相同、第二滤色片与绿色滤色片的含义相同、第三滤色片与第一蓝色滤色片的含义相同、第四滤色片与第二蓝色滤色片的含义相同。
在可能的实现方式中，光传感器包括第一光传感器、第二光传感器、第三光传感器和第四光传感器；其中，
第一光传感器和第一滤色片，用于形成预设的第一颜色通道，使得仅通过与红色光谱区域相关联的光信号。
第二光传感器和第二滤色片，用于形成预设的第二颜色通道，使得仅通过与绿色光谱区域相关联的光信号。
第三光传感器和第三滤色片，用于形成预设的第三颜色通道，使得仅通过与第一蓝色光谱区域相关联的光信号。
第四传感器和第四滤色片，用于形成预设的第四颜色通道，使得仅通过与第二蓝色光谱区域相关联的光信号。
在图像采集过程中，分别在第一滤色片下采集第一图像，在第二滤色片下采集第二图像，在第三滤色片下采集第三图像，在第四滤色片下采集第四图像，分别对上述第一图像、第二图像、第三图像和第四图像进行处理，得到最终采集的图像。
在示意性实施例中，本申请实施例还提供了一种终端，该终端包括如上述实施例所述的图像传感器。示例性地，终端是指具有图像采集功能的终端，例如，终端包括手机、平板电脑、PC(Personal Computer，个人计算机)、智能可穿戴设备、智能多媒体设备、相机等，本申请实施例对终端的类型不作限定。
请参考图8，其示出了本申请一个实施例提供的数据处理方法的流程图。该方法可以包括如下几个步骤。
步骤801，获取环境光照射物体经反射进入图像传感器的第一反射光的光谱。
在本申请实施例中，图像传感器包括多个像素单元，上述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对第一蓝色光谱区域敏感的第三像素单元，对第二蓝色光谱区域敏感的第四像素单元。
步骤802，根据第一反射光的光谱与第一像素单元的光谱透过率对应波长的乘积之和，确定第一像素单元感知的第一红色分量。
在可能的实现方式中，第一红色分量R通过如下公式确定：
Figure BDA0002684815180000091
其中，
Figure BDA0002684815180000092
表示第一像素单元的光谱透过率，φ(λ)表示第一反射光的光谱。
步骤803，根据第一反射光的光谱与第二像素单元的光谱透过率对应波长的乘积之和，确定第二像素单元感知的第一绿色分量。
在可能的实现方式中，第一绿色分量G通过如下公式确定：
Figure BDA0002684815180000093
其中，
Figure BDA0002684815180000094
表示第二像素单元的光谱透过率，φ(λ)表示第一反射光的光谱。
步骤804，根据第一反射光的光谱与第三像素单元的光谱透过率对应波长的乘积之和，确定第三像素单元感知的第一蓝色分量。
在可能的实现方式中，第一蓝色分量B1通过如下公式确定：
Figure BDA0002684815180000095
其中，
Figure BDA0002684815180000096
表示第三像素单元的光谱透过率，φ(λ)表示第一反射光的光谱。
步骤805，根据第一反射光的光谱与第四像素单元的光谱透过率对应波长的乘积之和，确定第四像素单元感知的第二蓝色分量。
在可能的实现方式中，第二蓝色分量B2通过如下公式确定：
Figure BDA0002684815180000097
其中，
Figure BDA0002684815180000101
表示第四像素单元的光谱透过率，φ(λ)表示第一反射光的光谱。
需要说明的是，步骤802至步骤805可以同时执行。
步骤806，根据颜色转换关系和第一红色分量、第一绿色分量、第一蓝色分量和第二蓝色分量，确定人眼的红绿蓝响应。
在可能的实现方式中，颜色转换关系为颜色转换矩阵。第一红色分量表示为R，第一绿色分量表示为G、第一蓝色分量表示为B1、第二蓝色分量表示为B2，人眼的红绿蓝响应可表示为CIE1931三刺激值XYZ，此时，XYZ可以通过如下公式确定得到：
Figure BDA0002684815180000102
本申请实施例的执行主体可以是终端，或者也可以是终端中包括的图像传感器。在可能的实现方式中，终端中还包括ISP(Image Signal Processing，图像信号处理器)，图像传感器确定出人眼的红绿蓝响应后，将该红绿蓝响应发送给ISP，以使得ISP对上述红绿蓝响应进行处理，得到最终的彩色图像。
综上所述，本申请实施例提供的技术方案中，通过引入两个不同的蓝色光谱区域，从而降低了图像传感器的蓝色通道与人眼蓝视锥细胞的偏差，提升了蓝色区域的颜色准确性。
在可能的实现方式中，在终端根据颜色转换关系和红色分量、绿色分量、第二蓝色分量和第二蓝色分量，确定人眼的红绿蓝响应之前，需要先确定颜色转换关系，颜色转换关系可通过如下方式确定：
第一、获取标准光源照射色卡后反射进入图像传感器的第二反射光的光谱。
在可能的实现方式中，色卡为爱色丽24色色卡。标准光源为D50光源，D50光源的色温为5000K，被世界印刷业公认为标准色温(ICC(International Color Consortium，国际色彩协会)标准)，其条件恰与白天阳光下相近，色彩比较正常。
第二、根据第二反射光的光谱与第一像素单元的光谱透过率对应波长的乘积之和，确定第一像素单元感知的第二红色分量。以及，
由于第二红色分量的确定方式与第一红色分量的确定方式类似，因此，有关第二红色分量的确定方式可参照上文的介绍说明，此处不再赘述。
第三、根据第二反射光的光谱与第二像素单元的光谱透过率对应波长的乘积之和，确定第二像素单元感知的第二绿色分量。以及，
第二绿色分量的确定方式与第一绿色分量的确定方式类似，因此，有关第二绿色分量的确定方式可参照上文的介绍说明，此处不再赘述。
第四、根据第二反射光的光谱与第三像素单元的光谱透过率对应波长的乘积之和，确定第三像素单元感知的第三蓝色分量。以及，
第三蓝色分量的确定方式与第一蓝色分量的确定方式类似，因此，有关第三蓝色分量的确定方式可参照上文的介绍说明，此处不再赘述。
第五、根据第二反射光的光谱与第四像素单元的光谱透过率对应波长的乘积之和，确定第四像素单元感知的第四蓝色分量。
第四蓝色分量的确定方式与第二蓝色分量的确定方式类似，因此，有关第四蓝色分量的确定方式可参照上文的介绍说明，此处不再赘述。
第六、根据第二红色分量、第二绿色分量、第三蓝色分量、第四蓝色分量和色卡对应的标准红绿蓝响应，确定颜色转换关系。
采用爱色丽24色色卡在D50光源下的反射光谱进行模拟。表1显示了24色色卡模拟计算的CIE1931三刺激值的响应，RGB转换模拟的CIE三刺激值的影响以及RGB1B2转换模拟的CIE三刺激值的影响。DZ表示RGB或者RGB1B2模拟的Z值与标准的CIE1931Z值的绝对值差距。由表1可知，RGB1B2通道组合的DZ均值小于RGB组合，表明本申请可以提升蓝紫色区域的准确性。
表1
Figure BDA0002684815180000111
Figure BDA0002684815180000121
Figure BDA0002684815180000131
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图9，其示出了本申请一个实施例提供的数据处理装置的框图，该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置900可以包括：光谱获取模块910、分量确定模块920和响应确定模块930。
光谱获取模块910，用于获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对第一蓝色光谱区域敏感的第三像素单元，对第二蓝色光谱区域敏感的第四像素单元；
分量确定模块920，用于根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
所述分量确定模块920，还用于根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
所述分量确定模块920，还用于根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
所述分量确定模块920，还用于根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第二蓝色分量；
响应确定模块930，用于根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第二蓝色分量，确定人眼的红绿蓝响应。
综上所述，本申请实施例提供的技术方案中，通过引入两个不同的蓝色光谱区域，从而降低了图像传感器的蓝色通道与人眼蓝视锥细胞的偏差，提升了蓝色区域的颜色准确性。
在示意性实施例中，所述装置900还包括：关系确定模块(图中未示出)。
所述关系确定模块，用于：
获取标准光源照射色卡后反射进入所述图像传感器的第二反射光的光谱；
根据所述第二反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第二红色分量；以及，
根据所述第二反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第二绿色分量；以及，
根据所述第二反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第三蓝色分量；以及，
根据所述第二反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第四蓝色分量；
根据所述第二红色分量、所述第二绿色分量、所述第三蓝色分量、所述第四蓝色分量和所述色卡对应的标准红绿蓝响应，确定所述颜色转换关系。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由计算机设备的处理器加载并执行以实现上述数据处理方法实施例中的各个步骤。
在示例性实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的数据处理方法。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种图像传感器，其特征在于，所述图像传感器包括多个像素单元，所述多个像素单元包括：
对红色光谱区域敏感的第一像素单元；
对绿色光谱区域敏感的第二像素单元；
对第一蓝色光谱区域敏感的第三像素单元；
对第二蓝色光谱区域敏感的第四像素单元；
其中，所述第一蓝色光谱区域和所述第二蓝色光谱区域是两个不同的蓝色光谱区域，标准蓝色光谱区域分别与所述第一蓝色光谱区域、所述第二蓝色光谱区域存在重合区域；所述第一蓝色光谱区域位于所述标准蓝色光谱区域的长波长区域，所述第二蓝色光谱区域位于所述标准蓝色光谱区域的低波长区域；所述第一蓝色光谱区域包括440 nm~480nm波段，所述第二蓝色光谱区域包括400nm~440nm波段；
其中，在所述第四像素单元对应的光谱响应与所述第三像素单元对应的光谱响应的比值增大的情况下，通过对所述第四像素单元对应的光谱响应进行修正，以表示人眼蓝视锥细胞对应的光谱响应；在所述第四像素单元对应的光谱响应与所述第三像素单元对应的光谱响应的比值减小的情况下，以所述第四像素单元对应的光谱响应表示所述人眼蓝视锥细胞对应的光谱响应。
2.根据权利要求1所述的图像传感器，其特征在于，所述像素单元包括光传感器和滤色片。
3.根据权利要求2所述的图像传感器，其特征在于，所述滤色片包括第一滤色片、第二滤色片、第三滤色片和第四滤色片；其中，
所述第一滤色片，用于滤除所述红色光谱区域之外的所有光信号，使得仅通过与所述红色光谱区域相关联的光信号；
所述第二滤色片，用于滤除所述绿色光谱区域之外的所有光信号，使得仅通过与所述绿色光谱区域相关联的光信号；
所述第三滤色片，用于滤除所述第一蓝色光谱区域之外的所有光信号，使得仅通过与所述第一蓝色光谱区域相关联的光信号；
所述第四滤色片，用于滤除所述第二蓝色光谱区域之外的所有光信号，使得仅通过与所述第二蓝色光谱区域相关联的光信号。
4.根据权利要求3所述的图像传感器，其特征在于，所述光传感器包括第一光传感器、第二光传感器、第三光传感器和第四光传感器；其中，
所述第一光传感器和所述第一滤色片，用于形成预设的第一颜色通道，使得仅通过与所述红色光谱区域相关联的光信号；
所述第二光传感器和所述第二滤色片，用于形成预设的第二颜色通道，使得仅通过与所述绿色光谱区域相关联的光信号；
所述第三光传感器和所述第三滤色片，用于形成预设的第三颜色通道，使得仅通过与所述第一蓝色光谱区域相关联的光信号；
所述第四光传感器和所述第四滤色片，用于形成预设的第四颜色通道，使得仅通过与所述第二蓝色光谱区域相关联的光信号。
5.一种终端，其特征在于，所述终端包括如权利要求1至4任一项所述的图像传感器。
6.一种数据处理方法，其特征在于，所述方法包括：
获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对第一蓝色光谱区域敏感的第三像素单元，对第二蓝色光谱区域敏感的第四像素单元，其中，所述第一蓝色光谱区域和所述第二蓝色光谱区域是两个不同的蓝色光谱区域，标准蓝色光谱区域分别与所述第一蓝色光谱区域、所述第二蓝色光谱区域存在重合区域；所述第一蓝色光谱区域位于所述标准蓝色光谱区域的长波长区域，所述第二蓝色光谱区域位于所述标准蓝色光谱区域的低波长区域；所述第一蓝色光谱区域包括440 nm~480nm波段，所述第二蓝色光谱区域包括400nm~440nm波段，其中，在所述第四像素单元对应的光谱响应与所述第三像素单元对应的光谱响应的比值增大的情况下，通过对所述第四像素单元对应的光谱响应进行修正，以表示人眼蓝视锥细胞对应的光谱响应；在所述第四像素单元对应的光谱响应与所述第三像素单元对应的光谱响应的比值减小的情况下，以所述第四像素单元对应的光谱响应表示所述人眼蓝视锥细胞对应的光谱响应；
根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第二蓝色分量；
根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第二蓝色分量，确定人眼的红绿蓝响应。
7.根据权利要求6所述的方法，其特征在于，所述根据颜色转换关系和所述红色分量、所述绿色分量、所述第一蓝色分量和所述第二蓝色分量，确定人眼的红绿蓝响应之前，还包括：
获取标准光源照射色卡后反射进入所述图像传感器的第二反射光的光谱；
根据所述第二反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第二红色分量；以及，
根据所述第二反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第二绿色分量；以及，
根据所述第二反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第三蓝色分量；以及，
根据所述第二反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第四蓝色分量；
根据所述第二红色分量、所述第二绿色分量、所述第三蓝色分量、所述第四蓝色分量和所述色卡对应的标准红绿蓝响应，确定所述颜色转换关系。
8.一种数据处理装置，其特征在于，所述装置包括：
光谱获取模块，用于获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对第一蓝色光谱区域敏感的第三像素单元，对第二蓝色光谱区域敏感的第四像素单元，其中，所述第一蓝色光谱区域和所述第二蓝色光谱区域是两个不同的蓝色光谱区域，标准蓝色光谱区域分别与所述第一蓝色光谱区域、所述第二蓝色光谱区域存在重合区域；所述第一蓝色光谱区域位于所述标准蓝色光谱区域的长波长区域，所述第二蓝色光谱区域位于所述标准蓝色光谱区域的低波长区域；所述第一蓝色光谱区域包括440 nm~480nm波段，所述第二蓝色光谱区域包括400nm~440nm波段，其中，在所述第四像素单元对应的光谱响应与所述第三像素单元对应的光谱响应的比值增大的情况下，通过对所述第四像素单元对应的光谱响应进行修正，以表示人眼蓝视锥细胞对应的光谱响应；在所述第四像素单元对应的光谱响应与所述第三像素单元对应的光谱响应的比值减小的情况下，以所述第四像素单元对应的光谱响应表示所述人眼蓝视锥细胞对应的光谱响应；
分量确定模块，用于根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第二蓝色分量；
响应确定模块，用于根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第二蓝色分量，确定人眼的红绿蓝响应。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求6至7任一项所述的数据处理方法。
CN202010973121.XA 2020-09-16 2020-09-16 图像传感器、终端、数据处理方法、装置及存储介质 Active CN111918005B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010973121.XA CN111918005B (zh) 2020-09-16 2020-09-16 图像传感器、终端、数据处理方法、装置及存储介质
PCT/CN2021/111189 WO2022057506A1 (zh) 2020-09-16 2021-08-06 图像传感器、终端、数据处理方法、装置及存储介质
EP21868334.0A EP4213479A4 (en) 2020-09-16 2021-08-06 IMAGE SENSOR, TERMINAL, DATA PROCESSING METHOD AND APPARATUS, AND RECORDING MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010973121.XA CN111918005B (zh) 2020-09-16 2020-09-16 图像传感器、终端、数据处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111918005A CN111918005A (zh) 2020-11-10
CN111918005B true CN111918005B (zh) 2023-05-16

Family

ID=73267911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973121.XA Active CN111918005B (zh) 2020-09-16 2020-09-16 图像传感器、终端、数据处理方法、装置及存储介质

Country Status (3)

Country Link
EP (1) EP4213479A4 (zh)
CN (1) CN111918005B (zh)
WO (1) WO2022057506A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918005B (zh) * 2020-09-16 2023-05-16 Oppo广东移动通信有限公司 图像传感器、终端、数据处理方法、装置及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7057654B2 (en) * 2002-02-26 2006-06-06 Eastman Kodak Company Four color image sensing apparatus
US7333678B1 (en) * 2003-05-20 2008-02-19 Micronas Usa, Inc. Edge adaptive demosaic system and method
JP3933651B2 (ja) * 2004-06-22 2007-06-20 三菱電機株式会社 撮像装置及びその信号処理方法
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
KR100647402B1 (ko) * 2005-11-01 2006-11-23 매그나칩 반도체 유한회사 이미지 센서의 화질개선장치 및 그 방법
CN100437287C (zh) * 2006-05-25 2008-11-26 友达光电股份有限公司 高色彩表现的液晶显示器
US20080266563A1 (en) * 2007-04-26 2008-10-30 Redman David J Measuring color using color filter arrays
US7990445B2 (en) * 2008-05-30 2011-08-02 Omnivision Technologies, Inc. Image sensor having differing wavelength filters
JP5554139B2 (ja) * 2010-05-11 2014-07-23 パナソニック株式会社 複合型撮像素子およびそれを備えた撮像装置
US9179127B2 (en) * 2011-05-19 2015-11-03 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional imaging device, imaging element, light transmissive portion, and image processing device
DE112013003422B4 (de) * 2012-07-06 2017-09-07 Fujifilm Corporation Farbbildaufnahmeelement und Bildaufnahmevorrichtung
CN107360405A (zh) * 2016-05-09 2017-11-17 比亚迪股份有限公司 图像传感器、成像方法和成像装置
US20220007925A1 (en) * 2018-11-30 2022-01-13 Intuitive Surgical Operations, Inc. Medical imaging systems and methods
CN111918005B (zh) * 2020-09-16 2023-05-16 Oppo广东移动通信有限公司 图像传感器、终端、数据处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN111918005A (zh) 2020-11-10
EP4213479A1 (en) 2023-07-19
EP4213479A4 (en) 2024-02-21
WO2022057506A1 (zh) 2022-03-24

Similar Documents

Publication Publication Date Title
US10257484B2 (en) Imaging processing device and imaging processing method
US9942527B2 (en) Imaging systems with clear filter pixels
CN111491110B (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
US9793306B2 (en) Imaging systems with stacked photodiodes and chroma-luma de-noising
CN111432099A (zh) 图像传感器、处理系统及方法、电子设备和存储介质
US20150062347A1 (en) Image processing methods for visible and infrared imaging
EP1969558A1 (en) Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
CN106878690A (zh) 图像传感器的成像方法、成像装置和电子设备
CN107112342A (zh) 固态摄像装置和电子设备
JP6758747B2 (ja) 固体撮像装置および電子機器
CN103546730A (zh) 基于多摄像头的图像感光度增强方法
CN111918004B (zh) 图像传感器、终端、数据处理方法、装置及存储介质
US20230402473A1 (en) Multispectral image sensor and imaging module thereof
CN111586375A (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN106911919A (zh) 彩色图像传感器及彩色图像成像方法
CN111918005B (zh) 图像传感器、终端、数据处理方法、装置及存储介质
CN113037980A (zh) 像素传感阵列和视觉传感器
CN113038046A (zh) 像素传感阵列和视觉传感器
CN216122640U (zh) 摄像元件及电子设备
CN206559541U (zh) 彩色图像传感器
Skorka et al. Color correction for RGB sensors with dual-band filters for in-cabin imaging applications
CN115239550A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN111989916B (zh) 成像设备和方法、图像处理设备和方法以及成像元件
CN110324541A (zh) 一种滤波联合去噪插值方法及装置
KR100905269B1 (ko) 적외선 보정 기능을 구비한 이미지센서

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant