CN111918004A - 图像传感器、终端、数据处理方法、装置及存储介质 - Google Patents
图像传感器、终端、数据处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111918004A CN111918004A CN202010971688.3A CN202010971688A CN111918004A CN 111918004 A CN111918004 A CN 111918004A CN 202010971688 A CN202010971688 A CN 202010971688A CN 111918004 A CN111918004 A CN 111918004A
- Authority
- CN
- China
- Prior art keywords
- pixel unit
- component
- spectral region
- green
- red
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 15
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000003595 spectral effect Effects 0.000 claims abstract description 132
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000001228 spectrum Methods 0.000 claims description 54
- 238000002834 transmittance Methods 0.000 claims description 40
- 230000004044 response Effects 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 239000000126 substance Substances 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 210000004027 cell Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000002310 reflectometry Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 201000005111 ocular hyperemia Diseases 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Color Television Image Signal Generators (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本申请实施例提供了一种图像传感器、终端、数据处理方法、装置及存储介质，涉及图像采集技术领域。图像传感器包括多个像素单元，上述多个像素单元包括：对红色光谱区域敏感的第一像素单元；对绿色光谱区域敏感的第二像素单元；对蓝色光谱区域敏感的第三像素单元；对琥珀色光谱区域敏感的第四像素单元。本申请提升了肤色区域的颜色准确性。
Description
技术领域
本申请实施例涉及图像采集技术领域，特别涉及一种图像传感器、终端、数据处理方法、装置及存储介质。
背景技术
图像传感器是在光电技术基础上发展起来的将光学图像转换成电信号的器件。
在相关技术中，图像传感器的像素阵列采用拜尔阵列(Bayer Pattern)设计。拜耳阵列中包括RGB(Red Green Blue，红绿蓝)三种感光亚像素，拜耳阵列是按照2*2的阵列单元重复形成的，该2*2的阵列单元中包括1个R感光亚像素、1个B感光亚像素和2个G感光亚像素，R感光亚像素对绿色光感光，B感光亚像素对蓝色光感光，G感光亚像素对绿色光感光。
发明内容
本申请实施例提供一种图像传感器、终端、数据处理方法、装置及存储介质。所述技术方案如下：
一方面，本申请实施例提供一种图像传感器，所述图像传感器包括多个像素单元，所述多个像素单元包括：
对红色光谱区域敏感的第一像素单元；
对绿色光谱区域敏感的第二像素单元；
对蓝色光谱区域敏感的第三像素单元；
对琥珀色光谱区域敏感的第四像素单元。
另一方面，本申请实施例提供一种终端，所述终端包括如上述方面所述的图像传感器。
另一方面，本申请实施例提供一种数据处理方法，所述方法包括：
获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对蓝色光谱区域敏感的第三像素单元，对琥珀色光谱区域敏感的第四像素单元；
根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第一琥珀色分量；
根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第一琥珀色分量，确定人眼的红绿蓝响应。
另一方面，本申请实施例提供一种数据处理装置，所述装置包括：
光谱获取模块，用于获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对蓝色光谱区域敏感的第三像素单元，对琥珀色光谱区域敏感的第四像素单元；
分量确定模块，用于根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第一琥珀色分量；
响应确定模块，用于根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第一琥珀色分量，确定人眼的红绿蓝响应。
又一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的数据处理方法。
又一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面中提供的数据处理方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过图像传感器实现绿色通道和琥珀色通道，由于绿色通道和琥珀色通道可以覆盖肤色反射率变化较大的波段，相较于相关技术中只用于实现一个绿色通道的图像传感器，本申请实施例中的图像传感器能够更加明显地分辨出肤色反射率的变化，从而提升肤色区域的颜色准确性。
附图说明
图1是相关技术中图像传感器的红色通道与人眼红视锥细胞分别在红色波段的光谱响应的示意图；
图2是相关技术中图像传感器的绿色通道与人眼绿视锥细胞分别在绿色波段的光谱响应的示意图；
图3是相关技术中图像传感器的蓝色通道与人眼蓝视锥细胞分别在蓝色波段的光谱响应的示意图；
图4是相关技术中麦克亚当椭圆的示意图；
图5是本申请一个实施例提供的图像传感器的示意图；
图6是本申请一个实施例提供的肤色反射率变化的示意图；
图7是本申请一个实施例提供的滤色片阵列的示意图；
图8是本申请一个实施例提供的数据处理方法的流程图；
图9是本申请一个实施例提供的数据处理装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人眼视网膜上会存在三种视锥细胞分别对长中短波长敏感，即分别对红绿蓝光敏感，人眼视锥细胞是视细胞的一种，位于视网膜内，因为它能接受光刺激，并将光能转换为神经冲动，故亦称光感受器。如图1所示，其示出了相关技术中图像传感器的红色通道与人眼红视锥细胞分别在红色波段的光谱响应的示意图。如图2所示，其示出了相关技术中图像传感器的绿色通道与人眼绿视锥细胞分别在绿色波段的光谱响应的示意图。如图3所示，其示出了相关技术中图像传感器的蓝色通道与人眼蓝视锥细胞分别在蓝色波段的光谱响应的示意图。需要说明的是，上述图1、图2和图3中人眼视锥细胞在不同波段的光谱响应采用的是CIE(Commission Internationale de L’Eclariage，国际照明委员会)1931三刺激值XYZ，上述光谱响应针对的是2度观察视角，如果针对其它观察视角，需要采用CIE其他三刺激响应。光谱响应是指图像传感器对于不同波长光线的响应能力，通常用光谱曲线给出，光谱响应表示不同波长的光子产生电子-空穴对的能力。相关技术中图像传感器的红色通道在短波长(450nm～500nm)基本没有响应，而对应的CIE1931三刺激值X存在响应，这通常可以通过图像传感器的蓝色通道的响应进行补偿。
由图1、图2和图3可知，传感器的RGB三个通道的光谱响应都与人眼视锥细胞的光谱响应存在差异。进一步的，颜色感知不仅与视网膜感光细胞有关，也与大脑的处理有关。即使是同样程度的光谱响应失配，人眼对中性色以及肤色的色差感知更加敏锐。如图4所示，其示出了一种macadam ellipse(麦克亚当椭圆)的示意图，麦克亚当椭圆用于表示一些人眼的色差感知，麦克亚当椭圆的中心代表参考色，边缘代表人眼恰可以察觉的色差，麦克亚当椭圆的大小在不同颜色区域是不同的，即表示人眼对于不同颜色的灵敏度是不同的。在xy颜色空间上，椭圆中心与边缘具有恰可察觉(just noticeable)色差(需要说明的是，为了便于说明，椭圆尺寸已经放大了十倍)。由图4可以看出，麦克亚当椭圆的虚线区域41(肤色以及中性色所处区域)的椭圆尺寸明显小于其他区域，即人眼对该颜色区域更加敏锐，微小的色差即可被察觉。其中，x、y计算公式如下所示：
因此，为了提升上述虚线区域的颜色准确性，本申请实施例中引入了琥珀色通道，本申请实施例通过图像传感器实现绿色通道和琥珀色通道，由于绿色通道和琥珀色通道可以覆盖肤色反射率变化较大的波段，相较于相关技术中只用于实现一个绿色通道的图像传感器，本申请实施例中的图像传感器能够更加明显地分辨出肤色反射率的变化，从而提升肤色区域的颜色准确性。
请参考图5，其示出了本申请一个实施例提供的图像传感器的示意图，该图像传感器500包括多个像素单元，上述多个像素单元包括：对红色光谱区域敏感的第一像素单元510；对绿色光谱区域敏感的第二像素单元520；对蓝色光谱区域敏感的第三像素单元530；对琥珀色光谱区域敏感的第四像素单元540。
图像传感器500是指用于采集图像的设备，图像传感器500可以将光信号转换为电信号。红色光谱区域用于表征红色光的光谱特性，绿色光谱区域用于表征绿色光的光谱特性，蓝色光谱区域用于表征蓝色光的光谱特性，琥珀色光谱区域用于表征琥珀色光的光谱特性。
示例性地，琥珀色(Amber，Am)也可以称之为黄橙色，因此，上述对琥珀色光光谱区域敏感的第四像素单元，也可以称之为对黄橙色光谱区域敏感的第四像素单元。
在示意性实施例中，琥珀色光谱区域包括550nm～600nm波段；绿色光谱区域包括500nm～550nm波段。如图6所示，其示出了本申请一个实施例提供的肤色反射率变化的示意图。图6中的虚线61表示平均值，阴影区域62表示所有被测者正负一个标准差的变化范围，实线63表示所有被测者的最大最小值的变化范围。图6是美国国家标准计量院根据51位测试者的肤色数据绘制的肤色反射率变化的示意图。从图6的虚线方框区域64可以看出，在可见光波段，肤色反射率的主要变化分布在500nm至600nm。本申请实施例中的图像传感器500用于实现峰值在500nm～550nm的绿色通道，以及用于实现峰值在550nm～600nm的琥珀色通道，使得图像传感器用于实现的两个通道能够覆盖肤色反射率变化较大的波段，相较于相关技术中只有一个绿色通道的拜耳阵列，更加可以分辨出肤色反射率的变化，从而使得拍摄得到的肤色更加准确。
由于大部分中性色的颜色不是很鲜艳，从光谱角度，中性色的差异主要集中在500nm～600nm这个波段，相关技术中的图像传感器已经有用于实现该波段范围内的绿色通道了，本申请实施例中的图像传感器除了用于实现绿色通道，还用于实现该波段范围内的琥珀色通道。在实际应用中，通过结合绿色通道和琥珀色通道可以提升光谱识别能力，也即，增强了对中性色的辨识能力。
综上所述，本申请实施例提供的技术方案中，通过图像传感器实现绿色通道和琥珀色通道，由于绿色通道和琥珀色通道可以覆盖肤色反射率变化较大的波段，相较于相关技术中只用于实现一个绿色通道的图像传感器，本申请实施例中的图像传感器能够更加明显地分辨出肤色反射率的变化，从而提升肤色区域的颜色准确性。
在可能的实现方式中，像素单元包括光传感器和滤色片。
示例性地，光传感器的前面装有m个滤色片阵列，该滤色片阵列中包括n*n个滤色片，该n*n个滤色片中红色滤色片、绿色滤色片、蓝色滤色片和琥珀色滤色片个数比例相同，m为正整数，n为大于等于2的整数。如图7所示，其示出了本申请一个实施例提供的滤色片阵列的示意图，以滤色片阵列700包括2*2个滤色片为例进行介绍说明，该滤色片阵列700的左上角为红色滤色片71，右上角为蓝色滤色片72，左下角为琥珀色滤色片73，右下角为绿色滤色片74。本申请实施例对滤色片阵列中红色滤色片、绿色滤色片、蓝色滤色片和琥珀色滤色片中各个滤色片的排列方式不作限定。
光传感器是在光电技术基础上发展起来的将光学图像转换成电信号的器件，分为真空管光传感器和半导体光传感器。固态光传感器是高度集成的半导体光电器件，在一个器件上可以完成光电信号的转换、传输和处理。固态光传感器的核心是电荷转移器件，包括以下至少一项：CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary MetalOxide Semiconductor，互补式金属-氧化物-半导体)。
CCD是以阵列形式排列在衬底材料上的金属-氧化物-半导体(Metal OxideSemiconductor，MOS)电容器组成的，具有光生电荷、积蓄和转移的功能。CCD可以把光信号转换为电脉冲信号。每一个脉冲反应一个光敏元的受光情况，脉冲幅度的高低反映该光敏元受光的强弱，输出脉冲的顺序可以反映光敏元的位置。CMOS芯片除了具有CCD芯片的功能单元，还包括了控制电路、A/D(Analog/Digit，数/模)转换和视频信号处理电路，可以进行亮度、对比度、噪音控制、边缘检测等复杂处理。
在可能的实现方式中，滤色片包括第一滤色片、第二滤色片、第三滤色片和第四滤色片；其中，
第一滤色片，用于滤除红色光谱区域之外的所有光信号，使得仅通过与红色光谱区域相关联的光信号。
第二滤色片，用于滤除绿色光谱区域之外的所有光信号，使得仅通过与绿色光谱区域相关联的光信号。
第三滤色片，用于滤除蓝色光谱区域之外的所有光信号，使得仅通过与蓝色光谱区域相关联的光信号。
第四滤色片，用于滤除琥珀色光谱区域之外的所有光信号，使得仅通过与琥珀色光谱区域相关联的光信号。
在可能的实现方式中，光传感器包括第一光传感器、第二光传感器、第三光传感器和第四光传感器；其中，
第一光传感器和第一滤色片，用于形成预设的第一颜色通道，使得仅通过与红色光谱区域相关联的光信号。
第二光传感器和第二滤色片，用于形成预设的第二颜色通道，使得仅通过与绿色光谱区域相关联的光信号。
第三光传感器和第三滤色片，用于形成预设的第三颜色通道，使得仅通过与蓝色光谱区域相关联的光信号。
第四传感器和第四滤色片，用于形成预设的第四颜色通道，使得仅通过与琥珀色光谱区域相关联的光信号。
在图像采集过程中，分别在第一滤色片下采集第一图像，在第二滤色片下采集第二图像，在第三滤色片下采集第三图像，在第四滤色片下采集第四图像，分别对上述第一图像、第二图像、第三图像和第四图像进行处理，得到最终采集的图像。
在示意性实施例中，本申请实施例还提供了一种终端，该终端包括如上述实施例所述的图像传感器。示例性地，终端是指具有图像采集功能的终端，例如，终端包括手机、平板电脑、PC(Personal Computer，个人计算机)、智能可穿戴设备、智能多媒体设备、相机等，本申请实施例对终端的类型不作限定。
请参考图8，其示出了本申请一个实施例提供的数据处理方法的流程图。该方法可以包括如下几个步骤。
步骤801，获取环境光照射物体经反射进入图像传感器的第一反射光的光谱。
在本申请实施例中，图像传感器包括多个像素单元，多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对蓝色光谱区域敏感的第三像素单元，对琥珀色光谱区域敏感的第四像素单元。有关图像传感器的介绍说明可参见上文实施例，此处不再赘述。
步骤802，根据第一反射光的光谱与第一像素单元的光谱透过率对应波长的乘积之和，确定第一像素单元感知的第一红色分量。
在可能的实现方式中，第一红色分量R通过如下公式确定：
其中，
表示第一像素单元的光谱透过率，φ(λ)表示第一反射光的光谱。
步骤803，根据第一反射光的光谱与第二像素单元的光谱透过率对应波长的乘积之和，确定第二像素单元感知的第一绿色分量。
在可能的实现方式中，第一绿色分量G通过如下公式确定：
其中，
表示第二像素单元的光谱透过率，φ(λ)表示第一反射光的光谱。
步骤804，根据第一反射光的光谱与第三像素单元的光谱透过率对应波长的乘积之和，确定第三像素单元感知的第一蓝色分量。
在可能的实现方式中，第一蓝色分量B通过如下公式确定：
其中，
表示第三像素单元的光谱透过率，φ(λ)表示第一反射光的光谱。
步骤805，根据第一反射光的光谱与第四像素单元的光谱透过率对应波长的乘积之和，确定第四像素单元感知的第一琥珀色分量。
在可能的实现方式中，第一琥珀色分量Am1通过如下公式确定：
其中，
表示第四像素单元的光谱透过率，φ(λ)表示第一反射光的光谱。
需要说明的是，步骤802至步骤805可以同时执行。
步骤806，根据颜色转换关系和第一红色分量、第一绿色分量、第一蓝色分量和第一琥珀色分量，确定人眼的红绿蓝响应。
在可能的实现方式中，颜色转换关系为颜色转换矩阵。第一红色分量表示为R，第一绿色分量表示为G、第一蓝色分量表示为B、第一琥珀色分量表示为Am，人眼的红绿蓝响应可表示为CIE1931三刺激值XYZ，此时，XYZ可以通过如下公式确定得到：
本申请实施例的执行主体可以是终端，或者也可以是终端中包括的图像传感器。在可能的实现方式中，终端中还包括ISP(Image Signal Processing，图像信号处理器)，图像传感器确定出人眼的红绿蓝响应后，将该红绿蓝响应发送给ISP，以使得ISP对上述红绿蓝响应进行处理，得到最终的彩色图像。
综上所述，本申请实施例提供的技术方案中，通过图像传感器实现绿色通道和琥珀色通道，由于绿色通道和琥珀色通道可以覆盖肤色反射率变化较大的波段，相较于相关技术中只用于实现一个绿色通道的图像传感器，本申请实施例中的图像传感器能够更加明显地分辨出肤色反射率的变化，从而提升肤色区域的颜色准确性。
在可能的实现方式中，在终端根据颜色转换关系和第一红色分量、第一绿色分量、第一蓝色分量和第一琥珀色分量，确定人眼的红绿蓝响应之前，需要先确定颜色转换关系，颜色转换关系可通过如下方式确定：
第一、获取标准光源照射色卡后反射进入图像传感器的第二反射光的光谱。
在可能的实现方式中，色卡为爱色丽24色色卡。标准光源为D50光源，D50光源的色温为5000K，被世界印刷业公认为标准色温(ICC(International Color Consortium，国际色彩协会)标准)，其条件恰与白天阳光下相近，色彩比较正常。
第二、根据第二反射光的光谱与第一像素单元的光谱透过率对应波长的乘积之和，确定第一像素单元感知的第二红色分量。以及，
由于第二红色分量的确定方式与第一红色分量的确定方式类似，因此，有关第二红色分量的确定方式可参照上文的介绍说明，此处不再赘述。
第三、根据第二反射光的光谱与第二像素单元的光谱透过率对应波长的乘积之和，确定第二像素单元感知的第二绿色分量。以及，
由于第二绿色分量的确定方式与第一绿色分量的确定方式类似，因此，有关第二绿色分量的确定方式可参照上文的介绍说明，此处不再赘述。
第四、根据第二反射光的光谱与第三像素单元的光谱透过率对应波长的乘积之和，确定第三像素单元感知的第二蓝色分量。以及，
由于第二蓝色分量的确定方式与第一蓝色分量的确定方式类似，因此，有关第二蓝色分量的确定方式可参照上文的介绍说明，此处不再赘述。
第五、根据第二反射光的光谱与第四像素单元的光谱透过率对应波长的乘积之和，确定第四像素单元感知的第二琥珀色分量。
由于第二琥珀色分量的确定方式与第一琥珀色分量的确定方式类似，因此，有关第二琥珀色分量的确定方式可参照上文的介绍说明，此处不再赘述。
第六、根据第二红色分量、第二绿色分量、第二蓝色分量、第二琥珀色分量和色卡对应的标准红绿蓝响应，确定颜色转换关系。
在可能的实现方式中，标准红绿蓝响应为标准XYZ，终端根据第二红色分量、第二绿色分量、第二蓝色分量和第二琥珀色分量以及标准XYZ，确定颜色转换矩阵。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图9，其示出了本申请一个实施例提供的数据处理装置的框图，该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置900可以包括：光谱获取模块910、分量确定模块920和响应确定模块930。
光谱获取模块910，用于获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对蓝色光谱区域敏感的第三像素单元，对琥珀色光谱区域敏感的第四像素单元；
分量确定模块920，用于根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
所述分量确定模块920，还用于根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
所述分量确定模块920，还用于根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
所述分量确定模块920，还用于根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第一琥珀色分量；
响应确定模块930，用于根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第一琥珀色分量，确定人眼的红绿蓝响应。
综上所述，本申请实施例提供的技术方案中，通过图像传感器实现绿色通道和琥珀色通道，由于绿色通道和琥珀色通道可以覆盖肤色反射率变化较大的波段，相较于相关技术中只用于实现一个绿色通道的图像传感器，本申请实施例中的图像传感器能够更加明显地分辨出肤色反射率的变化，从而提升肤色区域的颜色准确性。
在示意性实施例中，所述装置900，还包括关系确定模块(图中未示出)。
所述关系确定模块，用于：
获取标准光源照射色卡后反射进入所述图像传感器的第二反射光的光谱；
根据所述第二反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第二红色分量；以及，
根据所述第二反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第二绿色分量；以及，
根据所述第二反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第二蓝色分量；以及，
根据所述第二反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第二琥珀色分量；
根据所述第二红色分量、所述第二绿色分量、所述第二蓝色分量、所述第二琥珀色分量和所述色卡对应的标准红绿蓝响应，确定所述颜色转换关系。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由计算机设备的处理器加载并执行以实现上述数据处理方法实施例中的各个步骤。
在示例性实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的数据处理方法。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像传感器，其特征在于，所述图像传感器包括多个像素单元，所述多个像素单元包括：
对红色光谱区域敏感的第一像素单元；
对绿色光谱区域敏感的第二像素单元；
对蓝色光谱区域敏感的第三像素单元；
对琥珀色光谱区域敏感的第四像素单元。
2.根据权利要求1所述的图像传感器，其特征在于，所述像素单元包括光传感器和滤色片。
3.根据权利要求2所述的图像传感器，其特征在于，所述滤色片包括第一滤色片、第二滤色片、第三滤色片和第四滤色片；其中，
所述第一滤色片，用于滤除所述红色光谱区域之外的所有光信号，使得仅通过与所述红色光谱区域相关联的光信号；
所述第二滤色片，用于滤除所述绿色光谱区域之外的所有光信号，使得仅通过与所述绿色光谱区域相关联的光信号；
所述第三滤色片，用于滤除所述蓝色光谱区域之外的所有光信号，使得仅通过与所述蓝色光谱区域相关联的光信号；
所述第四滤色片，用于滤除所述琥珀色光谱区域之外的所有光信号，使得仅通过与所述琥珀色光谱区域相关联的光信号。
4.根据权利要求3所述的图像传感器，其特征在于，所述光传感器包括第一光传感器、第二光传感器、第三光传感器和第四光传感器；其中，
所述第一光传感器和所述第一滤色片，用于形成预设的第一颜色通道，使得仅通过与所述红色光谱区域相关联的光信号；
所述第二光传感器和所述第二滤色片，用于形成预设的第二颜色通道，使得仅通过与所述绿色光谱区域相关联的光信号；
所述第三光传感器和所述第三滤色片，用于形成预设的第三颜色通道，使得仅通过与所述蓝色光谱区域相关联的光信号；
所述第四传感器和所述第四滤色片，用于形成预设的第四颜色通道，使得仅通过与所述琥珀色光谱区域相关联的光信号。
5.根据权利要求1所述的图像传感器，其特征在于，
所述琥珀色光谱区域包括550nm～600nm波段；
所述绿色光谱区域包括500nm～550nm波段。
6.一种终端，其特征在于，所述终端包括如权利要求1至5任一项所述的图像传感器。
7.一种数据处理方法，其特征在于，所述方法包括：
获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对蓝色光谱区域敏感的第三像素单元，对琥珀色光谱区域敏感的第四像素单元；
根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第一琥珀色分量；
根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第一琥珀色分量，确定人眼的红绿蓝响应。
8.根据权利要求7所述的方法，其特征在于，所述根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第一琥珀色分量，确定人眼的红绿蓝响应之前，还包括：
获取标准光源照射色卡后反射进入所述图像传感器的第二反射光的光谱；
根据所述第二反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第二红色分量；以及，
根据所述第二反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第二绿色分量；以及，
根据所述第二反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第二蓝色分量；以及，
根据所述第二反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第二琥珀色分量；
根据所述第二红色分量、所述第二绿色分量、所述第二蓝色分量、所述第二琥珀色分量和所述色卡对应的标准红绿蓝响应，确定所述颜色转换关系。
9.一种数据处理装置，其特征在于，所述装置包括：
光谱获取模块，用于获取环境光照射物体经反射进入图像传感器的第一反射光的光谱；其中，所述图像传感器包括多个像素单元，所述多个像素单元包括：对红色光谱区域敏感的第一像素单元，对绿色光谱区域敏感的第二像素单元，对蓝色光谱区域敏感的第三像素单元，对琥珀色光谱区域敏感的第四像素单元；
分量确定模块，用于根据所述第一反射光的光谱与所述第一像素单元的光谱透过率对应波长的乘积之和，确定所述第一像素单元感知的第一红色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第二像素单元的光谱透过率对应波长的乘积之和，确定所述第二像素单元感知的第一绿色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第三像素单元的光谱透过率对应波长的乘积之和，确定所述第三像素单元感知的第一蓝色分量；以及，
所述分量确定模块，还用于根据所述第一反射光的光谱与所述第四像素单元的光谱透过率对应波长的乘积之和，确定所述第四像素单元感知的第一琥珀色分量；
响应确定模块，用于根据颜色转换关系和所述第一红色分量、所述第一绿色分量、所述第一蓝色分量和所述第一琥珀色分量，确定人眼的红绿蓝响应。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求7至8任一项所述的数据处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010971688.3A CN111918004B (zh) | 2020-09-16 | 2020-09-16 | 图像传感器、终端、数据处理方法、装置及存储介质 |
| PCT/CN2021/111194 WO2022057507A1 (zh) | 2020-09-16 | 2021-08-06 | 图像传感器、终端、数据处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010971688.3A CN111918004B (zh) | 2020-09-16 | 2020-09-16 | 图像传感器、终端、数据处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111918004A true CN111918004A (zh) | 2020-11-10 |
| CN111918004B CN111918004B (zh) | 2023-07-04 |
Family
ID=73267351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010971688.3A Active CN111918004B (zh) | 2020-09-16 | 2020-09-16 | 图像传感器、终端、数据处理方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111918004B (zh) |
| WO (1) | WO2022057507A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113873117A (zh) * | 2021-09-22 | 2021-12-31 | Oppo广东移动通信有限公司 | 终端设备及色彩采集方法、存储介质 |
| WO2022057507A1 (zh) * | 2020-09-16 | 2022-03-24 | Oppo广东移动通信有限公司 | 图像传感器、终端、数据处理方法、装置及存储介质 |
| CN113873117B (zh) * | 2021-09-22 | 2024-06-07 | Oppo广东移动通信有限公司 | 终端设备及色彩采集方法、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002271804A (ja) * | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | カラー画像撮像装置 |
| CN1441603A (zh) * | 2002-02-26 | 2003-09-10 | 伊斯曼柯达公司 | 四色图像感测装置 |
| CN1729697A (zh) * | 2002-12-18 | 2006-02-01 | 株式会社尼康 | 彩色图像传感器、滤色阵列和彩色成像装置 |
| JP2007089840A (ja) * | 2005-09-29 | 2007-04-12 | Fujinon Corp | 電子内視鏡装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4109744C2 (de) * | 1991-03-25 | 1994-01-20 | Heidelberger Druckmasch Ag | Verfahren zur Ermittlung der Flächendeckung einer druckenden Vorlage, insbes. einer Druckplatte, sowie Vorrichtung zur Durchführung des Verfahrens |
| US7075079B2 (en) * | 2001-06-27 | 2006-07-11 | Wood Roland A | Sensor for dual wavelength bands |
| JP4449936B2 (ja) * | 2006-03-31 | 2010-04-14 | ソニー株式会社 | 撮像装置、カメラシステムおよびその駆動方法 |
| WO2015118788A1 (ja) * | 2014-02-07 | 2015-08-13 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体 |
| CN111918004B (zh) * | 2020-09-16 | 2023-07-04 | Oppo广东移动通信有限公司 | 图像传感器、终端、数据处理方法、装置及存储介质 |
-
2020
- 2020-09-16 CN CN202010971688.3A patent/CN111918004B/zh active Active
-
2021
- 2021-08-06 WO PCT/CN2021/111194 patent/WO2022057507A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002271804A (ja) * | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | カラー画像撮像装置 |
| CN1441603A (zh) * | 2002-02-26 | 2003-09-10 | 伊斯曼柯达公司 | 四色图像感测装置 |
| CN1729697A (zh) * | 2002-12-18 | 2006-02-01 | 株式会社尼康 | 彩色图像传感器、滤色阵列和彩色成像装置 |
| JP2007089840A (ja) * | 2005-09-29 | 2007-04-12 | Fujinon Corp | 電子内視鏡装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022057507A1 (zh) * | 2020-09-16 | 2022-03-24 | Oppo广东移动通信有限公司 | 图像传感器、终端、数据处理方法、装置及存储介质 |
| CN113873117A (zh) * | 2021-09-22 | 2021-12-31 | Oppo广东移动通信有限公司 | 终端设备及色彩采集方法、存储介质 |
| CN113873117B (zh) * | 2021-09-22 | 2024-06-07 | Oppo广东移动通信有限公司 | 终端设备及色彩采集方法、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022057507A1 (zh) | 2022-03-24 |
| CN111918004B (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10257484B2 (en) | Imaging processing device and imaging processing method | |
| CN111432099B (zh) | 图像传感器、处理系统及方法、电子设备和存储介质 | |
| CN108650497B (zh) | 具有透明滤波器像素的成像系统 | |
| CN111491110B (zh) | 高动态范围图像处理系统及方法、电子设备和存储介质 | |
| US6759646B1 (en) | Color interpolation for a four color mosaic pattern | |
| US20160300870A1 (en) | Imaging systems with stacked photodiodes and chroma-luma de-noising | |
| US20150062347A1 (en) | Image processing methods for visible and infrared imaging | |
| EP1969558A1 (en) | Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms | |
| US9787915B2 (en) | Method and apparatus for multi-spectral imaging | |
| CN111586375B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| US20230402473A1 (en) | Multispectral image sensor and imaging module thereof | |
| CN209345244U (zh) | 成像系统和相机模块 | |
| CN113037980A (zh) | 像素传感阵列和视觉传感器 | |
| CN113038046A (zh) | 像素传感阵列和视觉传感器 | |
| CN111918004B (zh) | 图像传感器、终端、数据处理方法、装置及存储介质 | |
| CN111741239A (zh) | 图像传感器和电子设备 | |
| CN111918005B (zh) | 图像传感器、终端、数据处理方法、装置及存储介质 | |
| Skorka et al. | Color correction for RGB sensors with dual-band filters for in-cabin imaging applications | |
| KR100905269B1 (ko) | 적외선 보정 기능을 구비한 이미지센서 | |
| CN110324541A (zh) | 一种滤波联合去噪插值方法及装置 | |
| EP3972242A1 (en) | Sensor arrangement and method of producing a sensor arrangement | |
| CN106298826A (zh) | 一种图像传感器 | |
| CN112335233B (zh) | 图像生成装置以及摄像装置 | |
| EP3848966A1 (en) | Pixel cell and method for manufacturing a pixel cell | |
| CN117322002A (zh) | 固态成像装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |