CN117581555A - 滤光器阵列、方法、图像传感器、装置及电子设备 - Google Patents

滤光器阵列、方法、图像传感器、装置及电子设备 Download PDF

Info

Publication number
CN117581555A
CN117581555A CN202180099922.0A CN202180099922A CN117581555A CN 117581555 A CN117581555 A CN 117581555A CN 202180099922 A CN202180099922 A CN 202180099922A CN 117581555 A CN117581555 A CN 117581555A
Authority
CN
China
Prior art keywords
pixel
filter
specific
pixel value
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180099922.0A
Other languages
English (en)
Inventor
张召杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN117581555A publication Critical patent/CN117581555A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optical Filters (AREA)

Abstract

一种滤光器阵列(11)、方法、图像传感器(10)、装置(100)及电子设备(1000)。滤光器阵列(11)包括多个区域阵列(110),区域阵列(110)包括至少一个子单元(111),子单元(111)包括多个滤光器(1111),每个区域阵列(110)均包括多个普通滤光器和至少一个特定滤光器,每个普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,特定波长范围内黑色素的反射率低于血红蛋白的反射率。

Description

滤光器阵列、方法、图像传感器、装置及电子设备 技术领域
本申请涉及影像技术领域,特别涉及一种滤光器阵列、图像处理方法、图像传感器、成像装置及电子设备。
背景技术
随着数码相机和带有摄像头的手机的增长,人脸的图像质量变得越来越重要。当使用手机的前置摄像头对人脸进行拍照时,人脸的图像质量是最为关注的问题。因此,如何提升拍摄时生成的图像质量成了亟待解决的问题。
发明内容
有鉴于此,本申请旨在至少在一定程度上解决相关技术中的问题之一。为此,本申请的目的在于提供一种滤光器阵列、图像处理方法、图像传感器、成像装置及电子设备。
本申请实施方式的滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率低于血红蛋白的反射率。
本申请实施方式的图像传感器包括滤光器阵列及像素阵列。所述滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率低于血红蛋白的反射率。所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。
本申请实施方式的成像装置包括本申请实施方式的图像传感器及处理器。图像传感器包括滤光器阵列及像素阵列。所述滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率低于血红蛋白的反射率。所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。所述处理器用于实现本申请实施方式的图像处理方法。所述图像处理方法包括:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,所述普通像素由普通像素点根据接收到的第一光线得到,所述特定像素由特定像素点根据接收到的第二光线得到;其中,所述特定像素点过滤掉所述第一光线中在特定波长范 围中的至少部分光线后,余下的光线为所述第二光线,在所述特定波长范围内黑色素的反射率低于血红蛋白的反射率,根据所述第一像素值和所述第二像素值计算,由所述特定像素点根据所述第一光线中在特定波长范围中的至少部分光线得到所述特定像素时,所述特定像素的第三像素值,根据所述第三像素值,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像。
本申请实施方式的电子设备包括本申请实施方式的图像传感器。图像传感器包括滤光器阵列及像素阵列。所述滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率低于血红蛋白的反射率。所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。
本申请实施方式的电子设备包括本申请实施方式的成像装置,成像装置包括本申请实施方式的图像传感器及处理器。图像传感器包括滤光器阵列及像素阵列。所述滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率低于血红蛋白的反射率。所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。所述处理器用于实现本申请实施方式的图像处理方法。图像处理方法包括:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,所述普通像素由普通像素点根据接收到的第一光线得到,所述特定像素由特定像素点根据接收到的第二光线得到;其中,所述特定像素点过滤掉所述第一光线中在特定波长范围中的至少部分光线后,余下的光线为所述第二光线,在所述特定波长范围内黑色素的反射率低于血红蛋白的反射率,根据所述第一像素值和所述第二像素值计算,由所述特定像素点根据所述第一光线中在特定波长范围中的至少部分光线得到所述特定像素时,所述特定像素的第三像素值,根据所述第三像素值,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像。
本申请实施方式的电子设备包括处理器,所述处理器用于实现本申请实施方式所述的图像处理方法。图像处理方法包括:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,所述普通像素由普通像素点根据接收到的第一光线得到,所述特定像素由特定像素点根据接收到的第二光线得到;其中,所述特定像素点过滤掉所述第一光线中在特定波长范围中的至少部分光线后,余下的光线为所述第二光线,在所述特定波长范围内黑色素的反射率低于血红蛋白的反射率,根据所述第一像素值和所述第二像素值计算,由所述特定像素点根据所述第一光线中在特定波长范围中的至少部分光线得到所述特定像素时,所述特定像素的第三像素值,根据所述第三像素值,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易 理解,其中:
图1是血红蛋白与黑色素遇到不同波长的可见光下的反射率关系示意图;
图2是不同波长的可见光拍摄的场景图;
图3是本申请实施方式的图像传感器的结构示意图;
图4是本申请实施方式的图像传感器的结构示意图;
图5-8是本申请一些实施方式的滤光器阵列的结构示意图;
图9是本申请某些实施方式的普通滤光器下,不同波段的光线与对应的红色通道、绿色通道及蓝色通道的相对灵敏度的关系示意图;
图10-12是本申请一些实施方式的图像传感器的结构示意图;
图13是本申请实施方式的图像处理方法的流程示意图;
图14是本申请实施方式的图像处理方法的原理示意图;
图15-18是本申请实施方式的图像处理方法的流程示意图;
图19是本申请实施方式的成像装置的结构示意图;
图20是本申请实施方式的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
通常,人体肤色由黑色素、血红蛋白、胆红素以及胡萝卜素等构成,其中,人体肤色主要由黑色素、血红蛋白这两种决定。请结合图1,图1为皮肤中色素(黑色素和血红蛋白)随光的波长变化的反射率,其中,曲线图的横轴为波长,曲线图的纵轴为反射率。由图1可知,在可见光的波长为585nm以后,血红蛋白的反射率大于黑色素。
请结合图2,图2为不同波长的可见光下分别拍摄的人脸图像,其中,图像从左到右依次为430nm长度的可见光、530nm长度的可见光以及630nm长度的可见光下下拍摄的人脸图像,其中,波长为430nm的可见光为蓝光,波长为530nm的可见光为绿光,波长为630nm的可见光为红光。可见,在不同波段可见光下,所拍摄的人脸图像的肤色表现不同,并且,波长越长,人脸图像的肤色表现越好。可以理解地,当可见光的波长越长,血红蛋白的反射率会逐渐大于黑色素的反射率,而人体肤色表现主要是由血红蛋白和黑色素决定,血红血红蛋白的反射率就越大于黑色素,黑色素就越不明显,皮肤看起来就更光滑(相当于自带磨皮的效果)。因此,可见光为红色光的波长时,肤色表现越好。
有鉴于此,请参阅图3,本申请提供了一种图像传感器10,图像传感器10包括滤光器阵列11和像素阵列。本申请的滤光器阵列11包括多个滤光器,滤光器包括普通滤光器(例如图3中的A、B、C)和特定滤光器(例如图3中的Ap),滤光器阵列11包括多个区域阵列110,区域阵列110包括至少一个子单元111,子单元111包括多个滤光器,每个区域阵列110均包括多个普通滤光器和至少一个特定滤光器,每个普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,特定波长范围内黑色素的反射率低于血红蛋白的反射率。
本申请实施方式的图像传感器10和滤光器阵列11中,每个区域阵列110包括有普通滤光器 和至少一个特定滤光器,普通滤光器仅允许一种颜色的光线通过,特定滤光器仅允许一种颜色的光线通过,并能滤除该颜色光线中波长在特定波长范围内的至少部分光线,而在特定波长范围内黑色素的反射率低于血红蛋白的反射率,特定滤光器可以过滤波长在特定波长范围内的至少部分光线。如此,后续可以通过普通滤光器对应的普通像素得到第一像素值,以及通过特定像素得到的第二像素值,从而可以得到特定波长范围的红色像素,使得待处理图像中特定像素中红色像素表现的较为明显,特定像素所呈现的皮肤肤色好。
其中,在本实施方式中,在特定波长范围内的可见光下,黑色素的反射率低于血红蛋白的反射率。也即是,特定波长范围大于585nm,例如,特定波长范围请将波长范围描述为585nm-700nm。可以理解地,在可见光的波长大于585nm时,血红蛋白的反射率大于黑色素,可以让拍照时可以让图像中的肤色表现的更好。特定波长范围的波段宽度不限,例如,波段宽度可以为20nm、25nm、30nm、35nm、40nm、50nm甚至更宽,也即是,波段宽度可以根据实际产品进行选择,例如,在本申请中,波段范围可以为40,特定波长范围可以为600nm-640nm之间,可以理解地,预设光线的波长可以为600nm-640nm之间的任意数值,例如,预设光线的波长可为600nm、605nm、610nm、615nm、620nm、625nm、630nm、635nm、640nm或者更多数值,在此不一一列举。"肤色"或者"皮肤中的色素",主要由血红蛋白和黑色素构成,血红蛋白和黑色素的比值左右皮肤的表现。见图1,在600nm-640nm之间,血红蛋白的反射率与黑色素的比值达到最大。故选用此波段。可见光在600nm-640nm之间时,由于人体皮肤特性,生成的图像相较于其它波段的可见光生成的图像肤色会更好。
下面结合附图对图像传感器10进行详细说明。
具体地,图像传感器10具体可以采用互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD,Charge-coupled Device)感光元件。
请参阅图3,本申请实施方式的图像传感器10包括滤光器阵列11及像素阵列12。沿图像传感器10的收光方向,滤光器阵列11和像素阵列12依次设置,光线经滤光器阵列11后到达像素阵列12。
滤光器阵列11可包括多个滤光器1111,滤光器1111可用于允许预定颜色的光线通过,并过滤除光线中的除预定颜色外的其他颜色光线。
像素阵列12可包括多个像素点121,每个像素点121可对应滤光器阵列11中的一个滤光器1111,像素点121可以用于接收穿过对应的滤光器1111的光线以生成电信号。
请参阅图5,滤光器阵列11可包括多个区域阵列110,一个滤光器阵列11可由多个区域阵列110拼接形成。在一个滤光器阵列11中,多个区域阵列110中,滤光器1111的种类及分布可相同或者不同。例如,多个区域阵列110中滤光器1111的分布完全相同,以便于滤光器1111的生产及制造;再例如,至少两个不同的区域阵列110中的滤光器1111的分布不同,以分别满足不同区域的滤光需求。
每个区域阵列110可包括多个普通滤光器(例如图5中的A、B、C)和至少一个特定滤光器(例如图5中的AP),普通滤光器可以仅允许一种颜色的光线通过而滤除其它颜色的光线,特定滤光器可以允许仅一种颜色的光线通过,并能够滤除其它颜色的光线,还可过滤掉该种颜色的光线中波长在特定波长范围内的至少部分光线。每个区域阵列110中特定滤光器的种类可为一种或者多种,每种特定滤光器可为一个或多个。
请参阅图6,区域阵列110可包括至少一个子单元111,每个子单元111可包括多个滤光器 1111。可以理解,一个区域阵列110可包括一个或多个子单元111。例如,在图5所示的实施例中,区域阵列110a、区域阵列110b、区域阵列110c及区域阵列110d包括四个子单元111。又例如,在图6至图7所示的实施例中,区域阵列110a、区域阵列110b、区域阵列110c及区域阵列110d包括一个子单元111。当然,一个区域阵列110还可包括其它个子单元111,例如,两个、三个、五个、六个、八个等,在此不一一列举。
在一个实施例中,一个区域阵列110中,部分子单元111可同时包括特定滤光器和普通滤光器,部分子单元111可只包括普通滤光器,部分子单元111可只包括特定滤光器。在另一个实施例中,一个区域阵列110中,部分子单元111可只包括普通滤光器,部分子单元111可只包括特定滤光器。在又一个实施例中,一个区域阵列110中,每个子单元111可同时包括特定滤光器和普通滤光器。
进一步地,请参阅图6,在某些实施方式中,每个区域阵列110可包括2n*2n个子单元111,n≥1,每个子单元111包括2*2个滤光器1111,每个子单元111包括的滤光器的种类可相同或者不同。其中,n可以为1、2、3、4、5、6或更多数值,在此不一一列举。
在图5以及图6所示的实施例中,每个区域阵列110可包括2*2个子单元111。在其它的实施例中,每个区域阵列110可包括4*4个子单元111、8*8个子单元111、16*16个子单元111、32*32个子单元111等,在此不一一列举,也不做限制。
请参阅图5,在某些实施方式中,每个子单元111可包括M*M个滤光器1111。其中,M≥2,同一个子单元111中的滤光器1111允许通过的光线的颜色不同。例如,每个子单元111均包括一个允许第一颜色的光线穿过的滤光器1111(第一普通滤光器A或第一特定滤光器Ap)。
在某些实施方式中,每个子单元111包括M*M个滤光器1111,其中,M≥2,同一个子单元111中的滤光器1111允许通过的光线的颜色相同。可以理解,即,M可以是2、3、4、5、6或更多数值,在此不一一列举。例如,一个区域阵列110包括四个子单元111,每个子单元111可包括2*2个滤光器1111,且同一个子单元111中的2*2个滤光器1111允许通过的光线的颜色相同。又例如,一个区域阵列110包括四个子单元111,每个子单元111包括3*3个滤光器1111,且同一个子单元111中的3*3个滤光器1111允许通过的光线的颜色相同。
当然,在其他一些实施方式中,每个子单元111也可包括4*4个滤光器1111、5*5个滤光器1111、6*6个滤光器1111,在此不一一列举。
请参阅图7-8,在某些实施方式中,每个子单元111可包括多个孙单元1110,每个孙单元1110包括K*K个滤光器1111。其中,K≥2,同一个孙单元1110中的滤光器1111允许通过的光线的颜色相同。可以理解,K可以是2、3、4、5、6或更多数值,在此不一一列举。
例如,在图7至图8所示的实施例中,一个区域阵列110包括一个子单元111。更具体地,在图8至图11中,每个子单元111包括四个孙单元1110,每个孙单元1110包括2*2个滤光器1111,同一个孙单元1110的2*2个滤光器1111允许通过的光线的颜色相同。在其它的实施例中,每个孙单元1110也包括3*3个滤光器1111,同一个孙单元1110的3*3个滤光器1111允许通过的光线的颜色相同。或者说,一个区域阵列110也可包括多个子单元111,每个子单元111可包括多个孙单元1110。
在图7-8所示的实施例中,四个孙单元1110分别为第一孙单元1110a、第二孙单元1110b、第三孙单元1110c和第四孙单元1110d。第一孙单元1110a中的2*2个滤光器1111均仅允许第一颜色的光线穿过第二孙单元1110a和第三孙单元1110c中的2*2个滤光器11111均仅允许第二颜 色的光线穿过,第四孙单元1110中的2*2个滤光器均仅允许第三颜色的光线穿过。
当然,在其他一些实施方式中,每个孙单元1110也可包括4*4个滤光器、5*5个滤光器、6*6个滤光器,在此不一一列举。
请参阅图5,普通滤光器的种类可为多种,多种普通滤光器可以分别允许对应的多种颜色的光线通过。多种普通滤光器可包括第一普通滤光器A、第二普通滤光器B及第三普通滤光器C。第一普通滤光器A可以仅允许第一颜色的光线通过,而过滤掉其它颜色的光线。第二普通滤光器B可以仅允许第二颜色的光线通过,而过滤掉其它颜色的光线。第三普通滤光器C可以仅允许第三颜色的光线通过,而过滤掉其它颜色的光线通过。
当然,还可以包括仅允许第四颜色的光线通过的第四普通滤光器、仅允许第五颜色的光线通过的第五普通滤光器、仅允许第六颜色的光线通过的第六普通滤光器等,在此不详细描述。
进一步地,请参阅图7,特定滤光器可包括第一特定滤光器Ap,可设置第一特定滤光器Ap,第一特定滤光器Ap可以过滤第一颜色的光线中的特定光线(即,波长在特定范围内的光线)。区域阵列110包括第一普通滤光器A、第二普通滤光器B、第三普通滤光器C和第一特定滤光器Ap。由此,设置第一特定滤光器Ap,可以较好地增加特定光线成像使得皮肤效果较好的现象。
像素阵列可包括第一普通像素点(图未示)、第二普通像素点(图未示)、第三普通像素点(图未示)以及第一特定像素点(图未示)。第一普通像素点可以与第一普通滤光器A对应,用于接收经第一普通滤光器A过滤后的光线以生成电信号;第二普通像素点可以与第二普通滤光器B对应,用于接收经第二普通滤光器B过滤后的光线以生成电信号;第三普通像素点可以与第三普通像素滤光器对应,用于接收经第三普通滤光器C过滤后的光线以生成电信号;第一特定像素点与第一特定滤光器Ap对应,用于接收第一特定滤光器Ap过滤后的光线以生成电信号。
请结合图4,图像传感器10还可包括处理器14,处理器14可以根据第一特定像素点的数据对第一普通像素点的数据进行处理,则处理后的第一普通像素点的数据是根据过滤了第一颜色的光线中的至少部分特定光线,而剩余的光线得到的。由此,并不需要将滤光器阵列11全部设置为特定滤光器,也可以实现以过滤掉特定光线后的光线的成像效果,可以节省滤光器阵列11及图像传感器10的成本。
另外,处理器14也可以根据第一普通像素点的数据对第一特定像素点的数据进行处理,则处理后的第一特定像素点的数据可以认为是根据未过滤第一颜色的光线中的特定光线得到的。由此,可以根据普通像素点对特定像素点进行处理,图像传感器10成像更加真实,避免了用户想拍真实的图像时得到的图像存在色差的现象。
其中,第一特定像素点和第一普通像素点的结构可以相同,接收到的光线不同。
其中,第一颜色、第二颜色和第三颜色互不相同,且第一颜色、第二颜色和第三颜色的颜色组成方式可以有多种。在一个例子中,第一颜色可为红色R、第二颜色可为绿色G、第三颜色可为蓝色B,一个子单元111可以为RGGB排布。在另一个例子中,第一颜色可为红色R、第二颜色可为黄色Y、第三颜色可为蓝色B,一个子单元111可以为RYYB排布。在又一个例子中,第一颜色可为红色R、第二颜色可为绿色Y、第三颜色可为青色CB,一个子单元111可以为RYYCB。第一颜色、第二颜色和第三颜色还可以为其他颜色,在此不一一列举。在一个例子中,还包括第四普通滤光器,第四普通滤光器可以允许所有颜色的光线通过,第四颜色可以为白色W,第一颜色可为红色R、第二颜色可为绿色G、第三颜色可为蓝色B,则一个子单元111可以为RGBW分布。
本申请实施例中以第一颜色为红色R、第二颜色为绿色G、第三颜色为蓝色B为例进行示例性说明。
请参阅图9,在某些实施方式中,第一颜色的光线中波长在特定波长范围内的波段多于第三颜色的光线在特定波长范围内的波段,第二颜色的光线中波长在特定波长范围内的波段多于第三颜色的光线在特定波长范围内的波段。可以理解,在预设波长范围内(600nm-640nm),第一颜色的光线数量较多。
请参阅图10至图12,第一普通滤光器A可包括第一颜色滤镜101A,第一特定滤光器Ap可包括第一颜色滤镜101A及第一特定滤镜102A,第一颜色滤镜101A用于仅允许第一颜色的光线通过,第一特定滤镜102A用于过滤掉第一颜色的光线中的至少部分特定光线。其中,第一特定滤镜102A不允许波长在特定波长范围内的光线通过。第一特定滤镜102A可以设置在第一颜色滤镜101A的入光侧或者出光侧,在此不做限制。第一特定滤光器Ap可以是在第一普通滤光器A的基础上设置第一特定滤镜102A而形成。
请结合图11-图12,第一特定滤镜102A的数量可以是一个或者多个,在第一特定滤镜102A的数量为多个时,多个第一特定滤镜102A可以均设置在第一颜色滤镜101A的入光侧或者出光侧,或者,部分个第一特定滤镜102A设置在第一颜色滤镜101A的入光侧,另部分个第一特定滤镜102A设置在第一颜色滤镜101A的出光侧。
在其中一个实施例中,图像传感器10的处理器可以根据设置一个第一特定滤镜102A的数据,模拟得到设置两个甚至更多个第一特定滤镜102A的数据,进而可以实现只需要设置一个第一特定滤镜102A而可以实现设置多个第一特定滤镜102A的效果。
在一些实施方式中,请参阅图5、图6及图7,区域阵列110中包括第一特定滤光器Ap。第一特定滤光器Ap可位于子单元111中。
第一特定滤光器Ap的数量也可根据第一普通滤光器A的数量确定。例如,第一特定滤光器Ap的数量可以是第一普通滤光器A的数量的十分之一、八分之一、五分之一、四分之一等,在此不一一列举。由此,可以避免由于第一特定滤光器Ap过多导致想拍真实图像时存在较强的失真现象,也可以避免由于第一特定滤光器Ap过多导致所成图像的亮度较暗的现象。
在一些实施方式中,在一个区域阵列110中,第一特定滤光器Ap的数量小于第一普通滤光器A的数量,由此,可以避免第一特定滤光器Ap的数量过多、而导致图像传感器10所生成的图像亮度过低。
需要说明的是,本申请实施方式的滤光器阵列11的分布并不限于图6-8所示的分布,还可以是其他分布,在此不做具体限制。
请参阅图3,在某些实施方式中,图像传感器10还可包括微透镜阵列13,微透镜阵列可包括多个微透镜131,多个微透镜131可对应设置于多个滤光器1111的远离像素阵列12的一侧,并与该滤光器1111对应的像素点121相对应,沿图像传感器10的收光方向,光线经微透镜131到达滤光器1111。微透镜131可以汇聚光线,可以将入射的光线更多地导引至滤光器1111。
请参阅图13,本申请还提供了一种图像处理方法,图像处理方法可以用于上述任一实施方式的图像传感器10,图像处理方法可包括以下步骤:
01:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,普通像素由普通像素点根据接收到的第一光线得到,特定像素由特定像素点根据接收到的第二光线得到;其中,特定像素点过滤掉第一光线中在特定波长范围中的至少部分光线后,余下的光线为第二光线,在 特定波长范围内黑色素的反射率低于血红蛋白的反射率;
02:根据第一像素值和第二像素值计算,由特定像素点根据第一光线中在特定波长范围中的至少部分光线得到特定像素时,特定像素的第三像素值;
03:根据第三像素值,调整待处理图像中的普通像素的像素值,以生成目标图像。
具体地,待处理图像可以是由上述任一实施方式的图像传感器10生成,即,待处理图像是像素阵列根据滤光器阵列11过滤后的光线生成的。待处理图像中可包括有普通像素和特定像素,像素阵列中与普通滤光器相相对应的像素点为普通像素点,像素阵列中与特定滤光器相对应的像素点为特定像素点。
普通像素可以是普通像素点根据接收到的第一光线得到的,特定像素可以是特定像素点根据接收到的第二光线得到的,第一光线中波长在特定波长范围内的至少部分光线被过滤后,剩余的光线即为第二光线。可以理解地,第二光线缺少了特定波长范围的光。
为了对待处理图像中的普通像素进行处理,使得普通像素具有特定像素相似的属性。可以对普通像素的第一像素值和特定像素的第二像素值进行差值计算,得到在特定波长范围中的至少部分光线得到特定像素时,特定像素的第三像素值。然后根据第三像素值调整后的普通像素的像素值,从而更新待处理图像可以生成目标图像。由此,目标图像中血红蛋白表现较好,人物肤色更加粉嫩。
在图14中,P可以表示待处理图像的像素分布,P’可以表示得到的目标图像的像素分布。其中,图22中的R、G、B均为普通像素,Rp为特定像素,R’、G’及B’为调整后的普通像素。
请参阅图15,在一些实施方式中,步骤01包括以下步骤:
011:根据预设放大系数对第二像素值进行放大处理得到放大像素值;及
012:计算第一像素值和放大像素值的差值得到第三像素值。
具体地,第二像素值是特征像素点根据接收的第二光线得到的,第三像素值是通过第一像素值和第二像素值进行差值计算得到的,第三像素值为特定波长范围的光线得到,进而可以对接收未经过特定滤镜过滤的光线的普通像素的像素值进行处理,以得到目标图像。
预设放大系数可根据使用场景的不同进行调节,例如,在需要更大的信号差值时(例如,人脸图像),则可以调大预设放大系数,使得皮肤表现好,而需要更小的信号差值时,缩小调节系数。
请参阅图16,在某些实施方式中,步骤03包括以下步骤:
031:确定第三像素值的调整系数;
032:根据调整系数对第三像素进行处理得到调整像素值;
033:根据调整像素值和普通像素的第一像素值,计算普通像素的像素新值;及
034:以普通像素的像素新值更新待处理图像,获得目标图像。
具体地,根据特定像素计算得到调整系数后,可以根据调整系数以及调整系统对应的普通像素的第一像素值,计算得到该普通像素的像素新值。然后可以将待处理图像中普通像素的像素值更新为像素新值,可以得到目标图像。由此,由于普通像素的像素值进行了更新,则目标图像中血红蛋白较明显,同时肤色将更加粉嫩。
其中,若部分普通像素无对应的特定像素,则可以根据普通像素对应接收的第一光线在特定滤镜下的通过率作为该普通像素的比值,根据该比值和调整系数可以得到调整系数,进而可以根 据该调整系数和普通像素的第一像素值,计算对应的普通像素的像素新值。
请参阅图14,在一些实施方式中,待处理图像中可包括多种普通像素(例如,R、G、B),待处理图像中可包括至少一种特定像素(例如,Rp)。在待处理图像中存在一种特定像素时,例如,Rp中的一种,该种特定像素可与多种普通像素中的一种对应,可以根据与该种特定像素对应的一个或多个普通像素的第一像素值,计算该种特定像素若以第一光线生成时的第三像素值,然后根据第三像素值和第二像素值计算增益系数,然后可以根据增益系数对与该种特定像素对应的普通像素的像素值进行调整,调整后的待处理图像即可作为目标图像。待处理图像中存在多种特定像素时,生成目标图像的过程和一种特定像素类似,在此不详细展开。
请参阅图17,在某些实施方式中,图像处理方法还包括以下步骤:
04:检测待处理图像中的肤色区域;
步骤03还包括以下步骤:
035:根据第三像素值,调整待处理图像中的肤色区域内的普通像素的像素值,并根据调整后的像素值生成目标图像。
具体地,由于主要是皮肤上容易存在痣、斑等容易影响人像的成像效果,因此,在处理待处理图像时,只需要处理待处理图像中的肤色区域的普通像素。因此,可以检测待处理图像中的肤色区域,具体可通过肤色检测算法识别待处理图像中的肤色区域,也可先识别待处理图像中的人像区域,然后识别人像中的肤色区域。进而可以确定待处理图像中肤色区域内的普通像素和特定像素,可以根据肤色区域内的特定像素的第三像素值对肤色区域内的普通像素的像素值进行调整,以调整后的像素值更新待处理图像即可得到目标图像。
更具体地,肤色区域内存在第一普通像素R、第二普通像素G和第三普通像素B时,则需分别计算肤色区域内的第三像素值,然后根据第三像素值和每个第一普通像素R的像素值,计算每个第一普通像素R的第一像素新值。进而以对应的第一像素新值更新肤色区域,更新后的待处理图像可以作为目标图像。由此,可以避免将整个待处理图像进行处理而使得到的目标图像中肤色区域以外的环境区域、及用户头发、衣服等颜色出现偏差的现象。
进一步地,在某些实施方式中,待处理图像中肤色区域以外的其他区域内存在有特定像素时,为了避免特定像素造成其他区域的颜色存在偏差,图像处理方法还可包括对其他区域内的特定像素的像素值进行调整,使得特定像素可以像普通像素一样。具体地,可以将特定像素周围一定范围内的普通像素的像素值的均值作为特定像素的像素新值,也可以将最接近特定像素的普通像素的像素值作为特定像素的像素新值,还可将其他区域内的所有与特定像素对应的普通像素的像素值的均值作为特定像素的像素新值。
例如,其他区域中存在第一特定像素Rp时,则可以将最接近与第一特定像素Rp的第一普通像素R的像素值作为第一特定像素Rp的像素值。
请参阅图18,在某些实施方式中,图像处理方法还包括以下步骤:
05:识别待处理图像中的肤色区域的肤色所属性别;及
06:在识别到肤色所属性别为女性时,执行根据第三像素值,调整待处理图像中的普通像素的像素值,以生成目标图像的步骤。
具体地,一般用户为女性,拍照时更注重美丽,而男性拍照时可能比较喜欢真实的自己。可以是被待处理图像中的肤色区域的肤色所属性别,具体可通过一些深度学习算法或者训练模型,识别待处理图像中的肤色区域的肤色所属性别,在此不详细展开。在识别到肤色所属性别为女性 时,执行步骤03(即根据第三像素值,调整待处理图像中的普通像素的像素值,以生成目标图像)。在识别到肤色所属性别为男性时,可以直接输出待处理图像得到目标图像,也可以对待处理图像中的特定像素进行处理,使得特定像素普通化,具体普通化的过程与上文中对其它区域内的特定像素进行调整的过程相似,在此不详细展开。由此,可以根据识别到的所属性别选择性地执行调整待处理图像中的普通像素的像素值,更加符合用户的使用场景,增强了用户的使用体验。
当然,用户也可选择性地执行步骤03的命令,例如,电子设备的UI界面可以存在开关按键,用户可通过触控开关按键实现执行或不执行步骤04的命令,以满足用户的个性化需求。
请参阅图4,在某些实施方式中,本申请的图像传感器10的处理器14可以用于实现上述任一实施方式的图像处理方法。例如,处理器可以用于实现步骤01、步骤02、步骤03、步骤05、步骤06、步骤011、步骤012、步骤031、步骤032、步骤033、步骤034、步骤035中的一个步骤或者多个步骤。
请参阅图19,在某些实施方式中,本申请还提供了一种电子设备1000,电子设备可包括上述任一实施方式的图像传感器10。图像传感器10可安装于电子设备1000的壳体内,并可与电子设备1000的主板连接。
请参阅图20,在某些实施方式中,本申请还提供了一种电子设备1000,电子设备1000可包括上述任一实施方式的成像装置100。成像装置100可安装于电子设备1000的壳体内,并可与电子设备1000的主板连接,成像装置1000可以用于成像。
请参阅图20,在某些实施方式中,本申请还提供了一种电子设备1000,电子设备可包括处理器200。处理器200可以用于实现上述任一实施方式的图像处理方法。例如,处理器可以用于实现步骤01、步骤02、步骤03、步骤05、步骤06、步骤011、步骤012、步骤031、步骤032、步骤033、步骤034、步骤035中的一个步骤或者多个步骤。
需要说明的是,上述实施方式中所述的电子设备1000具体可以为可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、无人设备(例如无人机、无人车、无人船)等,在此不一一列举。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (21)

  1. 一种滤光器阵列,其特征在于,包括区域阵列,每个所述区域阵列中包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率低于血红蛋白的反射率。
  2. 根据权利要求1所述的滤光器阵列,其特征在于,所述普通滤光器包括第一普通滤光器、第二普通滤光器和第三普通滤光器,所述特定滤光器包括第一特定滤光器,所述第一普通滤光器用于仅允许第一颜色的光线通过,所述第二普通滤光器用于仅允许第二颜色的光线通过,所述第三普通滤光器用于仅允许第三颜色的光线通过,所述第一特定滤光器用于仅允许第一颜色的光线通过并过滤所述第一颜色的光线中波长在特定波长范围内的至少部分光线。
  3. 根据权利要求2所述的滤光器阵列,其特征在于,所述第一普通滤光器包括第一颜色滤镜,所述第一特定滤光器包括所述第一颜色滤镜及第一特定滤镜,所述第一颜色滤镜用于允许所述第一颜色的光线通过,所述第一特定滤镜用于过滤光线中的波长在所述特定波长范围内的至少部分光线。
  4. 根据权利要求3所述的滤光器阵列,其特征在于,所述第一特定滤镜的数量为一个或者多个。
  5. 根据权利要求2所述的滤光器阵列,其特征在于,所述第一特定滤镜的透过率小于预设阈值;
  6. 根据权利要求2所述的滤光器阵列,其特征在于,所述第一颜色为红色,所述第二颜色为绿色或者黄色,所述第三颜色为蓝色。
  7. 根据权利要求1所述的滤光器阵列,其特征在于,所述特定波长范围为585-700nm。
  8. 根据权利要求7所述的滤光器阵列,其特征在于,所述特定波长范围为600-640nm。
  9. 根据权利要求2所述的滤光器阵列,其特征在于,部分个所述子单元包括有所述第一特定滤光器。
  10. 根据权利要求1所述的滤光器阵列,其特征在于,在所述滤光器阵列中,多个所述区域阵列中所述滤光器的分布完全相同;或,至少两个不同的所述区域阵列中的所述滤光器的分布不同。
  11. 根据权利要求1-10任意一项所述的滤光器阵列,其特征在于,每个所述区域阵列包括2n*2n个所述子单元,n≥1,所述子单元包括2*2个所述滤光器。
  12. 根据权利要求1-10任意一项所述的滤光器阵列,其特征在于,每个所述子单元包括多个孙单元,每个所述孙单元包括K*K个所述滤光器,其中,K≥2,同一个所述孙单元中的所述滤光器允许通过的光线的颜色相同。
  13. 一种图像处理方法,其特征在于,包括:
    获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,所述普通像素由普通像素点根据接收到的第一光线得到,所述特定像素由特定像素点根据接收到的第二光线得到;其中,所述特定像素点过滤掉所述第一光线中在特定波长范围中的至少部分光线后,余下的光线为 所述第二光线,在所述特定波长范围内黑色素的反射率低于血红蛋白的反射率;
    根据所述第一像素值和所述第二像素值计算,由所述特定像素点根据所述第一光线中在特定波长范围中的至少部分光线得到所述特定像素时,所述特定像素的第三像素值;及
    根据所述第三像素值,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像。
  14. 根据权利要求13所述的图像处理方法,其特征在于,所述根据所述第一像素值和所述第二像素值计算,由所述特定像素点根据所述第一光线中在特定波长范围中的至少部分光线得到所述特定像素时,所述特定像素的第三像素值,包括:
    根据预设放大系数对所述第二像素值进行放大处理得到放大像素值;
    计算所述第一像素值和所述放大像素值的差值得到所述第三像素值。
  15. 根据权利要求13所述的图像处理方法,其特征在于,所述根据所述第三像素值,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像,还包括:
    确定所述第三像素值的调整系数;
    根据所述调整系数对所述第三像素进行处理得到调整像素值;
    根据所述调整像素值和所述普通像素的第一像素值,计算所述普通像素的像素新值;及
    以所述普通像素的像素新值更新所述待处理图像,获得所述目标图像。
  16. 根据权利要求13所述的图像处理方法,其特征在于,所述图像处理方法还包括:
    检测所述待处理图像中的肤色区域;
    所述根据所述第三像素值,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像,包括:
    根据所述第三像素值,调整所述待处理图像中的所述肤色区域内的所述普通像素的像素值,并根据调整后的像素值生成目标图像。
  17. 根据权利要求13所述的图像处理方法,其特征在于,所述图像处理方法还包括:
    识别所述待处理图像中的肤色区域的肤色所属性别;及
    在识别到所述肤色所属性别为女性时,执行所述根据所述第三像素值,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像的步骤。
  18. 一种图像传感器,其特征在于,所述图像传感器包括:
    权利要求1-12任意一项所述的滤光器阵列;及
    像素阵列,所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。
  19. 根据权利要求18所述的图像传感器,其特征在于,所述图像传感器还包括处理电路,所述处理电路用于实现权利要求13-17任意一项所述的图像处理方法。
  20. 一种成像装置,其特征在于,包括:
    权利要求18所述的图像传感器;及
    处理器,所述处理器用于实现权利要求13-17任意一项所述的图像处理方法。
  21. 一种电子设备,其特征在于,
    所述电子设备包括权利要求18或19所述的图像传感器;或
    所述电子设备包括权利要求20所述的成像装置;或
    所述电子设备包括处理器,所述处理器用于实现权利要求13-17任意一项所述的图像处理方法。
CN202180099922.0A 2021-08-30 2021-08-30 滤光器阵列、方法、图像传感器、装置及电子设备 Pending CN117581555A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/115401 WO2023028768A1 (zh) 2021-08-30 2021-08-30 滤光器阵列、方法、图像传感器、装置及电子设备

Publications (1)

Publication Number Publication Date
CN117581555A true CN117581555A (zh) 2024-02-20

Family

ID=85411738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180099922.0A Pending CN117581555A (zh) 2021-08-30 2021-08-30 滤光器阵列、方法、图像传感器、装置及电子设备

Country Status (2)

Country Link
CN (1) CN117581555A (zh)
WO (1) WO2023028768A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574249B2 (ja) * 2004-06-29 2010-11-04 キヤノン株式会社 画像処理装置及びその方法、プログラム、撮像装置
EP2309449B1 (en) * 2009-10-09 2016-04-20 EPFL Ecole Polytechnique Fédérale de Lausanne Method to produce a full-color smoothed image
CN104125442A (zh) * 2013-04-26 2014-10-29 索尼公司 图像处理方法、装置以及电子设备
CN108886563B (zh) * 2016-03-29 2020-09-11 华为技术有限公司 图像处理方法、图像处理装置、便携式多功能设备
CN116723377A (zh) * 2021-06-10 2023-09-08 Oppo广东移动通信有限公司 滤光器阵列、图像处理方法、图像传感器、成像装置及终端

Also Published As

Publication number Publication date
WO2023028768A1 (zh) 2023-03-09
WO2023028768A9 (zh) 2024-02-29

Similar Documents

Publication Publication Date Title
US7460160B2 (en) Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor
CN103327342B (zh) 具有透明滤波器像素的成像系统
KR101926489B1 (ko) 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
US8666153B2 (en) Image input apparatus
US8760561B2 (en) Image capture for spectral profiling of objects in a scene
US20130229544A1 (en) Image processing device
CN107292860A (zh) 一种图像处理的方法及装置
US20050128509A1 (en) Image creating method and imaging device
CN106878690A (zh) 图像传感器的成像方法、成像装置和电子设备
WO2016088293A1 (en) Imaging device, apparatus, and imaging method
US20120249821A1 (en) Image capture adjustment for post-capture processing
JP2019106045A (ja) 画像処理装置、方法及びプログラム
CN105453540B (zh) 图像处理装置、摄像装置、图像处理方法
US20220174245A1 (en) Systems and methods for creating a full-color image in low light
Wang et al. Stereoscopic dark flash for low-light photography
US8654210B2 (en) Adaptive color imaging
CN105554485B (zh) 成像方法、成像装置及电子装置
JP2013085176A (ja) 撮像装置
CN115835034A (zh) 白平衡处理方法与电子设备
CN108696728B (zh) 图像生成装置、拍摄装置及拍摄系统
JPWO2019155757A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
CN117581555A (zh) 滤光器阵列、方法、图像传感器、装置及电子设备
US20120212636A1 (en) Image capture and post-capture processing
CN116419042A (zh) 图像获取装置以及包括该装置的电子装置
CN109644258B (zh) 用于变焦摄影的多相机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination