CN117561721A - 滤光器阵列、方法、图像传感器、装置及电子设备 - Google Patents
滤光器阵列、方法、图像传感器、装置及电子设备 Download PDFInfo
- Publication number
- CN117561721A CN117561721A CN202180099920.1A CN202180099920A CN117561721A CN 117561721 A CN117561721 A CN 117561721A CN 202180099920 A CN202180099920 A CN 202180099920A CN 117561721 A CN117561721 A CN 117561721A
- Authority
- CN
- China
- Prior art keywords
- pixel
- specific
- filter
- color
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims description 95
- 238000000034 method Methods 0.000 title abstract description 19
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims abstract description 100
- 108010054147 Hemoglobins Proteins 0.000 claims abstract description 33
- 102000001554 Hemoglobins Human genes 0.000 claims abstract description 33
- 238000002310 reflectometry Methods 0.000 claims abstract description 33
- 238000003491 array Methods 0.000 claims abstract description 24
- 238000003672 processing method Methods 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 16
- 238000002834 transmittance Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 16
- 239000003086 colorant Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 208000007256 Nevus Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 108010068308 Hemoglobin H Proteins 0.000 description 7
- 239000000463 material Substances 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- BPYKTIZUTYGOLE-IFADSCNNSA-N Bilirubin Chemical compound N1C(=O)C(C)=C(C=C)\C1=C\C1=C(C)C(CCC(O)=O)=C(CC2=C(C(C)=C(\C=C/3C(=C(C=C)C(=O)N\3)C)N2)CCC(O)=O)N1 BPYKTIZUTYGOLE-IFADSCNNSA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- UPYKUZBSLRQECL-UKMVMLAPSA-N Lycopene Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1C(=C)CCCC1(C)C)C=CC=C(/C)C=CC2C(=C)CCCC2(C)C UPYKUZBSLRQECL-UKMVMLAPSA-N 0.000 description 1
- 206010027145 Melanocytic naevus Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 150000001746 carotenes Chemical class 0.000 description 1
- 235000005473 carotenes Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- -1 nevi Chemical compound 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- NCYCYZXNIZJOKI-UHFFFAOYSA-N vitamin A aldehyde Natural products O=CC=C(C)C=CC=C(C)C=CC1=C(C)CCCC1(C)C NCYCYZXNIZJOKI-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
一种滤光器阵列(11)、方法、图像传感器(10)、装置(100)及电子设备(1000)。滤光器阵列(11)包括多个区域阵列(110),区域阵列(110)包括至少一个子单元(111),子单元(111)包括多个滤光器(1111),每个区域阵列(110)均包括多个普通滤光器和至少一个特定滤光器,每个普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,特定波长范围内黑色素的反射率高于血红蛋白的反射率。
Description
本申请涉及影像技术领域,特别涉及一种滤光器阵列、图像处理方法、图像传感器、成像装置及电子设备。
随着数码相机和带有摄像头的手机的增长,人们越来越重视拍摄出的图像的肤色的表现效果。用户拍照时,在530-580nm这个波段范围内,黑色素(Melanin)反射率高于血红蛋白(Hemoglobin)反射率,导致生成的图像中黑色素明显,即,痣、斑等比较明显。
发明内容
本申请实施方式提供一种滤光器阵列、图像处理方法、图像传感器、成像装置及电子设备。
本申请实施方式的滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率高于血红蛋白的反射率。
本申请实施方式的图像处理方法包括:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,所述普通像素由普通像素点根据接收到的第一光线得到,所述特定像素由特定像素点根据接收到的第二光线得到;其中,过滤掉所述第一光线中在特定波长范围中的至少部分光线后,余下的光线为所述第二光线,在所述特定波长范围内黑色素的反射率高于血红蛋白的反射率;根据所述第一像素值计算,由所述特定像素点根据所述第一光线得到所述特定像素时,所述特定像素的第三像素值;根据所述第三像素值与所述第二像素值,计算增益系数;及根据所述增益系数,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像。
本申请实施方式的图像传感器包括滤光器阵列及像素阵列。所述滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率高于血红蛋白的反射率。所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。
本申请实施方式的成像装置包括本申请实施方式的图像传感器及处理器。图像传感器包括滤光器阵列及像素阵列。所述滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率高于血红蛋白的反射率。所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。所述处理器用于实现本申请实施方式的图像处理方法。所述图像处理方法包括:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,所述普通像素由普通像素点根据接收到的第一光线得到,所述特定像素由特定像素点根据接收到的第二光线得到;其中,过滤掉所述第一光线中在特定波长范围中的至少部分光线后,余下的光线为所述第二光线,在所述特定波长范围内黑色素的反射率高于血红蛋白的反射率;根据所述第一像素值计算,由所述特定像素点根据所述第一光线得到所述特定像素时,所述特定像素的第三像素值;根据所述第三像素值与所述第二像素值,计算增益系数;及根据所述增益系数,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像。
本申请实施方式的电子设备包括本申请实施方式的图像传感器。图像传感器包括滤光器阵列及像素 阵列。所述滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率高于血红蛋白的反射率。所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。
本申请实施方式的电子设备包括本申请实施方式的成像装置,成像装置包括本申请实施方式的图像传感器及处理器。图像传感器包括滤光器阵列及像素阵列。所述滤光器阵列包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述滤光器阵列包括多个区域阵列,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率高于血红蛋白的反射率。所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。所述处理器用于实现本申请实施方式的图像处理方法。图像处理方法包括:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,所述普通像素由普通像素点根据接收到的第一光线得到,所述特定像素由特定像素点根据接收到的第二光线得到;其中,过滤掉所述第一光线中在特定波长范围中的至少部分光线后,余下的光线为所述第二光线,在所述特定波长范围内黑色素的反射率高于血红蛋白的反射率;根据所述第一像素值计算,由所述特定像素点根据所述第一光线得到所述特定像素时,所述特定像素的第三像素值;根据所述第三像素值与所述第二像素值,计算增益系数;及根据所述增益系数,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像。
本申请实施方式的电子设备包括处理器,所述处理器用于实现本申请实施方式所述的图像处理方法。图像处理方法包括:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,所述普通像素由普通像素点根据接收到的第一光线得到,所述特定像素由特定像素点根据接收到的第二光线得到;其中,过滤掉所述第一光线中在特定波长范围中的至少部分光线后,余下的光线为所述第二光线,在所述特定波长范围内黑色素的反射率高于血红蛋白的反射率;根据所述第一像素值计算,由所述特定像素点根据所述第一光线得到所述特定像素时,所述特定像素的第三像素值;根据所述第三像素值与所述第二像素值,计算增益系数;及根据所述增益系数,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像。
本申请实施方式的滤光器阵列、图像处理方法、图像传感器、成像装置及电子设备中,每个区域阵列包括有普通滤光器和至少一个特定滤光器,普通滤光器仅允许一种颜色的光线通过,特定滤光器仅允许一种颜色的光线通过,并能滤除该颜色光线中波长在特定波长范围内的至少部分光线,而在特定波长范围内黑色素的反射率高于血红蛋白的反射率,特定滤光器可以过滤波长在特定波长范围内的至少部分光线,使得成像时黑色素较少,进而使得成像后的图像中黑色素较淡而不明显。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的图像传感器的结构示意图;
图2是本申请实施方式的图像传感器的结构示意图;
图3是本申请一些实施方式的滤光器阵列的结构示意图;
图4是本申请一些实施方式的不同波段的光线与对应的黑色素及血红蛋白的反射率,及特定滤镜下不同波段的光线的透过率的关系示意图;
图5是本申请一些实施方式的滤光器阵列的特定滤光器中设置一枚特定滤镜下不同波段的光线与对应的黑色素及血红蛋白的反射率;
图6至图11是本申请一些实施方式的滤光器阵列的结构示意图;
图12是本申请某些实施方式的普通滤光器下,不同波段的光线与对应的红色通道、绿色通道及蓝色通道的相对灵敏度的关系示意图;
图13是本申请一些实施方式的滤光器阵列的特定滤光器中设置两枚特定滤镜下不同波段的光线与对应的黑色素及血红蛋白的反射率;
图14是本申请一些实施方式的滤光器阵列的特定滤光器中设置五枚特定滤镜下不同波段的光线与对应的黑色素及血红蛋白的反射率;
图15至图19是本申请一些实施方式的图像传感器的结构示意图;
图20是本申请某些实施方式的滤光器阵列中经特定滤镜和未经特定滤镜过滤后,不同波段的光线与对应的红色通道、绿色通道及蓝色通道的相对灵敏度的关系示意图;
图21是本申请实施方式的图像处理方法的流程示意图;
图22和图23是本申请实施方式的图像处理方法的原理示意图;
图24是本申请实施方式的图像处理方法的流程示意图;
图25是本申请实施方式的图像处理方法的远离示意图;
图26和图27是本申请实施方式的图像处理方法的流程示意图;
图28是本申请实施方式的图像处理方法的原理示意图;
图29至图34是本申请实施方式的图像处理方法的流程示意图;
图35是本申请实施方式中特定滤光器下,不同波段的光线与对应的红色通道、绿色通道及蓝色通道的相对灵敏度的关系示意图、及不同波段的光线在特定滤镜下的透过率;
图36至图40是本申请实施方式的图像处理方法的流程示意图;
图41是本申请实施方式的成像装置的结构示意图;
图42是本申请实施方式的电子设备的结构示意图。
下面详细描述本申请的实施方式,实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
请参阅图1和图3,本申请提供了一种图像传感器10,图像传感器10包括滤光器阵列11和像素阵列。本申请的滤光器阵列11包括多个滤光器,滤光器包括普通滤光器(例如图3中的A、B、C)和特定滤光器(例如图3中的Ap、Bp、Cp),滤光器阵列11包括多个区域阵列110,区域阵列110包括至少一个子单元111,子单元111包括多个滤光器,每个区域阵列110均包括多个普通滤光器和至少一个特定滤光器,每个普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,特定波长范围内黑色素的反射率高于血红蛋白的反射率。
本申请实施方式的图像传感器10和滤光器阵列11中,每个区域阵列110包括有普通滤光器和至少一个特定滤光器,普通滤光器仅允许一种颜色的光线通过,特定滤光器仅允许一种颜色的光线通过,并能滤除该颜色光线中波长在特定波长范围内的至少部分光线,而在特定波长范围内黑色素的反射率高于血红蛋白的反射率,特定滤光器可以过滤波长在特定波长范围内的至少部分光线,使得成像时黑色素较少,进而使得成像后的图像中黑色素较淡而不明显。
需要说明的是,由于人体肤色的色素构成为黑色素、血红蛋白、胆红素及胡萝卜素等,且含量大并且易变化(个体差异大)的是黑色素及血红蛋白,此二者很大程度上左右图像传感器10所成图像表现出来的肤色。当黑色素反射率明显高于血红蛋白时,则会导致皮肤中痣、癍等表现明显。
其中,特定波长范围内的光线照射在皮肤上,黑色素对特定波长范围内的光线的反射率高于血红蛋白对特定波长范围内的光线的反射率。本申请实施方式中,以特定波长范围为530nm~580nm的光线为例进行示例性说明,可以理解,特定波长范围并不限于530nm~580nm。
其中,下文描述中,以特定光线表示波长在530nm~580nm的光线,可以理解,特定光线的波长可以为530nm~580nm之间的任意数值,例如,特定光线的波长可为530nm、535nm、540nm、545nm、550nm、 555nm、560nm、565nm、570nm、575nm、580nm或者更多数值,在此不一一列举。
具体地,请参阅图4,图4中的图a展示了在普通滤光器或者未设置滤光器下血红蛋白和黑色素在不同波段的光线下的反射率,横坐标表示光线的波长,纵坐标表示光线的反射率,曲线H表示血红蛋白在不同波段下的反射率,曲线M代表黑色素在不同波段下的反射率。图4可以表示被特定滤光器过滤后的光线与光线的透光率的曲线图,横坐标表示光线的波长,纵坐标表示光线的透过率。图4中的图b表示了经过特定滤光器过滤至少部分特定光线后,血红蛋白和黑色素在不同波段的光线下的反射率,横坐标表示光线的波长,纵坐标表示反射率,同样的,曲线H表示血红蛋白在不同波段下的反射率,曲线M代表黑色素在不同波段下的反射率。
通过图4中的图a可以看出:在波段范围为530nm~580nm的光线照射下,黑色素对该波段范围的光线的反射率高于血红蛋白对该波段范围的光线的反射率。此时,则会导致图像传感器10所成图像中皮肤中痣、癍等表现明显。通过图4中的图b可以看出:在特定滤光器之下,波段范围为530nm~580nm的光线的透过率相较其他波段范围的光线的透过率较低,即进入图像传感器10中的波段范围为530nm~580nm的光线会相对较少。
通过图4中的图b可以看出,设置特定滤光器之后,在波段范围为530nm~580nm的光线照射下,黑色素对该波段范围的光线的反射率开始接近血红蛋白对该波段范围的光线的的反射率,即两者的反射率差值逐渐减小。则在特定滤光器的作用下,图像传感器10所成图像中皮肤中痣、癍等颜色较淡,表现不明显。因此,通过降低特定波长范围内的光线的透过率,可以使得图像传感器10生成的图像中皮肤表现较好。
进一步地,区域阵列110中既包括有特定滤光器和普通滤光器,一方面,可以根据普通滤光器对特定滤光器进行普通化处理,使得可以得到真实肤色图像,可以避免全部设置特定滤光器,而导致用户想以真实肤色成像但得到的图像不真实的现象;另一方面,可以根据特定滤光器对普通滤光器进行特定化处理,使得可以得到黑色素较淡的图像,可以避免全部设置普通滤光器,而导致用户想淡化黑色素美化皮肤的现象。其中,普通化处理可以指的是根据普通滤光器的像素值计算特定滤光器的像素值,特定化处理可以指的是根据特定滤光器的像素值计算普通滤光器的像素值。
下面结合附图对图像传感器10进行详细说明。
具体地,图像传感器10具体可以采用互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD,Charge-coupled Device)感光元件。
请参阅图1,本申请实施方式的图像传感器10包括滤光器阵列11及像素阵列12。沿图像传感器10的收光方向,滤光器阵列11和像素阵列12依次设置,光线经滤光器阵列11后到达像素阵列12。
滤光器阵列11可包括多个滤光器1111,滤光器1111可用于允许预定颜色的光线通过,并过滤除光线中的除预定颜色外的其他颜色光线。
像素阵列12可包括多个像素点121,每个像素点121可对应滤光器阵列11中的一个滤光器1111,像素点121可以用于接收穿过对应的滤光器1111的光线以生成电信号。
请参阅图3,滤光器阵列11可包括多个区域阵列110,一个滤光器阵列11可由多个区域阵列110拼接形成。在一个滤光器阵列11中,多个区域阵列110中,滤光器1111的种类及分布可相同或者不同。例如,多个区域阵列110中滤光器1111的分布完全相同,以便于滤光器的生产及制造;再例如,至少两个不同的区域阵列110中的滤光器1111的分布不同,以分别满足不同区域的滤光需求。
每个区域阵列110可包括多个普通滤光器(例如图3中的A、B、C)和至少一个特定滤光器(例如图3中的A
P和B
P),普通滤光器可以仅允许一种颜色的光线通过而滤除其它颜色的光线,特定滤光器可以允许仅一种颜色的光线通过,并能够滤除其它颜色的光线,还可过滤掉该种颜色的光线中波长在特定波长范围内的至少部分光线。每个区域阵列110中特定滤光器的种类可为一种或者多种,每种特定滤光器可为一个或多个。
请参阅图3,区域阵列110可包括至少一个子单元111,每个子单元111可包括多个滤光器1111。可以理解,一个区域阵列110可包括一个或多个子单元111。例如,在图3、图6及图7所示的实施例中,区域阵列110a、区域阵列110b、区域阵列110c及区域阵列110d包括四个子单元111。又例如,在图8至图11所示的实施例中,区域阵列110a、区域阵列110b、区域阵列110c及区域阵列110d包括一个子单元111。当然,一个区域阵列110还可包括其它个子单元111,例如,两个、三个、五个、六个、 八个等,在此不一一列举。
在一个实施例中,一个区域阵列110中,部分子单元111可同时包括特定滤光器和普通滤光器,部分子单元111可只包括普通滤光器,部分子单元111可只包括特定滤光器。在另一个实施例中,一个区域阵列110中,部分子单元111可只包括普通滤光器,部分子单元111可只包括特定滤光器。在又一个实施例中,一个区域阵列110中,每个子单元111可同时包括特定滤光器和普通滤光器。
进一步地,请参阅图3、图6及图7,在某些实施方式中,每个区域阵列110可包括2
n*2
n个子单元111,n≥1,每个子单元111包括2*2个滤光器1111,每个子单元111包括的滤光器的种类可相同或者不同。其中,n可以为1、2、3、4、5、6或更多数值,在此不一一列举。
在图3、图6及图7所示的实施例中,每个区域阵列110可包括2*2个子单元111。在其它的实施例中,每个区域阵列110可包括4*4个子单元111、8*8个子单元111、16*16个子单元111、32*32个子单元111等,在此不一一列举,也不做限制。
请参阅图3,在某些实施方式中,每个子单元111可包括M*M个滤光器1111。其中,M≥2,同一个子单元111中的滤光器1111允许通过的光线的颜色不同。例如,每个子单元111均包括一个允许第一颜色的光线穿过的滤光器1111(第一普通滤光器A或第一特定滤光器Ap)、两个允许第二颜色的光线穿过的滤光器1111(第二普通滤光器B或第二特定滤光器Bp)和一个允许第三颜色的光线穿过的滤光器1111(第三普通滤光器C或第三特定滤光器Cp)。
在某些实施方式中,每个子单元111包括M*M个滤光器1111,其中,M≥2,同一个子单元111中的滤光器1111允许通过的光线的颜色相同。可以理解,即,M可以是2、3、4、5、6或更多数值,在此不一一列举。例如,一个区域阵列110包括四个子单元111,每个子单元111可包括2*2个滤光器1111,且同一个子单元111111中的2*2个滤光器1111允许通过的光线的颜色相同。又例如,一个区域阵列110包括四个子单元111,每个子单元111包括3*3个滤光器1111,且同一个子单元111中的3*3个滤光器1111允许通过的光线的颜色相同。
当然,在其他一些实施方式中,每个子单元111也可包括4*4个滤光器1111、5*5个滤光器1111、6*6个滤光器1111,在此不一一列举。
请参阅图8至图11,在某些实施方式中,每个子单元111可包括多个孙单元1110,每个孙单元1110包括K*K个滤光器1111。其中,K≥2,同一个孙单元1110中的滤光器1111允许通过的光线的颜色相同。可以理解,K可以是2、3、4、5、6或更多数值,在此不一一列举。
例如,在图8至图11所示的实施例中,一个区域阵列110包括一个子单元111。更具体地,在图8至图11中,每个子单元111包括四个孙单元1110,每个孙单元1110包括2*2个滤光器1111,同一个孙单元1110的2*2个滤光器1111允许通过的光线的颜色相同。在其它的实施例中,每个孙单元1110也包括3*3个滤光器1111,同一个孙单元1110的3*3个滤光器1111允许通过的光线的颜色相同。或者说,一个区域阵列110也可包括多个子单元111,每个子单元111可包括多个孙单元1110。
在图8至图11所示的实施例中,四个孙单元1110分别为第一孙单元1110a、第二孙单元1110b、第三孙单元1110c和第四孙单元1110d。第一孙单元1110a中的2*2个滤光器1111均仅允许第一颜色的光线穿过第二孙单元1110a和第三孙单元1110c中的2*2个滤光器11111均仅允许第二颜色的光线穿过,第四孙单元1110中的2*2个滤光器均仅允许第三颜色的光线穿过。
当然,在其他一些实施方式中,每个孙单元1110也可包括4*4个滤光器、5*5个滤光器、6*6个滤光器,在此不一一列举。
请参阅图3,普通滤光器的种类可为多种,多种普通滤光器可以分别允许对应的多种颜色的光线通过。多种普通滤光器可包括第一普通滤光器A、第二普通滤光器B及第三普通滤光器C。第一普通滤光器A可以仅允许第一颜色的光线通过,而过滤掉其它颜色的光线。第二普通滤光器B可以仅允许第二颜色的光线通过,而过滤掉其它颜色的光线。第三普通滤光器C可以仅允许第三颜色的光线通过,而过滤掉其它颜色的光线通过。
当然,还可以包括仅允许第四颜色的光线通过的第四普通滤光器、仅允许第五颜色的光线通过的第五普通滤光器、仅允许第六颜色的光线通过的第六普通滤光器等,在此不详细描述。
请参阅图12,在某些实施方式中,第一颜色的光线中波长在特定波长范围内的波段多余第三颜色的光线在特定波长范围内的波段,第二颜色的光线中波长在特定波长范围内的波段多余第三颜色的光线在 特定波长范围内的波段。可以理解,第一颜色的光线和第二颜色的光线中的特定光线数量较多。
进一步地,请参阅图3、图6及图8,特定滤光器可包括第一特定滤光器Ap和第二特定滤光器Bp,可设置第一特定滤光器Ap和第二特定滤光器Bp,第一特定滤光器Ap可以过滤第一颜色的光线中的特定光线(即,波长在特定范围内的光线),第二特定滤光器Bp可以过滤第二颜色的光线中的特定光线。区域阵列110包括第一普通滤光器A、第二普通滤光器B、第三普通滤光器C、第一特定滤光器Ap及第二特定滤光器Bp。由此,设置第一特定滤光器Ap和第二特定滤光器Bp,可以较好地防止特定光线成像造成皮肤效果较差的现象。
像素阵列可包括第一普通像素点(图未示)、第二普通像素点(图未示)、第三普通像素点(图未示)、第一特定像素点(图未示)及第二特定像素点(图未示)。第一普通像素点可以与第一普通滤光器A对应,用于接收经第一普通滤光器A过滤后的光线以生成电信号;第二普通像素点可以与第二普通滤光器B对应,用于接收经第二普通滤光器B过滤后的光线以生成电信号;第三普通像素点可以与第三普通像素滤光器对应,用于接收经第三普通滤光器C过滤后的光线以生成电信号;第一特定像素点与第一特定滤光器Ap对应,用于接收第一特定滤光器Ap过滤后的光线以生成电信号;第二特定像素点与第二特定滤光器Bp对应,用于接收第二特定滤光器Bp过滤后的光线以生成电信号。
请结合图2,图像传感器10还可包括处理器14,处理器14可以根据第一特定像素点的数据对第一普通像素点的数据进行处理,及处理器14可以根据第二特定像素点的数据对第二普通像素点的数据进行处理,则处理后的第一普通像素点的数据是根据过滤了第一颜色的光线中的至少部分特定光线,而剩余的光线得到的,则处理后的第二普通像素点的数据是根据过滤了第二颜色的光线中的至少部分特定光线,而剩余的光线得到的。由此,并不需要将滤光器阵列11全部设置为特定滤光器,也可以实现以过滤掉特定光线后的光线的成像效果,可以节省滤光器阵列11及图像传感器10的成本。
另外,处理器14也可以根据第一普通像素点的数据对第一特定像素点的数据进行处理,及处理器可以根据第二普通像素点的数据对第二特定像素点的数据进行处理,则处理后的第一特定像素点的数据可以认为是根据未过滤第一颜色的光线中的特定光线得到的,则处理后的第二特定像素点的数据可以认为是根据未过滤第二颜色的光线中的特定光线得到的。由此,可以根据普通像素点对特定像素点进行处理,图像传感器10成像更加真实,避免了用户想拍真实的图像时得到的图像存在色差的现象。
其中,第一特定像素点和第一普通像素点的结构可以相同,接收到的光线不同。第二特定像素点和第二普通像素点的结构可以相同,接收到的光线不同。
进一步地,请参阅图7、图9至图11,在某些实施方式中,区域阵列110还可包括第三特定滤光器Cp,像素阵列还可包括第三特定像素点,第三特定滤光器Cp可以仅允许第三颜色的光线通过并能够过滤掉第三颜色的光线中的特定光线,第三特定像素点可以与第三特定滤光器Cp相对应,用于接收第三特定滤光器Cp过滤后的光线以生成电信号。如此,第三特定滤光器Cp可以避免第三颜色的光线中的特定光线对成像的影响。其中,第三特定像素点和第三普通像素点的结构可以相同,接收到的光线不同。
图像传感器10的处理器14(图2示)也可以第三特定像素点的数据对第三普通像素点的数据进行处理,处理后的第三普通像素点的数据可以认为是根据过滤了第一颜色的光线中的至少部分特定光线,而剩余的光线得到的,进而并不需要设置较多的第三特定滤光器Cp,也可以实现过滤掉所有的第三颜色中的特定光线成像的效果。处理器14也可以根据第三普通像素点的数据对第三特定像素点的数据进行处理,则处理后的第三特定像素点的数据可以认为是根据未过滤第三颜色的光线中的特定光线得到的。由此,可以根据第三普通像素点对第三特定像素点进行处理,图像传感器10成像更加真实,避免了用户想拍真实的图像时得到的图像存在色差的现象。
其中,第一颜色、第二颜色和第三颜色互不相同,且第一颜色、第二颜色和第三颜色的颜色组成方式可以有多种。在一个例子中,第一颜色可为红色R、第二颜色可为绿色G、第三颜色可为蓝色B,一个子单元111可以为RGGB排布。在另一个例子中,第一颜色可为红色R、第二颜色可为黄色Y、第三颜色可为蓝色B,一个子单元111可以为RYYB排布。在又一个例子中,第一颜色可为红色R、第二颜色可为绿色Y、第三颜色可为青色CB,一个子单元111可以为RYYCB。第一颜色、第二颜色和第三颜色还可以为其他颜色,在此不一一列举。在一个例子中,还包括第四普通滤光器,第四普通滤光器可以允许所有颜色的光线通过,第四颜色可以为白色W,第一颜色可为红色R、第二颜色可为绿色G、第三颜色可为蓝色B,则一个子单元111可以为RGBW分布。
本申请实施例中以第一颜色为红色R、第二颜色为绿色G、第三颜色为蓝色B为例进行示例性说明。
请参阅图4、图5、图13及图14,图4中的图b表示了未设置特定滤镜时,在各个波段下,黑色素M的反射率和血红蛋白H的反射率;图5表示了在设置一枚特定滤镜时,在各个波段下,黑色素M的反射率和血红蛋白H的反射率;图13表示了在设置两枚特定滤镜时,在各个波段下,黑色素M的反射率和血红蛋白H的反射率;图14表示了在设置五枚特定滤镜时,在各个波段下,黑色素M的反射率和血红蛋白H的反射率。
通过比较图4中的图b、图5、图13及图14,可以较清楚地观察到,在设置一枚特定滤镜后,在530nm至580nm(即,特定波长范围)之间,黑色素M的反射率与血红蛋白H的反射率之间的差值已经减少;在设置两枚特定滤镜后,在530nm至580nm(即,特定波长范围)之间,黑色素M的反射率与血红蛋白H的反射率之间的差值进一步减少;在设置五枚特定滤镜后,在530nm至580nm(即,特定波长范围)之间,黑色素M的反射率与血红蛋白H的反射率之间的差值再进一步减少。因此,可以根据实际需求以及制造成本的考虑,设置一个或多个特定滤镜。
请参阅图15至图17,第一普通滤光器A可包括第一颜色滤镜101A,第一特定滤光器Ap可包括第一颜色滤镜101A及第一特定滤镜102A,第一颜色滤镜101A用于仅允许第一颜色的光线通过,第一特定滤镜102A用于过滤掉第一颜色的光线中的至少部分特定光线。其中,第一特定滤镜102A不允许波长在特定波长范围内的光线通过。第一特定滤镜102A可以设置在第一颜色滤镜101A的入光侧或者出光侧,在此不做限制。第一特定滤光器Ap可以是在第一普通滤光器A的基础上设置第一特定滤镜102A而形成。
第一特定滤镜102A的数量可以是一个或者多个,在第一特定滤镜102A的数量为多个时,多个第一特定滤镜102A可以均设置在第一颜色滤镜101A的入光侧或者出光侧,或者,部分个第一特定滤镜102A设置在第一颜色滤镜101A的入光侧,另部分个第一特定滤镜102A设置在第一颜色滤镜101A的出光侧。
请参阅图15至图17,第二普通滤光器B可包括第二颜色滤镜101B,第二特定滤光器Bp可包括第二颜色滤镜101B及第二特定滤镜102B,第二颜色滤镜101B用于仅允许第二颜色的光线通过,第二特定滤镜102B用于过滤掉第二颜色的光线中的至少部分特定光线。其中,第二特定滤镜102B不允许波长在特定波长范围内的光线通过。第二特定滤镜102B可以设置在第二颜色滤镜101B的入光侧或者出光侧,在此不做限制。第二特定滤光器Bp可以是在第二普通滤光器B的基础上设置第二特定滤镜102B而形成。
第二特定滤镜102B的数量可以是一个或者多个,在第二特定滤镜102B的数量为多个时,多个第二特定滤镜102B可以均设置在第二颜色滤镜101B的入光侧或者出光侧,或者,部分个第二特定滤镜102B设置在第二颜色滤镜101B的入光侧,另部分个第二特定滤镜102B设置在第二颜色滤镜101B的出光侧。其中,第二特定滤镜102B的数量和第一特定滤镜102A的数量可相同或者不同。
在其中一个实施例中,图像传感器10的处理器可以根据设置一个第一特定滤镜102A的数据,模拟得到设置两个甚至更多个第一特定滤镜102A的数据,以及处理器可以根据设置一个第二特定滤镜102B的数据,模拟得到设置两个甚至更多个第二特定滤镜102B时数据,进而可以实现只需要设置一个第一特定滤镜102A而可以实现设置多个第一特定滤镜102A的效果,及只需要设置一个第二特定滤镜102B而可以实现设置多个第二特定滤镜102B的效果,在实现较好地成像质量时还可以降低滤光器阵列11的制造成本。
请参阅图15至图17,第三普通滤光器C可包括第三颜色滤镜101C,第三特定滤光器Cp可包括第三颜色滤镜101C及第三特定滤镜102C,第三颜色滤镜101C用于仅允许第三颜色的光线通过,第三特定滤镜102C用于过滤掉第三颜色的光线中的至少部分特定光线。其中,第三特定滤镜102C不允许波长在特定波长范围内的光线通过。第三特定滤镜102C可以设置在第三颜色滤镜101C的入光侧或者出光侧,在此不做限制。第三特定滤光器Cp可以是在第三普通滤光器C的基础上设置第三特定滤镜102C而形成。
第三特定滤镜102C的数量可以是一个或者多个,在第三特定滤镜102C的数量为多个时,多个第三特定滤镜102C可以均设置在第三颜色滤镜101C的入光侧或者出光侧,或者,部分个第三特定滤镜102C设置在第三颜色滤镜101C的入光侧,另部分个第三特定滤镜102C设置在第三颜色滤镜101C的 出光侧。其中,第三特定滤镜102C的数量、第二特定滤镜102B及第一特定滤镜102A的数量,可以相同或者不相同。
图像传感器10的处理器也可以根据设置一个第三特定滤镜102C的数据,模拟得到设置两个甚至更多个第三特定滤镜102C的数据,从而在设置一个第三特定滤镜102C的基础上可以得到设置多个第三特定滤镜102C的效果,在实现较好地成像质量时还可以降低滤光器阵列11的制造成本。
其中,第一特定滤镜102A、第二特定滤镜102B和第三特定滤镜102C可以相同。
在一些实施方式中,请参阅图3、图6及图8,区域阵列110中包括第一特定滤光器Ap和第二特定滤光器Bp。第一特定滤光器Ap和第二特定滤光器Bp可位于同一个子单元111中;第一特定滤光器Ap和第二特定滤光器Bp可分别分布在不同的子单元111中,例如,部分个子单元111具有第一特定滤光器Ap和第二特定滤光器Bp中的一个,部分个子单元111具有第一特定滤光器Ap和第二特定滤光器Bp中的另一个。
进一步地,在其中一个实施例中,存在第一特定滤光器Ap和第二特定滤光器Bp相邻设置,第一特定滤光器Ap和第二特定滤光器Bp可共用同一个特定滤镜102,即,第一特定滤镜102A和第二特定滤镜102B为同一个特定滤镜102,如图18和图19所示;存在第一特定滤光器Ap和第二特定滤光器Bp未相邻设置,第一特定滤光器Ap和第二特定滤光器Bp可分别使用一个特定滤镜,如图16及图17所示,即,第一特定滤镜102A和第二特定滤镜102B为两个滤镜。当然,在第一特定滤光器Ap和第二特定滤光器Bp相邻设置时,第一特定滤光器Ap和第二特定滤光器Bp也可分别使用一个特定滤镜。
在一些实施方式中,请参阅图7、图9至图11,区域阵列110中包括第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp。第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp可位于同一个子单元111中,第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp可分别分布在不同的子单元111中,或者,第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp中的两个可位于同一个子单元111中,另一个分布在其它的子单元111中。
进一步地,在其中一个实施例中,第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp两两相邻设置,第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp共用同一个特定滤镜102,即,第一特定滤镜102A、第二特定滤镜102B和第三特定滤镜102C为同一个特定滤镜102,如图7、图9、图18及图19所示;或者第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp可分别使用一个特定滤镜。在其中另一个实施例中,第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp中存在相邻的滤光器,相邻的两个或多个滤光器可共用同一个特定滤镜102。在其中又一个实施例中,在第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp互不相邻时,第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp可各自分别使用一个特定滤镜,如图11、图16及图17所示。
当然,在滤光器阵列11包括有仅允许第四颜色的光线通过的第四普通滤光器时,滤光器阵列11也可设置有第四特定滤光器,第四特定滤光器可以仅允许第四颜色的光线通过且可过滤掉第四颜色光线中的至少特定光线。滤光器阵列11中还可包括其他类型的滤光器,在此不一一列举。
请参阅图7,在一些实施方式中,在同一个区域阵列110中,第一特定滤光器Ap的数量、第二特定滤光器Bp的数量和第三特定滤光器Cp的数量可相同或者不同。第一特定滤光器Ap的数量、第二特定滤光器Bp的数量和第三特定滤光器Cp的数量可根据用户的需求选择性设置。
或者,第一特定滤光器Ap的数量也可根据第一普通滤光器A的数量确定,第二特定滤光器Bp的数量也可根据第二普通滤光器B的数量确定,第三特定滤光器Cp的数量也可根据第三普通滤光器C的数量确定。例如,第一特定滤光器Ap的数量可以是第一普通滤光器A的数量的十分之一、八分之一、五分之一、四分之一等,在此不一一列举,第二特定滤光器Bp和第三特定滤光器Cp同第一特定滤光器Ap,在此不详细展开。由此,可以避免由于第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp过多导致想拍真实图像时存在较强的失真现象,也可以避免由于第一特定滤光器Ap、第二特定滤光器Bp和第三特定滤光器Cp过多导致所成图像的亮度较暗的现象。
在一些实施方式中,在一个区域阵列110中,第一特定滤光器Ap的数量小于第一普通滤光器A的数量,第二特定滤光器Bp的数量小于第二普通滤光器B的数量,由此,可以避免第一特定滤光器Ap的数量和第二特定滤光器Bp的数量过多、而导致图像传感器10所生成的图像亮度过低。在区域阵列110中还具有第三特定滤光器Cp时,第三特定滤光器Cp的数量小于第三普通滤光器C的数量。
请参阅图20,图20展示了红色光线R、绿色光线G和蓝色光线B采用特定滤镜后,图像传感器10分光特性的变化。图中实线为未使用特定滤镜,红色光线R、绿色光线G和蓝色光线B的分光特性,图中虚线为使用特定滤镜后,红色光线R、绿色光线G和蓝色光线B的分光特性。在图20中,可以明显地观察到,使用特定滤镜后,绿色光线G的减少要高于蓝色光线B的减少和红色光线R的减少,因此,所成图像中皮肤的肤色将向粉色偏移,肤色美感更好。
需要说明的是,本申请实施方式的滤光器阵列11的分布并不限于图3、图6至图11所示的分布,还可以是其他分布,在此不做具体限制。
请参阅图1,在某些实施方式中,图像传感器10还可包括微透镜阵列13,微透镜阵列可包括多个微透镜131,多个微透镜131可对应设置于多个滤光器1111的远离像素阵列12的一侧,并与该滤光器1111对应的像素点121相对应,沿图像传感器10的收光方向,光线经微透镜131到达滤光器1111。微透镜131可以汇聚光线,可以将入射的光线更多地导引至滤光器1111。
请参阅图21及图22,本申请还提供了一种图像处理方法,图像处理方法可以用于上述任一实施方式所述的图像传感器10,图像处理方法可包括以下步骤:
01:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,普通像素由普通像素点根据接收到的第一光线得到,特定像素由特定像素点根据接收到的第二光线得到;其中,特定像素点过滤掉第一光线中在特定波长范围中的至少部分光线后,余下的光线为第二光线,在特定波长范围内黑色素的反射率高于血红蛋白的反射率;
02:根据第一像素值计算,由特定像素点根据第一光线得到特定像素时,特定像素的第三像素值;
03:根据第三像素值与第二像素值,计算增益系数;及
04:根据增益系数,调整待处理图像中的普通像素的像素值,以生成目标图像。
具体地,待处理图像可以是由上述任一实施方式的图像传感器10生成,即,待处理图像是像素阵列根据滤光器阵列11过滤后的光线生成的。待处理图像中可包括有普通像素和特定像素,像素阵列中与普通滤光器相相对应的像素点为普通像素点,像素阵列中与特定滤光器相对应的像素点为特定像素点。
普通像素可以是普通像素点根据接收到的第一光线得到的,特定像素可以是特定像素点根据接收到的第二光线得到的,第一光线中波长在特定波长范围内的至少部分光线被过滤后,剩余的光线即为第二光线。可以理解,第二光线中波长在特定波长范围内的光线较少甚至没有,则第二光线大多数为血红蛋白反射的,黑色素反射的较少。待处理图像中特定像素中黑色素表现得较淡而不明显,特定像素所呈现的皮肤肤色更好。
为了对待处理图像中的普通像素进行处理,使得普通像素具有特定像素相似的属性。可以根据普通像素的第一像素值,计算特定像素点在根据第一光线得到特定像素时,特定像素的第三像素值,然后根据第二像素值和第三像素值计算增益系数,即,比较特定像素点在根据第一光线得到的像素值和根据第二光线得到的像素值之间的差异,从而可以根据增益系数调整待处理图像中普通像素的像素值,以调整后的普通像素的像素值更新待处理图像可以生成目标图像。由此,目标图像中黑色素表现较淡,人物肤色更加粉嫩。
在图22中,P可以表示待处理图像的像素分布,P’可以表示得到的目标图像的像素分布。其中,图22中的R、G、B均为普通像素,Rp和Gp均为特定像素,R’、G’及B’为调整后的普通像素。
在图23中,P可以表示待处理图像的像素分布,P’可以表示得到的目标图像的像素分布。其中,图22中的R、G、B均为普通像素,Rp、Gp及Bp均为特定像素,R’、G’及B’为调整后的普通像素。
请参阅图24,在一些实施方式中,步骤03包括以下步骤:
031:计算第三像素值与第二像素值的比值;及
032:根据比值及预选的调节系数生成增益系数。
具体地,第二像素值是特征像素点根据接收的第二光线得到的,第三像素值是模拟特定像素点根据接收第一光线而得到的,而第二光线是第一光线中过滤掉特定光线后剩余的光线。可以理解,第二像素值在特定像素点的入光侧设置有特定滤镜(请结合上文滤光器阵列11中的描述)时,特定像素点根据接收到的光线生成的像素值,第三像素值可以理解为特定像素点的入光侧未设置特定滤镜时,特定像素点根据接收到的光线生成的像素值。通过比较第二像素值和第三像素值,可以得到设置特定滤镜和未设置特定滤镜的区别,进而可以对接收未经过特定滤镜过滤的光线的普通像素的像素值进行处理,以得到 目标图像。
更具体地,可以计算模拟特定像素点在以第一光线成像时得到的第三像素值,和特定像素点在以第二光线成像时得到的第二像素值之间的比值K,比值K可以用于表征有无特定滤镜之间的差异。然后可以根据比值K及预选的调节系数N生成增益系数,即,增益系数可为K
N。然后根据普通像素的第一像素值和增益系数,则可以对普通像素的像素值进行调整,以调整后的像素值呈现的图像即为目标图像。例如,K=第二像素值A/第三像素值B时,普通像素的第一像素值为C,调整后的普通像素的像素值为C’,C’=C*(K
N)。又例如,K=第三像素值B/第二像素值A时,普通像素的第一像素值为C,调整后的普通像素的像素值为C’,C’=C/(K
N)。由此,只需要部分像素设置有特定滤镜,即可以实现整个图像中的全部像素带有特定滤镜的效果,可以降低图像传感器10的制造成本。
需要说明的是,在存在某种特定像素的数量为多个时,则需先计算多个特定像素的第二像素值的平均值,然后使用平均值与该特定像素的第三像素值计算比值。
其中,预先的调节系数N可以是用户自己选择的,调节系数N可为任意数值,例如调节系数N可为-2、-1、-0.5、0、0.5、1、1.5、2、2.5、3、4、5、6或更多数值。在用户没有执行选择操作时,则调节系数N可默认为1。调节系数N可以用于实现N枚滤镜的呈现效果。例如,第二像素值是一枚特定滤镜时的成像效果时,N为2时,则可以实现两枚特定滤镜的成像效果;N为3时,则可以实现3枚滤镜的技术效果。又例如,第二像素值是二枚特定滤镜时的成像效果时,N为2时,则可以实现四枚特定滤镜的成像效果;N为3时,则可以实现8枚滤镜的技术效果。由此,在不需要设置多枚特定滤镜时,可以实现多枚特定滤镜的成像效果,可以减少图像传感器10的制造成本,同时还可以满足用户的多样化需求,例如可以满足不同用户的需求或者同一个用户的不同喜好,并且滤光器阵列11的长度还可比较小。
请结合图25,在用户的显示界面(User Interface,UI)可显示有调节栏L,用户可在UI界面进行滑动调节栏L期望的调节系数N,在用户选择后可确定调节系数N,进而可根据调节系数N生成目标图像。其中,调节系数N可在用户拍摄前选取,也可以在用户拍摄后选取,在此不做限制。
请参阅图26,在某些实施方式中,步骤04包括以下步骤:
041:根据增益系数及普通像素的第一像素值,计算普通像素的像素新值;及
042:以普通像素的像素新值更新待处理图像,获得目标图像。
具体地,根据特定像素计算得到增益系数后,可以根据增益系数以及增益系数对应的普通像素的第一像素值,计算得到该普通像素的像素新值。然后可以将待处理图像中普通像素的像素值更新为像素新值,可以得到目标图像。由此,由于普通像素的像素值进行了更新,则目标图像中痣、斑等黑色素较明显的东西将比较淡,同时肤色将更加粉嫩。
其中,若部分普通像素无对应的特定像素,则可以根据普通像素对应接收的第一光线在特定滤镜下的通过率作为该普通像素的比值,根据该比值和调节系数可以得到增益系数,进而可以根据该增益系数和普通像素的第一像素值,计算对应的普通像素的像素新值。
请参阅图22和图23,在一些实施方式中,待处理图像中可包括多种普通像素(例如,R、G、B),待处理图像中可包括至少一种特定像素(例如,Rp、Gp及Bp中的一种或多种)。在待处理图像中存在一种特定像素时,例如,Rp、Gp及Bp中的一种,该种特定像素可与多种普通像素中的一种对应,可以根据与该种特定像素对应的一个或多个普通像素的第一像素值,计算该种特定像素若以第一光线生成时的第三像素值,然后根据第三像素值和第二像素值计算增益系数,然后可以根据增益系数对与该种特定像素对应的普通像素的像素值进行调整,调整后的待处理图像即可作为目标图像。待处理图像中存在多种特定像素时,生成目标图像的过程和一种特定像素类似,在此不详细展开。
请参阅图22及图27,在一些实施方式中,普通像素包括第一普通像素R、第二普通像素G和第三普通像素B,第一普通像素R由接收到的第一颜色的第一光线得到,第二普通像素G由接收到的第二颜色的第一光线得到,第三普通像素B由接收到的第三颜色的第一光线生成,特定像素包括第一特定像素Rp和第二特定像素Gp,第一特定像素Rp由接收到的第一颜色的第二光线得到,第二特定像素Gp由接收到的第二颜色的第二光线得到,步骤02包括以下步骤:
021:计算待处理图像中,第一普通像素R的像素值的第一像素均值,将第一像素均值作为第一特定像素Rp的第三像素值;及
022:计算待处理图像中,第二普通像素G的像素值的第二像素均值,将第二像素均值作为第二特定像素Gp的第三像素值。
具体地,第一颜色可以为红色R,第二颜色可以为绿色G,第三颜色可以为蓝色B;或者第一颜色可以为红色R,第二颜色可以为黄色Y,第三颜色可以为蓝色B;或者,第一颜色、第二颜色及第三颜色还可以分别是其它颜色,在此不一一列举。本申请实施例以第一颜色可以为红色R,第二颜色可以为绿色G,第三颜色可以为蓝色B为例进行示例性说明。
则普通像素可包括第一普通像素R、第二普通像素G和第三普通像素B,特定像素可包括第一特定像素Rp、第二特定像素Gp,第一特定像素Rp和第一普通像素R对应,第二特定像素Gp和第二普通像素G对应。请结合上文在图像传感器10中的描述,第一颜色的第一光线和第二颜色的第二光线中特定光线的数量较多,因此,结合第一特定像素Rp的像素值和第一普通像素R的像素值,可以对第一普通像素R的像素值进行调整;结合第二特定像素Gp的像素值和第二普通像素G的像素值,可以对第二普通像素G的像素值进行调整,由此,可以较多地消除特定光线造成所成图像中痣、斑表现明显的现象。
更具体地,待处理图像中存在有多个第一普通像素R、多个第二普通像素G及多个第三普通像素B。计算待处理图像中,多个第一普通像素R的像素值的第一像素均值Rave,将第一像素均值Rave作为第一特定像素Rp的第三像素值。计算待处理图像中,多个第二普通像素G的像素值的第二像素均值Gave,将第二像素均值Gave作为第二特定像素Gp的第三像素值。由此,可以模拟得到根据第一颜色的第一光线得到的第一特定像素Rp的第三像素值,可以模拟得到根据第二颜色的第一光线得到的第二特定像素Gp的第三像素值,且得到的第三像素值比较准确,从而可以更好地计算第一特定像素Rp和第一普通像素R之间的增益、及第二特定像素Gp和第二普通像素G之间的增益。
例如,在图28中,存在4个第一普通像素R,4个第一普通像素R的像素值分别为R1、R2、R3和R4,存在12个第二普通像素G,12个第二普通像素G的像素值分别为G1、G2、G3、G4、G5、G6、G7、G8、G9、G10、G11和G12,则第一特定像素Rp的第三像素值Rp-c=(R1+R2+R3+R4)/4,第二特定像素GpB
P的第三像素值Bp-c=(G1+G2+G3+G4+G5+G6+G7+G8+G9+G10+G11+G12)/12。
进一步地,在一些实施方式中,可以根据第一特定像素Rp的分布,将待处理图像划分为多个区域,然后分别将每个区域内的第一普通像素R的像素值的第一像素均值,作为每个区域内的第一特定像素Rp的第三像素值,并根据每个区域内的第一特定像素Rp的第二像素值和对应的第三像素值,计算每个区域的第一普通像素R的增益,根据增益对每个区域的第一普通像素R值进行调整。可以根据第二特定像素Gp的分布,将待处理图像划分为多个区域,然后分别将每个区域内的第二普通像素G的像素值的第二像素均值,作为每个区域内的第二特定像素Gp的第三像素值,并根据每个区域内的第二特定像素Gp的第二像素值和对应的第三像素值,计算每个区域的第二普通像素G的增益,根据增益对每个区域的第二普通像素G值进行调整。由此,第一普通像素R和第二普通像素G的调整更加准确,得到的目标图像更加美观。
请参阅图29,在一些实施方式中,步骤02还可包括以下步骤:
023:将待处理图像中,最接近于第一特定像素Rp的第一普通像素R的像素值,作为第一特定像素Rp的第三像素值;及
024:将待处理图像中,最接近于第二特定像素Gp的第二普通像素G的像素值,作为第二特定像素Gp的第三像素值。
具体地,可以识别待处理图像中最接近于第一特定像素Rp的第一普通像素R,若最接近于第一特定像素Rp的第一普通像素R只有一个,则可将该第一普通像素R的像素值作为第一特定像素Rp的第三像素值;若最接近于第一特定像素Rp的第一普通像素R有多个,则可将该多个第一普通像素R的像素值的均值作为第一特定像素Rp的第三像素值。
可以识别待处理图像中最接近于第二特定像素Gp的第二普通像素G,若最接近于第二特定像素Gp的第二普通像素G只有一个,则可将该第二普通像素G的像素值作为第二特定像素Gp的第三像素值;若最接近于第二特定像素Gp的第二普通像素G有多个,则可将该多个第二普通像素G的像素值的均值作为第二特定像素Gp的第三像素值。
由于最接近于第一特定像素Rp的第一普通像素R和第一特定像素Rp,两者之间的接收到的光线类型及光线数量差异较小,选取最接近于第一特定像素Rp的第一普通像素R的像素值作为第一特定像素 Rp的第三像素值,可以使得模拟以第一颜色的第一光线得到的像素值更加准确。最接近于第二特定像素Gp的第二普通像素G和第二特定像素Gp,两者之间的接收到的光线类型及光线数量差异较小,选取最接近于第二特定像素Gp的第二普通像素G的像素值作为第二特定像素Gp的第三像素值,可以使得模拟以第二颜色的第一光线得到的像素值更加准确。
请参阅图30,在一些实施方式中,步骤02还可包括以下步骤:
025:将待处理图像中,第一特定像素Rp周围预设范围内的第一普通像素R的像素值的均值,作为第一特定像素Rp的第三像素值;及
026:将待处理图像中,第二特定像素Gp周围预设范围内的第二普通像素G的像素值的均值,作为第二特定像素Gp的第三像素值。
周围预设范围可以是以第一特定像素Rp或第二特定像素Gp为中心,2*2、3*3、4*4等范围。可以计算第一特定像素Rp周围预设范围内的第一普通像素R的像素值的均值,然后将得到的均值作为第一特定像素Rp的第三像素值。可以计算第二特定像素Gp周围预设范围内的第二普通像素G的像素值的均值,然后将得到的均值作为第二特定像素Gp的第三像素值。
进一步地,请参阅图31,在某些实施方式中,步骤031包括以下步骤:
0311:根据第一特定像素Rp的第三像素值与第一特定像素Rp的第二像素值,计算第一比值;及
0312:根据第二特定像素Gp的第三像素值与第二特定像素Gp的第二像素值,计算第二比值。
具体地,由于待处理图像中存在有第一特定像素Rp和第二特定像素Gp,则可以对待处理图像中的第一普通像素R的像素值和第二普通像素G的像素值进行调整,以得到目标图像。则可以分别计算第一特定像素Rp的第三像素值Rp-c和第一特定像素Rp的第二像素值Rp之间的第一比值Kr,和第二特定像素Gp的第三像素值Gp-c和第二特定像素Gp的第二像素值Gp之间的第二比值Kg。
其中,第一比值Kr可以是第一特定像素Rp的第三像素值Rp-c比第一特定像素Rp的第二像素值Rp,即,Kr=Rp-c/Rp;第一比值也可以是第一特定像素Rp的第二像素值Rp比第一特定像素Rp的第三像素值Rp-c,即,Kr=Rp/Rp-c;第二比值Kg可以是第二特定像素Gp的第三像素值Gp-c比第二特定像素Gp的第二像素值Gp,即,Kg=Gp-c/Gp,第二比值Kg也可以是第二特定像素Gp的第二像素值Gp比第二特定像素Gp的第三像素值Gp-c,即,Kg=Gp/Gp-c。本实施例中,计算第一比值Kr和第二比值Kg,以便于根据第一比值Kr对第一普通像素R的像素值进行调整,和便于根据第二比值Kg对第二普通像素G的像素值进行调整。
其中,在第一特定像素Rp的数量为多个时,则可先计算多个第一特定像素Rp的第二像素值的平均值,然后计算该平均值与第一特定像素Rp的第二像素值之间的第一比值。在第二特定像素Gp的数量为多个时,则可先计算多个第二特定像素Gp的第二像素值的平均值,然后计算该平均值与第二特定像素Gp的第二像素值之间的第二比值。
进一步地,请参阅图32,在某些实施方式中,步骤032包括以下步骤:
0321:根据第一比值Kr及调节系数N,计算第一普通像素R的第一增益系数Krn;及
0322:根据第二比值Kg及调节系数N,计算第二普通像素G的第二增益系数Kgn。
为了满足不同用户的需求及用户的不同喜好,可以结合用户选择的调节系数N,计算普通像素的增益系数。具体地,第一普通像素R的第一增益系数Krn=Kr
N,第二普通像素G的第二增益系数Kgn=Kg
N。由此,可以计算得到第一增益系数Krn和第二增益系数Kgn,从而可以根据第一增益系数Krn对第一普通像素R的像素值进行调整,根据第二增益系数Kgn对第一普通像素R的像素值进行调整,进而可得到目标图像。
进一步地,请参阅图33,在某些实施方式中,步骤041可包括以下步骤:
0411:根据第一增益系数Krn及第一普通像素R的第一像素值R
值,计算第一普通像素R的第一像素新值R
新值;及
0412:根据第二增益系数Kgn及第二普通像素G的第一像素值G
值,计算第二普通像素G的第二像素新值G
新值。
具体地,为了使待处理图像中的第一普通像素R具有第一特定像素Rp相似的属性,及待处理图像中的第二普通像素G具有第二特定像素Gp相似的属性,需要对第一普通像素R和第二普通像素G的像素值进行调整。具体地,在Kr=Rp-c/Rp,Kg=Gp-c/Gp时,待处理图像中的每个第一普通像素R的第 一像素新值R
新值=R
值/Krn=R
值/(Rp-c/Rp)
N,待处理图像中的每个第二普通像素G的第二像素新值G
新值=G
值/Kgn=G
值/(Gp-c/Gp)
N;在Kr=Rp/Rp-c,Kg=Gp/Gp-c时,待处理图像中的每个第一普通像素R的第一像素新值R
新值=R
值*Krn=R
值*((Rp/Rp-c)
N),待处理图像中的每个第二普通像素G的第二像素新值G
新值=G
值*Kgn=G
值*((Gp/Gp-c)
N),由此,可以计算得到每个第一普通像素R的第一像素新值和每个第二普通像素G的第二像素新值,进而可根据每个第一普通像素R的第一像素新值和每个第二普通像素G的第二像素新值,刷新待处理图像得到目标图像。
请参阅图23及图34,在某些实施方式中,待处理图像中未包括有第三特定像素Bp时,图像处理方法还可包括以下步骤:
001:选取第三颜色的第一光线在特定滤镜下的透过率的均值,作为第三普通像素B的第三比值;及
002:根据第三比值及调节系数,计算第三普通像素B的第三增益系数。
具体地,如果滤光器阵列11中未设置有第三特定滤光器Cp,则得到的待处理图像中将不包括有第三特定像素Bp,但仍需要对待处理图像中的第三普通像素B进行处理,以使得到的目标图像更加符合预期。由于制造工艺等原因,除了特定波长范围内的其它光线,在特定滤镜下,透光性也无法达到100%。
请结合图35,图35中a为各个波长在特定滤镜下的透过率,图b为R、G、B的各个波长的灵敏度。可以看到第三颜色的第一光线在特定滤镜下的透光性大约在90%左右(根据使用的滤镜的具体情况而定,并非固定为90%),则可以选取90%作为第三普通像素B的第三比值Kb,第三增益系数Kbn=Kb
N。本实施例中,选取第三颜色的第一光线在特定滤镜下的透过率的均值,作为第三普通像素B的第三比值,使得可以待处理图像中的第三普通像素B的像素值进行更新,同时,更新后的第三普通像素B的像素值也比较准确。
请参阅图23及图36,在某些实施方式中,待处理图像中包括有第三特定像素Bp时,第三特定像素Bp由接收到的第二光线中的第三颜色的光线生成,步骤02还可包括以下步骤:
027:计算待处理图像中,第三普通像素B的像素值的第三像素均值,将第三像素均值作为第三特定像素Bp的第三像素值。
待处理图像中包括有第三特定像素Bp,可以更好地消除第三颜色的第一光线中特定光线导致所成图像中斑、痣明显的现象。具体地,待处理图像中存在有多个第三普通像素B,可以计算多个第三普通像素B的像素值的第三像素均值,将第三像素均值作为第三特定像素Bp的第三像素值。由此,可以模拟得到以第三颜色的第一光线得到的第三特定像素Bp的第三像素值,并且以第三像素均值作为第三特定像素Bp的第三像素值,得到的第三特定像素Bp的第三像素值更加准确。
进一步地,在一些实施方式中,可以根据第一特定像素Rp的分布,将待处理图像划分为多个区域,然后分别将每个区域内的第一普通像素R的像素值的第一像素均值,作为每个区域内的第一特定像素Rp的第三像素值,并根据每个区域内的第一特定像素Rp的第二像素值和对应的第三像素值,计算每个区域的第一普通像素R的增益,根据增益对每个区域的第一普通像素R值进行调整。可以根据第二特定像素Gp的分布,将待处理图像划分为多个区域,然后分别将每个区域内的第二普通像素G的像素值的第二像素均值,作为每个区域内的第二特定像素Gp的第三像素值,并根据每个区域内的第二特定像素Gp的第二像素值和对应的第三像素值,计算每个区域的第二普通像素G的增益,根据增益对每个区域的第二普通像素G值进行调整。由此,第一普通像素R和第二普通像素G的调整更加准确,得到的目标图像更加美观。
请参阅图37,在一些实施方式中,步骤02还可包括以下步骤:
028:将待处理图像中,最接近于第三特定像素Bp的第三普通像素B的像素值,作为第一特定像素Rp的第三像素值。
具体地,可以识别待处理图像中最接近于第一特定像素Rp的第一普通像素R,若最接近于第一特定像素Rp的第一普通像素R只有一个,则可将该第一普通像素R的第一像素值作为第一特定像素Rp的第三像素值;若最接近于第一特定像素Rp的第一普通像素R有多个,则可将该多个第一普通像素R的第一像素值的均值作为第一特定像素Rp的第三像素值。
请参阅图38,在一些实施方式中,步骤02还可包括以下步骤:
029:将待处理图像中,第三特定像素Bp周围预设范围内的第三普通像素B的像素值的均值,作 为第三特定像素Bp的第三像素值。
周围预设范围可以是以第三特定像素Bp为中心,2*2、3*3、4*4等范围。可以计算第三特定像素Bp周围预设范围内的第三普通像素B的像素值的均值,然后将得到的均值作为第三特定像素Bp的第三像素值。由此,结合多个第三普通像素B的像素值,计算第三特定像素Bp的第三像素值,可以使得到的第三特定像素Bp的第三像素值更加准确。
请参阅图39,在某些实施方式中,待处理图像中包括有第三特定像素Bp,图像处理方法还可包括以下步骤:
003:根据第三特定像素Bp的第三像素值与第三特定像素Bp的第二像素值,计算第三比值;及
004:根据第三比值及调节系数,计算第三普通像素B的第三增益系数。
具体地,待处理图像中包括有第三特定像素Bp,则对应的滤光器阵列11中设置有第三特定滤光器Cp,与第三特定滤光器Cp对应的像素点,可以接收经第三特定滤光器Cp过滤后的光线并得到第三特定像素Bp。由于设置了第三特定滤光器Cp,则需比较与第三特定滤光器Cp对应的像素点在接收第三颜色的第二光线时的第二像素值、和在接收第三颜色的第一光线时的第一像素值之间的差异,以根据差异对待处理图像中的第三普通像素B的像素值进行调整。
更具体地,假设第三特定像素Bp的第三像素值为Bp-c,第三特定像素Bp的第二像素值为Bp,第三比值为Kb,第三增益系数为Kbn。在一个例子中,Kb=Bp-c/Bp,第三增益系数Kbn=(Bp-c/Bp)
N。在另一个例子中,Kb=Bp/Bp-c,第三增益系数Kbn=(Bp/Bp-c)
N。
进一步地,请参阅图40,在某些实施方式中,步骤041还包括以下步骤:
0413:根据第三增益系数及第三普通像素B的第一像素值,计算第三普通像素B的第三像素新值。
具体地,假设第三增益系数为Kbn,第一像素值为B
值,第三像素新值为B
新值。在待处理图像中不包括有第三特定像素Bp时,则B
新值=B
值*Kbn=B
值*(Kb
N)。在待处理图像中包括有第三特定像素Bp时,Kb=Bp-c/Bp,则B
新值=B
值/Kbn=B
值/((Bp-c/Bp)
N)。在待处理图像中包括有第三特定像素Bp时,Kb=Bp-c/Bp,则B
新值=B
值*Kbn=B
值*((Bp/Bp-c)
N)。计算第三普通像素B的第三像素新值,使得得到的目标图像中第三普通像素B对应的位置处的痣、斑等不明显,同时肤色更粉嫩。
在某些实施方式中,图像处理方法还包括以下步骤:
005:检测待处理图像中的肤色区域;
步骤04还包括以下步骤:
043:根据增益系数,调整待处理图像中的肤色区域内的普通像素的像素值,并根据调整后的像素值生成目标图像。
具体地,由于主要是皮肤上容易存在痣、斑等容易影响人像的成像效果,因此,在处理待处理图像时,只需要处理待处理图像中的肤色区域的普通像素。因此,可以检测待处理图像中的肤色区域,具体可通过肤色检测算法识别待处理图像中的肤色区域,也可先识别待处理图像中的人像区域,然后识别人像中的肤色区域。进而可以确定待处理图像中肤色区域内的普通像素和特定像素,可以根据肤色区域内的特定像素的第三像素值和特定像素的第二像素值,计算增益系数,并根据计算得到的增益系数对肤色区域内的普通像素的像素值进行调整,以调整后的像素值更新待处理图像即可得到目标图像。
更具体地,肤色区域内存在第一普通像素R、第二普通像素G和第三普通像素B时,则需分别计算肤色区域内的第一增益系数、第二增益系数和第三增益系数,然后根据第一增益系数和每个第一普通像素R的像素值,计算每个第一普通像素R的第一像素新值;根据第二增益系数和每个第二普通像素G的像素值,计算每个第二普通像素G的第二像素新值;根据第三增益系数和每个第三普通像素B的像素值,计算每个第三普通像素B的第二像素新值。进而以对应的第一像素新值、第二像素新值及第三像素新值更新肤色区域,更新后的待处理图像可以作为目标图像。由此,可以避免将整个待处理图像进行处理而使得到的目标图像中肤色区域以外的环境区域、及用户头发、衣服等颜色出现偏差的现象。
进一步地,在某些实施方式中,待处理图像中肤色区域以外的其他区域内存在有特定像素时,为了避免特定像素造成其他区域的颜色存在偏差,图像处理方法还可包括对其他区域内的特定像素的像素值进行调整,使得特定像素可以像普通像素一样。具体地,可以将特定像素周围一定范围内的普通像素的像素值的均值作为特定像素的像素新值,也可以将最接近特定像素的普通像素的像素值作为特定像素的像素新值,还可将其他区域内的所有与特定像素对应的普通像素的像素值的均值作为特定像素的像素新 值。
例如,其他区域中存在第一特定像素Rp时,则可以将最接近与第一特定像素Rp的第一普通像素R的像素值作为第一特定像素Rp的像素值。第二特定像素Gp和第三特定像素Bp同第一特定像素Rp类似,在此不具体展开描述。由此,其他区域内的颜色更加真实,同时肤色区域痣、斑等不明显。
在某些实施方式中,图像处理方法还包括以下步骤:
006:识别待处理图像中的肤色区域的肤色所属性别;及
007:在识别到肤色所属性别为女性时,执行根据增益系数,调整待处理图像中的普通像素的像素值,以生成目标图像的步骤。
具体地,一般用户为女性,拍照时更注重美丽,而男性拍照时可能比较喜欢真实的自己。可以是被待处理图像中的肤色区域的肤色所属性别,具体可通过一些深度学习算法或者训练模型,识别待处理图像中的肤色区域的肤色所属性别,在此不详细展开。在识别到肤色所属性别为女性时,执行步骤04(即根据增益系数,调整待处理图像中的普通像素的像素值,以生成目标图像)。在识别到肤色所属性别为男性时,可以直接输出待处理图像得到目标图像,也可以对待处理图像中的特定像素进行处理,使得特定像素普通化,具体普通化的过程与上文中对其它区域内的特定像素进行调整的过程相似,在此不详细展开。由此,可以根据识别到的所属性别选择性地执行调整待处理图像中的普通像素的像素值,更加符合用户的使用场景,增强了用户的使用体验。
当然,用户也可选择性地执行步骤04的命令,例如,电子设备的UI界面可以存在开关按键,用户可通过触控开关按键实现执行或不执行步骤04的命令,以满足用户的个性化需求。
请参阅图2,在某些实施方式中,本申请的图像传感器10的处理器14可以用于实现上述任一实施方式的图像处理方法。例如,处理器可以用于实现步骤01、步骤02、步骤03、步骤04、步骤031、步骤032、步骤041、步骤042、步骤043、步骤021、步骤022、步骤023、步骤024、步骤025、步骤026、步骤027、步骤028、步骤029、步骤0311、步骤0312、步骤0411、步骤0412、步骤0413、步骤001、步骤002、步骤003、步骤004、步骤005、步骤006、步骤007中的一个步骤或者多个步骤。
请参阅图41,本申请还提供了一种成像装置100,成像装置100可包括上述任一实施方式所述的图像传感器10及处理器20,处理器20可以与图像传感器10连接,以对图像传感器10输出的图像进行进一步地处理。
请参阅图41,在某些实施方式中,成像装置100的处理器20可以用于实现上述任一实施方式的图像处理方法。例如,处理器可以用于实现步骤01、步骤02、步骤03、步骤04、步骤031、步骤032、步骤041、步骤042、步骤043、步骤021、步骤022、步骤023、步骤024、步骤025、步骤026、步骤027、步骤028、步骤029、步骤0311、步骤0312、步骤0411、步骤0412、步骤0413、步骤001、步骤002、步骤003、步骤004、步骤005、步骤006、步骤007中的一个步骤或者多个步骤。
请参阅图42,在某些实施方式中,本申请还提供了一种电子设备1000,电子设备可包括上述任一实施方式的图像传感器10。图像传感器10可安装于电子设备1000的壳体内,并可与电子设备1000的主板连接。
请参阅图42,在某些实施方式中,本申请还提供了一种电子设备1000,电子设备1000可包括上述任一实施方式的成像装置100。成像装置100可安装于电子设备1000的壳体内,并可与电子设备1000的主板连接,成像装置1000可以用于成像。
请参阅图42,在某些实施方式中,本申请还提供了一种电子设备1000,电子设备可包括处理器200。处理器200可以用于实现上述任一实施方式的图像处理方法。例如,处理器可以用于实现步骤01、步骤02、步骤03、步骤04、步骤031、步骤032、步骤041、步骤042、步骤043、步骤021、步骤022、步骤023、步骤024、步骤025、步骤026、步骤027、步骤028、步骤029、步骤0311、步骤0312、步骤0411、步骤0412、步骤0413、步骤001、步骤002、步骤003、步骤004、步骤005、步骤006、步骤007中的一个步骤或者多个步骤。
需要说明的是,上述实施方式中所述的电子设备1000具体可以为可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、无人设备(例如无人机、无人车、无人船)等,在此不一一列举。
在本说明书的描述中,参考术语“某些实施方式”、“一个实施方式”、“一些实施方式”、“示意性实 施方式”、“示例”、“具体示例”、或“一些示例”的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个,除非另有明确具体的限定。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (26)
- 一种滤光器阵列,其特征在于,包括区域阵列,每个所述区域阵列中包括多个滤光器,所述滤光器包括普通滤光器和特定滤光器,所述区域阵列包括至少一个子单元,所述子单元包括多个所述滤光器,每个所述区域阵列均包括多个普通滤光器和至少一个特定滤光器,每个所述普通滤光器仅允许一种颜色的光线通过,每个特定滤光器仅允许一种颜色的光线通过,并能过滤该颜色的光线中波长在特定波长范围内的至少部分光线,所述特定波长范围内黑色素的反射率高于血红蛋白的反射率。
- 根据权利要求1所述的滤光器阵列,其特征在于,所述普通滤光器包括第一普通滤光器、第二普通滤光器和第三普通滤光器,所述特定滤光器包括第一特定滤光器和第二特定滤光器,所述第一普通滤光器用于仅允许第一颜色的光线通过,所述第二普通滤光器用于仅允许第二颜色的光线通过,所述第三普通滤光器用于仅允许第三颜色的光线通过,所述第一特定滤光器用于仅允许第一颜色的光线通过并过滤所述第一颜色的光线中波长在特定波长范围内的至少部分光线,所述第二特定滤光器用于仅允许第一颜色的光线通过并过滤所述第二颜色的光线中波长在所述特定波长范围内的至少部分光线。
- 根据权利要求2所述的滤光器阵列,其特征在于,所述第一普通滤光器包括第一颜色滤镜,所述第一特定滤光器包括所述第一颜色滤镜及第一特定滤镜,所述第一颜色滤镜用于允许所述第一颜色的光线通过,所述第一特定滤镜用于过滤光线中的波长在所述特定波长范围内的至少部分光线;所述第二普通滤光器包括第二颜色滤镜,所述第二特定滤光器包括所述第二颜色滤镜及第二特定滤镜,所述第二颜色滤镜用于允许所述第二颜色的光线通过,所述第二特定滤镜用于过滤光线中波长在所述特定波长范围内的至少部分光线。
- 根据权利要求3所述的滤光器阵列,其特征在于,所述第一特定滤镜的数量为一个或者多个,所述第二特定滤镜的数量为一个或者多个。
- 根据权利要求2所述的滤光器阵列,其特征在于,所述区域阵列还包括至少一个第三特定滤光器,所述第三特定滤光器用于允许所述第三颜色的光线通过,并过滤所述第三颜色的光线中波长在所述特定波长范围内的至少部分光线。
- 根据权利要求5所述的滤光器阵列,其特征在于,所述第三普通滤光器包括第三颜色滤镜,所述第三特定滤光器包括所述第三颜色滤镜及第三特定滤镜,所述第三颜色滤镜用于允许所述第三颜色的光线通过,所述第三特定滤镜用于过滤光线中波长在所述特定波长范围内的至少部分光线。
- 根据权利要求2所述的滤光器阵列,其特征在于,所述第一颜色为红色,所述第二颜色为绿色或者黄色,所述第三颜色为蓝色。
- 根据权利要求1所述的滤光器阵列,其特征在于,所述特定波长范围为530nm~580nm。
- 根据权利要求2所述的滤光器阵列,其特征在于,部分个所述子单元包括有所述第一特定滤光器和所述第二特定滤光器;或部分个所述子单元包括有所述第一特定滤光器和所述第二特定滤光器中的一个,部分个所述子单元包括有所述第一特定滤光器和所述第二特定滤光器中的另一个。
- 根据权利要求1所述的滤光器阵列,其特征在于,在所述滤光器阵列中,多个所述区域阵列中所述滤光器的分布完全相同;或,至少两个不同的所述区域阵列中的所述滤光器的分布不同。
- 根据权利要求1-10任意一项所述的滤光器阵列,其特征在于,每个所述区域阵列包括2 n*2 n个所述子单元,n≥1,所述子单元包括2*2个所述滤光器。
- 根据权利要求1-10任意一项所述的滤光器阵列,其特征在于,每个所述子单元包括多个孙单元,每个所述孙单元包括K*K个所述滤光器,其中,K≥2,同一个所述孙单元中的所述滤光器允许通过的光线的颜色相同。
- 一种图像处理方法,其特征在于,包括:获取待处理图像中的普通像素的第一像素值和特定像素的第二像素值,所述普通像素由普通像素点根据接收到的第一光线得到,所述特定像素由特定像素点根据接收到的第二光线得到;其中,所述特定像素点过滤掉所述第一光线中在特定波长范围中的至少部分光线后,余下的光线为所述第二光线,在所述特定波长范围内黑色素的反射率高于血红蛋白的反射率;根据所述第一像素值计算,由所述特定像素点根据所述第一光线得到所述特定像素时,所述特定像素的第三像素值;根据所述第三像素值与所述第二像素值,计算增益系数;及根据所述增益系数,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像。
- 根据权利要求13所述的图像处理方法,其特征在于,所述根据所述第一像素值计算,所述特定像素在接收所述第一光线的第三像素值,包括:计算所述待处理图像中,第一普通像素的像素值的第一像素均值,将所述第一像素均值作为第一特定像素的第三像素值;及计算所述待处理图像中,第二普通像素的像素值的第二像素均值,将所述第二像素均值作为第二特定像素的所述第三像素值;或,所述根据所述第一像素值计算,所述特定像素在接收所述第一光线的第三像素值,包括:选取所述待处理图像中,最接近于第一特定像素的第一普通像素的像素值,作为所述第一特定像素的所述第三像素值;及选取最接近于第二特定像素的第二普通像素的像素值,作为所述第二特定像素的所述第三像素值;或,所述根据所述第一像素值计算,所述特定像素在接收所述第一光线的第三像素值,包括:将所述待处理图像中,第一特定像素周围预设范围内的第一普通像素的像素值的均值,作为所述第一特定像素的所述第三像素值;及将所述待处理图像中,第二特定像素周围预设范围内的第二普通像素的像素值的均值,作为所述第二特定像素的第三像素值,其中,所述普通像素包括第一普通像素、第二普通像素和第三普通像素,所述第一普通像素由接收到的第一颜色的所述第一光线得到,所述第二普通像素由接收到的第二颜色的所述第一光线得到,所述第三普通像素由接收到的第三颜色的所述第一光线生成,所述特定像素包括第一特定像素和第二特定像素,所述第一特定像素由接收到的所述第一颜色的所述第二光线得到,所述第二特定像素由接收到的所述第二颜色的所述第二光线得到。
- 根据权利要求13所述的图像处理方法,其特征在于,所述待处理图像中包括有第三特定像素时,所述第三特定像素由接收到的所述第三颜色的所述第二光线生成,所述根据所述第一像素值计算,所述特定像素在接收所述第一光线的第三像素值,还包括:计算所述待处理图像中,所述第三普通像素的像素值的第三像素均值,将所述第三像素均值作为所述第三特定像素的所述第三像素值;或选取最接近于所述第三特定像素的所述第三普通像素的像素值,作为所述第三特定像素的所述第三像素值;或将所述待处理图像中,所述第三特定像素周围预设范围内的所述第三普通像素的像素值的均值,作为所述第三特定像素的所述第三像素值。
- 根据权利要求13所述的图像处理方法,其特征在于,所述根据所述第三像素值与所述第二像素值,计算增益系数,包括:计算所述第三像素值与所述第二像素值的比值;及根据所述比值及预选的调节系数生成所述增益系数。
- 根据权利要求16所述的图像处理方法,其特征在于;所述计算所述第三像素值与所述第二像素值的比值,包括:根据第一特定像素的所述第三像素值与第一特定像素的第二像素值,计算第一比值;根据第二特定像素的所述第三像素值与第二特定像素的第二像素值,计算第二比值;所述根据所述比值及预选的调节系数生成所述增益系数,包括:根据所述第一比值及所述调节系数,计算所述第一普通像素的第一增益系数;及根据所述第二比值及所述调节系数,计算所述第二普通像素的第二增益系数;其中,所述普通像素包括第一普通像素、第二普通像素和第三普通像素,所述第一普通像素由接收到的所述第一光线中的第一颜色的光线生成,所述第二普通像素由接收到的所述第一光线中的第二颜色的光线生成,所述第三普通像素由接收到的所述第一光线中的第三颜色的光线生成,所述特定像素包括第一特定像素和第二特定像素,所述第一特定像素由接收到的所述第二光线中的第一颜色的光线生成,所述第二特定像素由接收到的所述第二光线中的第二颜色的光线生成。
- 根据权利要求17所述的图像处理方法,其特征在于,在所述待处理图像未包括有第三特定像素时,所述图像处理方法还包括:选取所述第三颜色的所述第一光线在特定滤镜下的透过率的均值,作为所述第三普通像素的第三比值;及根据所述第三比值及所述调节系数,计算所述第三普通像素的第三增益系数;在所述待处理图像包括有第三特定像素时,所述图像处理方法还包括:根据所述第三特定像素的所述第三像素值与所述第三特定像素的第二像素值,计算第二比值;及根据所述第三比值及所述调节系数,计算所述第三普通像素的第三增益系数。
- 根据权利要求13所述的图像处理方法,其特征在于,所述根据所述增益系数,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像,包括:根据所述增益系数及所述普通像素的第一像素值,计算所述普通像素的像素新值;及以所述普通像素的像素新值更新所述待处理图像,获得所述目标图像。
- 根据权利要求19所述的图像处理方法,其特征在于,所述普通像素包括第一普通像素、第二普通像素和第三普通像素,所述增益系数包括所述第一普通像素的第一增益系数、所述第二普通像素的第二增益系数及所述第三普通像素的第三增益系数,所述根据所述增益系数及所述普通像素的像素值,计算所述普通像素的像素新值,包括:根据所述第一增益系数及所述第一普通像素的第一像素值,计算所述第一普通像素的第一像素新值;根据所述第二增益系数及所述第二普通像素的第一像素值,计算所述第二普通像素的第二像素新值;根据所述第三增益系数及所述第三普通像素的第一像素值,计算所述第三普通像素的第三像素新值。
- 根据权利要求13所述的图像处理方法,其特征在于,所述图像处理方法还包括:检测所述待处理图像中的肤色区域;所述根据所述增益系数,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像,包括:根据所述增益系数,调整所述待处理图像中的所述肤色区域内的所述普通像素的像素值,并根据调整后的像素值生成目标图像。
- 根据权利要求13所述的图像处理方法,其特征在于,所述图像处理方法还包括:识别所述待处理图像中的肤色区域的肤色所属性别;及在识别到所述肤色所属性别为女性时,执行所述根据所述增益系数,调整所述待处理图像中的所述普通像素的像素值,以生成目标图像的步骤。
- 一种图像传感器,其特征在于,所述图像传感器包括:权利要求1-12任意一项所述的滤光器阵列;及像素阵列,所述像素阵列包括多个像素点,每个所述像素点对应一个所述滤光器,所述像素点用于接收穿过对应的所述滤光器的光线以生成电信号。
- 根据权利要求23所述的图像传感器,其特征在于,所述图像传感器还包括处理电路,所述处理电路用于实现权利要求13-22任意一项所述的图像处理方法。
- 一种成像装置,其特征在于,包括:权利要求23所述的图像传感器;及处理器,所述处理器用于实现权利要求13-22任意一项所述的图像处理方法。
- 一种电子设备,其特征在于,所述电子设备包括权利要求23或24所述的图像传感器;或所述电子设备包括权利要求25所述的成像装置;或所述电子设备包括处理器,所述处理器用于实现权利要求13-22任意一项所述的图像处理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/115400 WO2023028767A1 (zh) | 2021-08-30 | 2021-08-30 | 滤光器阵列、方法、图像传感器、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117561721A true CN117561721A (zh) | 2024-02-13 |
Family
ID=85411760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180099920.1A Pending CN117561721A (zh) | 2021-08-30 | 2021-08-30 | 滤光器阵列、方法、图像传感器、装置及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117561721A (zh) |
WO (1) | WO2023028767A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6021462B2 (ja) * | 2012-06-21 | 2016-11-09 | オリンパス株式会社 | 撮像モジュールおよび撮像装置 |
KR20160023441A (ko) * | 2014-08-22 | 2016-03-03 | 서울바이오시스 주식회사 | 발광소자가 구비된 카메라와, 이를 이용한 피부 촬영 방법 및 피부 상태 측정 방법 |
CN108886563B (zh) * | 2016-03-29 | 2020-09-11 | 华为技术有限公司 | 图像处理方法、图像处理装置、便携式多功能设备 |
CN113225470B (zh) * | 2021-06-10 | 2023-06-30 | Oppo广东移动通信有限公司 | 滤光器阵列、图像处理方法、图像传感器、成像装置及终端 |
-
2021
- 2021-08-30 CN CN202180099920.1A patent/CN117561721A/zh active Pending
- 2021-08-30 WO PCT/CN2021/115400 patent/WO2023028767A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023028767A1 (zh) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10237527B2 (en) | Convolutional color correction in digital images | |
Delbracio et al. | Mobile computational photography: A tour | |
TWI255645B (en) | Image pickup device | |
US9426372B2 (en) | Imaging device and imaging method | |
CN105379248B (zh) | 控制器件、控制方法及电子装置 | |
US20080187185A1 (en) | Image pickup apparatus, and device and method for control of image pickup | |
US8760561B2 (en) | Image capture for spectral profiling of objects in a scene | |
JP2000207549A (ja) | 画像処理装置 | |
CN109844804B (zh) | 一种图像检测的方法、装置及终端 | |
CN105210361A (zh) | 全光成像设备 | |
TW201127072A (en) | Four-channel color filter array pattern | |
CN106878690A (zh) | 图像传感器的成像方法、成像装置和电子设备 | |
CN105453539B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
JP2006146194A (ja) | 複数の開口を有するフィルタを用いるオートフォーカス | |
US20120249821A1 (en) | Image capture adjustment for post-capture processing | |
CN103503143B (zh) | 固体摄像元件以及摄像装置 | |
CN113676628A (zh) | 多光谱传感器、成像装置和图像处理方法 | |
CN106416218B (zh) | 图像处理装置、摄像装置、图像处理方法以及存储介质 | |
US20230325999A1 (en) | Image generation method and apparatus and electronic device | |
CN103888655B (zh) | 一种拍照方法及电子设备 | |
CN116416122A (zh) | 图像处理方法及其相关设备 | |
US8654210B2 (en) | Adaptive color imaging | |
CN117561721A (zh) | 滤光器阵列、方法、图像传感器、装置及电子设备 | |
JPWO2019155757A1 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
Han et al. | A large-scale image database for benchmarking mobile camera quality and NR-IQA algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |