CN110517189A - 图像处理方法和装置，及存储介质 - Google Patents
图像处理方法和装置，及存储介质 Download PDFInfo
- Publication number
- CN110517189A CN110517189A CN201910713445.7A CN201910713445A CN110517189A CN 110517189 A CN110517189 A CN 110517189A CN 201910713445 A CN201910713445 A CN 201910713445A CN 110517189 A CN110517189 A CN 110517189A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixel unit
- blue
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims description 80
- 241001062009 Indigofera Species 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 229910044991 metal oxide Inorganic materials 0.000 claims description 2
- 150000004706 metal oxides Chemical class 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 26
- 239000003086 colorant Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 9
- 101150073480 CIS1 gene Proteins 0.000 description 8
- 101100110279 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ATG31 gene Proteins 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000005574 cross-species transmission Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002165 photosensitisation Effects 0.000 description 1
- 239000003504 photosensitizing agent Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2003—Display of colours
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请实施例公开了一种图像处理方法和装置，及存储介质，该图像处理方法包括：通过第一PD柱对入射光中的绿光进行吸收，获取第一像素单元对应的绿色像素值；通过第二PD柱对入射光中的红光进行吸收，获取第二像素单元对应的红色像素值；通过第三PD柱对入射光中的蓝光进行吸收，获取第二像素单元对应的蓝色像素值；利用红色像素值和蓝色像素值进行插值处理，获得第一像素单元对应的红色预测值和蓝色预测值；利用绿色像素值进行插值处理，获得第二像素单元对应的绿色预测值；根据绿色预测值、红色预测值以及蓝色预测值，生成入射光对应的图像。
Description
技术领域
本申请实施例涉及图像处理领域，尤其涉及一种图像处理方法和装置，及存储介质。
背景技术
Demosaic是一种数位影像处理算法，目的是从覆有滤色阵列(Color filterarray，CFA)的感光元件所输出的不完全色彩取样中，重建出全彩影像。此法也称为滤色阵列内插法(CFA interpolation)或色彩重建法(Color reconstruction)。目前，最常见的CFA为拜尔滤色镜(Bayer filter)，拜尔滤色镜是一种将RGB滤色器排列在光传感组件方格之上所形成的马赛克彩色滤色阵列。数字相机、录影器、扫描仪等使用的单片机数字图像传感器大多数用这种特定排列的滤色阵列来制作彩色影像。这种滤色器的排列有50％是绿色，25％是红色，另外25％是蓝色。
无论是传统的互补金属氧化物图像传感器(CMOS Image Sensor，CIS)中的前感光式(Front Side Illumination，FSI)和背感光式(Back Side Illumination，BSI)，都需要设置滤光片控制同一个像素吸收RGB中的一种颜色。因此，拍摄装置使用设置有滤光片的CIS来获取图像时，需要通过去马赛克将CIS输出的数据重建成一般可浏览的图像格式。然而，对于bayer滤色阵列的去马赛克来说，正是由于传统CIS中的每一个像素单元只能吸收RGB中的一种光信号，光信号利用率比较低，容易产生伪彩色和拉链效应，从而降低了图像处理的效率和质量。
发明内容
本申请实施例提供了一种图像处理方法和装置，及存储介质，可以提高光信号的利用率，增加了R信号和B信号的采样频率，进而可以有效地减少去马赛克过程中的伪彩色和拉链效应等现象的产生，提高了图像处理的效率和质量。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种图像处理方法，所述图像处理方法应用于图像处理装置中，所述图像处理装置包括CIS，所述CIS包括第一像素单元和第二像素单元，其中，第一像素单元中设置第一PD柱，第二像素单元中设置第二PD柱和第三PD柱；
通过所述第一PD柱对入射光中的绿光进行吸收，获取所述第一像素单元对应的绿色像素值；通过所述第二PD柱对入射光中的红光进行吸收，获取所述第二像素单元对应的红色像素值；通过所述第三PD柱对入射光中的蓝光进行吸收，获取所述第二像素单元对应的蓝色像素值；
利用所述红色像素值和所述蓝色像素值进行插值处理，获得所述第一像素单元对应的红色预测值和蓝色预测值；利用所述绿色像素值进行插值处理，获得所述第二像素单元对应的绿色预测值；
根据所述绿色预测值、所述红色预测值以及蓝色预测值，生成所述入射光对应的图像。
本申请实施例提供了一种图像处理装置，所述图像处理装置包括：获取单元和生成单元，
所述获取单元，用于通过所述第一PD柱对入射光中的绿光进行吸收，获取所述第一像素单元对应的绿色像素值；通过所述第二PD柱对入射光中的红光进行吸收，获取所述第二像素单元对应的红色像素值；通过所述第三PD柱对入射光中的蓝光进行吸收，获取所述第二像素单元对应的蓝色像素值；以及利用所述红色像素值和所述蓝色像素值进行插值处理，获得所述第一像素单元对应的红色预测值和蓝色预测值；利用所述绿色像素值进行插值处理，获得所述第二像素单元对应的绿色预测值；
所述生成单元，用于根据所述绿色预测值、所述红色预测值以及蓝色预测值，生成所述入射光对应的图像。
本申请实施例提供了一种图像处理装置，所述图像处理装置包括处理器、存储有所述处理器可执行指令的存储器、CIS，所述CIS包括第一像素单元和第二像素单元，其中，第一像素单元中设置第一PD柱，第二像素单元中设置第二PD柱和第三PD柱，当所述指令被所述处理器执行时，实现如上所述的图像处理方法。
本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于图像处理装置中，所述程序被处理器执行时，实现如上所述的图像处理方法。
本申请实施例提供了一种图像处理方法和装置，及存储介质，该图像处理方法应用于图像处理装置中，图像处理装置包括CIS，CIS包括第一像素单元和第二像素单元，其中，第一像素单元中设置第一PD柱，第二像素单元中设置第二PD柱和第三PD柱；图像处理装置通过第一PD柱对入射光中的绿光进行吸收，获取第一像素单元对应的绿色像素值；通过第二PD柱对入射光中的红光进行吸收，获取第二像素单元对应的红色像素值；通过第三PD柱对入射光中的蓝光进行吸收，获取第二像素单元对应的蓝色像素值；利用红色像素值和蓝色像素值进行插值处理，获得第一像素单元对应的红色预测值和蓝色预测值；利用绿色像素值进行插值处理，获得第二像素单元对应的绿色预测值；根据绿色预测值、红色预测值以及蓝色预测值，生成入射光对应的图像。也就是说，在本申请的实施例中，图像处理装置可以在通过第一像素单元中设置第一PD柱对绿光进行吸收时，还可以第二像素单元中设置第二PD柱和第三PD柱分别对红光和蓝光进行吸收，从而可以同时获得绿色像素值、红色像素值以及蓝色像素值，然后便可以利用绿色像素值、红色像素值以及蓝色像素值进行去马赛克处理，获得第一像素单元对应的红色预测值和蓝色预测值，以及第二像素单元对应的绿色预测值，以获得入射光对应的图像。由此可见，在本申请中，由于CIS可以通过吸收绿光的第一像素单元和吸收红光及蓝光的第二像素单元同时获取多种颜色的光信号，从而可以提高光信号的利用率，增加了R信号和B信号的采样频率，进而可以有效地减少去马赛克过程中的伪彩色和拉链效应等现象的产生，提高了图像处理的效率和质量。
附图说明
图1为FSI式的CIS示意图；
图2为BSI式的CIS示意图；
图3为拜尔阵列示意图；
图4为本申请实施例提出的一种图像处理方法；
图5为像素值分布示意图；
图6为CIS的组成结构示意图一；
图7为第一像素单元和第二像素单元的俯视图；
图8为CIS的组成结构示意图二；
图9为CIS的组成结构示意图三；
图10为本申请实施例提出的一种图像处理装置的组成结构示意图一；
图11为本申请实施例提出的一种图像处理装置的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
CIS可以包括FSI和BSI两种不同结构，图1为FSI式的CIS示意图，图2为BSI式的CIS示意图，如图1和图2所示，CIS中包括有半导体基底、PD、红色滤光片、绿色滤光片、蓝色滤光片、像素隔离件以及金属布线层。其中，在每个滤光片之前还设置有透镜。
对于传统的CIS，无论是FSI还是BSI，其中的光电二极管(photodiode，PD)均是对400nm-1100nm的光全部吸收，故而都需要设置滤光片控制同一个像素吸收RGB中的一种颜色。因此，拍摄装置使用设置有滤光片的CIS来获取图像时，需要通过去马赛克将CIS输出的数据重建成一般可浏览的图像格式。具体地，去马赛克是一种数位影像处理算法，目的是从覆有CFA的感光元件所输出的不完全色彩取样中，重建出全彩影像。
最常见的颜色滤波阵列配置是Bayer filter。Bayer filter的奇数列(或偶数列)包含交错的红色及绿色滤镜，而其偶数列(或奇数列)包含交错的绿色及蓝色滤镜。由于人类眼睛对绿色光线较敏感，因此绿色滤镜的数目为红色或蓝色滤镜的二倍，因此也称做RGBG，GRGB或者RGGB。图3为拜尔阵列示意图，如图3所示，Bayer filter中的滤色器的排列有50％是绿色G，25％是红色R，另外25％是蓝色B。
然而，对于bayer滤色阵列的去马赛克来说，正是由于传统CIS中的每一个像素单元只能吸收RGB中的一种光信号，比如吸收了R的话，G和B的信号就被浪费了，因此光信号利用率比较低，从而降低了图像处理的效率和质量。
为了解决现有技术中存在的问题，在本申请的实施例中，图像处理装置可以在通过第一像素单元中设置第一PD柱对绿光进行吸收时，还可以第二像素单元中设置第二PD柱和第三PD柱分别对红光和蓝光进行吸收，从而可以同时获得绿色像素值、红色像素值以及蓝色像素值，然后便可以利用绿色像素值、红色像素值以及蓝色像素值进行去马赛克处理，获得第一像素单元对应的红色预测值和蓝色预测值，以及第二像素单元对应的绿色预测值，以获得入射光对应的图像。也就是说，本申请中的CIS设置的像素单元主要分为两种，分别为吸收绿光的第一像素单元和吸收红光及蓝光的第二像素单元，从而可以提高光信号的利用率，增加了R信号和B信号的采样频率，进而可以有效地减少去马赛克过程中的伪彩色和拉链效应等现象的产生，提高了图像处理的效率和质量。
需要说明的是，本申请提出的图像处理装置中的CIS可以为FSI，也可以为BSI，本申请不作具体限定，以下实施例以BSI为例进行说明。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请一实施例提供了一种图像处理方法，该图像处理方法应用于图像处理装置中，该图像处理装置可以包括CIS，具体地，CIS包括第一像素单元和第二像素单元，其中，第一像素单元中设置第一PD柱，第二像素单元中设置第二PD柱和第三PD柱。
进一步地，在本申请的实施例中，第一像素单元和第二像素单元可以按照上下左右四个方向相邻设置，即第一像素单元的四周可以均为第二像素单元，相应地，第二像素单元的四周可以均为第一像素单元。
需要说明的是，在本申请的实施例中，第一像素单元中可以包括至少一个第一PD柱，例如，第一像素单元中可以包括16个第一PD柱。相应地，第二像素单元中可以包括至少一个第二PD柱和至少一个第三PD柱，例如，第二像素单元中可以包括12个第二PD柱和9个第三PD柱。
进一步地，在本申请的实施例中，CIS可以利用第一像素单元中的第一PD柱对绿光进行吸收，也可以利用第二像素单元中的第二PD柱对红光进行吸收，还可以利用第二像素单元中的第三PD柱对蓝光进行吸收。其中，第一PD柱、第二PD柱以及第三PD柱可以为亚波长的光电二极管。具体地，亚波长是指结构的特征尺寸与工作波长相当或更小的周期(或非周期)结构。亚波长结构的特征尺寸小于波长，它的反射率、透射率、偏振特性和光谱特性等都显示出与常规衍射光学元件截然不同的特征，因而具有更大的应用潜力。
需要说明的是，在本申请的实施例中，第二像素单元中的第二PD柱和第三PD柱的数量可以按照特定的需求去设计。例如，如果期望蓝光的吸收高一点，那么可以将第三PD柱的数量设置的比第二PD柱多一些；如果期望红光的吸收高一点，那么可以将第三PD柱的数量设置的比第二PD柱少一些。本申请不作具体限定。
基于本申请提出的CIS，图4为本申请实施例提出的一种图像处理方法，如图4所示，图像处理装置进行图像处理的方法可以包括以下步骤：
步骤101、通过第一PD柱对入射光中的绿光进行吸收，获取第一像素单元对应的绿色像素值；通过第二PD柱对入射光中的红光进行吸收，获取第二像素单元对应的红色像素值；通过第三PD柱对入射光中的蓝光进行吸收，获取第二像素单元对应的蓝色像素值。
在本申请的实施例中，图像处理装置可以先通过第一PD柱对入射光中的绿光进行吸收，从而可以获取第一像素单元对应的绿色像素值；同时也可以通过第二PD柱对入射光中的红光进行吸收，从而可以获取第二像素单元对应的红色像素值；同时还可以通过第三PD柱对入射光中的蓝光进行吸收，获取第二像素单元对应的蓝色像素值。
需要说明的是，在本申请的实施例中，CIS可以分别通过第一像素单元和第二像素单元对入射光进行吸收，从而获得入射光的绿色像素值、红色像素值以及蓝色像素值。具体地，第一像素单元中的第一PD柱对应于G通道，输出绿色像素值，第二像素单元中的中的第二PD柱对应于R通道，输出红色像素值，第二像素单元中的中的第三PD柱对应于B通道，输出蓝色像素值。
进一步地，在本申请的实施例中，由于第一PD柱、第二PD柱以及第三PD柱分别用于吸收入射光中的绿光、红光以及蓝光，因此，第一PD柱的第一尺寸参数，可以由绿光对应的第一波长范围确定；第二PD柱的第二尺寸参数，可以由红光对应的第二波长范围确定；第三PD柱的第三尺寸参数，可以由蓝光对应的第三波长范围确定。
需要说明的是，在本申请的实施例中，绿光对应的第一波长范围可以为492nm至577nm；红光对应的第二波长范围可以为625nm至740nm；蓝光对应的第三波长范围可以为440nm至475nm。
进一步地，在本申请的实施例中，正是由于第一像素单元和第二像素单元可以包括三种不同尺寸参数的第一PD柱、第二PD柱以及第三PD柱，且第一PD柱、第二PD柱以及第三PD柱可以分别吸收入射光中的绿光、红光以及蓝光，从而使得第一像素单元和第二像素单元可以分别通过光学共振同时吸收入射光的RGB三个颜色的光。
进一步地，在本申请的实施例中，第一尺寸参数、第二尺寸参数以及第三尺寸参数可以分别表征第一PD柱、第二PD柱以及第三PD柱的直径，也就是说，PD柱对应的直径可以由其对应吸收的光的波长范围进行确定。例如，第一PD柱用于吸收绿光，那么可以通过第一波长范围确定其直径为90nm；第二PD柱用于吸收红光，那么可以通过第二波长范围确定第二PD柱的直径为120nm；第三PD柱用于吸收蓝光，那么可以通过第三波长范围确定第三PD柱的直径为60nm。
需要说明的是，在本申请的实施例中，CIS还可以包括第一滤光单元和第二滤光单元，其中，第一滤光单元覆盖在第一像素单元上，第二滤光单元覆盖在第二像素单元上。
进一步地，在本申请的实施例中，第一滤光单元可以用于对入射光中的绿光进行选择并过滤掉红光和蓝光，因此，CIS通过第一像素单元和覆盖在第一像素单元上的第一滤光单元，便可以对入射光中的绿光进行选择和吸收。
相应地，在本申请的实施例中，第二滤光单元可以用于对入射光中的红光和蓝光进行选择并过滤掉绿光，因此，CIS通过第二像素单元和覆盖在第二像素单元上的第二滤光单元，便可以对入射光中的红光和蓝光进行选择和吸收。
进一步地，在本申请的实施例中，第一PD柱、第二PD柱以及第三PD柱对应的形状可以包括长方体、圆柱体或者平行四边体中的一种，具体的形状可以根据实际情况进行选择，本申请实施例不做具体的限定。
需要说明的是，在本申请的实施例中，CIS还可以包括读出电路，其中，读出电路可以与第一像素单元和第二像素单元连接。具体地，CIS通过第一PD柱、第二PD柱以及第三PD柱，分别对入射光中的绿光、红光以及蓝光进行吸收之后，便可以通过读出电路读出第一像素单元和第二像素单元对应的信号。
进一步地，在本申请的实施例中，CIS还可以包括透镜，其中，透镜可以与第一滤光单元和第二滤光单元连接。具体地，透镜可以用于对入射光进行聚焦。
需要说明的是，在本申请的实施例中，由于第一像素单元用于吸收入射光中的绿光，第二像素单元用于吸收入射光中的红光和蓝光，因此，输出的绿色像素值分布于第一像素单元上，输出红色像素值和蓝色像素值分布于第二像素单元上。图5为像素值分布示意图，如图5所示，绿色像素值G单独分布于一个像素单元中，相应地，红色像素值R和蓝色像素值B均分布于相同的一个像素单元中。
步骤102、利用红色像素值和蓝色像素值进行插值处理，获得第一像素单元对应的红色预测值和蓝色预测值；利用绿色像素值进行插值处理，获得第二像素单元对应的绿色预测值。
在本申请的实施例中，图像处理装置在通过第一PD柱获取第一像素单元对应的绿色像素值；通过第二PD柱获取第二像素单元对应的红色像素值；通过第三PD柱获取第二像素单元对应的蓝色像素值之后，便可以利用红色像素值和蓝色像素值进行插值处理，获得第一像素单元对应的红色预测值和蓝色预测值；利用绿色像素值进行插值处理，获得第二像素单元对应的绿色预测值。
需要说明的是，在本申请的实施例中，绿色像素值、红色像素值以及蓝色像素值是指通过CIS检测获得的原始数据，而绿色预测值、红色预测值以及蓝色预测值是指依据第一像素单元和第二像素单元的周围像素单元对应的像素值而计算获得的插值结果。
进一步地，在本申请的实施例中，图像处理装置在获得绿色像素值、红色像素值以及蓝色像素值之后，便可以利用绿色像素值、红色像素值以及蓝色像素值进行插值处理，实现图像的去马赛克处理。具体地，对于处于边缘位置的像素单元和处于非边缘位置的像素单元，图像处理装置可以根据不同的插值方法进行插值处理。
需要说明的是，在本申请的实施例中，图像处理装置根据加权插值法对处于非边缘位置的像素单元进行插值处理，还可以根据边界方向插值法对处于边缘位置的像素单元进行插值处理。
进一步地，在本申请的实施例中，图像处理装置在利用绿色像素值、红色像素值以及蓝色像素值进行插值处理时，以第二像素单元为例，为了获取第二像素单元的绿色预测值，首先可以利用第二像素单元周围第一像素单元的差值来判断第二像素单元是否处于边缘位置，如果是，则可以选择平行于边缘的方向进行插值，以获得第二像素单元的绿色预测值，如果不是，则采用各个方向的加权平均值来确定第二像素单元的绿色预测值。具体地，对于处于边缘位置的第二像素单元来说，在选定插值方向后，可以利用平滑色调过渡插值的方法，来获取绿色预测值，最终可以获得全分辨率的绿色预测值。
需要说明的是，在本申请的实施例中，在对第一像素单元进行插值处理获得第一像素单元的红色预测值和蓝色预测值时，也可以采取上述相同的方法去处理。
步骤103、根据绿色预测值、红色预测值以及蓝色预测值，生成入射光对应的图像。
在本申请的实施例中，图像处理装置在利用红色像素值和蓝色像素值进行插值处理，获得第一像素单元对应的红色预测值和蓝色预测值；利用绿色像素值进行插值处理，获得第二像素单元对应的绿色预测值之后，便可以根据绿色预测值、红色预测值以及蓝色预测值，生成入射光对应的图像。
目前，对于拜尔滤色阵列的去马赛克方法而言，是为每一个红色像素值计算对应的蓝色预测值和绿色预测值，为每一个蓝色像素值计算对应的红色预测值和绿色预测值，为每一个绿色像素值计算对应的蓝色预测值和红色预测值，从而便可以根据绿色预测值、蓝色预测值以及红色预测值重建RGB三通道完整的图像。但是，由于现有技术中，一个像素单元仅仅能对一种颜色的光进行吸收，因此在利用拜尔滤色阵列进行去马赛克处理时，光信号的利用率较低，容易产生伪彩色和拉链效应。
需要说明的是，在本申请的实施例中，拉链效应又被称为锯齿效应，具体是指在图像的边缘交界或颜色突变区域，去马赛克的插值没有沿边缘方向进行，而沿横跨边缘的方向插值所产生的像素点模糊和颜色溢出现象，对于双线性插值该现象尤为明显。伪彩色又被称为虚假颜色，是指原始图像中没有出现过的错误颜色或彩色条纹现象。其出现的原因为图像重合错位或不恰当的邻域插值平均所致，经常出现在色彩的外边缘处。
为了克服现有技术的缺陷，进一步地，在本申请的实施中，图像处理装置中的CIS，可以通过第一像素单元和第二像素单元这两个像素单元分别吸收不同颜色的光，获得绿色像素值、红色像素值以及蓝色像素值，并进一步通过插值处理获得相应地绿色预测值、红色预测值以及蓝色预测值，从而可以提高光信号的利用率，增加了红色光信号和蓝色光信号的采样频率，进而可以减少去马赛克过程中的伪色和拉链效应等现象。
本申请实施例提供了一种图像处理方法，该图像处理方法应用于图像处理装置中，图像处理装置包括CIS，CIS包括第一像素单元和第二像素单元，其中，第一像素单元中设置第一PD柱，第二像素单元中设置第二PD柱和第三PD柱；图像处理装置通过第一PD柱对入射光中的绿光进行吸收，获取第一像素单元对应的绿色像素值；通过第二PD柱对入射光中的红光进行吸收，获取第二像素单元对应的红色像素值；通过第三PD柱对入射光中的蓝光进行吸收，获取第二像素单元对应的蓝色像素值；利用红色像素值和蓝色像素值进行插值处理，获得第一像素单元对应的红色预测值和蓝色预测值；利用绿色像素值进行插值处理，获得第二像素单元对应的绿色预测值；根据绿色预测值、红色预测值以及蓝色预测值，生成入射光对应的图像。也就是说，在本申请的实施例中，图像处理装置可以在通过第一像素单元中设置第一PD柱对绿光进行吸收时，还可以第二像素单元中设置第二PD柱和第三PD柱分别对红光和蓝光进行吸收，从而可以同时获得绿色像素值、红色像素值以及蓝色像素值，然后便可以利用绿色像素值、红色像素值以及蓝色像素值进行去马赛克处理，获得第一像素单元对应的红色预测值和蓝色预测值，以及第二像素单元对应的绿色预测值。以获得入射光对应的图像。由此可见，在本申请中，由于CIS可以通过第一像素单元和第二像素单元同时获取多种颜色的光信号，从而可以提高光信号的利用率，增加了R信号和B信号的采样频率，进而可以有效地减少去马赛克过程中的伪彩色和拉链效应等现象的产生，提高了图像处理的效率和质量。
基于上述实施例，在本申请的另一实施例中，图像处理装置利用红色像素值和蓝色像素值进行插值处理，获得第一像素单元对应的红色预测值和蓝色预测值的方法可以包括以下步骤：
步骤201、根据红色像素值确定第一像素单元是否为处于边缘位置。
在本申请的实施例中，图像处理装置在获取绿色像素值、红色像素值以及蓝色像素值之后，对于第一像素单元，可以先根据红色像素值确定第一像素单元是否为处于边缘位置。
需要说明的是，在本申请的实施例中，为了获取第一像素单元的红色预测值，图像处理装置可以先利用第一像素单元周围第二像素单元的红色像素值的差值来判断第一像素单元是否处于边缘位置。
步骤202、若第一像素单元处于边缘位置，则根据红色像素值和预设边界方向插值法进行插值处理，获得红色预测值。
步骤203、若所示第一像素单元处于非边缘位置，则根据红色像素值和预设加权插值法进行插值处理，获得红色预测值。
在本申请的实施例中，图像处理装置在根据红色像素值确定第一像素单元是否为处于边缘位置之后，如果第一像素单元处于边缘位置，那么图像处理装置可以据红色像素值和预设边界方向插值法进行插值处理，获得红色预测值；如果第一像素单元处于非边缘位置，那么图像处理装置可以根据红色像素值和预设加权插值法进行插值处理，获得红色预测值。
进一步地，在本申请的实施例中，如果图像处理装置判定第一像素单元处于边缘位置，则可以选择平行于边缘的方向进行插值处理，即按照设边界方向插值法进行插值处理，以获得第一像素单元的红色预测值。
需要说明的是，在本申请的实施例中，对于处于边缘位置的第一像素单元来说，在选定插值方向后，也可以利用平滑色调过渡插值的方法，来获取红色预测值，最终可以获得全分辨率的红色预测值。
进一步地，在本申请的实施例中，如果图像处理装置判定第一像素单元处于非边缘位置，则可以采用各个方向的加权平均值来确定第二像素单元的红色预测值，即按照预设加权插值法进行插值处理。
在本申请的实施例中，进一步地，图像处理装置利用红色像素值和蓝色像素值进行插值处理，获得第一像素单元对应的红色预测值和蓝色预测值的方法还可以包括以下步骤：
步骤204、根据蓝色像素值确定第一像素单元是否为处于边缘位置。
在本申请的实施例中，图像处理装置在获取绿色像素值、红色像素值以及蓝色像素值之后，对于第一像素单元，可以先根据蓝色像素值确定第一像素单元是否为处于边缘位置。
需要说明的是，在本申请的实施例中，为了获取第一像素单元的蓝色预测值，图像处理装置可以先利用第一像素单元周围第二像素单元的蓝色像素值的差值来判断第一像素单元是否处于边缘位置。
步骤205、若第一像素单元处于边缘位置，则根据蓝色像素值和预设边界方向插值法进行插值处理，获得蓝色预测值。
步骤206、若所示第一像素单元处于非边缘位置，则根据蓝色像素值和预设加权插值法进行插值处理，获得蓝色预测值。
在本申请的实施例中，图像处理装置在根据蓝色像素值确定第一像素单元是否为处于边缘位置之后，如果第一像素单元处于边缘位置，那么图像处理装置可以据蓝色像素值和预设边界方向插值法进行插值处理，获得蓝色预测值；如果第一像素单元处于非边缘位置，那么图像处理装置可以根据蓝色像素值和预设加权插值法进行插值处理，获得蓝色预测值。
进一步地，在本申请的实施例中，如果图像处理装置判定第一像素单元处于边缘位置，则可以选择平行于边缘的方向进行插值处理，即按照设边界方向插值法进行插值处理，以获得第一像素单元的蓝色预测值。
需要说明的是，在本申请的实施例中，对于处于边缘位置的第一像素单元来说，在选定插值方向后，也可以利用平滑色调过渡插值的方法，来获取蓝色预测值，最终可以获得全分辨率的蓝色预测值。
进一步地，在本申请的实施例中，如果图像处理装置判定第一像素单元处于非边缘位置，则可以采用各个方向的加权平均值来确定第二像素单元的蓝色预测值，即按照预设加权插值法进行插值处理。
在本申请的实施例中，进一步地，图像处理装置利用绿色像素值进行插值处理，获得第二像素单元对应的绿色预测值的方法可以包括以下步骤：
步骤301、根据绿色像素值确定第二像素单元是否为处于边缘位置。
在本申请的实施例中，图像处理装置在获取绿色像素值、红色像素值以及蓝色像素值之后，对于第二像素单元，可以先根据绿色像素值确定第二像素单元是否为处于边缘位置。
需要说明的是，在本申请的实施例中，为了获取第二像素单元的绿色预测值，图像处理装置可以先利用第二像素单元周围第一像素单元的绿色像素值的差值来判断第二像素单元是否处于边缘位置。
步骤302、若第二像素单元处于边缘位置，则根据绿色像素值和预设边界方向插值法进行插值处理，获得绿色预测值。
步骤303、若所示第二像素单元处于非边缘位置，则根据绿色像素值和预设加权插值法进行插值处理，获得绿色预测值。
在本申请的实施例中，图像处理装置在根据绿色像素值确定第二像素单元是否为处于边缘位置之后，如果第二像素单元处于边缘位置，那么图像处理装置可以据绿色像素值和预设边界方向插值法进行插值处理，获得绿色预测值；如果第二像素单元处于非边缘位置，那么图像处理装置可以根据绿色像素值和预设加权插值法进行插值处理，获得绿色预测值。
进一步地，在本申请的实施例中，如果图像处理装置判定第二像素单元处于边缘位置，则可以选择平行于边缘的方向进行插值处理，即按照设边界方向插值法进行插值处理，以获得第二像素单元的绿色预测值。
需要说明的是，在本申请的实施例中，对于处于边缘位置的第二像素单元来说，在选定插值方向后，也可以利用平滑色调过渡插值的方法，来获取绿色预测值，最终可以获得全分辨率的绿色预测值。
在本申请的实施例中，基于上述步骤201-206以及步骤301-303的去马赛克处理流程，步骤201-203、步骤204-206以及步骤301-303对应的插值处理方法在执行时不区分先后顺序。例如，图像处理装置在获取绿色像素值、红色像素值以及蓝色像素值之后，可以同时执行步骤201-203、步骤204-206以及步骤301-303对应的插值处理方法，从而实现去马赛克处理。
本申请实施例提供了一种图像处理方法，图像处理装置可以在通过第一像素单元中设置第一PD柱对绿光进行吸收时，还可以第二像素单元中设置第二PD柱和第三PD柱分别对红光和蓝光进行吸收，从而可以同时获得绿色像素值、红色像素值以及蓝色像素值，然后便可以利用绿色像素值、红色像素值以及蓝色像素值进行去马赛克处理，获得第一像素单元对应的红色预测值和蓝色预测值，以及第二像素单元对应的绿色预测值。以获得入射光对应的图像。由此可见，在本申请中，由于CIS可以通过第一像素单元和第二像素单元同时获取多种颜色的光信号，从而可以提高光信号的利用率，增加了R信号和B信号的采样频率，进而可以有效地减少去马赛克过程中的伪彩色和拉链效应等现象的产生，提高了图像处理的效率和质量。
基于上述实施例，在本申请的另一实施例中，图6为CIS的组成结构示意图一，如图6所示，在本申请的实施例中，对于BSI式的CIS，CIS1可以包括：第一像素单元11和第二像素单元12。其中，第一像素单元11中设置第一PD柱111，第二像素单元12中设置第二PD柱121和第三PD柱122。
需要说明的是，在本申请的实施例中，第一像素单元11中可以包括至少一个第一PD柱111，相应地，第二像素单元12中可以包括至少一个第二PD121柱和至少一个第三PD柱122。图7为第一像素单元和第二像素单元的俯视图，如图7所示，在本申请的实施例中，第一像素单元11中可以包括16个第一PD柱111。例如，第二像素单元12中可以包括12个第二PD柱121和9个第三PD柱122。
需要说明的是，在本申请的实施例中，CIS可以分别通过第一像素单元和第二像素单元对入射光进行吸收，从而获得入射光的绿色像素值、红色像素值以及蓝色像素值。具体地，第一像素单元中的第一PD柱对应于G通道，输出绿色像素值，第二像素单元中的中的第二PD柱对应于R通道，输出红色像素值，第二像素单元中的中的第三PD柱对应于B通道，输出蓝色像素值。
图8为CIS的组成结构示意图二，如图8所示，CIS1还可以包括：第一滤光单元13和第二滤光单元14，其中，第一滤光单元13覆盖在第一像素单元11上，第二滤光单元14覆盖在第二像素单元12上。
进一步地，在本申请的实施例中，CIS1通过第一像素单元11和覆盖在第一像素单元11上的第一滤光单元13，便可以对入射光中的绿光进行选择和吸收。相应地，CIS1通过第二像素单元12和覆盖在第二像素单元12上的第二滤光单元14，便可以对入射光中的红光和蓝光进行选择和吸收。
图9为CIS的组成结构示意图三，如图9所示，CIS1还可以包括：读出电路15，其中，读出电路15可以与第一像素单元11和第二像素单元12连接。
进一步地，在本申请的实施例中，进一步地，CIS1还可以包括：透镜16，其中，透镜16可以与第一滤光单元13和第二滤光单元连接14。
需要说明的是，在本申请的实施例中，第一PD柱、第二PD柱以及第三PD柱对应的形状可以包括长方体、圆柱体或者平行四边体中的一种，具体的形状可以根据实际情况进行选择，本申请实施例不做具体的限定。
需要说明的是，本申请提出的CIS1可以为FSI，也可以为BSI，本申请实施例以BSI为例进行说明，但并不做具体的限定。
本申请的实施例中提出了一种CIS，CIS包括第一像素单元和第二像素单元，其中，第一像素单元中设置第一PD柱，第二像素单元中设置第二PD柱和第三PD柱；在本申请中，由于CIS可以通过第一像素单元和第二像素单元同时获取多种颜色的光信号，从而可以提高光信号的利用率，增加了R信号和B信号的采样频率，进而可以有效地减少去马赛克过程中的伪彩色和拉链效应等现象的产生，提高了图像处理的效率和质量。
基于上述实施例，本申请的再一实施例提供了一种包括CIS的图像处理装置，图10为本申请实施例提出的一种图像处理装置的组成结构示意图一，如图10所示，在本申请的实施例中，图像处理装置0包括：获取单元2和生成单元3。
所述获取单元2，用于通过所述第一PD柱对入射光中的绿光进行吸收，获取所述第一像素单元对应的绿色像素值；通过所述第二PD柱对入射光中的红光进行吸收，获取所述第二像素单元对应的红色像素值；通过所述第三PD柱对入射光中的蓝光进行吸收，获取所述第二像素单元对应的蓝色像素值；以及利用所述红色像素值和所述蓝色像素值进行插值处理，获得所述第一像素单元对应的红色预测值和蓝色预测值；利用所述绿色像素值进行插值处理，获得所述第二像素单元对应的绿色预测值；
所述生成单元3，用于根据所述绿色预测值、所述红色预测值以及蓝色预测值，生成所述入射光对应的图像。
进一步地，在本申请的实施例中，所述获取单元2，具体用于根据所述红色像素值确定所述第一像素单元是否为处于边缘位置；以及若所述第一像素单元处于所述边缘位置，则根据所述红色像素值和预设边界方向插值法进行插值处理，获得所述红色预测值；以及若所示第一像素单元处于非边缘位置，则根据所述红色像素值和预设加权插值法进行插值处理，获得所述红色预测值。
进一步地，在本申请的实施例中，所述获取单元2，还具体用于根据所述蓝色像素值确定所述第一像素单元是否为处于边缘位置；以及若所述第一像素单元处于所述边缘位置，则根据所述蓝色像素值和预设边界方向插值法进行插值处理，获得所述蓝色预测值；以及若所示第一像素单元处于非边缘位置，则根据所述蓝色像素值和预设加权插值法进行插值处理，获得所述蓝色预测值。
进一步地，在本申请的实施例中，所述获取单元2，还具体用于根据所述绿色像素值确定所述第二像素单元是否为处于边缘位置；以及若所述第二像素单元处于所述边缘位置，则根据所述绿色像素值和预设边界方向插值法进行插值处理，获得所述绿色预测值；以及若所示第二像素单元处于非边缘位置，则根据所述绿色像素值和预设加权插值法进行插值处理，获得所述绿色预测值。
图11为本申请实施例提出的一种图像处理装置的组成结构示意图二，如图11所示，本申请实施例提出的图像处理装置0还可以包括处理器4、存储有处理器4可执行指令的存储器5以及CIS1，进一步地，图像处理装置0还可以包括通信接口6，和用于连接处理器4、存储器5以及通信接口6的总线7。
在本申请的实施例中，处理器4可以为特定用途集成电路(Application SpecificIntegrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmableLogic Device，PLD)、现场可编程门阵列(Field ProgRAMmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。显示器1还可以包括存储器5，该存储器5可以与处理器4连接，其中，存储器5用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器5可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本申请的实施例中，总线7用于连接通信接口6、处理器4以及存储器5以及这些器件之间的相互通信。
在本申请的实施例中，存储器5，用于存储指令和数据。
进一步地，在本申请的实施例中，处理器4，用于通过所述第一PD柱对入射光中的绿光进行吸收，获取所述第一像素单元对应的绿色像素值；通过所述第二PD柱对入射光中的红光进行吸收，获取所述第二像素单元对应的红色像素值；通过所述第三PD柱对入射光中的蓝光进行吸收，获取所述第二像素单元对应的蓝色像素值；利用所述红色像素值和所述蓝色像素值进行插值处理，获得所述第一像素单元对应的红色预测值和蓝色预测值；利用所述绿色像素值进行插值处理，获得所述第二像素单元对应的绿色预测值；根据所述绿色预测值、所述红色预测值以及蓝色预测值，生成所述入射光对应的图像。
在实际应用中，存储器5可以是易失性存储器(volatile memor)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读第一存储y器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器4提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请提出了一种图像处理装置，该图像处理装置包括CIS，CIS包括第一像素单元和第二像素单元，其中，第一像素单元中设置第一PD柱，第二像素单元中设置第二PD柱和第三PD柱；图像处理装置通过第一PD柱对入射光中的绿光进行吸收，获取第一像素单元对应的绿色像素值；通过第二PD柱对入射光中的红光进行吸收，获取第二像素单元对应的红色像素值；通过第三PD柱对入射光中的蓝光进行吸收，获取第二像素单元对应的蓝色像素值；利用红色像素值和蓝色像素值进行插值处理，获得第一像素单元对应的红色预测值和蓝色预测值；利用绿色像素值进行插值处理，获得第二像素单元对应的绿色预测值；根据绿色预测值、红色预测值以及蓝色预测值，生成入射光对应的图像。也就是说，在本申请的实施例中，图像处理装置可以在通过第一像素单元中设置第一PD柱对绿光进行吸收时，还可以第二像素单元中设置第二PD柱和第三PD柱分别对红光和蓝光进行吸收，从而可以同时获得绿色像素值、红色像素值以及蓝色像素值，然后便可以利用绿色像素值、红色像素值以及蓝色像素值进行去马赛克处理，获得第一像素单元对应的红色预测值和蓝色预测值，以及第二像素单元对应的绿色预测值。以获得入射光对应的图像。由此可见，在本申请中，由于CIS可以通过第一像素单元和第二像素单元同时获取多种颜色的光信号，从而可以提高光信号的利用率，增加了R信号和B信号的采样频率，进而可以有效地减少去马赛克过程中的伪彩色和拉链效应等现象的产生，提高了图像处理的效率和质量。
基于上述实施例，在本申请的另一实施例中，本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像处理方法。
具体来讲，本实施例中的一种图像处理方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像处理方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
通过所述第一PD柱对入射光中的绿光进行吸收，获取所述第一像素单元对应的绿色像素值；通过所述第二PD柱对入射光中的红光进行吸收，获取所述第二像素单元对应的红色像素值；通过所述第三PD柱对入射光中的蓝光进行吸收，获取所述第二像素单元对应的蓝色像素值；
利用所述红色像素值和所述蓝色像素值进行插值处理，获得所述第一像素单元对应的红色预测值和蓝色预测值；利用所述绿色像素值进行插值处理，获得所述第二像素单元对应的绿色预测值；
根据所述绿色预测值、所述红色预测值以及蓝色预测值，生成所述入射光对应的图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、显示器、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (15)
1.一种图像处理方法，其特征在于，所述图像处理方法应用于图像处理装置中，所述图像处理装置包括互补金属氧化物图像传感器CIS，所述CIS包括第一像素单元和第二像素单元，其中，第一像素单元中设置第一光电二极管PD柱，第二像素单元中设置第二PD柱和第三PD柱；
通过所述第一PD柱对入射光中的绿光进行吸收，获取所述第一像素单元对应的绿色像素值；通过所述第二PD柱对入射光中的红光进行吸收，获取所述第二像素单元对应的红色像素值；通过所述第三PD柱对入射光中的蓝光进行吸收，获取所述第二像素单元对应的蓝色像素值；
利用所述红色像素值和所述蓝色像素值进行插值处理，获得所述第一像素单元对应的红色预测值和蓝色预测值；利用所述绿色像素值进行插值处理，获得所述第二像素单元对应的绿色预测值；
根据所述绿色预测值、所述红色预测值以及蓝色预测值，生成所述入射光对应的图像。
2.根据权利要求1所述的方法，其特征在于，
所述第一PD柱的第一尺寸参数，由所述绿光对应的第一波长范围确定；
所述第二PD柱的第二尺寸参数，由所述红光对应的第二波长范围确定；
所述第三PD柱的第三尺寸参数，由所述蓝光对应的第三波长范围确定。
3.根据权利要求1所述的方法，其特征在于，所述CIS还包括第一滤光单元和第二滤光单元，其中，
所述第一滤光单元覆盖在所述第一像素单元上，用于对所述入射光中的所述绿光进行选择；
所述第二滤光单元覆盖在所述第二像素单元上，用于对所述入射光中的所述红光和所述蓝光进行选择。
4.根据权利要求1所述的方法，其特征在于，所述利用所述红色像素值和所述蓝色像素值进行插值处理，获得所述第一像素单元对应的红色预测值和蓝色预测值，包括：
根据所述红色像素值确定所述第一像素单元是否为处于边缘位置；
若所述第一像素单元处于所述边缘位置，则根据所述红色像素值和预设边界方向插值法进行插值处理，获得所述红色预测值；
若所示第一像素单元处于非边缘位置，则根据所述红色像素值和预设加权插值法进行插值处理，获得所述红色预测值。
5.根据权利要求1所述的方法，其特征在于，所述利用所述红色像素值和所述蓝色像素值进行插值处理，获得所述第一像素单元对应的红色预测值和蓝色预测值，包括：
根据所述蓝色像素值确定所述第一像素单元是否为处于边缘位置；
若所述第一像素单元处于所述边缘位置，则根据所述蓝色像素值和预设边界方向插值法进行插值处理，获得所述蓝色预测值；
若所示第一像素单元处于非边缘位置，则根据所述蓝色像素值和预设加权插值法进行插值处理，获得所述蓝色预测值。
6.根据权利要求1所述的方法，其特征在于，所述利用所述绿色像素值进行插值处理，获得所述第二像素单元对应的绿色预测值，包括：
根据所述绿色像素值确定所述第二像素单元是否为处于边缘位置；
若所述第二像素单元处于所述边缘位置，则根据所述绿色像素值和预设边界方向插值法进行插值处理，获得所述绿色预测值；
若所示第二像素单元处于非边缘位置，则根据所述绿色像素值和预设加权插值法进行插值处理，获得所述绿色预测值。
7.根据权利要求1所述的方法，其特征在于，所述CIS还包括：读出电路，其中，所述读出电路与所述第一像素单元和所述第二像素单元连接。
8.根据权利要求3所述的方法，其特征在于，所述CIS还包括：透镜，其中，所述透镜与所述第一滤光单元和所述第二滤光单元连接。
9.根据权利要求1所述的方法，其特征在于，
所述第一PD柱、所述第二PD柱以及所述第三PD柱对应的形状包括长方体、圆柱体或者平行四边体中的一种。
10.一种图像处理装置，其特征在于，所述图像处理装置包括：获取单元和生成单元，
所述获取单元，用于通过所述第一PD柱对入射光中的绿光进行吸收，获取所述第一像素单元对应的绿色像素值；通过所述第二PD柱对入射光中的红光进行吸收，获取所述第二像素单元对应的红色像素值；通过所述第三PD柱对入射光中的蓝光进行吸收，获取所述第二像素单元对应的蓝色像素值；以及利用所述红色像素值和所述蓝色像素值进行插值处理，获得所述第一像素单元对应的红色预测值和蓝色预测值；利用所述绿色像素值进行插值处理，获得所述第二像素单元对应的绿色预测值；
所述生成单元，用于根据所述绿色预测值、所述红色预测值以及蓝色预测值，生成所述入射光对应的图像。
11.根据权利要求10所述的图像处理装置，其特征在于，
所述获取单元，具体用于根据所述红色像素值确定所述第一像素单元是否为处于边缘位置；以及若所述第一像素单元处于所述边缘位置，则根据所述红色像素值和预设边界方向插值法进行插值处理，获得所述红色预测值；以及若所示第一像素单元处于非边缘位置，则根据所述红色像素值和预设加权插值法进行插值处理，获得所述红色预测值。
12.根据权利要求10所述的图像处理装置，其特征在于，
所述获取单元，还具体用于根据所述蓝色像素值确定所述第一像素单元是否为处于边缘位置；以及若所述第一像素单元处于所述边缘位置，则根据所述蓝色像素值和预设边界方向插值法进行插值处理，获得所述蓝色预测值；以及若所示第一像素单元处于非边缘位置，则根据所述蓝色像素值和预设加权插值法进行插值处理，获得所述蓝色预测值。
13.根据权利要求10所述的图像处理装置，其特征在于，
所述获取单元，还具体用于根据所述绿色像素值确定所述第二像素单元是否为处于边缘位置；以及若所述第二像素单元处于所述边缘位置，则根据所述绿色像素值和预设边界方向插值法进行插值处理，获得所述绿色预测值；以及若所示第二像素单元处于非边缘位置，则根据所述绿色像素值和预设加权插值法进行插值处理，获得所述绿色预测值。
14.一种图像处理装置，其特征在于，所述图像处理装置包括处理器、存储有所述处理器可执行指令的存储器、CIS，所述CIS包括第一像素单元和第二像素单元，其中，第一像素单元中设置第一PD柱，第二像素单元中设置第二PD柱和第三PD柱，当所述指令被所述处理器执行时，实现如权利要求1-9任一项所述的方法。
15.一种计算机可读存储介质，其上存储有程序，应用于图像处理装置中，其特征在于，所述程序被处理器执行时，实现如权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910713445.7A CN110517189B (zh) | 2019-08-02 | 2019-08-02 | 图像处理方法和装置，及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910713445.7A CN110517189B (zh) | 2019-08-02 | 2019-08-02 | 图像处理方法和装置，及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110517189A true CN110517189A (zh) | 2019-11-29 |
| CN110517189B CN110517189B (zh) | 2023-03-21 |
Family
ID=68624257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910713445.7A Active CN110517189B (zh) | 2019-08-02 | 2019-08-02 | 图像处理方法和装置，及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110517189B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022094970A1 (en) * | 2020-11-06 | 2022-05-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Electrical device, method of generating image data, and non-transitory computer readable medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070153106A1 (en) * | 2005-12-29 | 2007-07-05 | Micron Technology, Inc. | Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms |
| CN105141838A (zh) * | 2015-08-19 | 2015-12-09 | 上海兆芯集成电路有限公司 | 去马赛克方法以及使用该方法的装置 |
| WO2017131618A1 (en) * | 2016-01-25 | 2017-08-03 | Hewlett-Packard Development Company, L.P. | Interpolating pixel values |
-
2019
- 2019-08-02 CN CN201910713445.7A patent/CN110517189B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070153106A1 (en) * | 2005-12-29 | 2007-07-05 | Micron Technology, Inc. | Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms |
| CN105141838A (zh) * | 2015-08-19 | 2015-12-09 | 上海兆芯集成电路有限公司 | 去马赛克方法以及使用该方法的装置 |
| WO2017131618A1 (en) * | 2016-01-25 | 2017-08-03 | Hewlett-Packard Development Company, L.P. | Interpolating pixel values |
Non-Patent Citations (1)
| Title |
|---|
| 赵亮等: "基于色差空间的低复杂度Bayer图像插值算法", 《航天返回与遥感》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022094970A1 (en) * | 2020-11-06 | 2022-05-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Electrical device, method of generating image data, and non-transitory computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110517189B (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI504276B (zh) | 用於捕捉彩色影像之影像感測器 | |
| CN102450020B (zh) | 四通道滤色器阵列内插 | |
| Yasuma et al. | Generalized assorted pixel camera: postcapture control of resolution, dynamic range, and spectrum | |
| US8218068B2 (en) | Exposing pixel groups in producing digital images | |
| US8818085B2 (en) | Pattern conversion for interpolation | |
| US20080130073A1 (en) | Light sensitivity in image sensors | |
| JP5702893B2 (ja) | カラー撮像素子および撮像装置 | |
| JP6929929B2 (ja) | 複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置 | |
| US20090051984A1 (en) | Image sensor having checkerboard pattern | |
| WO2010144124A1 (en) | Interpolation for four-channel color filter array | |
| CN104412579B (zh) | 彩色摄像元件以及摄像装置 | |
| CN110611778B (zh) | 图像传感器、图像处理方法和装置、及存储介质 | |
| CN104412581B (zh) | 彩色摄像元件及摄像装置 | |
| WO2020238576A1 (zh) | 互补金属氧化物图像传感器、图像处理方法及存储介质 | |
| US20110115954A1 (en) | Sparse color pixel array with pixel substitutes | |
| CN110061019A (zh) | 互补金属氧化物图像传感器、图像处理方法及存储介质 | |
| WO2012049321A1 (en) | High dynamic range of an image capturing apparatus and method for capturing high dynamic range pictures | |
| JP5702892B2 (ja) | カラー撮像素子および撮像装置 | |
| JP5702895B2 (ja) | カラー撮像素子および撮像装置 | |
| CN111567027A (zh) | 减少光学串扰的全光成像设备、对应的方法、计算机程序产品、计算机可读载体介质和装置 | |
| CN104025582B (zh) | 彩色摄像元件 | |
| CN110517189A (zh) | 图像处理方法和装置，及存储介质 | |
| CN110278376A (zh) | 对焦方法、互补金属氧化物图像传感器、终端及存储介质 | |
| CN110099230A (zh) | 图像处理方法和装置，及存储介质 | |
| CN111727453B (zh) | 用于去马赛克的滤波器阵列 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |