CN108370421A - 一种彩色滤光片阵列以及利用其的图像传感器 - Google Patents
一种彩色滤光片阵列以及利用其的图像传感器 Download PDFInfo
- Publication number
- CN108370421A CN108370421A CN201680072580.2A CN201680072580A CN108370421A CN 108370421 A CN108370421 A CN 108370421A CN 201680072580 A CN201680072580 A CN 201680072580A CN 108370421 A CN108370421 A CN 108370421A
- Authority
- CN
- China
- Prior art keywords
- filter
- array
- optical filter
- infrared ray
- colored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 233
- 238000003384 imaging method Methods 0.000 title claims abstract description 27
- 230000004888 barrier function Effects 0.000 claims description 45
- 238000003491 array Methods 0.000 claims description 24
- 239000004615 ingredient Substances 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000001914 filtration Methods 0.000 description 48
- 230000011664 signaling Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 9
- 239000000758 substrate Substances 0.000 description 8
- 230000013011 mating Effects 0.000 description 6
- 230000000877 morphologic effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/22—Absorbing filters
- G02B5/223—Absorbing filters containing organic substances, e.g. dyes, inks or pigments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/28—Interference filters
- G02B5/281—Interference filters designed for the infrared light
- G02B5/282—Interference filters designed for the infrared light reflecting for infrared and transparent for visible light, e.g. heat reflectors, laser protection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/28—Interference filters
- G02B5/285—Interference filters comprising deposited thin solid films
- G02B5/286—Interference filters comprising deposited thin solid films having four or fewer layers, e.g. for achieving a colour effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Abstract
本技术公开新型结构的彩色滤光片阵列。根据本发明一实施例的彩色滤光片阵列、图像传感器、彩色滤光片阵列可包括:第1单元像素阵列,由第1彩色滤光片、第2彩色滤光片以及第3彩色滤光片以阵列形态配置而成;以及第2单元像素阵列,由第4彩色滤光片、第5彩色滤光片以及红外线透过滤光片以阵列形态配置而成。
Description
技术领域
本发明涉及一种新型结构的彩色滤光片阵列(color filter array)以及利用其的图像传感器。
背景技术
通常,图像传感器作为将光学图像(Optical image)转换为电信号的半导体元件,电荷耦合元件(CCD:charge couple device)图像传感器和互补性金属氧化物半导体(CMOS:Complementary Metal-Oxide Semiconductor)图像传感器被广泛利用。为了实现彩色,如上所述的图像传感器使用彩色滤光片阵列(color filter array:CFA),其中彩色滤光片阵列以红色(Red)、绿色(Green)、蓝色(Blue)等来实现。
图1是示例性示出通常使用的彩色滤光片阵列的拜耳模板(Bayer Pattern)。
在图1图示的拜耳模板的最小反复单元共同包括两个行(Row)及两个列(Column)即,2×2的阵列结构。
拜耳模板具有红色滤光片(R)、绿色滤光片(G)以及蓝色滤光片(B),其比例为1:2:1。对于如上所述的拜耳模板而言,红色滤光片(R)和蓝色滤光片(B)以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个绿色滤光片(G)。
当进行夜间摄像机(Camera)摄影时,输入至适用如图1所述的拜耳模板的彩色滤光片阵列的红外光,可以作为重要的图像信息来利用。但是,当进行昼间摄像机摄影时,红外光会使彩色信息失真,因此必须阻隔红外光。
为了解决这样的问题,以往在摄像机镜头和图像传感器之间,额外设置使红外线通过的滤光片或者阻隔红外线的滤光片等。
但是,如果额外设置如红外线透过滤光片或者红外线阻隔滤光片的构成要素,具有摄像机制造工艺会变得复杂、且增加生产费用的缺点。
发明内容
本发明要解决的技术问题
本发明的实施例,目的在于,提供一种除了彩色滤光片阵列以外,不额外的红外线透过滤光片或者紫外线阻隔滤光片的情况下,也能够轻易地选择性生成去除红外线信号的多个彩色信号和包括红外线信号的多个彩色信号的彩色滤光片阵列以及利用其的图像传感器。
技术方案
本发明中,在彩色滤光片阵列中包括多个彩色滤光片和红外线滤光片(红外线透过滤光片、红外线阻隔滤光片),且将上述多个滤光片进行适当配置,从而即使除了彩色滤光片阵列以外,不具备额外的红外线透过滤光片或者红外线阻隔滤光片,也能在多个彩色信号中选择性地去除红外线信号。
有益效果
根据本发明,除了彩色滤光片阵列以外,不额外配置的红外线透过滤光片或者红外线阻隔滤光片的情况下,也可以在多个彩色信号中对红外线信号进行选择性去除。
附图说明
图1图示通常使用的拜耳模板(Bayer Pattern)的像素阵列。
图2是示出根据本发明第1实施例的图像传感器构成的结构图。
图3是在图1的彩色滤光部中图示彩色滤光片阵列构成的附图。
图4是概略性图示根据本发明的第1实施例分离红外线信号的构成的概念图。
图5是示出根据本发明第2实施例的图像传感器构成的结构图。
图6a及图6b是在图5的彩色滤光部中示例性图示多个彩色滤光片阵列构成的附图。
图7a及图7b是示例性示出在图6a中沿着A-A'切割的彩色滤光片阵列的多个截面模样的附图。
图8是概略性图示根据本发明第2实施例分离红外线信号的构成的概念图。
图9是示出根据本发明第3实施例的图像传感器构成的结构图。
图10a至图10c是在图9的彩色滤光部中示例性图示彩色滤光片阵列的多个构成的附图。
图11a及图11b示例性示出在图10a中沿着A-A'切断的彩色滤光片阵列的多个截面模样的附图。
图12是示例性示出根据本发明另一个实施例的彩色滤光片阵列构成的附图。
具体实施方式
根据本发明一实施例的彩色滤光片阵列可包括:第1单元像素阵列,由第1彩色滤光片、第2彩色滤光片以及第3彩色滤光片以阵列形态配置而成;以及第2单元像素阵列,由第4彩色滤光片、第5彩色滤光片以及红外线透过滤光片以阵列形态配置而成。
根据本发明另一个实施例的彩色滤光片阵列,其特征为,由最小单元阵列反复配置而成,其中最小单元阵列由第1彩色滤光片、第2彩色滤光片、第3彩色滤光片以及第4彩色滤光片以阵列形态配置而成,且上述第3彩色滤光片由上述第2彩色滤光片与红外线阻隔滤光片重叠而成。
根据本发明另一个实施例的彩色滤光片阵列可包括:第1单元像素阵列,由第1彩色滤光片、第2彩色滤光片以及第1红外线透过滤光片以阵列形态配置而成;以及第2单元像素阵列,由第3彩色滤光片、第4彩色滤光片以及第2红外线透过滤光片以阵列形态配置而成。
根据本发明一实施例的图像传感器可包括:彩色滤光片阵列,由多个彩色滤光片及红外线透过滤光片以阵列形态配置而成,且能够通过过滤入射的光,输出包括红外线的多个彩色信号和红外线信号;以及影像处理器,利用上述红外线信号,在上述多个彩色信号中选择性地去除红外线成分。
根据本发明另一个实施例的图像传感器可包括:彩色滤光片阵列,通过过滤入射的光,输出红色信号、绿色信号、蓝色信号以及红外线阻隔绿色信号;以及影像处理器,利用上述绿色信号和上述红外线阻隔绿色信号,获取红外线信号之后,利用提取的红外线信号,在上述红色信号和上述蓝色信号中选择性地去除红外线成分。
根据本发明一实施例的图像传感器可包括:彩色滤光片阵列,通过过滤入射的光,输出红色信号、红外线阻隔绿色信号、蓝色信号以及红外线信号;以及影像处理器,利用上述红外线信号,在上述红色信号和上述蓝色信号中选择性地去除红外线成分,或者在上述红外线阻隔绿色信号中选择性地添加红外线成分。
具体实施例
以下通过示意图对本发明的一些实施例进行详细的说明。需要注意的是,在对各附图的结构附加附图标记时,对相同的结构要素而言,即使标记在不同的附图,也要尽可能利用相同的附图标记。并且,在说明本发明实施例时,如有认为对于相关的公知结构或者功能的具体说明不利于对发明实施例的理解的情况,将会省略对其的详细说明。
图2是示出根据本发明第1实施例的图像传感器构成的结构图。
图2的图像传感器包括彩色滤光部100以及影像处理部200。
彩色滤光部100过滤通过镜头输入的光学信号,输出具有对应于各个彩色滤光片的波长的多个彩色信号(Rs+Irs(红色信号),Gs+IRs(绿色信号),Bs+IRs(蓝色信号))以及红外线信号(IRs)。
彩色滤光部100可包括彩色滤光片阵列(CFA),该彩色滤光片阵列(CFA)由多个彩色滤光片以及多个红外线透过滤光片(IR Pass Filters)以阵列形态排列而成。此时,彩色滤光片过滤输入的光学信号,输出作为包括可见光(Rs(红色),Gs(绿色),Bs(蓝色))和红外线信号(IRs)的彩色信号的红色信号(Rs+IRs)、绿色信号(Gs+IRs)、蓝色信号(Bs+IRs)。红外线透过滤光片(IR Pass Filter)在输入的光学信号中使作为红外线区域的650nm以上的光通过。即,红外线透过滤光片过滤输入的光学信号,仅输出红外线信号(IRs)。
本实施例中,在彩色滤光片阵列的规定部分配置红外线透过滤光片,从而图像传感器从输入的光学信号中,输出彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)之外,还额外提取红外线信号(IRs)并进行输出。
影像处理部200将在彩色滤光部100中输出的多个彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)以及红外线信号(IRs)转换为数字信号之后,对其进行信号处理,从各彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)中选择性地复原多个可见光信号(Rs,Gs,Bs)。例如,影像处理部200根据红外线选择信号(IRsel),在多个彩色信号中(Rs+IRs,Gs+IRs,Bs+IRs)去除红外线信号(IRs),从而复原多个可见光信号(Rs,Gs,Bs)并进行输出,或者输出包括红外线信号(IRs)和可见光信号(Rs,Gs,Bs)的多个高灵敏度的彩色信号(Rs+IRs、Gs+IRs、Bs+IRs)。
此时,红外线选择信号(IRsel)为决定是否在影像处理部200输出的信号中包括红外线成分的控制信号。例如,昼间时,红外线选择信号(IRsel)被关闭(off),在多个彩色信号中去除红外线成分,夜间时,红外线选择信号(IRsel)被开启(on),在多个彩色信号中包括红外线成分。
图3为在图1的彩色滤光部100中图示彩色滤光片阵列构成的附图,示例性示出以阵列形态反复排列的最小单元阵列结构的附图。
如图3所示,彩色滤光部100的彩色滤光片阵列包括:第1单元像素阵列110,具有与2×2拜耳模板(参照图1)相同的结构;以及第2单元像素阵列120,红外线透过滤光片(IR)配置在2×2拜耳模板中的蓝色滤光片(B)的位置。此时,第1单元像素阵列110可具有如下的2×2像素阵列结构:红色滤光片(R)和蓝色滤光片(B)以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个绿色滤光片(G)。第2单元像素阵列120可具有如下的2×2像素阵列结构:红色滤光片(R)和红外线透过滤光片(IR)以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个绿色滤光片(G)。
图3的阵列结构为示出在彩色滤光部100中使用的彩色滤光片阵列的最小单元阵列的结构,具有如下的4×4像素阵列结构:两个第1单元像素阵列110以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个第2单元像素阵列120。即,彩色滤光部100的彩色滤光片阵列具有由图3的单元阵列反复配置的结构。与由2×2结构的多个拜耳模板反复配置的4×4结构的拜耳模板相比,图3的阵列结构为4个蓝色滤光片(B)中的两个由红外线透过滤光片(IR)所代替,且该两个红外线透过滤光片(IR)以对角线方向配置。
以相同的强度输入的多个光中,通过蓝色滤光片的光作为波长比较短的光,光子数相对少。因此,通过蓝色滤光片的光实现电子化的比率低,从而信号强度弱。(参照以下公式1)。为了解决这种问题,本实施例中,多个蓝色滤光片中的部分由红外线透过滤光片所代替。
E=hc/λ<公式1>
其中,E为一个光子的能量、h为普朗克常数、c为光子的速度、λ为光子的波长。
通过红色滤光片的光的光子数比通过蓝色滤光片的光的光子数多,在照度低的黑暗环境下,对于光的信号强度而言,通过红色滤光片的光比通过蓝色滤光片的光强的可能性大。即,从通过红色滤光片的光中,可以接收很多光能量。因此,红色滤光片以与基准拜耳模板相同的方式配置。
与此类似,在人的视细胞中,波长短的蓝色的圆锥细胞也比波长长的红色的圆锥细胞少分布,且对于分辨率而言,蓝色信号与红色信号相比以不太敏感地方式接收。因此,考虑到人的认知特征时,减少蓝色滤光片的分布比率也比减少红色滤光片的分布比率更加有效。
图4是概略性图示根据本发明第1实施例使彩色信号复原的构成的概念图。
当光输入至彩色滤光部100时,彩色滤光部100过滤此光,输出包括红外线信号(IRs)和可见光信号(Rs,Gs,Bs)的多个彩色信号(A)以及红外线信号(B)。即,彩色滤光部100不仅输出包括红外线信号的多个彩色信号(A),还额外地输出红外线信号(B)。
多个彩色信号(A)和红外线信号(B)转换为数字信号之后,影像处理部200计算各彩色信号值和红外线信号值的差值,从而复原可见光信号C。即,影像处理部200在各彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)中去除红外线信号(IRs)成分,从而复原可见光信号C。
如上所述,对于根据本发明第1实施例的彩色滤光部100而言,在彩色滤光片阵列中,多个彩色滤光片中的部分滤光片(优选地,蓝色滤光片)由红外线透过滤光片所代替,从而在输出多个彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)的同时,还额外地输出红外线信号(IRs)。因此,作为在影像处理部200中处理多个彩色信号的电路可以直接利用用于现有拜耳模板的电路。
图5是示出根据本发明第2实施例的图像传感器构成的结构图。
图5的图像传感器包括彩色滤光部300以及影像处理部400。
彩色滤光部300过滤通过镜头输入的光学信号,输出具有对应于各个彩色滤光片的波长的多个彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)以及阻隔红外线的彩色信号(可见光信号)(在本实施例中,为绿色可见光信号,Gs)。
彩色滤光部300包括彩色滤光片阵列(CFA),该彩色滤光片阵列(CFA)包括以阵列形态排列的多个彩色滤光片以及配置在彩色滤光片中的部分彩色滤光片背面的多个红外线阻隔滤光片(IR cut filters)。此时,彩色滤光片过滤输入的光学信号,输出作为包括可见光和红外线信号的彩色信号的红色信号(Rs+IRs)、绿色信号(Gs+IRs)、蓝色信号(Bs+IRs)。红外线阻隔滤光片输出在通过彩色滤光片的彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)中的部分绿色信号(Gs+IRs)中阻隔红外线信号(IRs)的绿色可见光信号Gs。例如,红外线阻隔滤光片在输入的光中阻隔红外线区域650nm以上的光。此时,红外线阻隔滤光片可以阻隔红外线的所有的波长,也会仅阻隔红外线的部分波长。
影像处理部400将在彩色滤光部300中输出的多个彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)以及红外线阻隔彩色信号(可见光信号)(Gs)转换为数字信号之后,对其进行信号处理,并选择性地复原多个可见光信号(Rs,Gs,Bs)。例如,影像处理部400根据红外线选择信号(IRsel),提取红外线信号(IRs)之后,利用提取的红外线信号,在多个彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)中去除红外线信号(IRs),从而复原多个可见光信号(Rs,Gs,Bs)进行输出,或者输出包括红外线信号(IRs)和可见光信号(Rs,Gs,Bs)的多个高灵敏度彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)。当仅要输出多个可见光信号(Rs,Gs,Bs)时,影像处理部400利用彩色信号(Gs+IRs)和红外线阻隔彩色信号(Gs),提取红外线信号(IRs)。接着,影像处理部400利用红外线信号(IRs),在多个彩色信号(Rs+IRs,Bs+IRs)中去除红外线成分之后,输出其多个信号(Rs,Bs)和红外线阻隔彩色信号(Gs)。要输出包括红外线信号和可见光信号的多个彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)时,影像处理部400直接输出从彩色滤光部300输出的多个彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)。
此时,红外线选择信号(IRsel)为决定是否在影像处理部400输出的信号中包括红外线成分的控制信号。例如,昼间时,红外线选择信号(IRsel)被关闭(off),在多个彩色信号中去除红外线,夜间时,红外线选择信号(IRsel)被开启(on),在多个彩色信号中包括红外线成分。
图6a及图6b是在图5的彩色滤光部中示例性图示多个彩色滤光片阵列构成的附图。
如图6a和图6b所示,彩色滤光部300的彩色滤光片阵列包括:单元像素阵列310,在2×2拜耳模板(参照图1)的多个绿色滤光片(G)中的任意一个的背面配置红外线阻隔滤光片(sIR)。即,单元像素阵列310,320具有如下结构的2×2像素阵列:红色滤光片(R)和蓝色滤光片(B)以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置绿色滤光片(G)和红外线阻隔绿色滤光片(G+sIR)。此时,红外线阻隔绿色滤光片(G+sIR)为由绿色滤光片(G)和红外线阻隔滤光片(sIR)叠加的滤光片。
彩色滤光部300的彩色滤光片阵列可具有由图6a的单元像素阵列310或者图6b的单元像素阵列320反复配置的结构。或者,彩色滤光部300的彩色滤光片阵列还可具有,由图6a的单元像素阵列310和图6b的单元像素阵列320交替地反复配置的结构。
图7a及图7b是示例性示出在图6a中沿着A-A'切割的彩色滤光片阵列的多个截面模样的附图。
如图7a所示,彩色滤光部300的彩色滤光片阵列包括:基板350、第1滤光层360以及第2滤光层370。
第1滤光层360位于基板350的上部,且包括红外线阻隔滤光片(sIR)和缓冲层360a。其中,红外线阻隔滤光片(sIR)配置在第2滤光层370的多个绿色滤光片(G)中的部分绿色滤光片(G)的下部。例如,红外线阻隔滤光片(sIR)在各单元像素阵列310中,位于两个绿色滤光片(G)中的任意一个的下部。缓冲层360a配置在第1滤光层360中的未配置多个红外线阻隔滤光片(sIR)的剩余区域。
第2滤光层370位于第1滤光层360的上部,且包括多个彩色滤光片(R,G,B)。此时,多个彩色滤光片(R,G,B)以与图1的拜耳模板相同的结构配置。
图7a中,虽然图示了第2滤光层370的上部面被平坦化的情况,但即使部分彩色滤光片以突出的形态形成也无妨。
图7b的彩色滤光片阵列与图7a的彩色滤光片阵列相比,没有缓冲层360a。即,对于图7b的彩色滤光片阵列而言,只有在配置红外线阻隔滤光片(sIR)的位置上,在基板350上部以重叠方式形成相应彩色滤光片(G)和红外线阻隔滤光片(sIR),而在剩余的位置中,在基板350上部只形成相应彩色滤光片。
图8是概略性图示根据本发明第2实施例使红外线信号复原的构成的概念图。
光输入至彩色滤光部300时,彩色滤光部300过滤此光,输出包括红外线信号(IRs)和可见光信号(Rs,Gs,Bs)的多个彩色信号(A)以及阻隔红外线信号的可见光信号(C)。此时,多个彩色信号(A)为只通过彩色滤光片的信号,可见光信号(C)为通过彩色滤光片和红外线阻隔滤光片的信号。
影像处理部400计算多个彩色信号(A)中的绿色信号(Gs+IRs)值和可见光信号(C)值的差值,从而复原红外线信号(IRs)。即,影像处理部400计算彩色信号(A)(Rs+IRs、Gs+IRs、Bs+IRs)中的透过彩色滤光片(G)的彩色信号(Gs+IRs)和透过红外线阻隔滤光片(IR)的可见光信号(C)(Gs)的差值,获取红外线信号(IRs)值,其中彩色滤光片(G)具有与红外线阻隔滤光片(sIR)重叠的彩色滤光片相同的颜色。此后,影像处理部400计算多个彩色信号(Rs+IRs,Bs+IRs)值和红外线信号(IRs)值的差值,从而除了透过红外线阻隔滤光片(sIR)的可见光信号(C)(Gs)之外,还可以复原对于其他多个彩色信号的多个可见光信号(Rs,Bs)。
如上所述,本实施例中,透过两个相同颜色的彩色滤光片的多个彩色信号中,使其中任意一个彩色信号透过红外线阻隔滤光片之后,利用其信号之间的差值获取红外线信号。因此,红外线阻隔滤光片以与两个绿色滤光片(G)中的任意一个重叠的方式配置,其中上述两个绿色滤光片(G)是单元像素阵列中的两个相同彩色滤光片。
本实施例中,与所述的第1实施例相比,具有在能使单元像素阵列的大小变得更小的同时,还能全部获取红外线信息和可见光信息的优点。并且,本实施例的单元像素阵列的结构与拜耳模板的结构类似,可具有类似于拜耳模板的分辨率特性。
图9是示出根据本发明第3实施例的图像传感器构成的结构图。
图9的图像传感器包括彩色滤光部500以及影像处理部600。
彩色滤光部500过滤通过镜头输入的光学信号,输出包括红外线信号的多个彩色信号(Rs+IRs,Bs+IRs)、红外线信号(IRs)以及阻隔红外线信号的彩色信号(可见光信号)(Gs)。
彩色滤光部500包括彩色滤光片阵列(CFA),该彩色滤光片阵列(CFA)包括以阵列形态排列的多个彩色滤光片和多个红外线透过滤光片(IR Pass Filter)、以及配置在多个彩色滤光片中的特定彩色滤光片(本实施例中,为绿色滤光片)背面的红外线阻隔滤光片(IR cut filters)。此时,彩色滤光片过滤输入的光学信号,输出作为包括可见光和红外线信号的彩色信号的红色信号(Rs+IRs)、绿色信号(Gs+IRs)、蓝色信号(Bs+IRs)。红外线透过滤光片在输入的光学信号中,仅输出红外线信号(IRs)。红外线阻隔滤光片输出在通过多个彩色滤光片的彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)中的特定彩色信号(本实施例中,所有的绿色信号(Gs+IRs))中阻隔红外线信号(IRs)的彩色信号(可见光信号)(Gs)。
影像处理部600将在彩色滤光部500中输出的彩色信号(Rs+IRs,Bs+IRs)、红外线信号(IRs)以及红外线阻隔彩色信号(可见光信号)(Gs)转换为数字信号之后,对其进行信号处理,且选择性地复原多个可见光信号(Rs,Gs,Bs)。
例如,影像处理部600根据红外线选择信号(IRsel),可以仅输出去除红外线成分的多个可见光信号(Rs,Gs,Bs),或者输出包括红外线信号和可见光信号的多个高灵敏度彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)。只输出多个可见光信号(Rs,Gs,Bs)时,影像处理部600利用红外线信号(IRs),在多个彩色信号(Rs+IRs,Bs+IRs)中去除红外线成分之后,输出其多个信号(Rs,Bs)和红外线阻隔彩色信号(Gs)。并且,输出包括红外线信号和可见光信号的多个彩色信号(Rs+IRs,Gs+IRs,Bs+IRs)时,影像处理部600利用红外线信号(IRs),在红外线阻隔彩色信号(Gs)添加红外线成分(IRs)之后,输出其信号(Gs+IRs)和多个彩色信号(Rs+IRs,Bs+IRs)。
图10a至图10c为示例性图示使用于图9的彩色滤光部500的彩色滤光片阵列构成的附图,是示例性示出了以阵列形态反复排列的最小单元排列结构的附图。
图10a至图10c的多个彩色滤光片阵列包括以阵列形态排列的多个彩色滤光片(R,B)、多个红外线阻隔彩色滤光片(G+sIR)以及多个红外线透过滤光片(IR)。此时,红外线阻隔彩色滤光片(G+sIR)作为由彩色滤光片和红外线阻隔滤光片重叠的滤光片,在本实施例中,所有的绿色滤光片(G)与红外线阻隔滤光片(sIR)重叠。并且,彩色滤光片阵列的部分区域中,配置有多个红外线透过滤光片(IR)。
以下,将更详细的说明图10a至图10c的多个彩色滤光片阵列的构成。
首先,如图10a所示,彩色滤光片阵列包括:第1单元像素阵列510,在2×2拜耳模板中的所有绿色滤光片(G)的位置形成红外线阻隔绿色滤光片(G+sIR);以及第2单元像素阵列520,在第1单元像素阵列510中的蓝色滤光片(B)的位置配置有红外线透过滤光片(IR)。此时,红外线阻隔绿色滤光片(G+sIR)为由绿色滤光片(G)与红外线阻隔滤光片(sIR)重叠的滤光片。第1单元像素阵列510可具有如下的2×2像素阵列结构:红色滤光片(R)和蓝色滤光片(B)以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个红外线阻隔绿色滤光片(G+sIR)。第2单元像素阵列520具有如下的2×2像素阵列结构:红色滤光片(R)和红外线透过滤光片(IR)以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个红外线阻隔绿色滤光片(G+sIR)。
如上所述,图10a的阵列结构作为用于彩色滤光部500的彩色滤光片阵列的一个示例性最小单元阵列结构,具有如下的4×4像素阵列结构:两个第1单元像素阵列510以对角线方向配置,并且以与该对角线方向交叉的对角线方向配两个第2单元像素阵列520。彩色滤光部500的彩色滤光片阵列可具有由图10a的多个单元阵列反复配置的结构。
如图10b所示,彩色滤光片阵列包括:图10a中的第2单元像素阵列520;以及在第2单元像素阵列520中的红色滤光片(R)位置形成蓝色滤光片(B)的第3单元像素阵列530。第3单元像阵列530可具有如下的2×2像素阵列结构:蓝色滤光片(B)和红外线透过滤光片(IR)以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置的两个红外线阻隔绿色滤光片(G+sIR)。
如上所述,图10b的阵列结构作为使用于彩色滤光部500的彩色滤光片阵列的另一个最小单元阵列结构,具有如下的4×4像素阵列结构:两个第2单元像素阵列520以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个第3单元像素阵列530。彩色滤光部500的彩色滤光片阵列可具有由图10b的多个单元阵列反复配置的结构。
与图10b的彩色滤光片阵列相同,图10c的彩色滤光片阵列包括第2单元像素阵列520以及第3单元像素阵列530。只是,对于图10c的彩色滤光片阵列而言,第2单元像素阵列520和第3单元像素阵列530的位置与图10b的彩色滤光片阵列相反。
如上所述,图10c的阵列结构可能为用于彩色滤光部500的彩色滤光片阵列的另一个示例性最小单元阵列结构。
图11a及图11b示例性示出在图10a中沿着A-A'切断的彩色滤光片阵列的截面模样的附图。
如图11a所示,彩色滤光部500的彩色滤光片阵列包括:基板550、第1滤光层560以及第2滤光层570。
第1滤光层560位于基板550的上部,且包括红外线阻隔滤光片(sIR)和缓冲层560a。其中,红外线阻隔滤光片(sIR)和缓冲层560a以交替的方式配置。红外线阻隔滤光片(sIR)配置在第2滤光层570的所有绿色滤光片(G)的下部。缓冲层560a配置在第1滤光层560中的未配置红外线阻隔滤光片(sIR)的剩余区域。
第2滤光层570位于第1滤光层560的上部,且包括彩色滤光片(R,G,B)和红外线透过滤光片(IR)。
图11a中,虽然图示了第2滤光层570的上部面被平坦化的情况,但即使部分彩色滤光片以突出的形态形成也无妨。
图11b的彩色滤光片阵列与图11a的彩色滤光片阵列相比,没有缓冲层560a。即,对于图11b的彩色滤光片阵列而言,只有在配置红外线阻隔滤光片(sIR)的位置上,在基板550上部以重叠的方式形成相应彩色滤光片(G)和红外线阻隔滤光片(sIR),而在剩余的位置中,在基板550上部只形成相应彩色滤光片。
根据本发明的第3实施例的图像传感器,具有可以以与现有常用图像传感器相同的方式再现对于绿色滤光片(G)的可见光信号的优点。
并且,为了获取红色可见光信号(Rs)和蓝色可见光信号(Bs),需要经过在透过红色滤光片(R)和蓝色滤光片(B)的彩色信号(Rs+IRs,Bs+IRs)中去除红外线信号(IRs)的过程。但是,去除红外线信号(IRs)时,如果发生错误,可发生画质特性比现有常用图像传感器劣化的问题。然而,图10a至图10c图示的彩色滤光片阵列中,配置的绿色滤光片(G)多于红色滤光片(R)以及蓝色滤光片(B),故多个绿色滤光片(G)对整体分辨率(resolution)贡献的部分比较大,因此可以使在分离红外线信号(IRs)的过程中,可能发生的分辨率劣化最小化。
图12是示例性示出根据本发明另一个实施例的彩色滤光片阵列构成的附图。
对于图12的彩色滤光片阵列而言,在图3的彩色滤光片阵列中,白色(White)滤光片(W)配置在绿色滤光片(G)的位置。即,在本实施例中,没有使用绿色滤光片(G),取而代之所使用的是白色滤光片(W)。
即,在图12的彩色滤光片阵列中,第1单元像素阵列130具有如下的2×2像素阵列结构:红色滤光片(R)和蓝色滤光片(B)以对角线方向配置,并以与该对角线方向交叉的对角线方向配置两个白色滤光片(W)。并且,第2单元滤光片阵列140具有如下的2×2像素阵列结构:红色滤光片(R)和红外线透过滤光片(IR)以对角线方向配置,并以与该对角线方向交叉的对角线方向配置两个白色滤光片(W)。
为了制作图像需要红色信号、绿色信号以及蓝色信号,可是本实施例中,没有使用绿色滤光片,因此由透过白色滤光片(W)的白色信号中,输出绿色信号(G)。即,白色信号为由红色信号、绿色信号以及蓝色信号结合(白色信号=绿色信号+绿色信号+蓝色信号)而成,因此在白色信号去除红色信号和蓝色信号(绿色信号=白色信号–红色信号–蓝色信号)可以获取绿色信号。此时,红色信号和蓝色信号利用分别透过红色滤光片(R)和蓝色滤光片(B)的彩色信号。
如上所述,以使用白色滤光片来代替绿色滤光片的理由在于,白色滤光片的光量最多会比绿色滤光片的光量多3倍左右。因此,即使在夜间摄影时,也可以使拍摄的图像更亮、更清晰。
上述多个实施例以多个彩色滤光部100、300、500包括彩色滤光片阵列的内容进行说明,但彩色滤光部和彩色滤光片阵列可能为相同的构成。即,彩色滤光片阵列可作为彩色滤光部来使用。
以上说明仅仅是示意性地说明本发明的技术思想,因此在不脱离本发明的本质特性的前提下,本领域技术人员能够进行多种修改和变形。
因此,本发明公开的实施例并不是用于限定本发明的技术思想,而是用于对其进行说明,并且本发明的技术思想的范围并不会被上述实施例所限定。
本发明的保护范围由权利要求书来确定,并且,与之等同的范围的所有技术思想应解释为均包括在本发明的权利要求范围内。
产业用途
本发明除了彩色滤光片阵列以外,即使不额外具备红外线透过滤光片或者红外线阻隔滤光片,也能在多个彩色信号中选择性地去除红外线信号,从而使利用其的摄像机构成变得简单,且可以节减生产费用。
Claims (19)
1.一种彩色滤光片阵列,其特征在于,包括:
第1单元像素阵列,由第1彩色滤光片、第2彩色滤光片以及第3彩色滤光片以阵列形态配置而成;
第2单元像素阵列,由第4彩色滤光片、第5彩色滤光片以及红外线透过滤光片以阵列形态配置而成。
2.根据权利要求1所述的彩色滤光片阵列,其特征在于,
所述第1单元像素阵列具有如下的2×2像素阵列结构:
所述第1彩色滤光片与所述第3彩色滤光片以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个所述第2彩色滤光片;
所述第2单元像素阵列具有如下的2×2像素阵列结构:
所述第4彩色滤光片与所述红外线透过滤光片以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个所述第5彩色滤光片。
3.根据权利要求2所述的彩色滤光片阵列,其特征在于,
所述第1彩色滤光片和所述第4彩色滤光片为红色滤光片,
所述第2彩色滤光片和所述第5彩色滤光片为绿色滤光片,
所述第3彩色滤光片为蓝色滤光片。
4.根据权利要求2所述的彩色滤光片阵列,其特征在于,
所述第1彩色滤光片和所述第4彩色滤光片为红色滤光片,
所述第2彩色滤光片和所述第5彩色滤光片为白色滤光片,
所述第3彩色滤光片为蓝色滤光片。
5.根据权利要求2所述的彩色滤光片阵列,其特征在于,
所述第1彩色滤光片和所述第4彩色滤光片为红色滤光片,
所述第2彩色滤光片和所述第5彩色滤光片为红外线阻隔绿色滤光片,
所述第3彩色滤光片为蓝色滤光片。
6.根据权利要求5所述的彩色滤光片阵列,其特征在于,
所述红外线阻隔绿色滤光片由绿色滤光片和红外线阻隔滤光片重叠而成。
7.根据权利要求1所述的彩色滤光片阵列,其特征在于,
所述第1单元像素阵列与所述第2单元像素阵列以交替反复的方式配置。
8.根据权利要求1所述的彩色滤光片阵列,其特征在于,
由最小单元阵列反复配置而成,其中最小单元阵列具有如下的4×4像素阵列结构:
两个所述第1单元像素阵列以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个所述第2单元像素阵列。
9.一种彩色滤光片阵列,其特征在于,
所述彩色滤光片阵列由最小单元阵列反复配置而成,其中所述最小单元阵列由第1彩色滤光片、第2彩色滤光片、第3彩色滤光片以及第4彩色滤光片以阵列形态配置而成,
其中,所述第3彩色滤光片为由所述第2彩色滤光片与红外线阻隔滤光片重叠而成。
10.根据权利要求9所述的彩色滤光片阵列,其特征在于,
所述第1彩色滤光片至所述第4彩色滤光片配置成如下的2×2像素阵列结构:
所述第1彩色滤光片与所述第4彩色滤光片以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置所述第2彩色滤光片和所述第3彩色滤光片。
11.一种彩色滤光片阵列,其特征在于,包括:
第1单元像阵列,由第1彩色滤光片、第2彩色滤光片以及第1红外线透过滤光片以阵列形态配置而成;
以及第2单元像素阵列,由第3彩色滤光片、第4彩色滤光片以及第2红外线透过滤光片以阵列形态配置而成。
12.根据权利要求11所述的彩色滤光片阵列,其特征在于,
所述第1单元像素阵列具有如下的2×2像素阵列结构:
所述第1彩色滤光片与所述第1红外线透过滤光片以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个所述第2彩色滤光片,
所述第2单元像素阵列具有如下的2×2像素阵列结构:
所述第3彩色滤光片与所述第2红外线透过滤光片以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个所述第4彩色滤光片。
13.根据权利要求12所述的彩色滤光片阵列,其特征在于,
所述第1彩色滤光片为红色滤光片,
所述第2彩色滤光片和所述第4彩色滤光片为红外线阻隔绿色滤光片,
且所述第3彩色滤光片为蓝色滤光片。
14.根据权利要求13所述的彩色滤光片阵列,其特征在于,
所述红外线阻隔绿色滤光片由绿色滤光片和红外线阻隔滤光片重叠而成。
15.根据权利要求11所述的彩色滤光片阵列,其特征在于,
所述第1单元像素阵列与所述第2单元像素阵列以交替反复的方式配置。
16.根据权利要求11所述的彩色滤光片阵列,其特征在于,
由最小单元阵列反复配置而成,其中最小单元阵列具有如下的4×4像素阵列结构:
两个所述第1单元像素阵列以对角线方向配置,并且以与该对角线方向交叉的对角线方向配置两个所述第2单元像素阵列。
17.一种图像传感器,其特征在于,包括:
彩色滤光片阵列,由多个彩色滤光片以及红外线透过滤光片以阵列形态配置,且能够过滤入射的光,从而输出包括红外线的多个彩色信号和红外线信号;
以及影像处理器,利用所述红外线信号,从所述多个彩色信号中选择性地去除红外线成分。
18.一种图像传感器,其特征在于,包括:
彩色滤光片阵列,过滤入射的光,输出红色信号、绿色信号、蓝色信号以及红外线阻隔绿色信号;
以及影像处理器,利用所述绿色信号和所述红外线阻隔绿色信号,获取红外线信号之后,利用提取的红外线信号,从而所述红色信号和所述蓝色信号中选择性地去除红外线成分。
19.一种图像传感器,其特征在于,包括:
彩色滤光片阵列,过滤入射的光,输出红色信号、红外线阻隔绿色信号、蓝色信号以及红外线信号;
以及影像处理器,利用所述红外线信号,从所述红色信号和所述蓝色信号中选择性地去除红外线成分,或者在所述红外线阻隔绿色信号中选择性地添加红外线成分。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2015-0175289 | 2015-12-09 | ||
KR20150175289 | 2015-12-09 | ||
PCT/KR2016/004363 WO2017099308A1 (ko) | 2015-12-09 | 2016-04-26 | 컬러 필터 어레이 및 이를 이용한 이미지 센서 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108370421A true CN108370421A (zh) | 2018-08-03 |
CN108370421B CN108370421B (zh) | 2020-10-23 |
Family
ID=59013330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680072580.2A Active CN108370421B (zh) | 2015-12-09 | 2016-04-26 | 一种彩色滤光片阵列以及利用其的图像传感器 |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR101806956B1 (zh) |
CN (1) | CN108370421B (zh) |
WO (1) | WO2017099308A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111601022A (zh) * | 2020-05-11 | 2020-08-28 | 展谱光电科技(上海)有限公司 | 图像传感器及信号处理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101078856A (zh) * | 2006-05-26 | 2007-11-28 | 三星电子株式会社 | 图像捕获设备和方法 |
KR20110040402A (ko) * | 2009-10-14 | 2011-04-20 | 삼성전자주식회사 | 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법 |
KR20120023914A (ko) * | 2010-09-03 | 2012-03-14 | 삼성전자주식회사 | 픽셀, 이의 제조 방법 및 이를 포함하는 이미지 처리 장치들 |
KR20130090599A (ko) * | 2012-02-06 | 2013-08-14 | 하이브모션 주식회사 | 복합 필터 어레이 및 이를 이용한 이미지 센서 |
KR20150003687A (ko) * | 2013-07-01 | 2015-01-09 | 옴니비전 테크놀러지즈 인코포레이티드 | 컬러 앨리어싱을 줄이기 위한 컬러 및 적외선 필터 어레이 패턴 |
CN104735427A (zh) * | 2013-12-24 | 2015-06-24 | 浙江大华技术股份有限公司 | 一种图像传感器 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8446470B2 (en) * | 2007-10-04 | 2013-05-21 | Magna Electronics, Inc. | Combined RGB and IR imaging sensor |
-
2016
- 2016-04-26 CN CN201680072580.2A patent/CN108370421B/zh active Active
- 2016-04-26 WO PCT/KR2016/004363 patent/WO2017099308A1/ko active Application Filing
- 2016-04-26 KR KR1020167012784A patent/KR101806956B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101078856A (zh) * | 2006-05-26 | 2007-11-28 | 三星电子株式会社 | 图像捕获设备和方法 |
KR20110040402A (ko) * | 2009-10-14 | 2011-04-20 | 삼성전자주식회사 | 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법 |
KR20120023914A (ko) * | 2010-09-03 | 2012-03-14 | 삼성전자주식회사 | 픽셀, 이의 제조 방법 및 이를 포함하는 이미지 처리 장치들 |
KR20130090599A (ko) * | 2012-02-06 | 2013-08-14 | 하이브모션 주식회사 | 복합 필터 어레이 및 이를 이용한 이미지 센서 |
KR20150003687A (ko) * | 2013-07-01 | 2015-01-09 | 옴니비전 테크놀러지즈 인코포레이티드 | 컬러 앨리어싱을 줄이기 위한 컬러 및 적외선 필터 어레이 패턴 |
CN104735427A (zh) * | 2013-12-24 | 2015-06-24 | 浙江大华技术股份有限公司 | 一种图像传感器 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111601022A (zh) * | 2020-05-11 | 2020-08-28 | 展谱光电科技(上海)有限公司 | 图像传感器及信号处理方法 |
CN111601022B (zh) * | 2020-05-11 | 2022-07-08 | 展谱光电科技(上海)有限公司 | 图像传感器及信号处理方法 |
Also Published As
Publication number | Publication date |
---|---|
KR101806956B1 (ko) | 2017-12-08 |
CN108370421B (zh) | 2020-10-23 |
WO2017099308A1 (ko) | 2017-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5118047B2 (ja) | 高機能カラーフィルタモザイクアレイのためのシステムおよび方法 | |
CN106257679B (zh) | 图像传感器及成像系统 | |
CN105633105B (zh) | 用以最小化颜色混叠的rgbc彩色滤光器阵列图案 | |
CN105025278B (zh) | 具有缩放滤波器阵列和像素内装仓的图像传感器 | |
WO2017193738A1 (zh) | 图像传感器、成像方法和成像装置 | |
Lyon et al. | Eyeing the camera: Into the next century | |
CN107635118B (zh) | 彩色滤光器阵列、图像传感器以及用于减少光谱串扰的方法 | |
CN108426639A (zh) | 多光谱传感系统和方法 | |
CN101779288B (zh) | 固体摄像装置 | |
CN1177467C (zh) | 具有红外校正功能的彩色成像系统及其成像方法 | |
CN106298822B (zh) | 用于减少色彩混叠的彩色滤光器阵列及图像传感器 | |
KR20060093651A (ko) | 컬러 필터 어레이 및 고체 촬상 소자 | |
CN106601761A (zh) | 具有黄色滤光单元的影像感测器 | |
CN108807432A (zh) | 影像感测器结构 | |
CN108370422A (zh) | 利用单个矩阵传感器采集可见和近红外图像的系统和方法 | |
CN106688098A (zh) | 固态成像器件、成像装置以及电子设备 | |
CN104639921A (zh) | 双像素大小彩色影像传感器及其制造方法 | |
CN106331662A (zh) | 一种图像撷取装置及图像撷取方法 | |
CN106911919A (zh) | 彩色图像传感器及彩色图像成像方法 | |
CN105810702A (zh) | 彩色滤光器阵列上的光学隔离栅格 | |
CN108370421A (zh) | 一种彩色滤光片阵列以及利用其的图像传感器 | |
CN105810699B (zh) | 具有支撑结构以提供经改进滤光器厚度均匀性的彩色滤光器阵列 | |
CN108024035B (zh) | 成像装置和方法 | |
CN113950826A (zh) | 色彩滤波阵列装置 | |
CN206908722U (zh) | 用于彩色图像传感器的优化色彩滤波阵列 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |