CN109803129B - 影像感测器 - Google Patents

影像感测器 Download PDF

Info

Publication number
CN109803129B
CN109803129B CN201810856015.6A CN201810856015A CN109803129B CN 109803129 B CN109803129 B CN 109803129B CN 201810856015 A CN201810856015 A CN 201810856015A CN 109803129 B CN109803129 B CN 109803129B
Authority
CN
China
Prior art keywords
micro
macro
lens
offset value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810856015.6A
Other languages
English (en)
Other versions
CN109803129A (zh
Inventor
郭武政
林国峰
吴宗霖
谢锦全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VisEra Technologies Co Ltd
Original Assignee
VisEra Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VisEra Technologies Co Ltd filed Critical VisEra Technologies Co Ltd
Publication of CN109803129A publication Critical patent/CN109803129A/zh
Application granted granted Critical
Publication of CN109803129B publication Critical patent/CN109803129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V5/00Refractors for light sources
    • F21V5/002Refractors for light sources using microoptical elements for redirecting or diffusing light
    • F21V5/004Refractors for light sources using microoptical elements for redirecting or diffusing light using microlenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/095Refractive optical elements
    • G02B27/0955Lenses
    • G02B27/0961Lens arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0043Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

本发明提供一种影像感测器,包括:一微镜头阵列,包括多个微镜头;以及一感测器阵列,包括多个光电元件,其排列为多个宏像素;其中各宏像素包括一第一光电元件、一第二光电元件、一第三光电元件、一第四光电元件以分别通过该多个微镜头中的一第一微镜头、一第二微镜头、一第三微镜头、及一第四微镜头以接收光线,其中在各宏像素中的该第一微镜头、该第二微镜头、该第三微镜头、及该第四微镜头分别具有一第一初始偏移值、一第二初始偏移值、一第三初始偏移值、及一第四初始偏移值,其中在各宏像素中的该第一微镜头及该第二微镜头还分别具有一第一额外偏移值及一第二额外偏移值。

Description

影像感测器
技术领域
本发明涉及影像感测器,特别涉及一种具有偏移微镜头阵列(microlens array)的影像感测器。
背景技术
光场相机是一种可利用微镜头阵列以获取场景的三维光场信息的相机。因此,使用者可利用光场相机所产生的影像进行重新对焦。然而,传统的光场相机具有的缺点例如为低影像分辨率、庞大的相机模块、或低光线穿透率。因此,需要一种配置于光场相机中的影像感测器以解决上述问题。
发明内容
本发明提供一种影像感测器,包括:一微镜头阵列,包括多个微镜头;以及一感测器阵列,包括多个光电元件,其是排列为多个宏像素(macro pixel);其中各宏像素包括一第一光电元件、一第二光电元件、一第三光电元件、一第四光电元件以分别通过该多个微镜头中的一第一微镜头、一第二微镜头、一第三微镜头、及一第四微镜头以接收光线,其中在各宏像素中的该第一微镜头、该第二微镜头、该第三微镜头、及该第四微镜头分别具有一第一初始偏移值、一第二初始偏移值、一第三初始偏移值、及一第四初始偏移值,其中在各宏像素中的该第一微镜头及该第二微镜头还分别具有一第一额外偏移值及一第二额外偏移值。
在本发明的一实施方式中,在各宏像素中的该第一光电元件、该第二光电元件、该第三光电元件、及该第四光电元件排列为一第一2x2阵列,且在各宏像素中的该第一微镜头、该第二微镜头、该第三微镜头、及该第四微镜头朝着该感测器阵列的中心点偏移该第一初始偏移值、该第二初始偏移值、该第三初始偏移值、及该第四初始偏移值。
在本发明的另一实施方式中,在该感测器阵列中的各宏像素输出一强度信号,其用以由该入射光决定一物件的距离及方向信息,且记录有来自于该感测器阵列中的各宏像素的该强度信号的多个强度分布的一查找表用以决定该物件的该距离及方向信息。
在本发明的一实施方式中,该多个微镜头以二维方式排列,且在该多个微镜头中的每两个相邻的微镜头之间具有一间隙,该间隙以一低折射率材质或空气所填充。此外,该多个微镜头的形状为平坦型或曲面型。
在本发明的一实施方式中,该第一微镜头还在一第一方向偏移该第一额外偏移值,且该第二微镜头还在相对于该第一方向的一第二方向偏移该第二额外偏移值,且该第一额外偏移值等于该第二额外偏移值。此外,该第三微镜头及该第四微镜头还分别具有一第三额外偏移值及一第四额外偏移值,且该第三微镜头还在一第三方向偏移该第三额外偏移值,且该第四微镜头还在相对于该第三方向的一第四方向偏移该第四额外偏移值,其中该第三额外偏移值等于该第四额外偏移值,且该第一方向垂直于该第三方向。
在本发明的另一实施方式中,该第一微镜头还在一第一方向偏移该第一额外偏移值,且该第二微镜头还在该第一方向偏移该第二额外偏移值,且该第一额外偏移值大于该第二额外偏移值。此外,该第三微镜头及该第四微镜头还分别具有一第三额外偏移值及一第四额外偏移值,且该第三微镜头还在一第三方向偏移该第三额外偏移值,且该第四微镜头还在该第三方向偏移该第四额外偏移值,其中该第三额外偏移值大于该第四额外偏移值,且该第一方向垂直于该第三方向。
在本发明的一实施方式中,影像感测器还包括一彩色滤波器阵列,设置于该微镜头阵列及该感测器阵列之间,并包括:多个绿色滤波器,用以由该入射光取出绿光;多个红色滤波器,用以由该入射光取出红光;以及多个蓝色滤波器,用以由该入射光取出蓝光。
在本发明的一实施方式中,该多个宏像素是排列为多个宏单元格,且各宏单元格包括一第一宏像素、一第二宏像素、一第三宏像素、及一第四宏像素,其排列为一第二2x2阵列,且在各宏单元格中的该第一宏像素、该第二宏像素、该第三宏像素、及该第四宏像素分别接收该绿光、该红光、该蓝光、及该绿光。
在本发明的一实施方式中,在各宏单元格中的该第二宏像素及该第三宏像素中的该第一微镜头的该第一额外偏移值及该第二微镜头的该第二额外偏移值为0,且在各宏单元格中的该第一宏像素及该第四宏像素中的该第一微镜头的该第一额外偏移值及该第二微镜头的该第二额外偏移值不为0。
附图说明
图1是显示依据本发明一实施例中的一光场装置的功能方框图。
图2A是显示依据本发明一实施例中的感测器阵列中的宏像素的示意图。
图2B是显示依据本发明一实施例中具有偏移微镜头的宏像素的示意图。
图2C是显示依据本发明图2B的实施例中的一光电元件及其没有偏移值的微镜头的截面图。
图2D是显示依据本发明图2B的实施例中的一光电元件及其有偏移值的微镜头的截面图。
图2E是显示依据本发明图2B的实施例中的一光电元件及其没有偏移值的微镜头的截面图。
图2F是显示依据本发明图2B的实施例中的一光电元件及其有偏移值的微镜头的截面图。
图2G是显示依据本发明一实施例中的感测器阵列的示意图。
图3A是显示依据本发明一实施例中的光场装置的结构及运行的截面图。
图3B是显示依据本发明图3A的实施例的具有偏移微镜头的宏像素的区域的放大图。
图4A是显示依据本发明另一实施例中的光场装置的结构及运行的截面图。
图4B是显示依据本发明图4A的实施例的具有偏移微镜头的宏像素的区域的放大图。
图5A是显示依据本发明又一实施例中的光场装置的结构及运行的截面图。
图5B是显示依据本发明图5A的实施例的具有偏移微镜头的宏像素的区域的放大图。
图6是显示依据本发明另一实施例中的具有偏移微镜头的宏像素的示意图。
图7是显示依据本发明又一实施例中的具有偏移微镜头的宏像素的示意图。
图8是显示依据本发明又一实施例中的具有偏移微镜头的宏像素的示意图。
图9A是显示依据本发明另一实施例中具有一彩色滤波器阵列的光场装置100的示意图。
图9B是显示依据本发明一实施例中的宏单元格的示意图。
图9C是显示依据本发明另一实施例中的宏单元格的示意图。
图9D是显示依据本发明的又一实施例中的宏单元格的示意图。
符号说明
100~光场装置;
1~影像感测器
2~镜头
3~影像信号处理器
4~外壳;
10~感测器阵列;
11~光电元件;
20~微镜头阵列;
21~微镜头;
L1~光线;
121-12N~宏像素;
ML1-ML4~微镜头;
121A-121D~光电元件;
A1、A2~额外偏移值;
15~中心点;
R1、R2~径向距离;
θ1、θ2~夹角;
250、260~位置;
L2、L3、L4~光线;
300~点物件;
310、311、312~宏像素;
ML3101-ML3104~微镜头;
3101-3104~光电元件;
ML3111-ML3114~微镜头;
3111-3114~光电元件;
ML3121-ML3124~微镜头;
3121-3124~光电元件;
320~区域;
400~点物件;
410、411、412~宏像素;
ML4101-ML4104~微镜头;
4101-4104~光电元件;
ML4111-ML4114~微镜头;
4111-4114~光电元件;
ML4121-ML4124~微镜头;
4121-4124~光电元件;
420~区域;
500~点物件;
510、511、512~宏像素;
ML5101-ML5104~微镜头;
5101-5104~光电元件;
ML5111-ML5114~微镜头;
5111-5114~光电元件;
ML5121-ML5124~微镜头;
5121-5124~光电元件;
520~区域;
A3、A4~额外偏移值;
30~彩色滤波器阵列;
31~彩色滤波器;
900~宏单元格;
901-904~宏像素;
9011-9014、9021-9024~光电元件;
9031-9034、9041-9044~光电元件;
ML9011-ML9014、ML9021-ML9024~微镜头;
ML9031-ML9034、ML9041-ML9044~微镜头。
具体实施方式
为使本发明的上述目的、特征和优点能更明显易懂,下文特举一优选实施例,并配合附图作详细说明如下。
图1是显示依据本发明一实施例中的一光场装置的功能方框图。光场装置100例如可为一光场相机、或设置于一电子装置(例如移动装置或是便携式电脑)中的光场相机模块。
光场装置100包括一影像感测器1、一镜头2、一影像信号处理器(image signalprocessor)3、及一外壳4。影像感测器1及影像信号处理器3设置于外壳4之中,且镜头2设置于外壳4上。光束(light beam)L1穿过镜头2进入外壳4,并发射至影像感测器1。影像感测器1检测入射光以输出一影像信号。影像信号处理器3接收来自影像感测器1的影像信号,并利用来自影像感测器1的影像信号以产生一三维影像。
在一实施例中,影像感测器1包括一感测器阵列10及一微镜头阵列20。感测器阵列10包括多个光电元件11,其排列为一二维阵列。微镜头阵列20设置于镜头2及感测器阵列10之间,并包括多个微镜头21,其以二维的方式排列。
在此实施例中,微镜头阵列20的微镜头21及感测器阵列10的光电元件11以一对一的方式排列。意即,微镜头21的二维阵列的设置与光电元件11的二维阵列有关。举例来说,各微镜头21的设置与各光电元件11有关,并将入射光导向至各光电元件11上。
图2A是显示依据本发明一实施例中的感测器阵列中的宏像素的示意图。在一实施例中,在感测器阵列中的光电元件11排列为多个宏像素(macro pixel)121~12N,其中各宏像素121~121N包括四个光电元件。举例来说,在各宏像素中的四个光电元件排列为一2x2阵列。在一些实施例中,在各宏像素中的四个光电元件亦可排列为4x4阵列、6x6阵列、或8x8阵列,但本发明并不限于此。需注意的是,在各宏像素121~12N中的四个光电元件的每一者均有相应的一个微镜头21。以宏像素121为例,微镜头ML1~ML4的排列分别相应于宏像素121中的光电元件121A、121B、121C、及121D。
图2B是显示依据本发明一实施例中具有偏移微镜头的宏像素的示意图。图2C是显示依据本发明图2B的实施例中的一光电元件及其没有偏移值的微镜头的截面图。图2D是显示依据本发明图2B的实施例中的一光电元件及其有偏移值的微镜头的截面图。
在一些实施例中,请参考图2B,微镜头ML1~ML4并不设置于光电元件121A~121D的正上方,且各微镜头ML1~ML4具有个别的初始偏移值及方向。此外,微镜头ML1~ML4中的一或多者可具有个别的额外偏移值。
为了便于说明,假设宏像素121位于感测器阵列10的中心,且微镜头ML1~ML4的初始偏移值为0。与光电元件121B有关的微镜头ML2在第一方向(例如X轴的正方向)有一额外偏移值A1,且与光电元件121C有关的微镜头ML3在与第一方向相对的第二方向(例如X轴的负方向)有一额外偏移值A2。在一实施例中,额外偏移值A1及A2是相等的。意即,微镜头ML2朝着第一方向(例如X轴的正方向)偏移了额外偏移值A1,且微镜头ML3朝着与第一方向相对的第二方向(例如X轴的负方向)偏移了额外偏移值A2。
光电元件121A及相应的微镜头ML1的截面图显示于图2C。因此,当宏像素121位于感测器阵列10的中心点时,微镜头ML1可设置在光电元件121A的正上方而没有偏移值。意即,微镜头ML1的中心点与光电元件121A的中心点对齐,如图2C所示。
光电元件121B及相应的微镜头ML2的截面图显示于图2D。因此,当宏像素121位于感测器阵列10的中心点时,微镜头ML2可设置在光电元件121B的正上方并具有额外偏移值A1。意即,微镜头ML2的中心点朝着X轴的正方向偏移了额外偏移值A1,如图2D所示。
图2E是显示依据本发明图2B的实施例中的一光电元件及其没有偏移值的微镜头的截面图。图2F是显示依据本发明图2B的实施例中的一光电元件及其有偏移值的微镜头的截面图。
需注意的是,在图2C及图2D的实施例中的微镜头ML1~ML4的形状为平坦型(flattype)。选择性地,微镜头ML1~ML4的形状可为曲线型(curve type)。举例来说,光电元件121A及相应的微镜头ML1的另一截面图如图2E所示,且微镜头ML1的形状为曲线型。光电元件121B及相应的微镜头ML2的另一截面图如图2F所示,且微镜头ML2的形状为曲线型。
在一实施例中,在微镜头阵列20中的微镜头21是以二维方式排列,且在微镜头阵列10中的每两个相邻的微镜头之间会有一间隙(gap)。需注意的是,该间隙不只存在于单一宏像素中的两个相邻的微镜头之间,也会存在于微镜头阵列20中的每两个相邻的宏像素的两个相邻微镜头之间。在一些实施例中,在每两个相邻的微镜头之间的间隙可用一低折射率(low-n)材料填充。在另一些实施例中,在每两个相邻的微镜头之间的间隙可为空气。
图2G是显示依据本发明一实施例中的感测器阵列的示意图。在一实施例中,感测器阵列10具有一中心点15,其接收0度入射角的光线。然而,在感测器阵列10的角落的像素会接收具有较大的入射角的光线。
详细而言,在感测器阵列10中的各宏像素相对于感测器阵列10的中心点15具有一径向距离(radial distance)。详细而言,当一特定宏像素的径向距离愈长,该特定宏像素的入射角也愈大。因此,在特定宏像素中的与光电元件有关的微镜头则应该要朝感测器阵列10的中心点15偏移较大的偏移值以将信号衰减(signal degradation)最小化。
举例来说,在位置250的宏像素相对于感测器阵列10的中心点15具有径向距离R1,且X轴与连接位置250及中心点15的虚线具有夹角θ1。因此,可依据径向距离R1及夹角θ1以决定位于位置250的宏像素的微镜头的初始偏移值。
除此之外,在位置260的宏像素相对于感测器阵列10的中心点15具有径向距离R2,且Y轴与连接位置260及中心点15的虚线具有夹角θ2。因此,可依据径向距离R2及夹角θ2以决定位于位置260的宏像素的微镜头的初始偏移值。对于本发明领域中的技术人员来说,计算感测器阵列中的一给定宏像素的微镜头的初始偏移值的技术是现有技术,故其细节于此不再赘述。
详细而言,初始偏移值可为沿着X轴及Y轴的一二维偏移值,且视给定的宏像素的位置、以及朝着感测器阵列10的中心点15的初始偏移值的方向而定。
需注意的是,除了初始偏移值之外,在感测器阵列中的给定的宏像素的微镜头可具有个别的额外偏移值,其细节将详述于后。
图3A是显示依据本发明一实施例中的光场装置的结构及运行的截面图。图3B是显示依据本发明图3A的实施例的具有偏移微镜头的宏像素的区域的放大图。
请参考图3A,在第一情境中,假设来自点物件(point object,点目标)300的入射光L2、L3、及L4通过镜头2准确地对焦于感测器阵列10的影像平面上,且入射光L2、L3、及L4准确地射至感测器阵列10中的宏像素310上。此外,相邻于宏像素310的宏像素311及312不会接收到入射光。
请参考图3B,其是显示了感测器阵列10中的区域320的放大图。举例来说,在宏像素310中使用微镜头ML3101、ML3102、ML3103、ML3104的光电元件3101、3102、3103、及3104的量子效率(quantum efficiency,QE)值分别为0.713、0.695、0.695、及0.713,在宏像素312中使用微镜头ML3121~M3124的光电元件3121~3124的量子效率(quantum efficiency,QE)值均为0。
图4A是显示依据本发明另一实施例中的光场装置的结构及运行的截面图。图4B是显示依据本发明图4A的实施例的具有偏移微镜头的宏像素的区域的放大图。
请参考图4A,在一第二情境中,点物件400的位置靠近光场装置100,故来自点物件400的入射光L2、L3、及L4会通过镜头2对焦于感测器阵列10的影像平面的后面。入射光L2、L3、及L4会分别射至感测器阵列10的宏像素411、410、及412。
请参考图4B,其是显示了感测器阵列10中的区域420的放大图。举例来说,在宏像素410中使用微镜头ML4101、ML4102、ML4103、ML4104的光电元件4101、4102、4103、及4104的量子效率值分别为0.713、0.695、0.695、及0.713。此外,在宏像素411中使用微镜头ML4111、ML4112、ML4113、ML4114的光电元件4111、4112、4113、及4114的量子效率值分别为0.708、0.671、0.704、及0.708。在宏像素412中使用微镜头ML4121、ML4122、ML4123、ML4124的光电元件4121、4122、4123、及4124的量子效率值分别为0.708、0.704、0.671、及0.708。
图5A是显示依据本发明又一实施例中的光场装置的结构及运行的截面图。图5B是显示依据本发明图5A的实施例的具有偏移微镜头的宏像素的区域的放大图。
请参考图5A,在一第三情境中,点物件500的位置远离光场装置100,故来自点物件500的入射光L2、L3、及L4会通过镜头2对焦于感测器阵列10的影像平面的前面。入射光L2、L3、及L4会分别射至感测器阵列10的宏像素512、510、及511。
请参考图5B,其是显示了感测器阵列10中的区域520的放大图。举例来说,在宏像素410中使用微镜头ML5101、ML5102、ML5103、ML5104的光电元件5101、5102、5103、及5104的量子效率值分别为0.713、0.695、0.695、及0.713。此外,在宏像素511中使用微镜头ML5111、ML45112、ML5113、ML5114的光电元件5111、5112、5113、及5114的量子效率值分别为0.639、0.659、0.504、及0.639。在宏像素512中使用微镜头ML5121、ML5122、ML5123、ML5124的光电元件5121、5122、5123、及5124的量子效率值分别为0.639、0.504、0.659、及0.639。
在图3A~图3B、图4A~图4B、及图5A~图5B的实施例中,在各宏像素中的光电元件所检测的强度信号会具有一特定的强度分布,可用以决定远端物件的距离及方向信息。详细而言,可预先建立记录有在感测器阵列10中的各宏像素的光电元件的反嗥可能的强度分布的查找表。举例来说,查找表可存储于光场装置100中的一非易失性存储器(未示出)。因此,影像信号处理器可接收来自影像感测器1的影像信号,并依据由在感测器阵列10中的各宏像素所检测的强度信号的特定强度分布以由查找表决定该远端物件的距离及方向信息。
除此之外,来自影像感测器1的影像信号包括利用多个微镜头在同时间所获取的多个视角的多张影像。这些影像可由影像信号处理器分析以取得深度信息。举例来说,因为在微镜头阵列中的多个微镜头依据其不同的相对位置而具有些微不同的视角,故来自各微镜头所获取的多张影像亦会具有不同的深度。因此,可通过分析该多张影像而识别出在各影像中的各物件的相对距离。
此外,使用在影像感测器1中的相位微镜头(phase microlens)的光电元件的量子效率响应(quantum efficiency response)与传统的二维影像感测器中的光电元件类似,因此影像感测器1可在二维影像感测器及光场影像感测器之间切换。
在后面段落中,会介绍在感测器阵列10中的各宏像素中的一或多个光电元件具有不同组态的额外偏移值的多个实施例。
图6是显示依据本发明另一实施例中的具有偏移微镜头的宏像素的示意图。请参考图6,在一些实施例中,在宏像素121中的微镜头ML1~ML4并不设置于光电元件121A~121D的正上方,且各微镜头ML1~ML4具有一初始偏移值及方向。此外,微镜头ML1~ML4中的一或多者亦会具有个别的额外偏移值。
为了便于说明,假设宏像素121位于感测器阵列10的中心,且微镜头ML1~ML4的初始偏移值为0。与光电元件121B有关的微镜头ML2在第一方向(例如X轴的正方向)有一额外偏移值A1,且与光电元件121C有关的微镜头ML3在第一方向(例如X轴的正方向)有一额外偏移值A2。在一实施例中,额外偏移值A1大于额外偏移值A2。意即,微镜头ML2比微镜头ML3朝着第一方向(例如X轴的正方向)偏移了更多的偏移值(例如微镜头ML2偏移了A1,微镜头ML2偏移了A2)。
图7是显示依据本发明又一实施例中的具有偏移微镜头的宏像素的示意图。请参考图7,在一些实施例中,在宏像素121中的微镜头ML1~ML4并不设置于光电元件121A~121D的正上方,且各微镜头ML1~ML4具有一初始偏移值及方向。此外,微镜头ML1~ML4中的一或多者亦会具有个别的额外偏移值。
为了便于说明,假设宏像素121位于感测器阵列10的中心,且微镜头ML1~ML4的初始偏移值为0。与光电元件121B有关的微镜头ML2在第一方向(例如X轴的正方向)有一额外偏移值A1,且与光电元件121C有关的微镜头ML3在与第一方向相对的第二方向(例如X轴的负方向)有一额外偏移值A2。在一实施例中,额外偏移值A1等于额外偏移值A2。意即,微镜头ML2朝着第一方向(例如X轴的正方向)偏移了额外偏移值A1,且微镜头ML3朝着与第一方向相对的第二方向(例如X轴的负方向)偏移了额外偏移值A2。
此外,与光电元件121A有关的微镜头ML1在第三方向(例如Y轴的正方向)有一额外偏移值A3,且与光电元件121D有关的微镜头ML4在与第三方向相对的第四方向(例如Y轴的负方向)有一额外偏移值A4,其中第三方向垂直于第一方向。在一实施例中,额外偏移值A3等于额外偏移值A4。意即,微镜头ML1朝着第三方向(例如Y轴的正方向)偏移了额外偏移值A3,且微镜头ML4朝着与第三方向相对的第四方向(例如Y轴的负方向)偏移了额外偏移值A4。
图8是显示依据本发明又一实施例中的具有偏移微镜头的宏像素的示意图。请参考图8,在一些实施例中,在宏像素121中的微镜头ML1~ML4并不设置于光电元件121A~121D的正上方,且各微镜头ML1~ML4具有一初始偏移值及方向。此外,微镜头ML1~ML4中的一或多者亦会具有个别的额外偏移值。
为了便于说明,假设宏像素121位于感测器阵列10的中心,且微镜头ML1~ML4的初始偏移值为0。与光电元件121B有关的微镜头ML2在第一方向(例如X轴的正方向)有一额外偏移值A1,且与光电元件121C有关的微镜头ML3在第一方向(例如X轴的正方向)有一额外偏移值A2。在一实施例中,额外偏移值A1及A2均为正值,且额外偏移值A1大于额外偏移值A2。意即,微镜头ML2比微镜头ML3朝着第一方向(例如X轴的正方向)偏移了更多的偏移值(例如微镜头ML2偏移了A1,微镜头ML2偏移了A2)。
此外,与光电元件121A有关的微镜头ML1在第二方向(例如Y轴的正方向)有一额外偏移值A3,且与光电元件121D有关的微镜头ML4在第二方向(例如Y轴的正方向)有一额外偏移值A4,其中第二方向垂直于第一方向。在一实施例中,额外偏移值A3及A4均为正值,且额外偏移值A3大于额外偏移值A4。意即,微镜头ML1比微镜头ML4朝着第二方向(例如Y轴的正方向)偏移了更多的偏移值(例如微镜头ML1偏移了A3,微镜头ML4偏移了A4)。
需注意的是,为了便于说明,在图2B、图6、图7、及图8的实施例中假设宏像素121位于感测器阵列10的中心点15,且微镜头ML1~ML4的初始偏移值均为0。当宏像素不位于感测器阵列10的中心点15时,微镜头ML1~ML4的初始偏移值则不为0。此外,在各宏像素中的各光电元件的初始偏移值亦不同,但会彼此相当接近。详细而言,在各宏像素中的各光电元件的整体偏移值是可将个别的额外偏移值相加至初始偏移值计算而得。
图9A是显示依据本发明另一实施例中具有一彩色滤波器阵列的光场装置100的示意图。在另一实施例中,影像感测器1为一彩色影像感测器,且在各光电元件上设置一彩色滤波器。举例来说,光场装置100还包括一彩色滤波器阵列30,设置于微镜头阵列20及感测器阵列10之间。彩色滤波器阵列包括多个彩色滤波器31,其以二维方式排列。
在此实施例中,在微镜头阵列20中的微镜头21、彩色滤波器阵列30中的彩色滤波器31、及感测器阵列10中的光电元件11以一对一的方式排列。详细而言,在彩色滤波器阵列30中的各彩色滤波器31设置在感测器阵列10中的个别的光电元件的正上方,且在微镜头阵列20中的各微镜头21设置于彩色滤波器阵列30中的个别的彩色滤波器的上方。因此,各彩色滤波器31可利用个别具有或没有偏移值的微镜头接收入射光,并接着由入射光取得一色彩元件(例如红色、绿色、或蓝色元件),且个别的光电元件接收所获取的色彩元件。
图9B是显示依据本发明一实施例中的宏单元格的示意图。在一实施例中,在感测器阵列10中的各宏像素与一预定彩色滤波器有关。在感测器阵列10中的宏像素排列为多个宏单元格,且各宏单元格包括四个宏像素,其排列为一2x2阵列。
举例来说,宏单元格900包括宏像素901、902、903、及904。宏像素901、902、903、及904通过彩色滤波器阵列30分别接收绿光、红光、蓝光、及绿光。详细而言,一绿色滤波器是设置于宏像素901中的各光电元件9011、9012、9013、及9014上。类似地,一红色滤波器设置于宏像素902中的各光电元件9021、9022、9023、及9024上。一蓝色滤波器设置于宏像素903中的各光电元件9031、9032、9033、及9034上,且一绿色滤波器设置于宏像素904中的各光电元件9041、9042、9043、及9044上。在此实施例中,宏像素901、902、903、及904形成一拜尔图样(Bayer pattern,拜耳图样)。
图9C是显示依据本发明另一实施例中的宏单元格的示意图。在另一实施例中,在宏单元格900中的各宏像素是采用随机色彩分布以抑制莫列效应(Moire Effect,莫瑞效应)。举例来说,在宏单元格900中具有16个宏像素。在宏单元格900中具有8个、4个、及4个宏像素以分别接收绿光、红光、及蓝光。在宏单元格900中的16个宏像素的色彩分布可为随机,但宏像素的排列是对称的以抑制莫列效应。
图9C则显示了具有随机色彩分布的宏单元格的示意图。除此之外,与各宏像素有关的微镜头的额外偏移值亦为随机。举例来说,分别与光电元件9011及9014(注:绿色像素)有关的微镜头ML9011及ML9014的额外偏移值为0。分别与光电元件9012(注:红色像素)及9013(注:蓝色像素)有关的微镜头ML9012及ML9013具有朝向第一方向(例如X轴的正方向)的相同额外偏移值。
此外,分别与光电元件9021及9024(注:红色像素)有关的微镜头ML9021及ML9024的额外偏移值为0。与光电元件9022有关的微镜头ML9022具有朝向第一方向(例如X轴的正方向)的第一额外偏移值,且与光电元件9023有关的微镜头ML9023具有朝向与第一方向相对的第二方向(例如X轴的负方向)的第一额外偏移值。
类似地,分别与光电元件9031及9034(注:蓝色像素)有关的微镜头ML9031及ML9034的额外偏移值为0。与光电元件9032有关的微镜头ML9032具有朝向第一方向(例如X轴的正方向)的第一额外偏移值,且与光电元件9033有关的微镜头ML9033具有朝向与第一方向相对的第二方向(例如X轴的负方向)的第一额外偏移值。
类似地,分别与光电元件9041及9044(注:绿色像素)有关的微镜头ML9041及ML9044的额外偏移值为0。分别与光电元件9042(注:红色像素)及9043(注:蓝色像素)有关的微镜头ML9042及ML9043具有朝向与第一方向相对的第二方向(例如X轴的负方向)的相同额外偏移值。
图9D是显示依据本发明的又一实施例中的宏单元格的示意图。在又一实施例中,在宏单元格900中与具有一特定色彩的宏像素有关的微镜头具有额外偏移值,且在宏单元格900中的与其他色彩的宏像素有关的微镜头均没有额外偏移值。举例来说,在宏单元格900中具有16个宏像素。在宏单元格900中具有8个、4个、及4个宏像素以分别接收绿光、红光、及蓝光。在此实施例中,宏像素901、902、903、及904形成一拜尔图样(Bayer pattern)。
详细而言,在宏像素901及904(注:接收绿光)中的一或多个微镜头具有个别非零的额外偏移值。举例来说,微镜头ML9012具有朝向第一方向(例如X轴的正方向)的一额外偏移值,且微镜头ML9013具有朝向与第一方向相对的第二方向(例如X轴的负方向)的该额外偏移值。需注意的是,微镜头ML9011及ML9014并没有额外偏移值(意即微镜头ML9011及ML9014的额外偏移值为0)。
类似地,微镜头ML9042具有朝向第一方向(例如X轴的正方向)的一第一额外偏移值,且微镜头ML9043具有朝向与第一方向相对的第二方向(例如X轴的负方向)的一第二额外偏移值。需注意的是,微镜头ML9041及ML9044并没有额外偏移值(意即微镜头ML9041及ML9044的额外偏移值为0)。在一实施例中,第一额外偏移值及第二额外偏移值可为相同的非零数值。在另一实施例中,第一额外偏移值不同于第二额外偏移值。
需注意的是,宏像素902接收红光,且宏像素903接收蓝光。在宏像素902中的微镜头ML9021~ML9024及宏像素903中的微镜头ML9031~ML9034在此实施例中并没有额外偏移值。
在此实施例中,宏单元格900包括一第一宏像素、一第二宏像素、一第三宏像素、及一第四宏像素。左上的2x2方向(宏像素901)为接收绿光的该第一宏像素。右上的2x2方向(宏像素902)为接收红光的该第二宏像素。左下的2x2方向(宏像素903)为接收蓝光的该第三宏像素。右下的2x2方向(宏像素904)为接收绿光的该第四宏像素。
在第二宏像素及第三宏像素中的第一微镜头及第二微镜头没有额外偏移值。意即,在第二宏像素(例如接收红光)及第三宏像素(例如接收蓝光)中的第一微镜头的第一额外偏移值及第二微镜头的第二额外偏移值为0。此外,在第一宏像素及第四宏像素中的第一微镜头及第二微镜头分别具有第一额外偏移值(非零数值)及第二额外偏移值(非零数值)。意即,在第一宏像素及第四宏像素(注:均接收绿光)中的第一微镜头的第一额外偏移值及第二微镜头的第二额外偏移值均为非零数值。
在感测器阵列10中的各单元格中的宏像素及微镜头的排列可用于光场装置100的相位检测自动对焦(phase detection auto focus,PDAF)功能,且可用于二维影像拍照。
本发明虽以优选实施例公开如上,然其并非用以限定本发明的范围,任何所属技术领域中技术人员,在不脱离本发明的构思和范围内,当可做些许的变动与润饰,因此本发明的保护范围当视权利要求所界定者为准。

Claims (11)

1.一种影像感测器,包括:
一微镜头阵列,包括多个微镜头;以及
一感测器阵列,包括多个光电元件,其排列为多个宏像素;
其中各宏像素包括一第一光电元件、一第二光电元件、一第三光电元件、一第四光电元件以分别通过该多个微镜头中的一第一微镜头、一第二微镜头、一第三微镜头、及一第四微镜头以接收光线,
其中在各宏像素中的该第一微镜头、该第二微镜头、该第三微镜头、及该第四微镜头分别具有一第一初始偏移值、一第二初始偏移值、一第三初始偏移值、及一第四初始偏移值,
其中在各宏像素中的该第一微镜头及该第二微镜头还分别具有一第一额外偏移值及一第二额外偏移值,且该第一微镜头的该第一额外偏移值及该第二微镜头的该第二额外偏移值不为0,
其中在该感测器阵列中的各宏像素输出一强度信号,其用以由入射光决定一物件的距离及方向信息,
其中记录有来自在该感测器阵列中的各宏像素的该强度信号的多个强度分布的一查找表用以决定该物件的该距离及方向信息。
2.如权利要求1所述的影像感测器,其中在各宏像素中的该第一光电元件、该第二光电元件、该第三光电元件、及该第四光电元件排列为一第一2x2阵列。
3.如权利要求1所述的影像感测器,其中在各宏像素中的该第一微镜头、该第二微镜头、该第三微镜头、及该第四微镜头朝着该感测器阵列的中心点偏移该第一初始偏移值、该第二初始偏移值、该第三初始偏移值、及该第四初始偏移值。
4.如权利要求1所述的影像感测器,其中该多个微镜头以二维方式排列,且在该多个微镜头中的每两个相邻的微镜头之间具有一间隙,其中该间隙以一低折射率材质填充。
5.如权利要求1所述的影像感测器,其中该多个微镜头以二维方式排列,且在该多个微镜头中的每两个相邻的微镜头之间具有一间隙,其中该间隙以空气填充。
6.如权利要求1所述的影像感测器,其中该多个微镜头的形状为平坦型或曲面型。
7.如权利要求3所述的影像感测器,其中该第一微镜头还在一第一方向偏移该第一额外偏移值,且该第二微镜头还在相对于该第一方向的一第二方向偏移该第二额外偏移值,且该第一额外偏移值等于该第二额外偏移值,
其中该第三微镜头及该第四微镜头还分别具有一第三额外偏移值及一第四额外偏移值,且该第三微镜头还在一第三方向偏移该第三额外偏移值,且该第四微镜头还在相对于该第三方向的一第四方向偏移该第四额外偏移值,
其中该第三额外偏移值等于该第四额外偏移值,且该第一方向垂直于该第三方向。
8.如权利要求3所述的影像感测器,其中该第一微镜头还在一第一方向偏移该第一额外偏移值,且该第二微镜头还在该第一方向偏移该第二额外偏移值,且该第一额外偏移值大于该第二额外偏移值,
其中该第三微镜头及该第四微镜头还分别具有一第三额外偏移值及一第四额外偏移值,且该第三微镜头还在一第三方向偏移该第三额外偏移值,且该第四微镜头还在该第三方向偏移该第四额外偏移值,
其中该第三额外偏移值大于该第四额外偏移值,且该第一方向垂直于该第三方向。
9.如权利要求1所述的影像感测器,还包括:
一彩色滤波器阵列,设置于该微镜头阵列及该感测器阵列之间,并包括:
多个绿色滤波器,用以由入射光取出绿光;
多个红色滤波器,用以由该入射光取出红光;以及
多个蓝色滤波器,用以由该入射光取出蓝光。
10.如权利要求9所述的影像感测器,其中该多个宏像素排列为多个宏单元格,且各宏单元格包括一第一宏像素、一第二宏像素、一第三宏像素、及一第四宏像素,其排列为一第二2x2阵列,
其中在各宏单元格中的该第一宏像素、该第二宏像素、该第三宏像素、及该第四宏像素分别接收该绿光、该红光、该蓝光、及该绿光。
11.一种影像感测器,包括:
一微镜头阵列,包括多个微镜头;
一感测器阵列,包括多个光电元件,其排列为多个宏像素;以及
一彩色滤波器阵列,设置于该微镜头阵列及该感测器阵列之间,该彩色滤波器阵列包括:
多个绿色滤波器,用以由入射光取出绿光;
多个红色滤波器,用以由该入射光取出红光;以及
多个蓝色滤波器,用以由该入射光取出蓝光,
其中各宏像素包括一第一光电元件、一第二光电元件、一第三光电元件、一第四光电元件以分别通过该多个微镜头中的一第一微镜头、一第二微镜头、一第三微镜头、及一第四微镜头以接收光线,
其中在各宏像素中的该第一微镜头、该第二微镜头、该第三微镜头、及该第四微镜头分别具有一第一初始偏移值、一第二初始偏移值、一第三初始偏移值、及一第四初始偏移值,
其中在各宏像素中的该第一微镜头及该第二微镜头还分别具有一第一额外偏移值及一第二额外偏移值,
其中在该感测器阵列中的各宏像素输出一强度信号,其用以由入射光决定一物件的距离及方向信息,
其中记录有来自在该感测器阵列中的各宏像素的该强度信号的多个强度分布的一查找表用以决定该物件的该距离及方向信息,
其中该多个宏像素排列为多个宏单元格,且各宏单元格包括一第一宏像素、一第二宏像素、一第三宏像素、及一第四宏像素,其排列为一第二2x2阵列,以及
其中在各宏单元格中的该第二宏像素及该第三宏像素中的该第一微镜头的该第一额外偏移值及该第二微镜头的该第二额外偏移值为0,其中在各宏单元格中的该第一宏像素及该第四宏像素中的该第一微镜头的该第一额外偏移值及该第二微镜头的该第二额外偏移值不为0。
CN201810856015.6A 2017-11-16 2018-07-31 影像感测器 Active CN109803129B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/815,092 US10347678B2 (en) 2017-11-16 2017-11-16 Image sensor with shifted microlens array
US15/815,092 2017-11-16

Publications (2)

Publication Number Publication Date
CN109803129A CN109803129A (zh) 2019-05-24
CN109803129B true CN109803129B (zh) 2021-06-18

Family

ID=66432455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810856015.6A Active CN109803129B (zh) 2017-11-16 2018-07-31 影像感测器

Country Status (4)

Country Link
US (1) US10347678B2 (zh)
JP (1) JP6589006B2 (zh)
CN (1) CN109803129B (zh)
TW (1) TWI676393B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222845A1 (en) * 2019-06-21 2022-07-14 Sony Interactive Entertainment Inc. Position detection system, image processing device, position detection method, and position detection program
WO2021132401A1 (ja) * 2019-12-24 2021-07-01 シチズン電子株式会社 マイクロレンズアレイ及び発光装置
US11223763B2 (en) * 2020-02-07 2022-01-11 Himax Imaging Limited Multi-mode image sensor applicable to image sensing and additional detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387368A (zh) * 2001-05-18 2002-12-25 三洋电机株式会社 固体摄影元件及其驱动方法
CN101668133A (zh) * 2008-09-05 2010-03-10 株式会社东芝 固体摄像装置及其设计方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065844B (zh) * 2005-01-04 2010-12-15 株式会社映煌 固体摄像装置及其制造方法
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
JP2010040621A (ja) * 2008-08-01 2010-02-18 Toshiba Corp 固体撮像デバイス及びその製造方法
US7687757B1 (en) 2009-01-29 2010-03-30 Visera Technologies Company Limited Design of microlens on pixel array
JP5556122B2 (ja) * 2009-10-27 2014-07-23 ソニー株式会社 固体撮像装置、固体撮像装置の製造方法、電子機器
EP2805517A1 (en) * 2012-01-17 2014-11-26 Sony Ericsson Mobile Communications AB Portable electronic equipment and method of controlling an autostereoscopic display
US20130201388A1 (en) * 2012-02-03 2013-08-08 Novatek Microelectronics Corp. Optical sensing apparatus and optical setting method
JP5542249B2 (ja) * 2012-03-28 2014-07-09 富士フイルム株式会社 撮像素子及びこれを用いた撮像装置及び撮像方法
JP6202927B2 (ja) * 2012-08-31 2017-09-27 キヤノン株式会社 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
DE102014212104A1 (de) 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1387368A (zh) * 2001-05-18 2002-12-25 三洋电机株式会社 固体摄影元件及其驱动方法
CN101668133A (zh) * 2008-09-05 2010-03-10 株式会社东芝 固体摄像装置及其设计方法

Also Published As

Publication number Publication date
JP6589006B2 (ja) 2019-10-09
TW201924318A (zh) 2019-06-16
CN109803129A (zh) 2019-05-24
JP2019092145A (ja) 2019-06-13
US20190148433A1 (en) 2019-05-16
US10347678B2 (en) 2019-07-09
TWI676393B (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
US10015416B2 (en) Imaging systems with high dynamic range and phase detection pixels
US9881951B2 (en) Image sensors with phase detection pixels
US10498990B2 (en) Imaging systems with high dynamic range and phase detection pixels
CN204697179U (zh) 具有像素阵列的图像传感器
CN107105141B (zh) 图像传感器、图像处理方法、成像装置和移动终端
US9883128B2 (en) Imaging systems with high dynamic range and phase detection pixels
US8102459B2 (en) Image pickup apparatus
US8106994B2 (en) Image pickup apparatus having a microlens array
CN103037180B (zh) 图像传感器和摄像设备
US20170374306A1 (en) Image sensor system with an automatic focus function
KR101373132B1 (ko) 마이크로 렌즈를 이용한 위상차 검출 픽셀
US20180301484A1 (en) Image sensors with high dynamic range and autofocusing hexagonal pixels
CN103119516A (zh) 光场摄像装置和图像处理装置
CN109803129B (zh) 影像感测器
US20130038691A1 (en) Asymmetric angular response pixels for single sensor stereo
US10797090B2 (en) Image sensor with near-infrared and visible light phase detection pixels
CN105306786A (zh) 用于具有相位检测像素的图像传感器的图像处理方法
KR20140094395A (ko) 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
US20180026065A1 (en) Image-sensor structures
CN101919256A (zh) 图像拍摄装置
US20170339355A1 (en) Imaging systems with global shutter phase detection pixels
US9276029B1 (en) Optical isolation grid over color filter array
CN108140655A (zh) 拍摄元件以及拍摄装置
CN103907189A (zh) 固体摄像元件、摄像装置和信号处理方法
CN104954645B (zh) 摄像元件、摄像设备和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant