CN113973183A - 图像传感器和图像处理方法及包括图像传感器的电子设备 - Google Patents

图像传感器和图像处理方法及包括图像传感器的电子设备 Download PDF

Info

Publication number
CN113973183A
CN113973183A CN202110821978.4A CN202110821978A CN113973183A CN 113973183 A CN113973183 A CN 113973183A CN 202110821978 A CN202110821978 A CN 202110821978A CN 113973183 A CN113973183 A CN 113973183A
Authority
CN
China
Prior art keywords
filter
image
unit
image sensor
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110821978.4A
Other languages
English (en)
Inventor
金孝哲
卢永瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210060946A external-priority patent/KR20220012805A/ko
Priority claimed from KR1020210070195A external-priority patent/KR20220012807A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113973183A publication Critical patent/CN113973183A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14629Reflectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Optical Filters (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供了一种图像传感器和所述图像传感器的图像处理方法。所述图像传感器包括:光谱滤波器,包括以二维方式布置并且具有不同波长的多个单元滤波器;像素阵列,接收透射过所述光谱滤波器的光并且输出图像信号;以及处理器,对从所述像素阵列输出的图像信号执行图像处理。

Description

图像传感器和图像处理方法及包括图像传感器的电子设备
相关申请的交叉引用
本申请基于并要求2020年7月23日在韩国知识产权局提交的韩国专利申请No.10-2020-0091857、2021年5月11日在韩国知识产权局提交的韩国专利申请No.10-2021-0060946和2021年5月31日在韩国知识产权局提交的韩国专利申请No.10-2021-0070195的优先权,它们的全部公开内容通过引用合并于此。
技术领域
本公开涉及图像传感器、图像处理方法和包括图像传感器的电子设备。
背景技术
使用光谱滤波器的图像传感器是光学领域中重要的光学仪器之一。用于测量光谱的相关技术的光学仪器和设备体积大且笨重。最近,根据对图像传感器的小型化的要求,已经对同时将集成电路和光学元件实现在单个半导体芯片上进行了研究。
发明内容
提出了一种图像传感器和一种所述图像传感器的图像处理方法。
将在以下描述中部分地阐述附加的方面,并且附加的方面将部分地通过该描述而变得清楚或者可以通过实践本公开所呈现的示例实施例而获知。
根据本公开的一个方面,提供了一种图像传感器,包括:光谱滤波器,包括以二维方式布置的多个单元滤波器,所述多个单元滤波器具有不同中心波长;像素阵列,包括被配置为接收透射过所述光谱滤波器的光并且输出图像信号的多个像素;以及处理器,被配置为对从所述像素阵列输出的所述图像信号执行图像处理,其中所述多个单元滤波器包括:具有第一波长范围中的第一中心波长的至少一个第一单元滤波器;以及具有第二波长范围中的第二中心波长的至少一个第二单元滤波器,并且其中所述至少一个第一单元滤波器包括:多个第一金属反射层,彼此间隔开并且包括第一金属;以及至少一个第一腔,设置在所述多个第一金属反射层之间。
所述像素阵列可以被设置为与所述多个单元滤波器相对应。
所述处理器还可以被配置为:对从所述像素阵列输出的所述图像信号中的每一个图像信号独立地执行图像处理并且输出经处理的图像信号。
所述处理器还可以被配置为:组合从所述像素阵列输出的所述图像信号之中的两个或更多个图像信号,对所述两个或更多个图像信号执行图像处理,并输出经处理的图像信号。
所述处理器还可以被配置为:组合从所述像素阵列输出的所述图像信号之中的两个或四个图像信号,对所述两个或四个图像信号执行图像处理,并输出经处理的图像信号。
所述两个或更多个图像信号可以从相邻像素输出,并且所述多个单元滤波器可以被布置为使得与所述两个或更多个图像信号相对应的所述多个单元滤波器的中心波长彼此相邻。
所述光谱滤波器还可以包括与所述多个单元滤波器设置在相同平面上的红色滤色器、绿色滤色器和蓝色滤色器。
所述像素阵列可以被设置为与所述多个单元滤波器以及所述红色滤色器、所述绿色滤色器和所述蓝色滤色器相对应。
所述处理器还可以被配置为:对从所述像素阵列中的与所述红色滤色器、所述绿色滤色器和所述蓝色滤色器相对应的像素输出的图像信号执行图像处理。
所述光谱滤波器可以包括:空白滤波器,与所述多个单元滤波器设置在相同平面上,并且其中所述空白滤波器可以被配置为直接透射入射光。
所述像素阵列可以被设置为与所述多个单元滤波器和所述空白滤波器相对应。
所述处理器还可以被配置为:对从所述像素阵列中的与所述空白滤波器相对应的像素输出的图像信号执行图像处理。
所述至少一个第一单元滤波器可以包括设置为形成第一滤波器阵列的具有不同中心波长的多个第一单元滤波器,并且所述至少一个第二单元滤波器包括设置为形成第二滤波器阵列的具有不同中心波长的多个第二单元滤波器。
所述至少一个第二单元滤波器可以包括:多个第二金属反射层,彼此间隔开并且包括与所述第一金属不同的第二金属;以及至少一个第二腔,设置在所述多个第二金属反射层之间。
所述至少一个第一单元滤波器的中心波长可以通过改变所述至少一个第一腔的厚度或有效折射率来调整,并且所述至少一个第二单元滤波器的中心波长通过改变所述至少一个第二腔的厚度或有效折射率来调整。
所述至少一个第一单元滤波器还可以包括设置在所述至少一个第一腔下方的第一介电层和设置在所述至少一个第一腔上方的第二介电层,并且其中所述至少一个第二单元滤波器还包括设置在所述至少一个第二腔下方的第三介电层和设置在所述至少一个第二腔上方的第四介电层。
所述第一介电层和所述第二介电层中的每一个的厚度或有效折射率可以基于所述至少一个第一单元滤波器的中心波长来调整,并且所述第三介电层和所述第四介电层中的每一个的厚度或有效折射率可以根据所述至少一个第二单元滤波器的中心波长来调整。
所述至少一个第二单元滤波器可以包括:多个布拉格反射层,彼此间隔开;以及至少一个第二腔,设置在所述多个布拉格反射层之间。
所述图像传感器还可以包括时序控制器、行解码器和输出电路。
根据本公开的另一个方面,提供了一种包括所述图像传感器的电子设备。
所述电子设备可以包括移动电话、智能电话、平板计算机、智能平板计算机、数码相机、录像机、笔记本计算机、电视机、智能电视机、智能冰箱、安全相机、机器人或医用相机。
根据本公开的另一个方面,提供了一种图像传感器的图像处理方法,所述图像传感器包括光谱滤波器和像素阵列,所述光谱滤波器具有以二维方式布置并且具有不同中心波长的多个单元滤波器,所述像素阵列包括多个像素,所述方法包括:接收透射过所述光谱滤波器的光并且输出图像信号;以及对从所述像素阵列输出的所述图像信号执行图像处理,其中所述多个单元滤波器包括:具有第一波长范围中的第一中心波长的至少一个第一单元滤波器;以及具有第二波长范围中的第二中心波长的至少一个第二单元滤波器,并且其中所述至少一个第一单元滤波器包括:多个第一金属反射层,彼此间隔开并且包括第一金属;以及至少一个第一腔,设置在所述多个第一金属反射层之间。
所述像素阵列可以被设置为与所述多个单元滤波器相对应。
所述图像处理方法还包括:对从所述像素阵列输出的图像信号中的每一个图像信号独立地执行图像处理并且输出经处理的图像信号。
所述图像处理方法还包括:组合从所述像素阵列输出的所述图像信号之中的两个或更多个图像信号,对所述两个或更多个图像信号执行图像处理,并输出经处理的图像信号。
所述图像处理方法还包括:组合从所述像素阵列输出的所述图像信号之中的两个或四个图像信号,对所述两个或四个图像信号执行图像处理,并输出经处理的图像信号。
所述两个或更多个图像信号从相邻像素输出,并且所述多个单元滤波器被布置为使得与所述两个或更多个图像信号相对应的所述多个单元滤波器的中心波长彼此相邻。
所述光谱滤波器还包括与所述多个单元滤波器设置在相同平面上的红色滤色器、绿色滤色器和蓝色滤色器,并且其中所述像素阵列被设置为与所述多个单元滤波器以及所述红色滤色器、所述绿色滤色器和所述蓝色滤色器相对应。
所述图像处理方法还包括:对从所述像素阵列中的与所述红色滤色器、所述绿色滤色器和所述蓝色滤色器相对应的像素输出的图像信号执行图像处理。
所述光谱滤波器还可以包括:空白滤波器,与所述多个单元滤波器设置在相同平面上,并且其中所述空白滤波器被配置为直接透射入射光,并且其中所述像素阵列被设置为与所述多个单元滤波器和所述空白滤波器相对应。
所述图像处理方法还包括:对从所述像素阵列中的与所述空白滤波器相对应的像素输出的图像信号执行图像处理。
所述至少一个第二单元滤波器包括:多个第二金属反射层,彼此间隔开并且包括与所述第一金属不同的第二金属;以及至少一个第二腔,设置在所述多个第二金属反射层之间。
所述至少一个第二单元滤波器包括:多个布拉格反射层,彼此间隔开设置;以及至少一个第二腔,设置在所述多个布拉格反射层之间。
根据本公开的另一个方面,提供了一种图像传感器,包括:光谱滤波器,包括具有不同中心波长的多个单元滤波器;像素阵列,包括被配置为接收透射过所述光谱滤波器的光并且输出图像信号的多个像素;以及处理器,被配置为对从所述像素阵列输出的所述图像信号执行图像处理,其中,所述处理器还被配置为:组合从所述像素阵列输出的所述图像信号之中的两个或更多个图像信号,对所述两个或更多个图像信号执行图像处理,并输出经处理的图像信号。
所述像素阵列包括多个蓝色像素、多个绿色像素和多个红色像素。
所述处理器还被配置为:组合从所述蓝色像素输出的第一图像信号中的至少一个第一图像信号并对所述至少一个第一图像信号执行图像处理,组合从所述绿色像素输出的第二图像信号中的至少一个第二图像信号并对所述至少一个第二图像信号执行图像处理,并且组合从所述红色像素输出的第三图像信号中的至少一个第三图像信号并对所述至少一个第三图像信号执行图像处理。
所述像素阵列还包括一个或多个紫外(UV)像素。
所述处理器还被配置为:组合从所述一个或多个紫外像素输出的UV图像信号中的至少一个UV图像信号并且对所述至少一个UV图像信号执行图像处理。
所述像素阵列还包括一个或多个近红外(NIR)像素。
所述处理器还被配置为:组合从所述一个或多个NIR像素输出的NIR图像信号中的至少一个NIR图像信号并且对所述至少一个NIR图像信号执行图像处理。
所述处理器还被配置为:对与从所述像素阵列输出的所述图像信号中的每一个图像信号有关的光谱信息执行处理并且输出光谱信息。
所述处理器还被配置为:基于与从所述像素阵列输出的图像信号相对应的特定波长范围对所述图像信号中的至少一个图像信号应用权重,并基于所述图像信号之和或所述图像信号之差来执行图像处理。
所述多个单元滤波器包括:具有第一波长范围中的第一中心波长的至少一个第一单元滤波器;以及具有第二波长范围中的第二中心波长的至少一个第二单元滤波器。
所述至少一个第一单元滤波器包括:多个第一金属反射层,彼此间隔开并且包括第一金属;以及至少一个第一腔,设置在所述多个第一金属反射层之间。
所述至少一个第二单元滤波器包括:多个第二金属反射层,彼此间隔开并且包括与所述第一金属不同的第二金属;以及至少一个第二腔,设置在所述多个第二金属反射层之间。
所述至少一个第二单元滤波器包括:多个布拉格反射层,彼此间隔开;以及至少一个第二腔,设置在所述多个布拉格反射层之间。
所述图像传感器还包括时序控制器、行解码器和输出电路。
根据本公开的另一个方面,提供了一种包括所述图像传感器的电子设备。
所述电子设备包括移动电话、智能电话、平板计算机、智能平板计算机、数码相机、录像机、笔记本计算机、电视机、智能电视机、智能冰箱、安全相机、机器人或医用相机。
根据本公开的另一个方面,提供了一种图像处理装置,包括:存储一个或多个指令的存储器;以及处理器,被配置为执行所述一个或多个指令以进行下列操作:接收从包括光谱滤波器和像素阵列的图像传感器输出的图像信号,所述光谱滤波器包括具有不同中心波长的多个单元滤波器;基于波长范围组合从所述图像传感器输出的所述图像信号之中的两个或更多个图像信号;对所述两个或更多个图像信号执行图像处理;以及输出经处理的图像信号。
根据本公开的另一个方面,提供了一种图像处理方法,包括:接收从包括光谱滤波器和像素阵列的图像传感器输出的图像信号,所述光谱滤波器包括具有不同中心波长的多个单元滤波器;基于波长范围组合从所述图像传感器输出的所述图像信号之中的两个或更多个图像信号;对所述两个或更多个图像信号执行图像处理;以及输出经处理的图像信号。
附图说明
根据以下结合附图的描述,本公开的某些示例实施例的上述和其他方面、特征以及优点将更清楚,在附图中:
图1是根据示例实施例的图像传感器的框图;
图2是沿图1的线II-II′截取的光谱滤波器的示意截面图;
图3A是在Cu反射层之间具有TiO2腔的单元滤波器的截面图;
图3B是在图3A所示的结构的上部和下部中的每一个中具有TiO2介电层的单元滤波器的截面图;
图4是图3A的单元滤波器和图3B的单元滤波器的透射光谱的曲线图;
图5是根据另一个示例实施例的光谱滤波器的示意截面图;
图6是图5的光谱滤波器的透射光谱的曲线图;
图7是根据另一个示例实施例的光谱滤波器的示意截面图;
图8示出图7的光谱滤波器的透射光谱;
图9是根据另一个示例实施例的光谱滤波器的示意截面图;
图10是根据另一个示例实施例的光谱滤波器的示意截面图;
图11是根据另一个示例实施例的光谱滤波器的示意截面图;
图12是根据另一个示例实施例的光谱滤波器的示意截面图;
图13是根据另一个示例实施例的光谱滤波器的示意截面图;
图14是根据另一个示例实施例的光谱滤波器的示意截面图;
图15是根据另一个示例实施例的光谱滤波器的示意截面图;
图16是图15的光谱滤波器的透射光谱的曲线图;
图17是根据另一个示例实施例的光谱滤波器的示意截面图;
图18是适用于图1的图像传感器的光谱滤波器的示例的平面图;
图19是适用于图1的图像传感器的光谱滤波器的另一个示例的平面图;
图20是适用于图1的图像传感器的光谱滤波器的另一个示例的平面图;
图21是根据示例实施例的图像传感器的像素阵列的平面图的示例;
图22示出基于图21的像素阵列通过根据示例实施例的图像处理方法获得的透射光谱;
图23是用于描述根据另一个示例实施例的图像处理方法的图;
图24是用于描述根据另一个示例实施例的图像处理方法的图;
图25是根据另一个示例实施例的光谱滤波器的示意截面图;
图26是可以被设置为与图25的光谱滤波器相对应的图像传感器的像素阵列的示例的平面图;
图27示出基于图26的像素阵列通过根据另一个示例实施例的图像处理方法获得的透射光谱的示例;
图28是根据另一个示例实施例的光谱滤波器的示意截面图;
图29是可以被设置为与图28的光谱滤波器相对应的图像传感器的像素阵列的示例的平面图;
图30示出基于图29的像素阵列通过根据示例实施例的图像处理方法获得的透射光谱的示例;
图31是根据另一个示例实施例的光谱滤波器的示意截面图;
图32是根据示例实施例的宽带滤波器的示意截面图;
图33是根据另一个示例实施例的宽带滤波器的示意截面图;
图34是根据另一个示例实施例的光谱滤波器的示意截面图;
图35是根据示例实施例的包括图像传感器的电子设备的示意框图;
图36是图35的相机模块的示意框图;以及
图37至图46示出应用了根据示例实施例的图像传感器的电子设备的各种示例。
具体实施方式
现在将详细参考实施例,在附图中示出实施例的示例,其中在全部附图中相似的附图标记表示相似的元件。在这个方面,示例实施例可以具有不同形式,并且不应当被解释为受限于本文所阐述的描述。因此,下面仅通过参考附图描述示例实施例,以解释各个方面。如本文中所使用的术语“和/或”包括相关列出项目中的一个或多个的任何和所有组合。诸如“…中的至少一个”之类的表述当在元件列表之前时修饰整个元件列表,而不是修饰列表中的单独元件。
现在将详细参考实施例,其示例在附图中示出。在以下附图中,类似的附图标记表示类似的元件。为了便于解释和为了清楚起见,可以放大附图中所示的每个构成元件的尺寸。在上文中,虽然已经描述了示例实施例,但是这些实施例仅是示例性的,并且本公开所属领域的技术人员可以基于这些描述进行各种修改和改变。
当一个构成元件设置在另一个构成元件“上方”或“上”时,该构成元件不仅可以包括直接接触该另一构成元件的上侧/下侧/左侧/右侧的元件,还可以包括以非接触方式设置在该另一构成元件的上方/下方/左方/右方的元件。如本文中使用的,单数形式“一”、“一个”和“该”意在还包括复数形式,除非上下文明确地给出相反的指示。还应理解,在本文中使用的术语“包括”和/或“包含”表明存在所陈述的特征或组件,但是不排除存在或添加一个或多个其它特征或组件。
在描述本公开的上下文中使用术语“一”、“一个”和“该”及类似指代词应被解释为涵盖单数和复数两种情况。此外,可以按照任何适当顺序执行本文中描述的所有方法的步骤,除非本文中另外指出或者上下文另外明确地相反指示。本公开不限于所描述的步骤的顺序。
此外,说明书中陈述的诸如“部”、“单元”、“模块”和“块”之类的术语可以表示用于处理至少一个功能或操作的单元,并且该单元可以通过硬件、软件或硬件和软件的组合来实现。
此外,所呈现的各附图中示出的连接线或连接件意在表示各种元件之间的功能关系和/或物理或逻辑耦接。
本文中提供的任何和所有示例或语言(例如,“诸如”)的使用仅意在更好地阐述本公开且不对本公开的范围施加限制,除非另外要求。
图1是根据示例实施例的图像传感器1000的示意框图。
参考图1,图像传感器1000可以包括光谱滤波器1100、像素阵列4100、时序控制器4010、行解码器4020、输出电路4030和处理器4200。图像传感器可以包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器,但是本公开不限于此。
光谱滤波器1100可以包括多个单元滤波器,所述多个单元滤波器透射不同波长范围的光并且以二维方式布置。像素阵列4100可以包括多个像素,所述多个像素检测透射过单元滤波器的不同波长的光。详细地,像素阵列4100可以包括沿多行多列二维布置的像素。行解码器4020可以基于从时序控制器4010输出的行地址信号,选择像素阵列4100的行之一。输出电路4030可以从布置在选定行中的像素以列为单位输出光检测信号。为此,输出电路4030可以包括列解码器和模数转换器(ADC)。例如,输出电路4030可以包括:在列解码器和像素阵列4100之间针对每一列布置的多个ADC、或者在列解码器的输出端布置的单个ADC。时序控制器4010、行解码器4020和输出电路4030可以由单个芯片或分离的芯片实现。通过输出电路4030输出的图像信号可以由处理器4200处理。将在下面描述由处理器4200执行的图像处理方法。处理器4200也可以由具有时序控制器4010、行解码器4020和输出电路4030的单个芯片实现。像素阵列4100可以包括检测不同波长的光的多个像素,并且像素可以以各种方法布置。
在下面的描述中,详细地描述图像传感器1000的光谱滤波器1100。图2是沿图1所示的线II-II′截取的光谱滤波器的截面图。
参考图1和图2,光谱滤波器1100可以包括以二维方式布置的多个单元滤波器。图2示出了六个单元滤波器111、112、113、121、122和123的截面的示例。
光谱滤波器1100可以包括布置在平面上的第一滤波器阵列110和第二滤波器阵列120。虽然第一滤波器阵列110和第二滤波器阵列120可以布置在基本相同的平面上,但是本公开不限于此。因此,根据另一个示例实施例,第一滤波器阵列110和第二滤波器阵列120可以布置在不同的平面上。第一滤波器阵列110可以包括具有第一波长范围中的中心波长的至少一个单元滤波器。第一波长范围可以是例如约250nm到约600nm的范围。然而,这仅是示例性的,并且第一波长范围还可以是根据设计条件的各种波长范围。图2示出了第一滤波器阵列110包括第一单元滤波器111、第二单元滤波器112和第三单元滤波器113的情况。
第二滤波器阵列120可以包括具有第二波长范围中的中心波长的至少一个单元滤波器。第二波长范围可以长于第一波长范围。例如,第二波长范围可以是约600nm到约1100nm的范围。然而,这仅是示例性的,并且第二波长范围还可以是根据设计条件的各种波长范围。图2示出了第二滤波器阵列120包括第四单元滤波器121、第五单元滤波器122和第六单元滤波器123的情况。
虽然图2示出了第一滤波器阵列110和第二滤波器阵列120中的每一个包括三个单元滤波器111、112和113以及121、122和123的情况,但这仅是示例性的,并且构成第一滤波器阵列110和第二滤波器阵列120中的每一个的单元滤波器的数量可以进行不同地改变。
构成第一滤波器阵列110的第一单元滤波器111、第二单元滤波器112和第三单元滤波器113中的每一个可以透射具有第一波长范围中的特定中心波长的光,并且具有法布里-珀罗结构,在法布里-珀罗结构中,腔141、142和143设置在彼此间隔开的两个第一金属反射层131和132之间。
当光通过透射过第一金属反射层131和132而入射到腔141、142和143上时,光可以在腔141、142和143内部在第一金属反射层131和132之间往复运动,在其间发生相长干涉和相消干涉。具有特定中心波长并且满足相长干涉条件的光可以出射到第一单元滤波器111、第二单元滤波器112和第三单元滤波器113中的每一个的外部。通过第一单元滤波器111、第二单元滤波器112和第三单元滤波器113的光的波段和中心波长可以根据第一金属反射层131和132的反射波段以及腔141、142和143的特性来确定。
第一金属反射层131和132可以包括能够反射第一波长范围中的光的第一金属。例如,第一金属可以包括Al、Ag、Au、TiN等。然而,本公开不限于此。在示例实施例中,第一金属反射层131和132可以具有几十纳米的厚度。然而,本公开不限于这个示例实施例。因此,根据另一个示例实施例,第一金属反射层131和132可以具有约10nm到约30nm的厚度。
设置在第一金属反射层131和132之间的作为谐振层的腔141、142和143可以包括具有特定折射率的介电材料。例如,腔141、142和143可以包括硅、氧化硅、氮化硅、氧化铪或氧化钛。然而,本公开不限于此。
第一单元滤波器111、第二单元滤波器112和第三单元滤波器113可以具有第一波长范围中的不同中心波长。为此,第一单元滤波器111、第二单元滤波器112和第三单元滤波器113可以分别包括具有不同厚度的第一腔141、第二腔142和第三腔143。图2示出了第二腔142比第一腔141厚并且第三腔143比第二腔142厚的情况。在这种情况下,在第一单元滤波器111、第二单元滤波器112和第三单元滤波器113中,第三单元滤波器113可以具有最长的中心波长,并且第一单元滤波器111可以具有最短的中心波长。此外,一些单元滤波器可以根据腔的厚度而具有多个中心波长。
构成第二滤波器阵列120的第四单元滤波器121、第五单元滤波器122和第六单元滤波器123中的每一个可以透射具有第二波长范围中的特定中心波长的光,并且可以具有法布里-珀罗结构,在法布里-珀罗结构中,腔161、162和163设置在彼此间隔开的两个第二金属反射层151和152之间。通过第四单元滤波器121、第五单元滤波器122和第六单元滤波器123的光的波段和中心波长可以根据第二金属反射层151和152的反射波段以及腔161、162和163的特性来确定。
第二金属反射层151和152可以包括能够反射第二波长范围中的光的第二金属。例如,第二金属可以包括Cu、Ag、Au、TiN等。然而,本公开不限于此。第二金属反射层可以具有几十纳米的厚度,但这仅是示例性的。在一个具体示例中,第二金属反射层151和152可以具有约40nm到约50nm的厚度。
构成第二金属反射层151和152的第二金属可以是与构成上述第一金属反射层131和132的第一金属不同的金属。例如,当第一金属反射层131和132包括Al时,第二金属反射层151和152可以包括Cu。此外,例如,当第一金属反射层131和132包括Al时,第二金属反射层151和152可以包括Ag。此外,例如,当第一金属反射层131和132包括Ag时,第二金属反射层151和152可以包括Cu。
设置在第二金属反射层151和152之间的作为谐振层的腔161、162和163可以包括具有特定折射率的介电材料。例如,腔161、162和163可以包括硅、氧化硅、氮化硅、氧化铪或氧化钛。
设置在第二金属反射层151和152之间的腔161、162和163可以包括与设置在第一金属反射层131和132之间的腔141、142和143相同的材料。在这种情况下,设置在第二金属反射层151和152之间的腔161、162和163的厚度可以与设置在第一金属反射层131和132之间的腔141、142和143的厚度不同。设置在第二金属反射层151和152之间的腔161、162和163可以包括与设置在第一金属反射层131和132之间的腔141、142和143不同的材料。
第四单元滤波器121、第五单元滤波器122和第六单元滤波器123可以具有第二波长范围中的不同中心波长。为此,第四单元滤波器121、第五单元滤波器122和第六单元滤波器123可以包括具有不同厚度的第四腔161、第五腔162和第六腔163。图2示出了第五腔162比第四腔161厚并且第六腔163比第五腔162厚的情况。在这种情况下,在第四单元滤波器121、第五单元滤波器122和第六单元滤波器123中,第六单元滤波器123可以具有最长的中心波长,并且第四单元滤波器121可以具有最短的中心波长。此外,一些单元滤波器可以根据腔的厚度而具有多个中心波长。
如上所述,因为在第一金属反射层131和132之间设置有腔141、142和143的第一滤波器阵列110和在第二金属反射层151和152之间设置有腔161、162和163的第二滤波器阵列120布置在平面上,所以可以实现具有包括第一波长范围和第二波长范围(例如,从紫外到近红外的波长范围)在内的宽带的特性的光谱滤波器。
图3A是在Cu反射层之间具有TiO2腔的单元滤波器11的截面图。图3B是在图3A的结构的上部和下部中的每一个中具有TiO2介电层的单元滤波器21的截面图。
图4是图3A的单元滤波器11和图3B的单元滤波器21的透射光谱的曲线图。在图4中,“A”表示图3A的单元滤波器11的透射光谱,并且“B”表示图3B的单元滤波器21的透射光谱。参考图4,可以看出,图3B的单元滤波器21比图3A的单元滤波器11具有更高的透射率。
因此,可以通过在Cu反射层之间具有TiO2腔的结构的上部和下部中的每一个中进一步设置TiO2介电层来实现具有提高透射率的单元滤波器21。TiO2介电层的厚度可以根据单元滤波器21的中心波长来调整。
图5是根据另一个示例实施例的光谱滤波器1200的示意截面图。
参考图5,第一滤波器阵列210可以包括具有第一波长范围中的中心波长的第一单元滤波器211、第二单元滤波器212和第三单元滤波器213。第二滤波器阵列220可以包括具有第二波长范围中的中心波长的第四单元滤波器221、第五单元滤波器222和第六单元滤波器223。
构成第一滤波器阵列210的第一单元滤波器211、第二单元滤波器212和第三单元滤波器213中的每一个可以包括:彼此间隔开设置的两个第一金属反射层131和132;设置在第一金属反射层131和132之间的腔141、142和143;以及设置在腔141、142和143中的每一个的下方的第一介电层171和设置在腔141、142和143中的每一个的上方的第二介电层172。第一单元滤波器211、第二单元滤波器212和第三单元滤波器213可以包括具有不同厚度的第一腔141、第二腔142和第三腔143,因此,第一单元滤波器211、第二单元滤波器212和第三单元滤波器213可以具有第一波长范围中的不同中心波长。第一金属反射层131和132以及第一腔141、第二腔142和第三腔143如上所述。
第一介电层171可以设置在第一金属反射层131下方,并且第二介电层172可以设置在第一金属反射层132上方。第一介电层171和第二介电层172可以提高第一单元滤波器211、第二单元滤波器212和第三单元滤波器213的透射率。第一介电层171和第二介电层172可以具有单层结构。第一介电层171和第二介电层172中的每一个可以包括例如氧化钛、氮化硅、氧化铪、氧化硅、高折射率聚合物等。然而,这仅是示例性的。
第一介电层171和第二介电层172的厚度可以根据第一单元滤波器211、第二单元滤波器212和第三单元滤波器213的中心波长而改变。图5示出了第一介电层171和第二介电层172的厚度随着第一单元滤波器211、第二单元滤波器212和第三单元滤波器213的中心波长增大而增大的情况。虽然第一介电层171和第二介电层172中的每一个的厚度可以是约10nm到约20000nm,但是本公开不限于此。
构成第二滤波器阵列220的第四单元滤波器221、第五单元滤波器222和第六单元滤波器223中的每一个可以包括:彼此间隔开设置的两个第二金属反射层151和152;设置在第二金属反射层151和152之间的腔161、162和163;以及分别设置在腔161、162和163中的每一个的下方和上方的第三介电层181和第四介电层182。第四单元滤波器221、第五单元滤波器222和第六单元滤波器223可以包括具有不同厚度的第四腔161、第五腔162和第六腔163,以具有第二波长范围中的不同中心波长。第二金属反射层151和152以及第四腔161、第五腔162和第六腔163如上所述。
第三介电层181可以设置在第二金属反射层151下方,并且第四介电层182可以设置在第二金属反射层152上方。第三介电层181和第四介电层182可以提高第四单元滤波器221、第五单元滤波器222和第六单元滤波器223的透射率。第三介电层181和第四介电层182可以具有单层结构。与上述第一介电层171和第二介电层172相似,第三介电层181和第四介电层182中的每一个可以包括例如氧化钛、氮化硅、氧化铪、氧化硅、高折射率聚合物等,但是本公开不限于此。
第三介电层181和第四介电层182的厚度可以根据第四单元滤波器221、第五单元滤波器222和第六单元滤波器223的中心波长而改变。图5示出了第三介电层181和第四介电层182的厚度随着第四单元滤波器221、第五单元滤波器222和第六单元滤波器223的中心波长增大而增大的情况。虽然第三介电层181和第四介电层182中的每一个的厚度可以是约10nm到约20000nm,但是本公开不限于此。
图6是图5的光谱滤波器1200的透射光谱的曲线图。第一金属反射层131和132包括Al并且第二金属反射层151和152包括Cu,并且第一腔至第六腔141、142、143、161、162和163包括TiO2。第一介电层171、第二介电层172、第三介电层181和第四介电层182都包括TiO2。在图6中,“C1”表示第一滤波器阵列210的透射光谱,并且“C2”表示第二滤波器阵列220的透射光谱。
图7是根据另一个示例实施例的光谱滤波器1300的示意截面图。
参考图7,第一滤波器阵列310可以包括具有第一波长范围中的中心波长的至少一个单元滤波器。第二滤波器阵列320可以包括具有第二波长范围中的中心波长的至少一个单元滤波器。
图7示出了第一滤波器阵列310包括一个单元滤波器(第一单元滤波器315)并且第二滤波器阵列320包括一个单元滤波器(第二单元滤波器325)的情况。然而,为了便于说明,仅仅示出了一个第一单元滤波器和一个第二单元滤波器,并且因此,当第一滤波器阵列310和第二滤波器阵列320中的每一个包括多个单元滤波器时,这些单元滤波器可以包括不同厚度的腔。
构成第一滤波器阵列310的第一单元滤波器315可以包括:彼此间隔开布置的两个第一金属反射层131和132;设置在第一金属反射层131和132之间的第一腔145;以及分别设置在第一腔145的下方和上方的第一介电层371和第二介电层372。
第一介电层371可以设置在第一金属反射层131下方,并且第二介电层372可以设置在第一金属反射层132上方。第一介电层371和第二介电层372中的每一个可以包括氧化钛、氮化硅、氧化铪、氧化硅、高折射率聚合物等,但是本公开不限于此。
第一介电层371可以具有单层结构。然而,本公开不限于此,并且第一介电层371可以具有多层结构。第二介电层372可以具有多层结构。例如,第二介电层372可以具有彼此不同的第一材料层372a和第二材料层372b交替堆叠的结构。构成第二介电层372的材料层的厚度和数量可以根据第一单元滤波器315的中心波长来调整。第二介电层372可以包括彼此不同的三个或更多个材料层。
构成第二滤波器阵列320的第二单元滤波器325可以包括:彼此间隔开布置的第二金属反射层151和152;设置在第二金属反射层151和152之间的第二腔165;以及分别设置在第二腔165的下方和上方的第三介电层381和第四介电层382。
第三介电层381可以设置在第二金属反射层151下方,并且第四介电层382可以设置在第二金属反射层152上方。与第一介电层371和第二介电层372相似,第三介电层381和第四介电层382可以包括氧化钛、氮化硅、氧化铪、氧化硅、高折射率聚合物等,但是本公开不限于此。
第三介电层381可以具有单层结构或多层结构。第四介电层382可以具有多层结构。例如,第四介电层382可以具有彼此不同的第一材料层382a和第二材料层382b交替堆叠的结构。构成第四介电层382的材料层的厚度和数量可以根据第二单元滤波器325的中心波长来调整。第四介电层382可以包括彼此不同的三个或更多个材料层。
图8是图7的光谱滤波器1300的透射光谱的曲线图。图8示出了如下情况下的透射光谱:在图7的光谱滤波器1300中,第一滤波器阵列310包括具有不同中心波长的七个单元滤波器,并且第二滤波器阵列320包括具有不同中心波长的九个单元滤波器。
第一金属反射层131和132包括Al,第二金属反射层151和152包括Cu,并且第一腔145和第二腔165中的每一个包括TiO2和SiN的多层膜。第一介电层371和第三介电层381中的每一个包括SiN,并且第二介电层372和第四介电层382中的每一个可以包括TiO2和SiN的多层膜。在图8中,“D1”表示第一滤波器阵列310的透射光谱,并且“D2”表示第二滤波器阵列320的透射光谱。参考图8,可以看出,光谱滤波器1300实现了宽带特性和高透射率。
图9是根据示例实施例的光谱滤波器1400的示意截面图。为了便于说明,图9示出了第一滤波器阵列410包括一个单元滤波器(第一单元滤波器415)并且第二滤波器阵列420包括一个单元滤波器(第二单元滤波器425)的情况。
构成第一滤波器阵列410的第一单元滤波器415可以包括:彼此间隔开布置的三个第一金属反射层431、432和433;以及设置在第一金属反射层431、432和433之间的两个第一腔441和442。
第一金属反射层431、432和433中的每一个可以包括能够反射第一波长范围中的光的第一金属。第一腔441和442中的每一个可以包括例如介电材料,诸如硅、氧化硅、氮化硅、氧化铪、氧化钛等。
构成第二滤波器阵列420的第二单元滤波器425可以包括:彼此间隔开布置的三个第二金属反射层451、452和453;以及设置在第二金属反射层451、452和453之间的两个第二腔461和462。
第二金属反射层451、452和453中的每一个可以包括能够反射第二波长范围中的光的第二金属。第二腔461和462中的每一个可以包括例如介电材料,诸如硅、氧化硅、氮化硅、氧化铪、氧化钛等。
虽然第一单元滤波器415和第二单元滤波器425中的每一个在上面被描述为包括两个腔(441和442、以及461和462),但是第一单元滤波器415和第二单元滤波器425中的每一个可以包括三个或更多个腔。此外,虽然第一单元滤波器415和第二单元滤波器425都在上面被描述为包括多腔结构,但是第一单元滤波器415和第二单元滤波器425中的一个可以具有单腔结构并且另一个可以具有多腔结构。
图10是根据另一个示例实施例的光谱滤波器1500的示意截面图。为了便于说明,图10示出了第一滤波器阵列510包括一个单元滤波器(第一单元滤波器515)并且第二滤波器阵列520包括一个单元滤波器(第二单元滤波器525)的情况。
参考图10,构成第一滤波器阵列510的第一单元滤波器515可以包括:彼此间隔开布置的第一金属反射层431、432和433;设置在第一金属反射层431、432和433之间的第一腔441和442;以及分别设置在第一腔441和442的下方和上方的第一介电层571和第二介电层572。第一金属反射层431、432和433以及第一腔441和442如上所述。
第一介电层571可以设置在第一金属反射层431下方,并且第二介电层572可以设置在第一金属反射层433上方。第一介电层571和第二介电层572用于提高透射率,并且可以具有单层或多层结构。虽然第一介电层571和第二介电层572中的每一个可以包括例如氧化钛、氮化硅、氧化铪、氧化硅、高折射率聚合物等,但本公开不限于此。
构成第二滤波器阵列520的第二单元滤波器525可以包括:彼此间隔开布置的第二金属反射层451、452和453;设置在第二金属反射层451、452和453之间的第二腔461和462;以及分别设置在第二腔461和462的下方和上方的第三介电层581和第四介电层582。第二金属反射层451、452和453以及第二腔461和462如上所述。
第三介电层581可以设置在第二金属反射层451下方,并且第四介电层582可以设置在第二金属反射层453上方。虽然第三介电层581和第四介电层582中的每一个可以具有单层或多层结构,并且包括例如氧化钛、氮化硅、氧化铪、氧化硅、高折射率聚合物等,但本公开不限于此。
图11是根据另一个示例实施例的光谱滤波器1600的示意截面图。
参考图11,第一滤波器阵列610可以包括具有第一波长范围中的中心波长的至少一个单元滤波器,并且第二滤波器阵列620可以包括具有第二波长范围中的中心波长的至少一个单元滤波器。图11示出了第一滤波器阵列610包括第一单元滤波器611、第二单元滤波器612和第三单元滤波器613并且第二滤波器阵列620包括第四单元滤波器621、第五单元滤波器622和第六单元滤波器623的情况。
构成第一滤波器阵列610的第一单元滤波器611、第二单元滤波器612和第三单元滤波器613中的每一个可以包括彼此间隔开设置的两个第一金属反射层631和632,并且第一单元滤波器611、第二单元滤波器612和第三单元滤波器613可以分别包括设置在第一金属反射层631和632之间的第一腔641、第二腔642和第三腔643。因为第一金属反射层631和632如上所述,所以省略了其描述。
第一单元滤波器611、第二单元滤波器612和第三单元滤波器613可以具有第一波长范围中的不同中心波长。为此,第一单元滤波器611、第二单元滤波器612和第三单元滤波器613可以分别包括具有不同的有效折射率的第一腔641、第二腔642和第三腔643。第一腔641、第二腔642和第三腔643中的每一个可以包括:第一材料层;以及布置在第一材料层内部并且具有与第一材料层不同的折射率的至少一个第二材料层。
图11示出了第一腔641、第二腔642和第三腔643中的每一个包括第一材料层和彼此平行并且与第一金属反射层631垂直地布置在第一材料层内部的多个第二材料层的情况。第一材料层和第二材料层中的每一个可以包括例如硅、氧化硅、氮化硅或氧化钛等。在一个具体示例中,第一材料层可以包括氧化硅,并且第二材料层可以包括氧化钛。
在第一腔641、第二腔642和第三腔643中,可以通过调整第二材料层的宽度来改变有效折射率。图11示出了第二材料层具有从第一腔641到第三腔643逐渐增大的宽度的情况。在这种情况下,在第一腔641、第二腔642和第三腔643中,第三腔643可以具有最高的有效折射率,并且第一腔641可以具有最低的有效折射率。在第一单元滤波器611、第二单元滤波器612和第三单元滤波器613中,第三单元滤波器613可以具有最长的中心波长,并且第一单元滤波器611可以具有最短的中心波长。此外,一些单元滤波器可以根据腔的厚度或有效折射率而具有多个中心波长。
虽然上面描述了多个第二材料层垂直于第一金属反射层631布置的情况,但本公开不限于此,并且第二材料层可以平行于第一金属反射层631布置。
构成第二滤波器阵列620的第四单元滤波器621、第五单元滤波器622和第六单元滤波器623中的每一个可以包括:彼此间隔开设置的第二金属反射层651和652;以及设置在第二金属反射层651和652之间的第四腔661、第五腔662和第六腔663。因为第二金属反射层651和652如上所述,所以省略了其描述。
第四单元滤波器621、第五单元滤波器622和第六单元滤波器623可以具有第二波长范围中的不同中心波长。为此,第四单元滤波器621、第五单元滤波器622和第六单元滤波器623可以分别包括具有不同的有效折射率的第四腔661、第五腔662和第六腔663。第四腔661、第五腔662和第六腔663中的每一个可以包括:第一材料层;以及布置在第一材料层内部并且具有与第一材料层不同的折射率的至少一个第二材料层。
图11示出了第四腔661、第五腔662和第六腔663中的每一个包括第一材料层和彼此平行并且与第二金属反射层651垂直地布置在第一材料层内部的多个第二材料层的情况。第一材料层和第二材料层中的每一个可以包括例如硅、氧化硅、氮化硅或氧化钛等。
在第四腔661、第五腔662和第六腔663中,可以通过调整第二材料层的宽度来改变有效折射率。图11示出了第二材料层具有从第四腔661到第六腔663逐渐增大的宽度的情况。在这种情况下,在第四腔661、第五腔662和第六腔663中,第六腔663可以具有最高的有效折射率,并且第四腔661可以具有最低的有效折射率。在第四单元滤波器621、第五单元滤波器622和第六单元滤波器623中,第六单元滤波器623可以具有最长的中心波长,并且第四单元滤波器621可以具有最短的中心波长。此外,一些单元滤波器可以根据腔的厚度或有效折射率而具有多个中心波长。
作为示例描述了第一滤波器阵列610和第二滤波器阵列620都具有单腔结构的情况。然而,第一滤波器阵列610和第二滤波器阵列620都可以具有多腔结构。此外,第一滤波器阵列610和第二滤波器阵列620中的一个可以具有单腔结构,并且另一个可以具有多腔结构。
图12是根据另一个示例实施例的光谱滤波器1700的示意截面图。除了腔还包括蚀刻停止层以外,图12的光谱滤波器1700与图11的光谱滤波器1600相同。
构成第一滤波器阵列710的第一单元滤波器711、第二单元滤波器712和第三单元滤波器713可以包括具有不同的有效折射率的第一腔741、第二腔742和第三腔743。第一腔741、第二腔742和第三腔743中的每一个可以包括:设置在第一金属反射层631上的蚀刻停止层740a;设置在蚀刻停止层740a上的第一材料层;以及布置在第一材料层内部的至少一个第二材料层。蚀刻停止层740a可以促进用于形成腔的图案化工艺。虽然蚀刻停止层740a可以包括例如氧化硅、氧化钛或氧化铪等,但本公开不限于此。
构成第二滤波器阵列720的第四单元滤波器721、第五单元滤波器722和第六单元滤波器723可以分别包括具有不同的有效折射率的第四腔761、第五腔762和第六腔763。第四腔761、第五腔762和第六腔763中的每一个可以包括:设置在第二金属反射层651上的蚀刻停止层760a;设置在蚀刻停止层760a上的第一材料层;以及布置在第一材料层内部的至少一个第二材料层。
图13是根据另一个示例实施例的光谱滤波器1800的示意截面图。图13的光谱滤波器1800可以与图12的光谱滤波器1700基本上相同,除了第一介电层871和第二介电层872被分别设置在第一滤波器阵列810的下部和上部并且第三介电层881和第四介电层882被分别设置在第二滤波器阵列820的下部和上部。
参考图13,构成第一滤波器阵列810的第一单元滤波器811、第二单元滤波器812和第三单元滤波器813可以包括:彼此间隔开布置的第一金属反射层631和632;设置在第一金属反射层631和632之间的第一腔841、第二腔842和第三腔843;以及分别设置在第一腔841、第二腔842和第三腔843下方和上方的第一介电层871和第二介电层872。第一单元滤波器811、第二单元滤波器812和第三单元滤波器813可以分别包括具有不同的有效折射率的第一腔841、第二腔842和第三腔843,以具有第一波长范围中的不同中心波长。
第一介电层871可以设置在第一金属反射层631下方,并且第二介电层872可以设置在第一金属反射层632上方。第一介电层871和第二介电层872用于提高第一单元滤波器811、第二单元滤波器812和第三单元滤波器813的透射率。
第一介电层871和第二介电层872中的每一个可以包括:第一材料层;以及布置在第一材料层内部并且具有与第一材料层不同的折射率的至少一个第二材料层。第一材料层和第二材料层中的每一个可以包括例如氧化钛、氮化硅、氧化铪、氧化硅、高折射率聚合物等,但是本公开不限于此。可以通过根据第一单元滤波器811、第二单元滤波器812和第三单元滤波器813的中心波长改变第二材料层的宽度来调整第一介电层871和第二介电层872的有效折射率。第一介电层871和第二介电层872中的每一个还可以包括蚀刻停止层。
构成第二滤波器阵列820的第四单元滤波器821、第五单元滤波器822和第六单元滤波器823中的每一个可以包括:彼此间隔开布置的第二金属反射层651和652;设置在第二金属反射层651和652之间的第四腔861、第五腔862和第六腔863;以及分别设置在第四腔861、第五腔862和第六腔863的下方和上方的第三介电层881和第四介电层882。第四单元滤波器821、第五单元滤波器822和第六单元滤波器823可以分别包括具有不同的有效折射率的第四腔861、第五腔862和第六腔863,以具有第二波长范围中的不同中心波长。
第三介电层881可以设置在第二金属反射层651下方,并且第四介电层882可以设置在第二金属反射层652上方。第三介电层881和第四介电层882中的每一个可以包括:第一材料层;以及布置在第一材料层内部并且具有与第一材料层不同的折射率的至少一个第二材料层。可以通过根据第四单元滤波器821、第五单元滤波器822和第六单元滤波器823的中心波长改变第二材料层的宽度来调整第三介电层881和第四介电层882的有效折射率。第三介电层881和第四介电层882中的每一个还可以包括蚀刻停止层。
图14是根据另一个示例实施例的光谱滤波器1900的示意截面图。
参考图14,第一滤波器阵列910可以包括具有第一波长范围中的中心波长的至少一个单元滤波器,并且第二滤波器阵列920可以包括具有第二波长范围中的中心波长的至少一个单元滤波器。图14示出了第一滤波器阵列910包括第一单元滤波器911、第二单元滤波器912和第三单元滤波器913并且第二滤波器阵列920包括第四单元滤波器921、第五单元滤波器922和第六单元滤波器923的情况。
第一波长范围可以短于第二波长范围。例如,第一波长范围可以是约250nm到约600nm的范围,第二波长范围可以是约600nm到约1100nm的范围。然而,这仅是示例性的,并且第一波长范围和第二波长范围可以根据设计条件进行不同地改变。备选地,第一波长范围可以长于第二波长范围。
构成透射具有第一波长范围中的特定中心波长的光的第一滤波器阵列910的第一单元滤波器911、第二单元滤波器912和第三单元滤波器913中的每一个可以具有法布里-珀罗结构,在法布里-珀罗结构中,腔941、942和943设置在彼此间隔开的两个金属反射层931和932之间。
当光通过透射过金属反射层931和932而入射到第一腔941、第二腔942和第三腔943上时,光可以在第一腔941、第二腔942和第三腔943内部在金属反射层931和932之间往复运动,在其间发生相长干涉和相消干涉。具有特定中心波长并且满足相长干涉条件的光可以出射到第一单元滤波器911、第二单元滤波器912和第三单元滤波器913中的每一个的外部。通过第一单元滤波器911、第二单元滤波器912和第三单元滤波器913的光的波段和中心波长可以根据金属反射层931和932的反射波段以及第一腔941、第二腔942和第三腔943的特性来确定。
金属反射层931和932可以包括能够反射第一波长范围中的光的特定金属。当第一波长范围短于第二波长范围时,金属反射层931和932中的每一个可以包括例如Al、Ag、Au、TiN等。当第一波长范围长于第二波长范围时,金属反射层931和932可以包括例如Cu、Ag、Au、TiN等。然而,这仅是示例性的。虽然金属反射层931和932可以具有几十纳米的厚度,但本公开不限于此。
虽然设置在金属反射层931和932之间的第一腔941、第二腔942和第三腔943可以包括例如硅、氧化硅、氮化硅或氧化钛,但本公开不限于此。第一单元滤波器911、第二单元滤波器912和第三单元滤波器913可以具有第一波长范围中的不同中心波长。为此,第一单元滤波器911、第二单元滤波器912和第三单元滤波器913可以分别包括具有不同厚度的第一腔941、第二腔942和第三腔943。虽然未示出,但是因为第一单元滤波器911、第二单元滤波器912和第三单元滤波器913包括具有不同的有效折射率的腔,所以第一单元滤波器911、第二单元滤波器912和第三单元滤波器913可以具有不同的中心波长。
构成透射具有第二波长范围中的特定中心波长的光的第二滤波器阵列920的第四单元滤波器921、第五单元滤波器922和第六单元滤波器923中的每一个可以具有法布里-珀罗结构,在法布里-珀罗结构中,第四腔961、第五腔962和第六腔963设置在彼此间隔开的两个布拉格反射层951和952之间。
当光通过透射过布拉格反射层951和952而入射到第四腔961、第五腔962和第六腔963上时,光可以在第四腔961、第五腔962和第六腔963内部在布拉格反射层951和952之间往复运动,在其间发生相长干涉和相消干涉。具有特定中心波长并且满足相长干涉条件的光可以出射到第四单元滤波器921、第五单元滤波器922和第六单元滤波器923中的每一个的外部。通过第一单元滤波器911、第二单元滤波器912和第三单元滤波器913的光的波段和中心波长可以根据布拉格反射层951和952的反射波段以及第四腔961、第五腔962和第六腔963的特性来确定。
布拉格反射层951和952可以包括分布式布拉格反射器(DBR)。布拉格反射层951和952中的每一个可以具有以下结构:其中具有不同折射率的至少一个第一材料层951a和952a和至少一个第二材料层951b和952b交替地堆叠。第一材料层951a和952a或者第二材料层951b和952b可以包括例如氧化硅、氧化钛、氮化硅或硅。然而,这仅是示例性的。
当构成布拉格反射层951和952的第一材料层951a和952a以及第二材料层951b和952b中的任意一个包括能够吸收第一波长范围中的光(即,短波长的光)的材料(例如硅等)时,可以防止第一波长范围中的光透射过第四单元滤波器921、第五单元滤波器922和第六单元滤波器923。
虽然设置在布拉格反射层951和952之间的第四腔961、第五腔962和第六腔963可以包括例如硅、氧化硅、氮化硅、氧化铪或氧化钛,但本公开不限于此。
第四单元滤波器921、第五单元滤波器922和第六单元滤波器923可以具有第二波长范围中的不同中心波长。为此,第四单元滤波器921、第五单元滤波器922和第六单元滤波器923可以包括具有不同厚度的第四腔961、第五腔962和第六腔963。虽然未示出,但是因为第四单元滤波器921、第五单元滤波器922和第六单元滤波器923包括具有不同的有效折射率的腔,所以第四单元滤波器921、第五单元滤波器922和第六单元滤波器923可以具有不同的中心波长。
如上所述,因为在金属反射层931和932之间设置有第一腔941、第二腔942和第三腔943的第一滤波器阵列910以及在布拉格反射层951和952之间设置有第四腔961、第五腔962和第六腔963的第二滤波器阵列920被布置在平面上,所以可以实现具有包括第一波长范围和第二波长范围在内的宽带的特性的光谱滤波器。
图15是根据另一个示例实施例的光谱滤波器2000的示意截面图。为了便于说明,图15示出了第一滤波器阵列1010包括一个单元滤波器(第一单元滤波器1015)并且第二滤波器阵列1020包括一个单元滤波器(第二单元滤波器1025)的情况。
参考图15,构成第一滤波器阵列1010的第一单元滤波器1015可以包括:彼此间隔开布置的两个金属反射层1031和1032;以及设置在金属反射层1031和1032之间的第一腔1045。金属反射层1031和1032以及第一腔1045如上所述。
构成第二滤波器阵列1020的第二单元滤波器1025可以具有多腔结构。具体地,第二单元滤波器1025可以包括:彼此间隔开布置的三个布拉格反射层1051、1052和1053;以及设置在布拉格反射层1051、1052和1053之间的两个第二腔1061和1062。布拉格反射层1051、1052和1053以及第二腔1061和1062如上所述。构成布拉格反射层1051、1052和1053中的每一个的第一材料层和第二材料层的数量可以进行不同地改变。虽然图15示出了包括第二腔1061和1062的第二单元滤波器1025的情况,但本公开不限于此,并且第二单元滤波器1025可以包括三个或更多个腔。
图16是图15的光谱滤波器2000的透射光谱的曲线图。图16示出了如下情况下的透射光谱:在图15的光谱滤波器2000中,第一滤波器阵列1010包括具有不同中心波长的四个单元滤波器并且第二滤波器阵列1020包括具有不同中心波长的四个单元滤波器。
在第一滤波器阵列1010中,金属反射层1031和1032包括Al,并且第一腔1045包括TiO2和SiN的多层膜。在第二滤波器阵列1020中,布拉格反射层1051、1052和1053中的每一个可以包括Si和SiO2,并且第二腔1061和1062包括SiO2。在图16中,“S1”指示第一滤波器阵列1010的透射光谱,并且“S2”指示第二滤波器阵列1020的透射光谱。
在上面的描述中,描述了第一单元滤波器1015具有单腔结构并且第二单元滤波器1025具有多腔结构的情况。然而,第一单元滤波器1015可以具有多腔结构并且第二单元滤波器1025可以具有单腔结构。此外,第一单元滤波器1015和第二单元滤波器1025两者都可以具有多腔结构。
图17是根据另一个示例实施例的光谱滤波器2100的示意截面图。
参考图17,光谱滤波器2100可以包括:第一滤波器阵列1110和第二滤波器阵列1120;以及设置在第一滤波器阵列1110和第二滤波器阵列1120上的微透镜阵列1150。第一滤波器阵列1110可以包括具有第一波长范围中的中心波长的第一单元滤波器1111、第二单元滤波器1112和第三单元滤波器1113,并且第二滤波器阵列1120可以包括具有第二波长范围中的中心波长的第四单元滤波器1121、第五单元滤波器1122和第六单元滤波器1123。
第一滤波器阵列1110可以包括上述第一滤波器阵列110至1010中的任意一个,并且第二滤波器阵列1120可以包括上述第二滤波器阵列120至1020中的任意一个。省略了第一滤波器阵列1110和第二滤波器阵列1120的描述。
具有多个微透镜1150a的微透镜阵列1150可以设置在第一滤波器阵列1110和第二滤波器阵列1120上方。微透镜1150a可以用于聚焦外部光,以使其入射到对应的单元滤波器1111、1112、1113、1121、1122和1123上。
图17示出了微透镜1150a设置为与单元滤波器1111、1112、1113、1121、1122和1123具有一一对应关系的情况。然而,这仅是示例性的,并且单元滤波器1111、1112、1113、1121、1122和1123中的至少两个可以设置为对应于一个微透镜1150a。
根据上述示例实施例的光谱滤波器可以设置在图像传感器1000(即,图1中的图像传感器)中,并且图像传感器1000的像素阵列4100可以接收透射过光谱滤波器的光,将光转换成电图像信号,并输出电图像信号。此外,从像素阵列4100输出的图像信号可以在由处理器4200进行图像处理以后输出。像素阵列4100可以被设置为与光谱滤波器的多个单元滤波器相对应。像素阵列4100可以被设置为与多个单元滤波器具有一一对应关系。然而,本公开不限于此,并且两个或更多个像素可以被设置为与一个单元滤波器相对应。
图18是根据示例实施例的适用于图1的图像传感器1000的光谱滤波器9100的示例的平面图。
参考图18,光谱滤波器9100可以包括以二维方式布置的多个滤波器组9110。滤波器组9110中的每一个可以包括以4×4阵列布置的十六个单元滤波器F1至F16。然而,本公开不限于此,由此,根据另一个示例实施例,可以设置不同数量的滤波器组和不同数量的单元滤波器。
第一单元滤波器F1和第二单元滤波器F2可以具有紫外范围中的中心波长UV1和UV2,并且第三单元滤波器至第五单元滤波器F3、F4和F5可以具有蓝光范围中的中心波长B1、B2和B3。第六单元滤波器至第十一单元滤波器F6、F7、F8、F9、F10和F11可以具有绿光范围中的中心波长G1、G2、G3、G4、G5和G6,并且第十二单元滤波器至第十四单元滤波器F12、F13和F14可以具有红光范围中的中心波长R1、R2和R3。第十五单元滤波器F15和第十六单元滤波器F16可以具有近红外范围中的中心波长NIR1和NIR2。
图19是根据另一个示例实施例的适用于图1的图像传感器1000的光谱滤波器9100的另一个示例的平面图。为了便于说明,图19是一个滤波器组9120的平面图。
参考图19,每个滤波器组9120可以包括以3×3阵列布置的九个单元滤波器F1至F9。第一单元滤波器F1和第二单元滤波器F2可以具有紫外范围中的中心波长UV1和UV2,并且第四单元滤波器F4、第五单元滤波器F5和第七单元滤波器F7可以具有蓝光范围中的中心波长B1、B2和B3。第三单元滤波器F3和第六单元滤波器F6可以具有绿光范围中的中心波长G1和G2,并且第八单元滤波器F8和第九单元滤波器F9可以具有红光范围中的中心波长R1和R2。
图20是根据另一个示例实施例的适用于图1的图像传感器1000的光谱滤波器9100的另一个示例的平面图。为了便于说明,图20是一个滤波器组9130的平面图。
参考图20,每个滤波器组9130可以包括以5×5阵列布置的二十五个单元滤波器F1至F25。第一单元滤波器至第三单元滤波器F1、F2和F3可以具有紫外范围中的中心波长UV1、UV2和UV3,并且第六单元滤波器F6、第七单元滤波器F7、第八单元滤波器F8、第十一单元滤波器F11和第十二单元滤波器F12可以具有蓝光范围中的中心波长B1、B2、B3、B4和B5。第四单元滤波器F4、第五单元滤波器F5和第九单元滤波器F9可以具有绿光范围中的中心波长G1、G2和G3,并且第十单元滤波器F10、第十三单元滤波器F13、第十四单元滤波器F14、第十五单元滤波器F15、第十八单元滤波器F18和第十九单元滤波器F19可以具有红光范围中的中心波长R1、R2、R3、R4、R5和R6。第二十单元滤波器F20、第二十三单元滤波器F23、第二十四单元滤波器F24和第二十五单元滤波器F25可以具有近红外范围中的中心波长NIR1、NIR2、NIR3和NIR4。
在下文中,将描述对从图像传感器1000输出的图像信号执行的图像处理方法。
图21是根据示例实施例的图像传感器的像素阵列4110的示例的平面图。
参考图21,像素阵列4110包括以二维方式布置的多个像素P1至P16。图21示出了16个像素P1至P16以4×4阵列布置的情况。图21示出了第一像素P1至第十六像素P16输出UV范围和NIR范围之间的图像信号的情况。然而,这仅是示例性的,由此,根据另一个示例实施例,像素的数量和从像素输出的图像信号的波长范围可以不同。此处,多个单元滤波器可以布置为使其中心波长彼此相邻。然而,本公开不限于此。例如,根据另一个示例实施例,多个单元滤波器可以布置为使其中心波长彼此不相邻。
第一像素P1和第二像素P2可以包括输出紫外范围中的图像信号的紫外像素。在这种情况下,与第一像素P1和第二像素P2相对应的单元滤波器可以具有紫外范围中的中心波长UV1和UV2。第三像素至第五像素P3、P4和P5可以包括输出蓝光范围中的图像信号的蓝色像素。在这种情况下,与第三像素至第五像素P3、P4和P5相对应的单元滤波器可以具有蓝光范围中的中心波长B1、B2和B3。
第六像素至第十一像素P6、P7、P8、P9、P10和P11可以包括输出绿光范围中的图像信号的绿色像素。在这种情况下,与第六像素至第十一像素P6、P7、P8、P9、P10和P11相对应的单元滤波器可以具有绿光范围中的中心波长G1、G2、G3、G4、G5和G6。第十二像素至第十四像素P12、P13和P14可以包括输出红光范围中的图像信号的红色像素。在这种情况下,与第十二像素至第十四像素P12、P13和P14相对应的单元滤波器可以具有红光范围中的中心波长R1、R2和R3。此外,第十五像素P15和第十六像素P16可以包括输出近红外范围中的图像信号的近红外像素。在这种情况下,与第十五像素P15和第十六像素P16相对应的单元滤波器可以具有近红外范围中的中心波长NIR1和NIR2。
图21所示的多个像素P1至P16可以接收透射过光谱滤波器的单元滤波器的光,将光转换成电图像信号,并输出电图像信号。在这种情况下,处理器4200(即,图1中的处理器4200)可以独立地对从多个像素P1至P16输出的图像信号中的每一个图像信号执行图像处理并且输出图像信号。因此,可以通过对从多个像素P1至P16输出的图像信号中的每一个图像信号独立地执行图像处理来获得具有高分辨率的光谱图像。
图22示出了通过由处理器4200对从图21的像素阵列4110中的多个像素P1至P16输出的图像信号中的每一个图像信号独立地执行图像处理所获得的结果。参考图22,因为由处理器4200对16个图像信号P1至P16中的每一个独立地执行图像处理,所以输出了16个透射光谱。
图23和图24示出了处理器4200通过使用像素合并技术来执行图像处理的方法。使用像素合并技术的图像处理方法描述了如下方法:处理器4200组合从两个或更多个相邻像素输出的两个或更多个图像信号并且对该两个或更多个图像信号执行图像处理。例如,当像素阵列包括多个蓝色像素、多个绿色像素和多个红色像素时,处理器4200可以组合从蓝色像素输出的图像信号中的至少一个图像信号并对该至少一个图像信号执行图像处理,组合从绿色像素输出的图像信号中的至少一个图像信号并对该至少一个图像信号执行图像处理,并且组合从红色像素输出的图像信号中的至少一个图像信号并对该至少一个图像信号执行图像处理。
当像素阵列还包括多个UV像素时,处理器4200可以组合从UV像素输出的UV图像信号中的至少一个UV图像信号并且对该至少一个UV图像信号执行图像处理。此外,当像素阵列4100还包括多个NIR像素时,处理器4200可以组合从NIR像素输出的图像信号中的至少一个图像信号并且对该至少一个图像信号执行图像处理。此外,处理器4200可以组合从彼此相邻的不同波长范围中的像素输出的图像信号并且对图像信号执行图像处理。
图23是用于描述根据另一个示例实施例的图像处理方法的图。参考图23,像素阵列4110包括以二维方式布置的多个像素P1至P16。图23的像素P1至P16与图21的像素P1至P16相同,因此省略了其描述。
图23的多个像素P1至P16可以接收透射过光谱滤波器的单元滤波器的光,将光转换成电图像信号,并输出电图像信号。在这种情况下,处理器4200(即,图1中的处理器4200)可以组合从像素P1至P16之中的两个相邻像素输出的两个图像信号,并且对这两个图像信号执行图像处理。与多个像素P1至P16之中的被组合并且进行图像处理的两个像素相对应的单元滤波器可以被布置为使得单元滤波器的中心波长彼此相邻。
如图23所示,当处理器4200组合从多个像素P1至P16之中的两个相邻像素输出的两个图像信号时,从16个像素P1至P16输出的16个图像信号可以由处理器4200图像处理成八个图像信号,并且随后可以输出由处理器4200处理的八个图像信号。如上所述,由于与多个像素P1至P16之中的被组合并且进行图像处理的两个像素相对应的单元滤波器被布置为使得单元滤波器的中心波长彼此相邻,所以可以输出具有高信号强度的八个透射光谱。
图24是用于描述根据另一个示例实施例的图像处理方法的图。
参考图24,像素阵列4110包括以二维方式布置的多个像素P1至P16。图24的像素P1至P16与图21的像素P1至P16相同,因此省略了其描述。
图24的多个像素P1至P16可以接收透射过光谱滤波器的单元滤波器的光,将光转换成电图像信号,并输出电图像信号。在这种情况下,处理器4200(即,图1中的处理器4200)可以组合从多个像素P1至P16之中的四个相邻像素输出的四个图像信号,并且对这四个图像信号执行图像处理。与多个像素P1至P16之中的被组合并且进行图像处理的四个像素相对应的单元滤波器可以被布置为使得单元滤波器的中心波长彼此相邻。
如图24所示,当处理器4200组合从多个像素P1至P16之中的四个相邻像素输出的四个图像信号时,从16个像素P1至P16输出的16个图像信号可以由处理器4200图像处理成六个图像信号,并且随后可以输出由处理器4200处理的六个图像信号。因此,由于与多个像素P1至P16之中的被组合并且进行图像处理的四个像素相对应的单元滤波器被布置为使得单元滤波器的中心波长彼此相邻,所以可以输出具有高信号强度的六个透射光谱。
虽然上面描述了被组合并进行图像处理的像素的数量是两个或四个的示例,但是本公开不限于此。因此,根据其他示例实施例,可以将各种数量的像素P1至P16进行组合和图像处理。
根据示例实施例,处理器4200可以通过使用从像素阵列4110输出的图像信号之和或者图像信号之差来对图像信号执行图像处理。在这种情况下,可以对这些图像信号中的至少一个图像信号应用根据特定波长范围的权重。然而,本公开不限于此,并且可以不对图像信号应用根据特定波长范围的权重。此外,处了上述图像处理以外,处理器4200还可以处理从像素阵列4110输出的图像信号中的每一个图像信号的光谱信息并且输出光谱信息。
图25是根据另一个示例实施例的光谱滤波器2200的示意截面图。
参考图25,光谱滤波器2200可以包括:第一滤波器阵列1210和第二滤波器阵列1220;以及滤色器阵列1230。第一滤波器阵列1210和第二滤波器阵列1220以及滤色器阵列1230可以布置在基本相同的平面上。
第一滤波器阵列1210可以包括具有第一波长范围中的中心波长的第一单元滤波器1211、第二单元滤波器1212和第三单元滤波器1213,并且第二滤波器阵列1220可以包括具有第二波长范围中的中心波长的第四单元滤波器1221、第五单元滤波器1222和第六单元滤波器1223。第一滤波器阵列1210可以包括上述第一滤波器阵列110、210、310、410、510、610、710、810、910或1010中的任意一个,并且第二滤波器阵列1220可以包括上述第二滤波器阵列120、220、320、420、520、620、720、820、920或1020中的任意一个。省略了第一滤波器阵列1210和第二滤波器阵列1220的描述。
滤色器阵列1230可以包括例如红色滤色器1231、绿色滤色器1232和蓝色滤色器1233。红色滤色器1231可以透射具有约600nm到约700nm的波段的红光,绿色滤色器1232可以透射具有约500nm到约600nm的波段的绿光,并且蓝色滤色器1233可以透射具有约400nm到约500nm的波段的蓝光。例如,应用于诸如液晶显示装置、有机发光显示装置等的彩色显示装置的典型的滤色器可以用作红色滤色器1231、绿色滤色器1232和蓝色滤色器1233。可以在第一滤波器阵列1210和第二滤波器阵列1220以及滤色器阵列1230上方进一步设置包括多个微透镜1250a的微透镜阵列1250。
根据示例实施例,不仅可以通过使用第一滤波器阵列1210和第二滤波器阵列1220获得与单元滤波器1211、1212、1213、1221、1222和1223的中心波长有关的信息,还可以通过使用滤色器阵列1230另外获得与红光、绿光和蓝光的波长有关的信息。
图26是根据另一个示例实施例的可以被设置为与图25的光谱滤波器2200相对应的图像传感器的像素阵列4120的示例的平面图。
参考图26,像素阵列4120包括以二维方式布置的多个像素P1至P16。图26示出了16个像素P1至P16以4×4阵列布置。然而,本公开不限于此。
例如,与第一像素P1和第二像素P2相对应的单元滤波器可以具有紫外范围中的中心波长UV1和UV2,并且与第三像素P3和第五像素P5相对应的单元滤波器可以具有蓝光范围中的中心波长B1和B2。与第六像素P6、第七像素P7、第十像素P10和第十一像素P11相对应的单元滤波器可以具有绿光范围中的中心波长G1、G2、G3和G4,并且与第十二像素P12和第十四像素P14相对应的单元滤波器可以具有红光范围中的中心波长R1和R2。与第十五像素P15和第十六像素P16相对应的单元滤波器可以具有近红外范围中的中心波长NIR1和NIR2。
此外,与第四像素P4相对应的蓝色滤色器可以具有蓝光范围中的中心波长B,与第八像素P8和第九像素P9相对应的绿色滤色器可以具有绿光范围中的中心波长G,并且与第十三像素P13相对应的单元滤波器可以具有红光范围中的中心波长R。
图26的多个像素P1至P16可以接收透射过光谱滤波器的单元滤波器的光,将光转换成电图像信号,并输出电图像信号。处理器4200(即,图1的处理器4200)可以对从与单元滤波器相对应的像素P1、P2、P3、P5、P6、P7、P10、P11、P12、P14、P15和P16输出的图像信号中的每一个图像信号独立地执行图像处理。如上所述,处理器4200可以组合从与单元滤波器相对应的像素P1、P2、P3、P5、P6、P7、P10、P11、P12、P14、P15和P16输出的图像信号中的两个或更多个图像信号,并且对这两个或更多个图像信号执行图像处理。此外,处理器4200可以对从与红色滤色器、绿色滤色器和蓝色滤色器相对应的像素P4、P8、P9和P13输出的图像信号执行图像处理。
图27示出了通过由处理器4200对从图26的多个像素P1至P16输出的图像信号执行图像处理所获得的结果。参考图27,通过对从与单元滤波器相对应的像素P1、P2、P3、P5、P6、P7、P10、P11、P12、P14、P15和P16输出的图像信号中的每一个图像信号独立地执行图像处理而输出12个透射光谱,并且通过对从与红色滤色器、绿色滤色器和蓝色滤色器相对应的像素P4、P8、P9和P13输出的图像信号执行图像处理而输出三个透射光谱。
图28是根据另一个示例实施例的光谱滤波器2300的示意截面图。
参考图28,光谱滤波器2300可以包括:第一滤波器阵列1510和第二滤波器阵列1520;以及空白滤波器1530。第一滤波器阵列1510和第二滤波器阵列1520以及空白滤波器1530可以布置在基本相同的平面上。
第一滤波器阵列1510可以包括具有第一波长范围中的中心波长的第一单元滤波器1511、第二单元滤波器1512和第三单元滤波器1513,并且第二滤波器阵列1520可以包括具有第二波长范围中的中心波长的第四单元滤波器1521、第五单元滤波器1522和第六单元滤波器1523。第一滤波器阵列1510可以包括上述第一滤波器阵列110、210、310、410、510、610、710、810、910或1010中的任意一个,并且第二滤波器阵列1520可以包括上述第二滤波器阵列120、220、320、420、520、620、720、820、920或1020中的任意一个。省略了第一滤波器阵列1510和第二滤波器阵列1520的描述。
空白滤波器1530可以包括用于直接透射入射光的滤波器。空白滤波器1530可以包括例如透明介电材料或空气。可以在第一滤波器阵列1510和第二滤波器阵列1520以及空白滤波器1530上方进一步设置包括多个微透镜1550a的微透镜阵列1550。
根据示例实施例,不仅可以通过使用第一滤波器阵列1510和第二滤波器阵列1520获得与单元滤波器1511、1512、1513、1521、1522和1523的中心波长有关的信息,还可以通过使用空白滤波器1530另外获得与入射到光谱滤波器2300上的光的强度有关的信息。
图29是可以被设置为与图28的光谱滤波器2300相对应的像素阵列4130的示例的平面图。
参考图29,像素阵列4130可以包括以二维方式布置的多个像素P1至P16。图29示出了16个像素P1至P16以4×4阵列布置。
例如,与第二像素P2相对应的单元滤波器可以具有紫外范围中的中心波长UV1,并且与第三像素至第五像素P3、P4和P5相对应的单元滤波器可以具有蓝光范围中的中心波长B1、B2和B3。与第六像素至第十一像素P6、P7、P8、P9、P10和P11相对应的单元滤波器可以具有绿光范围中的中心波长G1、G2、G3、G4、G5和G6,并且与第十二像素至第十四像素P12、P13和P14相对应的单元滤波器可以具有红光范围中的中心波长R1、R2和R3。此外,与第十五像素P15和第十六像素P16相对应的单元滤波器可以具有近红外范围中的中心波长NIR1和NIR2。
第一像素P1可以被设置为与图28的空白滤波器1530相对应。第一像素P1可以接收透射过空白滤波器1530的光并将光输出为电图像信号,并且处理器4200(即,图1的处理器4200)可以对图像信号执行图像处理并输出图像信号。因为从第一像素P1输出的图像信号由处理器4200处理,所以可以获得具有根据强度而变化的对比度的黑白图像。
图30示出了通过由处理器4200对从图29的多个像素P1至P16输出的图像信号执行图像处理所获得的结果。参考图30,通过对从与单元滤波器相对应的像素P2至P16输出的图像信号中的每一个图像信号独立地执行图像处理而输出15个透射光谱,并且通过对从与空白滤波器相对应的第一像素P1输出的图像信号执行图像处理而输出具有根据波长改变的强度的一个透射光谱。
图31是根据另一个示例实施例的光谱滤波器2300的示意截面图。
参考图31,光谱滤波器2300可以包括:第一滤波器阵列1310和第二滤波器阵列1320;以及设置在第一滤波器阵列1310和第二滤波器阵列1320上的附加滤波器阵列2500。第一滤波器阵列1310可以包括具有第一波长范围中的中心波长的第一单元滤波器1311、第二单元滤波器1312和第三单元滤波器1313,并且第二滤波器阵列1320可以包括具有第二波长范围中的中心波长的第四单元滤波器1321、第五单元滤波器1322和第六单元滤波器1323。
第一滤波器阵列1310可以包括上述第一滤波器阵列110、210、310、410、510、610、710、810、910或1010中的任意一个,并且第二滤波器阵列1320可以包括上述第二滤波器阵列120、220、320、420、520、620、720、820、920或1020中的任意一个。省略了第一滤波器阵列1310和第二滤波器阵列1320的描述。
附加滤波器阵列2500可以包括多个第一至第三附加滤波器2501、2502和2503。图31示出了如下情况:第一附加滤波器2501设置为与第一单元滤波器1311和第二单元滤波器1312相对应,第二附加滤波器2502设置为与第三单元滤波器1313和第四单元滤波器1321相对应,并且第三附加滤波器2503设置为与第五单元滤波器1322和第六单元滤波器1323相对应。然而,这仅是示例性的,并且第一附加滤波器2501、第二附加滤波器2502和第三附加滤波器2503中的每一个可以设置为与一个单元滤波器(1311、1312、1313、1321、1322或1323)或三个或更多个单元滤波器(1311、1312、1313、1321、1322和1323)相对应。
第一附加滤波器2501、第二附加滤波器2502和第三附加滤波器2503中的每一个可以阻挡对应的单元滤波器(1311、1312、1313、1321、1322和1323)不期望的波段中的光。例如,当第一单元滤波器1311和第二单元滤波器1312具有约400nm到约500nm的波段中的中心波长时,第一附加滤波器2501可以包括透射蓝光的蓝色滤波器。此外,当第三单元滤波器1313和第四单元滤波器1321具有约500nm到约600nm的波段中的中心波长时,第二附加滤波器2502可以包括透射绿光的绿色滤波器。当第五单元滤波器1322和第六单元滤波器1323具有约600nm到约700nm的波段中的中心波长时,第三附加滤波器2503可以包括透射红光的红色滤波器。
附加滤波器阵列2500可以包括滤色器阵列。在这种情况下,第一附加滤波器2501、第二附加滤波器2502和第三附加滤波器2503可以分别包括蓝色滤色器、绿色滤色器和红色滤色器。例如,应用于诸如液晶显示装置、有机发光显示装置等的彩色显示装置的典型的滤色器可以用作蓝色滤色器、绿色滤色器和红色滤色器。
附加滤波器阵列2500可以包括宽带滤波器阵列。在这种情况下,第一附加滤波器2501、第二附加滤波器2502和第三附加滤波器2503可以分别包括第一宽带滤波器、第二宽带滤波器和第三宽带滤波器。第一宽带滤波器、第二宽带滤波器和第三宽带滤波器中的每一个可以具有例如多腔结构或金属镜结构。
图32是根据示例实施例的可用作图31的第一至第三附加滤波器2501、2502和2503的宽带滤波器2510的示意截面图。
参考图32,宽带滤波器2510可以包括:彼此间隔开布置的多个反射层2513、2514和2515;以及设置在反射层2513、2514和2515之间的多个腔2511和2512。虽然图32示出了三个反射层2513、2514和2515以及两个腔2511和2512的示例,但是反射层2513、2514和2515以及腔2511和2512的数量可以根据其他示例实施例而进行不同地改变。
反射层2513、2514和2515中的每一个可以包括分布式布拉格反射器(DBR)。反射层2513、2514和2515中的每一个可以具有其中具有不同折射率的多个材料层交替堆叠的结构。腔2511和2512中的每一个可以包括具有特定折射率的材料或具有不同折射率的两种或更多种材料。
图33是根据另一个示例实施例的可用作图31的第一至第三附加滤波器2501、2502和2503的宽带滤波器2520的示意截面图。
参考图33,宽带滤波器2520可以包括:彼此间隔开布置的两个金属镜层2522和2523;以及设置在金属镜层2522和2523之间的腔2521。
图34是根据另一个示例实施例的光谱滤波器3000的示意截面图。
参考图34,光谱滤波器3000可以包括:第一滤波器阵列1410和第二滤波器阵列1420;以及设置在第一滤波器阵列1410和第二滤波器阵列1420上的短波长吸收滤波器1610和长波长截止滤波器1620。
第一滤波器阵列1410可以包括具有第一波长范围中的中心波长的第一单元滤波器1411、第二单元滤波器1412和第三单元滤波器1413,并且第二滤波器阵列1420可以包括具有第二波长范围中的中心波长的第四单元滤波器1421、第五单元滤波器1422和第六单元滤波器1423。
第一滤波器阵列1410可以包括上述第一滤波器阵列110、210、310、410、510、610、710、810、910或1010中的任意一个,并且第二滤波器阵列1420可以包括上述第二滤波器阵列120、220、320、420、520、620、720、820、920或1020中的任意一个。省略了第一滤波器阵列1410和第二滤波器阵列1420的描述。
短波长吸收滤波器1610可以设置在第一单元滤波器至第六单元滤波器1411、1412、1413、1421、1422和1423中的一些单元滤波器(1411、1413和1422)中,并且长波长截止滤波器1620可以设置在第一单元滤波器至第六单元滤波器1411、1412、1413、1421、1422和1423中的其他单元滤波器(1412、1421和1423)中。虽然图34示出了短波长吸收滤波器1610和长波长截止滤波器1620中的每一个设置为与一个单元滤波器(1411、1412、1413、1421、1422或1423)相对应的情况,但本公开不限于此,并且短波长吸收滤波器1610和长波长截止滤波器1620中的每一个可以根据其他示例实施例被设置为与两个或更多个单元滤波器(1411、1412、1413、1421、1422和1423)相对应。
短波长吸收滤波器1610可以例如使诸如可见光之类的短波长的光截止。短波长吸收滤波器1610可以通过在第一单元滤波器至第六单元滤波器1411、1412、1413、1421、1422和1423中的一些单元滤波器(1411、1413和1422)上沉积例如作为用于吸收可见光的材料的硅来制造。设置有短波长吸收滤波器1610的单元滤波器(1411、1413和1422)可以透射具有比可见光长的波长的近红外(NIR)光。
长波长截止滤波器1620可以例如使诸如NIR光之类的具有长波长的光截止。长波长截止滤波器1620可以包括NIR光截止滤波器。设置有长波长截止滤波器1620的单元滤波器(1412、1421和1423)可以透射具有比NIR光短的波长的可见光。
根据示例实施例,由于短波长吸收滤波器1610和长波长截止滤波器1620设置在第一滤波器阵列1410和第二滤波器阵列1420上,所以可以制造具有能够实现从可见光波段到NIR波段的宽带特性的光谱滤波器3000。
上述图像传感器1000可以用在各种高性能光学设备或高性能电子设备中。电子设备可以包括例如智能电话、移动电话、蜂窝电话、个人数字助理(PDA)、膝上型计算机、个人计算机(PC)、各种便携式设备、家用电器、安全相机、医用相机、汽车、物联网(IoT)设备以及其他移动或非移动计算设备,但本公开不限于此。
除了图像传感器1000以外,电子设备还可以包括用于控制图像传感器的处理器(例如,应用处理器(AP)),通过经由处理器驱动操作系统或应用程序来控制多个硬件或软件构成元件,并且执行各种数据处理和计算。处理器还可以包括图形处理单元(GPU)和/或图像信号处理器。当处理器包括图像信号处理器时,通过图像传感器获得的图像(或视频)可以使用处理器来存储和/或输出。
图35是根据示例实施例的包括图像传感器1000的电子设备ED01的示意框图。参考图35,在网络环境ED00中,电子设备ED01可以通过第一网络ED98(短距离无线通信网络等)与另一个电子设备ED02通信或通过第二网络ED99(长距离无线通信网络等)与另一个电子设备ED04和/或服务器ED08通信。电子设备ED01可以通过服务器ED08与电子设备ED04通信。电子设备ED01可以包括处理器ED20、存储器ED30、输入设备ED50、音频输出设备ED55、显示装置ED60、音频模块ED70、传感器模块ED76、接口ED77、触觉模块ED79、相机模块ED80、电力管理模块ED88、电池ED89、通信模块ED90、用户识别模块ED96和/或天线模块ED97。在电子设备ED01中,可以省略一些构成元件(显示装置ED60等)或可以增加其他构成元件。一些构成元件可以由一个集成电路实现。例如,传感器模块ED76(指纹传感器、虹膜传感器、照度传感器等)可以通过嵌入在显示装置ED60(显示器等)中而实现。此外,当图像传感器1000包括光谱功能时,传感器模块ED76的一些功能(颜色传感器和照度传感器)可以由图像传感器1000而不是由单独的传感器模块实现。
处理器ED20可以通过执行软件(程序ED40等)来控制连接到处理器ED20的电子设备ED01的一个或多个其他构成元件(硬件和软件构成元件等),并执行各种数据处理或计算。作为数据处理或计算的一部分,处理器ED20可以在易失性存储器ED32中加载从其他构成元件(传感器模块ED76、通信模块ED90等)接收的命令和/或数据,处理易失性存储器ED32中存储的命令和/或数据,并将结果数据存储在非易失性存储器ED34中。处理器ED20可以包括主处理器ED21(中央处理单元、应用处理器等)以及可独立于主处理器ED21操作或可与主处理器ED21一起操作的辅处理器ED23(图形处理单元、图像信号处理器、传感器集线器处理器、通信处理器等)。辅处理器ED23可以使用比主处理器ED21少的电力并且可以执行专门的功能。
辅处理器ED23可以在主处理器ED21处于非激活状态(休眠状态)时代替主处理器ED21或在主处理器ED21处于激活状态(应用执行状态)时与主处理器ED21一起控制与电子设备ED01的构成元件中的一些构成元件(显示装置ED60、传感器模块ED76、通信模块ED90等)有关的功能和/或状态。辅处理器ED23(图像信号处理器、通信处理器等)可以实现为在功能上相关的其他构成元件(相机模块ED80、通信模块ED90等)的一部分。
存储器ED30可以存储电子设备ED01的构成元件(处理器ED20、传感器模块ED76等)所需的各种数据。数据可以包括例如软件(程序ED40等)和有关与其相关的命令的输入数据和/或输出数据。存储器ED30可以包括易失性存储器ED32和/或非易失性存储器ED34。非易失性存储器ED34可以包括固定地安装在电子设备ED01中的内部存储器ED36和可移除的外部存储器ED38。
程序ED40可以作为软件存储在存储器ED30中,并且可以包括操作系统ED24、中间件ED44和/或应用ED46。
输入设备ED50可以从电子设备ED01的外部(用户等)接收要用于电子设备ED01的构成元件(处理器ED20等)的命令和/或数据。输入设备ED50可以包括麦克风、鼠标、键盘和/或数字笔(触控笔等)。
音频输出设备ED55可以向电子设备ED01的外部输出音频信号。音频输出设备ED55可以包括扬声器和/或听筒。扬声器可以用于诸如多媒体回放或录制回放之类的一般目的,而听筒可以用于接收来电。听筒可以通过被耦接为扬声器的一部分或通过独立的单独设备来实现。
显示装置ED60可以可视地向电子设备ED01的外部提供信息。显示装置ED60可以包括显示器、全息设备或投影仪、以及用于控制相应设备的控制电路。显示装置ED60可以包括设置为检测触摸的触摸电路和/或设置为测量由触摸产生的力的强度的传感器电路(压力传感器等)。
音频模块ED70可以将声音转换为电信号或将电信号逆转换为声音。音频模块ED70可以通过输入设备ED50获得声音,或通过以有线或无线方式连接到音频输出设备ED55和/或电子设备ED01的另一个电子设备(电子设备ED02等)的扬声器和/或耳机输出声音。
传感器模块ED76可以检测电子设备ED01的操作状态(电力、温度等)或外部环境状态(用户状态等),并生成与所检测的状态相对应的电信号和/或数据值。传感器模块ED76可以包括手势传感器、陀螺仪传感器、气压传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器和/或照度传感器。
接口ED77可以支持电子设备ED01要通过有线或无线方式连接到另一电子设备(电子设备ED02等)所使用的一个或多个指定协议。接口ED77可以包括高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、SD卡接口和/或音频接口。
连接端子ED78可以包括便于电子设备ED01物理地连接到另一电子设备(电子设备ED02等)的连接器。连接端子ED78可以包括HDMI连接器、USB连接器、SD卡连接器和/或音频连接器(耳机连接器等)。
触觉模块ED79可以将电信号转换成用户通过触觉或运动感觉可感知的机械刺激(振动、移动等)或电刺激。触觉模块ED79可以包括电机、压电设备和/或电刺激设备。
相机模块ED80可以捕获静止图像和视频。相机模块ED80可以包括:包括一个或多个透镜的镜头组件、图1的图像传感器1000、图像信号处理器和/或闪光灯。相机模块ED80中包括的镜头组件可以采集从被摄体发射的光以进行图像捕捉。
电力管理模块ED88可以管理供应给电子设备ED01的电力。电力管理模块ED88可以实现为电力管理集成电路(PMIC)的一部分。
电池ED89可以向电子设备ED01的构成元件供电。电池ED89可以包括不可再充电的原电池、可再充电的二次电池和/或燃料电池。
通信模块ED90可以在电子设备ED01和另一个电子设备(电子设备ED02、电子设备ED04、服务器ED08等)之间建立有线通信信道和/或无线通信信道,并通过所建立的通信信道支持通信。通信模块ED90可以独立于处理器ED20(应用处理器等)操作,并且可以包括支持有线通信和/或无线通信的一个或多个通信处理器。通信模块ED90可以包括无线通信模块ED92(蜂窝通信模块、短距离无线通信模块、全球导航卫星系统(GNSS)通信模块等)和/或有线通信模块ED94(局域网(LAN)通信模块、电力线通信模块等)。在以上通信模块中,相应通信模块可以通过第一网络ED98(诸如蓝牙、Wi-Fi直连或红外数据协会(IrDA)之类的短距离通信网络)或第二网络ED99(诸如蜂窝网络、互联网或计算机网络(LAN、WAN等)之类的长距离通信网络)与另一个电子设备通信。这些各种类型的通信模块可以集成到一个构成元件(单个芯片等)中,或者可以实现为多个分离的构成元件(多个芯片)。无线通信模块ED92可以通过使用用户识别模块ED96中存储的用户信息(国际移动用户身份(IMSI)等)在通信网络(例如第一网络ED98和/或第二网络ED99)中验证和认证电子设备ED01。
天线模块ED97可以向外部(另一个电子设备等)发射信号和/或功率或从外部接收信号和/或功率。天线可以包括在基板(印刷电路板(PCB)等)上以导电图案形成的发射器。天线模块ED97可以包括一个或多个天线。当天线模块ED97包括多个天线时,通信模块ED90可以从多个天线中选择用于在诸如第一网络ED98和/或第二网络ED99之类的通信网络中使用的通信方法的适当的天线。可以通过所选择的天线在通信模块ED90和另一个电子设备之间发射或接收信号和/或功率。可以包括除了天线以外的其他部件(RFIC等)作为天线模块ED97的一部分。
这些构成元件中的一些可以通过外围设备(总线、通用输入和输出(GPIO)、串行外围接口(SPI)、移动行业处理器接口(MIPI)等)之间的通信方法彼此连接,并且可以相互交换信号(命令、数据等)。
可以通过连接到第二网络ED99的服务器ED08在电子设备ED01和外部电子设备ED04之间发送或接收命令或数据。电子设备ED02和ED04可以是与电子设备ED01相同或不同的类型。在电子设备ED01中执行的全部或部分操作可以在一个或多个电子设备(ED02、ED04和ED08)中执行。例如,当电子设备ED01需要执行功能或服务时,电子设备ED01可以请求一个或多个电子设备执行整个功能或服务的一部分,而不是执行该功能或服务。接收到请求的一个或多个电子设备可以执行与请求有关的附加功能或服务,并且将执行的结果发送到电子设备ED01。为此,可以使用云计算、分布式计算和/或客户端-服务器计算技术。
图36是图35的相机模块ED80的框图。参考图36,相机模块ED80可以包括镜头组件CM10、闪光灯CM20、图像传感器1000(图1的图像传感器1000等)、图像稳定器CM40、存储器CM50(缓冲存储器等)和/或图像信号处理器CM60。镜头组件CM10可以采集从被摄体发射的光以进行图像捕捉。相机模块ED80可以包括多个镜头组件CM10,并且在这种情况下,相机模块ED80可以包括双相机、360度相机或球形相机。镜头组件CM10中的一些可以具有相同的镜头属性(视角、焦距、自动对焦、F数、光学变焦等)或不同的镜头属性。镜头组件CM10可以包括广角镜头或远摄镜头。
闪光灯CM20可以发射用于增强从被摄体发射或反射的光的光。闪光灯CM20可以包括一个或多个发光二极管(红色-绿色-蓝色(RGB)LED、白色LED、红外LED、紫外LED等)和/或氙灯。图像传感器1000可以包括图1的图像传感器,并且将从被摄体发射或反射并且透射过镜头组件CM10的光转换成电信号,由此获得与被摄体相对应的图像。图像传感器1000可以包括从具有不同属性的图像传感器(例如,RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)选择的一个或多个传感器。图像传感器1000中包括的每个传感器可以由电荷耦合器件(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器来实现。
图像稳定器CM40可以响应于相机模块ED80或包括相机模块ED80的电子设备ED01的移动而在特定方向上移动镜头组件CM10中包括的一个或多个透镜或图像传感器1000,或者可以通过控制图像传感器1000的移动特性(调整读出时序等)来补偿由于移动产生的负面影响。图像稳定器CM40可以通过使用布置在相机模块ED80内部或外部的陀螺仪传感器或加速度传感器来检测相机模块ED80或电子设备ED01的移动。图像稳定器CM40可以以光学形式实现。
存储器CM50可以存储通过图像传感器1000获得的图像的数据的一部分或全部,以用于后续图像处理操作。例如,当以高速获得多个图像时,仅显示低分辨率图像,而将所获得的原始数据(拜尔图案数据、高分辨率数据等)存储在存储器CM50中。然后,存储器CM50可以用于将所选择(用户选择等)的图像的原始数据发送到图像信号处理器CM60。存储器CM50可以被并入到电子设备ED01的存储器ED30中或者被配置为独立操作的单独存储器。
图像信号处理器CM60可以对通过图像传感器1000获得的图像或存储在存储器CM50中的图像数据执行图像处理。图像处理可以包括深度图生成、三维建模、全景生成、特征点提取、图像合成和/或图像补偿(降噪、分辨率调整、亮度调整、模糊、锐化、柔化等)。图像信号处理器CM60可以对包括在相机模块ED80中的构成元件(图像传感器1000等)执行控制(曝光时间控制或读出时序控制等)。由图像信号处理器CM60处理的图像可以被再次存储在存储器CM50中用于附加的处理或者被提供给相机模块ED80的外部构成元件(存储器ED30、显示装置ED60、电子设备ED02、电子设备ED04、服务器ED08等)。图像信号处理器CM60可以被并入到处理器ED20中或者被配置为独立于处理器ED20操作的单独处理器。当图像信号处理器CM60由与处理器ED20分离的处理器配置时,由图像信号处理器CM60处理的图像可以经历处理器ED20的附加图像处理,然后通过显示装置ED60显示。
电子设备ED01可以包括具有不同属性或功能的多个相机模块ED80。在这种情况下,相机模块ED80中的一个可以是广角相机,并且另一个可以是远摄相机。类似地,相机模块ED80中的一个可以是前侧相机,并且另一个可以是后侧相机。
根据示例实施例,可以提供一种包括存储器和处理器的图像处理装置。存储器可以存储一个或多个指令,并且处理器可以被配置为执行一个或多个指令以进行下列操作:接收从包括光谱滤波器和像素阵列的图像传感器输出的图像信号,光谱滤波器包括具有不同中心波长的多个单元滤波器;基于波长范围组合从图像传感器输出的图像信号之中的两个或更多个图像信号;对该两个或更多个图像信号执行图像处理;以及输出经处理的图像信号。
根据示例实施例,可以提供一种图像处理方法,其可以包括:接收从包括光谱滤波器和像素阵列的图像传感器输出的图像信号,光谱滤波器包括具有不同中心波长的多个单元滤波器;基于波长范围组合从图像传感器输出的图像信号之中的两个或更多个图像信号;对该两个或更多个图像信号执行图像处理;以及输出经处理的图像信号。
根据示例实施例,可以提供一种非暂时性计算机可读介质,其上存储有程序,该程序用于执行包括以下操作的方法:接收从包括光谱滤波器和像素阵列的图像传感器输出的图像信号,光谱滤波器包括具有不同中心波长的多个单元滤波器;基于波长范围组合从图像传感器输出的图像信号之中的两个或更多个图像信号;对该两个或更多个图像信号执行图像处理;以及输出经处理的图像信号。
根据示例实施例的图像传感器1000可以应用于图37所示的移动电话或智能电话5100m、图38所示的平板计算机或智能平板计算机5200、图39所示的数码相机或录像机5300、图40所示的笔记本计算机5400、图41所示的电视机或智能电视机5500等。例如,智能电话5100m或智能平板计算机5200可以包括均安装有高分辨率图像传感器的多个高分辨率相机。可以通过使用高分辨率相机来提取图像中的被摄体的深度信息,可以调整图像的离焦,或可以自动识别图像中的被摄体。
此外,图像传感器1000可以应用于图42所示的智能冰箱5600、图43所示的安全相机5700、图44所示的机器人5800、图45所示的医用相机5900等。例如,智能冰箱5600可以通过使用图像传感器自动识别冰箱中的食物,并且通过智能电话通知用户特定食物的存在、放入或拿走的食物的类型等。安全相机5700可以提供超高分辨率图像并且可以通过使用高灵敏度在黑暗环境中识别图像中的物或人。可以在人不能直接进入的灾害现场或工业现场设置机器人5800,并且机器人5800可以提供高分辨率图像。医用相机5900可以提供用于诊断或手术的高分辨率图像,因此可以动态地调整视野。
此外,图像传感器1000可以应用于图46所示的车辆6000。车辆6000可以包括布置在各个位置的多个车用相机6010、6020、6030和6040。车用相机6010、6020、6030和6040中的每一个可以包括根据示例实施例的图像传感器。车辆6000可以通过使用车用相机6010、6020、6030和6040向驾驶员提供与车辆6000的内部或周围有关的各种信息,因此可以自动识别图像中的物或人并且提供自动驾驶所需的信息。
应当理解,应仅以描述性意义而不是限制性目的来考虑本文描述的示例实施例。对每个示例实施例中的特征或方面的描述通常应当被看作可用于其他示例实施例中的其他类似特征或方面。尽管已参考附图描述了一个或多个示例实施例,但本领域普通技术人员应当理解,在不脱离所附权利要求所限定的精神和范围的情况下,可以进行形式和细节上的各种改变。

Claims (51)

1.一种图像传感器,包括:
光谱滤波器,包括以二维方式布置的多个单元滤波器,所述多个单元滤波器具有不同中心波长;
像素阵列,包括被配置为接收透射过所述光谱滤波器的光并且输出图像信号的多个像素;以及
处理器,被配置为对从所述像素阵列输出的所述图像信号执行图像处理,
其中,所述多个单元滤波器包括:
具有第一波长范围中的第一中心波长的至少一个第一单元滤波器;以及
具有第二波长范围中的第二中心波长的至少一个第二单元滤波器,并且
其中,所述至少一个第一单元滤波器包括:
多个第一金属反射层,彼此间隔开并且包括第一金属;以及
至少一个第一腔,设置在所述多个第一金属反射层之间。
2.根据权利要求1所述的图像传感器,
其中,所述像素阵列被设置为与所述多个单元滤波器相对应。
3.根据权利要求2所述的图像传感器,
其中,所述处理器还被配置为对从所述像素阵列输出的所述图像信号中的每一个图像信号独立地执行图像处理并且输出经处理的图像信号。
4.根据权利要求2所述的图像传感器,
其中,所述处理器还被配置为:
组合从所述像素阵列输出的所述图像信号之中的两个或更多个图像信号,
对所述两个或更多个图像信号执行图像处理,以及
输出经处理的图像信号。
5.根据权利要求4所述的图像传感器,
其中,所述处理器还被配置为:
组合从所述像素阵列输出的所述图像信号之中的两个或四个图像信号,
对所述两个或四个图像信号执行图像处理,以及
输出经处理的图像信号。
6.根据权利要求4所述的图像传感器,
其中,所述两个或更多个图像信号从相邻像素输出,并且所述多个单元滤波器被布置为使得与所述两个或更多个图像信号相对应的所述多个单元滤波器的中心波长彼此相邻。
7.根据权利要求1所述的图像传感器,
其中,所述光谱滤波器还包括与所述多个单元滤波器设置在相同平面上的红色滤色器、绿色滤色器和蓝色滤色器。
8.根据权利要求7所述的图像传感器,
其中,所述像素阵列被设置为与所述多个单元滤波器以及所述红色滤色器、所述绿色滤色器和所述蓝色滤色器相对应。
9.根据权利要求8所述的图像传感器,
其中,所述处理器还被配置为:对从所述像素阵列中的与所述红色滤色器、所述绿色滤色器和所述蓝色滤色器相对应的像素输出的图像信号执行图像处理。
10.根据权利要求1所述的图像传感器,
其中,所述光谱滤波器包括:空白滤波器,与所述多个单元滤波器设置在相同平面上,并且
其中,所述空白滤波器被配置为直接透射入射光。
11.根据权利要求10所述的图像传感器,
其中,所述像素阵列被设置为与所述多个单元滤波器和所述空白滤波器相对应。
12.根据权利要求11所述的图像传感器,
其中,所述处理器还被配置为:对从所述像素阵列中的与所述空白滤波器相对应的像素输出的图像信号执行图像处理。
13.根据权利要求1所述的图像传感器,
其中,所述至少一个第一单元滤波器包括设置为形成第一滤波器阵列的具有不同中心波长的多个第一单元滤波器,并且所述至少一个第二单元滤波器包括设置为形成第二滤波器阵列的具有不同中心波长的多个第二单元滤波器。
14.根据权利要求1所述的图像传感器,
其中,所述至少一个第二单元滤波器包括:
多个第二金属反射层,彼此间隔开并且包括与所述第一金属不同的第二金属;以及
至少一个第二腔,设置在所述多个第二金属反射层之间。
15.根据权利要求14所述的图像传感器,
其中,所述至少一个第一单元滤波器的中心波长通过改变所述至少一个第一腔的厚度或有效折射率来调整,并且所述至少一个第二单元滤波器的中心波长通过改变所述至少一个第二腔的厚度或有效折射率来调整。
16.根据权利要求14所述的图像传感器,
其中,所述至少一个第一单元滤波器还包括设置在所述至少一个第一腔下方的第一介电层和设置在所述至少一个第一腔上方的第二介电层,并且
其中,所述至少一个第二单元滤波器还包括设置在所述至少一个第二腔下方的第三介电层和设置在所述至少一个第二腔上方的第四介电层。
17.根据权利要求16所述的图像传感器,
其中,所述第一介电层和所述第二介电层中的每一个的厚度或有效折射率基于所述至少一个第一单元滤波器的中心波长来调整,并且所述第三介电层和所述第四介电层中的每一个的厚度或有效折射率根据所述至少一个第二单元滤波器的中心波长来调整。
18.根据权利要求1所述的图像传感器,
其中,所述至少一个第二单元滤波器包括:
多个布拉格反射层,彼此间隔开;以及
至少一个第二腔,设置在所述多个布拉格反射层之间。
19.根据权利要求1所述的图像传感器,
其中,所述图像传感器还包括时序控制器、行解码器和输出电路。
20.一种电子设备,包括根据权利要求1所述的图像传感器。
21.根据权利要求20所述的电子设备,
其中,所述电子设备包括移动电话、智能电话、平板计算机、智能平板计算机、数码相机、录像机、笔记本计算机、电视机、智能电视机、智能冰箱、安全相机、机器人或医用相机。
22.一种图像传感器的图像处理方法,所述图像传感器包括光谱滤波器和像素阵列,所述光谱滤波器具有以二维方式布置并且具有不同中心波长的多个单元滤波器,所述像素阵列包括多个像素,所述方法包括:
接收透射过所述光谱滤波器的光并且输出图像信号;以及
对从所述像素阵列输出的所述图像信号执行图像处理,
其中,所述多个单元滤波器包括:
具有第一波长范围中的第一中心波长的至少一个第一单元滤波器;以及
具有第二波长范围中的第二中心波长的至少一个第二单元滤波器,并且
其中,所述至少一个第一单元滤波器包括:
多个第一金属反射层,彼此间隔开并且包括第一金属;以及
至少一个第一腔,设置在所述多个第一金属反射层之间。
23.根据权利要求22所述的图像处理方法,
其中,所述像素阵列被设置为与所述多个单元滤波器相对应。
24.根据权利要求23所述的图像处理方法,还包括:
对从所述像素阵列输出的图像信号中的每一个图像信号独立地执行图像处理并且输出经处理的图像信号。
25.根据权利要求23所述的图像处理方法,还包括:
组合从所述像素阵列输出的所述图像信号之中的两个或更多个图像信号;
对所述两个或更多个图像信号执行图像处理;以及
输出经处理的图像信号。
26.根据权利要求25所述的图像处理方法,还包括:
组合从所述像素阵列输出的所述图像信号之中的两个或四个图像信号;
对所述两个或四个图像信号执行图像处理;以及
输出经处理的图像信号。
27.根据权利要求25所述的图像处理方法,
其中,所述两个或更多个图像信号从相邻像素输出,并且所述多个单元滤波器被布置为使得与所述两个或更多个图像信号相对应的所述多个单元滤波器的中心波长彼此相邻。
28.根据权利要求22所述的图像处理方法,
其中,所述光谱滤波器还包括与所述多个单元滤波器设置在相同平面上的红色滤色器、绿色滤色器和蓝色滤色器,并且
其中,所述像素阵列被设置为与所述多个单元滤波器以及所述红色滤色器、所述绿色滤色器和所述蓝色滤色器相对应。
29.根据权利要求28所述的图像处理方法,还包括:
对从所述像素阵列中的与所述红色滤色器、所述绿色滤色器和所述蓝色滤色器相对应的像素输出的图像信号执行图像处理。
30.根据权利要求22所述的图像处理方法,
其中,所述光谱滤波器还包括:空白滤波器,与所述多个单元滤波器设置在相同平面上,
其中,所述空白滤波器被配置为直接透射入射光,并且
其中,所述像素阵列被设置为与所述多个单元滤波器和所述空白滤波器相对应。
31.根据权利要求30所述的图像处理方法,还包括:
对从所述像素阵列中的与所述空白滤波器相对应的像素输出的图像信号执行图像处理。
32.根据权利要求22所述的图像处理方法,
其中,所述至少一个第二单元滤波器包括:
多个第二金属反射层,彼此间隔开并且包括与所述第一金属不同的第二金属;以及
至少一个第二腔,设置在所述多个第二金属反射层之间。
33.根据权利要求22所述的图像处理方法,
其中,所述至少一个第二单元滤波器包括:
多个布拉格反射层,彼此间隔开设置;以及
至少一个第二腔,设置在所述多个布拉格反射层之间。
34.一种图像传感器,包括:
光谱滤波器,包括具有不同中心波长的多个单元滤波器;
像素阵列,包括被配置为接收透射过所述光谱滤波器的光并且输出图像信号的多个像素;以及
处理器,被配置为对从所述像素阵列输出的所述图像信号执行图像处理,
其中,所述处理器还被配置为:组合从所述像素阵列输出的所述图像信号之中的两个或更多个图像信号,对所述两个或更多个图像信号执行图像处理,并输出经处理的图像信号。
35.根据权利要求34所述的图像传感器,
其中,所述像素阵列包括多个蓝色像素、多个绿色像素和多个红色像素。
36.根据权利要求35所述的图像传感器,
其中,所述处理器还被配置为:
组合从所述蓝色像素输出的第一图像信号中的至少一个第一图像信号并且对所述至少一个第一图像信号执行图像处理;
组合从所述绿色像素输出的第二图像信号中的至少一个第二图像信号并且对所述至少一个第二图像信号执行图像处理;以及
组合从所述红色像素输出的第三图像信号中的至少一个第三图像信号并且对所述至少一个第三图像信号执行图像处理。
37.根据权利要求36所述的图像传感器,
其中,所述像素阵列还包括一个或多个紫外UV像素。
38.根据权利要求37所述的图像传感器,
其中,所述处理器还被配置为:组合从所述一个或多个紫外像素输出的UV图像信号中的至少一个UV图像信号并且对所述至少一个UV图像信号执行图像处理。
39.根据权利要求36所述的图像传感器,
其中,所述像素阵列还包括一个或多个近红外NIR像素。
40.根据权利要求39所述的图像传感器,
其中,所述处理器还被配置为:组合从所述一个或多个NIR像素输出的NIR图像信号中的至少一个NIR图像信号并且对所述至少一个NIR图像信号执行图像处理。
41.根据权利要求34所述的图像传感器,
其中,所述处理器还被配置为:对与从所述像素阵列输出的所述图像信号中的每一个图像信号有关的光谱信息执行处理并且输出光谱信息。
42.根据权利要求34所述的图像传感器,
其中,所述处理器还被配置为:基于与从所述像素阵列输出的图像信号相对应的特定波长范围对所述图像信号中的至少一个图像信号应用权重,并基于所述图像信号之和或所述图像信号之差来执行图像处理。
43.根据权利要求34所述的图像传感器,
其中,所述多个单元滤波器包括:
具有第一波长范围中的第一中心波长的至少一个第一单元滤波器;以及
具有第二波长范围中的第二中心波长的至少一个第二单元滤波器。
44.根据权利要求43所述的图像传感器,
其中,所述至少一个第一单元滤波器包括:
多个第一金属反射层,彼此间隔开并且包括第一金属;以及
至少一个第一腔,设置在所述多个第一金属反射层之间。
45.根据权利要求44所述的图像传感器,
其中,所述至少一个第二单元滤波器包括:
多个第二金属反射层,彼此间隔开并且包括与所述第一金属不同的第二金属;以及
至少一个第二腔,设置在所述多个第二金属反射层之间。
46.根据权利要求44所述的图像传感器,
其中,所述至少一个第二单元滤波器包括:
多个布拉格反射层,彼此间隔开;以及
至少一个第二腔,设置在所述多个布拉格反射层之间。
47.根据权利要求34所述的图像传感器,
其中,所述图像传感器还包括时序控制器、行解码器和输出电路。
48.一种电子设备,包括根据权利要求34所述的图像传感器。
49.根据权利要求48所述的电子设备,
其中,所述电子设备包括移动电话、智能电话、平板计算机、智能平板计算机、数码相机、录像机、笔记本计算机、电视机、智能电视机、智能冰箱、安全相机、机器人或医用相机。
50.一种图像处理装置,包括:
存储器,存储一个或多个指令;以及
处理器,被配置为执行所述一个或多个指令以进行下列操作:
接收从包括光谱滤波器和像素阵列的图像传感器输出的图像信号,所述光谱滤波器包括具有不同中心波长的多个单元滤波器;
基于波长范围组合从所述图像传感器输出的所述图像信号之中的两个或更多个图像信号;
对所述两个或更多个图像信号执行图像处理;以及
输出经处理的图像信号。
51.一种图像处理方法,包括:
接收从包括光谱滤波器和像素阵列的图像传感器输出的图像信号,所述光谱滤波器包括具有不同中心波长的多个单元滤波器;
基于波长范围组合从所述图像传感器输出的所述图像信号之中的两个或更多个图像信号;
对所述两个或更多个图像信号执行图像处理;以及
输出经处理的图像信号。
CN202110821978.4A 2020-07-23 2021-07-20 图像传感器和图像处理方法及包括图像传感器的电子设备 Pending CN113973183A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2020-0091857 2020-07-23
KR20200091857 2020-07-23
KR1020210060946A KR20220012805A (ko) 2020-07-23 2021-05-11 이미지 센서 및 이미지 처리 방법과, 이미지 센서를 포함하는 전자 장치
KR10-2021-0060946 2021-05-11
KR10-2021-0070195 2021-05-31
KR1020210070195A KR20220012807A (ko) 2020-07-23 2021-05-31 이미지 센서 및 이미지 처리 방법과, 이미지 센서를 포함하는 전자 장치

Publications (1)

Publication Number Publication Date
CN113973183A true CN113973183A (zh) 2022-01-25

Family

ID=76942893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110821978.4A Pending CN113973183A (zh) 2020-07-23 2021-07-20 图像传感器和图像处理方法及包括图像传感器的电子设备

Country Status (4)

Country Link
US (1) US20220028909A1 (zh)
EP (1) EP3968379B1 (zh)
JP (1) JP2022022121A (zh)
CN (1) CN113973183A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3943988B1 (en) 2020-07-20 2023-12-27 Samsung Electronics Co., Ltd. Spectral filter, and image sensor and electronic device including the spectral filter
US20230093853A1 (en) * 2021-09-30 2023-03-30 Samsung Electronics Co., Ltd. Spectral filter, and image sensor and electronic device including the spectral filter
US20240027663A1 (en) * 2022-07-22 2024-01-25 Samsung Electronics Co., Ltd. Spectral filter, image sensor including the spectral filter, and electronic device including the spectral filter
WO2024056159A1 (en) * 2022-09-13 2024-03-21 Huawei Technologies Co., Ltd. Color filter pattern and module for spectral camera
CN118233782B (zh) * 2024-05-21 2024-09-10 福建福诺移动通信技术有限公司 一种基站验收的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100279295B1 (ko) * 1998-06-02 2001-02-01 윤종용 액티브 픽셀 센서
US20130163005A1 (en) * 2011-12-27 2013-06-27 Capella Microsystems, Corp. Optical Sensing Device
US9323097B2 (en) * 2013-03-01 2016-04-26 Vladimir Kleptsyn Reflective color filter and color display device
EP3348974A1 (en) * 2017-01-17 2018-07-18 IMEC vzw An image sensor, an imaging device, an imaging system and a method for spectral imaging
GB2574805A (en) * 2018-06-14 2019-12-25 Cambridge Entpr Ltd A single step lithography colour filter
JP2022500675A (ja) * 2018-09-11 2022-01-04 エヌライト, インコーポレイテッドNlight, Inc. 3次元撮像のための電気光学変調器およびその使用方法と製造方法

Also Published As

Publication number Publication date
JP2022022121A (ja) 2022-02-03
US20220028909A1 (en) 2022-01-27
EP3968379B1 (en) 2023-04-26
EP3968379A1 (en) 2022-03-16

Similar Documents

Publication Publication Date Title
EP3933461A2 (en) Spectral filter, and image sensor and electronic device including the spectral filter
EP3968379B1 (en) Image sensor and image processing method, and electronic device including the image sensor
JP7471340B2 (ja) 分光フィルタ、イメージセンサ、及び電子装置
EP3992674A1 (en) Spectral filter, and image sensor and electronic device including the spectral filter
KR20220056101A (ko) 분광 필터, 이를 포함하는 이미지 센서 및 전자 장치
EP4095574B1 (en) Spectral filter, and image sensor and electronic device including spectral filter
EP3943988B1 (en) Spectral filter, and image sensor and electronic device including the spectral filter
KR20220003955A (ko) 분광 필터와 이를 포함하는 이미지 센서 및 전자 장치
EP4160280A1 (en) Spectral filter, and image sensor and electronic device including the spectral filter
KR20220012805A (ko) 이미지 센서 및 이미지 처리 방법과, 이미지 센서를 포함하는 전자 장치
KR20220012807A (ko) 이미지 센서 및 이미지 처리 방법과, 이미지 센서를 포함하는 전자 장치
US20230217122A1 (en) Spectral filter, and image sensor and electronic device including the spectral filter
KR20220146318A (ko) 분광 필터와 이를 포함하는 이미지 센서 및 전자 장치
KR20220011069A (ko) 분광 필터와 이를 포함하는 이미지 센서 및 전자 장치
KR20220011072A (ko) 분광 필터와 이를 포함하는 이미지 센서 및 전자 장치
KR20220145756A (ko) 분광 필터와 이를 포함하는 이미지 센서 및 전자 장치
KR20230046935A (ko) 분광 필터와 이를 포함하는 이미지 센서 및 전자 장치
CN117492122A (zh) 滤色器、图像传感器和包括该图像传感器的电子装置
CN116259638A (zh) 光学滤波器、图像传感器和包括光学滤波器的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination