CN117705280A - 光谱相机和包括该光谱相机的电子设备 - Google Patents

光谱相机和包括该光谱相机的电子设备 Download PDF

Info

Publication number
CN117705280A
CN117705280A CN202310620048.1A CN202310620048A CN117705280A CN 117705280 A CN117705280 A CN 117705280A CN 202310620048 A CN202310620048 A CN 202310620048A CN 117705280 A CN117705280 A CN 117705280A
Authority
CN
China
Prior art keywords
image sensor
information
channels
camera
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310620048.1A
Other languages
English (en)
Inventor
李受娟
朴圭焕
金彦庭
金镐正
马贤俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Korea University Research and Business Foundation
Original Assignee
Samsung Electronics Co Ltd
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Korea University Research and Business Foundation filed Critical Samsung Electronics Co Ltd
Publication of CN117705280A publication Critical patent/CN117705280A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0202Mechanical elements; Supports for optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0227Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using notch filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0237Adjustable, e.g. focussing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0275Details making use of sensor-related data, e.g. for identification of sensor parts or optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0278Control or determination of height or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0294Multi-channel spectroscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • G01J2003/2806Array and filter array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/2866Markers; Calibrating of scan
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0256Compact construction

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

提供了一种光谱相机和包括该光谱相机的电子装置。光谱相机包括:图像传感器,包括被配置为检测多个中心波长的多个通道;光学模块,被配置为能够相对于图像传感器移动,以在图像传感器上提供对象的图像;存储器,被配置为存储与图像传感器中的多个通道中的每个通道的光学特性的变化相关的第一信息,该多个通道中的每个通道的光学特性的变化对应于光学模块的移动;以及处理器,被配置为:从存储器获得第一信息,获得与由图像传感器检测到的多个中心波长相对应的第二信息,以及通过基于第一信息校正第二信息来获得第三信息。

Description

光谱相机和包括该光谱相机的电子设备
相关申请的交叉引用
本申请基于并要求于2022年9月15日向韩国知识产权局提交的韩国专利申请No.10-2022-0116669的优先权,其全部公开内容通过引用合并于此。
技术领域
本公开涉及光谱相机和包括该光谱相机的电子设备。
背景技术
光谱仪是光学领域中的重要的光学器件。然而,相关技术的光谱仪体积较大且较重。近来,有减小光谱仪尺寸的需求,因此,已经进行了在一个半导体芯片上同时实现集成电路和光学器件的研究。
可以通过在像素阵列上设置包括具有不同中心波长的单元滤波器在内的光谱滤波器,来制造图像传感器。此外,在图像传感器上布置将目标对象的图像聚焦在图像传感器上的光学模块,然后可以实现光谱相机。
发明内容
一个或多个实施例提供了一种光谱相机和包括该光谱相机的电子设备。
附加方面部分地将在接下来的描述中阐述,且部分地将通过该描述而变得清楚明白,或者可以通过实践本公开所呈现的实施例而获知。
根据示例实施例的一个方面,一种光谱相机包括:图像传感器,包括被配置为检测多个中心波长的多个通道;光学模块,被配置为能够相对于图像传感器移动,以在图像传感器上提供对象的图像;存储器,被配置为存储与图像传感器中的多个通道中的每个通道的光学特性的变化相关的第一信息,该多个通道中的每个通道的光学特性的变化对应于光学模块的移动;以及处理器,被配置为:从存储器获得第一信息,获得与由图像传感器检测到的多个中心波长相对应的第二信息,以及通过基于第一信息校正第二信息来获得第三信息。
可以基于入射在图像传感器的每个通道上的光的主光线角(CRA)的变化,生成图像传感器中的多个通道中的每个通道的光学特性的变化。
光谱相机还可以包括:驱动器,被配置为使光学模块相对于图像传感器移动。
处理器还可以被配置为控制驱动器。
多个通道可以包括检测彼此不同的中心波长的至少三个通道。
光谱相机还可以包括高光谱相机或多光谱相机。
图像传感器还可以包括:光谱滤波器,包括具有不同中心波长的多个单元滤波器;以及像素阵列,包括多个像素,其中穿过多个单元滤波器的光入射在多个像素上。
存储器还可以被配置为:以分布的形式来存储第一信息,其中该分布是通过针对与图像传感器中的多个通道中的每个通道的光学特性的变化相关的数据的拟合过程而获得的。
处理器还可以被配置为通过重建第三信息来恢复入射在图像传感器上的光的输入光谱。
处理器还可以被配置为通过使用输入光谱来恢复对象的图像。
根据示例实施例的一个方面,一种电子装置包括光谱相机。
根据示例实施例的一个方面,一种光谱相机的操作方法,包括:通过移动光谱相机的光学模块来将对象成像到光谱相机的图像传感器上,图像传感器包括被配置为检测多个中心波长的多个通道;从光谱相机的存储器获得与图像传感器中的多个通道中的至少一个通道的光学特性的变化相关的第一信息,多个通道中的至少一个通道的光学特性的变化对应于光学模块的移动;获得与由图像传感器检测到的多个中心波长相对应的第二信息,以及通过基于第一信息校正第二信息来获得第三信息。
方法还可以包括:由光谱相机的驱动器来移动光学模块,该驱动器由光谱相机的处理器控制。
多个通道可以包括检测不同中心波长的至少三个通道。
方法还可以包括:以分布的形式来存储第一信息,其中该分布是通过针对与图像传感器中的多个通道中的每个通道的光学特性的变化相关的数据的拟合过程而获得的。
方法还可以包括通过重建第三信息来恢复入射在图像传感器上的光的输入光谱。
方法还可以包括通过使用输入光谱来恢复对象的图像。
附图说明
根据以下结合附图的描述,本公开的一些实施例的上述和其它方面、特征以及优点将更清楚,在附图中:
图1是根据示例实施例的光谱相机的示意图;
图2是示出了图1的图像传感器中的每个通道的截面的示例的截面图;
图3是示出了捕获从图像传感器输出的光的图像的示例的图;
图4是示出了从布置在图3的图像传感器的中心处和每个同心圆处的通道测量的透射光谱的图;
图5A是示出了在图4的透射光谱中,当通道远离图像传感器的中心时光强度的变化的图;
图5B是示出了在图4的透射光谱中,当通道远离图像传感器的中心时中心波长的变化的图;
图5C是示出了在图4的透射光谱中,当通道远离图像传感器的中心时半高宽(FWHM)的变化的图;
图6是示出了图1的光谱相机中的相对于图像传感器移动的光学模块的图;
图7是示意性地示出了根据示例实施例的光谱相机的框图;
图8是用于描述通过使用图7的光谱相机来获得光谱图像的方法的示例的流程图;
图9是示意性地示出了根据示例实施例的电子装置的框图;以及
图10A-图10E和图11A-图11E是示出了应用根据示例实施例的光谱相机的电子装置的各种示例的图。
具体实施方式
现在将详细参考实施例,在附图中示出实施例的示例,其中,在全部附图中用类似的附图标记表示类似的元件。在这点上,呈现的实施例可以具有不同形式,并且不应当被解释为受限于本文所阐明的描述。因此,下面仅通过参考附图描述实施例,以解释各个方面。如本文中所使用的,术语“和/或”包括关联列出的一个或更多个项目的任意和所有组合。诸如“……中的至少一个”之类的表述在元件列表之后时修饰整个元件列表,而不是修饰列表中的单独元件。
在下文中,将参考附图详细描述本公开的一个或多个实施例。在附图中,相似的附图标记表示相似的组件,并且为了便于说明,附图中组件的尺寸可能被放大。本公开的实施例能够进行各种修改,并且可以以许多不同的形式来体现。
当层、膜、区域或板被称为在另一元件“上”时,其可以直接置于另一层或基板的上方/下方/左侧/右侧,或者也可以存在中间层。单数形式的表述涵盖复数表述,除非在上下文中具有明确的不同意义。还应当理解,当一个部分被称为“包括”另一组件时,该部分可以不排除其他组件,而是还可以包括其他组件,除非上下文另有说明。
术语“上述”和类似指示术语的使用可以与单数形式和复数形式两者相对应。此外,可以按照任何适当顺序执行本文中描述的所有方法的步骤,除非本文中另外指出或者上下文另外明确地相反指示。
此外,本文中使用的术语“……单元”、“……模块”指定用于处理至少一个功能或操作的单元,并且这可以用硬件、软件或硬件和软件的组合来实现。
此外,附图中示出的连接线或连接件意在表示各种元件之间的示例功能关系和/或物理或逻辑连接。应该注意,在实际设备中可以存在许多替代或者附加的功能关系、物理连接或逻辑连接。
除非另有要求,否则使用本文中所提供的任何和所有示例或语言仅旨在更好地阐述本公开且不对本公开的范围施加限制。
图1是根据示例实施例的光谱相机100的示意图。图2是示出了图1的图像传感器110中的每个通道111的示例截面的截面图。
参考图1和图2,光谱相机100包括图像传感器110和设置在图像传感器110上的光学模块150。图像传感器110可以包括多个通道111,其被配置为检测彼此不同的中心波长。例如,图像传感器110可以包括检测彼此不同的中心波长的三个或更多个通道111。图像传感器110可以包括例如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器,但不限于此。
图像传感器110可以包括光谱滤波器130和设置在光谱滤波器130的下表面上的像素阵列120。图像传感器110还可以包括时序控制器、行解码器、输出电路等。
光谱滤波器130透射不同波段的光,并且包括二维地布置的多个单元滤波器131。像素阵列120包括多个像素121,其感测穿过多个单元滤波器131之后的不同波长的光。像素阵列120包括沿着多个行和列二维地布置的像素121。行解码器响应于从时序控制器输出的行地址信号来选择像素阵列120中的行之一。输出电路从在所选择的行中布置的多个像素以列为单位输出光敏信号。为此,输出电路可以包括列解码器和模数转换器(ADC)。例如,输出电路可以包括:分别布置到列解码器和像素阵列120之间的列的多个ADC,或者在列解码器的输出端处布置的一个ADC。时序控制器、行解码器和输出电路可以实现为一个单个芯片或单独的芯片。
光谱滤波器130包括具有不同中心波长的多个单元滤波器131,并且像素阵列120可以包括设置为与多个单元滤波器131相对应的多个像素121。光谱滤波器130中的每个单元滤波器131和像素阵列120的每个像素121形成图像传感器110的每个通道111。
图2示出了图像传感器110中的每个通道111的截面的示例。图像传感器110的每个通道111包括单元滤波器131和设置在单元滤波器131下方的像素121。光谱滤波器130的每个单元滤波器131可以具有仅透射特定波长的光的谐振器结构。例如,每个单元滤波器131可以包括彼此间隔开的下反射层131a和上反射层131b、以及设置在下反射层131a和上反射层131b之间的腔体131c。
下反射层131a和上反射层131b中的每一个可以是包括例如Al、Ag、Au、Cu、W、Ti或TiN的金属反射层。此外,例如,下反射层131a和上反射层131b中的每一个可以是交替地堆叠具有彼此不同的折射率的两个或更多个介电层的布拉格反射器。
腔体131c可以包括具有特定折射率的一种或多种电介质。腔体131c可以包括例如选自硅、氧化硅、氮化硅和氧化钛中的至少一种,但不限于此。光谱滤波器130的每个单元滤波器131可以通过改变腔体131c的厚度和/或有效折射率来调节中心波长。因此,光谱滤波器130的单元滤波器131可以被制造为具有不同的中心波长。
光学模块150设置在图像传感器110上。光学模块150可以收集从作为要拍摄的目标的对象发射的光,并且在图像传感器110上对该对象进行成像。光学模块150可以包括一个或多个透镜。
参考图1,当从对象发射的光经由光学模块150入射到图像传感器110上时,入射光可以倾斜地入射到位于图像传感器110的中心之外的通道111上。入射到位于图像传感器110的中心处的通道111上的光的主光线角(CRA)可以为0°,而入射到远离图像传感器110的中心的通道111上的光的CRA可以大于0°。图1示出了入射到远离图像传感器110的中心的特定通道111上的光的CRA分别为θ1、θ2(>θ1)和θ3(>θ2)的示例。
如上所述,入射到图像传感器110的每个通道111上的入射光的CRA随着远离图像传感器110的中心而增加,并且根据CRA的增加,每个通道111的光学特性(例如,每个单元滤波器131的光学特性)可以如稍后所描述的那样改变。例如,每个单元滤波器131的中心波长可以偏移,或者透射通过每个单元滤波器131的光的强度可以随着远离图像传感器110的中心而改变。
图3是示出了来自图像传感器的输出的示例的图。这里,为了便于描述,图像传感器被制造为包括检测相同的中心波长的多个通道。图像传感器的每个通道具有如图2所示的结构,并且被制造为具有约1μm×1μm的尺寸。
图3示出了图像传感器的中心C1和逐渐远离中心C1的六个同心圆C2至C7。每个同心圆C2至C7的半径可以是距图像传感器的中心的距离。在图像传感器的中心C1处,布置CRA为0°的通道,并且在逐渐远离中心的同心圆C2至C7上布置CRA逐渐增加的通道。具有相同CRA的通道布置在同心圆C2至C7中的每一个上。参考图3,随着通道布置在远离图像传感器的中心C1的位置处,检测到的光的强度逐渐减小。
图4示出了从布置在图3所示的图像传感器的中心C1和同心圆C2至C7中的每一个上的通道测量的透射光谱。在图4中,光谱C1'表示布置在图3所示的图像传感器的中心C1上的通道的透射光谱。此外,透射光谱C2'至C7'表示布置在图3所示的图像传感器的同心圆C2至C7上的通道的透射光谱。
参考图4,随着通道远离图像传感器的中心布置,从通道获得不同的透射光谱。也就是说,当入射在每个通道上的光的CRA改变时,每个通道的光学特性可以不同。根据示例实施例,每个通道的光学特性可以包括但不限于中心波长、光强度、半高宽(FWHM)。
图5A是示出了在图4的透射光谱中,当通道远离图像传感器的中心时光强度的变化的图。参考图5A,随着通道远离图像传感器的中心,由通道检测到的光的强度逐渐减弱。例如,更靠近图像传感器的中心的第一通道检测到的光的强度可以大于比第一通道更远离图像传感器的中心的第二通道检测到的光的强度。
图5B是示出了在图4的透射光谱中,当通道远离图像传感器的中心时中心波长的变化的图。参考图5B,随着通道远离图像传感器的中心,通道的中心波长朝向更短侧偏移。
图5C是示出了在图4的透射光谱中,当通道远离图像传感器的中心时FWHM的变化的图。参考图5C,随着通道远离图像传感器,FWHM逐渐增加。
如上所述,在包括具有相同中心波长的多个通道在内的图像传感器中,每个通道的光学特性根据入射在每个通道上的光的CRA的变化而改变。此外,如图1所示,在包括具有彼此不同的中心波长的多个通道111在内的图像传感器110中,当入射到每个通道111上的光的CRA改变时,每个通道111的光学特性(例如,中心波长、光强度、FWHM等)可以改变。
图6示出了根据示例实施例的光学模块150在图1的光谱相机100中相对于图像传感器110向上移动的图。
图6示出了光学模块150在图1所示的光谱相机100中沿向上方向移动特定距离的示例。光学模块150可以设置为相对于图像传感器110移动,以调节用于对对象进行成像的焦点、或实现变焦功能。这里,光学模块150可以通过诸如致动器之类的驱动单元移动。
参考图6,当光学模块150移动时,入射到图像传感器110的每个通道111上的光的CRA也改变。与图1相比,图6示出了随着光学模块150相对于图像传感器110移动,而使得入射在特定通道111上的光的CRA从θ1移动到θ1'、从θ2移动到θ2'以及从θ3移动到θ3'的示例。
如上所述,入射在图像传感器110的每个通道111上的光的CRA随着光学模块150相对于图像传感器110移动而改变,并且每个通道的光学特性也可以根据CRA的变化而改变。
如上所述,布置在图像传感器110中的通道111可以使得入射光的CRA根据距图像传感器110的中心的距离以及图像传感器110和光学模块150之间的间隔而改变,并且每个通道111的光学特性可以根据入射光的CRA的变化而改变。因此,为了获得关于对象的图像的准确数据,需要考虑根据每个通道111的CRA的变化的光学特性的变化。
图7是示意性地示出了根据示例实施例的光谱相机500的框图。图7的光谱相机500可以包括例如高光谱相机或多光谱相机。然而,本公开不限于此。
参考图7,光谱相机500可以包括图像传感器510、致动器560、光学模块550、存储器580和处理器590。然而,本公开不限于图7所示的组件。例如,根据各种示例实施例,光谱相机500可以包括除了图7所示的组件之外的其他电子组件,或者可以省略图7所示的一个或多个组件。
根据示例实施例,图像传感器510可以分析通过光学模块550入射的光,并且输出与作为要拍摄的目标的对象的图像信息相关的数据。因为图像传感器510与图1的图像传感器110相同,所以省略其详细描述。
图像传感器510可以包括检测不同中心波长的多个通道。例如,图像传感器510可以包括检测彼此不同的中心波长的三个或更多个通道。图像传感器510可以包括但不限于电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。
图像传感器510包括设置在光谱滤波器的下表面上的像素阵列。光谱滤波器包括被配置为具有彼此不同的中心波长的多个单元滤波器,并且像素阵列可以包括设置为与多个单元滤波器相对应的多个像素。光谱滤波器经由多个单元滤波器透射不同波段的光,并且像素阵列通过使用多个像素来检测已经穿过多个单元滤波器的不同波长的光。此外,图像传感器510还可以包括时序控制器、行解码器、输出电路等。
光学模块550设置在图像传感器510上,并且收集从对象发射的光以在图像传感器510上对对象进行成像。光学模块550可以包括一个或多个透镜。光学模块550可以根据诸如焦点调节或实现变焦功能之类的相机设置条件而相对于图像传感器510移动。光谱相机500还可以包括用于使光学模块550相对于图像传感器510移动的驱动单元,例如,致动器560可以用作驱动单元。
存储器580可以存储与图像传感器510的每个通道的光学特性的变化相关的信息。布置在图像传感器510上的通道可以根据距图像传感器510的中心的距离以及图像传感器510和光学模块550之间的间隔而具有入射光的不同的CRA。例如,布置在图像传感器510上的通道的CRA可以基于通道相对于图像传感器的中心的位置(即,第一距离)以及基于图像传感器510和光学模块550之间的间隔(即,第二距离)而改变。此外,根据入射光的CRA的变化,每个通道的光学特性(例如,光强度、中心波长、FWHM等)可以改变。
针对图像传感器510中的每个通道,可以获得与根据入射光的CRA的变化的光学特性的变化相关的信息,并且可以将与每个通道的光学特性的变化相关的信息存储在存储器580中。这里,与每个通道的光学特性的变化相关的数据可以以光学特性变化信息的形式存储在存储器580中,该光学特性变化信息是通过拟合过程表示为特定函数的分布类型。
处理器590可以通过组合和分析从图像传感器510输出的与对象的图像相关的数据和存储在存储器580中的与光学特性的变化相关的信息,来获得与对象的图像相关的校正数据。此外,处理器590可以被配置为根据诸如焦点调节或变焦功能实现之类的相机设置条件来控制致动器560,以将光学模块550移动期望的距离。
图8是描述了通过使用图7的光谱相机500来获得对象的图像信息的方法的流程图。
根据示例实施例,在操作S1中,将与根据入射在图像传感器510的每个通道上的光的CRA的变化的光学特性的变化相关的信息存储在存储器中。如上所述,图像传感器510的每个通道可以具有根据距图像传感器510的中心的距离以及图像传感器510和光学模块550之间的间隔而改变的CRA。针对在各种相机设置条件下的图像传感器510中的每个通道,可以获得与根据入射光的CRA的变化的光学特性的变化相关的信息,并且可以将与每个通道的光学特性的变化相关的信息存储在存储器580中。与每个通道的光学特性的变化相关的数据可以以光学特性变化信息的形式存储在存储器580中,该光学特性变化信息是通过拟合过程表示为特定函数的分布类型。
在操作S2中,根据指定的相机设置条件来移动光学模块550,使得在图像传感器510上对对象进行成像。处理器590可以根据所指定的相机设置条件来控制致动器560的驱动,并且根据致动器560的驱动来移动光学模块550,以在图像传感器510上对对象进行成像。
在操作S3中,从图像传感器510检测与对象的图像信息相关的数据。图像传感器510检测从对象入射的光,并且输出与对象的图像信息相关的数据。
在操作S4中,处理器590通过组合和分析由图像传感器510检测到的数据和存储在存储器580中的与通道的光学特性的变化相关的信息,来获得与对象的图像信息相关的校正数据。处理器590可以通过使用存储在存储器580中的多条信息之中的关于与所指定的相机设置条件相对应的光学特性的变化的信息、补充由图像传感器510检测到的数据,来获得与对象的图像信息相关的校正数据。因此,可以获得关于对象的更准确的图像信息。
处理器590可以恢复输入到图像传感器510的光的输入光谱。具体地,处理器590可以通过经由例如光谱重建算法等重建从每个通道获得的校正数据,来恢复输入到图像传感器510的光的输入光谱。此外,处理器590可以通过使用入射在图像传感器510上的光的输入光谱来恢复对象的图像,因此,可以获得对象的更准确的图像。
上述光谱相机500可以用于各种高性能光学设备或高性能电子装置中。电子装置可以包括例如智能电话、移动电话、蜂窝电话、个人数字助理(PDA)、膝上型计算机、个人计算机(PC)、各种便携式设备、电子装置、监视相机、医用相机、车辆、物联网(IoT)设备、其他移动或非移动计算设备,并且不限于此。
图9是根据示例实施例的电子装置ED01的示例的框图。参考图9,电子装置ED01可以在网络环境ED99中与另一电子装置ED04或服务器ED08进行通信。电子装置ED01可以包括处理器ED20、存储器ED30、输入设备ED50、声音输出设备ED55、显示设备ED60、音频模块ED70、传感器模块ED76、接口ED77、相机模块ED80、电力管理模块ED88、电池ED89、通信模块ED90和/或天线模块ED97。在电子装置ED01中,可以省略一些元件(显示设备ED60等),或者可以添加另一元件。一些元件可以被配置为一个集成电路。例如,传感器模块ED76(指纹传感器、虹膜传感器、照度传感器等)可以嵌入显示设备ED60(显示器等)中并在显示设备ED60(显示器等)中实现。
处理器ED20可以通过执行软件(程序ED40等)来控制连接到处理器ED20的电子装置ED01的一个或多个元件(硬件、软件元件等),并且可以执行各种数据处理或操作。作为数据处理或操作的一部分,处理器ED20可以将从另一元件(传感器模块ED76、通信模块ED90等)接收的命令和/或数据加载到易失性存储器ED32,可以处理易失性存储器ED32中存储的命令和/或数据,并且可以将结果数据存储在非易失性存储器ED34中。
存储器ED30可以存储电子装置ED01的元件(处理器ED20、传感器模块ED76等)所需的各种数据。该数据可以包括例如关于与其相关的软件(程序ED40等)和命令的输入数据和/或输出数据。存储器ED30可以包括易失性存储器ED32和/或非易失性存储器ED34。非易失性存储器ED34可以包括固定地安装在电子装置ED01中的内部存储器ED36和可拆卸的外部存储器ED38。
程序ED40可以作为软件存储在存储器ED30中,并且可以包括操作系统ED42、中间件ED44和/或应用ED46。相机模块ED80可以捕获静止图像和视频。相机模块ED80可以包括光谱相机500,并且省略对其的描述。
根据上述实施例的光谱相机500可以应用于图10A所示的移动电话或智能电话5100m、图10B所示的平板计算机或智能平板计算机5200、图10C所示的数码相机或便携式摄像机5300、图10D所示的膝上型计算机5400或图10E所示的电视或智能电视5500。例如,智能电话5100m或智能平板计算机5200可以包括均包括高分辨率图像传感器的多个高分辨率相机。通过使用高分辨率相机,可以提取图像中的对象的深度信息、可以调整图像的失焦或可以自动识别图像中的对象。
此外,光谱相机500可以应用于图11A所示的智能冰箱5600、图11B所示的监视相机5700、图11C所示的机器人5800、图11D所示的医用相机5900等。例如,智能冰箱5600可以通过使用图像传感器自动识别冰箱中的食品,并且可以通过智能电话通知用户存在特定种类的食品、放入或取出的食品的种类等。此外,监视相机5700可以通过使用高灵敏度来提供超高分辨率图像,并且可以使用户能够识别甚至是在黑暗环境中的图像中的物体或人。机器人5800可以进入到人不可以直接进入的灾害或工业地点,以向用户提供高分辨率图像。医用相机5900可以提供用于诊断或手术的高分辨率图像,并且可以动态地调整视野。
此外,光谱相机500可以应用于如图11E所示的车辆6000。车辆6000可以包括在各个位置的多个车用相机6010、6020、6030和6040。车用相机6010、6020、6030和6040中的每一个可以包括根据一个或多个实施例的图像传感器。车辆6000可以通过使用多个车用相机6010、6020、6030和6040向驾驶员提供关于车辆6000的内部或车辆6000的周围的各种信息,并且可以通过自动识别图像中的物体或人向驾驶员提供自动行进所需要的信息。
如上所述,随着图像传感器和光学模块之间的间隔根据诸如焦点调节或变焦功能实现之类的相机设置条件而改变,入射在图像传感器的每个通道上的光的CRA改变,并且相应地,每个通道的光学特性可以改变。在根据实施例的光谱相机中,存储器存储与每个通道的光学特性的变化相关的信息,并且处理器被配置为合并和分析与由图像传感器检测到的图像信息相关的数据以及存储在存储器中的与光学特性的变化相关的信息,然后,可以获得与对象的图像相关的校正数据。因此,可以重建对象的更准确的图像和颜色。
尽管已经参考示例性实施例具体示出和描述了光谱相机和包括该光谱相机的电子装置,但本领域普通技术人员将理解,在不脱离由所附权利要求限定的精神和范围的情况下,可以进行形式和细节上的多种改变。应当仅在描述的意义下而非为了限制目的来考虑优选实施例。因此,本公开的范围不是由本公开的详细描述来限定,而是由所附权利要求来限定,并且范围内的所有差异将解释为包括在本公开中。
应当理解的是,应仅以描述性意义而不是限制性目的来考虑本文中描述的实施例。对每个实施例中的特征或方面的描述一般应当被看作可用于其他实施例中的其他类似特征或方面。尽管已参照附图描述了一个或多个实施例,但本领域普通技术人员应当理解,在不脱离所附权利要求所限定的精神和范围的情况下,可以进行形式和细节上的多种改变。

Claims (18)

1.一种光谱相机,包括:
图像传感器,包括被配置为检测多个中心波长的多个通道;
光学模块,被配置为能够相对于所述图像传感器移动,以在所述图像传感器上提供对象的图像;
存储器,被配置为存储与所述图像传感器中的所述多个通道中的每个通道的光学特性的变化相关的第一信息,所述多个通道中的每个通道的光学特性的变化对应于所述光学模块的移动;以及
处理器,被配置为:
从所述存储器获得所述第一信息,
获得与由所述图像传感器检测到的所述多个中心波长相对应的第二信息,以及
通过基于所述第一信息校正所述第二信息来获得第三信息。
2.根据权利要求1所述的光谱相机,其中,基于入射在所述图像传感器的每个通道上的光的主光线角CRA的变化,生成所述图像传感器中的所述多个通道中的每个通道的光学特性的变化。
3.根据权利要求1所述的光谱相机,还包括:驱动器,被配置为使所述光学模块相对于所述图像传感器移动。
4.根据权利要求3所述的光谱相机,其中,所述处理器还被配置为控制所述驱动器。
5.根据权利要求1所述的光谱相机,其中,所述多个通道包括检测彼此不同的中心波长的至少三个通道。
6.根据权利要求1所述的光谱相机,还包括高光谱相机或多光谱相机。
7.根据权利要求1所述的光谱相机,其中,所述图像传感器还包括:
光谱滤波器,包括具有不同中心波长的多个单元滤波器;以及
像素阵列,包括多个像素,其中穿过所述多个单元滤波器的光入射在所述多个像素上。
8.根据权利要求1所述的光谱相机,其中,所述存储器还被配置为:以分布的形式来存储所述第一信息,其中所述分布是通过针对与所述图像传感器中的所述多个通道中的每个通道的光学特性的变化相关的数据的拟合过程而获得的。
9.根据权利要求1所述的光谱相机,其中,所述处理器还被配置为通过重建所述第三信息来恢复入射在所述图像传感器上的光的输入光谱。
10.根据权利要求9所述的光谱相机,其中,所述处理器还被配置为通过使用所述输入光谱来恢复所述对象的图像。
11.一种电子装置,包括根据权利要求1所述的光谱相机。
12.一种光谱相机的操作方法,所述操作方法包括:
通过移动所述光谱相机的光学模块来将对象成像到所述光谱相机的图像传感器上,所述图像传感器包括被配置为检测多个中心波长的多个通道;
从所述光谱相机的存储器获得与所述图像传感器中的所述多个通道中的至少一个通道的光学特性的变化相关的第一信息,所述多个通道中的所述至少一个通道的光学特性的变化对应于所述光学模块的移动;
获得与由所述图像传感器检测到的所述多个中心波长相对应的第二信息;以及
通过基于所述第一信息校正所述第二信息来获得第三信息。
13.根据权利要求12所述的操作方法,还包括:由所述光谱相机的驱动器来移动所述光学模块,所述驱动器由所述光谱相机的处理器控制。
14.根据权利要求12所述的操作方法,其中,所述多个通道包括检测不同中心波长的至少三个通道。
15.根据权利要求12所述的操作方法,还包括:以分布的形式来存储所述第一信息,其中所述分布是通过针对与所述图像传感器中的所述多个通道中的每个通道的光学特性的变化相关的数据的拟合过程而获得的。
16.根据权利要求12所述的操作方法,还包括:通过重建所述第三信息来恢复入射在所述图像传感器上的光的输入光谱。
17.根据权利要求16所述的操作方法,还包括:通过使用所述输入光谱来恢复所述对象的图像。
18.一种电子装置,包括:
存储器,存储一个或多个指令;以及
处理器,被配置为执行所述一个或多个指令以进行以下操作:
控制图像传感器检测多个中心波长,所述图像传感器包括多个通道,
控制光学模块相对于所述图像传感器移动,以在所述图像传感器上提供对象的图像,
获得与所述图像传感器中的所述多个通道中的至少一个通道的光学特性的变化相关的第一信息,所述多个通道中的所述至少一个通道的光学特性的变化对应于所述光学模块的移动,
获得与由所述图像传感器检测到的所述多个中心波长相对应的第二信息,以及
通过基于所述第一信息校正所述第二信息来获得第三信息。
CN202310620048.1A 2022-09-15 2023-05-29 光谱相机和包括该光谱相机的电子设备 Pending CN117705280A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0116669 2022-09-15
KR1020220116669A KR20240037762A (ko) 2022-09-15 2022-09-15 분광 카메라 및 이를 포함하는 전자 장치

Publications (1)

Publication Number Publication Date
CN117705280A true CN117705280A (zh) 2024-03-15

Family

ID=86469200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310620048.1A Pending CN117705280A (zh) 2022-09-15 2023-05-29 光谱相机和包括该光谱相机的电子设备

Country Status (4)

Country Link
US (1) US20240094053A1 (zh)
EP (1) EP4339569A1 (zh)
KR (1) KR20240037762A (zh)
CN (1) CN117705280A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006141B1 (en) * 1999-11-23 2006-02-28 Panavision, Inc. Method and objective lens for spectrally modifying light for an electronic camera
WO2013179620A1 (ja) * 2012-05-28 2013-12-05 株式会社ニコン 撮像装置
US10514335B2 (en) * 2017-09-08 2019-12-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for optical spectrometer calibration
JP2020064162A (ja) * 2018-10-16 2020-04-23 キヤノン株式会社 光学系、それを備えるアクセサリ装置及び撮像装置
EP4110166A4 (en) * 2020-02-28 2024-03-27 Spectral Md Inc MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT
CN116337778A (zh) * 2021-12-23 2023-06-27 北京与光科技有限公司 光谱装置和带有光谱装置的终端设备以及工作方法

Also Published As

Publication number Publication date
US20240094053A1 (en) 2024-03-21
EP4339569A1 (en) 2024-03-20
KR20240037762A (ko) 2024-03-22

Similar Documents

Publication Publication Date Title
EP2380345B1 (en) Improving the depth of field in an imaging system
US7916180B2 (en) Simultaneous multiple field of view digital cameras
US10823615B2 (en) Hyperspectral imaging apparatus and method
EP3133646A2 (en) Sensor assembly with selective infrared filter array
US20130222603A1 (en) Imaging systems for infrared and visible imaging
US20220003906A1 (en) Spectral filter, and image sensor and electronic device including the spectral filter
JP7156352B2 (ja) 撮像装置、撮像方法、及びプログラム
EP3968379B1 (en) Image sensor and image processing method, and electronic device including the image sensor
US20140078356A1 (en) Imaging systems with high dielectric constant barrier layer
US20220342130A1 (en) Spectral filter, and image sensor and electronic device including spectral filter
US11647302B2 (en) Method of calibrating image sensor and device for calibrating image sensor
US20180069137A1 (en) Image sensor and image capturing apparatus
EP4339569A1 (en) Spectral camera and electronic device including the same
EP4207290A1 (en) Image sensor and electronic apparatus including the image sensor
EP4095574B1 (en) Spectral filter, and image sensor and electronic device including spectral filter
US11848343B2 (en) Spectral filter, and image sensor and electronic device including the spectral filter
US20220128407A1 (en) Spectral filter, and image sensor and electronic device including the spectral filter
US20240027663A1 (en) Spectral filter, image sensor including the spectral filter, and electronic device including the spectral filter
US20230349758A1 (en) Spectral filter, image sensor including the spectral filter, and electronic device including the spectral filter
US20230217122A1 (en) Spectral filter, and image sensor and electronic device including the spectral filter
KR20240013642A (ko) 분광 필터와 이를 포함하는 이미지 센서 및 전자 장치
CN117434633A (zh) 光谱滤波器、包括该光谱滤波器的图像传感器和包括该光谱滤波器的电子设备
CN116978916A (zh) 光谱滤波器、包括该光谱滤波器的图像传感器和电子设备
US20230093853A1 (en) Spectral filter, and image sensor and electronic device including the spectral filter
KR20230153907A (ko) 분광 필터와 이를 포함하는 이미지 센서 및 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication