CN116896673A - 用于使用多光谱传感器获取图像的方法和装置 - Google Patents

用于使用多光谱传感器获取图像的方法和装置 Download PDF

Info

Publication number
CN116896673A
CN116896673A CN202211703731.3A CN202211703731A CN116896673A CN 116896673 A CN116896673 A CN 116896673A CN 202211703731 A CN202211703731 A CN 202211703731A CN 116896673 A CN116896673 A CN 116896673A
Authority
CN
China
Prior art keywords
channel
channels
infrared
signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211703731.3A
Other languages
English (en)
Inventor
金祐湜
郭永信
玉智琇
韩惠善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
UNIST Academy Industry Research Corp
Original Assignee
Samsung Electronics Co Ltd
UNIST Academy Industry Research Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, UNIST Academy Industry Research Corp filed Critical Samsung Electronics Co Ltd
Publication of CN116896673A publication Critical patent/CN116896673A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/029—Multi-channel photometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0294—Multi-channel spectroscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0297—Constructional arrangements for removing other types of optical noise or for performing calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • G01J2003/2843—Processing for eliminating interfering spectra
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种获取图像的方法包括：从多光谱传感器获取与多于四个通道相对应的通道信号；通过合成通道信号的红外分量来确定包括在所有通道信号中的累积红外信号；基于累积红外信号和通道的各自特性，计算每个通道的红外分量；以及通过从每个通道信号中去除红外分量来获取校正的通道信号。

Description

用于使用多光谱传感器获取图像的方法和装置
相关申请的交叉引用
本申请基于并要求于2022年4月8日向韩国知识产权局提交的韩国专利申请No.10-2022-0044076的优先权，其全部公开内容通过引用合并于此。
技术领域
与本公开一致的方法和装置涉及使用多光谱传感器获取图像。
背景技术
人眼可以视觉地感知可见光波段的光，但不能感知可见光波段以外的光。图像传感器通常被实现为用作人眼。然而，大多数图像传感器实际上通过不仅吸收可见光波段的光，而且还吸收红外波段中的光来生成信号。例如，与红-绿-蓝(RGB)传感器相比，多光谱传感器能够感测更多波段中的电磁辐射，并且可以感测可见光波段和红外波段两者的光。
然而，在一些情况下，由于红外波段的光的影响，在由图像传感器生成的图像中可能会发生错误，或者可能无法准确地表示颜色。因此，可能需要通过从由图像传感器获取的信号中去除红外分量来恢复信号信息的技术。
发明内容
提供了通过使用多光谱传感器获取图像的方法和装置。本公开的实施例的技术目的不限于前述内容，并且可以从所描述的实施例推断其他技术目的。
附加方面部分地将在以下描述中阐述，且部分地将通过该描述而变得清楚明白，或者可以通过实践所呈现的实施例来获知。
根据实施例，一种方法可以包括通过使用多光谱传感器获取图像，该方法包括：从多光谱传感器获取分别与多个通道相对应的通道信号，其中，多个通道包括多于四个通道；通过合成从多个通道中的所有通道获取的通道信号的红外分量，来确定包括在多个通道中的所有通道中的累积红外信号；基于累积红外信号和通道的各自特性，确定多个通道中的每个通道的红外分量；以及通过从多个通道的通道信号中的每个通道信号中去除红外分量来获取校正的通道信号。
实施例可以包括，获取通道信号包括：选择物理地设置在多光谱传感器处的多于四个通道，并从所选择的通道获取通道信号。
实施例可以包括，获取通道信号包括：对来自于物理地设置在多光谱传感器处的四个或更多个通道的通道信号进行合成或插值，以获取多于或少于物理地设置在多光谱传感器处的通道信号的数量的多个通道信号。
实施例可以包括，确定累积红外信号包括：对与作为变量的每个通道信号相对应的二阶或更高阶多项式函数进行合成。
实施例可以包括，确定每个通道的红外分量包括：通过对累积红外信号应用考虑了每个通道的各自特性的权重，来计算每个通道的红外分量。
实施例可以包括，每个通道的红外分量对应于：与多个通道中的每个通道中仅包括可见光波段的信号的情况相比，当多个通道中的每个通道中包括红外波段的信号时所增加的信号强度。
实施例可以包括，通过将颜色转换矩阵应用于校正的通道信号来生成红-绿-蓝(RGB)图像。
实施例可以包括，优化颜色转换矩阵以最小化通过使用颜色转换矩阵获得的颜色值与实际颜色值之间的色差。
实施例可以包括，确定累积红外信号或确定每个通道的红外分量是通过使用预训练的神经网络来确定的。
实施例可以包括，通过对通道信号执行去马赛克来生成每个通道的图像；以及对每个通道的图像执行图像处理。
实施例可以包括一种图像获取装置，包括：多光谱传感器；以及处理器，该处理器被配置为：从多光谱传感器获取分别与多个通道相对应的通道信号，其中，多个通道包括多于四个通道；通过合成从多个通道获取的通道信号的红外分量来确定包括在多个通道中的所有通道中的累积红外信号；基于累积红外信号和通道的各自特性，确定多个通道中的每个通道的红外分量；并且通过从多个通道的通道信号中的每个通道信号中去除红外分量来获取校正的通道信号。
实施例可以包括处理器，该处理器被配置为：选择物理地设置在多光谱传感器处的多于四个通道，并从所选择的通道获取通道信号。
实施例可以包括处理器，该处理器被配置为通过以下操作获取通道信号：对从物理地设置在多光谱传感器处的四个或更多个通道获取的通道信号进行合成或插值，以获取多于或少于物理地设置在多光谱传感器处的通道的数量的多个通道信号。
实施例可以包括处理器，该处理器被配置为：通过对与作为变量的每个通道信号相对应的二阶或更高阶多项式函数进行合成，来确定累积红外信号。
实施例可以包括处理器，该处理器被配置为：通过对累积红外信号应用考虑了每个通道的各自特性的权重，来确定每个通道的红外分量。
实施例可以包括：每个通道的红外分量对应于：与多个通道中的每个通道中仅包括可见光波段的信号的情况相比，当多个通道中的每个通道中包括红外波段的信号时所增加的信号强度。
实施例可以包括处理器，该处理器被配置为：通过将颜色转换矩阵应用于校正的通道信号来生成红-绿-蓝(RGB)图像。
实施例可以包括处理器，该处理器被配置为：优化颜色转换矩阵以最小化通过使用颜色转换矩阵获得的颜色值与实际颜色值之间的色差。
实施例可以包括处理器，该处理器被配置为：通过使用预训练的神经网络来确定累积红外信号或确定每个通道的红外分量。
实施例可以包括多光谱传感器，该多光谱传感器包括：光电二极管；光谱滤波器，集成在光电二极管上；以及驱动器电路，被配置为驱动光电二极管。
附图说明
根据以下结合附图的描述，本公开的一些实施例的上述和其它方面、特征以及优点将更清楚，在附图中：
图1是示意性地示出了根据实施例的多光谱传感器的截面的图；
图2是示出了根据实施例的图像获取装置的示意结构的框图；
图3是图2的图像获取装置的框图；
图4是示出了红-绿-蓝(RGB)传感器的波长光谱的图；
图5和图6是示出了根据实施例的多光谱传感器的波长光谱的图；
图7是根据实施例的用于说明基于从多光谱传感器的多个通道获取的信号生成每个通道的图像的过程的图；
图8是根据实施例的用于说明优化颜色转换矩阵的过程的图；
图9是根据实施例的获取图像的方法的流程图；
图10是示出了根据实施例的电子设备的组件的框图；
图11是图10的电子设备中设置的相机模块的示意框图；以及
图12A-图12E和图13A-图13E是示出了应用根据实施例的图像获取装置的电子设备的各种示例的图。
具体实施方式
现在详细参考实施例，附图中示出了实施例的示例，在整个附图中，相同的附图标记指代相同的元件。在这点上，示例实施例可以具有不同形式，并且不应当被解释为受限于本文所阐明的描述。因此，下面仅通过参考附图来描述示例实施例，以解释各自方面。本文中所使用的术语“和/或”包括相关联的列出项中的一个或多个的任意和所有组合。诸如“…中的至少一个”之类的表述当在元件列表之后时修饰整个元件列表，而不是修饰列表中的单独元件。
在描述实施例中的功能时，考虑到通用术语的广泛使用，已选择使用当前使用的通用术语。然而，这些术语可以根据本领域技术人员的意图、先例、新技术的出现等而变化。此外，在某些情况下，已任意选择术语，并且在这种情况下，将在对应的描述中详细描述术语的含义。因此，实施例中使用的术语应该基于它们的如本领域技术人员所理解的含义、实施例的整体描述和上下文来考虑。
在一些实施例的描述中，当某一部分被描述为连接到另一部分时，该部分可以直接连接到另一部分，或者通过其间的插入部分电连接到另一部分。当某一部分“包括”某一组件时，除非另有说明，否则还可以包括另一组件，而不排除另一组件的存在。
在描述实施例中使用的术语“包括”或“包含”不应该被解释为包括说明书中描述的所有组件或操作，而可以被理解为不包括一些组件或操作或者还包括附加组件或操作。
以下实施例的描述不应该被解释为限制权利范围，并且本领域技术人员能够容易地导出的事项应该被解释为包括在所描述的实施例的权利范围内。在下文中，将参考附图作为示例详细描述实施例。
图1是示意性地示出了根据实施例的多光谱传感器的截面的图。
图1中所示的多光谱传感器100可以包括例如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。
参考图1，多光谱传感器100可以包括像素阵列65和布置在像素阵列65上的光谱滤波器83。这里，像素阵列65可以包括以二维(2D)方式布置的多个像素，并且光谱滤波器83可以包括布置为分别与多个像素相对应的多个谐振器。图1示出了像素阵列65包括四个像素且光谱滤波器83包括四个谐振器的示例。
像素阵列65的每个像素可以包括作为光电转换元件的光电二极管62和被配置为驱动光电二极管62的驱动器电路52。光电二极管62可以掩埋在半导体衬底61中。例如，硅衬底可以用作半导体衬底61。然而，本公开不限于此。布线层51可以设置在半导体衬底61的下表面61a上，并且驱动器电路52(例如金属氧化物半导体场效应晶体管(MOSFET)等)可以设置在布线层51中。
包括多个谐振器的光谱滤波器83可以设置在半导体衬底61的上表面61b上。每个谐振器可以设置为透射特定的期望波长范围的光。每个谐振器可以包括彼此分开布置的反射层和设置在反射层之间的空腔。每个反射层可以包括例如金属反射层或布拉格反射层。每个空腔可以设置为引起特定的期望波长范围的光的谐振。
光谱滤波器83可以包括提高穿过光谱滤波器83并朝向光电二极管62入射的光的透射率的一个或多个功能层。功能层可以包括介电层或具有调整的折射率的介电图案。此外，功能层可以包括例如抗反射层、聚光透镜、滤色器、短波长吸收滤波器或长波长截止滤波器等。然而，也可以使用用于修改光和/或调整波长的其他组件或元件。
图2是示出了根据实施例的图像获取装置的示意结构的框图。
参考图2，图像获取装置10可以包括多光谱传感器100和处理器200。图2的图像获取装置10示出了与示例实施例相关的组件。因此，对于本领域技术人员显而易见的是：图像获取装置10还可以包括除图2所示的组件之外的其他组件。例如，图像获取装置10还可以包括如图3所示的存储器150，并且除了存储器150之外，还可以进一步包括其他组件。
多光谱传感器100可以指被配置为感测具有各种类型的波段的光的传感器。例如，多光谱传感器100可以感测比红-绿-蓝(RGB)传感器能够感测的波段更多的波段的光。参考图4，RGB传感器可以包括R通道、G通道和B通道，并且可以感测与三个通道中的每一个相对应的波段的光。相反，多光谱传感器100可以包括16个通道或31个通道，如作为示例在图5和图6中所示。然而，本公开不限于此，并且多光谱传感器100可以包括任意数量的通道，只要多光谱传感器100包括多于四个通道即可。
多光谱传感器100可以调整通过每个通道吸收的光的中心波长、带宽和透射量，使得每个通道可以感测期望波段的光。例如，多光谱传感器100的每个通道的带宽可以比R通道、G通道和B通道的带宽窄。此外，通过将多光谱传感器100的所有通道的所有带宽相加获得的总带宽可以包括RGB传感器的总带宽，并且可以比RGB传感器的总带宽更宽。由多光谱传感器100获取的图像可以是多光谱或高光谱图像。多光谱传感器100可以通过将包括可见光波段、红外波段和紫外波段在内的相对较宽的波段划分成多个通道来获得图像。
处理器200可以控制图像获取装置10的所有操作。处理器200可以包括一个处理器核(单核)或多个处理器核(多核)。处理器200可以处理或执行存储在存储器中的程序和/或数据。例如，处理器200可以通过执行存储在存储器中的程序来控制图像获取装置10的功能。
处理器200可以从多光谱传感器100获得与多于四个通道相对应的通道信号，并且通过考虑多个通道中的每一个的单独特性来准确地预测红外分量的光谱。处理器200可以通过从由多光谱传感器100获得的每个通道信号中有效地去除与每个通道信号相对应的红外分量来生成具有准确颜色的图像。
图像获取装置10不使用红外截止滤波器，因此可以感测所有可见光波段和红外波段。此外，图像获取装置10也可以在需要时从可见光波段中有效地去除红外分量。因此，根据本公开的图像获取装置10不仅可以生成具有准确颜色的RGB图像，而且还可以适当地用于处理红外分量的各种应用中。在下文中，将参考图3更详细地描述图像获取装置10。
图3是图2的图像获取装置10的详细框图。
参考图3，除了多光谱传感器100和处理器200之外，图像获取装置10还可以包括存储器150。此外，处理器200可以包括通道选择部210、图像处理部220、红外分量去除部230和颜色转换部240。为了便于说明，通道选择部210、图像处理部220、红外分量去除部230和颜色转换部240根据处理器200的操作彼此区分。然而，这种单独描述不一定意味着这些单元的物理分离。上述单元可以是包括在处理器200中的硬件和/或软件的组合，并且它们的配置可以彼此物理地相同或不同。
存储器150可以指存储由图像获取装置10处理的各种类型的数据的硬件。例如，存储器150可以存储从多光谱传感器100获得的图像(或信号)。存储器150可以是基于行来顺序地存储图像的行存储器，并且可以是存储整个图像的帧缓冲器。此外，存储器150可以存储要由图像获取装置10运行的应用、驱动程序等。存储器150可以包括随机存取存储器(RAM)、例如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM，蓝光光盘或其他光盘存储器、硬盘驱动器(HDD)、固态驱动器(SSD)或闪存。然而，本公开不限于此。
存储器150可以布置在多光谱传感器100外部，或者可以集成在多光谱传感器100内部。当存储器150集成在多光谱传感器100内部时，存储器150可以与电路部分(例如，参考图1描述的布线层51和/或驱动器电路52)一起集成。像素部分(例如，参考图1描述的半导体衬底61和/或光电二极管62)和其余部分(例如，电路部分和存储器150)可以分别为堆叠，并且可以集成总共两个堆叠。在这种情况下，多光谱传感器100可以包括包含两个堆叠的单个芯片。然而，本公开不限于此，并且多光谱传感器100可以被实现为具有像素部分、电路部分和存储器150的三个堆叠。
包括在多光谱传感器100中的电路部分可以与处理器200相同或不同。当包括在多光谱传感器100中的电路部分与处理器200相同时，图像获取装置10可以是实现为片上元件的多光谱传感器100。此外，即使当包括在多光谱传感器100中的电路部分与处理器200不同时，如果处理器200布置在多光谱传感器100内部，则图像获取装置10可以被实现为片上元件。然而，本公开不限于此，并且处理器200可以单独布置在多光谱传感器100外部。
通道选择部210可以从多光谱传感器100获得与多于四个通道相对应的通道信号。通道选择部210可以选择物理地设置在多光谱传感器100处的通道中的至少一些，并且从所选通道获取通道信号。例如，通道选择部210可以从物理地设置在多光谱传感器100处的所有通道获得通道信号。此外，通道选择部210可以通过仅选择物理地设置在多光谱传感器100处的通道中的一些来获得通道信号。
通道选择部210可以通过对从物理地设置在多光谱传感器100处的通道获取的通道信号进行合成或插值，来获取多于或少于通道信号的数量的增加或减少数量的通道信号。例如，通道选择部210可以通过对多光谱传感器100的像素或通道执行合并(binning)来获得少于由多光谱传感器100提供的通道的数量的减少数量的通道信号。此外，通道选择部210可以通过对来自多光谱传感器100的通道信号进行插值而生成新的通道信号，来获得多于由多光谱传感器100提供的通道的数量的增加数量的通道信号。
当所获取的通道信号的数量减少时，每个通道信号可以具有比通道信号的数量不减少时相对更宽的频带。在这种情况下，可以增加信号的灵敏度，并且可以减小噪声。相反，当所获取的通道信号的数量增加时，每个通道信号的灵敏度可能会略微减小，但是基于通道信号的数量的增加可以获得更准确的图像。因此，根据所获取的通道信号的增加或减少而存在折衷。通道选择部210可以根据图像将被应用的场景来获得适当数量的通道信号。
图像处理部220可以在将由多光谱传感器100获得的图像或信号存储在存储器150之前或之后执行基本图像处理。基本图像处理可以包括坏像素校正、固定模式噪声校正、串扰减少、再马赛克、去马赛克、伪色减少、去噪、色差校正等。
图像处理部220可以在执行红外分量去除部230的操作之前或之后执行基本图像处理的至少一部分。例如，图像处理部220可以在执行红外分量去除部230的操作之前执行坏像素校正等，并且在执行红外分量去除部230的操作之后执行去马赛克等。图像处理部220可以通过对通道信号执行去马赛克来生成每个通道的图像，并且对每个通道的图像执行图像处理。在下文中，参考图7描述由图像处理部220执行的去马赛克的过程。
图7是根据实施例的用于说明基于从多光谱传感器的多个通道获取的信号生成每个通道的图像的过程的图。
图7示出了从多光谱传感器获得的原始图像710和去马赛克后的每个通道的图像720。在原始图像710中，一个小四边形表示一个像素，并且四边形中的数字表示通道号。如从所示的通道号所理解的，图7表示从包括16个通道的多光谱传感器获得的图像。尽管原始图像710包括不同通道的所有像素，但是由于通过去马赛克收集相同编号的通道的像素，因此可以生成每个通道的图像720。
返回参考图3，红外分量去除部230可以通过合成通道信号来提取包括在所有通道信号中的红外信号。例如，红外分量去除部230可以基于包括作为变量的每个通道信号的任意阶的多项式函数来生成红外信号。
例如，红外信号LIR(作为累积红外信号)可以根据包括作为变量的N个通道信号(即，C1至CN)的以下等式1来计算。
[等式1]
在等式1中，αi和αij(i和j是范围从1到N的自然数)中的每一个表示应用于每个通道信号的权重，以确定关联通道的红外分量的适当权重。αi和αij可以是通过实验确定的常数，但本公开不限于此。在示例实施例中，N大于4。等式1的右侧的第一项为一阶项，第二项为二阶项或交叉项。在等式1中，省略了高于三阶项的项，但可以在需要时包括它们。
为了基于等式1准确地计算红外信号LIR，可能至少需要二阶多项式函数。例如，红外分量去除部230可以基于包括每个通道信号作为变量的二阶或更高阶的多项式函数来生成红外信号。等式1包含了包括i与j相同或不同的情况的所有可能的情况。然而，当等式1包括i与j相同的情况时，等式1可以不包括通道信号之间的交叉项。
红外分量去除部230可以基于红外信号和通道的各自特性来计算每个通道的红外分量。红外分量去除部230可以通过将考虑了通道的各自特性的权重应用于红外信号来计算每个通道的红外分量。例如，红外分量去除部230可以根据以下等式2计算每个通道的红外分量ΔCi。
[等式2]
ΔCi＝βi·LIR
每个通道的红外分量ΔCi可以对应于：与每个通道信号中仅包括可见光波段的信号的情况相比，当还包括红外波段的信号时所增加的信号强度。用于计算每个通道的红外分量的权重βi可以是通过实验确定的常数，但本公开不限于此。考虑到红外分量的影响可能会根据通道特性而变化的事实，可以适当地设置βi。
红外分量去除部230可以通过从每个通道信号中去除对应的红外分量来获得校正的通道信号。例如，红外分量去除部230可以根据以下等式3获得校正的通道信号Ci，out。
[等式3]
Ci，out＝Ci-ΔCi
红外分量去除部230可以提取红外信号，或者通过使用预训练的神经网络计算每个通道的红外分量。例如，红外分量去除部230可以通过使用神经网络获得用于生成红外信号的某阶的多项式函数。在另一示例中，可以通过使用神经网络仅获得包括在多项式函数中的权重，αi和αii。此外，红外信号自身可以是神经网络的输出。
类似地，红外分量去除部230可以通过使用神经网络获得每个通道自身的红外分量、用于计算每个通道的红外分量的权重βi等。此外，红外分量去除部230可以通过使用预训练的神经网络直接获得校正的通道信号。
神经网络可以具有深度神经网络(DNN)或n层神经网络的架构。DNN或n层神经网络可以是卷积神经网络(CNN)、递归神经网络(RNN)、深度信念网络、受限的玻尔兹曼机、残差神经网络(Resnet)等。然而，本公开不限于此，并且神经网络可以具有各种架构。
颜色转换部240可以通过将颜色转换矩阵应用于校正的通道信号来生成RGB图像。颜色转换部240可以通过使用3×N矩阵Mc将校正的通道信号转换为CIE-XYZ颜色空间。例如，颜色转换部240可以根据以下等式4转换校正的通道信号。
[等式4]
然后，颜色转换部240可以通过使用由每个标准定义的行列式来将XYZ信号转换为标准RGB颜色空间。例如，当校正的通道信号要被转换为sRGB标准颜色空间时，颜色转换部240可以根据以下等式5获得sRGB信号。在等式5中，MsRGB表示在sRGB标准颜色空间中定义的行列式。
[等式5]
可以通过基于测量或拍摄各种测试颜色的结果最小化色差的方法或恢复光谱的方法，获得颜色转换矩阵Mc。例如，颜色转换部240可以优化颜色转换矩阵，使得通过使用颜色转换矩阵获得的颜色值与实际颜色值之间的色差被最小化。在下文中，将参考图8描述优化颜色转换矩阵的过程。
图8是根据实施例的用于说明优化颜色转换矩阵的过程的图。
当由多光谱传感器采集真实场景时，可以获得多个通道信号C1至CN。当将初始颜色转换矩阵Mc应用于多个通道信号C1至CN时，可以获得预测颜色值X′Y′Z′。通过使用诸如CIELAB或CIEDE2000之类的公式，可以计算与真实场景相对应的实际颜色值XYZ与预测颜色值X′Y′Z′之间的色差。为了最小化通过使用优化算法计算出的色差，可以改变颜色转换矩阵Mc的元素。随着重复前述过程，颜色转换矩阵可以被优化为能够在输入通道信号时准确地输出实际的颜色值。
返回参考图3，颜色转换部240可以基于光谱恢复来执行颜色转换。例如，如以下等式6所示，颜色转换部240可以首先通过使用矩阵Ms将通道信号转换为光谱信号，然后通过应用基于CIE颜色匹配函数生成的矩阵CMF获得颜色值XYZ。
[等式6]
在等式6中，矩阵CMF可以是3×L。这里，3指示矩阵CMF具有三个波长，即，X、Y和Z，并且L表示针对波长的采样数。在等式6中，矩阵Ms可以是L＝N。
根据以下等式7，矩阵Ms可以与包括与n个测试颜色相对应的光谱信息的矩阵T、以及通过使用多光谱传感器相对于n个测试颜色测量的通道信号矩阵C有关。
[等式7]
T＝MSC
因此，可以通过使用伪逆矩阵来计算矩阵Ms，如以下等式8所示。
[等式8]
N通道信号可以通过矩阵Ms转换为光谱信号。即使光谱信号的特定值略微不同，预测的颜色值也可以相同。因此，当通过使用优化的矩阵Ms以光谱信号级别执行颜色转换时，可以获得更准确的颜色值。矩阵Ms的优化可以以与参考图8所描述的类似方式执行。然而，本公开不限于此。
图9是根据实施例的获取图像的方法的流程图。
参考图9，根据本公开的获取图像的方法可以包括由图2和图3的图像获取装置10处理的操作。因此，即使下面省略了一些描述，当上面已参照图1至图8提供了这种描述时，其也可以应用于图9所示的获取图像的方法。
在操作910中，图像获取装置可以从多光谱传感器获取与多于四个通道相对应的通道信号。例如，图像获取装置可以选择物理地设置在多光谱传感器处的通道中的至少一些，并且从所选通道获取通道信号。在另一示例中，图像获取装置可以通过对从物理地设置在多光谱传感器处的通道获取的通道信号进行合成或插值，来获取多于或少于在多光谱传感器处设置的通道信号的数量的多个通道信号。
在操作920中，图像获取装置可以通过合成通道信号来提取包括在所有通道信号中的红外信号。例如，图像获取装置可以基于包括每个通道信号作为变量的二阶或更高阶的多项式函数来生成红外信号。然而，本公开不限于此。
在操作930中，图像获取装置可以基于红外信号和通道的各自特性来计算每个通道的红外分量。例如，图像获取装置可以通过将考虑了通道的各自特性的权重应用于红外信号来计算每个通道的红外分量。每个通道的红外分量可以对应于：与每个通道信号中仅包括可见光波段的信号的情况相比，当还包括红外波段的信号时所增加的信号强度。
图像获取装置可以提取红外信号，或者通过使用预训练的神经网络计算每个通道的红外分量。换句话说，图像获取装置可以在执行操作920和操作930中的各种操作的至少一部分的过程中使用预训练的神经网络。因此，即使在需要大量计算或不容易导出解的过程中，也可以由神经网络输出直观的解。
在操作940中，图像获取装置可以通过从每个通道信号中去除对应的红外分量来获得校正的通道信号。图像获取装置可以通过将颜色转换矩阵应用于校正的通道信号来生成RGB图像。此外，图像获取装置可以优化颜色转换矩阵，使得通过使用颜色转换矩阵获得的颜色值与实际颜色值之间的色差被最小化。图像获取装置可以通过对通道信号执行去马赛克来生成每个通道的图像，并且对每个通道的图像执行图像处理。
此外，上述获取图像的方法可以记录在计算机可读记录介质上，在该计算机可读记录介质上，记录了包括用于执行该方法的指令在内的一个或多个程序。计算机可读记录介质可以包括被专门配置为存储和执行程序指令的硬件设备，例如，磁介质(包括硬盘、软盘和磁带)、光介质(例如CD-ROM和DVD)、磁光介质(例如光磁软盘)、ROM、RAM、闪存等。程序指令可以不仅包括由编译器实现的机器语言代码，还包括可由计算机通过使用解释器等来执行的高级语言代码。
可以在高性能光学设备或高性能电子设备中采用图像获取装置(例如，图2和图3的图像获取装置10)。电子设备可以包括例如智能电话、移动电话、蜂窝电话、个人数字助理(PDA)、膝上型计算机、个人计算机(PC)、各种便携式设备、家用电器、数码相机、汽车、物联网(IoT)设备、以及其他移动或非移动计算设备，但本公开不限于此。
除了图像获取装置10之外，电子设备还可以包括被配置为控制设置在电子设备中的图像传感器的处理器，例如，应用处理器(AP)，通过处理器驱动操作系统或应用程序来控制多个硬件或软件构成元件，并执行各种数据处理和计算。处理器还可以包括图形处理单元(GPU)和/或图像信号处理器。当处理器包括图像信号处理器时，可以使用处理器存储和/或输出通过图像传感器获取的图像。
图10是示出了根据实施例的电子设备的组件的框图。
参考图10，在网络环境ED00中，电子设备ED01可以通过第一网络ED98(短距离无线通信网络等)与另一电子设备ED02通信，或者通过第二网络ED99(长距离无线通信网络等)与另一电子设备ED04和/或服务器ED08通信。电子设备ED01可以通过服务器ED08与电子设备ED04通信。电子设备ED01可以包括处理器ED20、存储器ED30、输入设备ED50、声音输出设备ED55、显示设备ED60、音频模块ED70、传感器模块ED76、接口ED77、触觉模块ED79、相机模块ED80、电力管理模块ED88、电池ED89、通信模块ED90、用户识别模块ED96和/或天线模块ED97。在电子设备ED01中，可以省略一些构成元件(显示设备ED60等)，或者可以添加其他构成元件。一些构成元件可以由一个集成电路来实现。例如，传感器模块ED76(指纹传感器、虹膜传感器、照度传感器等)可以通过嵌入显示设备ED60(显示器等)来实现。
处理器ED20可以通过执行软件(程序ED40等)来控制连接到处理器ED20的一个或多个其他组件(硬件和软件组件等)，并执行各种数据处理或计算。作为数据处理或计算的一部分，处理器ED20可以在易失性存储器ED32中加载从其他构成元件(传感器模块ED76、通信模块ED90等)接收的命令和/或数据，处理存储在易失性存储器ED32中的命令和/或数据，并将结果数据存储在非易失性存储器ED34中。处理器ED20可以包括主处理器ED21(中央处理单元、应用处理器等)以及可独立于主处理器ED21操作或可与主处理器ED21一起操作的辅处理器ED23(图形处理单元、图像信号处理器、传感器集线器处理器、通信处理器等)。辅处理器ED23可以使用比主处理器ED21更少的电力，并且可以执行专门的功能。
辅处理器ED23可以在主处理器ED21处于非活动状态(睡眠状态)时代替主处理器ED21，或在主处理器ED21处于活动状态(应用执行状态)时与主处理器ED21一起，控制与电子设备ED01的构成元件中的一些构成元件(显示设备ED60、传感器模块ED76、通信模块ED90等)有关的功能和/或状态。辅处理器ED23(图像信号处理器、通信处理器等)可以被实现为其他功能上相关的构成元件(相机模块ED80、通信模块ED90等)的一部分。
存储器ED30可以存储电子设备ED01的构成元件(处理器ED20、传感器模块ED76等)所需的各种数据。数据可以包括例如软件(程序ED40等)和关于与其相关的命令的输入数据和/或输出数据。存储器ED30可以包括易失性存储器ED32和/或非易失性存储器ED34。非易失性存储器ED34可以包括固定地安装在电子设备ED01中的内部存储器ED36和可移除的外部存储器ED38。
程序ED40可以作为软件存储在存储器ED30中，并且可以包括操作系统ED42、中间件ED44和/或应用程序ED46。
输入设备ED50可以从电子设备ED01的外部(用户等)接收要用于电子设备ED01的构成元件(处理器ED20等)的命令和/或数据。输入设备ED50可以包括麦克风、鼠标、键盘和/或数字笔(触控笔等)。
声音输出设备ED55可以向电子设备ED01的外部输出声音信号。声音输出设备ED55可以包括扬声器和/或听筒。扬声器可以用于诸如多媒体回放或录音回放的一般目的，而听筒可以用于接听来电。听筒可以通过耦合为扬声器的一部分或由独立的分离的设备来实现。
显示设备ED60可以可视地向电子设备ED01的外部提供信息。显示设备ED60可以包括显示器、全息设备或投影仪，以及控制设备的控制电路。显示设备ED60可以包括被设置为检测触摸的触摸电路和/或被设置为测量由触摸生成的力的强度的传感器电路(压力传感器等)。
音频模块ED70可以将声音转换为电信号，或者相反地，将电信号转换为声音。音频模块ED70可以通过输入设备ED50获得声音，或者通过以有线或无线的方式连接到声音输出设备ED55和/或电子设备ED01的另一电子设备(电子设备ED02等)的扬声器和/或耳机输出声音。
传感器模块ED76可以检测电子设备ED01的操作状态(电力、温度等)或外部环境状态(用户状态等)，并生成与检测出的状态相对应的电信号和/或数据值。传感器模块ED76可以包括手势传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器和/或照度传感器。
接口ED77可以支持用于将电子设备ED01以有线或无线的方式连接到另一电子设备(电子设备ED02等)的一种或多种指定协议。接口ED77可以包括高清多媒体接口(HDMI)、通用串行总线(USB)接口、SD卡接口和/或音频接口。
连接端子ED78可以包括用于将电子设备ED01物理地连接到另一电子设备(电子设备ED02等)的连接器。连接端子ED78可以包括HDMI连接器、USB连接器、SD卡连接器和/或音频连接器(耳机连接器等)。
触觉模块ED79可以将电信号转换为机械刺激(振动、运动等)或可由用户通过触觉或动感感知的电刺激。触觉模块ED79可以包括电机、压电设备和/或电刺激设备。
相机模块ED80可以捕获静止图像和视频。相机模块ED80可以包括图像获取装置10，还可以包括附加的透镜组件图像信号处理器和/或闪光灯。包括在相机模块ED80中的透镜组件可以收集从对象发射的光，以用于图像捕获。
电力管理模块ED88可以管理供应给电子设备ED01的电力。电力管理模块ED88可以被实现为电力管理集成电路(PMIC)的一部分。
电池ED89可以向电子设备ED01的构成元件供电。电池ED89可以包括不可再充电的原电池、可再充电的二次电池和/或燃料电池。
通信模块ED90可以在电子设备ED01和另一电子设备(电子设备ED02、电子设备ED04、服务器ED08等)之间建立有线通信信道和/或无线通信信道，并且通过建立的通信信道来支持通信。通信模块ED90可以独立于处理器ED20(应用处理器等)进行操作，并且可以包括支持有线通信和/或无线通信的一个或多个通信处理器。通信模块ED90可以包括无线通信模块ED92(蜂窝通信模块、短距离无线通信模块、全球导航卫星系统(GNSS)通信模块等)和/或有线通信模块ED94(局域网(LAN)通信模块、电力线通信模块等)。在上述通信模块中，对应的通信模块可以通过第一网络ED98(短距离通信网络，例如蓝牙、WiFi直连或红外数据协会(IrDA))或第二网络ED99(长距离通信网络，例如蜂窝网络、互联网或计算机网络(LAN、WAN等))与另一电子设备通信。这些各种类型的通信模块可以集成到一个构成元件(单芯片等)中，或者可以被实现为多个单独的构成元件(多芯片)。无线通信模块ED92可以通过使用用户识别模块ED96中存储的用户信息(国际移动用户标识符(IMSI)等)在通信网络(例如第一网络ED98和/或第二网络ED99)中验证和认证电子设备ED01。
天线模块ED97可以向外部(另一电子设备等)发送信号和/或电力，或者从外部接收信号和/或电力。天线可以包括在衬底(印刷电路板(PCB)等)上以导电图案形成的发射器。天线模块ED97可以包括一个或多个天线。当天线模块ED97包括多个天线时，通信模块ED90可以从天线中选择适合在诸如第一网络ED98和/或第二网络ED99的通信网络中使用的通信方法的天线。可以通过选择的天线在通信模块ED90和另一电子设备之间发送或接收信号和/或电力。除了天线之外的其他部分(RFIC等)可以被包括为天线模块ED97的一部分。
一些构成元件可以通过外围设备之间的通信方法(总线、通用输入和输出(GPIO)、串行外围接口(SPI)、移动工业处理器接口(MIPI)等)彼此连接，并且可以相互交换信号(命令、数据等)。
可以通过连接到第二网络ED99的服务器ED08在电子设备ED01和电子设备ED04之间发送或接收命令或数据。电子设备ED02和ED04可以是与电子设备ED01相同或不同类型的设备。在电子设备ED01中执行的全部或部分操作可以由一个或多个电子设备(ED02、ED04和ED08)执行。例如，当电子设备ED01需要执行功能或服务时，电子设备ED01可以请求一个或多个电子设备执行该功能或服务的一部分或全部，而不是自己执行该功能或服务。接收到请求的一个或多个电子设备可以执行与请求相关的附加功能或服务，并且向电子设备ED01发送执行的结果。为此，可以使用云计算、分布式计算和/或客户端-服务器计算技术。
图11是图10的电子设备中设置的相机模块的示意框图。
相机模块ED80可以包括图像获取装置10，或者具有通过修改图像获取装置10而获得的结构。参考图11，相机模块ED80可以包括透镜组件CM10、闪光灯CM20、图像传感器CM30、图像稳定器CM40、存储器CM50(例如，缓冲存储器等)和/或图像信号处理器CM60。
图像传感器CM30可以包括图像获取装置10或多光谱传感器100。多光谱传感器100可以通过将已经从对象发射或反射然后经由透镜组件CM10传输的光转换为电信号来获得与对象相对应的图像。除了与可见光波段相对应的RGB图像之外，多光谱传感器100还可以获取紫外到红外波长范围内的高光谱图像。
除了多光谱传感器100之外，图像传感器CM30还可以包括从具有不同属性的图像传感器(例如另一RGB传感器、黑白(BW)传感器、红外(IR)传感器和紫外传感器)中选择的一种或多种传感器。包括在图像传感器CM30中的每个传感器可以被实现为电荷耦合器件(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器。
透镜组件CM10可以收集从对象发射的光，以用于图像捕获。相机模块ED80可以包括多个透镜组件CM10，并且在这种情况下，相机模块ED80可以包括双相机、360度相机或球形相机。一些透镜组件CM10可以具有相同的透镜属性(视角、焦距、自动对焦、F值、光学变焦等)，或者不同的透镜属性。透镜组件CM10可以包括广角透镜或远摄透镜。
闪光灯CM20可以发射人造光，以增强从对象发射或反射的光。闪光灯CM20可以包括一个或多个发光二极管(红-绿-蓝(RGB)LED、白光LED、红外LED、紫外LED等)和/或氙灯。
图像稳定器CM40可以响应于相机模块ED80或包括相机模块ED80的电子设备ED01的移动而在特定方向上移动透镜组件CM10中包括的一个或多个透镜或图像传感器，或者可以通过控制图像传感器的运动特性(调整读出定时等)来补偿由于运动而引起的负面影响。图像稳定器CM40可以通过使用布置在相机模块ED80内部或外部的陀螺仪传感器或加速度传感器来检测相机模块ED80或电子设备ED01的运动。图像稳定器CM40可以以光学形式实现。
存储器CM50可以存储通过多光谱传感器100获得的图像的部分或全部数据，以用于后续图像处理操作。存储器CM50可以与参考图3描述的存储器150相同或不同。当以高速获得多个图像时，仅显示低分辨率图像，同时将获得的原始数据(拜耳模式数据、高分辨率数据等)存储在存储器CM50中。然后，存储器CM50可以用于向图像信号处理器CM60发送所选的(用户选择等)图像的原始数据。存储器CM50可以并入到电子设备ED01的存储器ED30中，或者被配置为独立操作的分离存储器。
图像信号处理器CM60可以对通过图像传感器CM30获得的图像或存储在存储器CM50中的图像数据执行图像处理。图像信号处理器CM60可以与参考图2和图3描述的处理器200相同或不同。图像处理可以包括深度图生成、三维建模、全景图生成、特征点提取、图像合成和/或图像补偿(降噪、分辨率调整、亮度调整、模糊、锐化、柔化等)。图像信号处理器CM60可以对包括在相机模块ED80中的构成元件(图像传感器CM30等)执行控制(曝光时间控制或读出定时控制等)。由图像信号处理器CM60处理的图像可以再次存储在存储器CM50中以用于附加处理，或者提供给相机模块ED80的外部构成元件(存储器ED30、显示设备ED60、电子设备ED02、电子设备ED04、服务器ED08等)。图像信号处理器CM60可以并入处理器ED20中，或者被配置为独立于处理器ED20操作的分离处理器。当图像信号处理器CM60是与处理器ED20分离的处理器时，由图像信号处理器CM60处理的图像可以经过由处理器ED20的附加图像处理，然后显示在显示设备ED60上。
电子设备ED01可以包括具有不同属性或功能的多个相机模块ED80。在这种情况下，相机模块ED80中的一个可以是广角相机，而另一个可以是远摄相机。类似地，相机模块ED80中的一个可以是前置相机，而另一个可以是后置相机。
根据实施例的图像获取装置10可以应用于图12A所示的移动电话或智能电话5100m、图12B所示的平板计算机或智能平板计算机5200、图12C所示的数码相机或便携式摄像机5300、图12D所示的笔记本计算机5400、图12E所示的电视或智能电视5500。本领域技术人员将理解，图像获取装置的示例实施例还可以用于其他应用和配置。例如，智能电话5100m或智能平板计算机5200可以包括多个高分辨率相机，每个高分辨率相机都具有安装于其中的高分辨率图像传感器。可以通过使用高分辨率相机提取图像中的对象的深度信息，可以调整图像的自动对焦，或者可以自动识别图像中的对象。
此外，除了其他应用和配置之外，图像获取装置10可以应用于图13A所示的智能冰箱5600、图13B所示的安全相机5700、图13C所示的机器人5800、图13D所示的医疗相机5900。例如，智能冰箱5600可以通过使用图像获取装置10自动识别冰箱中的食物，并通过智能电话通知用户特定食物的存在、放入或拿出的食物的类型等。安全相机5700可以提供超高分辨率图像，并且可以通过使用高灵敏度在黑暗环境中识别图像中的物体或人。机器人5800可以设置在人们不能容易或安全地访问的灾难或工业现场，并且可以提供高分辨率图像。医疗相机5900可以为诊断或手术提供高分辨率图像，因此，可以动态地调整视野。
此外，图像获取装置10可以应用于车辆6000，如图13E所示。车辆6000可以包括布置在各种位置处的多个车辆相机6010、6020、6030和6040。车辆相机6010、6020、6030和6040中的每一个可以包括根据实施例的图像获取装置10。车辆6000可以通过使用车辆相机6010、6020、6030和6040向驾驶员提供关于车辆6000的内部或外围的信息。因此，可以自动识别由相机捕获的图像中的物体或人。该信息可以用于实现自动驾驶。
虽然详细描述了实施例，但本公开的权利的范围不限于此，并且通过使用所附权利要求的范围中限定的本公开的基本概念所做的各种修改和改进也可以包括在本公开的权利的范围内。
应当理解的是，应仅以描述性意义而不是限制性目的来考虑本文中描述的实施例。对每个实施例中的特征或方面的描述一般应当被看作可用于其他实施例中的其他类似特征或方面。尽管已经参考附图描述了一个或多个实施例，但本领域普通技术人员将理解，在不脱离所附权利要求及其等同物限定的精神和范围的情况下，可以进行形式和细节上的多种改变。

Claims (20)

1.一种通过使用多光谱传感器获取图像的方法，所述方法包括：
从所述多光谱传感器获取分别与多个通道相对应的通道信号，其中，所述多个通道包括多于四个通道；
通过合成从所述多个通道中的所有通道获取的通道信号的红外分量，来确定包括在所述多个通道中的所有通道中的累积红外信号；
基于所述累积红外信号和所述通道的各自特性，确定所述多个通道中的每个通道的红外分量；以及
通过从所述多个通道的通道信号中的每个通道信号中去除所述红外分量来获取校正的通道信号。
2.根据权利要求1所述的方法，其中，获取所述通道信号包括：选择物理地设置在所述多光谱传感器处的多于四个通道，并从所选择的通道获取通道信号。
3.根据权利要求1所述的方法，其中，获取所述通道信号包括：对来自于物理地设置在所述多光谱传感器处的四个或更多个通道的通道信号进行合成或插值，以获取多于或少于物理地设置在所述多光谱传感器处的通道信号的数量的多个通道信号。
4.根据权利要求1所述的方法，其中，确定所述累积红外信号包括：对与作为变量的每个通道信号相对应的二阶或更高阶多项式函数进行合成。
5.根据权利要求1所述的方法，其中，确定所述每个通道的红外分量包括：通过对所述累积红外信号应用考虑了每个通道的各自特性的权重，来计算所述每个通道的红外分量。
6.根据权利要求1所述的方法，其中，所述每个通道的红外分量对应于：与所述多个通道中的每个通道中仅包括可见光波段的信号的情况相比，当所述多个通道中的每个通道中包括红外波段的信号时所增加的信号强度。
7.根据权利要求1所述的方法，还包括：通过将颜色转换矩阵应用于所述校正的通道信号来生成红-绿-蓝RGB图像。
8.根据权利要求7所述的方法，还包括：优化所述颜色转换矩阵以最小化通过使用所述颜色转换矩阵获得的颜色值与实际颜色值之间的色差。
9.根据权利要求1所述的方法，其中，确定所述累积红外信号或确定所述每个通道的红外分量是通过使用预训练的神经网络来确定的。
10.根据权利要求1所述的方法，还包括：
通过对所述通道信号执行去马赛克来生成每个通道的图像；以及
对所述每个通道的图像执行图像处理。
11.一种图像获取装置，包括：
多光谱传感器；以及
处理器，所述处理器被配置为：
从所述多光谱传感器获取分别与多个通道相对应的通道信号，其中，所述多个通道包括多于四个通道，
通过合成从所述多个通道获取的通道信号的红外分量，来确定包括在所述多个通道中的所有通道中的累积红外信号，
基于所述累积红外信号和所述通道的各自特性，确定所述多个通道中的每个通道的红外分量，以及
通过从所述多个通道的通道信号中的每个通道信号中去除所述红外分量来获取校正的通道信号。
12.根据权利要求11所述的图像获取装置，其中，所述处理器被配置为：选择物理地设置在所述多光谱传感器处的多于四个通道，并从所选择的通道获取通道信号。
13.根据权利要求11所述的图像获取装置，其中，所述处理器被配置为通过以下操作获取所述通道信号：对从物理地设置在所述多光谱传感器处的四个或更多个通道获取的通道信号进行合成或插值，以获取多于或少于物理地设置在所述多光谱传感器处的通道的数量的多个通道信号。
14.根据权利要求11所述的图像获取装置，其中，所述处理器被配置为：通过对与作为变量的每个通道信号相对应的二阶或更高阶多项式函数进行合成，来确定所述累积红外信号。
15.根据权利要求11所述的图像获取装置，其中，所述处理器被配置为：通过对所述累积红外信号应用考虑了每个通道的各自特性的权重，来确定所述每个通道的红外分量。
16.根据权利要求11所述的图像获取装置，其中，所述每个通道的红外分量对应于：与所述多个通道中的每个通道中仅包括可见光波段的信号的情况相比，当所述多个通道中的每个通道中包括红外波段的信号时所增加的信号强度。
17.根据权利要求11所述的图像获取装置，其中，所述处理器被配置为：通过将颜色转换矩阵应用于所述校正的通道信号来生成红-绿-蓝RGB图像。
18.根据权利要求17所述的图像获取装置，其中，所述处理器被配置为：优化所述颜色转换矩阵以最小化通过使用所述颜色转换矩阵获得的颜色值与实际颜色值之间的色差。
19.根据权利要求11所述的图像获取装置，其中，所述处理器被配置为：通过使用预训练的神经网络确定所述累积红外信号或确定所述每个通道的红外分量。
20.根据权利要求11所述的图像获取装置，其中，所述多光谱传感器包括：
光电二极管；
光谱滤波器，集成在所述光电二极管上；以及
驱动器电路，被配置为驱动所述光电二极管。
CN202211703731.3A 2022-04-08 2022-12-28 用于使用多光谱传感器获取图像的方法和装置 Pending CN116896673A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220044076A KR20230144855A (ko) 2022-04-08 2022-04-08 멀티스펙트럴 센서를 이용하여 영상을 획득하는 방법 및 장치
KR10-2022-0044076 2022-04-08

Publications (1)

Publication Number Publication Date
CN116896673A true CN116896673A (zh) 2023-10-17

Family

ID=85202055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211703731.3A Pending CN116896673A (zh) 2022-04-08 2022-12-28 用于使用多光谱传感器获取图像的方法和装置

Country Status (4)

Country Link
US (1) US20230325995A1 (zh)
EP (1) EP4257940A1 (zh)
KR (1) KR20230144855A (zh)
CN (1) CN116896673A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139286A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 撮像素子、及び、カメラシステム
GB201903816D0 (en) * 2019-03-20 2019-05-01 Spectral Edge Ltd Multispectral image decorrelation method and system
CN113566966B (zh) * 2021-06-03 2023-07-04 奥比中光科技集团股份有限公司 一种多光谱图像传感器的制造方法及其设备

Also Published As

Publication number Publication date
KR20230144855A (ko) 2023-10-17
US20230325995A1 (en) 2023-10-12
EP4257940A1 (en) 2023-10-11

Similar Documents

Publication Publication Date Title
CN113056692A (zh) 镜头组件和包括该镜头组件的电子装置
US20220028909A1 (en) Image sensor and image processing method, and electronic device including the image sensor
US20230239576A1 (en) Method, apparatus, and storage medium for providing slow shutter
US20230209202A1 (en) Electronic device for performing image stabilization, and operating method therefor
US11558587B2 (en) Camera module comprising complementary color filter array and electronic device comprising same
US11238279B2 (en) Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof
US11146720B2 (en) Electronic device for providing function by using RGB image and IR image acquired through one image sensor
EP4207099A1 (en) Image acquisition apparatus and electronic apparatus including the same
US11494885B2 (en) Method for synthesizing image on reflective object on basis of attribute of reflective object included in different image, and electronic device
KR20210087809A (ko) 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
EP4156675A1 (en) Image acquisition apparatus providing white balance function and electronic apparatus including the same
US20230079163A1 (en) Electronic device comprising camera module for obtaining depth information
US20220128407A1 (en) Spectral filter, and image sensor and electronic device including the spectral filter
US20230325995A1 (en) Method and apparatus for acquiring image using multispectral sensor
CN116530088A (zh) 相机模块和包括相机模块的电子装置
US11070751B2 (en) Electronic device and image up-sampling method for electronic device
KR20210130972A (ko) 전자 장치의 컬러 필터, 및 그 전자 장치
US20230066267A1 (en) Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus
KR102667267B1 (ko) 영상 획득 장치 및 이를 포함하는 전자 장치
US11477443B2 (en) Electronic device for performing image compression and operating method of electronic device
US20230185005A1 (en) Optical filter, and image sensor and electronic device including optical filter
US20230101860A1 (en) Electronic device including image sensor and operating method thereof
US20230122998A1 (en) Electronic device synchronizing lens driving information and images
US20220385864A1 (en) Image acquisition apparatus providing wide color gamut image and electronic apparatus including the same
US20230093853A1 (en) Spectral filter, and image sensor and electronic device including the spectral filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication