CN115412708A - 图像获取装置和包括该图像获取装置的电子装置 - Google Patents

Abstract

提供了一种图像获取装置和包括该图像获取装置的电子装置。图像获取装置包括：第一图像传感器，被配置为基于检测到第一波段的光而获得第一图像；第二图像传感器，被配置为基于检测到比所述第一波段宽的第二波段的光而获得第二图像；以及处理器，被配置为基于所述第一图像和所述第二图像获得具有与所述第一图像相对应的空间分辨率和与所述第二图像相对应的色域的第三图像。所述图像获取装置可以提供具有高空间分辨率和宽色域的图像。

Description

图像获取装置和包括该图像获取装置的电子装置

相关申请的交叉引用

本申请基于2021年5月26日在韩国知识产权局提交的韩国专利申请No.10-2021-0067898并且要求其优先权，其公开内容通过引用整体并入本文。

技术领域

与示例实施例一致的装置和方法涉及一种图像获取装置和包括该图像获取装置的电子装置。

背景技术

图像传感器是接收从对象入射的光并且对已接收的光进行光电转换以生成电信号的设备。

图像传感器使用由滤波器元件的阵列组成的滤色器，所述滤波器元件选择性地透射用于颜色表示的红色光、绿色光和蓝色光，感测经过每个滤波器元件的光量，然后通过图像处理形成对象的彩色图像。

在获取这样的图像时，因为由设置在滤色器中的滤波器元件透射的波段受限，所以表示对象的色域受限。

发明内容

一个或多个示例实施例提供了提供宽色域图像的图像获取装置和包括所述图像获取装置的电子装置。

根据示例实施例的一方面，一种图像获取装置可以包括：第一图像传感器，被配置为基于检测到第一波段的光而获得第一图像；第二图像传感器，被配置为基于检测到比第一波段宽的第二波段的光而获得第二图像；以及处理器，被配置为基于第一图像和第二图像获得具有与第一图像相对应的空间分辨率和与第二图像相对应的色域的第三图像。

处理器还可以被配置为基于第二图像的像素值校正第一图像的像素值以获得第三图像。

处理器还可以被配置为在二维平面上配准第一图像和第二图像，并且基于第一图像的像素与第二图像的像素之间的对应关系校正第一图像的像素值。

处理器还可以被配置为在对第一图像和第二图像执行相差校正之后配准第一图像和第二图像。

处理器还可以被配置为将第三图像或第一图像确定为输出图像以供显示。

处理器还可以被配置为确定第一图像和第一图像与第三图像之间的差异图像以供显示。

第一图像可以指示第一色域，并且第三图像可以指示比第一色域宽的第二色域。

第一图像传感器可以包括：第一像素阵列，包括其中多个第一感测元件以阵列布置的第一传感器层；以及滤色器，被布置在第一传感器层上并且包括交替地布置的红色滤色器、绿色滤色器和蓝色滤色器。

第二图像传感器可以包括：第二像素阵列，包括其中多个第二感测元件以阵列布置的第二传感器层；以及光谱滤波器，布置在第二传感器层上，其中在光谱滤波器中重复地布置了多个滤波器组。多个滤波器组中的每个滤波器组可以包括具有不同透射波段的多个单元滤波器。

多个单元滤波器的各个透射波段可以包括可见光波段并且具有比可见光波段宽的波段。

多个滤波器组中的每一个包括以4×4阵列布置的16个单元滤波器。

第一像素阵列和第二像素阵列可以在同一电路板上彼此水平地分隔开，以具有相同的焦距和相同的视场。

电路板可以包括处理来自第一传感器层的第一信号的第一电路元件和处理来自第二传感器层的第二信号的第二电路元件。

图像获取装置可以包括：时序控制器，被配置为使第一电路元件和第二电路元件的操作同步。

图像获取装置可以包括存储器，其中存储器中存储了与第一图像有关的数据和与第二图像有关的数据。

存储器可以被设置在电路板中。

图像获取装置可以包括：第一成像光学系统，第一成像光学系统在第一图像传感器上形成对象的第一图像并且包括一个或多个第一透镜；以及第二成像光学系统，第二成像光学系统在第二图像传感器上形成对象的第二图像并且包括一个或多个第二透镜。

第一成像光学系统和第二成像光学系统可以被设置为具有相同的焦距和相同的视场。

根据另一示例实施例的一方面，一种电子装置可以包括：RGB传感器，被配置为检测从对象反射的第一波段的第一光线；高光谱图像传感器，用于检测从对象反射的第二波段的第二光线，其中第二波段比第一波段宽；以及处理器，被配置为：获得基于第一波段的第一光线的第一图像、以及基于第二波段的第二光线的第二图像；基于从第一图像和第二图像检测的边缘的位置信息将第一图像与第二图像对准；以及在第一图像与第二图像对准的同时，基于第二图像转换第一图像的颜色。

电子装置可以对应于移动电话、智能电话、平板计算机、智能平板计算机、数字相机、录像机、膝上型计算机、电视机、智能电视机、智能冰箱、安全相机、机器人或医用相机。

附图说明

通过参考附图来描述某些示例实施例，上述和/或其他方案将变得更清楚，在附图中：

图1是根据示例实施例的图像获取装置的示意性结构的框图；

图2是示出由通过根据示例实施例的图像获取装置获得的图像所指示的色域的颜色坐标图；

图3是根据示例实施例的图像获取装置的示意性结构的概念图；

图4是根据示例实施例的图像获取装置中设置的第一图像传感器和第二图像传感器的电路配置的图；

图5是根据示例实施例的图像获取装置中设置的第一图像传感器的波长谱的图；

图6至图8是根据示例实施例的图像获取装置中设置的第一图像传感器的示例性像素布置的图；

图9是根据示例实施例的图像获取装置中设置的第二图像传感器的波长谱的图；

图10至图12是根据示例实施例的图像获取装置中设置的第二图像传感器的示例性像素布置的图；

图13是示出根据示例实施例的图像获取装置的图像处理过程的流程图；以及

图14是根据示例实施例的电子装置的示意性结构的框图；

图15是图14的电子装置中包括的相机模块的框图；以及

图16至图25是示出应用了根据示例实施例的图像获取装置的电子装置的各种示例的图。

具体实施方式

下面参考附图更详细地描述示例实施例。

在以下描述中，即使在不同附图中，类似的附图标记也用于类似的元件。提供描述中定义的内容(例如详细构造和元件)以帮助全面理解示例实施例。然而，应当清楚，即便在缺少这些具体定义的内容的情况下，也能够实践示例实施例。此外，由于公知的功能或构造会以不必要的细节使描述模糊，因此没有对其进行详细地描述。

如本文所使用的，术语“和/或”包括相关列出项目中的一个或多个项目的任意和所有组合。称为“......中的至少一个”之类的表述在元件列表之后时修饰整个元件列表，而不是修饰列表中的单独元件。

在下文中，将参考附图来详细描述实施例。下面描述的实施例仅是示例，因此应该理解，所述实施例可以以各种形式修改。贯穿附图，相似的附图标记指代相似的元件。在附图中，为了清楚起见，可以放大构成元件的尺寸。

例如，当元件被称为在另一元件“上”或“上方”时，它可以直接在该另一元件上，或者也可以存在中间元件。

应当理解，虽然术语“第一”、“第二”等可以在本文用于描述各种元件，但是这些元件不应该受这些术语的限制。这些术语仅用于将一个元件与另一元件区分开来。这些术语不限制组件的材料或结构。

本文中使用的单数形式“一个”、“一”和“该”也意在包括复数形式，除非上下文另外明确地指示。此外，应该理解，当某个单元被称为“包括”另一元件时，不排除可以存在或可以添加一个或多个其他元件的可能性。

此外，说明书中描述的术语“...器”、“...机(器)”和“模块”是指用于处理至少一个功能和/或操作的单元，并且可以由硬件组件或软件组件及其组合来实现。

术语“一”、“一个”和“该”以及相似指代词的使用应被解释为涵盖单数和复数两种情况。

构成方法的操作可以以任何合适的顺序执行，除非明确声明其应以所描述的顺序进行。此外，本文中提供的任何和所有示例或示例性语言(例如，“诸如(例如)”)的使用仅意在更好地阐述本发明构思且不对本公开的范围施加限制，除非另外声明。

图1是根据示例实施例的图像获取装置的示意性结构的框图，并且图2是示出由通过根据示例实施例的图像获取装置获得的图像所指示的色域的颜色坐标图。

图像获取装置1000包括：第一图像传感器100，基于第一波段获取第一图像IM1；第二图像传感器200，基于比第一波段宽的第二波段获取第二图像IM2；以及处理器500，对第一图像IM1和第二图像IM2进行信号处理并且形成第三图像IM3。第一图像传感器100可以检测和处理第一波段的光以获得第一图像IM1，并且第二图像传感器200可以检测和处理第二波段的光以获得第二图像IM2。

第一图像传感器100是RGB相机中使用的传感器，并且可以是使用拜尔滤色器阵列的CMOS图像传感器。由第一图像传感器100获得的第一图像IM1可以是基于红色、绿色和蓝色的RGB图像，并且可以具有由RGB相机获得的色域范围。例如，第一图像IM1可以具有标准RGB(s-RGB)色域、BT.709色域、DCI-P3色域或Adobe RGB色域。图2示例性地示出了BT.709色域和DCI-P3色域。

第二图像传感器200是感测比第一图像传感器100更多的波长的光的传感器。第二图像传感器200可以使用例如16通道或31通道或其他数量的通道。每个通道的宽度被设置得小于R、G和B波段，并且包括所有通道的带宽的总带宽包括RGB带宽(即可见光带宽)，并且可以比RGB带宽宽。例如，总带宽可以具有约350nm至约1000nm的带宽。由第二图像传感器200获得的第二图像IM2可以是高光谱图像，可以包括比RGB波段(例如可见光波段)大的波段，并且可以是基于波长的图像，在该图像中比可见光波段宽的紫外线至红外线波段被划分成16个或更多个通道。第二图像IM2可以是由使用第二图像传感器200的所有可用通道获得的图像，或者可以是通过选择特定通道而获得的图像。第二图像IM2的空间分辨率可以比第一图像IM1的空间分辨率低，但不限于此。

第一图像传感器100和第二图像传感器200可以被配置为分离的芯片或单个芯片，其中第一图像传感器100和第二图像传感器200经由三维(3D)堆叠技术上下堆叠。

第三图像IM3是如下图像，其具有与第一图像传感器100的第一图像IM1相对应的空间分辨率和与第二图像传感器200的第二图像IM2相对应的色域。第三图像IM3具有与第一图像IM1的空间分辨率相同的空间分辨率，同时具有更大的色域，例如可以具有大于或等于图2的DCI-P3的色域范围。可以通过计算与第一图像IM1的颜色差异来评估所形成的第三图像IM3的质量。

可以通过参考或基于第二图像IM2的像素值校正第一图像IM1的像素值，来获得第三图像IM3。为此，可以在二维平面上对第一图像IM1和第二图像IM2进行图像配准，并且可以识别第一图像IM1的像素与第二图像IM2的像素之间的对应关系和/或空间关系。接着，确定每个对应的像素是否需要颜色转换，并且可以相应地校正第一图像IM1的像素值。

在第一图像IM1和第二图像IM2之间的图像配准之前，可以对第一图像IM1和第二图像IM2执行相差校正。由于在第一图像传感器100和第二图像传感器200上形成光学图像的成像透镜，可能会出现相差(例如失真、几何相差和色差)，并且在校正相差之后，可以执行图像配准。

图像获取装置1000还可以包括图像输出单元700。图像输出单元700可以输出第三图像IM3，或者选择性地输出第三图像IM3或第一图像IM1之一。此外，也可以输出关于输出图像是正常RGB图像(例如第一图像IM1)还是具有扩大色域的图像(例如第三图像IM3)的附加信息。图像输出单元700也可以输出第三图像IM3与第一图像IM1之间的差异的差异图像，或者可以将第一图像IM1和差异图像一起输出。此时，确定是否已针对每个区域执行了颜色转换，并且可以仅输出已执行了颜色转换的区域的差异图像。这种选择性输出可以由用户输入确定。

将在下面更详细地描述处理器500的图像处理过程。

图像配准单元520可以通过使用第一图像传感器100与第二图像传感器200之间的相对位置信息来执行第一图像IM1和第二图像IM2的图像配准。图像配准单元520基于由第一图像传感器100和第二图像传感器200获得的图像的空间分辨率、以及用于获得图像的光学系统的视场、焦距等识别图像的每个像素之间的位置关系。此时，基于一个传感器的图像，可以将另一传感器的图像覆盖在上面。例如，可以基于由第一图像传感器100获得的第一图像IM1发现第二图像IM2中分别与第一图像IM1的像素相对应的像素。为此，可以对第二图像IM2的像素执行缩放、平移、旋转、仿射变换、透视变换等。在第二图像IM2中可以存与第一图像IM1的像素相对应的一个或多个像素，并且第二图像IM2中与第一图像的像素相对应的像素值可以通过根据位置以特定比率混合第二图像IM2的像素来生成。也可以使用第二图像IM2的每个通道的图像来执行图像配准。为了提高配准的精度，可以以子像素为单位来执行配准。在子像素配准中，像素位置可以由实数而不是整数表示。

图像配准单元520也可以由通过焦点控制使第一图像传感器100和第二图像传感器200将对象聚焦在相同的位置来提高配准效率。此外，通过使两个传感器具有相同的视场，可以快速且准确地执行图像配准。例如，当用于在第一图像传感器100和第二图像传感器200上形成光学图像的成像光学系统具有相同的焦距和相同的视场时，第一图像IM1与第二图像IM2之间仅存在平移，并且可以使用第一图像传感器100与第二图像传感器200之间的相对位置和各个光学系统的焦距来计算有关的参数。

当第二图像IM2的空间分辨率比第一图像IM1的空间分辨率高时，可以通过对第二图像IM2进行下采样来执行图像配准。在这种情况下，可以通过使用考虑边缘信息的滤波(例如双边滤波和引导滤波)的下采样更精确地执行图像配准。

当第二图像IM2的空间分辨率比第一图像IMI的空间分辨率低时，可以通过插值针对每个通道生成与第一图像的每个像素位置相对应的第二图像采样。类似地，可以考虑边缘信息(例如进行双边滤波和进行引导滤波)来执行插值。

备选地，可以在使第二图像IM2的空间分辨率等于第一图像IM1的空间分辨率之后执行图像配准。可以执行去马赛克以使这两个图像具有相同的分辨率。在这种情况下，当在这两个图像传感器上分别形成光学图像的两个光学系统具有相同的焦距和视场时，可以仅考虑平移来执行图像配准，而无需另外进行插值。

在执行配准之前，可以校正第一图像IM1和第二图像IM2中的相差。即，可以在校正由用于获得第一图像IM1和第二图像IM2的成像光学系统中包括的透镜引起的失真、几何相差、色差等的影响之后执行配准。

图像配准单元520可以检测图像中的亮度或强度明显改变的边缘。图像配准单元520可以提取图像中的边缘特征信息并且匹配两个图像之中的特征(例如边缘)。因为当图像配准在对象的边界区域中失配时可能出现颜色失真，所以通过提取边缘信息并且执行配准以使两个图像之中的边缘对准，可以防止边界区域中出现失真。除了边缘之外，可以使用其他图像特征(例如角点)执行图像配准。

例如，图像配准单元520可以将图像中的图像亮度急剧改变的对象边界检测为边缘。当图像中存在具有深度上的不连续性、表面定向上的不连续性、材料性质上的改变和/或场景照明上的变化的点时，这样的点可以被识别为与对象的边界相对应的边缘。图像配准单元520可以获得从第一图像IM1和第二图像IM2检测的边缘的位置信息(例如x坐标和y坐标)，并且可以基于边缘的位置信息将第一图像IM1与第二图像IM2配准。

颜色转换单元540可以使用第二图像IM2中包括的像素值以使用第一图像IM1执行线性变换。当第二图像传感器200的通道数量是n时，线性变换可以使用3×n矩阵执行。换句话说，

v’＝Lv，

其中v是由第二图像的像素值组成的n维向量，L是3×n矩阵，并且v’是指示R、G、B值的3维向量。

备选地，可以通过将v转换到XYZ坐标空间然后将其转换回RGB颜色空间来执行颜色映射。备选地，代替前述线性变换，可以使用例如考虑交叉通道或二次项的更复杂的变换。备选地，可以使用非线性变换方法。

在颜色映射时，确定每个区域是否需要颜色映射，并且可以仅对需要的区域执行扩大色域的颜色映射。例如，在将图像区域分成多个矩形块之后，当第二图像的每个块指示的色域在由第一图像指示的色域之内时，可以不对该区域执行颜色映射。当在对应的区域中第二图像IM2在由第一图像IM1指示的色域外部时，对该对应的区域执行颜色映射。为了显示具有扩大色域的宽色域(WCG)图像(第三图像)，可以使用比一般RGB图像的位深大的位深来存储图像。

在示例实施例中，第一图像传感器100和第二图像传感器200可以分别由RGB传感器和高光谱图像(HSI)传感器实现。HSI传感器可以被配置为处理比要由RGB传感器处理的带宽更宽的带宽的光，并且可以具有比RGB传感器的感测精度高的感测精度。图像获取装置1000可以包括：RGB传感器和HSI传感器；以及处理器，被配置为组合第一图像IM1和第二图像IM2以获得具有宽色域的图像。图像获取装置1000可以被称为宽色域(WCG)传感器。

图3是根据示例实施例的图像获取装置的示意性结构的概念图，并且图4是设置在根据示例实施例的图像获取装置中的第一图像传感器和第二图像传感器的电路配置的图。

图像获取装置1000包括：第一图像传感器100，基于第一波段获取第一图像IM1；第二图像传感器200，基于比第一波段宽的第二波段获取第二图像IM2；以及处理器500，对第一图像IM1和第二图像IM2进行信号处理并且形成第三图像IM3。图像获取装置1000还可以包括：存储器300，存储与第一图像IM1和第二图像IM2有关的数据；以及输出图像的图像输出单元700。

图像获取装置1000还可以包括：第一成像光学系统190，在第一图像传感器100上形成对象OBJ的光学图像；以及第二成像光学系统290，在第二图像传感器200上形成对象OBJ的光学图像。虽然第一成像光学系统190和第二成像光学系统290中的每一个被示出为包括一个透镜，但这是说明性的并且不限于此。第一成像光学系统190和第二成像光学系统290可以被配置为具有相同的焦距和相同的视场。在这种情况下，配准第一图像IM1和第二图像IM2以形成第三图像IM3的过程可以更简单。然而，本公开不限于此。

第一图像传感器100包括第一像素阵列PA1，并且第一像素阵列PA1包括：第一传感器层110，其中多个第一感测元件形成阵列；以及布置在第一传感器层110上的滤色器120。滤色器120可以包括交替地布置的红色滤色器、绿色滤色器和蓝色滤色器。第一微透镜阵列130可以在第一像素阵列PA1上。将参考图5至图8描述对第一像素阵列PA1应用的像素布置的各种示例。

第二图像传感器200包括第二像素阵列PA2，并且第二像素阵列PA2包括：第二传感器层210，其中多个第二感测元件形成阵列；以及布置在第二传感器层210上的光谱滤波器220。光谱滤波器220包括多个滤波器组，并且所述多个滤波器组中的每个滤波器组可以包括具有不同的透射波段的多个单元滤波器。光谱滤波器220可以被配置为以比滤色器120更细分的方式对波段比滤色器120的波段宽的光进行滤波，其中所述光的波段例如是紫外波长或红外波长范围的波段。第一微透镜阵列230可以在第二像素阵列PA2上。将参考图10至图12描述应用于第二像素阵列PA2的像素布置的示例。

第一传感器层110和第二传感器层210可以包括但不限于电荷耦合设备(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。

第一像素阵列PA1和第二像素阵列PA2可以被水平地布置在相同的电路板SU上，例如在X方向上彼此分隔。

电路板SU可以包括处理来自第一传感器层110的信号的第一电路元件和处理来自第二传感器层210的信号的第二电路元件。然而，本公开不限于此，并且第一电路元件和第二电路元件可以被分别设置在分离的基板上。

虽然存储第一图像IM1和第二图像IM2的数据的存储器300被示出为与电路板SU分开，但这仅是示例，并且存储器300可以被布置在与电路板SU中的电路元件相同的层上或被布置为分离的层。存储器300可以是逐行存储图像的行存储器或存储整个图像的帧缓冲器。存储器300可以是静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)。行存储器可以由DRAM芯片中包括的行缓冲器实现。

图像获取装置1000需要的各种电路元件可以集成布置在电路板SU上。例如，可以设置包括各种模拟电路和数字电路的逻辑层，并且可以设置存储数据的存储器层。逻辑层和存储器层可以被配置为不同的层或相同的层。

参考图4，行解码器102、输出电路103和时序控制器(TC)101被连接到第一像素阵列PA1。行解码器102响应于从时序控制器101输出的行地址信号来选择和激活第一像素阵列PA1的行之一。行解码器102可以逐行地、一次一行地选择和激活多个行。输出电路103输出来自以列为单位沿所选择的行布置的多个像素的光电感测信号。为此，输出电路103可以包括列解码器和模数转换器(ADC)。例如，输出电路103可以包括：在列解码器和第一像素阵列PA1之间针对每一列分别布置的多个ADC、或者在列解码器的输出端布置的一个ADC。时序控制器101、行解码器102和输出电路103可以被实现为一个芯片或分离的芯片。所示出的电路元件中的至少一些可以设置在图3的电路板SU上。用于处理通过输出电路103输出的第一图像IM1的处理器可以与时序控制器101、行解码器102和输出电路103一起实现为单芯片。

行解码器202、输出电路203和时序控制器(TC)201也连接到第二像素阵列PA2，并且与上面类似，可以处理来自第二像素阵列PA2的信号。此外，用于处理从输出电路203输出的第二图像IM2的处理器可以与TC 201、行解码器202和输出电路203一起实现为单芯片。

虽然在附图中将第一像素阵列PA1和第二像素阵列PA2示出为具有相同的像素尺寸和数量，但这是示例且不限于此。

在操作两个不同类型的传感器时，根据不同的分辨率和输出速度、以及图像配准所需要的区域的尺寸，可能需要时序控制。例如，当基于第一图像传感器100读取一个图像列时，第二图像传感器200中与该区域相对应的图像列可能已被存储在缓冲器中或者可能需要读取新的。需要正确地计算这些时序并且读出它们。备选地，第一图像传感器100和第二图像传感器200的操作可以使用同一同步信号进行同步。例如，时序控制器(TC)400还可以被设置为向第一图像传感器100和第二图像传感器200发送同步信号sync。

图5是设置在根据示例实施例的图像获取装置中的第一图像传感器的波长谱的图，并且图6至图8是设置在根据示例实施例的图像获取装置中的第一图像传感器的示例性像素布置的图。

参考图6，在设置在第一像素阵列PA1中的滤色器120中，用于过滤红色(R)、绿色(G)和蓝色(B)波段的滤波器以拜尔图案布置。即，一个单元像素包括布置在2×2阵列中的子像素，并且多个单元像素二维地重复布置。红色滤色器和绿色滤色器被布置在单元像素的一行中，并且绿色滤色器和蓝色滤色器被布置在第二行中。像素布置可以以拜尔图案之外的其他方式实现。

例如，参考图7，也可以实现CYGM布置，其中洋红色像素(M)、青色像素(C)、黄色像素(Y)和绿色像素(G)构成一个单元像素。此外，参考图8，也可以实现RGBW布置，其中绿色像素(G)、红色像素(R)、蓝色像素(B)和白色像素(W)构成一个单元像素。此外，尽管未示出，但是单元像素可以具有3×2阵列形式。此外，可以根据第一图像传感器100的颜色特性以各种方式布置第一像素阵列PA1的像素。

图9是设置在根据示例实施例的图像获取装置中的第二图像传感器的波长谱的图，并且图10至图12是设置在根据示例实施例的图像获取装置中的第二图像传感器的示例性像素布置的图。

参考图10，设置在第二像素阵列PA2中的光谱滤波器220可以包括以二维形式布置的多个滤波器组221。每个滤波器组221可以包括以4×4阵列布置的16个单元滤波器F1至F16。

第一单元滤波器F1和第二单元滤波器F2可以具有紫外线波段中的中心波长UV1和UV2，并且第三单元滤波器F3至第五单元滤波器F5可以具有蓝色光波段的中心波长B1至B3。第六单元滤波器F6至第十一单元滤波器F11可以具有绿色光波段的中心波长G1至G6，并且第十二单元滤波器F12至第十四单元滤波器F14可以具有红色光波段的中心波长R1至R3。此外，第十五单元滤波器F15和第十六单元滤波器F16可以具有近红外波段中的中心波长NIR1和NIR2。

图11是设置在光谱滤波器220中的另一示例的一个滤波器组222的平面图。参考图11，滤波器组222可以包括布置在3×3阵列中的九个单元滤波器F1至F9。第一单元滤波器F1和第二单元滤波器F2可以具有紫外线波段的中心波长UV1和UV2，并且第四单元滤波器F4、第五单元滤波器F5和第七单元滤波器F7可以具有蓝色光波段的中心波长B1至B3。第三单元滤波器F3和第六单元滤波器F6可以具有绿色光波段的中心波长G1和G2，并且第八单元滤波器F8和第九单元滤波器F9可以具有红色光波段的中心波长R1和R2。

图12是设置在光谱滤波器220中的另一示例的一个滤波器组223的平面图。参考图12，滤波器组223可以包括布置在5×5阵列中的25个单元滤波器F1至F25。第一单元滤波器F1至第三单元滤波器F3可以具有紫外线波段的中心波长UV1至UV3，并且第六单元滤波器F6、第七单元滤波器F7、第八单元滤波器F8、第十一单元滤波器F11和第十二单元滤波器F12可以具有蓝色光波段的中心波长B1至B5。第四单元滤波器F4、第五单元滤波器F5和第九单元滤波器F9可以具有绿色光波段的中心波长G1至G3，并且第十单元滤波器F10、第十三单元滤波器F13、第十四单元滤波器F14、第十五单元滤波器F15、第十八单元滤波器F18和第十九单元滤波器F19可以具有红色光波段的中心波长R1至R6。此外，第二十单元滤波器F20、第二十三单元滤波器F23、第二十四单元滤波器F24和第二十五单元滤波器F25可以具有近红外波段中的中心波长NIR1至NIR4。

设置在光谱滤波器220中的上述单元滤波器可以具有包括两个反射板的谐振结构，并且所透射的波段可以根据谐振结构的特性来确定。可以根据反射板的材料、腔中的介电材料的材料和腔的厚度调整透射波段。此外，可以将使用光栅的结构、使用分布式布拉格发射器(DBR)的结构等应用于单元滤波器。

此外，可以根据第二图像传感器200的颜色特性以各种方式布置第二像素阵列PA2的像素。

图13是示出根据示例实施例的图像获取装置的图像处理过程的流程图。

在操作S810中，从第一图像传感器100获得第一图像，并且在操作S820中，从第二图像传感器200获得第二图像。

在操作S830中，如果需要，可以对第一图像和/或第二图像执行相差校正。例如，可以在校正由用于获得第一图像IM1和第二图像IM2的成像光学系统中包括的透镜引起的失真、几何相差、色差等的影响之后执行配准。

在操作S840中，对第一图像和第二图像进行配准。在操作S842中，基于第一图像和第二图像的分辨率执行第一图像与第二图像的图像配准。例如，当第二图像IM2的空间分辨率比第一图像IM1的空间分辨率高时，可以通过对第二图像IM2进行下采样来执行图像配准。当第二图像IM2的空间分辨率比第一图像IM1的空间分辨率低时，可以通过插值针对每个通道生成与第一图像的每个像素位置相对应的第二图像采样。在图像配准期间可以考虑例如进行双边滤波和进行引导滤波的边缘信息。

备选地，在操作S846中，可以在将第一图像和第二图像调整到相同的分辨率之后执行图像配准。可以执行去马赛克以使第一图像和第二图像的分辨率变为一样。在这种情况下，当在这两个图像传感器上分别形成光学图像的两个光学系统具有相同的焦距和视场时，可以仅考虑平移来执行图像配准，而无需另外进行插值。

在颜色转换的操作S860中，参考或基于第二图像的像素值校正第一图像的像素值，并且形成第三图像。在这种情况下，可以确定每个区域是否需要颜色转换，并且可以仅对需要的区域执行扩大色域的颜色转换。例如，在将图像区域分成多个块之后，针对每个块确定由第二图像指示的色域是否在由第一图像指示的色域之内。仅当在对应的区域中第二图像IM2在由第一图像IM1指示的色域外部时，才可以对该对应的区域执行颜色转换。

在图像输出的操作S870中，可以选择性地输出第一图像、第三图像和第一图像与第三图像之间的差异图像中的任意一个或多个。也可以输出与图像有关的附加信息。

上述图像获取装置1000可以在各种高性能光学设备或高性能电子装置中使用。所述电子装置可以是例如智能电话、移动电话、蜂窝电话、个人数字助理(PDA)、膝上型计算机、个人计算机(PC)、各种便携式设备、家用电器、安全相机、医用相机、汽车、物联网(IoT)设备、或其他移动或非移动计算设备，但不限于此。

除了图像获取装置1000之外，电子装置还可以包括用于控制图像传感器(其设置在处理器中)的处理器(例如应用处理器(AP))，可以由通过处理器驱动操作系统或应用程序来控制多个硬件或软件组件，并且可以执行各种数据处理和操作。处理器还可以包括图形处理单元(GPU)和/或图像信号处理器。当处理器包括图像信号处理器时，由图像传感器获得的图像(或视频)可以使用处理器来存储和/或输出。

图14是根据示例实施例的电子装置的示意性结构的框图。参考图14，在网络环境ED00中，电子装置ED01可以通过第一网络ED98(近场无线通信网络等)与另一电子装置ED02通信，或者可以通过第二网络ED99(远场无线通信网络等)与另一电子装置ED04和/或服务器ED08通信。电子装置ED01可以通过服务器ED08与电子装置ED04通信。电子装置ED01可以包括处理器ED20、存储器ED30、输入设备ED50、声音输出设备ED55、显示设备ED60、音频模块ED70、传感器模块ED76、接口ED77、触觉模块ED79、相机模块ED80、电力管理模块ED88、电池ED89、通信模块ED90、用户识别模块ED96和/或天线模块ED97。在电子装置ED01中，可以省略组件中的一些组件(显示设备ED60等)或可以增加其他组件。可以在一个集成电路中实现这些组件中的一些组件。例如，传感器模块ED76(指纹传感器、虹膜传感器、照度传感器等)可以通过被嵌入在显示设备ED60(显示器等)中来实现。

处理器ED20可以执行软件(程序ED40等)以控制电子装置ED01中连接到处理器ED20的一个或多个其他组件(硬件或软件组件等)，并且可以执行各种数据处理或操作。作为数据处理或操作的一部分，处理器ED20可以将从其他组件(传感器模块ED76、通信模块ED90等)接收的指令和/或数据加载到易失性存储器ED32，可以处理易失性存储器ED32中存储的指令和/或数据，并且可以将结果数据存储在非易失性存储器ED34中。处理器ED20可以包括主处理器ED21(中央处理单元、应用处理器等)以及可以独立或一起操作的辅处理器ED23(GPU、图像信号处理器、传感器集线器处理器、通信处理器等)。辅处理器ED23使用比主处理器ED21更少的功率并且可以执行专门的功能。

辅处理器ED23可以在主处理器ED21处于非活动(例如睡眠)状态时代表主处理器ED21，或在主处理器ED21处于活动(例如应用执行)状态时与主处理器ED21一起，控制与电子装置ED01的组件中的一些组件(例如显示设备ED60、传感器模块ED76、通信模块ED90等)有关的功能和/或状态。辅处理器ED23(图像信号处理器、通信处理器等)可以实现为其他功能上相关的组件(相机模块ED80、通信模块ED90等)的一部分。

存储器ED30可以存储电子装置ED01的组件(处理器ED20、传感器模块ED76等)所需的各种数据。所述数据可以包括例如软件(例如程序ED40等)和与其有关的命令的输入数据和/或输出数据。存储器ED30可以包括易失性存储器ED32和/或非易失性存储器ED34。非易失性存储器ED32可以包括固定在电子装置ED01中的内部存储器ED36和可拆卸的外部存储器ED38。

程序ED40可以作为软件存储在存储器ED30中，并且可以包括操作系统ED42、中间件ED44和/或应用ED46。

输入设备ED50可以从电子装置ED01的外部(用户等)接收要被用于电子装置ED01的组件(处理器ED20等)的命令和/或数据。输入设备ED50可以包括麦克风、鼠标、键盘和/或数字笔(手写笔等)。

音频输出设备ED55可以向电子装置ED01的外部输出音频信号。音频输出设备ED55可以包括扬声器和/或听筒。扬声器可以用于诸如多媒体播放或录音播放之类的一般目的，并且听筒可以用于接收来电。听筒可以组合为扬声器的一部分或者可以被实现为单独的设备。

显示设备ED60可以可视地向电子装置ED01的用户提供信息。显示设备ED60可以包括显示器、全息设备或投影仪、以及用于控制设备的控制电路。显示设备ED60可以包括设置为感测触摸的触摸电路和/或配置为测量由触摸所生成的力的强度的传感器电路(压力传感器等)。

音频模块ED70可以将声音转换为电信号，反之亦然。音频模块ED70可以通过输入设备ED50获得声音，或者可以通过声音输出设备ED55和/或直接地或无线地连接到电子装置ED01的另一电子装置(电子装置ED02等)的扬声器和/或耳机输出声音。

传感器模块ED76可以检测电子装置ED01的操作状态(功率、温度等)或外部环境状态(用户状态等)，并且可以生成与所检测的状态相对应的电信号和/或数据值。传感器模块ED76可以包括手势传感器、陀螺仪传感器、气压传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物传感器、温度传感器、湿度传感器和/或照度传感器。

接口ED77可以支持可以用于将电子装置ED01与其他电子装置(电子装置ED02)直接或无线连接的一个或多个指定协议。接口ED77可以包括高清多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口和/或音频接口。

连接端子ED78可以包括连接器，电子装置ED01可以通过该连接器物理连接到其他电子装置(电子装置ED02等)。连接端子ED78可以包括HDMI连接器、USB连接器、SD卡连接器和/或音频连接器(耳机连接器等)。

触觉模块ED79可以将电信号转换为用户可以通过触觉或运动感觉感知的机械刺激(振动、运动等)或电刺激。触觉模块ED79可以包括电机、压电元件和/或电刺激设备。

相机模块ED80可以捕获静态图像和运动图像。相机模块ED80可以包括上述图像获取装置1000，并且可以包括附加的透镜组件、图像信号处理器和/或闪光灯。相机模块ED80中包括的透镜组件可以采集从要被成像的对象发射的光。

电力管理模块ED88可以管理供应给电子装置ED01的电力。电力管理模块ED88可以实现为电力管理集成电路PMIC的一部分。

电池ED89可以向电子装置ED01的组件供电。电池ED89可以包括不可再充电主电池、可再充电辅电池和/或燃料电池。

通信模块ED90可以支持在电子装置ED01与其他电子装置(电子装置ED02、电子装置ED04或服务器ED08等)之间建立直接(有线)通信信道和/或无线通信信道，并通过所建立的通信信道通信。通信模块ED90可以独立于处理器ED20(应用处理器等)操作，并且可以包括支持直接通信和/或无线通信的一个或多个通信处理器。通信模块ED90可以包括无线通信模块ED92(蜂窝通信模块、短程无线通信模块、全球导航卫星系统(GNSS)等)和/或有线通信模块ED94(局域网(LAN)通信模块、电力线通信模块等)。这些通信模块之中的对应通信模块可以通过第一网络ED98(诸如蓝牙、WiFi直连或红外数据协会(IrDA)之类的局域网)或第二网络ED99(诸如蜂窝网络、互联网或计算机网络(LAN、WAN等)之类的通信网络)与其他电子装置通信。这些各种类型的通信模块可以集成到单个组件(单个芯片等)中，或者可以实现为多个分离的组件(多个芯片)。无线通信模块ED92可以使用用户识别模块ED96中存储的用户信息(国际移动用户识别符(IMSI)等)在通信网络(例如第一网络ED98和/或第二网络ED99)中识别和认证电子装置ED01。

天线模块ED97可以向外部(其他电子装置等)发送信号和/或电力或者从其接收信号和/或电力。天线可以包括由在基板(PCB等)上形成的导电图案实现的辐射器。天线模块ED97可以包括一个或多个天线。当包括多个天线时，通信模块ED90可以从多个天线中选择适合于在诸如第一网络ED98和/或第二网络ED99之类的通信网络中使用的通信方法的天线。可以通过所选择的天线在通信模块ED90与其他电子装置之间发射或接收信号和/或功率。可以包括除了天线以外的其他组件(RFIC等)作为天线模块ED97的一部分。

所述组件中的一些组件可以通过外围设备之间的通信方法(总线、通用输入和输出(GPIO)、串行外围总线(SPI)、移动工业处理器接口(MIPI)等)彼此连接并且交换信号(命令、数据等)。

可以通过连接到第二网络ED99的服务器ED08在电子装置ED01与外部电子装置ED04之间发送或接收命令或数据。其他电子装置ED02和ED04可以与电子装置ED01相同或不同。由电子装置ED01执行的全部或一些操作可以由其他电子装置ED02、ED04和ED08中的一个或多个执行。例如，当电子装置ED01需要执行特定功能或服务时，电子装置ED01可以请求一个或多个其他电子装置执行一些或所有的功能或服务，而不是直接执行所述功能或服务。已接收到请求的一个或多个其他电子装置可以执行与该请求有关的附加功能或服务，并且可以将执行的结果传送给电子装置ED01。为此，可以使用云计算、分布式计算和/或客户端-服务器计算技术。

图15是图14的电子装置中包括的相机模块ED80的框图。相机模块ED80可以包括上述图像获取装置1000，或者可以具有对其进行修改的结构。参考图15，相机模块ED80可以包括透镜组件CM10、闪光灯CM20、图像传感器CM30、图像稳定器CM40、存储器CM50(缓冲器存储器等)和/或图像信号处理器CM60。

图像传感器CM30可以包括设置在上述图像获取装置1000中的第一图像传感器100和第二图像传感器200。第一图像传感器100和第二图像传感器200可以通过将从对象发射或反射并通过镜头组件CM10传输的光转换成电信号来获得与对象相对应的图像。第一图像传感器100可以获得RGB图像，并且第二图像传感器200可以获得紫外线至红外线波长范围的高光谱图像。

除了上述第一图像传感器100和第二图像传感器200之外，图像传感器CM30还可以包括从具有不同性质的图像传感器中选择的一个或多个传感器，例如其他RGB传感器、黑白(BW)传感器、IR传感器或UV传感器。图像传感器CM30中包括的传感器中的每个传感器可以被实现为电荷耦合器件(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器。

透镜组件CM10可以采集从要被成像的对象发射的光。相机模块ED80可以包括多个透镜组件CM10，并且在这种情况下，可以是双相机、360度相机或球形相机。多个透镜组件CM10中的一些可以具有相同的透镜属性(视场、焦距、自动对焦、F数、光学变焦等)或者不同的透镜属性。透镜组件CM10可以包括广角透镜或远摄透镜。

透镜组件CM10可以被配置为使图像传感器CM30中包括的两个图像传感器在相同的位置形成对象的光学图像和/或可以控制焦点。

闪光灯CM20可以发射用于增强从对象发射或反射的光的光。闪光灯CM20可以包括一个或多个发光二极管(红色-绿色-蓝色(RGB)LED、白色LED、红外LED、紫外LED等)和/或氙灯。

图像稳定器CM40可以响应于相机模块ED80或包括相机模块ED80的电子装置CM01的移动，在特定方向上移动透镜组件CM10中包括的一个或多个透镜或图像传感器CM30，或者可以控制图像传感器CM30的操作特性(调整读出时序等)以补偿由于移动引起的负面影响。图像稳定器CM40可以使用布置在相机模块ED80内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来检测相机模块ED80或电子装置ED01的移动。图像稳定器CM40可以以光学形式实现。

在存储器CM50中，通过图像传感器1000获得的一些或全部数据可以被存储以用于下一图像处理操作。例如，当在高速下获得多个图像时，所获得的原始数据(拜尔图案数据、高分辨率数据等)可以存储在存储器CM50中，并且仅显示低分辨率图像，然后可以向图像信号处理器CM60传输所选择(用户选择等)的图像的原始数据。存储器CM50可以集成到电子装置ED01的存储器ED30中或者可以被配置为独立操作的单独的存储器。

图像信号处理器CM60可以对通过图像传感器CM30获得的图像或存储在存储器CM50中的图像数据执行一个或多个图像处理。如参考图1至图13所述，由图像传感器CM30中包括的两个图像传感器获得的第一图像(例如RGB图像)和第二图像(例如高光谱图像)被处理为形成具有扩大的色域的第三图像。用于此目的的处理器500的配置可以被包括在图像信号处理器CM60中。

此外，一个或多个图像处理可以包括深度图生成、三维建模、全景生成、特征点提取、图像合成和/或图像补偿(降噪、分辨率调整、亮度调整、模糊、锐化、柔化等)。图像信号处理器CM60可以控制(曝光时间控制或读出时序控制等)相机模块ED80中包括的组件(图像传感器CM30等)。由图像信号处理器CM60处理的图像可以被再次存储到存储器CM50中用于进一步处理，或者可以被提供给相机模块ED80的外部组件(存储器ED30、显示设备ED60、电子装置ED02、电子装置ED04、服务器ED08等)。图像信号处理器CM60可以集成到处理器ED20或者可以配置为独立于处理器ED20操作的分离的处理器。当图像信号处理器CM60被配置为与处理器ED20分离的处理器时，由图像信号处理器CM60处理的图像可以在由处理器ED20进一步进行处理之后通过显示设备ED60进行显示。

电子装置ED01可以包括具有相应的属性或功能的多个相机模块ED80。在这种情况下，多个相机模块ED80中的一个相机模块可以是广角相机，并且其他相机模块可以是远摄相机。类似地，多个相机模块ED80中的一个相机模块可以是前置相机，并且其他相机模块可以是后置相机。

图16至图25是示出应用了根据示例实施例的图像获取装置的电子装置的各种示例的图。

根据实施例的图像获取装置可以应用于图16所示的移动电话或智能电话5100m、图17所示的平板计算机或智能平板计算机5200、图18所示的数字相机或录像机5300、图19所示的膝上型计算机5400或图20所示的电视机或智能电视机5500。例如，智能电话5100m或智能平板计算机5200可以包括均具有安装有高分辨率图像传感器的多个高分辨率相机。高分辨率相机可以用于提取图像中的对象的深度信息、调整图像的散焦或自动识别图像中的对象。

此外，图像获取装置1000可以应用于图21所示的智能冰箱5600、图22所示的安全相机5700、图23所示的机器人5800、图24所示的医用相机5900等。例如，智能冰箱5600可以使用图像获取装置1000自动识别冰箱中的食物，并且可以通过智能电话通知用户特定食物的存在、放入或运送的食物的类型等。安全相机5700可以通过使用高灵敏度来提供超高分辨率图像并且可以识别甚至是在黑暗环境下的图像中的物体或人。可以通过在人类无法直接访问的灾难或工业现场提供机器人5800来提供高分辨率图像。医疗相机5900可以提供用于诊断或手术的高分辨率图像，并且可以动态地调整视野。

此外，图像获取装置1000可以应用于图25所示的车辆6000。车辆6000可以包括布置在各个位置中的多个车用相机6010、6020、6030和6040。车用相机6010、6020、6030和6040中的每个可以包括根据示例实施例的图像获取装置。车辆6000可以使用多个车用相机6010、6020、6030和6040向驾驶员提供与车辆6000的内部或环境有关的各种信息，并且可以通过自动识别图像中的物体或人提供自动驾驶所需要的信息。

上述图像获取装置可以通过使用两个不同类型的图像传感器提供具有高分辨率和表现宽色域的图像。

上述图像获取装置可以用在各种电子装置中。

上述示例性实施例仅仅作为示例而不应被解释为限制。本教导能够被容易地应用于其他类型的装置。此外，对示例性实施例的描述意在是说明性的，而不是为了限制权利要求的范围，并且本领域技术人员将清楚多种替代、修改和变化。

Claims (20)

1.一种图像获取装置，包括：

第一图像传感器，被配置为基于检测到第一波段的光而获得第一图像；

第二图像传感器，被配置为基于检测到比所述第一波段宽的第二波段的光而获得第二图像；以及

处理器，被配置为基于所述第一图像和所述第二图像获得具有与所述第一图像相对应的空间分辨率和与所述第二图像相对应的色域的第三图像。

2.根据权利要求1所述的图像获取装置，

其中，所述处理器还被配置为基于所述第二图像的像素值校正所述第一图像的像素值以获得所述第三图像。

3.根据权利要求2所述的图像获取装置，

其中，所述处理器还被配置为在二维平面上配准所述第一图像和所述第二图像，并且基于所述第一图像的像素与所述第二图像的像素之间的对应关系校正所述第一图像的像素值。

4.根据权利要求3所述的图像获取装置，

其中，所述处理器还被配置为在对所述第一图像和所述第二图像执行相差校正之后配准所述第一图像和所述第二图像。

5.根据权利要求1所述的图像获取装置，其中，所述处理器还被配置为将所述第三图像或所述第一图像确定为输出图像以供显示。

6.根据权利要求1所述的图像获取装置，

其中，所述处理器还被配置为确定所述第一图像以及所述第一图像与所述第三图像之间的差异图像以供显示。

7.根据权利要求1所述的图像获取装置，

其中，所述第一图像指示第一色域，并且所述第三图像指示比所述第一色域宽的第二色域。

8.根据权利要求1所述的图像获取装置，

其中，所述第一图像传感器包括：

第一像素阵列，包括其中多个第一感测元件以阵列布置的第一传感器层；以及

滤色器，被布置在所述第一传感器层上并且包括交替地布置的红色滤色器、绿色滤色器和蓝色滤色器。

9.根据权利要求8所述的图像获取装置，

其中，所述第二图像传感器包括：

第二像素阵列，包括其中多个第二感测元件以阵列布置的第二传感器层；以及

光谱滤波器，布置在所述第二传感器层上，其中在所述光谱滤波器中重复地布置了多个滤波器组，并且

其中，所述多个滤波器组中的每个滤波器组包括具有不同透射波段的多个单元滤波器。

10.根据权利要求9所述的图像获取装置，

其中，所述多个单元滤波器的各个透射波段包括可见光波段并且具有比可见光波段宽的波段。

11.根据权利要求10所述的图像获取装置，

其中，所述多个滤波器组中的每个滤波器组包括以4×4阵列布置的16个单元滤波器。

12.根据权利要求9所述的图像获取装置，

其中，所述第一像素阵列和所述第二像素阵列在同一电路板上彼此水平地分隔开，以具有相同的焦距和相同的视场。

13.根据权利要求12所述的图像获取装置，

其中，所述电路板包括处理来自所述第一传感器层的第一信号的第一电路元件和处理来自所述第二传感器层的第二信号的第二电路元件。

14.根据权利要求13所述的图像获取装置，还包括：时序控制器，被配置为使所述第一电路元件和所述第二电路元件的操作同步。

15.根据权利要求12所述的图像获取装置，还包括存储器，其中所述存储器中存储了与所述第一图像有关的数据和与所述第二图像有关的数据。

16.根据权利要求15所述的图像获取装置，

其中，所述存储器被设置在所述电路板中。

17.根据权利要求1所述的图像获取装置，还包括：

第一成像光学系统，所述第一成像光学系统在所述第一图像传感器上形成对象的所述第一图像并且包括一个或多个第一透镜；以及

第二成像光学系统，所述第二成像光学系统在所述第二图像传感器上形成所述对象的所述第二图像并且包括一个或多个第二透镜。

18.根据权利要求17所述的图像获取装置，

其中，所述第一成像光学系统和所述第二成像光学系统被设置为具有相同的焦距和相同的视场。

19.一种电子装置，包括：

RGB传感器，被配置为检测从对象反射的第一波段的第一光线；

高光谱图像传感器，用于检测从所述对象反射的第二波段的第二光线，其中所述第二波段比所述第一波段宽；以及

处理器，被配置为：

获得基于所述第一波段的第一光线的第一图像、以及基于所述第二波段的第二光线的第二图像；

基于从所述第一图像和所述第二图像检测的边缘的位置信息将所述第一图像与所述第二图像对准；以及

在所述第一图像与所述第二图像对准的同时，基于所述第二图像转换所述第一图像的颜色。

20.根据权利要求19所述的电子装置，其中，所述电子装置对应于：

移动电话、智能电话、平板计算机、智能平板计算机、数字相机、录像机、膝上型计算机、电视机、智能电视机、智能冰箱、安全相机、机器人或医用相机。

Images