CN112020853A

CN112020853A - 摄像机模块及其超分辨率图像处理方法

Info

Publication number: CN112020853A
Application number: CN201980028015.XA
Authority: CN
Inventors: 李昌奕; 金大根; 金硕贤
Original assignee: LG Innotek Co Ltd
Current assignee: LG Innotek Co Ltd
Priority date: 2018-02-23
Filing date: 2019-02-21
Publication date: 2020-12-01
Anticipated expiration: 2039-02-21
Also published as: KR20190101759A; US20220345626A1; WO2019164312A1; JP2021515455A; US20210092291A1; CN115695997A; EP3758354A1; CN112020853B; JP7312185B2; US20220408018A1; US11425303B2; EP3758354A4; KR102486425B1; US11770626B2

Abstract

实施方式的摄像机模块包括：图像获取单元，其用于获取具有空间相位差的多个图像帧；图像生成单元，其用于通过使用多个图像帧来生成具有比多个图像帧中的每一个的分辨率高的分辨率的图像数据；以及深度信息提取单元，其用于通过使用图像数据来提取关于对象的深度信息。

Description

摄像机模块及其超分辨率图像处理方法

技术领域

实施方式涉及摄像机模块及其超分辨率图像处理方法。

背景技术

使用便携式设备的人们要求具有高分辨率、小型并且具有各种拍摄功能(光学放大/缩小功能、自动聚焦(AF)功能、手抖补偿或光学图像稳定器(OIS)功能等)的光学设备。这些拍摄功能可以通过直接移动被组合的多个透镜来实现。然而，在透镜的数目增加的情况下，光学设备的尺寸可能增加。

自动聚焦功能和手抖补偿功能是通过使多个透镜模块沿光轴或者沿垂直于光轴的方向移动或倾斜来实现，所述多个透镜模块在透镜的光轴对准的状态下固定至透镜保持器，并且使用单独的透镜移动装置来移动透镜模块。然而，透镜移动装置具有高功耗，并且需要与摄像机模块分开地提供附加的盖玻璃以保护透镜移动装置，因此导致设备的总厚度增加。

此外，随着用户对高质量图像的需求增加，需要能够提供超分辨率图像的摄像机模块。然而，为了生成超分辨率图像，图像传感器中所包括的像素的数目不可避免地增加，这可能导致图像传感器的尺寸增加和功耗的增加。此处，“超分辨率(SR)”是指将具有给定的低分辨率(LR)的图像信息转换为具有高分辨率(HR)的图像信息。

为了提取与图像中包括的对象对应的像素的深度，使用飞行时间(ToF)方法作为通过将光照射到对象上来主动地提取深度的一种方法。ToF方法是将光照辐射到对象上并且测量光返回所花费的时间的方法。用于图像数据的点扩展函数(PSF)是优化的并且非常简单的，而用于提取深度信息的PSF需要重新定义和优化。

发明内容

[技术问题]

实施方式提供了在提供高分辨率图像的同时能够以高的速度简单地提取像素的深度信息的摄像机模块及其超分辨率图像处理方法。

本公开内容要实现的目的不限于上面提及的目的，并且本领域那些技术人员根据以下描述将清楚地理解本文中未提及的其他目的。

[技术解决方案]

根据实施方式的摄像机模块可以包括：图像获取单元，其被配置成获取多个图像帧，多个图像帧之间具有空间相位差；图像生成单元，其被配置成使用多个图像帧来生成具有比多个图像帧中的每一个的分辨率高的分辨率的图像数据；以及深度信息提取单元，其被配置成使用图像数据来提取关于对象的深度信息。

例如，图像获取单元可以包括：光学单元，其被配置成改变对象的光行进所沿的路径；图像传感器，其被配置成感测沿不同路径入射的光；以及控制器，其被配置成控制光学单元和图像传感器。多个图像帧可以对应于由图像传感器顺序地感测的结果。

例如，图像获取单元可以包括：多个光学单元，其分别具有对象的光行进所沿的不同路径；以及多个图像传感器，其被配置成感测通过多个光学单元入射的光。多个图像帧可以对应于由多个图像传感器感测的结果。

例如，图像生成单元可以生成具有以下强度的图像数据。

此处，x_φ表示图像数据的强度，1≤k≤p，p表示用于生成图像数据的图像帧的数目，φ表示相位延迟的程度，D^-1表示D的逆矩阵，D表示图像传感器的像素的尺寸，B_K ^-1表示B_K的逆矩阵，B_K表示关于深度信息的光学特性，n_K表示多个图像帧的噪声分量，并且A_K表示p个图像帧中的第k个图像帧的强度，并且A_K如下。

A_k＝DB_kx_φ+n_k

例如，深度信息提取单元可以如下计算深度信息。

此处，x表示深度信息，c表示光通量，并且f表示频率。

根据另一实施方式的摄像机模块的超分辨率图像处理方法可以包括：(a)获取多个图像帧，所述多个图像帧之间具有空间相位差；(b)使用多个图像帧来生成具有比多个图像帧中的每一个的分辨率高的分辨率的图像数据；以及(c)使用图像数据来提取关于对象的深度信息。

例如，步骤(a)可以包括：改变对象的光行进所沿的路径；以及顺序地感测沿不同路径入射的光，以获取多个图像帧。

例如，步骤(a)可以包括：沿不同路径同时感测对象的光，以获取多个图像帧。

例如，步骤(b)可以包括：获得具有以下强度的图像数据。

此处，x_φ表示图像数据的强度，1≤k≤p，p表示用于生成图像数据的图像帧的数目，φ表示相位延迟的程度，D^-1表示D的逆矩阵，D表示获得图像帧中的每一个的图像传感器的像素的尺寸，B_K ^-1表示B_K的逆矩阵，B_K表示关于深度信息的光学特性，n_K表示多个图像帧的噪声分量，并且A_K表示p个图像帧中的第k个图像帧的强度，并且A_K如下所示。

A_k＝DB_kx_φ+n_k

例如，步骤(c)可以包括如下获得深度信息。

此处，x表示深度信息，c表示光通量，并且f表示频率。

例如，摄像机模块的超分辨率图像处理方法还可以包括校准深度信息。

本公开内容的以上方面仅是本公开内容的示例性实施方式的一部分，并且本领域那些技术人员可以根据本公开内容的以下详细描述设计和理解基于本公开内容的技术特征的各种实施方式。

[有益效果]

根据按照本公开内容的实施方式的摄像机模块及其超分辨率图像处理方法，可以在提供超分辨率图像的同时使用少量计算以高的速度简单地提取深度信息。

通过本公开内容可实现的效果不限于以上提及的效果，并且本领域那些技术人员根据以下描述将清楚地理解本文中未提及的其他效果。

附图说明

图1示出了用于说明根据实施方式的摄像机模块的超分辨率图像处理方法的流程图。

图2示出了根据实施方式的用于执行图1所示的超分辨率图像处理方法的摄像机模块的示意性框图。

图3示出了图2所示的图像获取单元的实施方式的框图。

图4示出了包括图3所示的图像获取单元的摄像机模块的实施方式的截面图。

图5示出了图2所示的图像获取单元的另一实施方式的框图。

图6是用于说明图像获取单元的实施方式的操作方法的图。

图7是用于更详细地说明图6中所说明的图像获取单元的操作方法的图。

图8是根据实施方式的摄像机模块的操作方法的时序图。

图9是用于说明根据实施方式的超分辨率图像处理方法中的校准步骤的实施方式的流程图。

图10的(a)和图10的(b)是用于帮助理解图9所示的校准步骤的波形图。

图11的(a)示出了原始数据，并且图11的(b)示出了由图像传感器感测和输出的电荷的强度。

图12的(a)至图12的(c)是用于说明根据比较例的超分辨率图像处理方法的图。

图13的(a)至图13的(c)是用于说明根据实施方式的超分辨率图像处理方法的图。

具体实施方式

在下文中，将参照附图详细地描述示例性实施方式。虽然本公开内容会受到各种修改和替选形式的影响，但是其具体实施方式在附图中以示例的方式示出。然而，本公开内容不应当被解释为限于本文中阐述的实施方式，而相反地，本公开内容旨在涵盖落入实施方式的精神和范围内的所有修改、等同方案和替选方案。

应当理解的是，虽然术语“第一”、“第二”等在本文中可以用于描述各种元件，但是这些元件不受这些术语的限制。这些术语通常仅用于将一个元件与另一元件区分开。另外，考虑到实施方式的构造和操作而特别定义的术语仅用于描述实施方式，而不是限定实施方式的范围。

在实施方式的以下描述中，应当理解的是，当每个元件被称为在另一元件“上”或“下”时，该元件可以直接地在另一元件上或下，或者可以间接地形成使得还存在一个或更多个介入中间的元件。另外，当元件被称为在“上”或“下”时，基于该元件可以包括“在该元件下”以及“在该元件上”。

另外，诸如“上/上部/上方”和“下/下部/下方”的相关术语仅用于区分一个对象或元件与另一对象或元件，而不一定需要或涉及这些对象或元件之间的任何物理或逻辑的关系或顺序。

在下文中，将参照附图描述根据实施方式的摄像机模块的超分辨率图像处理方法。

图1示出了用于说明根据实施方式的摄像机模块的超分辨率图像处理方法的流程图，并且图2示出了根据实施方式的用于执行图1所示的超分辨率图像处理方法的摄像机模块的示意性框图。

虽然图1所示的超分辨率图像处理方法将被描述为在图2所示的摄像机模块中执行，但是实施方式不限于此。即，图1所示的超分辨率图像处理方法可以在具有与图2所示的摄像机模块的配置不同的配置的摄像机模块中执行，并且图2所示的摄像机模块可以执行与图1所示的超分辨率图像处理方法不同的超分辨率图像处理方法。

图2所示的摄像机模块可以包括图像获取单元(100)、图像生成单元(200)和深度信息提取单元(300)。

图2所示的图像获取单元(100)获取彼此之间具有与子像素间隔对应的空间相位差的多个图像帧，并且将所获取的多个图像输出至图像生成单元(200)(步骤10)。当像素之间的距离(例如，像素中心之间的距离)被定义为1像素距离(PD)时，其一半对应于0.5PD。前述子像素间隔可以是0.5PD，但是实施方式不限于此。

图3示出了图2所示的图像获取单元(100)的实施方式(100A)的框图。

图3所示的图像获取单元(100A)可以包括光学单元(110)、图像传感器(120)和控制器(130)。

光学单元(110)可以在控制器(130)的控制下改变对象的光行进所沿的路径。

图像传感器(120)可以在控制器(130)的控制下感测沿不同路径入射的光束，并且通过输出端子OUT1将感测结果作为图像帧输出至图像生成单元(200)。图像传感器(120)顺序地感测沿不同路径入射的光束。因此，由图像传感器(120)顺序地感测的结果可以对应于彼此之间具有空间相位差的多个图像帧。

控制器(300)可以控制光学单元(110)和图像传感器(120)。特别地，控制器(300)可以改变光从光学单元(110)行进所沿的路径，使得由图像传感器(120)顺序地感测并输出的多个图像帧之间具有与子像素间隔对应的空间相位差。

在下文中，将使用笛卡尔坐标系来描述包括图3所示的图像获取单元(100A)的摄像机模块的实施方式。然而，可以使用其他的坐标系。在笛卡尔坐标系中，x轴、y轴和z轴彼此垂直，但是实施方式不限于此。即，x轴、y轴和z轴可以彼此倾斜地相交。

图4示出了包括图3所示的图像获取单元(100A)的摄像机模块的实施方式的截面图。

参照图4，摄像机模块可以包括透镜组件、图像传感器(120)和主板(132)。此处，透镜组件可以对应于图3所示的光学单元(110)的实施方式，并且可以包括透镜镜筒(112)、保持器(114)、第一透镜(L1)和第二透镜(L2)。可以省略这些部件中的至少一个，或者可以改变这些部件的垂直布置。

透镜组件可以透射从摄像机模块的外部入射到透镜组件上的光，使得光信号被发送至图像传感器(120)。透镜组件可以包括至少一个透镜。包括在透镜组件中的透镜可以形成一个光学系统，并且可以沿图像传感器(120)的光轴对准。

透镜镜筒(112)可以耦接至保持器(114)，并且可以包括形成在其中的用于容纳第一透镜(L1)和第二透镜(L2)的空间。透镜镜筒(112)可以以旋转的接合方式与第一透镜(L1)和第二透镜(L2)接合，但这仅仅是示例性的。这些部件可以以其他方式中的任意一种方式(例如，使用粘合剂)接合。

第一透镜(L1)可以设置在第二透镜(L2)的前面。第一透镜(L1)可以包括至少一个透镜，或者两个或更多个透镜可以沿其中心轴对准以形成光学系统。此处，中心轴可以与摄像机模块的光学系统的光轴相同。如图4所示，第一透镜(L1)可以包括一个透镜，但是本公开内容不一定限于此。

第二透镜(L2)可以设置在第一透镜(L1)的后面。从摄像机模块的外部入射到第一透镜(L1)上的光可以穿过第一透镜(L1)并且可以入射到第二透镜(L2)上。第二透镜(L2)可以包括至少一个透镜，或者两个或更多个透镜可以沿其中心轴对准以形成光学系统。此处，中心轴可以与摄像机模块的光学系统的光轴相同。如图4所示，第二透镜(L2)可以包括一个透镜，但是本公开内容不一定限于此。

为了与液体透镜区分开，第一透镜(L1)和第二透镜(L2)可以分别被称为“第一固体透镜”和“第二固体透镜”。

在图4中，透镜组件被示为包括两个透镜(L1、L2)，但是实施方式不限于此。在另一实施方式中，透镜组件可以仅包括一个透镜，或者可以包括三个或更多个透镜。

保持器(114)用于容纳并支承至少一个透镜。保持器(114)可以耦接至透镜镜筒(112)以支承透镜镜筒(112)，并且可以耦接至附接有图像传感器(120)的主板(132)。

保持器(114)可以具有螺旋结构，并且可以以旋转接合的方式与同样具有螺旋结构的透镜镜筒(112)接合。然而，这仅是示例性的。保持器(114)和透镜镜筒(1123)可以使用粘合剂(例如，诸如环氧树脂的粘合剂树脂)彼此接合，或者保持器(114)和透镜镜筒(112)可以彼此一体地形成。

图像传感器(120)对应于图3所示的图像传感器(120)。图像传感器(120)可以被安装在主板(132)上，并且可以包括：像素阵列，其被配置成接收已经穿过透镜组件的光信号，并且被配置成将该光信号转换成与光信号对应的电信号；驱动电路，其被配置成驱动包括在像素阵列中的多个像素；以及读出电路，其被配置成读取每个像素的模拟像素信号。读出电路可以将模拟像素信号与参考信号进行比较，并且可以通过模数转换来生成数字像素信号(或图像信号)。此处，包括在像素阵列中的像素中的每一个的数字像素信号构成图像信号，并且该图像信号可以以帧为单位被发送，因此可以被定义为图像帧。即，图像传感器可以输出多个图像帧。

主板(132)可以设置在保持器(114)下方，并且可以包括用于在与控制器(130)一起的各个部件之间传输电信号的布线。另外，用于实现与电源或存在于摄像机模块外部的其他设备(例如，应用处理器)的电连接的连接器(未示出)可以连接至主板(132)。

主板(132)可以被配置为刚挠性印刷电路板(RFPCB)，并且可以根据其中安装摄像机模块的空间的要求而弯曲，但是实施方式不限于此。

此外，摄像机模块还可以包括用于透射或阻挡红外(IR)光的过滤器(116)。为此，过滤器(116)可以被实现为玻璃。过滤器(116)可以过滤已经穿过第二透镜单元(L2)的光束中特定波长范围内的光。过滤器(116)可以安装并固定在形成于保持器(114)中的凹部中。为此，保持器(114)可以在其中包括一空间，在该空间中，过滤器(116)可以在透镜镜筒(112)下方附接于此。

上述图3和图4所示的摄像机模块可以通过各种方法改变光路。

根据实施方式，包括在透镜组件中的至少一个透镜可以包括可变透镜。可变透镜可以在控制器(130)的控制下改变透镜组件的光路。可变透镜可以改变入射到图像传感器(120)上的光的光路，并且可以改变例如光信号的焦距、视场(FOV)的角度或者FOV的方向。例如，可变透镜可以被配置为液体透镜或可变棱镜。可变透镜可以包括至少一个透镜和与至少一个透镜接合的致动器。此处，至少一个透镜可以是液体透镜或固体透镜。致动器可以在控制器(130)的控制下控制与致动器接合的至少一个透镜的物理位移。也就是说，致动器可以调整至少一个透镜与图像传感器(120)之间的距离，或者可以调整至少一个透镜与图像传感器(120)之间的角度。替选地，致动器可以使至少一个透镜沿由图像传感器(120)的像素阵列形成的平面的x轴方向和y轴方向移位。另外，致动器可以用于改变入射到图像传感器(120)的像素阵列上的光的光路。例如，当在包括在可变透镜中的至少一个透镜中不包括液体透镜时，即，当包括在可变透镜中的至少一个透镜是固体透镜时，致动器可以响应于从控制器(130)输出的第一控制信号(C1)而使至少一个透镜沿垂直方向和水平方向中的至少一个方向移位。

可变透镜可以设置在第一位置(P1)至第四位置(P4)中的任意一处。然而，这仅是示例性的，并且可变透镜可以根据第一透镜单元(L1)、第二透镜单元(L2)和过滤器(116)的存在或不存在或者根据其相对位置而位于其他地方。然而，可变透镜可以位于光路上，光路是入射到透镜组件上的光所穿过的区域，并且可变透镜可以改变焦距或FOV角度。第一位置(P1)是与透镜镜筒(112)的外部对应的位置，并且第二位置(P2)是与透镜镜筒(112)内的在第一透镜单元(L1)上方的区域对应的位置。第三位置(P3)是与透镜镜筒(112)内的第一透镜单元(L1)与第二透镜单元(L2)之间的区域对应的位置，并且第四位置(P4)是与透镜镜筒(112)内的第二透镜单元(L2)下面的区域对应的位置。

替选地，根据另一实施方式，透镜镜筒(112)、保持器(114)或过滤器(116)可以在控制器(130)的控制下通过致动器(未示出)向上/向下/向左/向右移位，从而可以改变入射到图像传感器(120)上的光的光路，并且可以改变例如光信号的焦距、视场(FOV)的角度或FOV的方向。

在下文中，将参照图4描述改变光学单元(110)的FOV角度的操作。

参照图4，透镜组件可以具有特定的视场(FOV)。FOV可以指图像传感器(120)能够通过透镜组件执行捕获操作的入射光的范围，并且可以被定义为FOV角度。典型的透镜组件的FOV角度的范围可以为60°至140°。基于当从上方(即，从垂直于光轴的方向)观看透镜组件时定义的x轴和y轴，FOV角度可以包括第一FOV角度(Fx)和第二FOV角度(Fy)。第一FOV角度(Fx)是指沿x轴所确定的FOV的角度，以及第二FOV角(Fy)是指沿y轴所确定的FOV的角度。

包括在图像传感器(120)的像素阵列中的多个像素可以以N×M矩阵的形式布置(其中，N和M中的每一个是1或更大的整数)。也就是说，可以沿x轴设置N个像素，以及可以沿y轴设置M个像素。通过与第一FOV角度(Fx)和第二FOV角度(Fy)对应的FOV入射的光信号入射到N×M像素阵列上。

可以通过控制信号(C1)来改变穿过透镜组件的光的光路或透镜组件的FOV。控制信号(C1)可以分别改变第一FOV角度(Fx)和第二FOV角度(Fy)。根据控制信号(C1)的第一FOV角度(Fx)和第二FOV角度(Fy)的改变由第一角度变化(θI_x)和第二角度变化(θI_y)确定。

第一角度变化(θI_x)和第二角度变化(θI_y)可以分别由下面的公式1和公式2定义：

[公式1]

[公式2]

此处，a可以具有大于0.1且小于0.5的值，并且b可以具有大于1且小于2的值。然而，实施方式的范围不限于此。

在这种情况下，θI_x和θI_y是相对于由图像传感器(120)生成的图像的角度变化，该角度变化是由光学单元(110)的光路的改变引起的。光学单元(110)改变光路的实际角度可以大于或小于上述角度变化。

然而，根据实施方式的摄像机模块及其超分辨率图像处理方法不限于光学单元(110)改变光路的任何特定配置或方法。

图5示出了图2所示的图像获取单元(100)的另一实施方式(100B)的框图。

图5中所示的图像获取单元(100B)可以同时沿不同的路径感测对象的光束以获取多个图像帧。为此，图像获取单元(100B)可以包括第一光学单元至第H光学单元(110-1至110-H)和第一图像传感器至第H图像传感器(120-1至120-H)。此处，H是2或更大的正整数。

第一光学单元至第H光学单元(110-1至110-H)中的每一个形成对象的光行进所沿的路径。在这种情况下，光束通过第一光学单元至第H光学单元(110-1至110-H)行进所沿的路径彼此不同。

第一图像传感器至第H图像传感器(120-1至120-H)感测通过第一光学单元至第H光学单元(110-1至110-H)入射在第一图像传感器至第H图像传感器(120-1至120-H)上的各个光束，并且通过输出端子OUT2将感测结果输出至图像生成单元(200)。通过输出端子OUT2同时输出至图像生成单元(200)的感测结果可以对应于多个图像帧，该多个图像帧之间具有与子像素间隔对应的空间相位差。

在步骤10之后，图像生成单元(200)可以使用由图像获取单元(100)获取的多个图像帧来生成具有比由图像获取单元(100)获取的多个图像帧中的每一个的分辨率高的分辨率的图像数据，并且图像生成单元(200)可以将所生成的结果输出至深度信息提取单元(300)(步骤20)。

在下文中，将描述步骤20和图像获取单元(100)的实施方式。

图6是用于说明图像获取单元(100)的实施方式的操作方法的图。图7是用于更详细地说明图6中所说明的图像获取单元(100)的操作方法的图。

图6示出了使用彼此之间具有空间相位差的多个图像帧获得超分辨率图像的方法的模拟图。

图像传感器(120、120-1至120-H)的像素阵列可以包括以N×M矩阵的形式布置的多个像素。为了便于描述，将假设像素阵列包括以2×2矩阵的形式布置的多个像素(A1至A4)(如图6所示)而做出以下描述。

像素(A1至A4)中的每一个可以使用通过透镜组件透射的光信号来生成关于像素场景(PS1至PS4)中的每一个的图像信息(即，与光信号对应的模拟像素信号)。

当沿x轴方向(或y轴方向)彼此相邻的像素之间的距离(例如，像素中心之间的距离)为1像素距离(PD)时，该1像素距离(PD)的一半对应于0.5PD。在下文中，将定义第一像素移位至第四像素移位(A至D)。

第一像素移位(A)是将各个像素(A1至A4)沿+x轴方向向右移位0.5PD，并且B1至B4表示完成第一像素移位(A)之后的像素。

第二像素移位(B)是将各个像素(B1至B4)沿+y轴方向向下移位0.5PD，并且C1至C4表示完成第二像素移位(B)之后的像素。

第三像素移位(C)是将各个像素(C1至C4)沿-x轴方向向左移位0.5PD，并且D1至D4表示完成第三像素移位(C)之后的像素。

第四像素移位(D)是将各个像素(D1至D4)沿-y轴方向向上移位0.5PD，并且A1至A4表示完成第四像素移位(D)之后的像素。

此处，像素移位的作用不是要使像素阵列的像素的物理位置移位，而是要改变光行进所沿的路径(如图3所示)，或者是指其中光行进通过分别具有不同的光路的多个光学单元(110-1至110-H)的操作(如图5所示)，使得两个像素(例如，A1和A2)之间的虚拟像素(例如，B1)可以获取像素场景。

参照图7，各个像素(A1至A4)可以获取像素场景(S1)，并且图像传感器(120、120-1至120-H)可以根据各个像素(A1至A4)的像素信号生成第一帧(F1)。

响应于用于为了实现第一像素移位(A)使光路或FOV向右改变第一角度变化(θI_x)的控制信号(C1)，图3中所示的光学单元(110)可以使图4中所示的透镜组件的光路或FOV向右改变第一角度变化(θI_x)，从而可以执行第一像素移位(A)。替选地，为了实现第一像素移位(A)，图4中所示的第一光学单元和第二光学单元(110-1、110-2)的光路或FOV可以具有等于其两者之间的第一角度变化(θI_x)的差。此后，各个像素(B1至B4)可以获取像素场景(S2)，并且图像传感器(120、120-1至120-H)可以根据各个像素(B1至B4)的像素信号生成第二帧(F2)。

响应于用于为了实现第二像素移位(B)使光路或FOV向下改变第二角度变化(θI_y)的控制信号(C1)，图3中所示的光学单元(110)可以使图4中所示的透镜组件的光路或FOV向下改变第二角度变化(θI_y)，从而可以执行第二像素移位(B)。替选地，为了实现第二像素移位(B)，图4中所示的第二光学单元和第三光学单元(110-2、110-3)的光路或FOV可以具有等于其两者之间的第二角度变化(θI_y)的差。此后，各个像素(C1至C4)可以获取像素场景(S3)，并且图像传感器(120、120-1至120-H)可以根据各个像素(C1至C4)的像素信号生成第三帧(F3)。

响应于用于为了实现第三像素移位(C)使光路或FOV向左改变第一角度变化(θI_x)的控制信号(C1)，图3中所示的光学单元(110)可以使图4中所示的透镜组件的光路或FOV向左改变第一角度变化(θI_x)，从而可以执行第三像素移位(C)。替选地，为了实现第三像素移位(C)，图4中所示的第三光学单元和第四光学单元(110-3、110-4)的光路或FOV可以具有等于其两者之间的第二角度变化(θI_x)的差。此后，各个像素(D1至D4)可以获取像素场景(S4)，并且图像传感器(120、120-1至120-H)可以根据各个像素(D1至D4)的像素信号生成第四帧(F4)。

响应于用于为了实现第四像素移位(D)使光路或FOV向上改变第二角度变化(θI_y)的控制信号(C1)，图3中所示的光学单元(110)可以使图4中所示的透镜组件的光路或FOV向上改变第二角度变化(θI_y)，从而可以执行第四像素移位(D)。替选地，为了实现第四像素移位(D)，图4中所示的第四光学单元和第一光学单元(110-4、110-1)的光路或FOV可以具有等于其两者之间的第二角度变化(θI_y)的差。此后，各个像素(A1至A4)可以获取像素场景(S1)，并且图像传感器(120、120-1至120-H)可以根据各个像素(A1至A4)的像素信号生成第五帧(F5)。随后，可以重复地执行像素移位和通过移位的像素生成帧。

此处，第一角度变化(θI_x)和第二角度变化(θI_y)中的每一个可以存储与使得像素移位0.5PD的光路改变的程度有关的信息，并且可以基于第一FOV角度(Fx)和第二FOV角度(Fy)预先计算第一角度变化(θI_x)和第二角度变化(θI_y)中的每一个，并且可以(例如，通过图像传感器(120)或控制器(130))存储第一角度变化(θI_x)和第二角度变化(θI_y)中的每一个。

图3中所示的图像传感器(120)可以包括第一区域和第二区域，并且控制器(130)可以输出控制信号(C1)，以控制光学单元(110)使得从外部入射并穿过透镜组件的光的光路从图像传感器(120)的第一区域改变至第二区域。另外，图像传感器(120)还可以包括第三区域和第四区域，并且控制器(130)可以输出控制信号(C1)，以控制光学单元(110)使得光路从图像传感器(120)的第二区域改变至第三区域，并且控制器(130)可以输出控制信号(C1)，以控制光学单元(110)使得光学路径从第三区域改变至第四区域。控制信号(C1)可以包括：用于沿第一方向改变透镜组件的视场(FOV)的信号、用于沿第二方向改变透镜组件的FOV的信号、用于沿第三方向改变透镜组件的FOV的信号以及用于沿第四方向改变透镜组件的FOV的信号。

图像生成单元(200)可以合成第一帧至第四帧，并且可以生成由2N×2M像素阵列而不是由N×M像素阵列获取的图像。作为图像生成单元(200)合成第一帧至第四帧的方法，可以使用根据各个像素的位置简单地合并第一帧至第四帧的方法(例如，在第一行的情况下，通过布置A1的像素信号、B1的像素信号、A2的像素信号和B2的像素信号而生成一个帧)或者利用与任一个像素(例如，C1)相邻的像素(例如，A1、B1、A2、D1、D2、A3、B3和A4)的像素信号基于相邻像素的像素场景彼此交叠的原理来校正所述任一个像素的像素信号的方法。然而，实施方式的范围不限于此。可以使用各种超分辨率图像生成方法中的任一种。

图像生成单元(200)可以被称为后处理器。后处理器可以通过合成从图像传感器(120、120-1至120-H)发送的多个图像帧中的一些来生成第一超分辨率图像帧，并且然后可以通过合成从图像传感器(120、120-1至120-H)输出的多个图像帧中的其余图像帧来生成第二超分辨率图像帧。

根据图6和图7所示的处理，可以通过合成通过像素移位获取的多个图像帧来生成具有四倍分辨率的图像。

图8是根据实施方式的摄像机模块的操作方法的时序图。

参照图8，控制器(130)可以将指示光学单元(110)已经响应于控制信号(C1)完成了第四像素移位(D)的反馈信号发送至图像传感器(120)作为控制信号(C2)。在这种情况下，控制器(130)可以基于来自透镜组件的响应信号或单独的计时器来确定第四像素移位(D)的完成。接收反馈信号的图像传感器(120)的各个像素(A1至A4)可以获取像素场景(S1)，并且图像传感器(120)可以根据各个像素(A1至A4)的像素信号生成第一图像帧(F1)。以相同的方式，可以生成第二帧至第五帧(F2至F5)。随后，可以重复地执行像素移位和通过移位的像素生成帧。

特别地，控制器(130)可以将当完成由图像传感器(120)生成图像帧时的控制信号(C1)发送至光学单元(110)作为控制信号(C2)，并且图像传感器(120)将指示控制信号(C1)发送至光学单元(110)的同步信号发送至光学单元(110)作为控制信号(C2)。即，可以通过控制信号(C1、C2)的发送和接收以及它们的同步来执行包括像素移位、帧的生成以及随后的像素移位的一系列操作。

根据实施方式，图像生成单元(200)可以使用如上所述获取的多个图像帧来生成具有高分辨率的超分辨率图像数据，该超分辨率图像数据具有使用以下公式3表达的强度。

[公式3]

此处，x_φ表示由图像生成单元(200)生成的图像数据的强度，1≤k≤p，p表示用于生成图像数据的彼此之间具有空间相位差的多个图像帧的数目，p是2或更大的正整数，并且φ表示相位延迟的程度。当P个图像帧中的每一个包括I个子帧时，I＝9，并且p＝4，可以使用以下公式4来表达φ。

[公式4]

此处，Q表示子帧的强度。

另外，在上面的公式3中，D^-1表示D的逆矩阵，D表示图像传感器(120、120-1至120-H)的像素的尺寸，B_K ^-1表示B_K的逆矩阵，B_K表示关于深度信息的光学特性，n_K表示多个图像帧的噪声分量，并且A_K表示p个图像帧中的第k个图像帧的强度。可以使用以下公式5来表达A_K。

[公式5]

A_k＝DB_kx_φ+n_k

在步骤20之后，深度信息提取单元(300)使用由图像生成单元(200)生成的超分辨率图像数据来提取关于对象的深度信息(步骤30)。

根据实施方式，当I＝9且p＝4时，深度信息提取单元(300)可以计算如下面公式6中所表达的深度信息。

[公式6]

此处，x表示深度信息，c表示光通量，并且f表示频率。

在根据上述实施方式的高分辨率图像处理方法中，具有高分辨率的图像数据通过公式3使用上述公式5中的A_K来获得。此后，深度信息(x)通过上述公式6使用通过公式3获得的具有高分辨率的图像数据来获得。

另外，根据实施方式的超分辨率图像处理方法还可以包括校准深度信息的步骤(在下文中被称为“校准步骤”)。该校准步骤可以在上述步骤30中执行，但是实施方式不限于此。

在下文中，将参照图9和图10描述根据实施方式的校准步骤。为了便于说明，假设P＝4且I＝9。此处，1≤i≤I。

图9是用于说明根据实施方式的超分辨率图像处理方法中的校准步骤的实施方式的流程图，并且图10的(a)和图10的(b)是用于帮助理解图9所示的校准步骤的波形图。图10的(a)示出了朝对象发射的光信号的波形图，并且图10的(b)示出了由图像传感器(120、120-1至120-H)接收的光信号的波形图。

首先，对第一原始数据执行透镜校准(步骤410)。此处，第一原始数据是单位图像帧的在第一频率(f1)处的I个子帧中的四个左子帧上的数据，如图10的(a)和(b)所示。即，从i＝1至i＝4的子帧对应于第一原始数据。透镜校准是校准相对于包括在光学单元(110、110-1至110-H)中的透镜的准确坐标的操作。

在执行步骤410之后，对第一原始数据执行像素校准(步骤420)。像素校准是校准图像传感器(120、120-1至120-H)的各个像素的变化的操作。

在执行步骤420之后，对第一原始数据执行时序校准(步骤430)。时序校准是校准图像传感器(120、120-1至120-H)的每个像素接收信号时的时间变化的操作。

在执行步骤430之后，对第一原始数据执行相位校准(步骤440)。相位校准是校准公式4中的相位延迟的程度φ的变化的操作，相位延迟的程度φ的变化在图像传感器(120、120-1至120-H)的各个像素中不同。

在执行步骤440之后，存储校准第一原始数据的结果(步骤450)。

在执行步骤450之后，还对第二原始数据执行上述透镜校准、像素校准、时序校准和相位校准(步骤460至490)。此处，第二原始数据是在I个子帧中具有第二频率(f2)的从左边第五子帧至第八子帧上的数据，如图10的(a)和(b)所示。即，从i＝5至i＝8的子帧对应于第二原始数据。第一频率(f1)和第二频率(f2)彼此不同。例如，第一频率(f1)可以是80MHz，并且第二频率(f2)可以是60MHz，但是实施方式不限于此。

在执行步骤450之后，对第二原始数据执行透镜校准(步骤460)。在执行步骤460之后，对第二原始数据执行像素校准(步骤470)。在执行步骤470之后，对第二原始数据执行时序校准(步骤480)。在执行步骤480之后，对第二原始数据执行相位校准(步骤490)。在执行步骤490之后，存储校准第二原始数据的结果(步骤500)。

在执行步骤500之后，还对第三原始数据执行上述透镜校准和像素校准(步骤510和520)。此处，第三原始数据是在I个子帧中的最右子帧上的数据，如图10的(a)和(b)所示。即，i＝9的子帧对应于第三原始数据。

在执行步骤500之后，对第三原始数据执行透镜校准(步骤510)。在执行步骤510之后，对第三原始数据执行像素校准(步骤520)。在执行步骤520之后，对第三原始数据执行用于去除噪声的校准(步骤530)。

在步骤530之后，合成分别校准第一原始数据、第二原始数据和第三原始数据的结果(步骤540)。在执行步骤540之后，对深度信息执行校准(步骤550)。

上述的第一原始数据、第二原始数据和第三原始数据可以是处于已经执行了基本图像信号处理(ISP)之后的状态中的数据。

根据另一实施方式，可以对第一原始数据至第三原始数据同时执行校准。即，在执行步骤410至440的同时，可以执行步骤460至490，并且同时可以执行步骤510至530。

在下文中，将参照附图描述根据比较例的超分辨率图像处理方法和根据实施方式的超分辨率图像处理方法。为了便于说明，假定P＝4且I＝9。

图11的(a)示出了原始数据，并且图11的(b)示出了由图像传感器(120、120-1至120-H)感测和输出的电荷的强度。

图11的(a)所示的原始数据是彼此之间具有空间相位差的多个图像帧中的第k个图像帧上的数据，并且第k个图像帧具有九个(I＝9)子帧。因此，A_ki表示包括在第k个图像帧中的子帧中的第i个子帧的强度。

参照图11的(a)和(b)，A_k2、A_k3、A_k4和A_k5(i＝2至5)表示强度原始数据矩阵(即，子帧的强度矩阵)，该强度原始数据矩阵以第一频率(f1)通过第一角度、第二角度、第三角度和第四角度选通的相位来获取。A_k6、A_k7、A_k8和A_k9表示强度原始数据矩阵，该强度原始数据矩阵以第二频率(f2)通过第一角度、第二角度、第三角度和第四角度选通的相位来获取。例如，第一角度、第二角度、第三角度和第四角度可以分别为0°、90°、180°和270°，但是实施方式不限于此。

在图11的(b)中，纵轴表示在九个子帧的每一个中由图像传感器(120、120-1至120-H)感测和输出的电荷的数目(P)。

根据根据比较例的超分辨率图像处理方法，使用以下公式7表达的深度信息是使用在彼此之间具有等于子像素间隔的空间相位差的多个图像帧中的帧的强度(A_K)生成的，帧的强度(A_K)是使用上述公式5来表示。

[公式7]

此处，y_k表示深度信息。

此后，使用公式7中的y_k生成图像数据，该图像数据具有使用以下公式8表达的超分辨率。

[公式8]

此处，x对应于超分辨率图像数据，1≤k≤p，p表示用于生成具有超分辨率图像数据的图像帧的数目，M_k ^’-1表示M_k ^’的逆矩阵，M_k ^’表示可能包括模糊的深度点扩展函数(PSF)，D^’-1表示D^’的逆矩阵，D^’表示图像传感器的像素的尺寸，B_k ^’-1表示B_k ^’的逆矩阵，B_k ^’表示关于深度信息的光学特性，n_k表示多个图像帧的噪声分量，并且A_K可以使用上述公式5来表达。

图12的(a)至(c)是用于说明根据比较例的超分辨率图像处理方法的图，并且图12的(a)示出了图11所示的原始数据和电荷强度。

也就是说，在比较例的情况下，如图9的(b)所示使用公式7获得图9的(a)所示的关于第一(k＝1)图像帧的第一深度信息(y₁)；如图9的(b)所示使用公式7获得图9的(a)所示的关于第二(k＝2)图像帧的第二深度信息(y₂)；如图9的(b)所示使用公式7获得图9的(a)所示的关于第三(k＝3)图像帧的第三深度信息(y₃)；以及如图9的(b)所示使用公式7获得图9的(a)所示的关于第四(k＝4)图像帧的第四深度信息(y₄)。

此后，可以将第一深度信息至第四深度信息(y1至y4)代入公式8中以获得图12的(c)所示的超分辨率图像。

根据上述比较例的超分辨率图像处理方法具有计算量增加的问题，这是因为公式7的用于将图像信息转换为深度信息的计算处理执行了p次。另外，甚至在提取深度信息之后，也需要对M_k’执行附加建模，如公式8中所表达的。另外，关于深度信息的光学特性(例如，B_k’)比在图像PSF的情况下更加复杂。

另一方面，在根据实施方式的超分辨率图像处理方法的情况下，上述公式3中的超分辨率图像数据(x_φ)是在通过I-飞行时间(I-ToF)方法在从图像帧中提取距离信息(x)的过程的中间中使用公式5中的图像数据生成的。

此后，使用超分辨率图像数据(x_φ)提取深度信息。因此，根据实施方式的超分辨率图像处理方法能够解决I-ToF的分辨率的问题。

因此，与比较例一样，在提取深度信息之后获得具有高分辨率的图像数据的情况下，计算量增加。这是因为除了高分辨率图像数据之外，提取深度信息的结果本身就包含补充数据，并且因此具有大的逻辑尺寸。另一方面，在本实施方式的情况下，由于在提取深度信息之前预先获得了具有小的逻辑尺寸的高分辨率图像数据，因此可以减少计算量。

图13的(a)至图13的(c)是用于说明根据实施方式的超分辨率图像处理方法的图。图13的(a)示出了四个(P＝4)图像帧，并且四个图像帧中的每一个具有与图11所示的原始数据相同的电荷强度。

在根据实施方式的超分辨率图像处理方法中，图10的(b)所示的超分辨率图像数据(x_φ)是通过将从第一(k＝1)图像帧至第四(k＝4)图像帧的四个图像帧代入到公式3中生成的。

此后，通过将超分辨率图像数据(x_φ)代入到公式6来提取深度信息(x)，并且因此，不必对公式8中的M_k’执行建模，其是在比较例中对深度数据所执行的复杂的PSF。另外，根据实施方式的超分辨率图像处理方法能够降低用于提取深度信息的光学PSF的复杂性。另外，在比较例的情况下，重复执行公式7的计算(tan^-1)，而在实施方式的情况下，仅执行公式6的计算(tan^-1)一次。因此，依照根据实施方式的超分辨率图像处理方法，可以缩短用于图像处理所需的计算时间，并且可以利用相同的配置以更高的速度执行图像处理。

尽管上面仅描述了有限数目的实施方式，但是各种其他实施方式也是可以的。上述实施方式的技术内容可以组合为各种形式，只要它们不是彼此不相兼容即可，并且因此可以以新的实施方式实现这些技术内容。

例如，可以实现包括上述摄像机模块的光学设备(或光学仪器)。此处，光学设备可以包括可以处理或分析光信号的设备。光学设备的示例可以包括摄像机设备/视频设备、望远镜设备、显微镜设备、干涉仪、光度计、偏振计、光谱仪、反射计、自动准直仪和检镜仪，并且实施方式可以应用于可以包括固体透镜或液体透镜中的至少一种的光学设备。另外，光学设备可以在诸如例如智能电话、膝上型计算机或平板计算机的便携式设备中实现。这样的光学设备可以包括：摄像机模块；被配置成输出图像的显示单元；以及其中安装有摄像机模块和显示单元的本体壳体。可以在光学设备的本体壳体中安装有可以与其他设备通信的通信模块，并且光学设备还可以包括能够存储数据的存储单元。

对于本领域的那些技术人员将明显的是，在不脱离本文阐述的本公开内容的精神和基本特征的情况下，可以进行形式和细节上的各种改变。因此，以上详细描述不旨在被解释为在所有方面限制本公开内容，并且通过示例的方式被考虑。本公开内容的范围应当通过所附权利要求书的合理解释来确定，并且在不脱离本公开内容的情况下做出的所有等同修改应当包括在所附权利要求书中。

本发明的方式

在用于实施本公开内容的具体实施方式中已经描述了最佳实施方式。

工业实用性

根据实施方式的摄像机模块及其超分辨率图像处理方法可以用于摄像机设备/视频设备、望远镜设备、显微镜设备、干涉仪、光度计、偏振计、光谱仪、反射仪、自动准直仪、检镜仪、智能电话、膝上型计算机、平板计算机等中。

Claims

1.一种摄像机模块，包括：

图像获取单元，其被配置成获取多个图像帧，在所述多个图像帧之间具有空间相位差；

图像生成单元，其被配置成使用所述多个图像帧来生成具有比所述多个图像帧中的每一个的分辨率高的分辨率的图像数据；以及

深度信息提取单元，其被配置成使用所述图像数据来提取关于对象的深度信息。

2.根据权利要求1所述的摄像机模块，其中，所述图像获取单元包括：

光学单元，其被配置成改变对象的光行进所沿的路径；

图像传感器，其被配置成感测沿不同路径入射的光；以及

控制器，其被配置成控制所述光学单元和所述图像传感器，以及

其中，所述多个图像帧对应于由所述图像传感器顺序地感测的结果。

3.根据权利要求1所述的摄像机模块，其中，所述图像获取单元包括：

多个光学单元，其分别具有对象的光行进所沿的不同路径；以及

多个图像传感器，其被配置成感测通过所述多个光学单元入射的光，以及

其中，所述多个图像帧对应于由所述多个图像传感器感测的结果。

4.根据权利要求2或3所述的摄像机模块，其中，所述图像生成单元生成具有以下强度的所述图像数据：

其中，x_φ表示所述图像数据的强度，1≤k≤p，p表示用于生成所述图像数据的所述图像帧的数目，φ表示相位延迟的程度，D^-1表示D的逆矩阵，D表示所述图像传感器的像素的尺寸，B_K ^-1表示B_K的逆矩阵，B_K表示关于所述深度信息的光学特性，n_K表示所述多个图像帧的噪声分量，并且A_K表示p个图像帧中的第k个图像帧的强度，并且A_K如下所示：

A_k＝DB_kx_φ+n_k。

5.根据权利要求4所述的摄像机模块，其中，所述深度信息提取单元如下计算所述深度信息：

其中，x表示深度信息，c表示光通量，并且f表示频率。

6.一种摄像机模块的超分辨率图像处理方法，包括：

(a)获取多个图像帧，所述多个图像帧之间具有空间相位差；

(b)使用所述多个图像帧来生成具有比所述多个图像帧中的每一个的分辨率高的分辨率的图像数据；以及

(c)使用所述图像数据来提取关于对象的深度信息。

7.根据权利要求6所述的超分辨率图像处理方法，其中，步骤(a)包括：

改变对象的光行进所沿的路径；以及

顺序地感测沿不同路径入射的光，以获取所述多个图像帧。

8.根据权利要求6所述的超分辨率图像处理方法，其中，步骤(a)包括：

沿不同路径同时感测对象的光，以获取所述多个图像帧。

9.根据权利要求6所述的超分辨率图像处理方法，其中，步骤(b)包括：

获得具有以下强度的所述图像数据：

其中，x_φ表示所述图像数据的强度，1≤k≤p，p表示用于生成所述图像数据的所述图像帧的数目，φ表示相位延迟的程度，D^-1表示D的逆矩阵，D表示获得所述图像帧中的每一个的图像传感器的像素的尺寸，B_K ^-1表示B_K的逆矩阵，B_K表示关于所述深度信息的光学特性，n_K表示所述多个图像帧的噪声分量，并且A_K表示p个图像帧中的第k个图像帧的强度，并且A_K如下所示：

A_k＝DB_kx_φ+n_k。

10.根据权利要求9所述的超分辨率图像处理方法，其中，步骤(c)包括：

如下获得所述深度信息：

其中，x表示深度信息，c表示光通量，并且f表示频率。