CN106559616B - 单透镜成像方法及设备 - Google Patents

Abstract

本公开提供了一种单透镜成像方法和单透镜成像设备。该单透镜成像方法包括：(a)将图像传感器沿光轴相对于单透镜移动，并在多个位置处生成针对同一画面的多个图像；(b)根据各个位置与所述单透镜的距离，确定相应图像中的对焦环；以及(c)基于所述多个图像中的多个对焦环来生成合成图像。该单透镜成像设备包括：单透镜；图像传感器，被配置为能够沿光轴相对于所述单透镜移动，并在多个位置处生成针对同一画面的多个图像；处理器，被配置为根据各个位置与所述单透镜的距离，确定由所述图像传感器生成的相应图像中的对焦环，以及基于所述多个图像中的多个对焦环来生成合成图像。

Description

单透镜成像方法及设备

技术领域

本公开总体上涉及成像领域，且更具体地涉及单透镜成像方法及设备。

背景技术

除非本文中另行指出，否则在本节中描述的内容不是本申请中权利要求的现有技术，且不由于在本节中包括这些内容而承认这些内容是现有技术。

红外热成像相机被广泛应用于军用和民用领域。它可以探测物体发出来的红外辐射以及实现非接触式测温。然而，相对于普通数码相机来说，红外热成像相机的生产成本依然很高。

单透镜相机可以减小镜头组的成本以及相机体积。然而，与采用多个透镜的相机对比，由于其仅使用单个透镜，严重的光学像差会引起拍摄图像的明显变形及失焦。

在中国专利申请CN201410064041.7中，提出了一种通过点像(点扩散)函数PSF(又叫模糊核)与失焦图像之间的反卷积来获取清晰图像的方法。其通过迭代法不断更新PSF直到获得最优解，其中，初始PSF由同类透镜的多个PSF的平均值得到。

在论文“Analysis of radially restored images for spherical single lenscellphone camera，Y.Zhang，I.Minema，L.G.Zimin，T.Ueda.，IEEE SensorsJournal.Vol.11，No.11，2011”中，提出了以下方法：将单透镜生成的失焦图像以及PSF转换到极坐标系，再将极坐标下的失焦图像分割成若干区域，利用对应于这个区域的极坐标PSF进行反卷积得到清晰区域，最后再将各个清晰区域拼接起来得到完整的清晰图像。

发明内容

要解决的技术问题

目前的单透镜成像主要通过PSF和失焦图像之间的反卷积来得到清晰图像。此种方法的计算量较大，对硬件系统要求较高。此外，其对于较严重的失焦，图像复原效果并不理想。

此外，扫焦(focal sweep)技术可以扩大相机的景深或用来测量物体距离，它通过移动透镜或图像传感器来找到对焦点，并通过反卷积对图像进行复原，得到全聚焦图像。

可见，在现有的单透镜成像方案中，都使用基于反卷积来进行成像的方法。这种方法有时需要多次迭代得出最优PSF来进行图像复原，有时需要多个PSF分别复原不同的区域。导致计算量较大、计算时间较长、对硬件系统要求较高。此外，对于较严重的失焦，图像复原效果并不理想。

解决问题的手段

为了解决上述问题，根据本发明的第一方面，提供了一种单透镜成像方法。该方法包括：(a)将图像传感器沿光轴相对于单透镜移动，并在多个位置处生成针对同一画面的多个图像；(b)根据各个位置与所述单透镜的距离，确定相应图像中的对焦环；以及(c)基于所述多个图像中的多个对焦环来生成合成图像。

在一些实施例中，所述多个图像是在一帧时间内生成的。

在一些实施例中，步骤(b)具体包括：根据各个位置与所述单透镜的距离，从预先存储的对焦环的坐标信息中取回与所述距离相对应的坐标信息；以及根据所述坐标信息来确定相应图像中的对焦环。

在一些实施例中，所述预先存储的对焦环的坐标信息是根据以下公式来预先计算的：

其中，θ表示相对于相应对焦环的半视场角，q′表示在半视场角θ时的纵向像场弯曲量，f表示所述单透镜的有效焦距，n表示所述单透镜的折射率，以及r₁和r₂分别是所述单透镜的两个面的曲率半径，其中，所述对焦环的坐标信息是根据以θ为中心的取值范围和相应位置与所述单透镜的距离来确定的。

在一些实施例中，所述取值范围为[θ-1.5°，θ+1.5°]。

在一些实施例中，步骤(c)具体包括：将所述多个图像中的多个对焦环拼接在一起，形成所述合成图像。

在一些实施例中，所述合成图像是全聚焦图像。

在一些实施例中，步骤(a)中将图像传感器沿光轴相对于单透镜移动是通过微致动器来实现的。

在一些实施例中，所述微致动器是以下至少一项：螺线管、压电堆、超声波换能器、以及直流电机。

在一些实施例中，在步骤(a)和(b)之间还包括以下步骤：针对所生成的多个图像分别执行畸变修正处理。

在一些实施例中，步骤(c)还包括：在所述多个对焦环之间的拼接处，执行边缘平滑处理。

在一些实施例中，所述边缘平滑处理是通过插值法来实现的。

在一些实施例中，在步骤(a)和(b)之间还包括以下步骤：针对所生成的多个图像分别执行放大效果移除处理。

在一些实施例中，所述放大效果移除处理是通过对所述多个图像分别进行缩放来实现的。

在一些实施例中，所述单透镜是可更换透镜，以及所述预先存储的对焦环的坐标信息是针对当前单透镜来预先存储的。

根据本发明的第二方面，提供了一种单透镜成像设备。该单透镜成像设备包括：单透镜；图像传感器，被配置为能够沿光轴相对于所述单透镜移动，并在多个位置处生成针对同一画面的多个图像；处理器，被配置为根据各个位置与所述单透镜的距离，确定由所述图像传感器生成的相应图像中的对焦环，以及基于所述多个图像中的多个对焦环来生成合成图像。

在一些实施例中，所述多个图像是在一帧时间内生成的。

在一些实施例中，所述单透镜成像设备还包括存储器，其中，所述处理器还被配置为：根据各个位置与所述单透镜的距离，从预先存储在所述存储器中的对焦环的坐标信息中取回与所述距离相对应的坐标信息；以及根据所述坐标信息来确定相应图像中的对焦环。

在一些实施例中，所述预先存储的对焦环的坐标信息是根据以下公式来预先计算的：

其中，θ表示相对于相应对焦环的半视场角，q′表示在半视场角θ时的纵向像场弯曲量，f表示所述单透镜的有效焦距，n表示所述单透镜的折射率，以及r₁和r₂分别是所述单透镜的两个面的曲率半径，其中，所述对焦环的坐标信息是根据以θ为中心的取值范围和相应位置与所述单透镜的距离来确定的。

在一些实施例中，所述取值范围为[θ-1.5°，θ+1.5°]。

在一些实施例中，所述处理器还被配置为：将所述多个图像中的多个对焦环拼接在一起，形成所述合成图像。

在一些实施例中，所述合成图像是全聚焦图像。

在一些实施例中，所述单透镜成像设备还包括：微致动器，被配置为将图像传感器沿光轴相对于单透镜移动。

在一些实施例中，所述微致动器是以下至少一项：螺线管、压电堆、超声波换能器、以及直流电机。

在一些实施例中，所述处理器还被配置为：针对所生成的多个图像分别执行畸变修正处理。

在一些实施例中，所述处理器还被配置为：在所述多个对焦环之间的拼接处，执行边缘平滑处理。

在一些实施例中，所述边缘平滑处理是由所述处理器通过插值法来实现的。

在一些实施例中，所述处理器还被配置为：针对所生成的多个图像分别执行放大效果移除处理。

在一些实施例中，所述放大效果移除处理是由所述处理器通过对所述多个图像分别进行缩放来实现的。

在一些实施例中，所述单透镜是可更换透镜，以及预先存储在所述存储器中的对焦环的坐标信息是针对当前单透镜来预先存储的。

本公开的有益效果

本公开提出了一种新颖的单透镜成像方案。它根据纵向像场弯曲量与视场角关系来确定单透镜的对焦位置，并通过扫焦来移动透镜或图像传感器到对焦位置。提取在多个不同对焦位置上得到的多个图像中相应的多个对焦环，再通过图像拼接得到全聚焦图像。以此来减小光学像差带来的图像失焦模糊。相对于传统的单透镜成像利用点像函数反卷积得到清晰图像的方法，此方法原理简单、所需计算量小。此外，对于失焦较严重的情况也能得到较好的恢复图像。

附图说明

通过下面结合附图说明本发明的优选实施例，将使本发明的上述及其它目的、特征和优点更加清楚，其中：

图1是示出了包括根据本公开第一实施例的成像单元(单透镜成像设备)在内的移动终端的功能框图。

图2示出了图1所示的单透镜成像设备的详细示例配置。

图3是用于说明本公开第一实施例的示例对焦环的示意图。

图4示出了图2所示的单透镜成像设备的示例工作原理。

图5是示出了根据本公开第一实施例的各操作之间的时序关系图。

图6示出了根据本公开第一实施例的单透镜的示例工作原理。

图7是示出了根据本公开第一实施例的单透镜成像方法的示例流程图。

图8是示出了根据本公开第二实施例的单透镜成像方法的示例流程图。

图9是示出了根据本公开第三实施例的单透镜成像方法的示例流程图。

图10是示出了根据本公开第四实施例的单透镜成像方法的示例流程图。

具体实施方式

在以下具体实施方式中，对形成具体实施方式一部分的附图进行参考。在附图中，除非上下文另行指出，否则相似的附图标记通常表示相似的组件。在具体实施方式、附图、和权利要求中描述的说明性实施例不意味着是限制性的。可以在不脱离本文所呈现的主题的精神或范围的情况下，可以使用其他实施例，且可以进行其他改变。将容易地理解：可以按多种不同配置来布置、替换、组合、分离、和设计如本文总体上描述的且在附图中示出的本公开的各方案，它们都是本文所明确预期的。此外，为了清楚和简明起见，省略了对公知功能和结构的描述。

在开始说明本公开的一些实施例之前，将首先简要解释一下后续可能出现的术语。然而以下描述和权利要求中使用的术语和词语不限于其字面含义，而是仅由发明人用于实现本公开的清楚一致的理解。因此，本领域技术人员应当清楚，对本公开各个示例实施例的以下描述仅被提供用于说明目的，而不意在限制由所附权利要求及其等同物限定的本公开。

单透镜相机：由单一透镜构成的成像系统。

扫焦(focal sweep)：一种用于沿光轴来移动透镜或图像传感器以搜索焦点/焦距的相机机制。

红外热成像仪：对从物体辐射或反射的红外线进行检测，并以非接触方式测量其温度的成像系统。其通常由红外透镜(例如，锗)、检测器阵列(例如，未冷却的微型辐射热测定器(microbolometer))、以及用于图像处理和显示的IC等组件构成。

总体上，根据本公开的一些实施例，提供了一种用于使用单透镜多次成像来获得全聚焦图像的方案。根据一个实施例，一种单透镜成像方法主要包括如下步骤：(1)将图像传感器或透镜沿光轴移动，以在多个不同位置处捕捉多个图像(扫焦)；(2)可选地，对每个图像执行畸变修正处理；(3)可选地，对每个图像执行放大效果处理；(4)根据下面将详细说明的方式，通过使用纵向像场弯曲量(longitudinal field curvature)与视场角之间的关系，找到每个图像中的对焦环；(5)将多个图像中相应的对焦环拼接在一起，以形成全聚焦图像；(6)可选地，对拼接在一起的全聚焦图像执行拼接边缘平滑处理。通过该方案，可以在减少计算量、计算时间以及系统体积的情况下，得到超过或至少媲美传统热成像相机的图像质量。

接下来，将参照附图来详细描述根据本公开一些实施例的技术方案。

(第一实施例)

图1是示出了包括根据本公开第一实施例的单透镜成像设备(例如，成像单元130)在内的移动终端100的功能框图。如图1所示，移动终端100可以包括：处理器101、总线102、存储器103、通信单元110、I/O单元120、成像单元130、以及其他单元140。作为示例，移动终端100可以是(但不限于)：移动电话、智能电话、数码相机、便携式摄像机、平板电脑、笔记本计算机、上网本计算机、个人数字助理(PDA)、或任何其他的包括单透镜成像单元/模块/设备在内的电子设备。

在图1所示实施例中，处理器101负责控制移动终端100的整体操作。例如，其可以是(但不限于)中央处理单元(CPU)、数字信号处理器(DSP)、图像信号处理器(ISP)、图形处理单元(GPU)、微控制器单元(MCU)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、可编程逻辑器件(PLD)等等。处理器101可以通过总线102与移动终端100的其他组件进行通信，交换数据/控制信令等。

总线102可以是(但不限于)数据总线、控制总线、时钟总线等。其可以用于将移动终端100的各个组件加以互联，并在其间传输各种数据、命令、时钟信号等等。

存储器103可以是(但不限于)内部存储器和/或外部存储器。内部存储器可以是易失性存储器和/或非易失性存储器。易失性存储器可以包括(但不限于)例如：RAM、DRAM、SDRAM、寄存器、高速缓存等等。非易失性存储器可以包括(但不限于)：ROM、PROM、EPROM、EEPROM、FLASH、MASK ROM等等。外部存储器可以包括(但不限于)：硬盘、软盘、光盘(例如，CD-ROM、DVD-ROM、蓝光)、SD卡、存储棒等等。存储器103可以用于存储操作系统以及各种应用程序及其数据。例如，处理器101可以通过总线102从存储器103中读取如下文将要详细描述的对焦环的坐标信息，并用于进行后续处理。

通信单元110可以包括(但不限于)一个或多个无线通信单元和/或有线通信单元。无线通信单元可以是例如(但不限于)：RF通信单元(例如，可以支持GSM/GPRS、CDMA、WCDMA、TD-SCDMA、CDMA2000、LTE、LTE-A等通信标准的3G、4G和/或5G RF通信单元)、WiFi通信单元、蓝牙通信单元、红外(IrDA)通信单元、WiMAX通信单元等等。有线通信单元可以是例如(但不限于)：串口、xDSL通信单元、以太网通信单元、光纤通信单元等等。通信单元110可以提供移动终端100与外部设备交换数据、指令等的接口，使得移动终端100可以访问外部设备或被外部设备所访问。

I/O单元120可以包括(但不限于)：键盘、鼠标、轨迹球、触摸板、显示器(触摸屏显示器)、扬声器、打印机、投影仪等等输入/输出设备。其可以供用户向移动终端100提供输入和/或向用户提供输出。

其他单元140可以包括除了上述各个组件之外的其他组件，例如GPS定位单元等。

接下来，将结合图2来详细描述移动终端100的成像单元130(单透镜成像设备)的具体配置。图2示出了图1所示的单透镜成像设备(成像单元)130的详细示例配置。

如图2所示，单透镜成像设备130可以包括：单透镜131、图像传感器132以及(图像)处理器133。当然，单透镜成像设备130还可以包括为了实现其功能而具有的其他组件。然而，除非在下文中明确说明，否则这些组件可以用本领域技术人员所了解的方式来实现，因此在这里省略对其的进一步描述。

在本实施例中，如下文将详细说明的，单透镜131与图像传感器132可处于同一光轴上或中间经过折射/反射等而在同一光路上。换言之，单透镜131与图像传感器132可不在同一直线上，然而穿过单透镜131的光线可以通过折射/反射等在图像传感器132处成像。为了方便说明，下文中将以单透镜131与图像传感器132处于同一光轴的情况为例，然而本公开不限于此。

光线(红外线)从单透镜131中入射并在图像传感器132处成像。此外，在本实施例中，图像传感器132可被配置为能够沿光轴相对于单透镜131移动，并在多个位置处生成针对当前同一画面的多个图像。更具体地，在本实施例中，通过图4所示的微致动器，可以将图像传感器132在光轴上前后移动，以改变其与透镜131之间的距离，并在多个不同距离上生成多个图像。然而，在另一些实施例中，也可以移动单透镜131，而非图像传感器132，并在多个不同距离上相应生成多个图像。在又一些实施例中，可以既不移动单透镜131又不移动图像传感器132，而是通过改变这二者之间的光路长度来实现距离的改变，例如通过增加多个反射镜等等。图像处理器133可被配置为根据各个位置与单透镜131的距离，确定由图像传感器132生成的相应图像中的对焦环位置，以及基于该多个对焦环来生成合成图像。

尽管在本实施例中，将移动终端100的处理器101和单透镜成像设备130的图像处理器133示出为不同的处理器，然而在其他实施例中，这两个处理器也可以实际上是相同的处理器，本公开不限于此。

图3是用于说明本公开第一实施例的示例对焦环的示意图。如图3所示，不同视场角发出的光里面，只有一小部分光线是聚焦到图像传感器132上的，其他光线在传感器132前面或后面聚焦。由此形成的这种光学像差被称为像场弯曲(curvature offield)，是赛德尔(Van Seidel)五像差之一。这种像差在图像上产生一种特殊的模糊样式：在每一张单透镜成像图片中，只有一个环形区域是清晰的，其他区域都是模糊的。如上所述，这种环形区域就被称作对焦环。然而，由于图像的模糊是各种像差在像面的组合，像场弯曲只是其中之一，其他的像差也会产生模糊，所以我们不取某一个特定的视场角，而是取一定范围的视场角，在这个范围内会找到实际的对焦区域。我们把这个范围所对应的区域作为对焦环。例如，根据模糊程度不同，这个范围可以是θ±1.5°(θ表示相对于相应对焦环的半视场角)。因此，在实际中，术语“对焦环”主要用来指示在由单透镜采集的图像中由实际处于焦点或焦点附近的像素所形成的环状区域或类环状区域。当传感器132或透镜131沿着光轴移动(或换言之，当传感器132和透镜131之间的光路距离变化)时，这个对焦环在图像中的位置也会变化(如图3下部一行所示)。

如图3所示，从左至右顺序示出了在单透镜131与图像传感器132之间的三个不同距离d₁、d₂和d₃上的不同对焦情况。在每种情况中，上部的图说明了在相应距离上的聚焦示意图，下左的图说明了点扩散函数(PSF)的范围，以及下右的图示出了清晰/模糊区域的示例。

在图3中，为了说明本公开的原理，令d₁＞d₂＞d₃。然而在附图中可能该差异并不明显，这并不影响对本公开的理解。如三种情况下的上部的图所示，在d₁的情况下，由虚曲线所示的焦平面(曲面)与传感器的成像平面在成像平面的中心点处相交；在d₂的情况下，由虚曲线所示的焦平面与传感器的成像平面在成像平面的偏离中心的点处相交；以及在d₃的情况下，由虚曲线所示的焦平面与传感器的成像平面在成像平面的更为偏离中心的点处相交。因此，随着单透镜131和图像传感器132之间的距离的减小，单透镜的对焦环在成像平面上也以逐渐远离中心的方式向外扩散。

如图3三种情况的下左图所示，环状区域即表示对焦环，在环状区域之外的其他区域即表示失焦区域。在d₁的情况下，对焦环实际上缩减为一点；在d₂的情况下，对焦环向外扩散；以及在d₃的情况下，对焦环进一步扩散，并逐渐超出图像传感器132的感测范围。相应地，如三种情况的下右图所示，随着距离变化，图像清晰的区域从中心以环状逐渐向外扩散。因此，取决于单透镜131与图像传感器132之间的距离，所采集的图像中的对焦环也相应变化。

针对特定单透镜131，其纵向像场弯曲量与视场角存在着下面的关系：

其中，θ表示相对于相应对焦环的半视场角，q′表示在半视场角θ时的纵向像场弯曲量，f表示单透镜131的有效焦距，n表示单透镜131的折射率，以及r₁和r₂分别是单透镜131的两个面的曲率半径，其中，对焦环的坐标信息是根据以θ为中心的取值范围和相应位置与单透镜131的距离来确定的。更一般地，对焦环的坐标信息是根据包括θ在内的取值范围和相应位置与单透镜131的距离来确定的。在本实施例中，根据发明人的试验和经验，该取值范围可以是[θ-1.5°，θ+1.5°]，然而本发明不限于此，也可以是其它合适的取值范围。根据该公式，我们可以在扫焦过程中找到图像上的对焦位置(或对焦环的坐标信息)。此外，纵向像场弯曲量q′等同于传感器132沿光轴的移动量，可通过传感器132在不同位置上与透镜131之间距离的差值来确定。

此外，可以根据像高y与半视场角θ的关系式

y＝f·tanθ (2)

来确定对焦环的坐标位置。式(2)中y表示从图像传感器132中心到传感器132上某一点的距离，也就是对应于某一个半视场角θ的像高。

此外，利用公式(1)，可以求得图像传感器132在某个位置时的半视场角值。由于一个位置只能对应一个半视场角值，因此，理论上拼接一张完整的无空白的图像需要无数个对焦环。然而，在实际中，为了简化运算，通常把求得的半视场角前后一定范围内的视场角所对应的对焦环近似视为是同一个传感器位置的对焦环，从而减小了对焦环的数量。例如，如果根据公式(1)求得θ＝5.5°，那么可以把4°≤θ≤7°范围(如上所述的[θ-1.5°，θ+1.5°])所对应的对焦环看成是同一个位置的对焦环。下一个位置求得θ＝8.5°，那么可以把7°≤θ≤10°范围所对应的对焦环看成是这个位置的对焦环，以此类推。传感器132的位置以及所对应的对焦环坐标都可以预先存储在相机的预存储单元里，相机拍摄时调出位置与坐标信息进行拍摄与拼接即可。

此外，具体需要多少对焦环还应根据失焦程度来判断，失焦程度大(PSF径向变化快)的需要较多的对焦环；相反，失焦程度小的需要较少的对焦环。

根据上述公式(1)可见，对焦环的坐标信息实际上仅与单透镜131本身的参数(例如，焦距、折射率、曲率半径等)以及透镜131和传感器132之间的距离(纵向像场弯曲量)有关，因此可以针对单透镜131来提前计算并在存储器103或其他内部/外部存储器中存储多条对焦环的坐标信息，其中每一条坐标信息指示了图像传感器132在相应位置上所拍摄的图像中所包含的对焦环的位置。

此外，在镜头可替换的情况下(例如，单透镜131可被替换为具有不同参数的单透镜131′时)，可以将存储器中预先存储的针对单透镜131的对焦环的坐标信息替换为针对单透镜131′的对焦环的坐标信息。例如，可以在移动终端100检测到更换了成像单元(单透镜成像设备)130时，加载与当前成像单元(单透镜成像设备)130相对应的对焦环的坐标信息，以供后续处理之用。

图4示出了图2所示的单透镜成像设备130的示例工作原理。在图4所示的实施例中，图像传感器132由微致动器来驱动，沿光轴相对于单透镜131前后移动，进而改变其与单透镜之间的距离。微致动器可以是例如(但不限于)：螺线管(solenoids)、压电堆(piezoelectric stacks)、超声波换能器(ultrasonic transducer)、和/或直流电机(DCmotor)。微致动器可以根据需要将传感器在几毫秒内平移到指定位置，这远快于捕捉视频和/或静态图像所需的速度。因此，使得有充足的时间来捕捉多个图像并进行图像处理。

然而，如上所述，在其他实施例中，也可以通过使用微致动器来驱动单透镜131来改变其与图像传感器132之间的距离，本公开不限于此。

图5是示出了根据本公开第一实施例的各操作之间的时序关系图。如图5所示，分别示出了相机帧时间、传感器平移时间、曝光时间(快门速度)和图像处理时间(可能包括例如在后续提到的畸变修正处理时间、放大效果移除处理时间、图像拼接处理时间以及边界平滑处理时间中的一项或多项)之间的时序关系。在图5的示例中，仅示出了2个相机帧，然而这仅用于说明，且本公开不限于此。在每一帧的开始处，图像传感器132在微致动器的作用下发生平移，如图5中第二行所示。同时如第三行所示，图像传感器132在不同位置处进行曝光(快门)。在图5所示示例中，在每一帧中共曝光了四次，即获得了四个图像。此时，图像数据被传递给图像处理器133进行处理，同时图像传感器132在微致动器的作用下返回原始位置并准备进行下一帧的处理。如图5中第四行所示，图像处理器133可以利用相机帧时间中的剩余部分(或其一部分)来进行图像处理等。此外，可选地，该剩余部分还可用于由移动终端100中的I/O单元(例如，显示器)来显示相应捕捉到的图像。

作为示例，在例如1帧为1/60秒的情况下，如图5所示，图像传感器单方向平移过程中进行4次曝光大约1/120秒或更少的时间，剩下的1/120秒可以用来做图像处理。在各项处理中，通常畸变修正所花时间最长，大约占一半以上时间，其他处理相对时间较短。

图6示出了根据本公开第一实施例的热红外单透镜131的示例设计。图6所示的透镜具有以下示例透镜参数。

透镜面号	半径(mm)	厚度(mm)	材料
				1(Stop)	无穷大	3.4
2(SPH)	54.2	30.1	锗
				3(SPH)	-60.4	6.5

F/#：1.4，FOV：2ω＝50°波长：8～14微米

其中，表中列出的是单透镜131的各项参数：STOP是孔径光阑(aperture stop)的简称；SPH是球面(spherical)的简称；F/#也称作相机的F-number，即光圈值；以及FOV是Field of view的简称，即视场角。上表中的透镜面号对应于图6的各个面，例如1(STOP)对应最左面的面，2(SPH)和3(SPH)对应两个弧面，成像面位于最右侧。图6中的线条表示不同视场角发出的光线，以及照射到成像面的位置。在图6所示示例中，聚焦点在最下方的光表示0度入射光，聚焦点在中间的光表示12度入射光，以及聚焦点在最上方的光表示25度入射光。

图7是示出了根据本公开第一实施例的单透镜成像方法800的示例流程图。如图7所示，方法800可以包括步骤S810、S820和S830。根据本发明，方法800的一些步骤可以单独执行或组合执行，以及可以并行执行或顺序执行，并不局限于图7所示的具体操作顺序。

如图7所示，单透镜成像方法800可以包括：S810将图像传感器132沿光轴相对于单透镜131移动，并在多个位置处生成针对同一画面的多个图像；S820根据各个位置与单透镜131的距离，确定相应图像中的对焦环；以及S830基于多个图像中的多个对焦环来生成合成图像。

在一些实施例中，多个图像可以是在一帧时间内生成的。

在一些实施例中，步骤S820可以具体包括：根据各个位置与单透镜131的距离，从预先存储的对焦环的坐标信息中取回与该距离相对应的坐标信息；以及根据该坐标信息来确定相应图像中的对焦环。

在一些实施例中，预先存储的对焦环的坐标信息可以是根据以下公式来预先计算的：

其中，θ表示相对于相应对焦环的半视场角，q′表示在半视场角θ时的纵向像场弯曲量，f表示单透镜131的有效焦距，n表示单透镜131的折射率，以及r₁和r₂分别是单透镜131的两个面的曲率半径，其中，对焦环的坐标信息是根据以θ为中心的取值范围和相应位置与单透镜131的距离来确定的。在一些实施例中，上述取值范围可以为[θ-1.5°，θ+1.5°]。

在一些实施例中，步骤S830可以具体包括：将多个图像中的多个对焦环拼接在一起，形成合成图像。在一些实施例中，合成图像可以是全聚焦图像。

在一些实施例中，步骤S810中将图像传感器132沿光轴相对于单透镜131移动可以是通过微致动器来实现的。在一些实施例中，微致动器可以是以下至少一项：螺线管、压电堆、超声波换能器、以及直流电机。

在一些实施例中，单透镜131可以是可更换透镜，以及预先存储的对焦环的坐标信息可以是针对当前单透镜131来预先存储的。

通过使用根据第一实施例的单透镜成像设备和方法，可以对单透镜生成的模糊图像进行即时修正。在大幅减小热成像相机成本的同时得到较好的图像质量。对比传统的单透镜成像利用点像函数反卷积得到清晰图像的方法，该方案原理简单、需要的计算量小，且对于失焦较严重的情况也能得到较好的恢复图像。

(第二实施例)

在第二实施例中，硬件配置与例如图1和2所示的第一实施例实质上相似。区别仅在于比第一实施例多了针对图像的畸变修正处理。

如上所述，由于单透镜通常产生图像畸变，因此需要针对每个捕捉到的图像来执行畸变修正处理。由于畸变修正处理的具体过程并不是本公开的主旨，因此本公开省略了对其的详细描述。可以参见例如论文“Field-dependent distortion coefficient andbackward mapping for distortion correction of singlet lens camera.IEEJTrans.Elect.Electron.Eng.，Vol.5，No.2，pp.203-210，2010”来了解畸变修正处理，然而本公开不限于此。

图8是示出了根据本公开第二实施例的单透镜成像方法1000的示例流程图。如图8所示，方法1000可以包括步骤S1010、S1020、S1030和S1040。根据本发明，方法1000的一些步骤可以单独执行或组合执行，以及可以并行执行或顺序执行，并不局限于图8所示的具体操作顺序。

如图8所示，单透镜成像方法1000可以包括：S1010将图像传感器132沿光轴相对于单透镜131移动，并在多个位置处生成针对同一画面的多个图像；S1020针对所生成的多个图像分别执行畸变修正处理；S1030根据各个位置与单透镜131的距离，确定相应图像中的对焦环；以及S1040基于多个图像中的多个对焦环来生成合成图像。

其余可选步骤、要素等可以与第一实施例中的方法800相同或类似，在此不再赘述。

(第三实施例)

在第三实施例中，硬件配置与例如图1和2所示的第一实施例实质上相似。区别仅在于比第一实施例多了针对合成图像的拼接边缘平滑处理。

由于每个对焦环的纹理和/或照明(亮度)等差异，在将来自不同图像的对焦环拼接在一起时，可能会出现不连贯的区域。在本实施例中，可以通过例如插值法来消除这些不连贯区域，使得拼接边缘处的图像平滑，不产生突变等。例如，可以通过对来自两个图像的多个相应连续像素求加权平均，来实现从第一图像的对焦环到第二图像的对焦环的平滑过渡。

图9是示出了根据本公开第三实施例的单透镜成像方法1100的示例流程图。如图9所示，方法1100可以包括步骤S1110、S1120、S1130和S1140。根据本发明，方法1100的一些步骤可以单独执行或组合执行，以及可以并行执行或顺序执行，并不局限于图9所示的具体操作顺序。

如图9所示，单透镜成像方法1100可以包括：S1110将图像传感器132沿光轴相对于单透镜131移动，并在多个位置处生成针对同一画面的多个图像；S1120根据各个位置与单透镜131的距离，确定相应图像中的对焦环；S1130基于多个图像中的多个对焦环来生成合成图像；以及S1140在多个对焦环之间的拼接处，执行边缘平滑处理。

在一些实施例中，该边缘平滑处理可以是通过插值法来实现的。

其余可选步骤、要素等可以与第一实施例中的方法800和/或第二实施例中的方法1000相同或类似，在此不再赘述。

(第四实施例)

在第四实施例中，硬件配置与例如图1和2所示的第一实施例实质上相似。区别仅在于比第一实施例多了针对每个图像的放大效果修正处理。

由于图像传感器132在沿光轴移动的过程中其放大率会发生变化，导致图像大小的细微变化，因此需要对其进行修正，以方便后续的图像拼接处理。在本实施例中，该放大效果修正是通过对各个图像(或其相应部分)进行相应缩放来实现的。

图10是示出了根据本公开第四实施例的单透镜成像方法1200的示例流程图。如图10所示，方法1200可以包括步骤S1210、S1220、S1230和S1240。根据本发明，方法1200的一些步骤可以单独执行或组合执行，以及可以并行执行或顺序执行，并不局限于图10所示的具体操作顺序。

如图10所示，单透镜成像方法1200可以包括：S1210将图像传感器132沿光轴相对于单透镜131移动，并在多个位置处生成针对同一画面的多个图像；S1220针对所生成的多个图像分别执行放大效果移除处理；S1230根据各个位置与单透镜131的距离，确定相应图像中的对焦环；以及S1240基于多个图像中的多个对焦环来生成合成图像。

在一些实施例中，该放大效果移除处理可以是通过对多个图像分别进行缩放来实现的。

其余可选步骤、要素等可以与第一实施例中的方法800和/或第二实施例中的方法1000和/或第三实施例中的方法1100相同或类似，在此不再赘述。

以上的详细描述通过使用框图、流程图和/或示例，已经阐述了设备和/或处理的各种实施例。在这种框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他合适形式来实现。然而，本领域技术人员应认识到，本文所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。

本公开不应受限于在本申请中描述的特定实施例，这些实施例意在说明各个方案。如对于本领域技术人员显而易见的，可以在不脱离其精神和范围的情况下进行很多修改和变化。除了本文所列举的那些之外，在本公开的范围内的功能等价的方法和装置对于了解了前述描述的本领域技术人员来说也将是显而易见的。这种修改和变化预期将落入所附权利要求的范围内。本公开应当仅受限于所附权利要求的条款以及这些权利要求的完全等价范围。应当理解：本公开不限于特定方法、材料和配置，这些方法、材料和配置当然可以变化。还应当理解：本文所使用的术语仅用于描述特定实施例，且预期不是限制性的。

至于本文中任何关于多数和/或单数术语的使用，本领域技术人员可以从复数形式转换为单数形式，和/或从单数形式转换为复数形式，以适合具体环境和应用。为清楚起见，本文中明确声明单数形式/复数形式可互换。

本领域技术人员应当理解，一般而言，所使用的术语，特别是所附权利要求中(例如，在所附权利要求的主体部分中)使用的术语，一般地应理解为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解，如果意在所引入的权利要求中标明具体数目，则这种意图将在该权利要求中明确指出，而在没有这种明确标明的情况下，则不存在这种意图。例如，为帮助理解，所附权利要求可能使用了引导短语“至少一个”和“一个或多个”来引入权利要求中的特征。然而，这种短语的使用不应被解释为暗示着由不定冠词“一”或“一个”引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例，即便是该权利要求既包括引导短语“一个或多个”或“至少一个”又包括不定冠词如“一”或“一个”(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或多个”)；在使用定冠词来引入权利要求中的特征时，同样如此。另外，即使明确指出了所引入权利要求特征的具体数目，本领域技术人员应认识到，这种列举应解释为意指至少是所列数目(例如，不存在其他修饰语的短语“两个特征”意指至少两个该特征，或者两个或更多该特征)。

另外，在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。

本领域技术人员应当理解，出于任意和所有目的，例如为了提供书面说明，本文公开的所有范围也包含任意及全部可能的子范围及其子范围的组合。任意列出的范围可以被容易地看作充分描述且实现了将该范围至少进行二等分、三等分、四等分、五等分、十等分等。作为非限制性示例，本文所讨论的每一范围可以容易地分成下三分之一、中三分之一和上三分之一等。本领域技术人员应当理解，所有诸如“直至”、“至少”、“大于”、“小于”之类的语言包括所列数字，并且指代了随后可以如上所述被分成子范围的范围。最后，本领域技术人员应当理解，范围包括每一单独数字。因此，例如具有1～3个单元的组是指具有1、2或3个单元的组。类似地，具有1～5个单元的组是指具有1、2、3、4或5个单元的组，以此类推。

至此已经结合优选实施例对本发明进行了描述。应该理解，本领域技术人员在不脱离本发明的精神和范围的情况下，可以进行各种其它的改变、替换和添加。因此，本发明的范围不局限于上述特定实施例，而应由所附权利要求所限定。

Claims (28)

1.一种单透镜成像方法，包括：

(a)将图像传感器沿光轴相对于单透镜移动，并在多个位置处生成针对同一画面的多个图像；

(b)根据各个位置与所述单透镜的距离，确定相应图像中的对焦环；以及

(c)基于所述多个图像中的多个对焦环来生成合成图像，

其中，步骤(b)具体包括：根据各个位置与所述单透镜的距离，从预先存储的对焦环的坐标信息中取回与所述距离相对应的坐标信息；以及根据所述坐标信息来确定相应图像中的对焦环，

其中，每个图像中的对焦环指示相应图像中成像清晰的环状区域。

2.根据权利要求1所述的单透镜成像方法，其中，所述多个图像是在一帧时间内生成的。

3.根据权利要求1所述的单透镜成像方法，其中，所述预先存储的对焦环的坐标信息是根据以下公式来预先计算的：

其中，θ表示相对于相应对焦环的半视场角，q′表示在半视场角θ时的纵向像场弯曲量，f表示所述单透镜的有效焦距，n表示所述单透镜的折射率，以及r₁和r₂分别是所述单透镜的两个面的曲率半径，

其中，所述对焦环的坐标信息是根据以θ为中心的取值范围和相应位置与所述单透镜的距离来确定的。

4.根据权利要求3所述的单透镜成像方法，其中，所述取值范围为[θ-1.5°，θ+1.5°]。

5.根据权利要求1所述的单透镜成像方法，其中步骤(c)具体包括：

将所述多个图像中的多个对焦环拼接在一起，形成所述合成图像。

6.根据权利要求1所述的单透镜成像方法，其中，所述合成图像是全聚焦图像。

7.根据权利要求1所述的单透镜成像方法，其中，步骤(a)中将图像传感器沿光轴相对于单透镜移动是通过微致动器来实现的。

8.根据权利要求7所述的单透镜成像方法，其中，所述微致动器是以下至少一项：螺线管、压电堆、超声波换能器、以及直流电机。

9.根据权利要求1所述的单透镜成像方法，在步骤(a)和(b)之间还包括以下步骤：

针对所生成的多个图像分别执行畸变修正处理。

10.根据权利要求5所述的单透镜成像方法，其中，步骤(c)还包括：

在所述多个对焦环之间的拼接处，执行边缘平滑处理。

11.根据权利要求10所述的单透镜成像方法，其中，所述边缘平滑处理是通过插值法来实现的。

12.根据权利要求1所述的单透镜成像方法，其中，在步骤(a)和(b)之间还包括以下步骤：

针对所生成的多个图像分别执行放大效果移除处理。

13.根据权利要求12所述的单透镜成像方法，其中，所述放大效果移除处理是通过对所述多个图像分别进行缩放来实现的。

14.根据权利要求1所述的单透镜成像方法，其中，所述单透镜是可更换透镜，以及所述预先存储的对焦环的坐标信息是针对当前单透镜来预先存储的。

15.一种单透镜成像设备，包括：

单透镜；

存储器；

图像传感器，被配置为能够沿光轴相对于所述单透镜移动，并在多个位置处生成针对同一画面的多个图像；

处理器，被配置为根据各个位置与所述单透镜的距离，从预先存储在所述存储器中的对焦环的坐标信息中取回与所述距离相对应的坐标信息，根据所述坐标信息来确定由所述图像传感器生成的相应图像中的对焦环，以及基于所述多个图像中的多个对焦环来生成合成图像，

其中，每个图像中的对焦环指示相应图像中成像清晰的环状区域。

16.根据权利要求15所述的单透镜成像设备，其中，所述多个图像是在一帧时间内生成的。

17.根据权利要求15所述的单透镜成像设备，其中，所述预先存储的对焦环的坐标信息是根据以下公式来预先计算的：

其中，θ表示相对于相应对焦环的半视场角，q′表示在半视场角θ时的纵向像场弯曲量，f表示所述单透镜的有效焦距，n表示所述单透镜的折射率，以及r₁和r₂分别是所述单透镜的两个面的曲率半径，

其中，所述对焦环的坐标信息是根据以θ为中心的取值范围和相应位置与所述单透镜的距离来确定的。

18.根据权利要求17所述的单透镜成像设备，其中，所述取值范围为[θ-1.5°，θ+1.5°]。

19.根据权利要求15所述的单透镜成像设备，其中，所述处理器还被配置为：将所述多个图像中的多个对焦环拼接在一起，形成所述合成图像。

20.根据权利要求15所述的单透镜成像设备，其中，所述合成图像是全聚焦图像。

21.根据权利要求15所述的单透镜成像设备，还包括：

微致动器，被配置为将图像传感器沿光轴相对于单透镜移动。

22.根据权利要求21所述的单透镜成像设备，其中，所述微致动器是以下至少一项：螺线管、压电堆、超声波换能器、以及直流电机。

23.根据权利要求15所述的单透镜成像设备，其中，所述处理器还被配置为：针对所生成的多个图像分别执行畸变修正处理。

24.根据权利要求19所述的单透镜成像设备，其中，所述处理器还被配置为：在所述多个对焦环之间的拼接处，执行边缘平滑处理。

25.根据权利要求24所述的单透镜成像设备，其中，所述边缘平滑处理是由所述处理器通过插值法来实现的。

26.根据权利要求15所述的单透镜成像设备，其中，所述处理器还被配置为：针对所生成的多个图像分别执行放大效果移除处理。

27.根据权利要求26所述的单透镜成像设备，其中，所述放大效果移除处理是由所述处理器通过对所述多个图像分别进行缩放来实现的。

28.根据权利要求15所述的单透镜成像设备，其中，所述单透镜是可更换透镜，以及预先存储在所述存储器中的对焦环的坐标信息是针对当前单透镜来预先存储的。

Images