CN103838568A - 用于生成超分辨图像的方法、装置和计算机程序产品 - Google Patents

Abstract

在示例实施例中提供了一种方法、装置和计算机程序产品。该方法包括：促进对光场图像的接收；确定该光场图像中的一个或多个深度级别，并且从该光场图像生成多个图像。该方法包括：确定该多个图像中的一个图像与一个或多个剩余图像之间的、对应于一个或多个深度级别的一个或多个配准矩阵。该方法包括：基于该一个或多个配准矩阵，来执行该图像和该一个或多个剩余图像的超分辨率，以生成该图像的超分辨图像。

Description

用于生成超分辨图像的方法、装置和计算机程序产品

技术领域

各种实施方式一般性地涉及用于生成超分辨图像的方法、装置和计算机程序产品。

背景技术

各种电子设备，诸如摄像机、移动电话和其他设备广泛用于采集场景的图像。在传统的摄像机中，图像分辨率与摄像机中存在的传感器的分辨率相同，所以为了采集具有高分辨率的图像，需要对应数量的传感器。存在其他的摄像机，诸如光场摄像机，其能够在单次点击操作中采集场景的多个视图。甚至在采集图像后，这些摄像机允许稍后聚焦于图像中的对象。然而，这些摄像机具有所采集的图像的低分辨率的限制，因为用来记录图像细节的传感器在多个图像中被共享。在各种示例性的情景中，由光场摄像机采集的图像的分辨率通过对所采集的图像的“超分辨率”技术来提高。

发明内容

示例实施例的各个方面在权利要求书中进行阐述。

在第一方面中，提供了一种方法，包括：促进对光场图像的接收；确定该光场图像中的一个或多个深度级别；从该光场图像生成多个图像；确定该多个图像中的一个图像与一个或多个剩余图像之间的、对应于一个或多个深度级别的一个或多个配准矩阵；以及基于该一个或多个配准矩阵，来执行该图像和该一个或多个剩余图像的超分辨率，以生成该图像的超分辨图像。

在第二方面中，提供了一种装置，包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，该至少一个存储器和该计算机程序代码被配置为：与该至少一个处理器一起，促使该装置执行至少以下步骤：促进对光场图像的接收；确定该光场图像中的一个或多个深度级别；从该光场图像生成多个图像；确定该多个图像中的一个图像与一个或多个剩余图像之间的、对应于一个或多个深度级别的一个或多个配准矩阵；以及基于该一个或多个配准矩阵，来执行该图像和该一个或多个剩余图像的超分辨率，以生成该图像的超分辨图像。

在第三方面中，提供了一种计算机程序产品，包括至少一个计算机可读存储介质，该计算机可读存储介质包括一组指令，当该组指令由一个或多个处理器执行时，该组指令促使一个装置执行至少以下步骤：促进对光场图像的接收；确定该光场图像中的一个或多个深度级别；从该光场图像生成多个图像；确定该多个图像中的一个图像与一个或多个剩余图像之间的、对应于一个或多个深度级别的一个或多个配准矩阵；以及基于该一个或多个配准矩阵，来执行该图像和该一个或多个剩余图像的超分辨率，以生成该图像的超分辨图像。

在第四方面中，提供了一种设备，包括：用于促进对光场图像的接收的装置；用于确定该光场图像中的一个或多个深度级别的装置；用于从该光场图像生成多个图像的装置；用于确定该多个图像中的一个图像与一个或多个剩余图像之间的、对应于一个或多个深度级别的一个或多个配准矩阵的装置；以及用于基于该一个或多个配准矩阵、来执行该图像和该一个或多个剩余图像的超分辨率、以生成该图像的超分辨图像的装置。

在第五方面中，提供了一种计算机程序，包括程序指令，当这些程序指令由一个装置执行时，这些程序指令促使该装置：促进对光场图像的接收；确定该光场图像中的一个或多个深度级别；从该光场图像生成多个图像；确定该多个图像中的一个图像与一个或多个剩余图像之间的、对应于一个或多个深度级别的一个或多个配准矩阵；以及基于该一个或多个配准矩阵，来执行该图像和该一个或多个剩余图像的超分辨率，以生成该图像的超分辨图像。

附图说明

通过示例的方式，并且不通过限制的方式，在附图中的图中图示了各个实施例，在附图中：

图1根据一个示例实施例，图示了一种设备；

图2根据一个示例实施例，图示了用于生成超分辨图像的装置；

图3根据一个示例实施例，表示了一个光场图像；

图4根据一个示例实施例，图示了在该光场图像中表示深度级别的深度图的示例表示；

图5A、5B和5C根据一个示例实施例，图示了从该光场图像所生成的多个图像的示例表示；

图6根据一个示例实施例，图示了超分辨图像的示例表示；

图7根据一个示例实施例是一个流程图，该流程图描述了用于生成超分辨图像的示例方法；以及

图8根据另一个示例实施例是一个流程图，该流程图描述了用于生成超分辨图像的示例方法。

具体实施方式

通过参考附图中的图1至8来理解示例实施例以及它们的潜在效果。

图1图示出根据一个示例实施例的设备100。然而，应当理解，如所图示并且在下文中所描述的设备100仅说明了可以从各个实施例受益的设备的一种类型，因此，设备100不应当拿来限制实施例的范围。如此，应当意识到，下面关于设备100所描述的组件中的至少一些组件可以是可选的，并且因此在一个示例实施例中可以包括比关于图1的示例实施例所描述的那些组件更多或更少的组件，或者与关于图1的示例实施例所描述的那些组件不同的组件。设备100能够是任何数量的类型的移动电子设备，例如，便携式数字助理（PDA）、寻呼机、移动电视、游戏设备、蜂窝电话、所有类型的计算机（例如、膝上型计算机、移动计算机或台式计算机）、摄像机、音频/视频播放器、收音机、全球定位系统（GPS）设备、媒体播放器、移动数字助理，或者上述设备的任意组合，以及其他类型的通信设备。

设备100可以包括天线102（或多个天线），天线102（或多个天线）处于与发射器104和接收器106的可操作通信中。设备100可以进一步包括一个装置，诸如控制器108或其他处理设备，该其他处理设备分别地将信号提供给发射器104并且从接收器106接收信号。这些信号可以包括信令信息，该信令信息根据可应用的蜂窝系统的空中接口标准，并且/或者还可以包括对应于用户语音的数据、所接收的数据和/或用户所生成的数据。在这个方面，设备100可以能够与一个或多个空中接口标准、通信协议、调制类型、以及接入类型一起操作。通过例示的方式，设备100可以能够根据任意数量的第一、第二、第三和/或第四代通信协议等进行操作。例如，设备100可以能够根据第二代（2G）无线通信协议IS-136（时分多址（TDMA））、GSM（全球移动通信系统）、以及IS-95（码分多址（CDMA）），或者根据第三代（3G）无线通信协议，诸如通用移动通信系统（UMTS）、CDMA2000、宽带CDMA（WCDMA）和时分同步CDMA（TD-SCDMA），根据3.9G无线通信协议，诸如演进的通用陆基无线接入网络（E-UTRAN），根据第四代（4G）无线通信协议等进行操作。作为一种备选（或者另外地），设备100可以能够根据非蜂窝通信机制进行操作。例如，计算机网络，诸如互联网、局域网、广域网等；短距离无线通信网络，诸如包括蓝牙

网络、紫蜂

网络，电气与电子工程师协会（IEEE）802.11x网络等；有线电信网络，诸如公共交换电话网（PSTN）。

控制器108除了其他电路还可以包括实施设备100的音频和逻辑功能的电路。例如，控制器108可以包括，但不限于，一个或多个数字信号处理器设备、一个或多个微处理器设备、带有随附的数字信号处理器的一个或多个处理器、不带有随附的数字信号处理器的一个或多个处理器、一个或多个特殊用途的计算机芯片、一个或多个现场可编程门阵列（FPGA）、一个或多个控制器、一个或多个专用集成电路（ASIC）、一个或多个计算机、各种模数转换器、数模转换器、和/或其他支持电路。设备100的控制和信号处理功能根据它们各自的能力在这些设备之间进行分配。控制器108因此还可以包括，在调制和传输之前将消息和数据卷积地编码并且交织的功能。控制器108可以另外包括内部语音编码器，并且可以包括内部数据调制解调器。进一步地，控制器108可以包括操作一个或多个软件程序的功能，软件程序可以存储在存储器中。例如，控制器108可以能够操作连接性程序，诸如常规的Web浏览器。根据无线应用协议（WAP）、超文本传输协议（HTTP）等，连接性程序然后可以允许设备100发送和接收Web内容，诸如基于位置的内容和/或其他的网页内容。在一个示例实施例中，控制器108可以具体化为多核处理器，诸如双核处理器或四核处理器。然而，任意数量的处理器可以被包括在控制器108中。

设备100还可以包括用户接口，用户接口包括诸如振铃110、耳机或扬声器112、麦克风114、显示器116、以及用户输入接口的输出设备，用户接口可以耦合到控制器108。用户输入接口允许设备100接收数据，用户输入接口可以包括任何数量的设备，这些设备允许设备100接收数据，诸如小键盘118、触摸显示器、麦克风或其他输入设备。在包括小键盘118的实施例中，小键盘118可以包括数字（0-9）和相关按键（＃、*）、以及用于操作设备100的其他硬和软的按键。备选地或者附加地，小键盘118可以包括常规的QWERTY小键盘布置。小键盘118还可以包括具有关联功能的各种软键。另外地，或者备选地，设备100可以包括接口设备，诸如操纵杆或其他用户输入接口。设备100进一步包括电池120，诸如振动电池组，为用来操作设备100的各种电路供电，以及可选地提供机械振动作为可检测的输出。

在一个示例实施例中，设备100包括媒体采集元件，诸如摄像机、视频和/或音频模块，媒体采集元件与控制器108通信。媒体采集元件可以是用于采集图像、视频和/或音频用于存储、显示或传输的任何装置。在其中媒体采集元件是摄像机模块122的示例实施例中，摄像机模块122可以包括数字摄像机，数字摄像机能够从所采集的图像形成数字图像文件。如此，摄像机模块122包括所有的硬件，诸如镜头或其他光学组件，以及用于从所采集的图像来创建数字图像文件的软件。备选地，摄像机模块122可以包括观看图像所需要的硬件，同时设备100的存储器设备以软件的形式存储用于由控制器108执行的指令，以从所采集的图像创建数字图像文件。在一个示例实施例中，摄像机模块122可以进一步包括诸如协处理器的处理元件，处理元件辅助控制器108处理图像数据以及辅助编码器和/或解码器用于压缩和/或解压缩图像数据。编码器和/或解码器可以根据JPEG标准格式或者另一种相似的格式来编码和/或解码。对于视频，编码器和/或解码器可以采用多种标准格式中的任何一种，诸如，例如，与H.261、H.262/MPEG-2、H.263、H.264、H.264/MPEG-4、MPEG–4等相关联的标准。在一些情况中，摄像机模块122可以将现场图像数据提供给显示器116。此外，在一个示例实施例中，显示器116可以位于设备100的一侧上，并且摄像机模块122可以包括定位在设备100关于显示器116的相对侧上的镜头，使得摄像机模块122能够在设备100的一侧采集图像，并且将这些图像的视图呈现给定位在设备100另一侧的用户。

设备100可以进一步包括用户识别模块（UIM）124。UIM124可以是具有内置处理器的存储设备。UIM124可以包括，例如，订户识别模块（SIM）、通用集成电路卡（UICC）、全球订户识别模块（USIM）、可移除的用户识别模块（R-UIM）、或者任何其他的智能卡。UIM124典型地存储关于移动订户的信息元素。除了UIM124，设备100还可以配备存储器。例如，设备100可以包括易失性存储器126，诸如易失性随机访问存储器（RAM），易失性随机访问存储器包括用于数据临时存储的高速缓存区域。设备100还可以包括其他非易失性存储器128，非易失性存储器128可以是嵌入式的、和/或可以是可移除的。非易失性存储器128可以附加地或者备选地包括电可擦除可编程只读存储器（EEPROM）、闪速存储器、硬盘驱动器等。这些存储器可以存储任意数量的条数的信息和数据，设备100使用这些信息和数据来实施设备100的功能。

根据一个示例实施例，图2图示了装置200，装置200用于根据从光场摄像机所采集的图像生成一个或多个超分辨图像。装置200可以例如在图1的设备100中被采用。然而，应当注意，装置200也可以在各种各样的其他移动设备和固定设备两者上被采用，并且因此，实施例不应当被限制于在诸如图1的设备100的设备上应用。备选地，实施例可以在设备的组合上被采用，这些设备包括例如上面所列出的那些设备。因此，各个实施例可以完全具体化在单个设备（例如，设备100）处、或设备的组合中。此外，应当注意，下面所描述的设备或元件可以不是强制性的，并且因此在某些实施例中可以省略一些设备或元件。

装置200包括或者以其他方式与至少一个处理器202和至少一个存储器204进行通信。至少一个存储器204的示例包括，但不限于，易失性和/或非易失性存储器。易失性存储器的一些示例包括，但不限于，随机访问存储器、动态随机访问存储器、静态随机访问存储器等。非易失性存储器的一些示例包括，但不限于，硬盘、磁带、光盘、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、闪速存储器等。存储器204可以被配置为存储信息、数据、应用程序、指令或者使得装置200能够根据各个示例实施例来执行各种功能的类似物。例如，存储器204可以被配置为缓冲输入数据，输入数据包括由处理器202处理的媒体内容。另外地或者备选地，存储器204可以被配置为存储指令，这些指令由处理器202执行。

处理器202的一个示例可以包括控制器108。处理器202可以以许多不同的方式来具体化。处理器202可以具体化为多核处理器、单核处理器、或者多核处理器和单核处理器的组合。例如，处理器202可以具体化为各种处理装置中的一种或多种，诸如协处理器、微处理器、控制器、数字信号处理器（DSP）、带有或不带随附DSP的处理电路，或者各种其他包括集成电路的处理设备，集成电路诸如，例如，专用集成电路（ASIC）、现场可编程门阵列（FPGA）、微控制器单元（MCU）、硬件加速器、特殊用途计算机芯片等。在一个示例实施例中，多核处理器可以被配置为执行指令，这些指令存储在存储器204中，或者以其他方式对于处理器202是可访问的。备选地或者附加地，处理器202可以被配置为执行硬编码的功能。如此，无论由硬件或软件方法来配置，或者由它们的组合来配置，处理器202可以代表一个实体，例如，物理地具体化在电路中，当相应地被配置时能够根据各个实施例执行操作。例如，如果处理器202具体化为两个或更多的ASIC、FPGA等，处理器202可以是用于进行本文所描述的操作的专门配置的硬件。备选地，作为另一个示例，如果处理器202具体化为软件指令的执行器，则当执行这些指令时，这些指令可以具体地将处理器202配置为执行本文所描述的算法和/或操作。然而，在一些情况中，处理器202可以是特定设备（例如，移动终端或网络设备）的处理器，该移动终端或网络设备通过用于执行本文所描述的算法和/或操作的指令、通过对处理器202的进一步配置而被适配用于采用实施例。处理器202除了其他事物还可以包括：时钟、算术逻辑单元（ALU）和被配置为支持处理器202的操作的逻辑门。

用户接口206可以与处理器202通信。用户接口206的示例包括，但不限于，输入接口和/或输出用户接口。输入接口被配置为接收用户输入的指示。输出用户接口将可听的、视觉的、机械的或其他的输出和/或反馈提供给用户。输入接口的示例可以包括，但不限于，键盘、鼠标、操纵杆、小键盘、触摸屏、软键等。输出接口的示例可以包括，但不限于：显示器，诸如发光二极管显示器、薄膜晶体管（TFT）显示器、液晶显示器、有源矩阵有机发光二极管（AMOLED）显示器；麦克风；扬声器；振铃器；振动器等。在一个示例实施例中，用户接口206除了其他设备或元件还可以包括：扬声器、麦克风、显示器、以及键盘、触摸屏等中的任何一个或者全部。在这个方面，例如，处理器202可以包括用户接口电路，用户接口电路被配置为控制用户接口206的一个或多个元件的至少一些功能，诸如，例如，扬声器、振铃器、麦克风、显示器等。处理器202和/或包括处理器202的用户接口电路可以被配置为：通过存储在存储器上的计算机程序指令来控制用户接口206的一个或多个元件的至少一些功能，这些计算机程序指令例如软件和/或固件，该存储器例如处理器202可访问的至少一个存储器204等。

在一个示例实施例中，装置200可以包括电子设备。该电子设备的一些示例包括通信设备、具有通信能力的媒体采集设备、计算设备等。该电子设备的一些示例可以包括移动电话、个人数字助理（PDA）等。计算设备的一些示例可以包括膝上型计算机、个人计算机等。在一个示例实施例中，该电子设备可以包括用户接口，例如UI206，该用户接口具有用户接口电路和用户接口软件，用户接口软件被配置为：促进用户通过对显示器的使用来控制该电子设备的至少一个功能，并且进一步被配置为响应用户输入。在一个示例实施例中，该电子设备可以包括显示电路，显示电路被配置为显示该电子设备的用户接口的至少一部分。显示器和显示电路可以被配置为促进用户来控制该电子装置的至少一个功能。

在一个示例实施例中，该电子设备可以具体化为包括收发器。该收发器可以是，根据软件操作的任何设备或电路、或者以其他方式具体化在硬件中、或者是硬件和软件的组合。例如，处理器202在软件控制下工作，或者处理器202具体化为专门配置为执行本文所描述的操作的ASIC或FPGA，或者它们的组合，由此将该装置或电路配置为执行该收发器的功能。该收发器可以被配置为接收媒体内容。媒体内容的示例可以包括音频内容、视频内容、数据、以及它们的组合。

在一个示例实施例中，该电子设备可以具体化为包括图像传感器，诸如图像传感器208。图像传感器208可以与处理器202和/或装置200的其他组件进行通信。图像传感器208可以与其他成像电路和/或软件进行通信，并且被配置为采集数字图像或者制作视频或其他图形媒体文件。图像传感器208和其他电路，组合在一起，可以是设备100的摄像机模块122的一个示例。图像传感器208，连同其他组件，也可以被配置为采集光场图像。

这些组件（202-208）可以经由集中电路系统210相互通信，以生成超分辨图像。集中电路系统210可以是各种设备，这些设备被配置为，在其他事物之中，提供或使能装置200的组件（202-208）之间的通信。在某些实施例中，集中电路系统210可以是中央印刷电路板（PCB），诸如母板、主板、系统板、或逻辑板。集中电路系统210还可以，或者备选地，包括其他的印刷电路配件（PCA）或者通信信道媒介。

在一个示例实施例中，处理器202被配置为：与存储器204的内容一起，以及可选地与本文所描述的其他组件一起，促使装置200促进对光场图像的接收。在一些示例实施例中，可以促使装置200采集光场图像。备选地，在一些其他的示例实施例中，光场图像可以预先被记录、存储在装置200中，或者可以从装置200外部的源被接收。在这样的示例实施例中，促使装置200从外部存储介质接收光场图像，外部存储介质诸如DVD、压缩盘（CD）、闪存驱动器、存储卡，或者通过互联网、蓝牙

等从外部存储位置接收。在各个示例实施例中，术语“光场图像”指代一种图像采集，该图像采集包括单个场景的多个视图的信息，并且多个图像（在这些图像之间具有轻微视差）可以从所采集的光场图像来生成。例如，光场图像覆盖了场景的宽范围的角度（各种视点）。在一个示例情景中，从光场图像生成的各个图像可以充当低分辨率输入图像，并且这种输入图像的分辨率可以通过超分辨率过程来增强。在一个示例中，光场图像可以由光场摄像机采集。光场摄像机的示例可以非穷举地包括全光摄像机（plenoptic camera）或基于掩模的摄像机，基于掩模的摄像机使用微镜头阵列来采集关于一个场景的四维（4D）光场信息。在一些示例实施例中，装置200可以是具有光场摄像机的媒体采集设备的示例，或者设备200可以包括连同其他组件来采集光场图像的光场摄像机。

在一个示例实施例中，处理器202被配置为：与存储器204的内容一起，以及可选地与本文所描述的其他组件一起，促使装置200确定光场图像中的一个或多个深度级别。在一个示例实施例中，促使装置200确定与光场图像中的一个或多个深度级别相关联的深度图。在一个示例中，光场图像可以具有对应于一个或多个对象的一个或多个深度级别。例如，对象A、B和C在真实场景中的不同深度中，并且这些对象由全光摄像机采集以生成光场图像。在一个示例实施例中，可以基于对象A、B和C在对应于该光场图像的真实场景中的深度级别，来针对对象A、B和C生成深度图。

在一个示例实施例中，处理器202被配置为：与存储器204的内容一起，以及可选地与本文所描述的其他组件一起，促使装置200从光场图像生成多个图像。在一个示例实施例中，可以从单个光场图像生成多个图像，从而多个图像代表了以微小视差所采集的图像。例如，可以从单个光场图像（I）生成多个图像（I1、I2.....In）。

在一个示例实施例中，处理器202被配置为：与存储器204的内容一起，以及可选地与本文所描述的其他组件一起，促使装置200确定该多个图像中的一个图像与一个或多个剩余图像之间的、对应于一个或多个深度级别的一个或多个配准矩阵（registration matrix）。在一个示例中，针对每个深度级别，可以在两个图像之间生成对应的配准矩阵。例如，如果在光场图像（I）的深度图中存在三个深度级别（d1、d2和d3），则可以在图像（I1、I2……In）的任意一对图像之间生成三个配准矩阵，这三个配准矩阵对应于深度级别d1、d2和d3。例如，在图像I1与I2之间，针对深度级别d1生成配准矩阵Rd1(I1,I2)，针对深度级别d2生成配准矩阵Rd2(I1,I2)，以及针对深度级别d3生成配准矩阵Rd3(I1,I2)。

在一个示例实施例中，针对任意一个图像，可以在该图像与该一个或多个剩余图像之间，对应于一个或多个深度级别来确定配准矩阵。在一个示例中，促使装置200通过选择一个图像中与一个深度级别相关联的区域、以及一个剩余图像中与该深度级别相关联的区域，在该图像（例如，I2）与该剩余图像（例如，来自剩余图像I1、I3……In的I3）之间，对应于一个深度级别（例如，d1）来确定一个配准矩阵。例如，对应于深度级别d1，在图像I2中可以选择区域r(I2,d1)，并且在图像I3中可以选择区域r(I3,d1)。

在一个示例实施例中，促使装置200在所选择的区域r(I2,d1)和r(I3,d1)中确定多个特征点。图像中的特征点的示例可以包括，但不限于：角点、该帧中一个或多个对象的边缘、尺度不变特征变换（SIFT）、和/或其他感兴趣的区域，诸如该图像中的背景或前景。在一个示例实施例中，促使装置200基于该图像中和该剩余图像中的所选择区域（与一个深度级别相关联）中的多个特征点之间的对应关系，针对该深度级别来计算（I2与I3之间的）配准矩阵。例如，在一个示例实施例中，可以计算与深度级别d1相关联的区域r(I2,d1)和r(I3,d1)中的特征点之间的对应关系。在一个示例实施例中，基于区域r(I2,d1)和r(I3,d1)中的特征点之间的对应关系，可以计算配准矩阵Rd1(I2,I3)。在一个示例实施例中，可以计算与深度级别d2相关联的区域r(I2,d2)和r(I3,d2)中的特征点之间的对应关系、以及与深度级别d3相关联的区域r(I2,d3)和r(I3,d3)中的特征点之间的对应关系。在一个示例实施例中，促使装置200分别基于区域r(I2,d2)和r(I3,d2)中的特征点之间的对应关系、以及区域r(I2,d3)和r(I3,d3)中的特征点之间的对应关系，来计算配准矩阵Rd2(I2,I3)和Rd3(I2,I3)。

在一个示例实施例中，促使装置200基于该一个或多个配准矩阵，来执行该图像和该一个或多个剩余图像的超分辨率，以生成该图像的超分辨图像。例如，对应于多个深度级别来确定多个配准矩阵。在一个示例实施例中，基于在该图像与该一个或多个剩余图像之间针对多个深度级别所确定的配准矩阵，来执行该图像和该一个或多个剩余图像的超分辨率。例如，在一个示例实施例中，基于执行该图像中与一个深度级别相关联的区域的超分辨率、以及这些剩余图像中与该深度级别相关联的区域的超分辨率，来生成图像I1的超分辨图像，其中基于对应于该深度级别的配准矩阵来执行该图像中与该深度级别相关联的区域的超分辨率、以及这些剩余图像中与该深度级别相关联的区域的超分辨率。在一个示例实施例中，针对每一个深度级别，来执行该图像中对应于该深度级别的区域、以及这些剩余图像中对应于该深度级别的这些区域的超分辨率。在一个示例实施例中，基于针对与该图像相关联的每个深度级别所执行的超分辨率，来生成该图像的超分辨图像。

参考图3-6进一步描述了超分辨图像的生成的一些示例实施例，并且这些图3-6仅表示一个或多个示例实施例，并且不应当考虑为限制了各个示例实施例的范围。

根据一个示例实施例，图3表示光场图像300。在一些示例实施例中，光场图像300可以由诸如装置200的装置来采集。例如，装置200可以包括媒体采集设备，媒体采集设备能够采集光场图像。备选地或者附加地，光场图像300可以被预先记录、存储在装置200中，或者可以从装置200外部的源被接收。如参考图2所描述的，光场图像300可以是一个图像采集，该图像采集包括单个场景的多个视图的信息。

在一个示例实施例中，处理装置可以被配置为促进对光场图像的接收。该处理装置的示例可以包括处理器202，处理器202可以是控制器108的一个示例。在一个示例实施例中，该处理装置可以通信地与能够采集光场图像的媒体采集设备相耦合。

根据一个示例实施例，图4图示了一个深度图的示例表示，该深度图表示光场图像中的深度级别。如图4中所示出的，示出了从光场图像300所生成的深度图400。在该示例表示中，深度图400包括对应于一个或多个深度级别的区域。例如，深度图400包括对应于不同深度级别d1、d2和d3的区域410（由ABCDEA所包围）、420（由EFGE所包围）和430（由GHICDEFG所包围）。在一个示例中，在与光场图像300相关联的场景中，位于区域410中的一个或多个对象，与位于区域420或430中的一个或多个对象的深度级别相比，具有不同深度级别。

在一个示例实施例中，促使诸如装置200的装置从光场图像300确定深度图400。在一个示例实施例中，处理装置被配置为从光场图像300确定深度图400。该处理装置的示例包括处理器202，处理器202可以是控制器108的示例。

根据一个示例实施例，图5A、5B和5C表示从光场图像生成的多个图像。例如，图5A、5B和5C表示从光场图像300所生成的图像510、520和530。在各个示例实施例中，促使装置200生成图像510、520和530，从而这些图像510、520和530表示一个场景的多个视图。例如，图像510、520和530中的每个图像表示该场景的略微不同的视图。在一个示例中，图像510、520与530之间可能存在轻微的视差，并且图像510、520与530之间的视差使得图像510、520和530显现为从不同的位置（或不同的角度）所采集。在一个示例实施例中，从光场图像300所生成的图像510、520和530是具有较低分辨率的图像，并且这些图像的分辨率可以通过超分辨率过程来增强，以生成对应的超分辨图像。

在一个实施例中，基于执行图像510与图像520和530的超分辨率来生成图像510的超分辨图像，其中与图像520和530中对应的区域一起，来执行图像510的（与不同深度级别相关联的）各个区域的超分辨率。例如，在图5B的示例中，图像510可以具有与深度级别d1相关联的区域512（由ABCDEA所包围）、与深度级别d2相关联的区域514（由EFGE所包围）以及与深度级别d3相关联的区域516（由GHICDEFG所包围）。图像520可以具有与深度级别d1相关联的区域522（由A’B’C’D’E’A’所包围）、与深度级别d2相关联的区域524（由E’F’G’E’所包围）以及与深度级别d3相关联的区域526（由G’H’I’C’D’E’F’G’所包围）。图像530可以具有与深度级别d1相关联的区域532（由A”B”C”D”E”A”所包围）、与深度级别d2相关联的区域534（由E”F”G”E”所包围）以及与深度级别d3相关联的区域536（由G”H”C”D”F”G”所包围）。

在一个示例实施例中，促使装置200通过确定图像510与图像520和530之间的、分别对应于深度级别d1、d2和d3的配准矩阵，来生成图像510的超分辨图像。在一个示例实施例中，促使装置200通过分别基于区域512与522之间的配准矩阵、以及区域512与532之间的配准矩阵，来执行区域512与区域522和532的超分辨率，以生成图像510的超分辨图像。

在一个示例实施例中，通过确定两个图像的（与一个深度级别相关联的）所选择区域中的多个特征点、并且找出两个图像中的这些特征点之间的对应关系，可以确定任意两个图像（例如，图像510与520）之间的、对应于该深度级别的配准矩阵。在一个示例实施例中，可以使用算子来选择所选择的区域中的特征点，这些算子包括但不限于：哈里斯角点检测器（Harris corner detector）、最小同值分割吸收核（SUSAN）、尺度不变特征变换（SIFT）、根据加速分割检测的特征（FAST）、和/或王和布雷迪角点检测（Wang and Brady cornerdetection）。在一个示例实施例中，通过使用包括但不限于随机抽样一致（RANSAC）算法的方案，可以确定所确定的特征点之间的对应关系。例如，RANSAC配准算法可以被应用在两个图像的所选择区域的特征点上，来确定两个图像的区域之间的配准矩阵。在一个示例实施例中，从RANSAC算法所获取的配准矩阵可以是单应性矩阵或者任何其他的变换矩阵。

根据一个示例实施例，图6图示了超分辨图像的示例表示。例如，图6图示了图像600，图像600是图像510（示出在图5中）的超分辨图像。在一个示例中，图像600的区域610是超分辨区域，该超分辨区域通过区域512与区域522、532以及与其他剩余图像中关联于相同深度级别（d1）的区域的超分辨率来构建。应当注意，使用针对深度级别d1的对应配准矩阵，区域512与区域522和532之一或两者的超分辨率可以构建区域610。例如，通过使用区域512与522之间的配准矩阵来执行区域512和区域522的超分辨率，和/或通过使用区域512与532之间的配准矩阵来执行区域512和区域532的超分辨率，可以构建区域610。在一个示例中，通过使用区域514与524之间的配准矩阵来执行区域514和区域524的超分辨率，和/或通过使用区域514与534之间的配准矩阵来执行区域514和区域534的超分辨率，可以构建区域620。在一个示例中，通过使用区域516与526之间的配准矩阵来执行区域516和区域526的超分辨率，和/或通过使用区域516与536之间的配准矩阵来执行区域516和区域536的超分辨率，可以构建区域630。应当注意，在图3-6的示例实施例中，超分辨图像600被示出为从仅三个图像510、520和530生成，并且这样的表示仅用于提供简单的描述。应当注意，在各个示例实施例的实际应用中，通过执行一个图像与从光场图像所生成的多视图图像中多于两个的剩余图像的超分辨率，来生成该图像的超分辨图像。例如，光场图像生成了总共20个不同视图的图像，并且从基于对应于各个深度级别的配准矩阵来执行一个图像和20个多视图图像中的十九个剩余图像的超分辨率，可以生成20个多视图图像中的该图像的超分辨图像。

在一个示例实施例中，可以通过使用增强这些区域的分辨率的任何合适的超分辨率技术，来执行不同图像的区域的超分辨率。在一个示例实施例中，基于超分辨（SR）重建方法来执行两个区域之间的超分辨率。SR重建方法的示例可以非穷举地包括：均匀或非均匀插值方法、和/或反投影方法。应当注意，通过比较图3和6，可见的是，图像600的细节比图像300的细节更好地被分辨/增强，并且分辨率相当大地被增强。

在一个实施例中，在下述的表1中针对两种情况（情况1和情况2）提供了对于一个图像以及它对应的超分辨图像的峰值信噪比（PSNR）和结构相似性度量（SSIM）的改进值。

在表1中，针对情况1的PSNR和SSIM值表示对应于至少一个示例实施例的值，并且针对情况2的PSNR和SSIM的值表示对应于如下技术的值：不基于图像中对应于深度级别的配准矩阵来执行对图像的超分辨率。在这个示例中，可能要注意的是，情况1（例如，至少一个示例实施例）与情况2（其中配准矩阵不基于深度级别来确定）相比具有更好的PSNR和SSIM。

根据一个示例实施例，图7是一个流程图，该流程图描绘了用于从光场图像生成超分辨图像的示例方法700。光场图像的示例非穷举地包括图像采集，从而该图像包括单个场景的多个视图的信息，并且可以从该图像生成多个图像（在这些图像之间具有轻微视差）。可以由例如图2的装置200来执行流程图中所描绘的方法700。

在块705，方法700包括：促进对光场图像的接收。如参考图2所描述的，可以从具有光场摄像机的媒体采集设备，或者从外部源，诸如DVD、压缩盘（CD）、闪存驱动器、存储卡接收光场图像，或者通过互联网、蓝牙

等从外部存储位置接收光场图像。

在块710，方法700包括：在该光场图像中确定一个或多个深度级别。例如，该光场图像包括三个对象，并且在对应于该光场图像的真实场景中，这些对象中的一个或多个对象可能具有与其他对象不同的深度。在一个示例实施例中，可以确定对应于该光场图像中的该一个或多个深度级别的深度图。在块715，方法700包括：从该光场图像生成多个图像。在一个示例实施例中，所生成的多个图像中的每一个图像可以表示由该光场图像所采集的场景的略微不同的视图。

在720，方法700包括：确定该多个图像中的一个图像与一个或多个剩余图像之间的、对应于该一个或多个深度级别的一个或多个配准矩阵。例如，如果在该光场图像中存在三个深度级别，在该多个图像中的任意两个图像之间，对应于该三个深度级别可以生成三个配准矩阵。在725，方法700包括：基于该一个或多个配准矩阵，来执行对该图像和该一个或多个剩余图像的超分辨率，以生成该图像的超分辨图像。如参考图2所描述的，在该图像与一个剩余图像之间使用针对不同深度级别所确定的配准矩阵，来执行对该图像与该剩余图像的超分辨率。在一个示例实施例中，可以与剩余图像中的一些图像或者全部图像一起，来执行该图像的超分辨率，以确定该图像的超分辨图像。

根据另一个示例实施例，图8是描绘了用于生成超分辨图像的示例方法800的流程图。这些流程图中所描述的方法可以由例如图2的装置200来执行。该流程图中的操作，以及这些流程图中操作的组合，可以由各种装置来实施，诸如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他设备。例如，各个实施例中所描述的过程中的一个或多个过程可以由计算机程序指令来具体化。在一个示例实施例中，各个实施例中所描述的、具体化这些过程的这些计算机程序指令，可以由一个装置的至少一个存储器设备来存储，并且由该装置中的至少一个处理器来执行。任何这样的计算机程序指令可以被加载到计算机或其他可编程装置（例如，硬件）上，以产生一个机器，从而作为结果的计算机或其他可编程装置，将用于实施该流程图中所指定的操作的装置具体化。这些计算机程序指令还可以存储在计算机可读的存储型存储器（如与诸如载波或电磁信号的传输介质相对的）中，计算机可读的存储型存储器（storagememory）可以指示计算机或其他可编程装置以特定的方式运行，使得存储在计算机可读存储器中的指令产生一种制品，对该制品的执行实施该流程图中所指定的这些操作。计算机程序指令还可以被加载到计算机或其他可编程装置上，以促使一系列的操作被执行在该计算机或其他可编程设备上，以产生计算机实施的过程，使得在该计算机或其他可编程设备上执行的这些指令提供用于实施该流程图中的操作的操作。在装置200的帮助下描述了这些方法的操作。然而，可以通过使用任何其他的装置来描述和/或实行这些方法的操作。

在块805，方法800包括：促进对光场图像的接收。在块810，方法800包括：在该光场图像中确定一个或多个深度级别。例如，该光场图像包括三个对象，并且在对应于该光场图像的真实场景中，这些对象中的一个或多个对象可能具有与其他对象不同的深度。在一个示例实施例中，可以确定对应于该光场图像中的一个或多个深度级别的深度图。在块815，方法800包括：从该光场图像生成多个图像。在一个示例实施例中，所生成的多个图像中的每个图像表示由该光场图像所采集的场景的略微不同的视图。在一个示例实施例中，块810和815可以以任何顺序来执行，例如，可以与块810同时、或者在块810之前或之后执行块815。

在820，方法800包括：选择该多个图像中的一个图像。例如，选择图像I1、I2和I3中的图像I1。在一个示例实施例中，选择如下的图像：针对该图像将生成超分辨图像。在825，选择在该光场图像中出现的一个或多个深度级别中的一个深度级别。例如，从深度级别d1、d2和d3选择深度级别d1。

在830，方法800包括：选择该图像中与该深度级别相关联的区域、以及一个或多个剩余图像中与该深度级别相关联的区域。例如，选择图像I1中与深度级别d1相关联的区域（例如，r(I1,d1)），以及剩余图像I2中与深度级别d1相关联的区域（例如，r(I2,d1)）和/或剩余图像I3中与深度级别d1相关联的区域（例如，r(I3,d1)）。在835，方法800包括：确定该图像中所选择区域中的多个特征点、以及该一个或多个剩余图像中所选择区域中的多个特征点。例如，图像I1中所选择区域中的多个特征点、以及图像I2和I3中所选择区域中的多个特征点。

在840，基于该图像和该一个或多个剩余图像的所选择区域中的该多个特征点之间的对应关系，针对所选择的深度级别d1，来计算配准矩阵。例如，在图像I1与I2之间针对所选择的深度级别d1来计算配准矩阵（例如，Rd1(I1,I2)）。在一个示例实施例中，基于区域r(I1,d1)和r(I2,d1)的特征点之间的对应关系，来计算配准矩阵Rd1(I1,I2)。在这个示例，基于图像I1和I3中的特征点之间的对应关系，针对所选择的深度级别d1，来计算配准矩阵Rd1(I1,I3)。在一个示例实施例中，基于区域r(I1,d1)和r(I3,d1)中的特征点之间的对应关系，来计算配准矩阵Rd1(I1,I3)。

在845，检查是否选择了所有的深度级别。例如，如果没有选择所有的深度级别，执行在块825的操作，并且选择下一个深度级别。例如，选择下一个深度级别d2并且通过执行在块830-840的操作，在图像I1与I2之间针对深度级别d2计算配准矩阵Rd2(I1,I2)，并且在图像I1与I3之间针对深度级别d3计算配准矩阵Rd2(I1,I3)。在一个示例实施例中，基于在块845的检查，执行在块825的操作，并且选择下一个深度级别。例如，选择下一个深度级别d3并且通过执行在块830-840的操作，在图像I1与I2之间针对深度级别d3计算配准矩阵Rd3(I1,I2)，并且在图像I1与I3之间针对深度级别d3计算配准矩阵Rd3(I1,I3)。在一个示例中，可以计算所有的配准矩阵Rd1(I1,I2)、Rd1(I1,I3)、Rd2(I1,I2)、Rd2(I1,I3)、Rd3(I1,I2)和Rd3(I1,I3)中的一些配准矩阵。

在845，如果检查到选择了所有的深度级别。例如，如果计算了针对深度级别d1、d2和d3的配准矩阵，该方法前进到块850。应当注意，在一些实施例中，即使针对一些深度级别计算了配准矩阵，方法800可以前进到块850。

在850，方法800包括：基于对应于这些深度级别的配准矩阵，来执行该图像中与这些深度级别相关联的区域、以及该一个或多个剩余图像中与这些深度级别相关联的区域的超分辨率。例如，与区域r(I2,d1)和r(I3,d1)一起，来执行区域r(I1,d1)的超分辨率，与区域r(I2,d2)和r(I3,d2)一起，来执行区域r(I1,d2)的超分辨率，并且与区域r(I2,d3)和r(I3,d3)一起，来执行区域r(I1,d3)的超分辨率。应当注意，分别基于配准矩阵Rd1(I1,I2)和Rd1(I1,I3)，来执行区域r(I1,d1)与区域r(I2,d1)和r(I3,d1)的超分辨率。类似地，分别基于配准矩阵Rd2(I1,I2)和Rd2(I1,I3)，来执行区域r(I1,d2)与区域r(I2,d2)和r(I3,d2)的超分辨率，并且分别基于配准矩阵Rd3(I1,I2)和Rd3(I1,I3)，来执行区域r(I1,d3)与区域r(I2,d3)和r(I3,d3)的超分辨率。在一个示例实施例中，基于超分辨重建算法来执行两个区域之间的超分辨率。

在855，方法800包括：基于与该图像和该一个或多个剩余图像的所有深度级别相关联的区域的超分辨率，来生成该图像的超分辨图像。例如，因为区域r(I1,d1)、r(I1,d2)和r(I1,d3)的超分辨率与剩余图像I2和I3中的对应区域一起被执行（在块850），所以基于针对区域r(I1,d1)、r(I1,d2)和r(I1,d3)所执行的超分辨率，来生成图像I1的超分辨图像。应当注意，通过执行方法800的操作，例如，在块820选择图像I2，可以生成图像I2的超分辨图像。类似地，通过在块830选择图像I3，可以生成图像I3的超分辨图像。

为了促进对图8的方法800的讨论，某些操作在本文中被描述为构成了以某个顺序执行的不同步骤。这样的实施方式仅是示例并且在范围上是非限制的。某个操作可以被组合在一起，并且在单个操作中执行，并且某些操作能够以与本文阐述的这些示例中所采用的顺序不同的顺序来执行。此外，方法800的某些操作以自动化的方式来执行。这些操作基本上不涉及与用户的交互。方法800的其他操作可以通过手工方式或半自动方式来执行。这些操作涉及经由一个或多个用户界面显示的与用户的交互。

不以任何方式限制出现在下面的权利要求的范围、解释、或应用，本文所公开的一个或多个示例实施例的技术效果是：从光场图像生成超分辨图像。各个实施例提供了用于图像的深度感知超分辨率的方法，其中使用了针对不同深度级别所确定的各种配准矩阵。在各个实施例中，这些深度级别特定的配准矩阵被用来分别解析每个深度级别的区域。图像的这种超分辨率可以降低如锯齿（jagginess）和空间模糊（spatial blur）的错误，该错误否则在两个低分辨率图像之间使用单个配准矩阵（即不考虑这些图像中的对象的深度级别来计算）的情况下是可见的。

上面所描述的各个实施例可以实施在软件、硬件、应用逻辑或者软件、硬件和应用逻辑的组合中。软件、应用逻辑和/或硬件可以位于至少一个存储器、至少一个处理器、一个装置、或一种计算机程序产品上。在一个示例实施例中，应用逻辑、软件或指令集维持在各种常规计算机可读介质中的任何一种上。在本文档的上下文中，“计算机可读介质”可以是如下的任何媒介或装置，该媒介或装置能够包含、存储、通信、传播或传送指令，这些指令用于由指令执行系统、装置、或设备（诸如计算机）与图1和/或2中所描述和描绘的装置的一个示例一起使用，或者连同指令执行系统、装置、或设备（诸如计算机），与图1和/或2中所描述和描绘的装置的一个示例一起使用。计算机可读介质可以包括计算机可读存储介质，计算机可读存储介质可以是如下的任何介质或装置，该介质或装置可以包含或存储指令，这些指令用于由诸如计算机的指令执行系统、装置或设备使用，或者连同诸如计算机的指令执行系统、装置或设备使用。

如果需要的话，本文所讨论的不同功能可以以不同的顺序来执行，和/或彼此同时被执行。此外，如果需要的话，上面所描述的功能中的一个或多个功能可以是可选的，或者可以被组合。

虽然在独立权利要求中阐述了实施例的各个方面，但是其他方面包括：根据所描述的实施例的特征的其他组合、和/或具有独立权利要求的特征的从属权利要求，而不仅仅是权利要求中明确阐述的组合。

在本文中还注意到，虽然上文描述了本发明的示例实施例，这些描述不应当在限制的意义上被查看。相反地，存在若干变型和修改，不脱离如所附的权利要求书中所定义的本公开内容的范围可以做出这些变型和修改。

Claims (22)

1.一种用于生成超分辨图像的方法，包括：

促进对光场图像的接收；

确定所述光场图像中的一个或多个深度级别；

从所述光场图像生成多个图像；

确定所述多个图像中的一个图像与一个或多个剩余图像之间的、对应于所述一个或多个深度级别的一个或多个配准矩阵；以及

基于所述一个或多个配准矩阵，来执行所述图像和所述一个或多个剩余图像的超分辨率，以生成所述图像的超分辨图像。

2.根据权利要求1所述的方法，其中确定所述图像与所述一个或多个剩余图像中的一个图像之间的、对应于所述一个或多个深度级别中的一个深度级别的、所述一个或多个配准矩阵中的一个配准矩阵包括：

选择所述图像中关联于所述深度级别的一个区域、以及所述一个或多个剩余图像中的所述一个图像中关联于所述深度级别的一个区域；

确定所述图像中所选择区域中的多个特征点、以及所述一个或多个剩余图像中的所述一个图像中所选择区域中的多个特征点；以及

基于所述图像与所述一个或多个剩余图像中的所述一个图像的所选择区域中的多个特征点之间的对应关系，来计算所述配准矩阵。

3.根据权利要求1或2所述的方法，其中执行所述图像的所述超分辨率包括：

基于对应于所述一个或多个深度级别的所述配准矩阵，来执行所述图像中关联于一个或多个深度级别的区域、以及所述一个或多个剩余图像中关联于所述一个或多个深度级别的区域的超分辨率；以及

基于与所述图像的所述一个或多个深度级别相关联的所述区域与所述一个或多个剩余图像中的对应区域的所述超分辨率，生成所述超分辨图像。

4.根据权利要求1或2所述的方法，其中基于超分辨重建算法来执行所述超分辨率。

5.根据权利要求1或2所述的方法，进一步包括：确定与所述光场图像中的所述一个或多个深度级别相关联的深度图。

6.根据权利要求1或2所述的方法，其中通过RANSAC算法来确定所述一个或多个配准矩阵。

7.根据权利要求1或2所述的方法，其中执行所述图像和所述一个或多个剩余图像的超分辨率包括执行非均匀内插法。

8.根据权利要求1或2所述的方法，其中执行所述图像和所述一个或多个剩余图像的所述超分辨率包括执行反投影法。

9.根据权利要求1或2所述的方法，其中所述超分辨图像具有比所述图像更高的分辨率。

10.一种用于生成超分辨图像的设备，包括：

用于促进对光场图像的接收的装置；

用于确定所述光场图像中的一个或多个深度级别的装置；

用于从所述光场图像生成多个图像的装置；

用于确定所述多个图像中的一个图像与一个或多个剩余图像之间的、对应于所述一个或多个深度级别的一个或多个配准矩阵的装置；以及

用于基于所述一个或多个配准矩阵来执行所述图像和所述一个或多个剩余图像的超分辨率以生成所述图像的超分辨图像的装置。

11.根据权利要求10所述的设备，其中为了确定所述图像与所述一个或多个剩余图像中的一个图像之间的、对应于所述一个或多个深度级别中的一个深度级别的、所述一个或多个配准矩阵中的一个配准矩阵，所述设备进一步包括：

用于选择所述图像中关联于所述深度级别的一个区域、以及所述一个或多个剩余图像中的所述一个图像中关联于所述深度级别的一个区域的装置；

用于确定所述图像中所选择区域中的多个特征点、以及所述一个或多个剩余图像中的所述一个图像中所选择区域中的多个特征点的装置；以及

用于基于所述图像与所述一个或多个剩余图像中的所述一个图像的所选择区域中的多个特征点之间的对应关系来计算所述配准矩阵的装置。

12.根据权利要求10或11所述的设备，其中用于执行所述图像的所述超分辨率，所述设备进一步包括：

用于基于对应于所述一个或多个深度级别的所述配准矩阵，来执行所述图像中关联于一个或多个深度级别的区域、以及所述一个或多个剩余图像中关联于所述一个或多个深度级别的区域的超分辨率的装置；以及

用于基于与所述图像的所述一个或多个深度级别相关联的所述区域与所述一个或多个剩余图像中的对应区域的所述超分辨率，生成所述超分辨图像的装置。

13.根据权利要求10或11所述的设备，其中基于超分辨重建算法来执行所述超分辨率。

14.根据权利要求10或11所述的设备，其中所述设备进一步包括：用于确定与所述光场图像中的所述一个或多个深度级别相关联的深度图的装置。

15.根据权利要求10或11所述的设备，其中通过RANSAC算法来确定所述一个或多个配准矩阵。

16.根据权利要求10或11所述的设备，其中为了执行所述图像和所述一个或多个剩余图像的所述超分辨率，所述设备进一步包括用于执行非均匀内插法的装置。

17.根据权利要求10或11所述的设备，其中为了执行所述图像和所述一个或多个剩余图像的所述超分辨率，所述设备进一步至少部分被促使来执行反投影法。

18.根据权利要求10或11所述的设备，其中所述超分辨图像具有比所述图像更高的分辨率。

19.根据权利要求10或11所述的设备，其中所述设备进一步包括电子设备，所述电子设备包括：

用户接口电路和用户接口软件，所述用户接口电路和用户接口软件被配置为：通过显示器的使用来促进用户控制所述电子设备的至少一个功能，并且进一步被配置为：对用户输入进行响应；以及

显示电路，所述显示电路被配置为：显示所述电子设备的用户接口的至少一部分，所述显示器和显示电路被配置为：促进所述用户控制所述电子设备的至少一个功能。

20.根据权利要求19所述的设备，其中所述电子设备包括被配置为采集所述光场图像的至少一个图像传感器。

21.根据权利要求19所述的设备，其中所述电子设备包括移动电话。

22.一种用于生成超分辨图像的设备，所述设备被配置为执行根据权利要求1至9中的任一项所述的方法。

Images