CN114766031A - 使用双像素图像数据的散焦模糊去除和深度估计 - Google Patents

Abstract

一种方法包括获得包括第一子图像和第二子图像的双像素图像数据，和生成对焦图像、与第一子图像对应的第一核以及与第二子图像对应的第二核。可以使用确定(i)第一子图像与第二核的卷积和(ii)第二子图像与第一核的卷积之间的差的损失函数来确定损失值，和/或(i)第一子图像和对焦图像与第一核的卷积之间的差和(ii)第二子图像和对焦图像与第二核的卷积之间的差的和的损失函数确定损失值。基于损失值和损失函数，可以更新和显示对焦图像、第一核和/或第二核。

Description

使用双像素图像数据的散焦模糊去除和深度估计

背景技术

图像的一部分可能由于对应的对象位于捕获图像的相机设备的景深之外而被模糊。模糊的程度可能取决于对应对象相对于景深的位置，随着对应对象在朝向相机的方向或远离相机的方向上更远离景深移动，模糊量增加。在某些情况下，图像模糊是不利的，并且可以使用各种图像处理技术、模型和/或算法来调整或校正。

发明内容

双像素图像数据可以包括可用于恢复对焦图像和/或与双像素图像数据对应的深度图的散焦线索。特别地，双像素图像数据可以包括第一子图像和第二子图像。对焦图像在与第一模糊核卷积时可生成第一子图像和/或其近似，并且当与第二模糊核卷积时可生成第二子图像和/或其近似。损失函数可基于对焦图像、模糊核和双像素图像数据之间的这些关系来制定(formulate)。损失函数可用于训练被配置为生成对焦图像的数学模型，并且在某些情况下，训练被配置为生成第一和第二模糊核的一个或多个数学模型。模糊核可以应用于多个大小尺度的对焦图像和/或双像素图像数据，从而生成代价体积。代价体积可用于对于对焦图像的每个相应像素选择应用第一和第二模糊核的对应大小尺度，从而指示与相应像素关联的深度。

在第一示例实施例中，一种方法可以包括获得包括第一子图像和第二子图像的双像素图像数据。该方法还可以包括确定(i)对焦图像、(ii)与第一子图像对应第一模糊核和(iii)与第二子图像对应的第二模糊核。该方法可以附加包括使用包括等价损失项或数据损失项中的一个或多个的损失函数来确定损失值：等价损失项被配置为确定(i)第一子图像与第二模糊核的卷积和(ii)第二子图像与第一模糊核的卷积之间的差，数据损失项被配置为确定(i)第一子图像和对焦图像与第一模糊核的卷积之间的差和(ii)第二子图像和对焦图像与第二模糊核的卷积之间的差的和。该方法还可以包括基于损失值和损失函数更新以下中的一个或多个：(i)对焦图像、(ii)第一模糊核或(iii)第二模糊核。该方法又还可以包括基于以下中的一个或多个生成图像数据：(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核。

在第二示例实施例中，一种系统可以包括处理器和其上存储有指令的非暂时性计算机可读介质，该指令在由处理器执行时使处理器执行操作。该操作可以获得包括第一子图像和第二子图像的双像素图像数据。该操作还可以包括确定(i)对焦图像、(ii)与第一子图像对应第一模糊核和(iii)与第二子图像对应的第二模糊核。该操作可以附加包括使用包括等价损失项或数据损失项中的一个或多个的损失函数来确定损失值：等价损失项被配置为确定(i)第一子图像与第二模糊核的卷积和(ii)第二子图像与第一模糊核的卷积之间的差，数据损失项被配置为确定(i)第一子图像和对焦图像与第一模糊核的卷积之间的差和(ii)第二子图像和对焦图像与第二模糊核的卷积之间的差的和。该操作还可以包括基于损失值和损失函数更新以下中的一个或多个：(i)对焦图像、(ii)第一模糊核或(iii)第二模糊核。该操作又还可以包括基于以下中的一个或多个生成图像数据：(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核。

在第三示例实施例中，一种非暂时性计算机可读介质可以在其上存储有指令，该指令在由计算设备执行时使计算设备执行操作。该操作可以获得包括第一子图像和第二子图像的双像素图像数据。该操作还可以包括确定(i)对焦图像、(ii)与第一子图像对应第一模糊核和(iii)与第二子图像对应的第二模糊核。该操作可以附加包括使用包括等价损失项或数据损失项中的一个或多个的损失函数来确定损失值：等价损失项被配置为确定(i)第一子图像与第二模糊核的卷积和(ii)第二子图像与第一模糊核的卷积之间的差，数据损失项被配置为确定(i)第一子图像和对焦图像与第一模糊核的卷积之间的差和(ii)第二子图像和对焦图像与第二模糊核的卷积之间的差的和。该操作还可以包括基于损失值和损失函数更新以下中的一个或多个：(i)对焦图像、(ii)第一模糊核或(iii)第二模糊核。该操作又还可以包括基于以下中的一个或多个生成图像数据：(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核。

在第四示例实施例中，一种系统可以包括用于获得包括第一子图像和第二子图像的双像素图像数据的装置。该系统还可以包括用于确定(i)对焦图像、(ii)与第一子图像对应第一模糊核和(iii)与第二子图像对应的第二模糊核的装置。该系统可以附加包括用于使用包括等价损失项或数据损失项中的一个或多个的损失函数来确定损失值的装置：等价损失项被配置为确定(i)第一子图像与第二模糊核的卷积和(ii)第二子图像与第一模糊核的卷积之间的差，数据损失项被配置为确定(i)第一子图像和对焦图像与第一模糊核的卷积之间的差和(ii)第二子图像和对焦图像与第二模糊核的卷积之间的差的和。该系统还可以包括用于基于损失值和损失函数更新以下中的一个或多个的装置：(i)对焦图像、(ii)第一模糊核或(iii)第二模糊核。该系统又还可以包括用于基于以下中的一个或多个生成图像数据的装置：(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核。

通过阅读以下详细描述并在适当的情况下参考附图，这些以及其他实施例、方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外，本概述和本文提供的其他描述和附图旨在仅通过示例的方式来说明实施例，因此，许多变化是可能的。例如，结构元件和过程步骤可以重新布置、组合、分布、消除或以其他方式改变，而同时仍在所要求保护的实施例的范围内。

附图说明

图1示出了根据本文描述的示例的计算设备。

图2示出了根据本文描述的示例的计算系统。

图3示出了根据本文描述的示例的双像素图像传感器。

图4A、4B和4C示出了根据本文描述的示例的系统的各方面。

图4D示出了根据本文描述的示例的代价体积。

图5示出了根据本文描述的示例的双像素图像、模糊核和深度图。

图6示出了根据本文描述的示例的人工神经网络。

图7示出了根据本文描述的示例的流程图。

具体实施方式

本文描述了示例方法、设备和系统。应理解，本文使用的词语“示例”和“示例性”表示“用作示例、实例或说明”。在本文中被描述为“示例”、“示例性”和/或“说明性”的任何实施例或特征不必解释为比其他实施例或特征优选或有利，除非如此声明。因此，在不背离本文呈现主题的范围的情况下可以利用其他实施例或做出其他改变。

因此，本文描述的示例实施例并不意味着限制。将容易理解的是，本文一般描述和在附图中示出的本公开的各方面可以以各种不同的配置被布置、替换、组合、分离和设计。

此外，除非上下文另有说明，否则每幅图中所示的特征可以相互结合使用。因此，附图通常应被视为一个或多个整体实施例的组成方面，但应理解，不是所有示出的特征对于每个实施例都是必需的。

此外，本说明书或权利要求中的元件、块或步骤的任何列举都是为了清楚的目的。因此，这样的列举不应被解释为要求或暗示这些元件、块或步骤遵循特定的布置或以特定顺序执行。除非另有说明，否则附图未按比例绘制。

一、概述

双像素图像传感器可以包括至少一些被划分为两个感光点的像素(即，双像素)，每个感光点包括对应的独立可读光电二极管。因此，双像素图像传感器可以被配置为生成双像素图像数据，其包括使用每个双像素的第一感光点生成的第一子图像(例如，基于每个双像素的左感光点生成的左双像素子图像)和使用每个双像素的第二感光点生成的第二子图像(例如，基于每个双像素的右感光点生成的右双像素子图像)。虽然双像素图像数据包括两个子图像，但双像素图像数据却是单视场的，因为与立体图像数据不同，它是使用单个光圈生成的。

当从场景的一部分反射的光聚焦在双像素图像传感器的对应部分上时，对应双像素的每个感光点可以生成相似和/或基本相同的信号。当从场景的该部分反射的光与双像素图像传感器的对应部分失焦时，对应双像素的每个感光点会产生不同的信号。因此，双像素图像传感器生成的双像素图像数据可包含指示与每个双像素关联的散焦程度的信息，并因此可用于调整与双像素图像数据关联的表观模糊程度。

特别地，第一子图像、第二子图像、对焦图像(例如，沿着图像所有部分看起来聚焦的图像)、与第一子图像关联的第一模糊核和与第二子图像关联的第二模糊核之间的关系可用于制定优化函数(即，损失函数)。例如，对焦图像、第一模糊核和/或第二模糊核可各自由对应的数学模型来表示。优化函数可用于训练这些数学模型，以减少(例如，低于阈值)和/或最小化使用优化函数生成的损失值。优化函数可以包括等价损失项、数据损失项和/或一个或多个先验(prior)损失项，其中的每一项可以表示第一子图像、第二子图像、对焦图像、第一模糊核和/或第二模糊核之间的关系。

等价损失项和/或数据损失项可以基于对焦图像、双像素子图像和对应的模糊核之间的关系导出。特别地，第一子图像可以可以表示为对焦图像与第一模糊核的卷积。类似地，第二子图像可以表示为对焦图像与第二模糊核的卷积。

因此，等价项可以被配置为确定(i)第一子图像与第二模糊核的卷积和(ii)第二子图像与第一模糊核的卷积之间的差。因此，等价损失项可以激励优化以生成增加和/或最大化模糊核与双像素子图像的卷积之间的对称程度的模糊核。数据损失项可以被配置为确定(i)第一子图像和对焦图像与第一模糊核的卷积之间的差，以及(ii)第二子图像和对焦图像与第二模糊的卷积之间的差。因此，数据损失项可以激励优化以生成减少和/或最小化由于卷积导致的相对于对应双像素子图像丢失的信息量的对焦图像和/或模糊核。

第一模糊核和第二模糊核中的每一个可以被配置为对与特定深度关联的场景的部分去模糊。因此，为了对不同深度处的特征去模糊，第一模糊核和第二模糊核中的每一个可以缩放到多个大小尺度，每个大小尺度与相对于双像素相机设备的特定深度对应。可以在每个大小尺度计算等价损失项和/或数据损失项，从而生成对应的等价损失图像和/或数据损失图像，该图像在堆叠时形成等价损失代价体积和/或数据损失代价体积。

可以通过对于由代价体积的横截面表示的每个相应像素从沿着代价体积的深度的多个空间上对应的像素中选择已被最有效地去模糊的像素的对应像素值来减少代价体积。在某些情况下，代价体积的横截面可以具有与对焦图像相同的分辨率。因此，代价体积的减少可以对于对焦图像的每个相应像素指示与相应像素关联的对应大小尺度。由于每个大小尺度与特定对象深度对应，因此代价体积的减少还可以生成与对焦图像关联的深度图。因此，优化可以同时(i)生成对焦图像，(ii)生成对应的深度图，(iii)选择应用第一和/或第二模糊核的核缩放，并且在某些情况下，(iv)生成第一和第二模糊核。

生成对焦图像、第一模糊核和/或第二模糊核的对应的数学模型可以基于每个图像进行训练，而不是被训练成针对多个不同的双像素图像进行操作。因此，数学模型的训练是自监督的，因为优化函数和双像素图像数据足以执行训练，并且训练不依赖于基准真相数据。事实上，经训练的数学模型可用于生成基准真相数据，该数据可用于训练其他不同的机器学习模型。

在某些情况下，由于模糊核不依赖于场景(而是取决于相机设备的光圈的形状)，所以可以针对多个不同的相机设备中的每一个校准第一和第二模糊核。当第一和第二模糊核被校准时，第一和第二模糊核可以不由对应的模型从头生成。因此，基于用于生成给定双像素图像的特定相机设备(例如，其特定型号)，可以选择和使用对应的校准的第一和第二模糊核来训练被配置为生成对焦图像的数学模型，从而降低优化的复杂度。例如，可以将校准的模糊核视为由优化函数固定，或者可以在训练期间进行细化。

得到的对焦图像、深度图和/或第一和第二模糊核可用于对双像素图像数据执行各种调整。例如，与双像素图像数据的各个部分关联的模糊程度可以被调整到目标水平(例如，通过增加和/或减少各个区域中的模糊)。此外，由于深度图与双像素图像数据对应，因此双像素图像数据可以用于各种增强现实(AR)应用，诸如以深度感知方式将模拟对象插入由双像素图像数据表示的场景，以及其他可能性。

二、示例计算设备和系统

图1示出了示例计算设备100。计算设备100以移动电话的形状因子示出。然而，计算设备100可以替代地实现为膝上型计算机、平板计算机或可穿戴计算设备，以及其他可能性。计算设备100可以包括各种元件，诸如主体102、显示器106和按钮108和110。计算设备100还可以包括一个或多个相机，例如前置相机104和后置相机112，其中的一个或多个相机可以被配置为生成双像素图像数据。

前置相机104可以定位在主体102的在操作时通常面向用户的一侧(例如，在与显示器106相同的一侧)。后置相机112可以定位在主体102的与前置相机104相对的一侧。将相机称为前置和后置是任意的，并且计算设备100可以包括定位在主体102的各侧的多个相机。

显示器106可以表示阴极射线管(CRT)显示器、发光二极管(LED)显示器、液晶(LCD)显示器、等离子显示器、有机发光二极管(OLED)显示器或本领域中已知的任何其他类型的显示器。在某些示例中，显示器106可以显示由前置相机104和/或后置相机112捕获的当前图像、可以由这些相机中的一个或多个捕获的图像、由这些相机中的一个或多个最近捕获的图像和/或这些图像中的一个或多个的修改版本的数字表示。因此，显示器106可以用作相机的取景器。显示器106还可以支持能够调整计算设备100的任何方面的设置和/或配置的触摸屏功能。

前置相机104可以包括图像传感器和关联的光学元件，诸如镜头。前置相机104可以提供变焦能力或可以具有固定焦距。在其他示例中，可更换镜头可以与前置相机104一起使用。前置相机104可以具有可变机械光圈和机械和/或电子快门。前置相机104还可以被配置为捕获静态图像、视频图像或两者。此外，前置相机104可以表示例如单视场相机。后置相机112可以类似地或不同地布置。另外，前置相机104和/或后置相机112中的一个或多个可以是一个或多个相机的阵列。

前置相机104和/或后置相机112中的一个或多个可以包括提供光场以对目标对象照明的照明组件或与之关联。例如，照明组件可以提供对目标对象的闪光或恒定照明。照明组件还可以被配置为提供包括结构化光、偏振光和具有特定光谱内容的光中的一个或多个的光场。已知并用于从对象复原三维(3D)模型的其他类型的光场在本文示例的上下文中也是可能的。

计算设备100还可以包括环境光传感器，该环境光传感器可以连续地或不时地确定相机104和/或112可以捕获的场景的环境亮度。在一些实施方式中，环境光传感器可以用于调整显示器106的显示亮度。另外，环境光传感器可用于确定相机104或112中的一个或多个的曝光长度，或帮助该确定。

计算设备100可以被配置为使用显示器106和前置相机104和/或后置相机112来捕获目标对象的图像。捕获的图像可以是多个静态图像或视频流。可以通过激活按钮108、按下显示器106上的软键或通过某个其他机制来触发图像捕获。取决于实施方式，可以以特定时间间隔自动捕获图像，例如，在按下按钮108时，在目标对象的适当照明条件下，在以预定距离移动数码相机设备时，或根据预定的捕获计划表。

图2是示出示例计算系统200的一些组件的简化框图。作为示例而非限制，计算系统200可以是蜂窝移动电话(例如，智能电话)、计算机(诸如台式机、笔记本计算机、平板计算机或手持计算机)、家庭自动化组件、数字视频记录器(DVR)、数字电视、遥控器、可穿戴计算设备、游戏机、机器人设备、车辆或某个其他类型的设备。例如，计算系统200可以表示计算设备100的各方面。

如图2所示，计算系统200可以包括通信接口202、用户接口204、处理器206、数据存储装置208和相机组件224，所有这些都可以通过系统总线、网络或其他连接机制210通信地链接。计算系统200可以配备至少一些图像捕获和/或图像处理能力。应当理解，计算系统200可以表示物理图像处理系统、图像感测或处理应用在其上以软件进行操作的特定物理硬件平台或被配置为执行图像捕获和/或处理功能的硬件和软件的其他组合。

通信接口202可以允许计算系统200使用模拟或数字调制与其他设备、接入网络和/或传输网络进行通信。因此，通信接口202可以促进电路交换和/或分组交换通信，诸如简易老式电话服务(POTS)通信和/或互联网协议(IP)或其他分组通信。例如，通信接口202可以包括芯片组和天线，其布置成与无线电接入网络或接入点进行无线通信。此外，通信接口202可以采用有线接口的形式或包括有线接口，诸如以太网、通用串行总线(USB)或高清多媒体接口(HDMI)端口。通信接口202也可以采用无线接口的形式或包括无线接口，诸如Wi-Fi、

全球定位系统(GPS)或广域无线接口(例如，WiMAX或3GPP长期演进(LTE))。但是，可以在通信接口202上使用其他形式的物理层接口和其他类型的标准或专有通信协议。此外，通信接口202可以包括多个物理通信接口(例如，Wi-Fi接口、

接口和广域无线接口)。

用户接口204可用于允许计算系统200与人类或非人类用户交互，诸如接收来自用户的输入并向用户提供输出。因此，用户接口204可以包括输入组件，诸如小键盘、键盘、触敏面板、计算机鼠标、轨迹球、操纵杆、麦克风等。用户接口204还可以包括一个或多个输出组件，诸如显示屏，其例如可以与触敏面板组合。显示屏可以基于CRT、LCD和/或LED技术，或现在已知或后来开发的其他技术。用户接口204还可以被配置为通过扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机和/或其他类似设备生成(一个或多个)可听输出。用户接口204还可以被配置为通过麦克风和/或其他类似设备接收和/或捕获(一个或多个)可听话语、(一个或多个)噪声和/或(一个或多个)信号。

在某些示例中，用户接口204可以包括用作计算系统200支持的静态相机和/或视频相机功能的取景器的显示器。另外，用户接口204可以包括促进相机功能的配置和聚焦以及图像捕获的一个或多个按钮、开关、旋钮和或拨盘。这些按钮、开关、旋钮和/或拨盘中的一些或全部也可以通过触敏面板实现。

处理器206可以包括一个或多个通用处理器-例如微处理器-和/或一个或多个专用处理器-例如数字信号处理器(DSP)、图形处理单元(GPU)、浮点单元(FPU)、网络处理器或专用集成电路(ASIC)。在某些情况下，专用处理器可以能够进行图像处理、图像对齐和合并图像以及其他可能性。数据存储装置208可以包括一个或多个易失性和/或非易失性存储组件，诸如磁、光学、闪存或有机存储装置，并且可以与处理器206整体或部分集成。数据存储装置208可以包括可移动和/或不可移动组件。

处理器206可以能够执行存储在数据存储装置208中的程序指令218(例如，编译或非编译的程序逻辑和/或机器代码)以执行本文描述的各种功能。因此，数据存储装置208可以包括非暂时性计算机可读介质，在其上存储有存储程序指令，该程序指令在由计算系统200执行时使计算系统200执行本说明书和/或附图中公开的任何方法、过程或操作。处理器206对程序指令218的执行可以导致处理器206使用数据212。

作为示例，程序指令218可以包括安装在计算系统200上的操作系统222(例如，操作系统核、(一个或多个)设备驱动程序和/或其他模块)和一个或多个应用程序220(例如，相机功能、地址簿、电子邮件、网页浏览、社交网络、音频到文本功能、文本翻译功能和/或游戏应用)。类似地，数据212可以包括操作系统数据216和应用数据214。操作系统数据216可以主要由操作系统222访问，并且应用数据214可以主要由一个或多个应用程序220访问。应用数据214可以布置在对计算系统200的用户可见或隐藏的文件系统中。

应用程序220可以通过一个或多个应用接口(API)与操作系统222通信。这些API可以促进例如应用程序220读取和/或写入应用数据214、通过通信接口202发送或接收信息、接收和/或在用户接口204上显示信息等。

在某些情况下，应用程序220可以简称为“app”。另外，应用程序220可以通过一个或多个在线应用商店或应用市场下载到计算系统200。然而，应用程序也可以以其他方式安装在计算系统200上，例如通过网络浏览器或通过计算系统200上的物理接口(例如，USB端口)。

相机组件224可以包括但不限于光圈、快门、记录表面(例如，照相胶片和/或图像传感器)、镜头、快门按钮、红外投影仪和/或可见光投影仪。相机组件224可以包括被配置用于捕获可见光谱(例如，具有380-700纳米波长的电磁辐射)中的图像的组件和被配置用于捕获红外光谱(例如，具有701纳米-1毫米波长的电磁辐射)中的图像的组件。相机组件224可以至少部分地由处理器206执行的软件控制。

三、示例双像素图像传感器

图3示出了被配置为生成双像素图像数据的双像素图像传感器300。特别地，双像素图像传感器300包括排列成网格的多个像素，该网格包括列302、304、306和308到310(即，列302-310)和行312、314、316和318到320(即，行312-320)。每个像素被示出为分为第一(左)感光点(用对应的阴影区域指示)和第二(右)感光点(用对应的白色填充区域指示)。因此，位于列302、行312处的像素的右半部被标记为“R”以指示右感光点，而像素的左半部被标记为“L”以指示左感光点。尽管每个像素的感光点被示出为分成两个相等的竖直半部，但是感光点可以替代地以其他方式划分每个像素。例如，每个像素可以分为顶部感光点和底部感光点。感光点的面积可以不相等。

给定像素的每个感光点可以包括对应的光电二极管，其输出信号可以独立于其他光电二极管被读取。此外，双像素图像传感器300的每个像素可以与对应的滤色器(例如，红色、绿色或蓝色)关联。可以将去马赛克算法应用于双像素图像传感器300的输出以生成彩色图像。在某些情况下，比双像素图像传感器300的所有像素少的像素可以被划分成多个感光点。例如，与绿色滤光器关联的每个像素可以分为两个独立的感光点，而与红色或蓝色滤光器关联的每个像素可以包括单个感光点。在某些情况下，双像素图像传感器300可以用于实现前置相机104和/或后置相机112，并且可以形成相机组件224的一部分。

双像素图像传感器300可以被配置为生成双像素图像数据。双像素图像数据可以包括由第一感光点(例如，仅左感光点)生成的第一子图像和由第二感光点(例如，仅右感光点)生成的第二子图像。当被成像的对象或其部分对焦时，给定像素的每个感光点生成的相应信号可以基本相同(例如，两个信号可以在彼此的阈值内)。当被成像的对象或其部分失焦时，给定像素的第一感光点生成的相应信号可能不同于给定像素的第二感光点生成的相应信号，并且差异量与散焦程度成比例。因此，由双像素图像传感器300生成的双像素图像数据可以提供散焦线索，该散焦线索可以用于调整与双像素图像数据的各个部分关联的聚焦水平。由给定像素的每个感光点生成的信号可以组合成单个输出信号，从而生成常规(例如，RGB)图像数据。

四、用于生成对焦图像和对应深度图的示例系统

图4A示出了系统400，其被配置为确定与双像素图像数据关联的散焦程度和深度图并基于双像素图像数据确定散焦程度和深度图。特别地，系统400包括对焦图像模型408、第一模糊核模型410、第二模糊核模型412、模糊核缩放器420、损失函数426和模型参数调整器438。损失函数426可以包括数据损失项428、等价损失项430和先验损失项432。系统400的每个组件可以表示软件指令(例如，被配置为由处理器206执行)、硬件组件(例如，专门构建的电路)或其组合。

双像素图像数据402可以由例如双像素图像传感器300生成。系统400可以被配置为接收双像素图像数据402作为输入。双像素图像数据402可以包括使用双像素图像传感器300的双像素感光点的第一子组(例如，左感光点)生成的第一子图像404和使用双像素图像传感器300的双像素感光点的第二子组(例如，右感光点)生成的第二子图像406。取决于上下文，双像素图像数据402在本文中可以用来指(i)第一子图像404和第二子图像406或(ii)由第一子图像404和第二子图像406的组合产生的图像数据。

对焦图像模型408可以被配置为生成对焦图像414，其可以表示双像素图像数据402的其至少一部分被调整以提高聚焦程度的修改版本。当对焦图像模型408被训练到至少阈值水平的准确度(例如，通过损失函数426量化)时，对焦图像414可以表示双像素图像数据402的其大多数部分被带入聚焦(即，展现小于阈值程度的散焦模糊)的修改版本。例如，对焦图像414可以表示双像素图像数据402的基本上其所有部分都对焦的版本。对焦图像模型408可以包括对于对焦图像414的每个像素生成对应像素值的对应的数学模型。可以在训练期间调整该数学模型的一个或多个参数(例如，通过模型参数调整器438)来提高对焦图像414的准确性。

第一模糊核模型410可以被配置为生成第一(卷积)模糊核416，并且第二模糊核模型412可以被配置为生成第二(卷积)模糊核418。在某些情况下，单个模糊核模型可以被配置为生成表示第一模糊核416(例如，在模糊核图像的第一半部上)和第二模糊核418(例如，在模糊核图像的第二部分上)的单个模糊核图像。第一模糊核416和第二模糊核418中的每一个的模糊核模型可以基于用于生成双像素图像数据402的特定双像素相机设备的光圈形状，因此可以不依赖于场景。因此，第一模糊核模型410和第二模糊核模型412可以根据相应模糊核是否已经针对特定双像素相机设备预先确定/校准而变化。

在一些实施方式中，第一模糊核模型410可以包括对应的数学模型，该数学模型被配置为对于第一模糊核416的每个像素生成对应的像素值。类似地，第二模糊核模型412可以包括对应的数学模型，该数学模型被配置为对于第二模糊核418的每个像素生成对应的像素值。这些数学模型中的每一个的一个或多个参数可以在训练期间进行调整以提高第一模糊核416和/或第二模糊核418的准确性(例如，通过损失函数426量化)。例如，当相应的模糊核没有针对特定的双像素相机设备被预先确定/校准并因此是基于损失函数426生成的时，可以使用第一模糊核模型410和/或第二模糊核模型412的这样的实施方式。

在其他实施方式中，第一模糊核模型410可以包括第一模糊核416的一个或多个表示，其已经针对对应的一个或多个双像素相机设备被预先确定/校准。因此，第一模糊核模型410可以被配置为基于用于生成双像素图像数据402的特定双像素相机设备来选择第一模糊核416的这些表示中的一个。类似地，第二模糊核模型412可以包括已经针对对应的第一个或多个双像素相机设备被预先确定/校准的第二模糊核418的一个或多个表示。因此，第二模糊核模型412可以被配置为基于用于生成双像素图像数据402的特定双像素相机设备来选择第二模糊核418的这些表示中的一个。在某些情况下，第一模糊核模型410和/或第二模糊核模型412也可以被配置为分别细化所选择的第一模糊核416和/或第二模糊核418的表示作为训练过程的一部分，因此除了预先确定/校准的核的表示之外还可以包括对应的数学模型。

第一模糊核416和第二模糊核418中的每一个可以表示与用于生成双像素图像数据402的双像素相机设备的光学组件关联的对应点扩散函数(PSF)。特别地，第一模糊核416可以与第一子图像404关联，因为第一模糊核416可以表示与双像素图像传感器的第一(例如，左)感光点关联的PSF，而第二模糊核418可以与第二子图像406关联，因为第二模糊核418可以表示与双像素图像传感器的第二(例如，右)感光点关联的PSF。

第一模糊核416和第二模糊核418中的每一个的大小可以基于被成像的对象或其一部分的深度。因此，当双像素图像数据402包含位于相对于双像素相机设备不同深度的对象或其部分的表示时，双像素图像数据402的每个部分可以与已经被缩放到与对应深度关联的对应大小的第一模糊核416和第二模糊核418关联。

特别地，对焦图像414、双像素图像数据402和第一模糊核416之间的关系可以由

表示，其中，I₁(x)表示第一子图像404的特定像素，I(x)表示对焦图像414的对应像素，*表示卷积操作，并且

表示缩放到与由对焦图像414的对应像素表示的对应深度关联的半径的第一模糊核416。类似地，对焦图像414、双像素图像数据402和第二模糊核418之间的关系可以由

表示，其中，I₂(x)表示第二子图像406的特定像素，I(x)表示对焦图像414的对应像素，*表示卷积操作，并且

表示缩放到与由对焦图像414的对应像素表示的对应深度关联的半径的第二模糊核418。在某些情况下，这些等式可以通过包括例如高斯噪声项来附加地对噪声进行建模。

因此，系统400包括模糊核缩放器420，其被配置为(i)基于第一模糊核416生成第一多个缩放的模糊核422和(ii)基于第二模糊核418生成第二多个缩放的模糊核424。第一个多个缩放的模糊核422可以包括以多个不同的大小尺度(例如，1.0x、0.8x、0.6x、0.4x、0.2x、0.001x、-0.2x、-0.4x、-0.6x、-0.8x和-1.0x)表示的第一模糊核416。类似地，第二多个缩放的模糊核424可以包括以多个不同的大小尺度表示的第二模糊核418。

系统400可以被配置为将第一多个缩放的模糊核422和第二多个缩放的模糊核424应用于双像素图像数据402和/或对焦图像414，以对于双像素图像数据402的每个像素确定对应的大小尺度。特别地，双像素图像数据402、对焦图像414、第一多个缩放的模糊核422和第二多个缩放的模糊核424可以由损失函数426处理以生成深度图434和损失值436。损失函数426可以包括数据损失项428(其在图4B中更详细地示出)、等价损失项430(其在图4C中更详细地示出)和先验损失项432。双像素图像数据402的每个像素的对应大小尺度可以基于损失函数426的一个或多个项的输出来选择。由于每个大小尺度与对应的深度值关联，因此对于双像素图像数据402的每个像素选择对应的大小尺度还可以生成表示双像素图像数据402的每个像素的深度的深度图434。

模型参数调整器438可以被配置为基于损失值436和损失函数426生成参数调整440。特别地，参数调整440可以表示对对焦图像模型408、第一模糊核模型410和/或第二模糊核模型412的一个或多个参数的一个或多个改变。可以选择参数调整440以减小由系统400的后续处理迭代产生的损失值436。例如，模型参数调整器438可以被配置为(i)在与损失值436对应的点处和(ii)关于对焦图像模型408、第一模糊核模型410和/或第二模糊核模型412的参数基于损失函数426的梯度选择参数调整440。

因此，模型参数调整器438可以生成导致相继较低损失值436的参数调整440。系统400可以被配置为关于双像素图像数据402的每个实例训练对焦图像模型408、第一模糊核模型410和/或第二模糊核模型412的不同实例。因此，对焦图像模型408、第一模糊核模型410和/或第二模糊核模型412可以关于双像素图像数据402的每个实例被独立地改进、细化和/或优化，而不是针对包括双像素图像数据402的多个不同实例的训练数据集进行改进、细化和/或优化。

一旦完成对焦图像模型408、第一模糊核模型410和/或第二模糊核模型412的训练，对焦图像414、第一模糊核416和/或第二模糊核418就可用于生成和/或显示修改双像素图像数据402的一个或多个方面的图像数据。在一个示例中，生成的图像数据可以包括其一些部分的模糊程度被调整的双像素图像数据402。在某些情况下，可以减少双像素图像数据402的某些部分中的模糊，而可以增加双像素图像数据402的其他部分中的模糊。在其他情况下，可以使双像素图像数据402的所有部分聚焦，并且生成的图像数据因此可以等同于对焦图像414。在另一示例中，可以以深度感知的方式将对象的表示添加到双像素图像数据402。

五、示例数据损失项计算

图4B示出了损失函数426的数据损失项428的示例实施方式。第一多个缩放的模糊核422可以包括在多个不同的大小尺度表示第一模糊核416的缩放的模糊核442到缩放的模糊核444(即，缩放的模糊核442-444)，并且第二多个缩放的模糊核424可以在多个不同的大小尺度表示第二模糊核418的缩放的模糊核446到缩放的模糊核448(即，缩放的模糊核446-448)。

数据损失项428可以被配置为对于多个大小尺度中的每个相应大小尺度，基于以下的和462计算对应的和图像：(i)第一子图像404和对焦图像414与缩放的模糊核442-444的对应的缩放的模糊核的卷积450之间的差452的绝对值(由绝对值算子454确定)和(ii)第二子图像406和对焦图像414与缩放的模糊核446-448的对应的缩放的模糊核的卷积456之间的差458的绝对值(由绝对值算子460确定)。因此，数据损失项428可以实现函数

其中，I表示对焦图像414，I₁表示第一子图像404，I₂表示第二子图像406，

表示与相应的大小尺度关联的缩放的模糊核442-444中的缩放的模糊核，并且

表示与相应的大小尺度关联的缩放的模糊核446-448中的缩放的模糊核。

数据损失代价体积464可以通过堆叠与多个大小尺度中的每个相应的大小尺度对应的和图像来生成。因此，数据损失代价体积464可以具有与和图像(其可具有与对焦图像414相同的分辨率)的宽度对应的宽度W、与和图像的高度对应的高度H以及与多个大小尺度对应的深度D。损失值计算器466可以被配置为基于数据损失代价体积480确定数据损失值470和数据损失深度图468。特别地，损失值计算器466可以被配置为对于数据损失代价体积464的横截面的W个像素乘H个像素中的每个像素，从沿着代价体积464的深度的与相应像素在空间上对应的多个像素值选择最小像素值。此外，可以通过对对于相应像素选择的值求和来确定数据损失值470。

每个选择的像素值可以与相应像素的对应大小尺度关联。因此，损失值计算器466可以被配置为对于数据损失代价体积464的横截面的W个像素乘H个像素中的每个相应像素选择最有效地使相应像素去模糊的模糊核的对应大小尺度。此外，由于每个大小尺度可以与相对于用于捕获双像素图像数据402的双像素相机设备的特定深度对应，因此对于每个相应像素选择对应的大小尺度可以指示与相应像素关联的深度值。因此，数据损失值470和数据损失深度图468可以通过所描述的过程共同确定。

六、示例等价损失项计算

图4C示出了损失函数426的等价损失项430的示例实施方式。等价损失项430可以被配置为对于多个大小尺度中的每个相应大小尺度，基于下述的差476的绝对值(由绝对值算子478确定)计算对应的差图像：(i)第二子图像406与缩放的模糊核442-444中的对应的缩放的模糊核的卷积472和(ii)第一子图像404与缩放的模糊核446-448中的对应的缩放的模糊核的卷积474。因此，等价损失项430可以实现函数

其中，I₁表示第一子图像404，I₂表示第二子图像406，

表示与相应大小尺度关联的缩放的模糊核442-444中的缩放的模糊核，并且

表示与相应大小尺度关联的缩放的模糊核446-448中的缩放的模糊核。特别地，因为

并且

则

(由于卷积的交换性)，因此

或者等价地，

等价损失代价体积480可以通过堆叠与多个大小尺度中的每个大小尺度对应的差图像来生成。因此，等价损失代价体积480可以具有与差图像的宽度对应的宽度W、与差图像的高度对应的高度H和与多个大小尺度对应的深度D。损失值计算器482(其可以与损失值计算器466相同或相似)可以被配置为基于等价损失代价体积480来确定等价损失值486和等价损失深度图484。特别地，损失值计算器482可以被配置为对于等价损失代价体积480的横截面的W个像素乘H个像素中的每个像素，从沿着代价体积480的深度与相应像素在空间上对应的多个像素值中选择最小像素值。此外，等价损失值486可通过对对于相应像素选择的值求和来确定。

由于每个选择的像素值可以与相应像素的对应大小尺度关联，因此损失值计算器482可以被配置为对于等价损失代价体积480的横截面的W个像素乘H个像素中的每个像素，选择最有效地使相应像素去模糊的模糊核的对应大小尺度。此外，由于每个大小尺度可以与相对于用于捕获双像素图像数据402的双像素相机设备的特定深度对应，因此对于每个相应像素选择对应的大小尺度可以指示与相应像素关联的深度值。因此，等价损失值486和等价损失深度图484可以通过所描述的过程共同确定。

七、示例代价体积减少

图4D提供了代价体积及其减少(例如，通过损失值计算器466和/或482)到损失值的视觉图示。特别地，代价体积490可以表示例如数据损失代价体积464和/或或等价损失代价体积480。包括D个像素的深度维度可以对应于并基于第一模糊核416和第二模糊核418中的每一个被缩放到的大小尺度的数量。分别包括W个像素和H个像素的宽度和高度维度可以对应于并基于用于生成代价体积490的和图像(在数据损失项428的情况下)或差图像(在等价损失项430的情况下)中存在的像素的数量。

代价体积490可以沿着深度维度D减少以生成代价图像492。特别地，沿着代价体积490的W个像素乘H个像素的横截面的每个像素位置可以与沿着代价体积490的深度维度的D个空间上对应的像素关联。特别地，图4D示出了具有包括100个像素位置的横截面的代价体积490，每个像素位置与沿着深度维度的9个在空间上对应的像素关联，总共900个像素。代价体积490可以通过对于代价体积490的横截面的HxW(例如100)个像素位置中的每一个选择沿着深度维度的最小像素值而减少为代价图像492。例如，可以从作为代价体积490的一部分的以阴影图案指示的像素中选择最低值像素，从而产生代价图像492的对应像素值。

因此，代价图像492可以表示沿着代价体积490的HxW横截面的每个像素位置的最低值像素。由于每个最低值像素也与对应的大小尺度关联，而对应的大小尺度又与对应深度值的关联，因此代价图像492还可以表示并用于生成深度图(例如，数据损失深度图468和/或等价损失深度图484)。在某些情况下，深度图可以使用无单位值表示在其中的每个像素的相对深度。当与给定大小尺度关联的特定模糊核被映射到对应的物理深度时(例如，基于双像素相机设备的光学特性)，深度图可以附加地或替代地使用与物理单位(例如，米)对应的值来表示每个像素的深度。通过取代价图像492的所有像素值的和，可以将代价图像492进一步减少到代价值(表示例如数据损失值470和/或等价损失值486)。

回到图4A，损失值436可以表示例如数据损失值470、等价损失值486和/或由(一个或多个)先验损失项432生成的先验损失值的和。深度图434可以表示例如数据损失深度图468、等价损失深度图484或其组合。例如，深度图434可以表示数据损失深度图468和等价损失深度图484的逐像素平均。

(一个或多个)先验损失项432可以包括一个或多个等式，其进一步限定由系统400解决的优化问题的各方面以加速收敛到解和/或提高解的准确性。在一个示例中，(一个或多个)先验损失项432可以包括总变化去噪损失项，其被配置为确定(i)对焦图像414、(ii)第一模糊核416和/或(iii)第二模糊核418的总变化。例如，总变化去噪项可以被配置为计算对焦图像414、第一模糊核416和第二模糊核418中的每一个的总变化的和。图像信号y的总变化值可以例如根据∑_i,j|y_i＋1,j-y_i,j|+|y_i,j+1-y_i,j|表示，其中，图像信号y可以表示对焦图像414、第一模糊核416和/或第二模糊核418，并且其中，i和j表示像素坐标。

在第二示例中，(一个或多个)先验损失项432可以包括深度卷积先验损失项，其被配置为确定通过一个或多个人工神经网络生成和/或处理(i)对焦图像414、(ii)第一模糊核的416和/或(iii)第二模糊核418的结果。例如，可以通过参数化(i)对焦图像414、(ii)第一模糊核416和/或(iii)第二模糊核418来隐式地包括先验损失项，作为一个或多个人工神经网络的输出，例如，如下述论文所述：Dmitry Ulyanov等人撰写的题为“Deep ImagePrior”的论文(深度卷积先验因此可以被视为深度图像先验)，和/或Dongwei Ren等人撰写的题为“Neural Blind Deconvolution Using Deep Priors”的论文(因此，深度卷积先验可被视为盲反卷积先验)。基于神经网络处理的其他先验也是可能的。

在第三示例中，(一个或多个)先验损失项432可以包括深度损失项，其被配置为将(i)深度图434的一个或多个特征与(ii)对焦图像414的一个或多个对应特征进行比较。例如，深度损失项可以量化深度图434和对焦图像414中给定特征集(诸如边缘)的表示的空间对齐。因此，系统400可以被训练为生成彼此一致的对焦图像414和深度图434。

八、示例图像、核和深度图

图5提供了由系统400使用和/或生成的一些图像、核和深度图的视觉图示。特别地，图4示出了第一子图像404和第二子图像406，每个子图像都包含对象500和对象502的相应表示。在图像捕获期间，对象500可能已经位于双像素相机设备的焦深内，因此在第一子图像404和第二子图像406中都显得对焦。另一方面，对象502可能已经位于双像素相机设备的焦深之外(例如，超出焦深)，因此在第一子图像404和第二子图像406中都显得失焦(即，模糊)。对象502的外观差异在视觉上被夸大，并且提供了虚线参考线，以示出由于对象502失焦而导致的第一子图像404和第二子图像406之间的差异。

第一模糊核416和第二模糊核418被示为具有近似半圆形的形状，这可能是由于双像素相机设备具有圆形光圈导致的。其他光圈形状可以产生不同形状的模糊核。第一模糊核416和第二模糊核418未与第一子图像404和第二子图像406按比例绘制。第一模糊核416和第二模糊核418被示为每个都具有五个像素的半径，这可以以全尺度(即，1.0x)表示核。当第一模糊核416和/或第二模糊核418被缩放到例如0.6x时，缩放的第一模糊核416和/或第二模糊核418可以转而具有3像素的半径。

对焦图像414示出了均以对焦表示的对象500和对象502。特别地，对象500的外观没有被调整，因为它一开始是对焦的，但对象502的外观已被基于第一模糊核416和/或第二模糊核418调整为其一些部分与适当大小的模糊核卷积的结果。在深度图434中，更靠近双像素相机设备的特征用较浅的颜色指示(用白色表示最小深度)，而离开较远的特征用较暗的颜色指示(用黑色指示最大深度)。因此，深度图434指示对象500比对象502更靠近双像素相机设备。

九、示例图像和核模型参数化

图6示出了对焦图像模型408的示例实施方式。特别地，图6示出了实现为人工神经网络(ANN)600的对焦图像模型408，其可以替代地被称为多层感知器(MLP)。ANN 600包括输入层640、隐藏层650到660和输出层670。输入层640包括输入神经元641和642。隐藏层650包括神经元651、652、653、654和655到656。隐藏层660包括神经元661、662、663、664和665到666。输出层670包括神经元671、672和673。给定神经元可以被配置为计算前一层中神经元的输出的加权和并将激活函数应用于该计算的和，从而生成给定神经元的输出。

ANN 600可以被配置为对于对焦图像414的每个像素生成对应的红-绿-蓝(RGB)像素值。特别地，ANN 600可以被配置为在输入层640处接收一组像素坐标，其中，第n个像素的水平坐标x_n被提供给输入神经元641并且第n个像素的垂直坐标y_n被提供给输入神经元642。ANN 600可以被配置为基于水平和垂直坐标x_n和y_n在输出神经元671处生成对应的红色像素值V_RED、在输出神经元672处生成对应的蓝色像素值V_BLUE并且在输出神经元673处生成对应的绿色像素值V_GREEN。因此，当对焦图像414包括N个像素时，ANN 600可以被使用N次来对于形成对焦图像414的N个像素中的每个相应像素n生成对应的RGB像素值。使用ANN 600参数化对焦图像414可能是有益的，因为ANN 600可能由于其结构而固有地被配置为生成逼真且空间上一致的图像数据。

在一些实施方式中，ANN 600或其修改版本可用于实现第一模糊核模型410和/或第二模糊核模型412。特别地，在第一模糊核416和/或第二模糊核418的每个像素与单个值而不是RGB值关联的情况下，可以通过包括单个输出神经元而不是三个输出神经元来修改ANN 600。因此，修改的ANN 600可以被配置为基于第一模糊核416和/或第二模糊核418的第n个像素的水平和垂直坐标x_n和y_n，在输出神经元671处生成对应的像素值V_ＢLUR。因此，当第一模糊核416(或第二模糊核418)包括M个像素时，修改的ANN 600可被使用M次以对于形成第一模糊核416(或第二模糊核418)的M个像素中的每个相应像素n生成对应的像素值。

替代地，对焦图像414、第一模糊核416和/或第二模糊核418可以使用其他数学模型来参数化和生成。在一个示例中，对焦图像414、第一模糊核416和/或第二模糊核418可以使用网格参数化来表示，其中，每个像素值被直接和/或显示地表示。因此，对焦图像模型408、第一模糊核模型410和/或第二模糊核模型412可以存储例如定义和/或可用于生成对应图像的值的对应查找表，并且可在模型训练期间直接调整这些值。

十、附加示例操作

图7示出了与使用双像素图像数据生成对焦图像和/或模糊核相关的操作流程图。这些操作可以由计算设备100、计算系统200、双像素图像传感器300和/或系统400以及其他可能性和/或基于其输出来执行。图7的实施例可以通过去除其中所示的任何一个或多个特征来简化。此外，这些实施例可以与任何前述附图或以其他方式在本文中描述的特征、方面和/或实施方式结合。

框700可以涉及获得包括第一子图像和第二子图像的双像素图像数据。

框702可以涉及确定(i)对焦图像、(ii)与第一子图像对应第一模糊核和(iii)与第二子图像对应的第二模糊核。

框704可以涉及使用包括等价损失项或数据损失项中的一个或多个的损失函数来确定损失值：等价损失项被配置为确定(i)第一子图像与第二模糊核的卷积和(ii)第二子图像与第一模糊核的卷积之间的差，数据损失项被配置为确定(i)第一子图像和对焦图像与第一模糊核的卷积之间的差和(ii)第二子图像和对焦图像与第二模糊核的卷积之间的差的和。

框706可以涉及基于损失值和损失函数更新以下中的一个或多个：(i)对焦图像、(ii)第一模糊核或(iii)第二模糊核。

框708可以涉及基于以下中的一个或多个生成图像数据：(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核。

在一些实施例中，使用损失函数确定损失值可以包括接收与多个大小尺度对应的第一多个缩放的模糊核。第一多个缩放的模糊核可以基于第一模糊核生成。可以接收与多个大小尺度对应的第二多个缩放的模糊核。第二多个缩放的模糊核可以基于第二模糊核生成。可以通过对于多个大小尺度中的每一个确定等价损失项或数据损失项中的一个或多个的相应结果来生成代价体积。损失值可以基于代价体积来确定。

在一些实施例中，通过对于多个大小尺度中的每一个确定等价损失项的相应结果来生成代价体积可以包括通过基于以下之间的差对于多个大小尺度中的每一个确定相应的差图像来生成等价损失代价体积：(i)第一子图像与第二多个缩放的模糊核中的对应模糊核的卷积和(ii)第二子图像与第一多个缩放的模糊核中的对应模糊核的卷积。损失值可以包括基于等价损失代价体积确定的等价损失值。

在一些实施例中，相应的差图像可以具有H个像素的高度和W个像素的宽度。多个大小尺度可以包括D个大小尺度。等价损失代价体积的横截面可以包括H个像素乘W个像素，并且等价损失代价体积的深度可以包括D个像素。基于等价损失代价体积确定等价损失值可以包括：对于等价损失代价体积的横截面的H个像素乘W个像素中的每个相应像素，从沿着等价损失代价体积的深度与相应像素在空间上对应的D个像素值中选择最小像素值。可以基于对于等价损失代价体积的横截面的H个像素乘W个像素中的每个相应像素选择的最小像素值的和来确定等价损失值。

在一些实施例中，通过对于多个大小尺度中的每一个确定数据损失项的相应结果来生成代价体积可以包括通过基于下述的和对于多个大小尺度中的每一个确定相应的和图像来生成数据损失代价体积：(i)第一子图像和对焦图像与第一多个缩放的模糊核中的对应模糊核的卷积之间的差和(ii)第二子图像和对焦图像与第二多个缩放的模糊核中的对应模糊核的卷积之间的差。损失值可以包括基于数据损失代价体积确定的数据损失值。

在一些实施例中，相应的和图像可以具有H个像素的高度和W个像素的宽度。多个大小尺度可以包括D个大小尺度。数据损失代价体积的横截面可以包括H个像素乘W个像素，并且数据损失代价体积的深度可以包括D个像素。基于数据损失代价体积确定数据损失值可以包括对于数据损失代价体积的横截面的H个像素乘W个像素中的每个相应像素，从沿着数据损失代价体积的深度与相应像素在空间上对应的D个像素值中选择最小像素值。可以基于对于数据损失代价体积的横截面的H个像素乘W个像素中的每个相应像素选择的最小像素值的和来确定数据损失值。

在一些实施例中，多个大小尺度中的每一个可以与对应的深度关联。可以基于对焦图像的每个相应像素的代价体积来选择多个大小尺度中的对应大小尺度。与双像素图像数据关联的深度图可以基于对于对焦图像的每个相应像素选择的对应大小尺度来生成。

在一些实施例中，损失函数可以包括深度损失项，其被配置为将(i)深度图的一个或多个特征与(ii)对焦图像的一个或多个对应特征进行比较。

在一些实施例中，基于以下中一个或多个生成图像数据：(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核可以包括通过基于深度图修改与双像素图像数据的至少一部分关联的焦深来生成重对焦图像。可以显示重对焦图像。

在一些实施例中，对焦图像、第一模糊核和第二模糊核中的每一个可以通过对应的数学模型参数化并使用对应的数学模型生成。更新以下中的一个或多个：(i)对焦图像、(ii)第一模糊核或(iii)第二模糊核可以包括确定与损失值对应且关于对应的数学模型中的一个或多个的一个或多个参数的损失函数的梯度。对应的数学模型中的一个或多个的一个或多个参数可以基于损失函数的梯度来更新。更新的对焦图像可以使用更新的对应的数学模型来生成，更新的第一模糊核可以使用更新的对应的数学模型来生成，和/或更新的第二模糊核可以使用更新的对应的数学模型来生成。

在一些实施例中，与对焦图像对应的数学模型可以特定于双像素图像数据，使得与对焦图像对应的数学模型的至少一个参数的值可以不同于与不同的双像素图像数据对应的数学模型的至少一个对应参数的值。

在一些实施例中，被配置为参数化和生成对焦图像的对应的数学模型可以包括第一人工神经网络。生成对焦图像可以包括基于对焦图像的相应像素坐标通过第一人工神经网络并对于对焦图像的每个相应像素坐标，生成对应像素值。生成更新的对焦图像可以包括基于更新的对焦图像的相应像素坐标通过更新的第一人工神经网络并对于更新的对焦图像的每个相应像素坐标，生成更新的对应像素值。

在一些实施例中，被配置为参数化和生成第一模糊核和第二模糊核的特定模糊核的对应的数学模型可以包括第二人工神经网络。生成特定模糊核可以包括基于特定模糊核的相应像素坐标通过第二人工神经网络并对于特定模糊核的每个相应像素坐标，生成对应像素值。更新特定模糊核可以包括基于更新的特定模糊核的相应像素坐标通过更新的第二人工神经网络并对于更新的特定模糊核的每个相应像素坐标生成更新的对应像素值。

在一些实施例中，确定第一模糊核和第二模糊核可以包括识别已被用于生成双像素图像数据的特定相机设备，和基于特定相机设备获得已针对特定相机设备被校准的第一模糊核和已针对特定相机设备被校准的第二模糊核。

在一些实施例中，损失函数可以包括总变化去噪损失项，其被配置为确定(i)对焦图像、(ii)第一模糊核或(iii)第二模糊核中的一个或多个的总变化。

在一些实施例中，损失函数可以包括深度卷积先验损失项，其被配置为确定通过一个或多个人工神经网络对(i)对焦图像、(ii)第一模糊核或(iii)第二模糊核中的一个或多个的处理的结果。

在一些实施例中，可以使用损失函数并基于以下中的一个或多个更新损失值：(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核。可以确定更新的损失值低于阈值损失值。基于确定更新的损失值低于阈值损失值，可以基于(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核中的一个或多个生成图像数据。

在一些实施例中，可以获得包括第三子图像和第四子图像的第二双像素图像数据。可以确定第二对焦图像、与第三子图像对应的第三模糊核和/或与第四子图像对应的第四模糊核。可以使用包括等价损失项或数据损失项中的一个或多个的损失函数来确定第二损失值：等价损失项被配置为确定(i)第三子图像与第四模糊核的卷积和(ii)第四子图像与第三模糊核的卷积之间的差，数据损失项被配置为确定(i)第三子图像和第二对焦图像与第三模糊核的卷积之间的差和(ii)第四子图像和第二对焦图像与第四模糊核的卷积之间的差的和。基于第二损失值和损失函数，可以更新以下中的一个或多个：(i)第二对焦图像、(ii)第三模糊核或(iii)第四模糊核。可以基于以下中的一个或多个生成第二图像数据：(i)更新的第二对焦图像、(ii)更新的第三模糊核或(iii)更新的第四模糊核。可以显示第二图像数据。

十一、结语

就本申请中描述的特定实施例来说本公开不受限制，这些实施例旨在说明各个方面。可以在不偏离本公开的范围的情况下进行许多修改和变化，这对那些人来说是显而易见的。除了本文描述的方法和装置之外，在本公开的范围内的功能等同的方法和装置，根据前面的描述对于本领域技术人员来说将是显而易见的。这样的修改和变化旨在落入所附权利要求的范围内。

上面的详细描述参考附图描述了所公开的系统、设备和方法的各种特征和操作。在附图中，相似的符号通常标识相似的组件，除非上下文另有说明。本文描述和在附图中的示例实施例不打算进行限制。可以使用其他实施例，并且可以做出其他改变，而不背离本文呈现的主题的范围。将容易理解，本文一般地描述和在附中示出的本公开的各方面可以以各种不同的配置进行布置、替换、组合、分离和设计。

关于附图中以及本文讨论的任何或所有消息流图、场景和流程图，每个步骤、框和/或通信可以表示根据示例实施例对信息的处理和/或信息的传输。替代实施例包含在这些示例实施例的范围内。在这些替代实施例中，例如，被描述为步骤、框、传输、通信、请求、响应和/或消息的操作可以以与示出或讨论的顺序不同的顺序被执行。此外，更多或更少的框和/或操作可以与本文讨论的任何消息流图、场景和流程图一起使用，并且这些消息流图、场景和流程图可以部分地或全部地彼此组合。

表示对信息的处理的步骤或框可以与可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路对应。替代地或附加地，表示对信息的处理的框可以与程序代码(包括相关数据)的模块、段或部分对应。程序代码可以包括可由处理器执行的一个或多个指令，用于实现方法或技术中的特定逻辑操作或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上，诸如包括随机存取存储器(RAM)、盘驱动器、固态驱动器或其他存储介质的存储设备。

计算机可读介质还可以包括非暂态计算机可读介质，诸如存储数据断时间段的计算机可读介质，比如寄存器存储器、处理器高速缓存和RAM。计算机可读介质还可以包括存储程序代码/数据较长时间段的非暂态计算机可读介质。因此，例如，计算机可读介质可以包括辅助或持久性长期存储装置，比如只读存储器(ROM)、光盘或磁盘、固态驱动器、紧凑式盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。计算机可读介质例如可以被认为是计算机可读存储介质或有形存储设备。

此外，表示一个或多个信息传输的步骤或框可以与同一物理设备中的软件和/或硬件模块之间的信息传输对应。但是，其他信息传输可以在不同物理设备中的软件模块和/或硬件模块之间。

附图中示出的特定布置不应被视为限制性的。应理解，其他实施例可以包括给定附图中所示的每个元件的更多或更少。此外，所示元件中的一些可组合或省略。再另外，示例实施例可以包括附图中未示出的要素。

虽然本文已经公开了各个方面和实施例，但是其他方面和实施例对于本领域技术人员来说将是显而易见的。本文公开的各个方面和实施例是为了说明的目的而不是为了限制，真实的范围由随附权利要求指示。

Claims (20)

1.一种计算机实现的方法，包括：

获得包括第一子图像和第二子图像的双像素图像数据；

确定(i)对焦图像、(ii)与所述第一子图像对应第一模糊核和(iii)与所述第二子图像对应的第二模糊核；

使用包括等价损失项或数据损失项中的一个或多个的损失函数来确定损失值，所述等价损失项被配置为确定(i)所述第一子图像与所述第二模糊核的卷积和(ii)所述第二子图像与所述第一模糊核的卷积之间的差，所述数据损失项被配置为确定(i)所述第一子图像和所述对焦图像与所述第一模糊核的卷积之间的差和(ii)所述第二子图像和所述对焦图像与所述第二模糊核的卷积之间的差的和；

基于所述损失值和所述损失函数更新(i)所述对焦图像、(ii)所述第一模糊核或(iii)所述第二模糊核中的一个或多个；以及基于(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核中的一个或多个生成图像数据。

2.根据权利要求1所述的计算机实现的方法，其中，使用所述损失函数确定所述损失值包括：

接收与多个大小尺度对应的第一多个缩放的模糊核，其中，所述第一多个缩放的模糊核是基于所述第一模糊核生成的；

确定与所述多个大小尺度对应的第二多个缩放的模糊核，其中，所述第二多个模糊核是基于所述第二模糊核生成的；

通过对于所述多个大小尺度中的每一个确定所述等价损失项或所述数据损失项中的一个或多个的相应结果来生成代价体积；和

基于所述代价体积确定所述损失值。

3.根据权利要求2所述的计算机实现的方法，其中，通过对于所述多个大小尺度中的每一个确定所述等价损失项的相应结果来生成所述代价体积包括：

通过基于(i)所述第一子图像与所述第二多个缩放的模糊核中的对应模糊核的卷积和(ii)所述第二子图像与所述第一多个缩放的模糊核中的对应模糊核的卷积之间的差对于所述多个大小尺度中的每一个确定相应的差图像来生成等价损失代价体积，其中，所述损失值包括基于所述等价损失代价体积确定的等价损失值。

4.根据权利要求3所述的计算机实现的方法，其中，所述相应的差图像具有H个像素的高度和W个像素的宽度，其中，所述多个大小尺度包括D个大小尺度，其中，所述等价损失代价体积的横截面包括H个像素乘W个像素，其中，所述等价损失代价体积的深度包括D个像素，并且其中，基于所述等价损失代价体积确定所述等价损失值包括：

对于所述等价损失代价体积的横截面的H个像素乘W个像素中的每个相应像素，从沿着所述等价损失代价体积的深度与所述相应像素在空间上对应的D个像素值中选择最小像素值；和

基于对于所述等价损失代价体积的横截面的H个像素乘W个像素中的每个相应像素选择的所述最小像素值的和来确定所述等价损失值。

5.根据权利要求2-4中任一项所述的计算机实现的方法，其中，通过对于所述多个大小尺度中的每一个确定所述数据损失项的相应结果来生成所述代价体积包括：

通过基于(i)所述第一子图像和所述对焦图像与所述第一多个缩放的模糊核中的对应模糊核的卷积之间的差和(ii)所述第二子图像和所述对焦图像与所述第二多个缩放的模糊核中的对应模糊核的卷积之间的差的和对于所述多个大小尺度中的每一个确定相应的和图像来生成数据损失代价体积，其中，所述损失值包括基于所述数据损失代价体积确定的数据损失值。

6.根据权利要求5所述的计算机实现的方法，其中，所述相应的和图像具有H个像素的高度和W个像素的宽度，其中，所述多个大小尺度包括D个大小尺度，其中，所述数据损失代价体积的横截面包括H个像素乘W个像素，其中，所述数据损失代价体积的深度包括D个像素，并且其中，基于所述数据损失代价体积确定所述数据损失值包括：

对于所述数据损失代价体积的横截面的H个像素乘W个像素中的每个相应像素，从沿着所述数据损失代价体积的深度与所述相应像素在空间上对应的D个像素值中选择最小像素值；和

基于对于所述数据损失代价体积的横截面的H个像素乘W个像素中的每个相应像素选择的最小像素值的和来确定所述数据损失值。

7.根据权利要求2-6中任一项所述的计算机实现的方法，其中，所述多个大小尺度中的每一个与对应的深度关联，并且其中，所述计算机实现的方法还包括：

基于所述代价体积对于所述对焦图像的每个相应像素选择所述多个大小尺度中的对应大小尺度；和

基于对于所述对焦图像的每个相应像素选择的对应大小尺度来生成与所述双像素图像数据关联的深度图。

8.根据权利要求7所述的计算机实现的方法，其中，所述损失函数包括深度损失项，其被配置为将(i)所述深度图的一个或多个特征与(ii)所述对焦图像的一个或多个对应特征进行比较。

9.根据权利要求7-8中任一项所述的计算机实现的方法，其中，基于(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核中的一个或多个生成所述图像数据包括：

通过基于所述深度图修改与所述双像素图像数据的至少一部分关联的焦深来生成重对焦图像；和

显示所述重对焦图像。

10.根据权利要求1-9中任一项所述的计算机实现的方法，其中，所述对焦图像、所述第一模糊核和所述第二模糊核中的每一个通过对应的数学模型参数化并使用对应的数学模型生成，其中，更新(i)所述对焦图像、(ii)所述第一模糊核或(iii)所述第二模糊核中的一个或多个包括：

确定与所述损失值对应且关于所述对应的数学模型中的一个或多个的一个或多个参数的损失函数的梯度；

基于所述损失函数的梯度来更新所述对应的数学模型中的一个或多个的一个或多个参数；和

生成(i)使用更新的对应的数学模型更新的对焦图像、(ii)使用更新的对应的数学模型更新的第一模糊核或(iii)使用更新的对应的数学模型更新的第二模糊核中的一个或多个。

11.根据权利要求10所述的计算机实现的方法，其中，与所述对焦图像对应的数学模型特定于所述双像素图像数据，使得与所述对焦图像对应的数学模型的至少一个参数的值不同于与不同的双像素图像数据对应的数学模型的至少一个对应参数的值。

12.根据权利要求10-11中任一项所述的计算机实现的方法，其中：

被配置为参数化和生成所述对焦图像的对应的数学模型包括第一人工神经网络；

确定所述对焦图像包括基于所述对焦图像的相应像素坐标通过所述第一人工神经网络并对于所述对焦图像的每个相应像素坐标，生成对应像素值；和

生成更新的对焦图像包括基于更新的对焦图像的相应像素坐标通过更新的第一人工神经网络并对于更新的对焦图像的每个相应像素坐标，生成更新的对应像素值。

13.根据权利要求10-12中任一项所述的计算机实现的方法，其中：

被配置为参数化和生成所述第一模糊核和所述第二模糊核的特定模糊核的对应的数学模型包括第二人工神经网络；

确定所述特定模糊核包括基于所述特定模糊核的相应像素坐标通过所述第二人工神经网络并对于所述特定模糊核的每个相应像素坐标，生成对应像素值；和

更新所述特定模糊核包括基于更新的特定模糊核的相应像素坐标通过更新的第二人工神经网络并对于更新的特定模糊核的每个相应像素坐标生成更新的对应像素值。

14.根据权利要求1-12中任一项所述的计算机实现的方法，其中，确定所述第一模糊核和所述第二模糊核包括：

识别已被用于生成所述双像素图像数据的特定相机设备，

基于所述特定相机设备获得已针对所述特定相机设备被校准的第一模糊核和已针对所述特定相机设备被校准的第二模糊核。

15.根据权利要求1-14中任一项所述的计算机实现的方法，其中，所述损失函数包括总变化去噪损失项，其被配置为确定(i)所述对焦图像、(ii)所述第一模糊核或(iii)所述第二模糊核中的一个或多个的总变化。

16.根据权利要求1-15中任一项所述的计算机实现的方法，其中，所述损失函数包括深度卷积先验损失项，其被配置为确定通过一个或多个人工神经网络对(i)所述对焦图像、(ii)所述第一模糊核或(iii)所述第二模糊核中的一个或多个的处理的结果。

17.根据权利要求1-16中任一项所述的计算机实现的方法，还包括：

使用所述损失函数并基于(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核中的一个或多个更新所述损失值；

确定更新的损失值低于阈值损失值；和

基于确定更新的损失值低于所述阈值损失值，基于：(i)更新的对焦图像、(ii)更新的第一模糊核或(iii)更新的第二模糊核中的一个或多个生成所述图像数据。

18.根据权利要求1-17中任一项所述的计算机实现的方法，还包括：

获得包括第三子图像和第四子图像的第二双像素图像数据；

确定(i)第二对焦图像、(ii)与所述第三子图像对应的第三模糊核和(iii)与所述第四子图像对应的第四模糊核；

使用包括等价损失项或数据损失项中的一个或多个的损失函数来确定第二损失值，所述等价损失项被配置为确定(i)所述第三子图像与所述第四模糊核的卷积和(ii)所述第四子图像与所述第三模糊核的卷积之间的差，所述数据损失项被配置为确定(i)所述第三子图像和所述第二对焦图像与所述第三模糊核的卷积之间的差和(ii)所述第四子图像和所述第二对焦图像与所述第四模糊核的卷积之间的差的和；

基于所述第二损失值和所述损失函数，更新(i)所述第二对焦图像、(ii)所述第三模糊核或(iii)所述第四模糊核中的一个或多个；和

基于(i)更新的第二对焦图像、(ii)更新的第三模糊核或(iii)更新的第四模糊核中的一个或多个生成第二图像数据。

19.一种系统，包括：

处理器；和

在其上存储有指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-18中任一项所述的操作。

20.一种在其上存储有指令的非暂时性计算机可读介质，所述指令在由计算设备执行时使计算设备执行根据权利要求1-18中任一项所述的操作。

Images