CN110708469A - 用于适配曝光参数的方法和装置以及相应的相机曝光系统 - Google Patents

Abstract

公开了一种用于适配曝光参数的方法和装置以及相应的相机曝光系统。该方法包括：在与当前训练图像集相关联的当前迭代中确定下一帧曝光控制量；确定在与当前训练图像集相关联的下一迭代中的下一图像；向与当前训练图像集相关联的经验项集合中添加新的经验项；以及在当前迭代中，根据经验项集合中的至少一个经验项来更新曝光策略参数，曝光参数取决于在满足与包括当前训练图像集的至少一个训练图像集相关联的迭代终止条件时的曝光策略参数。该方法能够获得良好的曝光控制效果，允许使用不完美的图像检测器，并且能够在线地更新相关参数以适应新的场景。

Description

用于适配曝光参数的方法和装置以及相应的相机曝光系统

技术领域

本公开总体上涉及相机曝光控制的技术领域，并且具体地涉及一种用于适配曝光参数的方法和装置以及相应的相机曝光系统。

背景技术

在摄影(例如，人像摄影)、人机交互以及安防监控等场景中，相机的成像质量依赖于曝光参数的设置。

然而，相机自带的曝光控制通常无法很好地应对诸如逆光和光线剧烈变化等情况。

可以基于图像的亮度均值和图像直方图来调整图像的整体亮度。然而，在逆光等背景过亮的情况下，使图像的整体亮度适中反而会导致某些关注区域(例如，人脸部分)较暗，因此仍然难以拍摄出高质量的影像。

也可以先提取出图像中的关注区域，例如利用人脸检测算法提取出人脸区域，然后将曝光参数调整为使得关注区域的亮度值处于适当范围。然而，关注区域的检测算法(例如，人脸检测算法)通常是不完美的。例如，在图像中的关注区域(例如，人脸区域)由于尺寸较小或者质量较低(例如，分辨率很低)等原因而未被检测到或者未被准确框定的情况下，这样的基于图像的内容的相机曝光控制方式作出错误判断并提供不适当甚至错误的曝光参数。

期望提供一种曝光控制方案，其能够具有良好的曝光控制效果，允许使用不完美的关注区域检测器，并且能够在线地更新相关参数以适应新的场景。

发明内容

根据本公开的一方面，提供了一种用于适配曝光参数的方法(在下文中也被称为“第一方法”)，该方法可以包括：在与至少一个训练图像集中的当前训练图像集相关联的当前迭代中，根据当前的曝光策略参数、当前的随机探索噪声和上述当前训练图像集中的当前图像来确定下一帧曝光控制量；根据上述下一帧曝光控制量和上述当前图像来确定上述当前训练图像集中的在与上述当前训练图像集相关联的下一迭代中的下一图像；向与上述当前训练图像集相关联的经验项集合中添加新的经验项，所添加的经验项中的第一图像、曝光控制量和第二图像分别对应于上述当前图像、上述下一帧曝光控制量和上述下一图像；以及在上述当前迭代中，根据上述经验项集合中的至少一个经验项来更新上述曝光策略参数，上述曝光参数取决于在满足与上述至少一个训练图像集相关联的迭代终止条件时的曝光策略参数。

根据本公开的另一方面，提供了一种用于适配曝光参数的方法(在下文中也被称为“第二方法”)，该方法可以包括：根据曝光策略参数和前一帧图像来确定曝光控制量，上述曝光策略参数是根据上述第一方法获得的在满足与至少一个训练图像集相关联的迭代终止条件时的曝光策略参数；以及根据上述曝光控制量来确定用于拍摄当前帧图像的实际曝光参数。

根据本公开的另一方面，提供了一种计算机可读的非临时性存储介质，在其上存储有程序指令，上述程序指令在被执行时执行上述第一和/或第二方法的步骤。

根据本公开的另一方面，提供了一种用于适配曝光参数的装置，该装置可以包括至少一个处理器，上述至少一个处理器可以被配置为在工作时至少执行上述第一和/或第二方法。

根据本公开的另一方面，提供了一种相机曝光系统，该相机曝光系统可以包括：上述用于适配曝光参数的装置；以及传感器，被配置为接收外界光线以获得像素矩阵并根据经适配的曝光参数执行曝光处理。

通过根据本公开的实施例的方法和/或装置，能够获得良好的曝光控制效果，允许使用不完美的关注区域检测器，并且能够在线地更新相关参数以适应新的场景。

附图说明

图1示出根据本公开的实施例的用于适配曝光参数的示例方法100的流程图。

图2示出根据本公开的实施例的用于适配曝光参数的示例方法200的流程图。

图3示出根据本公开的实施例的用于适配曝光参数的示例装置ADT以及相应的相机曝光系统300的示例。

具体实施方式

下面结合附图来描述根据本公开的实施例的用于适配曝光参数的方法和装置以及相应的相机曝光系统的示例。

如图1所示，根据本公开的实施例的示例方法100可以包括外、内两层迭代。

外层的每次迭代可以分别针对至少一个训练图像集中的每个当前训练集X_s，每个当前训练图像集X_s可以包括至少一个训练用的图像(根据不同的实施例，可以包括但不限于彩色图像、单色图像、灰度图等)，其中，s从0开始以1为增量计数到M-1，M为自然数。在不同的实施例中，可以根据训练成本、设计要求、迭代结果的评价等不同方面的要求，将M设置为任何适当的值。例如，可以将M的值设置为1，从而只使用一个训练图像集中的图像来训练曝光策略参数θ^μ。

内层的每次迭代可以分别针对当前训练图像集X_s中的每个当前图像x_s，t，其中，t从0开始以1为增量计数到T-1，T为自然数。在一个实施例中，可以根据训练成本、设计要求、迭代结果的评价等不同方面的要求，选择任何适当长度的时间段，并且可以相应地确定该时间段上的至少一个时间点(例如，可以包括该时间段的起点和终点中的一者或两者)，然后可以根据时间点的数量确定T的值。在另一个实施例中，也可以根据当前训练图像集X_s中的元素的数量来确定T的值。

在不同的实施例中，不同的训练图像集可以具有相同或不同的T值。在本文中，为了描述上的方便，假设每个训练图像集X_s具有相同的T值，即每个内层迭代的最大次数是相同的。

在不同的实施例中，曝光策略参数θ^μ的初始值可以随机地任意设置，也可以基于历史数据或经验数据来设置。然后，可以通过外、内两层迭代来迭代地更新/调整曝光策略参数θ^μ的参数值。在满足外层迭代的迭代终止条件时的曝光策略参数θ^μ可以在随后实际的拍摄中被用于确定曝光参数。

如图1所示，内层的第t次迭代可以开始于步骤S110，以根据当前的曝光策略参数θ^μ、当前的随机探索噪声δ_s，t和当前训练图像集X_s中的当前图像x_s，t来确定下一帧曝光控制量u_s，t。

在一个实施例中，在步骤S110中，如下面的等式(1)所示，可以将当前图像x_s，t提供给采用曝光策略参数θ^μ作为相应参数的曝光策略函数或模型μ，然后可以使用当前的随机探索噪声δ_s，t来调整策略函数或模型μ的输出，从而确定下一帧曝光控制量u_t。

u_s，t＝μ(x_s，t|θ^μ)+δ_s，t (1)

这样，更新或训练曝光策略参数θ^μ也可以被描述为获得并训练曝光策略函数或模型μ。

根据本公开的实施例的曝光策略函数或模型μ可以根据需要而采用任何适当的策略函数或模型。例如，μ可以是数学上的函数，也可以是复杂的模型。根据所采用的曝光策略函数或模型μ，曝光策略参数θ^μ也可以具有相应的形式和/或内容。本公开不局限于任何特定类型或任何特定结构的策略函数或模型μ，也不局限于曝光策略参数θ^μ的任何特定的形式和/或内容。

例如，根据本公开的实施例的策略函数或模型μ可以是反映图像与曝光控制量之间的对应关系的函数。相应地，曝光策略参数θ^μ可以是反应这种对应关系的索引表或转换系数。

例如，根据本公开的实施例的策略函数或模型μ也可以是基于深度学习网络实现的模型。例如，该深度学习网络的至少输出层的激活函数可以是例如双曲正切函数这样的非线性激活函数。相应地，曝光策略参数θ^μ可以对应于该深度学习网络的网络参数。例如，在基于卷积神经网络来实现根据本公开的实施例的策略函数或模型μ的情况下，根据该实施例的曝光策略参数θ^μ可以包括该卷积神经网络的各个卷积层的卷积核。

在一个实施例中，下一帧曝光控制量u_s，t的值可以表示针对曝光参数的期望调整量或调整系数，并且值可以是任意的正数、负数或零。在另外的实施例中，下一帧曝光控制量u_s，t或者策略函数或模型μ的输出也可以表示经归一化的曝光补偿量或经归一化的曝光参数，并且因此可以具有[-1，1]范围内的值。

在步骤S110中确定出下一帧曝光控制量u_s，t之后，示例方法100的内层的第t次迭代可以继续到步骤S120，以根据下一帧曝光控制量u_s，t和当前图像x_s，t来确定当前训练图像集X_s中的在与当前训练图像集X_s相关联的第t+1次迭代(即，下一迭代)中的下一图像x_s，t+1。

在一个实施例中，在步骤S120中，可以通过转移函数或模型f来确定下一图像x_s，t+1，这样的转移函数或模型f可以表示与一个图像相对应的状态经过一个曝光控制量的作用而转移到与另一图像相对应的状态的概率的分布，如下面的等式(2)所示。

x_s，t+1＝f(x_s，t，u_s，t) (2)

另外，例如，在相机与环境模型未知的情况下，根据本公开的实施例的转移函数或模型f还可以考虑当前的不确定扰动量z_s，t，如下面的等式(3)所示。

x_s，t+1＝f(x_s，t，u_s，t，z_s，t) (3)

根据本公开的不同的实施例的转移函数或模型f可以是诸如马尔科夫决策过程模型中的转移模型这样的任何适当的转移函数或模型。本公开不局限于任何特定类型或形式的转移函数或模型。

然后，示例方法100的内层的第t次迭代可以继续到步骤S130，以根据当前图像x_s，t、下一帧曝光控制量u_s，t和下一图像x_s，t+1来生成一个经验项e_s，t＝(x_s，t，u_s，t，x_s，t+1)，并且可以将该经验项e_s，t添加到与当前训练图像集X_s相关联的经验项集合E_s中。

在一个实施例中，在步骤S130中，还可以确定与x_s，t和u_s，t相关联的立即回报r_s，t，并使得所生成的经验项e_s，t还包括该立即回报r_s，t，即，e_s，t＝(x_s，t，u_s，t，x_s，t+1，r_s，t)。

例如，可以根据下面的等式(4)来确定立即回报r_s，t：

r_s，t＝R(vit_s，t，vi_s，t，vft_s，t，vf_s，t，cf_s，t) (4)

其中，vit_s，t和vi_s，t分别表示x_s，t的全图目标亮度和全图当前亮度，vft_s，t、vf_s，t和cf_s，t分别表示x_s，t中的每个检测区域的区域目标亮度、区域当前亮度和检测置信度。在一个实施例中，可以将R(vit_s，t，vi_s，t，vft_s，t，vf_s，t，cf_s，t)设置为：

R(vit_s，t，vi_s，t，vft_s，t，vf_s，t，cf_s，t)＝λ₁(v_m-| vit_s，t-vi_s，t|)+λ₂∑((v_n-|vft_s，t-vf_s，t|)*cf_s，t) (5)

其中，λ₁和λ₂为权重，v_m和v_n为亮度常量，这些权重和常量的值可以根据需要适当的选择和设置。

在另外的实施例中，可以设置其他适当的立即回报函数R，而不必局限于上述的等式(4)或(5)的示例。

然后，示例方法100的内层的第t次迭代可以继续到步骤S140，以根据经验项集合E_s中的至少一个经验项来更新曝光策略参数θ^μ。

在一个实施例中，在步骤S140中，可以从经验项集合E_s中随机地选取例如N(N为任意的自然数)个经验项e_s，1’、e_s，2’、……、e_s，N’，其中，下标中的“1’”、“2’”...…“N'”表示所选取的N个经验项可以不是连续的。

然后，对于被抽取出来的每个经验项e_s，k’(1≤k≤N)，可以根据曝光评价参数θ^Q以及经验项e_s，k’中的x_s，k’和u_s，k’，确定出与x_s，k’和当前的曝光策略参数θ^μ相关联的相应长期影响L_s，k’。

在一个实施例中，如下面的等式(6)所示，可以将x_s，k’和u_s，k’提供给采用曝光评价参数θ^Q作为相应参数的曝光评价函数或模型Q。

L_s，k’＝Q(x_s，k’，u_s，k，|θ^Q) (6)

根据本公开的实施例的曝光评价函数或模型Q可以根据需要而采用任何适当的评价函数或模型。例如，Q可以是数学上的函数，也可以是复杂的模型。根据所采用的曝光评价函数或模型Q，曝光评价参数θ^Q也可以具有相应的形式和/或内容。本公开不局限于任何特定类型或任何特定结构的评价函数或模型Q，也不局限于曝光评价参数θ^Q的任何特定的形式和/或内容。

例如，根据本公开的实施例的曝光评价函数或模型Q可以采用动作值函数或者基于行动价值方法来构建。

在另外的示例中，根据本公开的实施例的曝光评价函数或模型Q可以根据下面的等式(7)来实现：

L_s，k’＝Q(x_s，k’，u_s，k，|θ^Q)＝E_μ[∑_k’≤j＜T(γ^j-k'r_s，j)] (7)

在等式(7)中，E_μ表示针对曝光策略参数θ^μ或者曝光策略函数或模型μ的数学期望(也可以被简称为“期望”，或者被称为“均值”)，作为基本的数学特征之一，本公开不对其作进一步的讨论。

γ为折扣因子，其表示与某个未来图像x_s，j和未来曝光控制量u_s，j相关联的未来回报r_s，j的重要程度。折扣因子γ的取值范围可以是[0，1]，其中，γ＝0意味着只考虑立即回报而不考虑未来回报，而γ＝1则意味着将立即回报和未来回报视为同等重要。可以根据需要选择适当的折扣因子的值，例如，γ＝0.9。

在等式(7)所示的方法中，可以基于x_s，k’和u_s，k’，通过上文中的等式(1)以及等式(2)或(3)迭代地计算出基于x_s，k’的所有未来图像和所有未来曝光控制量，并基于上文中的等式(4)或(5)计算出所有的未来回报，例如：

x_s，k’+1＝f(x_s，k’，u_s，k’，z_s，k’)，u_s，k’+1＝μ(X_s，k'+1|θ^μ)+δ_s，k'+1，

x_s，k’+2＝f(x_s，k’+1，u_s，k’+1，z_s，k’+1)，u_s，k'+2＝μ(X_s，k'+1|θ^μ)+δ_s，k'+2，

r_s，k’+1＝R(vit_s，k’+1，vi_s，k’+1，vft_s，k’+1，vf_sk’+1，cf_sk’+1)

r_s，k’+2＝R(vit_s，k’+2，vi_s，k’+2，vft_s，k’+2，vf_s，k’+2，cf_s，k’+2)

在另外的示例中，根据本公开的实施例的评价函数或模型Q也可以基于最优行动价值方法来构建，即，使用当前立即回报和所有未来回报中的最大者作为评价结果。

在另外的示例中，根据本公开的实施例的评价函数或模型Q也可以是可以基于深度学习网络实现的模型。例如，该深度学习网络的至少输出层的激活函数可以是例如ReLU函数这样的非线性激活函数。相应地，曝光评价参数θ^Q可以对应于该深度学习网络的网络参数。例如，在基于卷积神经网络来实现根据本公开的实施例的评价函数或模型Q的情况下，曝光评价参数θ^Q可以包括该卷积神经网络的各个卷积层的卷积核。

在步骤140中，在获得所选取的每个经验项e_s，k’的相应长期影响L_s，k’之后，可以进一步地根据相应长期影响L_s，k’对相应的经验项e_s，k’中的曝光控制量u_s，k’的导数与经验项e_s，k’中的曝光控制量u_s，k’对当前的曝光策略参数θ^μ的导数的乘积来确定经验项e_s，k’的相应导数值。然后，可以根据所选取的所有经验项的相应导数值的算术平均来确定用于更新曝光策略参数θ^μ的调整量。

例如，用于更新曝光策略参数θ^μ的调整量

可以近似为：

然后，可以使用调整量

调整曝光策略参数θ^μ，例如：

其中，α为调整系数，并且根据不同的实施例，α可以是任何适当的较小的正数，例如0.0001。

在满足外层迭代的迭代终止条件时的曝光策略参数θ^μ(在下文中也被表示为

)或者曝光策略函数或模型μ(在下文中也被表示为μ^*)可以在随后实际的拍摄中被用于确定曝光参数。

另外，示例方法100(例如，在步骤S140中)还可以包括：根据先前随机地选取N个经验项e_s，1，、e_s，2’、……、e_s，N’更新曝光评价参数θ^Q(或者说，曝光评价函数或模型Q的参数)。

在一个实施例中，对于所选择的每个经验项e_s，k，(1≤k≤N)，可以根据另一曝光策略参数θ^μ’和经验项e_s，k’中的图像x_s，k’+1来确定相应的另一曝光控制量u’_s，k’+1。

θ^μ’的初始值可以和曝光策略参数θ^μ的初始值相同。在一个实施例中，可以在示例方法100的初始化阶段(例如，开始执行外、内两层迭代之前)通过复制曝光策略函数或模型μ来获得另一曝光策略函数或模型μ’，并且相应地获得μ’的参数θ^μ’，其中，u’_s，k’+1＝μ’(x_s，k’+1|θ^μ')。

然后，可以根据另一曝光评价参数θ^Q’以及x_s，k’+1和u’_s，k’+1来确定与x_s，k’+1和当前的θ^μ’相关联的另一相应长期影响L’_s，k，+1。

θ^Q’的初始值可以和曝光评价参数θ^Q的初始值相同。在一个实施例中，可以在示例方法100的初始化阶段(例如，开始执行外、内两层迭代之前)通过复制曝光评价函数或模型Q来获得另一曝光策略函数或模型Q’，并且相应地获得Q’的参数θ^Q’，其中，L’_s，k’+1＝Q’(x_{s，k’+1，}u’_s，k’+1|θ^Q’)。

然后，可以根据折扣因子γ’以及分别与每个经验项e_s，k’相关联的立即回报r_s，k’、相应长期影响L_s，k’和另一相应长期影响L’_s，k’+1来确定评价误差Loss。例如，可以根据下面的等式来确定评价误差Loss：

其中，折扣因子γ’的取值范围可以是[0，1]，例如γ’＝0.9。

然后，可以所确定的评价误差Loss来更新或调整曝光评价参数θ^Q。

在另外的实施例中，还可以根据追踪比率τ、当前的θ^μ和当前的θ^μ’来更新θ^μ'，并且可以根据追踪比率τ、当前的θ^Q和当前的θ^Q’来更新θ^Q’，以便在下一次迭代中使用，例如：

θ^μ'←τθ^μ+(1-τ)θ^μ' (11)

θ^Q’←τθ^Q+(1-τ)θ^Q’ (12)

其中，追踪比率τ的取值范围可以是(0，1]，例如τ＝0.9。

在步骤S140结束之后，示例方法可以继续下一次(即，第t+1次)的内层迭代。在完成与当前的训练图像集X_s相关联的所有内层迭代之后，如果还存在另外的训练图像集X_s+1，则可以针对训练图像集X_s+1重复步骤S110至S140。

由此，通过示例方法100，可以在满足示例方法100的外层迭代的迭代终止条件时，获得能够在随后实际的拍摄中被用于确定曝光参数的曝光策略参数

或者曝光策略函数或模型μ^*。

图2示出根据本公开的实施例的示例方法200，该示例方法200用于根据例如通过图1所示的根据本公开的实施例的示例方法100所获得的曝光策略参数

或者曝光策略函数或模型μ^*来适配实际的曝光参数。

如图2所示，在示例方法200的步骤S210中，针对所拍摄的前一帧图像g_t-1，可以通过曝光策略参数

或者曝光策略函数或模型μ^*来获得曝光控制量u^* _t，例如：

如前文所述，曝光控制量u^* _t可以表示针对曝光参数的期望调整量或调整系数，并且值可以是任意的正数、负数或零。在另外的实施例中，曝光控制量u^* _t也可以表示经归一化的曝光补偿量或经归一化的曝光参数，并且因此可以具有[-1，1]范围内的值。

关于前一帧图像，例如，可以利用相机自带的曝光系统事先拍摄一帧图像，并将该帧图像作为最初的前一帧图像；也可以事先在相机系统中存储一个预定图像，并将该预定图像作为最初的前一帧图像。由于相机的拍摄过程是一个不断重复的过程，所以本公开不局限于最初的前一帧图像的获取方式。另外，根据不同的实施例，前一帧图像可以包括但不限于彩色图像、单色图像、灰度图等。

然后，示例方法200可以继续到步骤S220，以根据曝光控制量u^* _t来确定用于拍摄当前帧图像的实际曝光参数。

在一个实施例中，可以根据曝光控制量u^* _t确定初始曝光参数P’_t，并确定确定相机允许的曝光补偿值的最大范围。然后，可以根据初始曝光参数P’_t和最大范围来确定实际曝光补偿参数的值。

假设用于拍摄前一帧图像的实际曝光参数为P_t-1，则取决于u^* _t的含义和形式，确定用于拍摄当前帧图像的初始曝光参数P’_t的方式可以包括但不限于下列方式：

-例如，在u^* _t为增量型的调整系数的情况下，P’_t＝(1+u^* _t)P_t-1；

-例如，在u^* _t为调整系数的情况下，P’_t＝u^* _tP_t-1；

-例如，在u^* _t为调整量的情况下，P’_t＝P_t-1+u^* _t；

-例如，在u^* _t为经归一化的曝光参数的情况下，P’_t＝u^* _t。

例如，假设相机允许的曝光补偿值可以包括-2.0、-1.7、-1.3、-1.0、-0.7、-0.3、+0.3、+0.7、+1.0、+1.3、+1.7、+2.0这12个级别，并且u^* _t＝0.55表示经归一化的曝光补偿值，则可以将u^* _t＝0.55等比例地映射到[-2.0，+2.0]的范围内并获得值1.1，然后可以将相机实际允许的12个级别之中与1.1最接近的曝光补偿值+1.0作为用于拍摄当前帧图像的实际曝光参数。

例如，假设相机允许的曝光补偿值可以包括-2.0、-1.7、-1.3、-1.0、-0.7、-0.3、+0.3、+0.7、+1.0、+1.3、+1.7、+2.0这12个级别，在拍摄前一帧图像的曝光补偿值P_t-1＝+1.3，并且u^* _t＝0.6表示增量型的调整系数，则可以先计算出用于拍摄当前帧图像的初始曝光参数P’_t＝(1+u^* _t)P_t-1＝(1+0.6)*1.3＝2.08，然后从上述12个级别中选择与2.08最接近的曝光补偿值+2.0作为用于拍摄当前帧图像的实际曝光参数。

然后，可以适用所确定的实际曝光参数来拍摄当前帧图像，并且可以保存所拍摄的当前帧图像以便在拍摄下一帧图像时使用。

在上述的示例中，根据本公开的实施例的示例方法100和200被分别示出。在一个实施例中，可以在相机系统中只布置或实施执行示例方法200的程序指令。然后，可以事先或单独地通过示例方法100训练获得曝光策略参数

或者曝光策略函数或模型μ^*来适配实际的曝光参数，并且可以在需要时将

或μ^*更新到相机系统中。

在另外的实施例中，可以将示例方法100和200结合在一起，即，在相机系统中布置或实施执行示例方法100和200两者的程序指令，使得在根据示例方法200拍摄了当前帧图像之后再次调用示例方法100的程序指令，以对曝光策略参数或者曝光策略函数或模型μ^*进行再一次的在线训练或调整。在该实施例中，示例方法200还可以包括：提示用户是否调用示例方法100的程序指令，以便使用所拍摄的当前帧图像在线地调整曝光策略参数

或者曝光策略函数或模型μ^*；并且示例方法100也可以包括：在完成训练之后，向用户显示调整结果和相关评价(例如，曝光评价函数或模型Q的输出值)，并提示用户是否更新曝光策略参数

或者曝光策略函数或模型μ^*。

根据本公开的实施例的方法(示例方法100和200)能够处理/适配的相机曝光参数可以包括但不限于曝光时间、曝光增益等。

在一个实施例中，可以在一个或多个计算机可读取的非临时性存储介质上存储或实施能够执行上述方法的各个步骤的程序指令，使得这样的非临时性存储介质能够在被计算机或其他计算装置(例如处理器)读取时提供相应的程序指令，并使得计算机或其他计算装置能够根据所读取的程序指令执行相应的操作。根据不同的实施例，程序指令能够以诸如源代码、二进制代码、中间代码等各种形式或各种形式的不同组合而实施或存储在非临时性存储介质上。

图3示出根据本公开的实施例的用于适配曝光参数的示例装置ADT以及相应的相机曝光系统300的示例。如图3所示，根据本公开的实施例的相机曝光系统300可以包括传感器SENS和用于适配曝光参数的示例装置ADT。

根据本公开的实施例的装置ADT可以包括至少一个处理器PROC。处理器PROC可以被配置为在工作时至少执行示例方法200中的步骤，即，根据前一帧图像IMG和通过示例方法100获得的曝光策略参数确定曝光控制量，并根据曝光控制量来确定用于拍摄当前帧图像的实际曝光参数PRAM。在另外的实施例中，处理器PROC还可以被配置为在工作时至少执行示例方法100中的步骤，从而配合示例方法200的程序指令实现曝光策略参数的在线训练和调整。

处理器PROC可以包括例如中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等。在另外的实施例中，例如在基于深度学习网络来实现曝光策略模型的情况下，处理器PROC可以包括深度学习算法或模型专用的芯片(例如，可以包括乘加单元阵列和片上存储等部件)或片上处理器。

传感器SENS可以被配置为接收外界光线以获得像素矩阵并根据经适配的曝光参数PRAM执行曝光处理，并且可以包括用于实现这样的功能的通常的组件，例如可以包括透镜系统、光学传感器等。

应当理解，图3所示的结构仅是示例性的，而非限制性的。根据本公开的实施例的装置ADT和相机曝光系统300可以具有其他部件和/或结构。

例如，相机曝光系统300或装置ADT还可以包括I/O接口、网络接口和/或存储器，从而通过有线或无线地方式与其他部件或装置进行信息/数据交互。例如，可以通过相应的接口将当前的曝光策略参数和/或曝光评价参数传递到相机系统300或装置ADT的外部，并且可以从外部接收新的曝光策略参数和/或曝光评价参数并存储到相应的存储器中。

根据不同的实施例，相机系统300或装置ADT中的存储器可以包括各种形式的计算机可读写存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)、高速缓冲存储器(cache)、片上存储器等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪速存储器等。可读写存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件、或者任意以上的组合。在一个实施例中，存储器可以存储用于指示装置中的一个或多个处理器执行根据本公开的实施例的方法的步骤的程序指令。

通过根据本公开的实施例的方法和/或装置，能够获得良好的曝光控制效果，允许使用不完美的关注区域检测器，并且能够在线地更新相关参数以适应新的场景。

贯穿说明书和权利要求书，除非上下文清楚地另有要求，否则措词“包括”、“包含”等应当以与排他性或穷尽性的意义相反的包括性的意义来解释，也就是说，应当以“包括但不限于”的意义来解释。另外，措词“在本文中”、“上文”、“下文”以及相似含义的措词在本申请中使用时应当指作为整体的本申请，而不是本申请的任何具体部分。在上下文允许时，在使用单数或复数的以上描述中的措词也可以分别包括复数或单数。关于在提及两个或多个项目的列表时的措词“或”，该措词涵盖该措词的以下解释中的全部：列表中的任何项目，列表中的所有项目，以及列表中的项目的任何组合。另外，措词“第一”、“第二”等旨在用于区分，而不是用于强调次序或重要程度。

虽然已经描述了本公开的一些实施例，但是这些实施例仅作为示例而呈现，而不打算限制本公开的范围。实际上，在本文中所描述的方法和系统可以采用多种其他形式来实施。另外，可以在不脱离本公开的范围的情况下，在本文中所描述的方法和装置的形式上做出各种省略、替换和改变。

Claims (24)

1.一种用于适配曝光参数的方法，包括：

在与至少一个训练图像集中的当前训练图像集相关联的当前迭代中，根据当前的曝光策略参数、当前的随机探索噪声和所述当前训练图像集中的当前图像来确定下一帧曝光控制量；

根据所述下一帧曝光控制量和所述当前图像来确定所述当前训练图像集中的在与所述当前训练图像集相关联的下一迭代中的下一图像；

向与所述当前训练图像集相关联的经验项集合中添加新的经验项，所添加的经验项中的第一图像、曝光控制量和第二图像分别对应于所述当前图像、所述下一帧曝光控制量和所述下一图像；以及

在所述当前迭代中，根据所述经验项集合中的至少一个经验项来更新所述曝光策略参数，所述曝光参数取决于在满足与所述至少一个训练图像集相关联的迭代终止条件时的曝光策略参数。

2.根据权利要求1所述的方法，其中，确定所述下一图像包括：

通过转移模型来确定所述下一图像，所述转移模型表示与一个图像相对应的状态经过一个曝光控制量的作用而转移到与另一图像相对应的状态的概率的分布。

3.根据权利要求2所述的方法，其中，所述转移模型还考虑当前的不确定扰动量。

4.根据权利要求1所述的方法，其中，更新所述曝光策略参数包括：

对于所述至少一个经验项中的每个当前经验项，根据曝光评价参数以及所述当前经验项中的第一图像和曝光控制量来确定与所述当前经验项中的第一图像和当前的曝光策略参数相关联的相应长期影响；

根据所述相应长期影响对所述当前经验项中的曝光控制量的导数与所述当前经验项中的曝光控制量对当前的曝光策略参数的导数的乘积来确定所述当前经验项的相应导数值；以及

根据所述至少一个经验项中的所有经验项的相应导数值的算术平均来确定用于更新所述曝光策略参数的调整量。

5.根据权利要求4所述的方法，其中，与所述当前经验项中的第一图像和当前的曝光策略参数相关联的相应长期影响至少取决于与所述当前经验项中的第一图像和曝光控制量相关联的立即回报，所述立即回报取决于所述当前经验项中的第一图像的全图目标亮度和全图当前亮度以及所述当前经验项中的第一图像中的每个检测区域的区域目标亮度、区域当前亮度和检测置信度。

6.根据权利要求5所述的方法，其中，所述至少一个经验项中的每个当前经验项还包括与所包括的第一图像和曝光控制量相关联的立即回报。

7.根据权利要求5所述的方法，其中，确定与所述当前经验项中的第一图像和当前的曝光策略参数相关联的相应长期影响还包括：

根据转移模型和当前的曝光策略参数来迭代地确定基于所述当前经验项中的第一图像的所有未来图像和所有对应的未来曝光控制量，所述转移模型表示与一个图像相对应的状态经过一个曝光控制量的作用而转移到与另一图像相对应的状态的概率的分布；以及

确定所有的未来回报，每个未来回报与一个未来图像和对应的未来曝光控制量相关联并且取决于所述一个未来图像的全图目标亮度和全图当前亮度以及所述一个未来图像中的每个检测区域的区域目标亮度、区域当前亮度和检测置信度，所述相应长期影响还取决于所有的未来回报。

8.根据权利要求5所述的方法，其中，所述相应长期影响还取决于折扣因子，所述折扣因子的范围是[0,1]。

9.根据权利要求8所述的方法，其中，所述折扣因子的值为0.9。

10.根据权利要求5所述的方法，还包括：

对于所述至少一个经验项中的每个当前经验项，根据另一曝光策略参数和所述当前经验项中的第二图像来确定相应的另一曝光控制量，所述另一曝光策略参数的初始值和所述曝光策略参数的初始值相同；

根据另一曝光评价参数以及所述当前经验项中的第二图像和相应的另一曝光控制量来确定与所述当前经验项中的第二图像和所述另一曝光策略参数相关联的另一相应长期影响，所述另一曝光评价参数的初始值和所述曝光评价参数的初始值相同；

根据折扣因子以及分别与所述至少一个经验项中的每个经验项相关联的立即回报、相应长期影响和另一相应长期影响来确定评价误差，所述折扣因子的范围是[0,1]；以及

根据所述评价误差来更新所述曝光评价参数。

11.根据权利要求10所述的方法，其中，所述折扣因子的值为0.9。

12.根据权利要求10所述的方法，还包括：

根据追踪比率、所述曝光策略参数和所述另一曝光策略参数来更新所述另一曝光策略参数，所述追踪比率的范围是(0,1]；以及

根据所述追踪比率、所述曝光评价参数和所述另一曝光评价参数来更新所述另一曝光评价参数。

13.根据权利要求12所述的方法，其中，所述追踪比率的值为0.9。

14.根据权利要求4所述的方法，其中，根据所述曝光评价参数来确定所述相应长期影响包括：

通过采用所述曝光评价参数的深度神经网络来确定所述相应长期影响，所述深度神经网络的至少输出层的激活函数是非线性激活函数。

15.根据权利要求14所述的方法，其中，所述非线性激活函数是ReLU函数。

16.根据权利要求4所述的方法，还包括：

使用随机值初始化所述曝光评价参数。

17.根据权利要求1所述的方法，还包括：

使用随机值初始化所述曝光策略参数。

18.根据权利要求1至17中的任一项所述的方法，其中，确定所述下一帧曝光控制量包括：

将当前图像提供给采用所述曝光策略参数的深度神经网络，采用所述曝光策略参数的深度神经网络的至少输出层的激活函数是非线性激活函数；以及

使用当前的随机探索噪声来调整所述深度神经网络的输出，以确定所述下一帧曝光控制量。

19.根据权利要求18所述的方法，其中，采用所述曝光策略参数的深度神经网络的至少输出层的激活函数是双曲正切函数。

20.一种用于适配曝光参数的方法，包括：

根据曝光策略参数和前一帧图像来确定曝光控制量，所述曝光策略参数是根据权利要求1至19中的任一项所述的方法获得的在满足与至少一个训练图像集相关联的迭代终止条件时的曝光策略参数；以及

根据所述曝光控制量来确定用于拍摄当前帧图像的实际曝光参数。

21.根据权利要求20所述的方法，其中，根据所述曝光控制量来确定所述实际曝光参数包括：

根据所述曝光控制量确定初始曝光参数；

确定相机允许的曝光补偿值的最大范围；以及

根据所述初始曝光参数和所述最大范围来确定实际曝光补偿参数。

22.一种计算机可读的非临时性存储介质，在其上存储有程序指令，所述程序指令在被执行时执行根据权利要求1至21中的任一项所述的方法的步骤。

23.一种用于适配曝光参数的装置，包括：

至少一个处理器，被配置为在工作时至少执行根据权利要求1至21中的任一项所述的方法。

24.一种相机曝光系统，包括：

根据权利要求23所述的用于适配曝光参数的装置；以及

传感器，被配置为接收外界光线以获得像素矩阵并根据经适配的曝光参数执行曝光处理。

Images