CN110166701B - 自动曝光控制器、自动曝光控制方法及其系统 - Google Patents

Abstract

本申请提供一种自动曝光控制器、自动曝光控制方法及其系统。该自动曝光控制系统包括：摄像机，被配置以自一投影机提取输入影像；关注区域测定电路，被配置以测定输入影像的关注区域；深度解码器，耦接至摄像机以及关注区域测定电路；以及自动曝光控制器，耦接至该投影机、该摄像机以及该深度解码器。深度解码器被配置以产生输入影像的深度图，并依据输入影像的深度图、关注区域来决定解码率数值。自动曝光控制器包括：调整曝光电路，被配置以接收解码率数值以及检测结果，并依据解码率数值的变化重复地调整多个曝光参数。用以调整曝光参数的步阶值依据解码率数值的变化以及检测结果而定。

Description

自动曝光控制器、自动曝光控制方法及其系统

技术领域

本发明涉及一种控制自动曝光的方法、自动曝光控制器以及自动曝光控制系统，且特别涉及一种结构光深度感知的控制自动曝光的方法、自动曝光控制器以及自动曝光控制系统。

背景技术

电子装置，特别是配备有摄像机以及感测器的电子装置，被广泛地实际应用于现实生活中。执行于电子装置的自动曝光演算法用以自动地调整曝光参数，从而提高电子装置于深度感知应用方便的效能。现有的自动曝光演算法多以处理单一曝光设定或参数(例如提取影像强度)来执行。然而，单一曝光设定或参数并不足以使现有的自动曝光演算法来处理多样化的问题，例如亮度改变以及场景改变、目标对象的深度改变(例如近距目标与远距背景)、目标对象的表面特性差异(例如材料、反射率、颜色等)、噪声、运动模糊等影响解码质量的因素。

因此，我们需要可在深度感知方面增进解码质量的感知深度的自动曝光控制方法。

发明内容

据此，本发明提供在深度感知应用方面增进解码质量的自动曝光控制方法以及自动曝光控制系统。

本发明所提出的自动曝光的控制方法包括以下步骤：接收输入影像；接收输入影像的解码率数值，其中解码率数值依据输入影像的深度图以及关注区域而定；确认输入影像的场景是否改变以得到检测结果；以及依据解码率数值的变化依序调整多个曝光参数。调整曝光参数的步阶值依据解码率数值的变化以及检测结果而定。

本发明还提出一种自动曝光控制系统，其包括摄像机、关注区域测定电路、深度解码器以及自动曝光控制器。摄像机被配置以提取输入影像。关注区域测定电路被配置以测定输入影像的关注区域。深度解码器被配置以依据输入影像的深度图以及关注区域来决定解码率数值。自动曝光控制器包括场景改变检测电路以及曝光调整电路，场景改变检测电路用以接收输入影像以及检测输入影像的场景是否改变，并得到检测结果，曝光调整电路则耦接至场景改变检测电路。曝光调整电路接收解码率数值以及检测结果，并依据解码率数值的变化依序地调整多个曝光参数。调整曝光参数的步阶值依据解码率数值的变化以及检测结果而定。

基于上述，曝光参数依据解码率以及其他条件(例如场景改变条件)被有效地调整。曝光参数设定组合可以增进解码率数值，从而改善深度感知应用的自动曝光控制效能。再者，关注区域的选择与步阶值可进一步提高自动曝光控制方法的效能。

附图说明

附图为增进对本发明的理解而合并在说明书中，并构成说明书的一部分。附图示出本发明的实施例，且与说明内容一起解释本发明的原理。

图1示出包含自动曝光控制器的自动曝光控制系统的方块图，AE控制器依据本发明实施例来提取结构光影像。

图2为依据本发明实施例示出的加权解码率范例。

图3A为依据本发明实施例的曝光调整电路方块图。

图3B为依据本发明实施例示出的解码率数值与曝光参数的关联范例。

图4为依据本发明实施例的自动曝光控制方法流程方块图。

图5为依据本发明实施例的自动曝光控制方法流程图。

附图标记说明：

100：AE控制系统

110：摄像机

120：ROI测定电路

130：深度解码器

140：AE控制器

142：曝光调整电路

144：场景改变检测电路

150：投影机

342：曝光调整电路

3421：初始状态电路

3422：模拟增益调整电路

3423：曝光时间调整电路

3424：投影功率调整电路

B1～B3、B1’～B3’：区块

D：深度图

IF：输入影像

P1、P2：参数

R、R’：区域

S401～S406、S4031～S4033：步骤S501S505：步骤

W：权重图

w1～w3：权重

具体实施方式

本发明透过下述实施例并参考附图来说明。其中，附图仅就本发明的结构及方法、透过描述部件与组合的关联来简略地表示出目的。因此，图中物件并非以实际的数量、实际形状、实际尺寸来精准表示，亦非以实际比例来表示。为了能更好地呈现，部分尺寸或尺寸比例已被放大或简化。实际数量、实际形状、或实际尺寸比例可选择形地设计或设置，其细节部件部局可能更加复杂。

请参考图1，自动曝光(auto exposure,AE)控制系统100包括摄像机110、关注区域(region of interest,ROI)测定电路120、深度解码器130、AE控制器140以及投影机150。摄像机110被配置以提取输入影像IF，并将输入影像IF提供至深度解码器130以及AE控制器140。摄像机110可以是提取红外线影像或近红外线影像的红外线(IR)摄像机，但本发明不以此为限。任何类型的摄像机以及摄像机所提取的任何格式的输入影像均在本申请范围内。

投影机150可投影出可见光或不可见光束，或固定数量的可见光点或不可见光点，以支持摄像机110拍摄输入影像或支持输入影像的深度值定义。在一示范例中，投影机150能以红外线光束或特殊功率的激光光束形式，将结构光图案投影至投影机150的前方环境中；并且摄像机110可提取反射自物体的结构光图案，以产生输入影像。

深度解码器130接收来自摄像机110的输入影像，并解码输入影像以产生深度图D，深度图D包含输入影像的多个深度值。深度解码器130也可对当前输入影像的深度图D与先前输入影像的深度图进行比较，以得到深度差异图。深度差异图显示出输入影像的深度值变化。深度解码器130可以区块或像素为基础的解码输入影像，以产生以区块为基础的深度图或以像素为基础的深度图或两者均有。由深度解码器130所产生的深度图D可提供至ROI测定电路120。本发明并不对用以解码输入影像的深度解码器130所使用的演算法加以限制。

ROI测定电路120可依据输入影像的曝光参数自动测定特定的ROI。举例来说，阴影区域或具有低反射率的一些物体可能会影响深度感测精确度的效能。因此，这些区域应自ROI移除。ROI测定电路120可测定输入影像中曝光不足区域以及过度曝光区域，并移除曝光不足区域以及曝光过度区域以得到ROI。过度曝光区域可具有大于非零曝光门槛值的曝光值，曝光不足区域可具有小于非零曝光门槛值的曝光值。或者，过度曝光区域以及曝光不足区域可依据强度、亮度或输入影像的任何其他参数而定。

在另一实施例中，ROI测定电路120可接收具有结构光图案的第一影像以及具有结构光图案的第二影像，其中第一影像是在投影机150的最高功率下提取的，第二影像则是在投影机150的最低功率下提取的。然后，ROI测定电路120移除第一影像中曝光不足的区域，以及第二影像中过度曝光的区域，并结合解码结果来测定ROI。

此外，ROI测定电路120可进一步移除ROI中曝光良好、但几乎不解码的区域。由于硬件效能的限制及各种原因，深度解码器130即使在正常曝光的情形下也可能不会感测出深度值。因此，本应用中的ROI测定电路120可进一步移除ROI中几乎不解码的区域，以增进AE控制系统100的效能。

ROI测定电路120也可采用使用者定义区域来测定ROI。举例来说，ROI测定电路120可依据使用者定义区域、解码结果、过度曝光区域以及曝光不足区域来测定ROI。ROI可经由权重图W来呈现。要注意的是，用来表现ROI的权重图W可以是以区块为基础的或以像素为基础的权重图。

在本发明的一实施例中，当AE控制系统100启动或输入影像的场景改变时，ROI测定电路120被触发以测定输入电压的ROI。

深度解码器130可依据深度值(例如深度图D)与ROI(例如权重图W)来产生解码率数值。输入图像的一些像素可能未检测出深度值，而解码率数值与检测出深度值的像素的数量成比例。举例来说，如果深度解码器130以区块为基础(每一区块有n个像素)来执行，其中n个像素中仅有p个像素的深度值被检测到(p小于等于n)，则解码率数值依据p值以及特定区块所对应的权重值而定。深度解码器130可产生可检测深度图，该图显示在各区块中的其深度值被检测出的像素的数量。可检测深度图与ROI用以加权解码率。

AE控制器140包括曝光调整电路142以及场景改变检测电路144。场景改电检测电路144耦接摄像机110以接收摄像机110所提取的输入影像IF，并被配置以检测输入影像IF中的场景变化。场景改变检测电路144可应用移动检测演算法以确认输入影像的场景是否改变。或者，场景改变检测电路144可依据解码率数值的改变、深度值的改变、输入影像的强度的改变或其组合，来确认输入影像的改变。举例来说，如果解码率数值的改变大于解码率门槛值，则场景改变检测电路144可确认输入影像的场景已经改变。如果深度值的变化大于深度值门槛值，则场景改变检测电路144可确认输入影像的场景已经改变。如果输入影像IF其整体强度变化大于预定门槛值，则场景改变检测电路144可确认输入影像IF的场景已经改变。

曝光调整电路142耦合至深度解码器130与场景改变检测电路144，以接收来自深度解码器130的解码率数值以及场景改变确认结果。曝光调整电路142被配置以依据解码率数值以及场景改变确认结果来调整曝光参数。曝光参数可包括控制投影机150的参数P1以及控制摄像机110的参数P2。参数P1可包括投影机功率，参数P2可包括模拟增益以及曝光时间。在一实施例中，投影机150包括激光二极管光源(图中未示)，投影机功率包括激光二极管功率。

参照图1以及图2，权重图W由ROI测定电路120提供，可检测深度图D1由深度解码器130提供。权重图W以及可检测深度图D1可以以区块为基础图，可检测深度图D1指示出其深度值可检测的n个像素中每个区块所占像素数量。权重图W指示出由ROI测定电路120所测定的ROI区域。举例来说，在可检测深度图D1的区域R’中，区块B1’具有p1个测得深度的像素，区块B2’具有p2个测得深度的像素，区块B3’具有p3个测得深度的像素。权重图W具有对应可检测深度图D1中区域R’的区域R，区域R具有区块B1、B2以及B3，其相当于可检测深度图D1中区域R’的区块B1’、B2’以及B3’。区块B1、B2以及B3的权重分别为w1、w2以及w3。对应的区域R的解码率权重(Decode rate weight)以下列公式来计算：

解码率数值可依据区域R的解码率权重以及区域R的深度值而定。计算出的解码率数值用来调整曝光参数P1、P2的值。

图3A示出本发明一实施例的曝光调整电路342。曝光调整电路342可包括初始状态电路3421、模拟增益调整电路3422、曝光时间调整电路3423以及投影功率调整电路3424。初始状态电路3421被配置以产生曝光参数的初始值，曝光参数例如模拟增益、曝光时间以及投影功率，初始状态电路3421并将初始参数提供至模拟增益调整电路3422、曝光时间调整电路3423以及投影功率调整电路3424。

模拟增益调整电路3422、曝光时间调整电路3423以及投影机功率调整电路3424被配置为依据在梯度下降法下的解码率，以特定步阶值来调整模拟增益值、曝光时间以及投影机功率，其中特定步阶值依据解码率数值以及场景改变确认结果而定。解码率与模拟增益、曝光时间，或投影功率之间的关联依据如图3B所示的凸状曲线。模拟增益调整电路3422可反复地调整模拟增益值直到得到最大的解码率数值。一旦此调整模拟增益的程序完成，曝光时间调整电路3423即依据梯度下降法下的解码率反复地调整曝光时间值直到得到最大的解码率数值。一旦此调整曝光时间的程序完成，投影功率调整电路3424即依据梯度下降法下的解码率反复地调整投影功率值直到得到最大的解码率数值。

如此，曝光参数依据解码率数值被依序地调整。此外，为使解码率最大化，每个曝光参数依据解码率数值被反复地调整。在图3A中，调整的顺序为模拟增益、曝光时间，然后是投影功率，然而本发明并不对调整曝光参数的顺序做任何限定。

图4示出本发明的一实施例的AE控制方法的流程图。在步骤S401中，初始化包括初始化模拟增益、曝光增益以及投影功率等多个曝光参数。在步骤S402中，将大步阶值指定给在梯度下降法下的步阶值，并且在步骤S403中，依据基于大步阶值的解码率数值调整每一曝光参数。梯度下降法下的步阶值被指定为一大的数量，以使系统能够快速地趋近解码率的最大值。步骤S403包括子步骤S4031至S4033，其中子步骤S4031用以调整模拟增益，子步骤S4032用以调整曝光时间，子步骤S4033用以调整投影功率。

当调整模拟增益、曝光时间以及投影功率的程序于步骤S403完成时，步骤S404的场景改变检测启动，以检测输入影像的场景是否改变。场景改变的确认依据移动检测、解码率的变化、深度值的变化或强度变化而定，也可以依据上述组合而定。如果输入影像的场景改变，则步骤S401至S403再次执行。

当输入影像的场景未改变时，步骤S405启动以确认是否得到稳定状态。稳定状态可依据解码率的变化而定。如果解码率的变化小于预定门槛值，则得到稳定状态，否则当解码率的变化大于或等于预定门槛值时，稳定状态未得到。如果得到稳定状态，则步骤S406启动，梯度下降法下的步阶值就会被指定为一小的值，使系统能精准调整曝光参数值以取得解码率的最大值。于步骤S403中需注意，曝光参数被依序地调整，但本发明并不对参数的调整顺序做任何的限制。

在步骤S405中，假设稳定状态未得到时，则返回步骤S402，梯度下降法的步阶值被设定为一大的值，并且步骤S403的程序以大的值来执行。

参照图5，其示出本发明的一实施例的AE控制方法。在步骤S501中，接收具有结构光图案的输入影像；在步骤S503中，接收输入影像的解码率，其中解码率式依据输入影像的深度图以及输入影像的关注区域(ROI)而定；输入影像的ROI区域可依据使用者定义区域、曝光值以及深度图而定。

在步骤S505中，依据解码率参数的变化依序地调整多个曝光参数，其中调整曝光参数的步阶值依据解码率数值的变化以及指示输入影像的场景是否改变的检测结果而定。

在本发明的实施例中，曝光参数依据解码率以及例如场景改变的其他条件被有效地调整。曝光参数设定群可在深度感知方面改进AE控制的解码率数值。进而，挑选并移除ROI中低反射、几乎不解码的区域，从而排除这些区域对AE控制效能所造成的负面影响。设定用以调整曝光参数的步阶值可快速而精准地设置曝光参数以使解码率最大化，从而增进AE控制方法的效能。

对本领域的技术人员来说很显而易见的是，在不脱离本发明的范围和精神下，可对本发明的结构进行各种的修改与变化。在前述观点下，可预期在本申请权利要求范围及其均等范围内所做的修改和变化也落入本发明范畴。

Claims (18)

1.一种自动曝光的控制方法，包括：

接收具有一结构光图案的一输入影像；

接收该输入影像的一解码率数值，该解码率数值依据该输入影像的一深度图以及该输入影像的一关注区域而定；以及

依据该解码率数值的变化依序调整多个曝光参数；

其中，用以调整该多个曝光参数的一步阶值依据该解码率数值的变化以及指示该输入影像的场景是否改变的一检测结果而定。

2.如权利要求1所述的自动曝光的控制方法，其中该多个曝光参数包括一投影功率、一模拟增益以及一曝光时间，其中该投影功率用以控制一投影机，该模拟增益以及该曝光时间用来控制一摄像机。

3.如权利要求1所述的自动曝光的控制方法，其中该多个曝光参数依据该解码率数值的变化来调整，该解码率数值的变化则基于一梯度下降法。

4.如权利要求3所述的自动曝光的控制方法，还包括：

确认该输入影像的场景是否改变以得到该检测结果，其中依据该解码率数值的变化依序调整该多个曝光参数的步骤包括：

如果该输入影像的场景改变，初始化该多个曝光参数的数值，并依据该解码率数值的变化，以一第一步阶值反复地调整该多个曝光参数；以及

如果该输入影像的场景未改变，则确认是否得到一稳定状态。

5.如权利要求4所述的自动曝光的控制方法，其中当该解码率数值的变化大于一第一预定门槛值，或一深度平均值的变化大于一第二预定门槛值，又或一强度值的变化大于一第三预定门槛值时，该输入影像的场景改变。

6.如权利要求4所述的自动曝光的控制方法，其中确认是否得到该稳定状态的步骤包括：

确认该解码率数值的变化是否大于或等于一第四预定门槛值；

当该解码率数值的变化大于或等于该第四预定门槛值时，则得到该稳定状态；以及

当该解码率数值的变化小于该第四预定门槛值时，则未得到该稳定状态。

7.如权利要求4所述的自动曝光的控制方法，还包含：

如果未得到该稳定状态，依据该解码率数值的变化以该第一步阶值反复调整该多个曝光参数；以及

如果得到该稳定状态，依据该解码率数值的变化以一第二步阶值重复调整该多个曝光参数，其中该第二步阶值小于该第一步阶值。

8.如权利要求1所述的自动曝光的控制方法，还包含：

提取具有一结构光图案的一第一影像、一第一投影功率、具有该结构光图案的一第二影像，以及一第二投影功率，其中该第一投影功率为所能提供的最高投影功率，该第二投影功率为所能提供的最低投影功率；

移除该第一影像以及第二影像中的一过度曝光区域以及一曝光不足区域，得到一余留区域，其中该过度曝光区域具有大于一第一曝光门槛值的曝光值，以及该曝光不足区域具有小于一第二曝光门槛值的曝光值；以及

依据该解码率数值在该余留区域选择该关注区域。

9.如权利要求8所述的自动曝光的控制方法，还包含：

得到一使用者定义区域；以及

依据该解码率数值以及该使用者定义区域，在该余留区域中选择该关注区域。

10.一种自动曝光的控制系统，包括：

一摄像机，被配置用以自一投影机提取具有一结构光图案的一输入影像；

一关注区域测定电路，被配置以测定该输入影像的关注区域；

一深度解码器，耦接至该摄像机以及该关注区域测定电路，被配置用以产生该输入影像的一深度图，以及依据该输入影像的该深度图与该输入影像的该关注区域决定一解码率数值；以及

一自动曝光控制器，耦接至该投影机、该摄像机以及该深度解码器，包括：

一曝光调整电路，接收该解码率数值以及一检测结果，并依据该解码率数值的变化依序地调整多个曝光参数，其中调整该多个曝光参数的步阶值依据该解码率数值的变化以及指示该输入影像的场景是否改变的该检测结果而定。

11.如权利要求10所述的自动曝光的控制系统，其中该多个曝光参数包括一投影功率、一模拟增益以及一曝光时间，其中该投影功率用以控制该投影机，该模拟增益以及该曝光时间用以控制该摄像机。

12.如权利要求10所述的自动曝光的控制系统，其中该曝光调整电路依据该解码率数值的变化来调整该多个曝光参数，该解码率数值的变化则基于一梯度下降法。

13.如权利要求12所述的自动曝光的控制系统，该自动曝光控制器还包括：

一场景改变检测电路，接收该输入影像并检测该输入影像的场景是否改变以得到该检测结果；

其中，如果该输入影像的场景已改变，该曝光调整电路初始化该多个曝光参数，并依据该解码率数值的变化，以一第一步阶值来重复地调整该多个曝光参数；以及

如果该输入影像的场景未改变，该曝光调整电路确认得到一稳定状态。

14.如权利要求13所述的自动曝光的控制系统，其中当该解码率数值的变化大于一第一预定门槛值或一深度平均值的变化大于一第二预定门槛值，又或一强度值的变化大于一第三预定门槛值时，该输入影像的场景改变。

15.如权利要求13所述的自动曝光的控制系统，其中该曝光调整电路更进一步被配置以：

确认该解码率数值的变化是否大于或等于一第四预定门槛值；

当该解码率数值的变化大于或等于该第四预定门槛值时，则得到该稳定状态；以及

当该解码率数值的变化小于该第四预定门槛值时，则未得到该稳定状态。

16.如权利要求13所述的自动曝光的控制系统，其中如果未得到该稳定状态，该曝光调整电路依据该解码率数值的变化以该第一步阶值反复调整该多个曝光参数；以及如果得到该稳定状态，该曝光调整电路依据该解码率数值的变化以一第二步阶值重复调整该多个曝光参数，其中该第二步阶值小于该第一步阶值。

17.如权利要求10所述的自动曝光的控制系统，其中该摄像机更进一步被配置以提取具有一结构光图案的一第一影像、一第一投影功率、具有该结构光图案的一第二影像，以及一第二投影功率，其中该第一投影功率为该投影机所提供的最高投影功率，该第二投影功率为该投影机所提供的最低投影功率；以及该关注区域测定电路被配置以移除该第一影像以及该第二影像中的一过度曝光区域以及一曝光不足区域，得到一余留区域，其中该过度曝光区域具有大于一第一曝光门槛的曝光值，以及该曝光不足区域具有小于一第二曝光门槛的曝光值；以及该关注区域测定电路依据该解码率数值在该余留区域选择该关注区域。

18.如权利要求17所述的自动曝光的控制系统，该关注区域测定电路得到一使用者定义区域，并依据该解码率数值以及该使用者定义区域，在该余留区域中选择该关注区域。

Images