CN103685861A - 用于在深度估计过程中使用增强的场景检测的系统和方法 - Google Patents

Abstract

本公开涉及用于在深度估计过程中使用增强的场景检测的系统和方法。用于执行增强的场景检测过程的系统包括用于捕捉摄像目标的模糊图像的传感器设备。每个模糊图像都对应于从通常是圆盘模糊场景的第一场景类型以及通常是高斯场景类型的第二场景类型检测到的场景类型。场景检测器执行初始场景检测过程以识别模糊图像的候选场景类型。然后，场景检测器执行增强的场景检测过程以识别模糊图像的最终场景类型。

Description

用于在深度估计过程中使用增强的场景检测的系统和方法

技术领域

本发明总体上涉及用于分析图像数据的技术，更特别地，涉及用于在深度估计过程中使用增强的场景检测的系统和方法。 

背景技术

实现用于分析图像数据的有效率的方法是现代电子设备的设计者和制造商的重要考虑。然而，用电子设备有效率地分析图像数据会给系统设计者带来相当大的挑战。例如，对增强的设备功能和性能的增大的需求可能需要更多系统处理能力且要求额外的硬件资源。处理或硬件要求的提高也可能由于生产成本的提高以及操作效率不高而导致相应的负面经济影响。 

此外，执行各种高级操作的增强设备功能可以向系统用户提供额外的好处，但是也可能给对各种设备组件的控制和管理带来增大的需求。例如，有效地分析数字图像数据的增强的电子设备可能由于所涉及的大量和复杂的数字数据而得益于有效率的实现。 

由于对系统资源的增长需求以及显著增大的数据大小，显然，开发用于分析图像数据的新技术是相关电子技术关心的问题。因此，由于所有前述理由，开发用于分析图像数据的有效系统是现代电子设备的设计者、制造商以及用户的重要考虑。 

发明内容

根据本发明，公开了用于在深度估计过程中使用增强的场景检测的系统和方法。在一实施例中，摄像机最初捕捉图像1。然后，改变摄像机的焦距设置。然后，摄像机捕捉比前一次捕捉到的图像1更模 糊的（焦点未对准）的离焦模糊图像2。 

场景检测器或其他适当的实体执行初始场景检测过程以产生候选场景类型。例如，场景检测器可以将捕捉到的图像1和图像2识别为候选圆盘场景的一部分。相反，场景检测器可以将捕捉到的图像1和图像2识别为高斯场景的一部分。根据本发明，然后，场景检测器对圆盘模糊候选执行增强的场景分析过程，由此验证这些检测结果是准确的。增强的场景分析过程可以包括半径分析过程和/或配准分析过程。 

在半径分析过程中，场景检测器最初统计两个圆盘模糊候选中的每个中的饱和像素的数量，然后，使用两个饱和像素总数来计算两个相应的圆盘模糊候选的半径值。然后，场景检测器利用两个半径值来计算圆盘模糊候选的当前半径变化率。场景检测器将当前半径变化率与预定义的校准半径变化率进行比较。在某些实施例中，可以从表达模糊半径大小和焦深距离值的线性关系的校准半径变化曲线导出预定义的校准半径变化率。 

然后，场景检测器判断当前半径变化率是否匹配预定义的校准半径变化率。如果否，那么场景检测器将圆盘模糊候选重新分类为高斯模糊。然而，如果当前半径变化率匹配预定义的校准半径变化率，那么场景检测器为两个圆盘模糊候选保留原始检测结果。 

在配准分析过程中，场景检测器或其他适当的实体最初访问两个圆盘模糊候选。然后，场景检测器对圆盘模糊候选执行配准分析过程，以验证这些检测结果是准确的。配准分析过程可以通过利用任何有效的技术来执行。例如，在某些实施例中，场景检测器可以通过判断来自一个模糊图像的每个饱和像素是否也在另一模糊图像中在相同像素坐标位置处饱和，来评估圆盘模糊候选的配准特征。 

于是，场景检测器判断两个模糊图像是否对准。如果由于良好的配准特性而场景检测器判断圆盘模糊候选被正确地分类，那么场景检测器保留圆盘检测结果。然而，如果由于不良配准特性而场景检测器判断圆盘模糊候选被不正确地分类，那么场景检测器将圆盘模糊候选 重新分类为高斯模糊图像。然后，深度估计器可以选择并执行适当的深度估计过程。因此，本发明提供用于使用用于执行深度估算过程的增强的场景检测的改善的系统和方法。 

附图说明

图1是根据本发明的摄像设备的一实施例的框图； 

图2是根据本发明的图1的捕捉子系统的一实施例的框图； 

图3是根据本发明的图1的控制模块的一实施例的框图； 

图4是根据本发明的图3的存储器的一实施例的框图； 

图5是根据本发明的用于捕捉离焦模糊图像的一示例性实施例的图； 

图6是根据本发明一实施例的示例性匹配曲线的曲线图； 

图7是根据本发明一实施例的模糊图像的示例性高斯模型的曲线图； 

图8是根据本发明一实施例的模糊图像的示例性圆盘模型的曲线图； 

图9是根据本发明一实施例的两个饱和高斯模糊图像的曲线图； 

图10是根据本发明一实施例的两个饱和圆盘模糊图像的曲线图； 

图11A-11C是根据本发明一实施例用于执行增强的深度估计过程的方法步骤的流程图； 

图12A是示出根据本发明一实施例的两个圆盘模糊图像的良好配准（registration）特性的两个图； 

图12B是示出根据本发明一实施例的两个高斯模糊图像的不良配准特性的两个图； 

图13是根据本发明一实施例的示例性校准了的半径变化曲线的曲线图；以及 

图14A-14B是根据本发明一实施例的用于执行增强的场景检测过程的方法步骤的流程图。 

具体实施方式

本发明涉及图像数据分析技术中的改善。提供下面的描述以使本领域普通技术人员实现并使用本发明，下面的描述是在专利申请以及其要求的情境中提供的。对所公开的实施例的各种修改对本领域技术人员来说是显而易见的，此处的一般原理可以适用于其他实施例。因此，本发明不限于所示出的实施例，而是具有根据与此处所描述的原理和特点一致的最宽范围。 

本发明包括用于执行增强的场景检测过程的系统和方法，并包括用于捕捉摄像目标的模糊图像的传感器设备。每个模糊图像都对应于从第一场景类型（通常是圆盘模糊场景）以及第二场景类型（通常是高斯场景类型）检测到的场景类型。场景检测器执行初始场景检测过程以识别模糊图像的候选场景类型。然后，场景检测器执行增强的场景检测过程，以识别模糊图像的最终场景类型。 

现在参考图1，示出根据本发明的摄像设备110的一实施例的框图。在图1的实施例中，摄像设备110可包括但不限于捕捉子系统114、系统总线116以及控制模块118。在图1的实施例中，捕捉子系统114可以在光学上耦合到摄像目标112，还可以通过系统总线116电耦合到控制模块118。 

在替选实施例中，除结合图1的实施例所讨论的那些组件之外，或代替它们，摄像设备110还可以容易地包括各种其他组件。另外，在某些实施例中，本发明可以替选地实现在除了图1的摄像设备110以外的任何适当类型的电子设备中。例如，摄像设备110可以替选地实现为成像设备、计算机设备或消费电子设备。 

在图1的实施例中，一旦摄像机110的捕捉子系统114自动聚焦在目标112上，摄像机用户就可以请求摄像设备110捕捉对应于目标112的图像数据。然后，控制模块118可以优选地通过系统总线116指示捕捉子系统114捕捉表示目标112的图像数据。然后，可以通过系统总线116将捕捉到的图像数据传输到控制模块118，控制模块118可以响应地对图像数据执行各种过程和功能。系统总线116也可以双 向地在捕捉子系统114和控制模块118之间传递各种状态和控制信号。 

现在参考图2，示出了根据本发明的图1的捕捉子系统114的一实施例的框图。在图2的实施例中，捕捉子系统114优选地包括但不限于快门218、透镜220、图像传感器224、红、绿和蓝（R/G/B）放大器228、模数（A/D）转换器230、以及接口232。在替选实施例中，除结合图2的实施例所讨论的那些组件之外，或代替它们，捕捉子系统114还可以容易地包括各种其他组件。 

在图2的实施例中，捕捉子系统114可以通过沿光路236入射在图像传感器224上的反射光来捕捉对应于目标112的图像数据。可优选包括电荷耦合器件（CCD）的图像传感器224可以响应地生成表示目标112的一组图像数据。然后，可以通过放大器228、A/D转换器230以及接口232来路由图像数据。图像数据通过系统总线116从接口232传递到控制模块118，以用于适当的处理和存储。预期诸如CMOS或线性阵列之类的其他类型的图像捕捉传感器也可在本发明中用于捕捉图像数据。下面将结合图3-14进一步讨论摄像机110的使用和功能。 

现在参考图3，示出根据本发明的图1的控制模块118的一实施例的框图。在图3的实施例中，控制模块118优选包括但不仅限于取景器308、中央处理单元（CPU）344、存储器346以及一个或多个输入/输出接口（I/O）348。取景器308、CPU344、存储器346以及I/O348优选都耦合到公共系统总线116，并通过公共系统总线116进行通信，公共系统总线116还与捕捉子系统114进行通信。在替换实施例中，除了结合图3的实施例所讨论的那些组件之外，或代替它们，控制模块118还可以容易地包括各种其他组件。 

在图3的实施例中，CPU344可以实现为包括任何适当的微处理器设备。可另选地，CPU344可以使用任何其他适当的技术来实现。例如，CPU344可以实现为包括某些专用集成电路（ASIC）或其他适当的电子设备。存储器346可以实现为一个或多个适当的存储设备，包括但不限于只读存储器、随机存取存储器以及诸如软盘设备、硬盘 设备或闪存之类的各种类型的非易失性存储器。I/O348可以提供用于促进摄像设备110与任何外部实体（包括系统用户或另一电子设备）之间的双向通信的一个或多个有效接口。I/O348可以使用任何适当的输入和/或输出设备来实现。下面将结合图4到14来进一步讨论控制模块118的操作和使用。 

现在参考图4，示出根据本发明的图3的存储器346的一实施例的框图。在图4的实施例中，存储器346可包括但不限于摄像应用412、操作系统414、深度估计器416、图像数据418、估计数据420、自动聚焦模块422以及场景检测器424。在替换实施例中，除结合图4的实施例所讨论的那些组件之外，或代替它们，存储器346还可以包括各种其他组件。 

在图4的实施例中，摄像应用412可以包括优选由CPU344（图3）运行以执行摄像设备110的各种功能和操作的程序指令。摄像应用412的特定本质和功能优选根据诸如相应的摄像设备110的类型和特定用途之类的因素而变化。 

在图4的实施例中，操作系统414优选控制并协调摄像设备110的底层功能。根据本发明，深度估计器416可以控制并协调深度估算过程以促进摄像机110中的自动聚焦特征。在图4的实施例中，图像数据418可以包括由摄像设备110捕捉到的摄像目标112的一个或多个图像。估计数据420可以包括用于执行深度估算过程的任何类型的信息或数据。在图4的实施例中，自动聚焦模块422可以使用深度估算过程的结果来执行摄像设备110的自动聚焦过程。在图4实施例中，场景检测器424可以执行根据本发明的各种增强的场景检测过程。下面将结合图11-14来进一步讨论涉及场景检测器424的操作的更多细节。 

现在参考图5，示出根据本发明的捕捉离焦模糊图像518的一示例性实施例的图示。图5的实施例用于示范，在替选实施例中，本发明可以使用各种其他配置和元件来捕捉离焦模糊图像518。 

在图5的实施例中，摄像机110的传感器224（见图2）可以捕捉 摄像目标或场景112的离焦模糊图像518以用于执行深度估计过程。可以通过将透镜220调整到除正确对焦透镜位置之外的位置来创建离焦模糊图像518，正确对焦透镜位置取决于目标112、透镜220以及传感器224的相对位置。 

在一实施例中，可以将两个不同的离焦模糊图像518进行比较，以导出深度估计。可以为彼此相距一个景深的两个模糊图像518计算模糊差异。可以使用模糊差异和已知匹配曲线的斜率来确定给定目标112的深度。下面将结合图6-14来进一步讨论用于深度估计的离焦模糊图像的生成和使用。 

现在参考图6，示出根据本发明一实施例的示例性匹配曲线714的曲线图。图6的实施例用于示范，在替换实施例中，本发明可以实现为使用具有除了结合图6的实施例所讨论的那些配置和参数中的某些之外或代替它们的配置和参数的匹配曲线。 

在某些实施例中，可以捕捉模糊图像1和更离焦的模糊图像2，可以利用高斯内核（例如，带有小方差的3×3高斯矩阵）来卷积较锐利的图像1，以产生卷积图像1。将卷积图像1与模糊图像2进行比较。重复此过程，直到两个模糊图像匹配。然后，可以绘制迭代次数对照景深（或以一个DOF递增的图像编号）的曲线图，以产生模糊匹配曲线，模糊匹配曲线可用于估计从任何离焦位置到对焦位置的距离。在授予Li等人的美国专利No.8,045,046中进一步讨论了关于前面的深度估计技术的更多细节，该专利通过引用合并于此。 

现在参考图7，示出根据本发明一实施例的模糊图像518（图5）的示例性高斯模型718的曲线图。图7的实施例用于示范，在替选实施例中，本发明可以使用带有除结合图7的实施例所讨论的那些以外的元素和配置的高斯模型。 

在图7的实施例中，在垂直轴上表示亮度，在水平轴上表示像素。在图7的曲线图中，高斯模型718显示了典型的钟形曲线形状。然而，并非所有的模糊图像518都通过使用高斯模型718来很好地表示。取决于摄像目标或场景的图像特性，某些非高斯模型可能更有效。 

现在参考图8，示出根据本发明一实施例的模糊图像518的示例性圆盘模型的曲线图。图8的实施例用于示范，在替选实施例中，本发明可以使用带有除结合图8的实施例所讨论的那些以外的元素和配置的圆盘模型。 

在图8的实施例中，在垂直轴上表示亮度，在水平轴上表示像素。在图8的曲线图中，圆盘模型818显示了典型的锐利边缘形状。取决于摄像目标或场景的图像特性，诸如圆盘模型818之类的某些非高斯模型可能更有效。例如，圆盘模型818可能对于包括诸如烛光之类的非常亮的光源的黑夜场景更好。 

现在参考图9，示出根据本发明一实施例的两个饱和高斯图像918和922的图示。图9的实施例用于示范，在替选实施例中，本发明可以使用带有除结合图9的实施例所讨论的那些以外的元素和配置的高斯图像。 

在图9的实施例中，叠加地示出了第一高斯模糊图像918和第二高斯模糊图像922的波形。由于图像918聚焦得更好，因此其波形形状比图像922的波形更窄且更高。在图9的实施例中，高斯图像被削平/饱和，因为它们都超出了饱和阈值水平926。 

在图9的实施例中，曲线图还包括包括第一边缘区域930(a)和第二边缘区域930(b)的边缘区域930。第一边缘区域930(a)是图9的曲线图左侧的小于饱和阈值926并在波形922和波形918的左侧之间的区域。第二边缘区域930(b)是图9的曲线图右侧的小于饱和阈值926并在波形922和波形918的右侧之间的区域。下面结合图10-14进一步讨论用于检测包含高斯模糊图像的高斯场景的某些技术。 

现在参考图10，示出根据本发明一实施例的两个饱和圆盘图像1018和1022的图示。图10的实施例用于示范，在替选实施例中，本发明可以使用带有除结合图10的实施例所讨论的那些以外的元素和配置的圆盘图像。 

在图10的实施例中，叠加地示出了第一圆盘模糊图像1018和第二圆盘模糊图像1022的波形。由于图像1018聚焦得更好，因此其波 形形状比图像1022的波形更窄且更高。在图10的实施例中，圆盘图像被削平（clipped）/饱和，因为它们都超出饱和阈值水平1026。 

在图10的实施例中，曲线图还包括包括第一边缘区域1030(a)和第二边缘区域1030(b)的边缘区域1030。第一边缘区域1030(a)是图10的曲线图左侧的小于饱和阈值1026并在波形1022和波形1018的左侧之间的阴影区。第二边缘区域1030(b)是图10的曲线图右侧的小于饱和阈值1026并在波形1022和波形1018的右侧之间的阴影区。图10是圆盘模糊的一维示例。对于二维图像，边缘区域是两个圆盘的边界之间的环形区域。 

根据本发明，深度估计器416（图4）可能需要判断特定场景是高斯场景还是圆盘场景，以便选择适当的深度估计过程。例如，结合上面的图6，讨论了基本深度估计过程，如Li等人的美国专利No.8,045,046所公开的那样。 

另外，在2012年3月22日提交的Li等人的题为“System And Method For Performing Depth Estimation Utilizing Pillbox Defocused Images”的美国专利申请No.13/426,828中公开了高斯化深度估计过程以及填充框（fillbox）过程，其通过引用合并于此。当捕捉到的图像没有被削平时，该高斯化深度估计过程可以处理高斯模糊和非高斯模糊。 

当捕捉到的图像被削平（曝光过度或曝光不足）时，深度估计器416必须判断是将它们当作高斯模糊还是圆盘模糊。在削平的圆盘模糊的情况下，深度估计器416可以使用上文引用的填充框过程和高斯化过程。在高斯模糊的情况下，深度估计器416可以使用在2012年3月9日提交的Li等人的题为“System And Method For Performing Depth Estimation With Defocused Images Under Extreme Lighting Conditions”的美国专利申请No.13/416,049中所公开的削平像素替换过程，该专利申请通过引用合并于此。 

关于图9-10的实施例，当与饱和高斯模糊（图9）相比时，饱和圆盘图像（图10）一般具有更锐利的边缘。由于边缘区域的几何形状， 与高斯模糊（见图9）相比，对于圆盘模糊，边缘区域1030中的平均亮度差异可示为更大。根据本发明，深度估计器416可以使用此属性来检测高斯场景或圆盘场景。当检测到圆盘场景时，可以使用前面的填充框过程和高斯化过程。相反，当检测到高斯场景时，可以使用削平像素替换过程。 

在某些情况下，高斯模糊可能被错误地分类为圆盘模糊。因此，根据本发明，场景检测器424（图4）可以使用多种技术来重新评估这些错误的圆盘候选，并潜在地将它们重新分类为高斯模糊。下面将结合图11-14进一步讨论用于执行增强的场景检测过程的一个实施例的更多细节。 

现在参考图11A-11C，示出根据本发明一实施例的用于执行增强的深度估计过程的方法步骤的流程图。图11的实施例用于示范，在替选实施例中，本发明可以使用除结合图11的实施例所讨论的那些步骤和工序以外的各种步骤和工序。 

在图11A的实施例中，在步骤1114中，摄像机110最初捕捉图像1。在步骤1118中，改变摄像机110的焦点设置。例如，在图11A的实施例中，可以调整焦点设置，以将摄像机110的焦点缩小一个或多个景深（DOF）。在步骤1122中，摄像机110捕捉比先前捕捉的图像1更模糊的（焦点未对准）的离焦图像2。 

在步骤1126中，场景检测器424或其他适当的实体定义用于在高斯场景和圆盘场景之间选择的检测阈值。在步骤1130中，场景检测器424计算图像1和图像2之间的边缘区域平均亮度差异，如上文结合图10所讨论的那样。然后，图11A的过程可以通过连接字母“A”转到图11B的步骤1134。 

在步骤1134和1138中，场景检测器424将所计算的边缘区域平均亮度差异与所定义的检测阈值进行比较。如果没有超出检测阈值，则在步骤1146中，场景检测器424将所捕捉的图像1和图像2识别为高斯场景的一部分，在步骤1150中，深度估计器416（图4）可以选择并执行适于高斯场景的适当深度估计过程。 

然而，如果在步骤1134和1138中超出检测阈值，则在步骤1142中，场景检测器424将所捕捉的图像1和图像2识别为圆盘模糊候选。然后，图11B的过程可以通过连接字母“B”转到图11C的步骤1154。在图11C的步骤1154和1158中，场景检测器424对在前面的步骤1142中产生的圆盘模糊候选执行增强的场景分析过程，由此验证这些检测结果是准确的。 

如果场景检测器424判断圆盘模糊候选被正确地分类，那么在步骤1162中，场景检测器424保留来自图11B的步骤1142的圆盘检测结果。然而，如果场景检测器424判断在图11B的步骤1142中圆盘模糊候选被不正确地分类，那么在步骤1164中，场景检测器424将圆盘模糊候选重新分类为高斯模糊图像。然后，深度估计器416可以选择并执行适当的深度估计过程。下面将结合图12A-14B来进一步讨论前面的步骤1154的用于执行增强的场景分析过程的更多细节。 

现在参考图12A，示出根据本发明一实施例的两个圆盘模糊图像的良好配准特性的两个图示。图12A的实施例用于示范，在替选实施例中，本发明可以使用除结合图12A的实施例所讨论的那些以外的良好配准特性。 

在图12A的实施例中，示出两个圆盘图像1226和1230的侧面轮廓1214，圆盘图像1226和1230类似于上面关于图10显示和讨论的圆盘图像1018和1022。侧面轮廓1214还包括饱和水平1222。图12A的实施例还包括圆盘图像1226和1230的顶部轮廓1218。顶部轮廓1218示出良好的配准特性，在饱和水平1222处，圆盘图像1226在圆盘图像1230的内侧居中。 

根据本发明，可以通过使用任何适当的标准来定义良好配准。例如，在本发明一实施例中，如果来自一个模糊图像的每个饱和像素也在另一模糊图像中在相同像素坐标位置处饱和，则顶部轮廓1218可以表现出良好的配准特性。因此，本发明可以在上文所讨论的增强的场景检测过程中执行配准分析过程，以由此重新评估并有可能重新归类候选圆盘模糊图像。下面将结合图12B-14B来进一步讨论关于配准分 析过程的更多细节。 

现在参考图12B，示出根据本发明一实施例的两个高斯模糊图像的不良配准特性的两个图示。图12B的实施例用于示范，在替选实施例中，本发明可以使用除结合图12B的实施例所讨论的那些以外的不良配准特性。 

在图12B的实施例中，示出与上面结合图9显示并讨论的高斯图像918和922类似的两个高斯图像1254和1258的侧面轮廓1242。侧面轮廓1242还包括饱和水平1250。图12B的实施例还包括高斯图像1254和1258的顶部轮廓1246。顶部轮廓1246示出了不良配准特性，在饱和水平1250处，图像1254和图像1258两者中没有一个在另一图像内居中。 

根据本发明，可以通过使用任何适当的标准来定义不良配准。例如在本发明一实施例中，如果来自一个模糊图像的每个饱和像素在另一模糊图像中的相同像素坐标位置处不也饱和，则顶部轮廓1246可以表现出不良配准特性。因此，本发明可以在上文所讨论的增强的场景检测过程中执行配准分析过程，以由此重新评估圆盘模糊图像候选，并有可能将它们重新分类为高斯模糊图像。下面将结合图14B来进一步讨论关于配准分析过程的更多细节。 

现在参考图13，示出根据本发明一实施例的示例性校准了的半径变化曲线1314的曲线图。图13的实施例用于示范，在替选实施例中，本发明可以实现为使用带有除结合图13的实施例所讨论的那些配置和参数中的某些之外，或代替它们的配置和参数的半径速率曲线。 

图13的曲线图在垂直轴上呈现透镜点扩散函数（PSF）的模糊半径大小，在水平轴上呈现与对焦位置的焦深（DOF）距离。在图13的实施例中，曲线1214是模糊半径大小与DOF距离的线性关系的示例。此线性关系是圆盘模糊图像的特征，也是高斯模糊图像非典型的。通过利用此现有知识，可以有效地通过基于不同模糊水平分析模糊半径如何变化，来对目标场景的模糊类型进行分类。 

例如，假设有带有圆形PSF的透镜系统。在此情况下，根据景深 （DOF）的定义，PSF的半径关于DOF距离线性地变化。请注意，诸如PSF大小和所支持的DOF范围之类的透镜特性取决于特定的系统。本发明使用此类现有知识来判断目标场景是否可能是圆盘模糊。 

在某些实施例中，可以通过统计饱和像素来确定圆盘模糊图像的半径。例如，考虑下列场景。圆盘模糊的半径（透镜PSF的脉冲响应）可定义为目标区域中的饱和像素的数量的平方根。通过考虑透镜PSF的现有知识（可以表示为半径变化/DOF变化），利用图13的半径变化曲线1314来评估两个场景之间的DOF距离，本发明可以判断目标模糊是否可能是圆盘模糊。 

换言之，如果目标模糊是圆盘，则对于给定的DOF距离，应该有模糊大小变化的预期特征率。然而，对于高斯模糊，特征将是随机的或场景相关的，几乎与透镜PSF不相关。此外，假设对于相同场景，捕捉不同模糊程度的两个图像，如果模糊类型是圆盘模糊，那么不同模糊水平的两个圆盘模糊应良好地配准，圆盘的中心几乎位于相同位置。关于两个饱和区域对准得如何的该信息也可用于有助于模糊类型澄清。因此，所提出的场景澄清减少了由设计用于高斯模糊到圆盘模糊（反之亦可）的图像处理算法所引起的不正确分类结果。 

因此，本发明提供用于通过基于不同的模糊水平分析模糊图像如何变化来识别目标场景的模糊类型的增强的技术。在对这些模糊图像变化的分析中，本发明使用饱和像素计数来求圆盘模糊的半径大小的近似值。然后，本发明可以使用饱和像素计数来判断目标模糊是否是圆盘。此外，本发明可以基于不同模糊水平的两个圆盘模糊的配准来检查圆盘模糊的理想性。下面将结合图14A和14B进一步讨论用于执行增强的场景检测过程的更多细节。 

现在参考图14A-14B，示出根据本发明一实施例的用于执行增强的场景检测过程的方法步骤的流程图。根据本发明一实施例，图14A描绘了半径分析过程，图14B描绘了配准分析过程。在某些实施例中，图14A和14B的各实施例可以对应于上文在图11C的步骤1154中提及的增强的场景分析过程。 

图14的实施例用于示范，在替选实施例中，本发明可以容易地使用除结合图14的实施例所讨论的那些步骤和工序以外的各个步骤和工序。例如，可以单独执行图14A的过程或图14B以重新评估圆盘模糊候选。另外，在某些实施例中，图14B的过程可以在图14A的过程之前执行。 

在图14A的实施例中的步骤1414中，场景检测器424（图4）或其他适当的实体最初统计来自前面的图11C的步骤1142的两个圆盘模糊候选中的每个中的饱和像素的数量。在步骤1418中，场景检测器424使用两个饱和像素总数来计算两个相应的圆盘模糊候选的半径值，如上文结合图13所讨论的那样。 

在步骤1422中，场景检测器424利用两个半径值来计算圆盘模糊候选的当前半径变化率。在步骤1426中，场景检测器424将当前半径变化率与预定义的校准半径变化率进行比较。在某些实施例中，如上文结合图13所讨论的那样，可以从校准的半径变化曲线1314导出预定义的校准半径变化率。 

在步骤1430中，场景检测器424判断当前半径变化率是否匹配预定义的校准半径变化率。如果否，那么在步骤1434中，场景检测器424将圆盘模糊候选重新分类为高斯模糊。然而，如果当前半径变化率匹配预定义的校准半径变化率，那么场景检测器424为两个圆盘模糊候选保留原始检测结果。然后，图14A的过程可以通过连接字母“A”转到图14B的步骤1442。 

在图14B的实施例中的步骤1442中，场景检测器424或其他适当的实体最初访问来自前面的图14A的步骤1438的两个圆盘模糊候选。在步骤1446中，场景检测器424对圆盘模糊候选执行配准分析过程，以再次验证这些检测结果是准确的。配准分析过程可以通过利用任何有效的技术来执行。例如，在某些实施例中，场景检测器424可以通过判断来自一个模糊图像的每个饱和像素是否也在其他模糊图像中在相同像素坐标位置处饱和，来评估圆盘模糊候选的配准特征，如上文结合图12A和12B所讨论的那样。 

在步骤1450中，场景检测器424判断两个模糊图像是否对准。如果场景检测器424判断圆盘模糊候选被正确地分类，那么在步骤1454中，场景检测器424保留来自图14A的步骤1438的圆盘检测结果。然而，如果场景检测器424判断圆盘模糊候选被不正确地分类，那么在步骤1458中，场景检测器424将圆盘模糊候选重新分类为高斯模糊图像。然后，深度估计器416（图4）可以选择并执行适当的深度估计过程。因此，本发明提供用于使用用于执行深度估计过程的增强的场景检测的改善的系统和方法。 

上文参考某些实施例说明了本发明。鉴于本发明，其他实施例将对本领域技术人员是显而易见的。例如，本发明可以容易地使用除在上文的各实施例中所描述的那些配置和技术以外的配置和技术来实现。另外，本发明可以有效地与除上文所描述的那些以外的系统结合使用。因此，对所讨论的各实施例的这些及其他变化也被只通过所附权利要求书来限制的本发明涵盖。 

Claims (20)

1.一种用于执行增强的场景检测过程的系统，包括：

传感器设备，用于捕捉摄像目标的模糊图像，所述模糊图像每个都对应于从第一场景类型和第二场景类型检测到的场景类型；以及

场景检测器，其执行初始场景检测过程以识别所述模糊图像的候选场景类型，然后，所述场景检测器执行所述增强的场景检测过程以识别所述模糊图像的最终场景类型。

2.如权利要求1所述的系统，其中，所述第一场景类型是高斯场景类型，所述第二场景类型是圆盘场景类型。

3.如权利要求2所述的系统，其中，所述传感器设备和所述场景生成器实现在电子摄像设备中。

4.如权利要求3所述的系统，其中，所述电子摄像设备包括深度估计器，所述深度估计器利用来自所述增强的场景检测过程的场景检测结果来选择适当的深度估计算法。

5.如权利要求4所述的系统，其中，所述电子摄像设备利用由所述深度估计算法所产生的一个或多个深度值来执行自动聚焦过程。

6.如权利要求1所述的系统，其中，所述模糊图像由于超出所述传感器设备的饱和阈值水平而被削平。

7.如权利要求6所述的系统，其中，所述传感器设备通过利用第一透镜位置来捕捉对应于所述摄像目标的第一图像1，然后所述摄像设备被调整到不同于所述第一透镜位置的第二透镜位置，所述传感器设备通过利用所述第二透镜位置来捕捉对应于所述摄像目标的图像2，所述模糊图像包括所述图像1和所述图像2。

8.如权利要求2所述的系统，其中，所述候选场景类型最初是圆盘候选类型。

9.如权利要求8所述的系统，其中，所述场景检测器对所述圆盘候选类型的所述模糊图像执行半径分析过程。

10.如权利要求9所述的系统，其中，所述场景检测器统计所述模糊图像中的每个中的饱和像素总数。

11.如权利要求10所述的系统，其中，所述场景检测器利用所述饱和像素总数来计算所述模糊图像中的每个的半径值。

12.如权利要求11所述的系统，其中，所述半径值等于所述模糊图像中的每个的所述饱和像素总数的平方根。

13.如权利要求12所述的系统，其中，所述场景检测器利用所述半径值来计算所述模糊图像的当前半径变化率。

14.如权利要求13所述的系统，其中，所述当前半径变化率等于所述半径值随所述模糊图像的焦深距离改变的变化。

15.如权利要求13所述的系统，其中，所述场景检测器比较所述当前半径变化率和预定义的校准半径变化率，以判断是否存在匹配结果，如果所述匹配结果存在，则所述场景检测器为所述模糊图像保留所述圆盘候选类型，如果所述匹配结果不存在，则所述场景检测器将所述圆盘候选类型重新分类为高斯模糊类型。

16.如权利要求19所述的系统，其中，所述场景检测器从校准半径变化曲线获取所述预定义的校准半径变化率，所述校准半径变化曲线描绘模糊半径大小和焦深距离值的线性关系。

17.如权利要求8所述的系统，其中，所述场景检测器对圆盘候选类型的所述模糊图像执行配准分析过程，所述配准分析过程可与半径分析过程独立地且相结合地交替执行。

18.如权利要求17所述的系统，其中，如果存在良好配准特性，则所述场景检测器为所述模糊图像保留所述圆盘候选类型，如果存在不良配准特性，则所述场景检测器将所述圆盘候选类型重新分类为高斯模糊类型。

19.如权利要求18所述的系统，其中，如果来自所述模糊图像之一的每个饱和像素在所述模糊图像中的另一个中在相同像素坐标位置处也饱和，则所述场景检测器判断存在良好配准特性，如果来自所述模糊图像之一的每个饱和像素在所述模糊图像中的另一个中在相同像素坐标位置处也饱和，则所述场景检测器判断存在不良配准特性。

20.一种用于执行增强的场景检测过程的方法，该方法执行以下步骤：

使用传感器设备来捕捉摄像目标的模糊图像，所述模糊图像每个都对应于从第一场景类型和第二场景类型检测到的场景类型；以及

提供场景检测器，该场景检测器执行初始场景检测过程以识别所述模糊图像的候选场景类型，然后所述场景检测器执行所述增强的场景检测过程以识别所述模糊图像的最终场景类型。

Images