CN116647662A - 具有芯片上遮挡物检测的图像传感器及其方法 - Google Patents

Abstract

本公开涉及一种具有芯片上遮挡物检测的图像传感器及其方法。描述一种包含耦合到控制器的用以成像外部场景的图像传感器的成像系统。所述控制器包含存储指令的逻辑，所述指令在被执行时致使所述成像系统执行操作，所述操作包含捕获外部场景的图像，其包含第一图像及第二图像，及产生所述图像的缩减表示，所述缩减表示包含与所述第一图像相关联的第一缩减表示及与所述第二图像相关联的第二缩减表示。所述操作进一步包含比较所述第一缩减表示与所述第二缩减表示以确定所述第一图像与所述第二图像之间的差异，及当所述差异大于阈值时，识别影响成像所述外部场景的所述图像传感器的遮挡物的出现。

Description

具有芯片上遮挡物检测的图像传感器及其方法

技术领域

本公开大体上涉及图像传感器，且特定来说(但非排他性地)，涉及CMOS图像传感器及其应用。

背景技术

图像传感器已经变得无处不在，并且现在被广泛用在数码相机、蜂窝电话、监控相机以及医疗、汽车及其它应用中。随着图像传感器被集成到更广泛范围的电子装置中，期望通过两种装置架构设计以及图像获取处理以尽可能多的方式(例如，分辨率、功耗、动态范围等)来增强其功能性、性能指标及类似者。

典型图像传感器响应于从外部场景反射的图像光入射在图像传感器上而操作。图像传感器包含具有光敏元件(例如，光电二极管)的像素阵列，其吸收入射图像光的一部分并且在吸收图像光后产生图像电荷。由像素光产生的图像电荷光可测量为列位线上的模拟输出图像信号，其随着入射图像光而变化。换句话说，所产生的图像电荷量与图像光的强度成比例，所述图像电荷量作为模拟图像信号从列位线读出并转换为数字值以产生表示外部场景的数字图像(即，图像数据)。

发明内容

一方面，本公开提供一种成像系统，其包括：图像传感器，其包含按行及列布置的像素阵列以成像外部场景；以及控制器，其耦合到所述图像传感器，所述控制器包含逻辑存储指令，所述指令在由所述控制器执行时致使所述成像系统执行操作，所述操作包括：用所述图像传感器捕获所述外部场景的图像，所述图像包含第一图像及第二图像；产生所述图像的缩减表示，其中所述缩减表示中的每一者具有小于所述图像中的相应者的全大小分辨率的对应分辨率，且其中所述缩减表示包含与所述第一图像相关联的第一缩减表示及与所述第二图像相关联的第二缩减表示；及比较所述第一缩减表示与所述第二缩减表示以确定所述第一图像与所述第二图像之间的差异；以及当所述差异大于阈值时，识别影响成像所述外部场景的所述图像传感器的遮挡物的出现。

另一方面，本公开进一步提供至少一种非暂时性机器可存取存储媒体，其提供指令，所述指令在由机器执行时将致使所述机器执行用于遮挡物检测的操作，所述操作包括：接收外部场景的图像，所述图像包含第一图像及第二图像；产生所述图像的缩减表示，其中所述缩减表示中的每一者具有小于所述图像中的相应者的全大小分辨率的对应分辨率，且其中所述缩减表示包含与所述第一图像相关联的第一缩减表示及与所述第二图像相关联的第二缩减表示；及比较所述第一缩减表示与所述第二缩减表示以确定所述第一图像与所述第二图像之间的差异；以及当所述差异大于阈值时，识别影响所述外部场景的成像的遮挡物的出现。

又一方面，本公开进一步提供一种用于遮挡物检测的方法，所述方法包括：用图像传感器捕获外部场景的图像，所述图像包含第一图像及第二图像；产生所述图像的缩减表示，其中所述缩减表示中的每一者具有小于所述图像中的相应者的全大小分辨率的对应分辨率，且其中所述缩减表示包含与所述第一图像相关联的第一缩减表示及与所述第二图像相关联的第二缩减表示；及比较所述第一缩减表示与所述第二缩减表示以确定所述第一图像与所述第二图像之间的差异；以及当所述差异大于阈值时，识别影响所述图像传感器对所述外部场景的成像的遮挡物的出现。

附图说明

参考以下图式描述本发明的非限制性及非穷尽实例，其中相似参考数字贯穿各种视图指代相似部分，除非另有指定。在适当的情况下，不必标记元件的所有例子以免使图式混乱。附图不一定按比例绘制，而是将重点放在说明所描述的原理上。

图1说明根据本公开的教示的用于检测遮挡物是否正在影响由图像传感器捕获的图像的实例方法。

图2说明根据本公开的教示的用于检测遮挡物是否正在影响由图像传感器捕获的图像的另一实例方法。

图3A说明根据本公开的教示的当不存在影响图像的遮挡物时的图像的实例缩减表示。

图3B说明根据本公开的教示的当存在影响图像的遮挡物时的图像的实例缩减表示。

图4是根据本公开的教示的用于芯片上遮挡物检测的包含逻辑及/或存储器的成像系统的功能框图。

图5说明根据本公开的教示的能够产生用于遮挡物检测的深度图的实例图像传感器的俯视图。

具体实施方式

本文描述与影响由图像传感器捕获的图像的遮挡物检测相关的设备、系统及方法的实施例。在以下描述中，阐述众多特定细节以提供对实施例的透彻理解。然而，所属领域的技术人员将认识到，能够在不具有一或多个特定细节的情况下或配合其它方法、组件、材料等等来实践本文所描述的技术。在其它情况下，未展示或详细地描述众所周知的结构、材料或操作以避免混淆某些方面。

贯穿本说明书的对“一个实施例”或“一实施例”的引用意指结合所述实施例所描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此，在贯穿本说明书的各种地方出现短语“在一个实施例中”或“在一实施例中”未必皆是指同一实施例。此外，特定特征、结构或特性可以任何合适方式组合于一或多个实施例中。

贯穿本说明书，使用若干术语。这些术语应具有其所属的领域的一般含义，除非在本文明确定义，或其使用背景以其它方式另外明确指出。应注意，元件名称及符号可贯穿此文献互换使用(例如，Si与硅)；然而，两者都具有相同含义。

图像传感器(例如，一或多个集成电路，其经配置以产生代表外部场景的图像、视频及/或点云)依赖于图像传感器与外部场景之间的光学路径，使得外部场景可基于入射在图像传感器上的从外部场景反射或以其它方式接收的光来成像。然而，当光学路径被遮挡物(例如，灰尘、污垢、尘垢、泥、水、冷凝液、冰、雪或任何其它异物、污染物或靠近图像传感器安置的阻碍图像传感器准确地成像外部场景的物体)阻碍时，将以其它方式入射在图像传感器上的光可能被衰减、反射、衍射或以其它方式被阻止到达图像传感器，这导致成像受阻。应了解，遮挡物不一定直接驻留在图像传感器自身上，但是在一些情形下，遮挡物可安置在定位在图像传感器与外部场景之间的一或多个光学组件(例如，透镜、光学窗口或类似者)上。光学组件可促进外部场景的成像(例如，通过将光聚焦到图像传感器上、对光进行过滤或类似者)及/或保护图像传感器免受损坏(例如，光学透明玻璃或塑料窗)，且因此存在于一或多个光学组件上的障碍物也可通过抑制光入射在图像传感器上来影响图像传感器对外部场景的成像，所述光在不存在遮挡物的情况下原本将到达图像传感器。应进一步了解，遮挡物不一定影响整个外部场景的成像(即，遮挡物可能不会阻碍所有光到达图像传感器使得图像传感器的整个视场被阻挡)，而是遮挡物可阻碍光到达图像传感器的一或多个区，而不影响(或仅部分地影响)图像传感器的其它区。

由于图像传感器的应用范围广泛，障碍物的影响可能从不便到严重的安全问题不等。例如，影响自主驾驶应用中使用的图像传感器的障碍物可能抑制交通工具查看其周围环境。类似地，当图像传感器用作后视相机、侧视镜相机或类似者时，障碍物可防止交通工具的操作者准确地查看其周围环境。在此类情形中，操作者甚至可能不知晓障碍物，直到其主动开始查看图像传感器的输出(例如，查看展示转弯、倒车或类似者时由图像传感器输出的图像的显示器)。因此，确定障碍物是否影响由图像传感器捕获的图像并提醒用户的自动化方法可减轻由障碍物引起的不便及/或安全问题。

本文描述的是能够检测障碍物是否影响由图像传感器捕获的图像的系统、设备及方法的实施例。在一些实施例中，可通过以下方式来实现障碍物检测：产生连续捕获的图像的缩减表示或以其它方式比较缩减表示以确定指示遮挡物的存在的时间上邻近或接近的图像帧(例如，连续图像帧)之间是否存在差异；及监测后续图像以确定遮挡物是否静止以提供遮挡物存在的验证。在相同或其它实施例中，一旦验证遮挡物的存在，就可向个人提供通知(例如，视觉、听觉、触觉或以其它方式)，以提醒个人潜在的障碍物及/或遮挡物导致的成像系统功能性的降级。在一或多个实施例中，可局部地或在芯片上执行遮挡物检测。换句话说，图像传感器可为耦合到一或多个处理元件(例如，例如图像信号处理器、微处理器、专用集成电路、现场可编程门阵列或类似者的控制器)及逻辑(例如，存储器，例如缓冲器或其它芯片上存储器，其可对应于静态随机存取存储器、动态随机存取存储器或其它类型的存储器)的集成电路，其可组合用于遮挡物检测。应进一步了解，在一些实施例中，遮挡物检测可作为由控制器执行的图像信号处理的部分发生。换句话说，图像信号处理管线(其可包含拜耳变换、去马赛克、降噪、内插及类似者)可进一步包含在图像处理的任何阶段(例如，在拜耳变换、去马赛克、降噪、内插或其它芯片上或芯片外计算中的任一者之前、之后或与之并行)的遮挡物检测。有利地，本文描述的遮挡物检测的实施例可实现高速、低功率及连续遮挡物检测，这可进一步提供便利及/或安全益处。

图1说明根据本公开的教示的用于检测遮挡物197是否影响由图像传感器105捕获的图像150的实例方法100。方法100可包含框160、170、175、180及185。应了解，方法100的编号框(包含框160到185)可以任何顺序甚至并行地发生。另外，根据本公开的教示，可将框添加到方法100或从方法100移除框。

在所说明实施例中，图像传感器105经由透镜115捕获外部场景195的随时间(t)变化的图像150。透镜115可对应于光学耦合到图像传感器105以用于成像外部场景195及/或保护图像传感器105的一或多个光学组件。例如，透镜115可过滤及/或聚焦入射在图像传感器105上的光以促进成像。如在图1中所展示，遮挡物197阻碍光198入射在图像传感器105上，从而导致在图像150上出现一或多个伪影199。应了解，术语“伪影”对应于由一或多个障碍物(例如，障碍物197)引起的由图像传感器(例如，图像传感器105)输出的图像(例如，图像150)中的任何缺陷。伪影199可包含(但不限于)模糊、色差、混叠、噪声、失真、条纹、强度缺陷或图像105中出现但在成像时不存在于外部场景195中且至少部分由遮挡物197引起的任何特征中的任一者或其组合。

在捕获、记录及/或接收外部场景195的图像150时，可执行方法100的框160到185所说明的操作。应了解，执行框160到185可在具有或不具有操作者(例如，驾驶员、交通工具占用者或其它)初始化的情况下实时(例如，在交通工具自主或以其它方式操作时)执行及/或离线(即，非实时)执行。在一些实施例中，可在没有操作者输入的情况下连续地执行由方法100实现的遮挡物检测。例如，在交通工具移动时，可在后台连续监测遮挡物的存在，且如果检测到遮挡物，那么通过通知告知操作者或占用者。在相同或其它实施例中，可基于操作者输入(例如，经由一或多个控制器接口、输入按钮、语音命令或类似者)启用及/或停用遮挡物检测。

框160展示，响应于图像150由图像传感器105捕获(例如，保存到芯片上或芯片外存储器)或以其它方式被接收，产生图像150的缩减表示(例如，个别地或以其它方式)。本文描述，图像的缩减表示是指相对数据大小或分辨率。换句话说，如果包含在图像150中的第一图像具有第一分辨率，那么与第一图像相关联的第一缩减表示具有小于第一图像的全大小分辨率(即，第一分辨率)的对应分辨率。类似地，如果包含在图像150中的第二图像具有第二分辨率(通常但不必等于第一分辨率)，那么与第二图像相关联的第二缩减表示具有小于第二图像的全大小分辨率(即，第二分辨率)的对应分辨率。在一些实施例中，缩减表示具有共同分辨率(例如，第一缩减表示及第二缩减表示的对应分辨率相等)。

应了解，分辨率是指给定图像中数据值或像素的数目(例如，100x100像素阵列可具有10,000像素，且取决于与捕获图像的图像传感器相关联的滤色器图案，每一像素可与相应颜色相关联)。在一些实施例中，给定图像的全大小分辨率可比缩减表示的对应分辨率大许多倍。在一些实施例中，图像150的全大小分辨率可比图像150的缩减表示的对应分辨率大5、10、50、100、1000倍或更多倍。例如，从具有1000x1000像素阵列的图像传感器捕获的图像产生的缩减表示可具有1000个数据值的对应分辨率(例如，分辨率相对于全大小分辨率缩减1000x)。有利地，分辨率的显著降低可促进遮挡物检测的芯片上处理。

如在图1中所说明，过程框160包含产生图像150的缩减表示，其可包含(但不限于)图像150的一或多个行轮廓、图像150的一或多个列轮廓、图像150的一或多个区域强度值、图像150的一或多个全局强度值，或图像150的一或多个深度图。另外，或替代地，图像150的缩减表示可包含图像150的一或多个区域颜色强度值、图像150的一或多个全局颜色强度值、图像150的一或多个对角线轮廓，或可以其产生并比较图像150的缩减表示的任何其它指标(例如，不同缩减表示的相应值代表图像传感器的共同区)。在其中缩减表示包含图像150的行轮廓的一个实施例中，与第一图像相关联的第一行轮廓的第一值(例如，第一图像的第一行的平均强度值)及与第二图像相关联的第二行轮廓的第一值(例如，第二图像的第一行的平均强度值)两者都代表第一及第二图像的共同行(即，第一行)。换句话说，缩减表示提供可跨越图像比较的区域信息以促进确定一或多个遮挡物(例如，遮挡物197)是否影响图像(例如，图像150)。

应了解，图像传感器105包含按列及行布置的像素阵列(例如，参见图5)，使得图像150由也按列及行布置的像素值表示以代表外部场景195。另外，像素值可在逐行或逐列基础上从图像传感器或其对应电路系统读出，这可在缩减表示包含行轮廓及/或列轮廓时促进缩减表示的芯片上产生。

如本文描述，行轮廓对应于给定图像的缩减表示，其中行轮廓的每一值代表给定图像的个别行。例如，给定图像的第一行轮廓的第一值可代表给定图像的第一行。第一值可为给定图像的第一行的平均强度。应了解，“平均值”可对应于算术平均值、几何平均值、中值、模式或其它类型的平均值。应进一步了解，在一些实施例中，当产生缩减表示时，可剔除异常值(例如，由于热或死像素、过饱和或类似者)。应了解，通常行轮廓代表个别图像。然而，在一些实施例中，行轮廓可代表多于一个图像。应进一步了解，在捕获给定图像时，给定图像的给定行中的给定像素的强度可对应于与给定像素相关联的像素值(例如，代表入射在给定像素上的光的强度的数字化值)。在一些实施例中，仅可使用与某个颜色(例如，取决于图像的颜色空间及/或图像传感器的滤色器图案的红色、绿色或蓝色、青色、洋红、黄色、黑色或其它颜色中的任一者)相关联的像素值来产生行轮廓。在一个实施例中，行轮廓可基于给定行中的每一像素，而不考虑颜色关联。在一个实施例中，仅可利用与绿色像素相关联的像素值来产生行轮廓。在相同或其它实施例中，来自其它颜色像素的值或来自颜色像素的组合的值可用于产生行轮廓。例如，在一个实施例中，像素亮度可用于产生行轮廓，其可基于红色、绿色及蓝色像素的组合。

在相同或另一实施例中，列轮廓对应于给定图像的缩减表示，其中列轮廓的每一值代表给定图像的个别列。例如，给定图像的第一列轮廓的第一值可代表给定图像的第一列。第一值可为给定图像的第一列的平均强度。应了解，“平均值”可对应于算术平均值、几何平均值、中值、模式或其它类型的平均值。应进一步了解，在一些实施例中，当产生缩减表示时，可剔除异常值(例如，由于热或死像素、过饱和或类似者)。应了解，通常列轮廓代表个别图像。然而，在一些实施例中，列轮廓可代表多于一个图像。应进一步了解，在捕获给定图像时，给定图像的给定列中的给定像素的强度可对应于与给定像素相关联的像素值(例如，代表入射在给定像素上的光的强度的数字化值)。在一些实施例中，仅可使用与某个颜色(例如，取决于图像的颜色空间及/或图像传感器的滤色器图案的红色、绿色或蓝色、青色、洋红、黄色、黑色或其它颜色中的任一者)相关联的像素值来产生列轮廓。在一个实施例中，列轮廓可基于给定列中的每一像素，而不考虑颜色关联。在一个实施例中，仅可利用与绿色像素相关联的像素值来产生列轮廓。在相同或其它实施例中，来自其它颜色像素的值或来自颜色像素的组合的值可用于产生列轮廓。例如，在一个实施例中，像素亮度可用于产生列轮廓，其可基于红色、绿色及蓝色像素的组合。

另外，或替代地，图像150的缩减表示可包含除行或列轮廓以外的轮廓。例如，还可利用其中图像传感器105及图像150被分割成对角线的对角线轮廓。因此，来自图像150中的一者的对角线轮廓的个别值可表示图像的给定对角线的像素值的平均值。如先前论述，“平均值”可对应于算术平均值、几何平均值、中值、模式或其它类型的平均值。应进一步了解，在一些实施例中，当产生缩减表示时，可剔除异常值(例如，由于热或死像素、过饱和或类似者)。

在相同或其它实施例中，图像150的缩减表示可包含区域强度，其中图像传感器105及图像150被划分为不同区(例如，四个象限或任何其它数目个等间隔或不等间隔的区，其共同覆盖个别图像150)。然后，可平均化区中的每一者的强度值(例如，基于个别像素值)以确定区中的每一者的奇异值(例如，标量)。如先前论述，术语“平均值”可对应于算术平均值、几何平均值、中值、模式或其它类型的平均值。应进一步了解，在一些实施例中，当产生缩减表示时，可剔除异常值(例如，由于热或死像素、过饱和或类似者)。类似地，应注意，区域强度可基于与个别颜色或颜色组合相关联的像素值。

类似于区域强度，一些实施例在图像150的缩减表示中包含全局强度。顾名思义，全局强度对应于代表包含在图像150中的整个图像的一或多个奇异值(例如，标量)。换句话说，可基于像素颜色(例如，一个标量用于红色像素、一个标量用于绿色像素及/或一个标量用于蓝色像素)、亮度(例如，包含至少一个红色像素、一个绿色像素及一个蓝色像素的邻近像素组的像素值的组合)或其组合来平均化整个图像的像素值。如先前论述，术语“平均值”可对应于算术平均值、几何平均值、中值、模式或其它类型的平均值。

在相同或其它实施例中，图像150的缩减表示包含深度图。深度图可基于来自两个或更多个时间上邻近的图像(例如，连续的)的信息及/或基于在捕获图像时由图像传感器105产生的深度信息(参见例如图5)。换句话说，深度图可指示相对改变(例如，连续图像帧之间的距离差)或绝对距离(例如，与图像150中的给定者的个别像素相关联的距离)。距离或距离的改变可指示与外部场景中的对象的距离，或在遮挡物197的情况下，遮挡物197与图像传感器105的距离。应了解，可基于图像传感器105的配置产生深度图。在一些实施例中，图像传感器105可包含用以产生深度信息以形成深度图的相位检测像素，或可具有其中邻近光电二极管共享共同微透镜的像素结构，因此可利用来自邻近光电二极管的像素值来确定深度信息。

在一些实施例中，在产生图像150中至少两者的缩减表示之后，框160前进到框170，在框170中比较图像150中的至少两者的缩减表示(例如，第一图像的第一缩减表示及第二图像的第二缩减表示)，以确定缩减表示之间是否存在足够显著以指示影响图像150的遮挡物(例如，遮挡物197)的存在的差异。例如，可将与包含在图像150中的第一图像相关联的第一缩减表示与包含在图像150中的第二图像相关联的第二缩减表示进行比较，以确定第一图像与第二图像之间是否存在足够显著以指示是否存在影响图像150的遮挡物的差异。

差异可能特定于从图像150产生的缩减表示的类型。在包含行轮廓及/或列轮廓的缩减表示的情况下，可在缩减表示之间比较给定行或列轮廓的个别值。然后，可设置阈值或范围，且如果相关联值的差异大于阈值或在阈值范围之外，那么可认为相关联值不同到足以指示遮挡物存在。例如，如果第一行轮廓的第一值(例如，对应于与第一图像相关联的第一缩减表示)与第二行轮廓的第一值(例如，对应于与第二图像相关联的缩减表示)相差超过阈值，或在阈值范围之外，那么差异可指示遮挡物的存在。另外，或替代地，当在缩减表示之间进行比较时不同的值的数目还可提供关于差异是否足以指示遮挡物的存在的指示。例如，阈值或范围可包含不同值的阈值数量。因此，在一些实施例中，如果被比较的缩减所相差的值数量大于阈值值数量，那么可存在遮挡物正在影响图像150的指示。例如，如果第一行轮廓及第二行轮廓的二十对不同的值(例如，第一值、第二值、第三值等的任一组合)的差异量大于阈值且阈值数量小于二十，那么比较可指示遮挡物正在影响图像150。换句话说，基于第一缩减表示与第二缩减表示之间的比较，当差异大于阈值或在阈值范围之外时，可识别影响成像外部场景195及/或图像150的图像传感器105的遮挡物的出现。

应了解，在相同或其它实施例中，可个别地或组合地比较其它缩减表示(例如，区域强度、全局强度、深度图、对角线强度及类似者)，以确定缩减表示之间是否存在足够显著以指示影响图像150的遮挡物的存在的差异。例如，可在不同图像之间比较区域强度，且当发生突变时(例如，存在大于阈值或范围的差异)，那么可存在遮挡物正在影响图像150的指示。在一些实施例中，可不识别遮挡物，直到两种或更多种类型的缩减表示指示影响图像150的遮挡物的存在为止。在一个实施例中，例如，如果行轮廓比较及列轮廓比较两者都具有大于对应阈值或范围的差异，那么可识别遮挡物。

一般来说，应了解，框170确定包含在图像150中的一组两个或更多个时间上邻近(例如，连续)图像中是否存在突变，其可指示影响图像150的遮挡物。如果未找到一组两个或更多个时间上邻近的图像(例如，第一图像与第二图像)之间的差异，那么框170前进到框160，在框160中可捕获或接收下一图像，且比较过程以循序或并行方式继续。如果在一组两个或更多个在时间上邻近的图像之间存在差异，那么框170前进到框175，在框175中完成第一验证检查以验证遮挡物的存在。换句话说，框175说明执行第一验证检查以验证遮挡物(例如，一或多个遮挡物，例如遮挡物197)是否正在影响由图像传感器(例如，图像传感器105)捕获的图像(例如，图像150)。在一些实施例中，第一验证检查包含识别遮挡物的位置(例如，基于缩减表示之间的差异大于阈值或范围的位置)，且监测后续图像以确定遮挡物是否为静止的。例如，在交通工具正在移动且出现遮挡物(例如，遮挡物197)的实施例中，遮挡物可对应于其中图像105静止或保持相对不变的区，其可用于验证遮挡物的存在。如果遮挡物不满足第一验证要求(例如，与遮挡物的所识别位置相关联的后续图像的区改变)，那么可假设不存在遮挡物，且框175前进到框160。

然而，在一些实施例中，可存在任选的第二验证检查以确定遮挡物是否满足第二验证要求。换句话说，如果在框175中满足第一验证要求，那么框175可前进到框180，其说明执行第二验证检查以验证遮挡物(例如，一或多个遮挡物，例如遮挡物197)是否正在影响由图像传感器(例如，图像传感器105)捕获的图像(例如，图像150)。在一个实施例中，第二验证检查可利用包含在图像150中的对应图像的深度图，且可确定或以其它方式推断遮挡物与图像传感器105的距离。如果遮挡物与图像传感器105的距离小于阈值距离，那么可满足遮挡物的第二验证要求，且可认为第二次验证遮挡物的存在。如果遮挡物不满足第二验证要求，那么框180可前进到框160以使遮挡物检测过程以循序或并行方式继续。

如果满足第二验证要求，那么框180前进到框185。在其中省略框180的替代实施例中，当遮挡物满足第一验证要求时，框175可前进到框185。框185展示输出通知(例如，视觉、听觉、触觉或以其它方式)，所述通知指示遮挡物(例如，遮挡物197)的出现已被验证，且遮挡物可阻碍对与由图像传感器105捕获的图像150相关联的外部场景195的查看。在一些实施例中，通知可对应于展示在包含在系统中的显示器(例如，集成到交通工具的仪表板中的显示器)上的警告通知。在相同或其它实施例中，响应于检测到及验证遮挡物(例如遮挡物197)，可由系统(例如，交通工具或其它)执行一或多个动作或操作(例如，在交通工具是自主的时使交通工具安全靠边及/或停止)。

图2说明根据本公开的教示的用于检测遮挡物是否正在影响由图像传感器捕获的图像的实例方法200。方法200是图1中所说明的方法100的一种可能实施方案。图2中所说明的方法200可包含框202、204、206、208、210、212、214、216、218、220及222。应了解，方法200的编号框(包含框202到222)可以任何顺序甚至并行地出现。另外，根据本公开的教示，可将框添加到方法200或从方法200移除框。应了解，方法200的每一循环可用于分析一或多个图像(例如，比较时间上邻近或连续的图像)，这可实时执行。类似地，在接收到图像时，方法200的多个循环可同时(例如，并行地)或循序地发生。更一般来说，图1中所说明的方法100及图2中所说明的方法200的框可对应于用于遮挡物检测的操作，其可作为指令存储在一或多个非暂时性机器可存取存储媒体中，所述指令当由机器(例如，交通工具、成像系统或其它)执行时，将致使机器执行用于遮挡物检测的操作。

框202展示接收由图像传感器捕获的外部场景的图像。在一些实施例中，图像包含至少第一图像及第二图像。在一个实施例中，第一及第二图像是连续图像，其中第二图像在时间上在第一图像之后。然而，在其它实施例中，第一及第二图像可不是连续图像。换句话说，在一些实施例中，在第一图像与第二图像之间可存在中间图像。

框204说明产生图像的缩减表示。在一些实施例中，缩减表示中的每一者具有小于图像中的对应者的全大小分辨率的对应分辨率。在相同或其它实施例中，缩减表示包含与第一图像相关联的第一缩减表示及与第二图像相关联的第二缩减表示。应了解，框204可类似于图1中所说明的方法100的框160。换句话说，框204的缩减表示可包含或以其它方式对应于参考图1的框160论述的缩减表示中的任一者或其组合。

返回参考图2，框204包含产生在框202中接收的一或多个图像的缩减表示。缩减表示可包含(但不限于)一或多个图像的一或多个行轮廓、一或多个图像的一或多个列轮廓、一或多个图像的一或多个区域强度值、一或多个图像的一或多个全局强度值、或一或多个图像的一或多个深度图。另外，或替代地，一或多个图像的缩减表示可包含一或多个图像的一或多个区域颜色强度值、一或多个图像的一或多个全局颜色强度值、一或多个图像的一或多个对角线轮廓，或可以其产生并比较一或多个图像的缩减表示的任何其它指标(例如，不同缩减表示的相应值代表用于捕获一或多个图像的图像传感器的共同区)。

在一些实施例中，机器(例如，能够存取一或多个非暂时性机器可存取存储媒体)包含图像传感器，所述图像传感器包含按行及列布置的像素阵列以成像外部场景。在相同或其它实施例中，图像的缩减表示包含图像的至少行轮廓或列轮廓。在一些实施例中，行轮廓对应于基于图像中的每一者的像素阵列的行的在逐行基础上的平均行强度。在相同或其它实施例中，列轮廓对应于基于图像中的每一者的像素阵列的列的在逐列基础上的平均列强度。

框206展示将缩减表示(例如，与第二图像相关联的第二缩减表示)与先前产生的缩减表示(例如，与在时间上在第二图像之前的第一图像相关联的第一缩减表示)进行比较以确定第一图像与第二图像之间的差异。应了解，在一些实施例中，第一缩减表示与第二缩减表示之间的差异可指示影响图像或更具体来说影响捕获图像的图像传感器的遮挡物的存在。如先前所论述，所述差异可归因于图像中的一或多个伪影，所述伪影由原本不存在于图像中的遮挡物产生。在一些实施例中，所述差异对应于第一图像与第二图像之间的平均行强度或平均列强度的改变。

框208说明当差异大于阈值时识别影响外部场景的成像的遮挡物的出现。更具体来说，如果差异大于阈值或范围，那么框208前进到框210。然而，如果差异不大于阈值或范围，那么框208前进到框202(例如，以接收下一图像)。应了解，图2中所说明的框206及208可类似于图1中所说明的框170。换句话说，比较框206的缩减表示以确定差异且确定差异是否大于阈值或在框208的阈值范围之外可包含或以其它方式对应于参考图1的框170论述的技术中的任一者或其组合。应了解，从图2中所说明的框206确定的差异可特定于从图像产生的缩减表示的类型(例如，框204)。在一个实施例中，缩减表示包含行轮廓及/或列轮廓，可在缩减表示之间比较给定行轮廓或列轮廓的个别值。然后，可如框208中所说明那样设置阈值或范围，且如果相关联值相差大于阈值或在阈值范围之外，那么可认为相关联值不同到足以指示遮挡物的出现或存在。另外，或替代地，当在缩减表示之间进行比较时不同的值的数目还可提供关于差异是否足以指示遮挡物的存在的指示。在相同或其它实施例中，可个别地或组合地比较其它缩减表示(例如，区域强度、全局强度、深度图、对角线强度及类似者)，以确定缩减表示之间是否存在足够显著以指示影响图像的遮挡物的存在的差异。

框210展示基于第一图像与第二图像之间的差异大于阈值的位置来识别受遮挡物影响的图像传感器的一或多个区。一般来说，一旦已在一或多个图像中识别出可能与潜在遮挡物相关联的差异，就可利用差异位于个别图像内的位置或区来识别受遮挡物影响的图像传感器的位置。在一些实施例中，差异的位置对应于差异所位于的图像的特定行或列，其接着可与受遮挡物影响的图像传感器的特定区以及由图像传感器捕获的后续图像相关。换句话说，如果存在影响图像的遮挡物，那么期望所述遮挡物保持静止。因此，由于遮挡物而出现在图像中的任何伪影将期望在时间上停滞且期望也出现在包含在所述图像中的多于一个图像(例如，第一图像及第二图像的后续图像)中。一旦图像的一或多个区，或更具体来说图像传感器被识别为受遮挡物影响，框210就将前进到框212。

框212说明监测第一图像及第二图像之后的图像的对应区以确定遮挡物在一时间段内是否静止。应了解，可经由在框204中产生的缩减表示直接或间接地监测对应区。例如，如果在框208中识别的第一图像与第二图像之间的差异对应于其对应缩减表示(例如，第一缩减表示及第二缩减表示)内的一或多个特定位置，那么可监测为后续图像产生的缩减表示的那些特定位置以确定遮挡物是否静止。

框214展示当遮挡物为静止的时间段大于时间阈值时验证遮挡物正在影响图像传感器及后续图像。例如，如果至少在时间阈值的时间内，缩减表示的特定位置对于第一图像及第二图像的后续图像保持相对不变(例如，低于阈值或在阈值范围内)，那么确定遮挡物满足第一验证要求(即，验证遮挡物的出现)，且框214前进到框216或框222。如果确定在时间阈值内遮挡物不是静止的，那么框214前进到框202。应了解，框210到214可为图1中所说明的方法100的框175的一种可能实施方案。

框216到220对应于确定遮挡物是否满足第二验证要求的任选步骤，且因此是图1中所说明的框180的一种可能实施方案。返回参考图2，框216到220提供额外检查以进一步增加遮挡物正在影响用图像传感器捕获的图像的确定是正确的可能性。然而，应了解，框216到220是任选的，且在一些实施例中可省略(例如，图像传感器不支持深度图的产生，或与框210到214相关联的第一验证检查被认为足以确定遮挡物出现)。

框216说明产生与包含在图像中的第三图像相关联的深度图，其中第三图像在时间上在第一图像及第二图像之后。可使用一或多个相位检测像素(例如参见图5)或其它技术来产生深度图。

框218展示基于深度图确定遮挡物与图像传感器的距离，以在距离小于深度阈值时进一步验证遮挡物正在影响图像传感器。具体来说，与遮挡物相关联的第三图像的对应区(例如，与受在框210中识别的遮挡物影响的图像传感器的一或多个区相关联的第三图像的部分)可与深度图相关，以确定遮挡物与图像传感器的距离(例如，相对或绝对距离)。

框220说明，如果遮挡物与图像传感器的距离小于阈值距离或在阈值距离范围内，那么第二验证确认遮挡物的出现，且框220前进到框222。如果距离大于阈值距离或在阈值距离范围之外，那么第二验证指示可能不存在影响图像传感器的遮挡物，且框220前进到框202。

框222展示向成像系统的用户输出指示影响图像传感器的遮挡物的存在的通知。应了解，框222是图1中说明的框185的一种可能实施方案，且可包含结合图1中说明的方法100论述的相同或类似特征。返回参考图2，框222展示输出指示已确定及验证(例如，经由框214及/或框222)遮挡物的出现且遮挡物可阻碍对与由图像传感器捕获的图像相关联的外部场景的查看的通知(例如，视觉、听觉、触觉或以其它方式)。在一些实施例中，通知可对应于展示在包含在系统中的显示器(例如，集成到交通工具的仪表板中的显示器)上的警告通知。在相同或其它实施例中，响应于检测到及验证遮挡物，可由系统(例如，交通工具或其它)执行一或多个动作或操作(例如，在交通工具是自主的时使交通工具安全靠边及/或停止)。在一些实施例中，可确定、验证遮挡物的指示，且可将受遮挡物影响的一或多个区存储到存储器(例如，一或多个非暂时性机器可存取存储媒体)。在相同或另一实施例中，可省略框222且可不输出通知，但存储遮挡物的出现及遮挡物的对应位置。

图3A及图3B分别说明图像360(例如，第一图像)及图像361(例如，第二图像)的缩减表示，其为在图1中所说明的方法100的框160及图2中所说明的方法200的框204中产生的缩减表示的可能实施方案。返回参考图3A及图3B，应了解，图像361在时间上在图像360之后。在一些实施例中，图像360与图像361是连续图像(例如，在图像360与图像361之间不存在中间图像)。在其它实施例中，图像360与图像361是不连续的(例如，在图像360与图像361之间存在一或多个中间图像)。图3A中所说明的图像360与图3B中所说明的图像361之间的一种差异在于存在影响图像361的遮挡物，所述遮挡物导致伪影399出现在图像361上，而图像360不包含由遮挡物引起的任何伪影。

图3A说明根据本公开的教示的当不存在影响图像的遮挡物时的图像360的实例缩减表示303-A、306-A、309-A、312-A、315-A、318-A及321-A。缩减表示318-A及321-A分别说明图像360的行及列轮廓。在此所说明实施例中，行或列轮廓对应于在逐行或逐列基础上的图像360与先前捕获的图像(例如，在时间上在图像360之前的更早图像，其可为紧邻的先前图像或其它图像)之间的强度差异。换句话说，确定每一列或行的平均强度，并在图像360与先前捕获的图像之间比较每一列或行的平均强度以确定关于行或列号的强度帧差异。应了解，在所说明实施例中，缩减表示318-A及321-A代表图像之间的瞬时改变(例如，对于在时间上在先前捕获的图像之前的图像，不存在与缩减表示318-A及321-A相关联的历史信息)。

相比之下，缩减表示303-A、306-A、309-A、312-A及315-A提供历史上下文来比较关于帧号(例如，对应于第一图像的第一帧、对应于在第一图像之后立即捕获或以其它方式捕获的第二图像的第二帧、对应于在第二图像之后立即捕获或以其它方式捕获的第三图像的第三帧，以此类推)的帧强度差异。换句话说，缩减表示303-A、306-A、309-A及312-A上的每一点对应于个别帧的区与紧邻的先前帧的对应区相比的平均(例如，平均值)强度差异。在所说明实例中，将图像划分为象限(例如，针对303-A的第一象限、针对306-A的第二象限、针对309-A的第三象限及针对312-A的第四象限)并进行比较。缩减表示315-A对应于与先前捕获的图像(例如，紧邻的先前图像)相比的整个图像(例如，图像360)的平均(例如，平均值)强度。

图3B说明根据本公开的教示的当存在导致伪影399的影响图像的遮挡物时的图像361的实例缩减表示303-B、306-B、309-B、312-B、315-B、318-B及321-B。缩减表示318-B及321-B分别说明图像361的行及列轮廓。在此所说明实施例中，行或列轮廓对应于在逐行或逐列基础上的图像361与先前捕获的图像(例如，图像360，其可为紧邻的先前图像或其它图像)之间的强度差异。换句话说，确定每一列或行的平均强度，并在图像361与图像360之间比较每一列或行的平均强度以确定关于行或列号的强度帧差异。应了解，在所说明实施例中，缩减表示318-B及321-B代表图像之间的瞬时改变(例如，除图像360及图像361之外，不存在与缩减表示318-B及321-B相关联的历史信息)。如用缩减表示321-B所说明，在存在伪影399的情况下列轮廓显著改变，这导致在将图像361与图像360进行比较时的峰值322。

缩减表示303-B、306-B、309-B、312-B及315-B提供历史上下文来比较关于帧号(例如，对应于第一图像的第一帧、对应于在第一图像之后立即捕获或以其它方式捕获的第二图像的第二帧、对应于在第二图像之后立即捕获或以其它方式捕获的第三图像的第三帧，以此类推)的帧强度差异。换句话说，缩减表示303-B、306-B、309-B及312-B上的每一点对应于个别帧的区与紧邻的先前帧的对应区相比(例如，图像361与图像360相比)的平均(例如，平均值)强度差异。在所说明实例中，将图像划分为象限(例如，用于303-B的第一象限、用于306-B的第二象限、用于309-B的第三象限及用于312-B的第四象限)并进行比较。缩减表示315-B对应于与先前捕获的图像(例如，图像360)相比的整个图像(例如，图像361)的平均(例如，平均值)强度。如所说明，缩减表示303-B的平均强度帧差异中的下降304是归因于由于遮挡物而在图像361中出现的伪影399(例如，第一象限对应于相对于图像360的左上部分的图像361的左上部分)。应了解，第二及第四象限(例如，图像的右上及右下部分)通常不受遮挡物的影响，这是因为伪影399被定位在图像360的左上部分，这解释了在缩减表示306-B及312-B中缺少突变。

图4是根据本公开的教示的用于芯片上遮挡物检测的成像系统401的功能框图。根据本公开的教示，成像系统401是一个可能系统，其可实施图1中所说明的方法100、图2中所说明的方法200，或产生图3A及图3B中所说明的缩减表示(例如303-A、306-A、309-A、312-A、315-A、318-A、321-A、303-B、306-B、309-B、312-B、315-B、318-B、321-B)中的一或多者。如所说明，成像系统401包含图像传感器405、控制器410及透镜415。图像传感器405包含半导体材料431(例如，硅衬底或晶片)、多个光电二极管433、多个滤色器435(例如，布置在多个光电二极管433上以形成对应于全色图像像素的一或多个像素单元的红色、绿色、蓝色或其它滤色器)，以及多个微透镜437，其经布置以将入射光498的部分聚焦在包含在多个光电二极管433中的个别光电二极管上。应了解，多个光电二极管433可按行及列布置，且与多个滤色器435及多个微透镜437对准以形成也按行及列布置的像素阵列，以响应于接收入射光498来成像外部场景。

控制器410包含用以控制成像系统401的各种组件的操作(例如，在图像及/或视频获取的前、后及现场阶段期间)的逻辑及/或电路系统。控制器410可实施为硬件逻辑(例如，专用集成电路、现场可编程门阵列、芯片上系统等)、在通用微控制器或微处理器上执行的软件/固件逻辑，或硬件与软件/固件逻辑两者的组合。在一个实施例中，控制器410包含耦合到存储器414的处理器412，存储器414存储用于由控制器410执行或以其它方式由成像系统401的一或多个组件执行的指令。所述指令在由控制器410执行时可致使成像系统401执行可与成像系统401的各种功能模块、逻辑块或电路系统相关联的操作，所述功能模块、逻辑块或电路系统包含控制电路系统416、读出电路系统418、功能逻辑420、图像传感器405、透镜415(例如，具有可经调整以提供可变焦点的一或多个光学组件的物镜)及成像系统401的任何其它元件(所说明或其它)中的任一者或组合。

存储器414是非暂时性机器可存取(例如，计算机可读)媒体，其可包含(但不限于)可由控制器410存取/读取的易失性(例如，RAM)或非易失性(例如，ROM)存储系统。在一些实施例中，能够存取非暂时性机器可存取媒体的机器对应于成像系统401(例如，耦合到图像传感器405的控制器410)。在相同或其它实施例中，非暂时性机器可存取存储媒体对应于机器(例如，成像系统401或其组件)的芯片上存储器(例如，存储器414及/或功能逻辑420)，以在没有外部存储器或外部处理(例如，控制器410外部的存储器或处理组件)的情况下局部地识别一或多个遮挡物的出现。应进一步了解，控制器410可为单片集成电路、一或多个离散互连电组件或其组合。另外，在一些实施例中，一或多个电组件可彼此耦合以共同用作用于编排成像系统401的操作(例如，捕获一或多个图像，执行图1中所说明的方法100、图2中所说明的方法200中的任一者或其组合，及/或产生图3A或图3B中所说明的缩减表示)的控制器410。在一些实施例中，控制器410，或更具体来说处理器412，对应于用以提供图像信号处理(例如，拜耳变换、去马赛克、降噪、内插及类似者)的图像信号处理器，且可进一步包含基于存储在存储器414中的指令的在图像处理的任何阶段处(例如，在拜耳变换、去马赛克、降噪、内插或其它芯片上或芯片外计算中的任一者之前、之后或与之并行)的遮挡物检测。在相同或其它实施例中，存储器414对应于芯片上存储器(例如，缓冲器或其它)，且控制器410提供芯片上处理。在一些实施例中，控制器410及图像传感器405是其中可堆叠一或多个衬底或晶片的单片集成电路的部分。在其它实施例中，控制器410及图像传感器405可为彼此物理分离(例如，定位在电路板内的不同位置处或以其它方式定位)且经由一或多个电连接(例如，经由一或多个电迹线)耦合的离散组件。

控制电路系统416可控制成像系统401的操作特性(例如，曝光持续时间、何时捕获数字图像或视频及类似者)。读出电路系统418读取来自个别光电二极管的模拟信号或以其它方式对所述模拟信号进行采样(例如，读出由多个光电二极管433中的每一者产生的代表响应于入射光而产生的图像电荷的电信号以产生相位检测信号，读出图像信号以捕获图像帧或视频及类似者)，且可包含放大电路系统、模/数(ADC)电路系统、图像缓冲器或其它。在所说明实施例中，读出电路系统418包含在控制器410中，但是在其它实施例中，读出电路系统418可与控制器410分离。功能逻辑480耦合到读出电路系统418以接收电信号以作为响应产生相位检测信号，响应于接收图像信号或数据而产生图像及类似者。在一些实施例中，电或图像信号可分别存储为相位检测信号或图像数据，且可由功能逻辑420操纵以执行操作(例如，计算预期图像信号、合并图像信号、对图像数据去马赛克、应用后期图像效果，例如裁剪、旋转、移除红眼、调整亮度、调整对比度、检测遮挡物的存在或其它)。

图5说明根据本公开的教示的能够产生用于遮挡物检测的深度图的实例图像传感器500的俯视图。因此，图像传感器500可为用于执行图1中所说明的方法100、图2中所说明的方法200及/或图3A及图3B中所说明的缩减表示303-A、306-A、309-A、312-A、315-A、318-A、321-A、303-B、306-B、309-B、312-B、315-B、318-B、321-B中的任一者的图1中所说明的图像传感器105及/或图4中所说明的图像传感器405的一种可能实施方案。应了解，图5中呈现的视图可省略图像传感器500的某些元件以避免模糊本公开的细节。换句话说，并非图像传感器500的所有元件都可在图5内标记、说明或以其它方式展示。应进一步了解，在一些实施例中，图像传感器500可能不一定包含所展示的所有元件。

如在图5所说明，根据本公开的教示，图像传感器500包含像素单元502的多个像素(例如，C1、C2、C3及C4)之间的共享微透镜537-S。图像传感器500包含多个光电二极管513，其各自与包含在按行及列布置以形成像素阵列的多个滤色器535(例如蓝色535-B、绿色535-G、红色535-R及透明(clear/transparent)535-C)中的对应滤色器相关联。应了解，可基于其滤色器关联(例如，B1、B2、B3、GB1、GB2、GB4、GR1、GR3、GR4、C1、C2、C3、C4等)来参考包含在多个光电二极管513中的个别光电二极管。在一些实施例中，多个光电二极管513以规则、重复的方式布置，使得多个光电二极管513以规则间隔定位在半导体材料内，以经由光电二极管的行及列形成具有正方形或矩形形状的光电二极管阵列。在一些实施例中，包含在多个光电二极管513中的个别光电二极管可对应于半导体材料的相应部分内的掺杂区，其共同响应于入射光(例如，掺杂区可形成产生与入射光的量值或强度成比例的图像电荷的PN结)。应了解，多个光电二极管513中的每一者安置在半导体材料中且与多个滤色器535光学对准(例如，535-B对应于蓝色滤光器，535-G对应于绿色滤光器，535-R对应于红色滤光器，且535-C对应于透明(clear/transparent)滤光器)以形成用于给定像素单元(例如502)的个别像素(例如，蓝色像素503、绿色像素504及505，及红色像素506)或相位检测像素(例如507)。

应了解，像素单元502代表可包含的或以其它方式共同形成图像传感器500的多个像素单元中的任何个别者。在一些实施例中，像素单元502可对应于图像传感器500的最小重复单元且被称为全色像素(例如，能够响应于入射光产生图像信号，其可共同表示电磁光谱的至少可见部分)。像素单元502包含由多个颜色像素(例如，蓝色像素503、绿色像素504及505，及红色像素506)围绕的相位检测像素507。相位检测像素507包含与包含在多个光电二极管513中的一组相邻光电二极管(例如，标记为C1、C2、C3及C4的光电二极管)光学对准的共享微透镜537-S。在一些实施例中，共享微透镜507在包含在光电二极管阵列中的大约两行及两列上方延伸，其可用于产生外部场景的相位信息以产生深度图。在所说明实施例中，包含在多个个别微透镜537-I中的个别微透镜与多个光电二极管513(例如，B1、B2、B3、GB1、GB2、GB4、GR1、GR3、GR4、C1、C2、C3、C4等)中的对应者对准。换句话说，包含在多个微透镜537-I中的个别微透镜在光电二极管阵列的大约一行及一列上方延伸。在一些实施例中，包含在多个微透镜537-I中的个别微透镜不关于多个光电二极管513共享，且因此分别将光引导朝向多个光电二极管513中的单个者。在其它实施例中，可省略相位检测像素507，且多个光电二极管513中的一或多个组可与共享微透镜对准以提供成像及相位检测两者(例如，共享微透镜可与多个光电二极管513中的一或多个组光学对准)。在此实施例中，可将对应滤色器从透明的调整为适当的颜色(例如，对于每一像素单元，C1变为B4，C2变为GB3，C3变为GR2，C4变为R3，等等)。

应了解，图像传感器500可通过所属领域的一般技术人员已知的半导体装置处理及微制造技术来制造。在一个实施例中，图像传感器500的制造可包含提供半导体材料(例如，具有前侧及背侧的硅晶片)，经由光刻在半导体材料的前侧上形成掩模或模板(例如，由固化的光致抗蚀剂形成)以提供半导体材料的前侧的多个暴露区，掺杂(例如，经由离子植入、化学气相沉积、物理气相沉积及类似者)半导体材料的暴露部分以形成从半导体材料的前侧延伸到半导体材料中的多个光电二极管513，移除掩模或模板(例如，通过用溶剂溶解固化的光致抗蚀剂)及平坦化(例如，经由化学机械平坦化或抛光)半导体材料的前侧。在相同或另一实施例中，光刻可类似地用于形成多个滤色器535及多个微透镜537(例如，单个或共享微透镜，其可为具有从主模具或模板形成的目标形状及大小的基于聚合物的微透镜)。应了解，所描述技术仅仅是演示性的而不是穷尽性的，且可利用其它技术来制造图像传感器500的一或多个组件。

可使用软件及/或硬件来实施上述过程。所描述的技术可构成在有形的或非暂时性机器(例如，计算机)可读存储媒体内体现的机器可执行指令，所述指令在由机器(例如，图4的控制器410)执行时将致使所述机器执行所描述的操作。另外，所述过程可在硬件内体现，例如，专用集成电路(“ASIC”)、现场可编程门阵列(FPGA)或其它方式。

有形的机器可读存储媒体包含提供(即，存储)呈机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等等)可存取的非暂时性形式的信息的任何机构。举例来说，机器可读存储媒体包含可记录/不可记录媒体(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置等等)。

不希望本发明的所说明的实例的以上描述(包含摘要中所描述的内容)为穷尽性或将本发明限于所揭示的精确形式。尽管本文出于说明性目的描述了本发明的特定实例，但所属领域的技术人员将认识到，在本发明范围内各种修改是可能的。

依据以上详细描述可对本发明做出这些修改。所附权利要求书中使用的术语不应解释为将本发明限于本说明书中所揭示的特定实例。而是，本发明的范围应全部由所附权利要求书确定，所附权利要求书应根据权利要求解释的既定原则来解释。

Claims (20)

1.一种成像系统，其包括：

图像传感器，其包含按行及列布置的像素阵列以成像外部场景；以及

控制器，其耦合到所述图像传感器，所述控制器包含逻辑存储指令，所述指令在由所述控制器执行时致使所述成像系统执行操作，所述操作包括：

用所述图像传感器捕获所述外部场景的图像，所述图像包含第一图像及第二图像；

产生所述图像的缩减表示，其中所述缩减表示中的每一者具有小于所述图像中的相应者的全大小分辨率的对应分辨率，且其中所述缩减表示包含与所述第一图像相关联的第一缩减表示及与所述第二图像相关联的第二缩减表示；及

比较所述第一缩减表示与所述第二缩减表示以确定所述第一图像与所述第二图像之间的差异；以及

当所述差异大于阈值时，识别影响成像所述外部场景的所述图像传感器的遮挡物的出现。

2.根据权利要求1所述的成像系统，其中所述图像的所述缩减表示包含所述图像的至少行轮廓或列轮廓，其中所述行轮廓对应于基于所述图像中每一者的所述像素阵列的所述行的在逐行基础上的平均行强度，其中所述列轮廓对应于基于所述图像中每一者的所述像素阵列的所述列的在逐列基础上的平均列强度。

3.根据权利要求2所述的成像系统，其中所述差异对应于所述第一图像与所述第二图像之间的所述平均行强度或所述平均列强度的改变。

4.根据权利要求2所述的成像系统，所述逻辑存储额外指令，所述指令在由所述控制器执行时致使所述成像系统执行另外操作，所述操作包括：

基于所述第一图像与所述第二图像之间的所述差异大于所述阈值的位置来识别受所述遮挡物影响的所述图像传感器的一或多个区；

监测所述第一图像及所述第二图像之后的图像的对应区，以确定所述遮挡物在一时间段内是否是静止的，其中所述图像的所述对应区与被识别为受所述遮挡物影响的所述图像传感器的所述一或多个区相关联；及

当所述遮挡物是静止的所述时间段大于时间阈值时，验证所述遮挡物正在影响所述图像传感器。

5.根据权利要求4所述的成像系统，所述逻辑存储额外指令，所述指令在由所述控制器执行时致使所述成像系统执行另外操作，所述操作包括：

产生与包含在所述图像中的第三图像相关联的深度图，其中所述第三图像在时间上在所述第一图像及所述第二图像之后，其中；

基于所述深度图来确定所述遮挡物与所述图像传感器的距离，以在所述距离小于深度阈值时进一步验证所述遮挡物正在影响所述图像传感器。

6.根据权利要求5所述的成像系统，所述逻辑存储额外指令，所述指令在由所述控制器执行时致使所述成像系统执行另外操作，所述操作包括向所述成像系统的用户输出指示影响所述图像传感器的所述遮挡物的存在的通知。

7.根据权利要求1所述的成像系统，其中产生所述缩减表示进一步包含确定所述图像的一或多个区的平均强度，且其中所述差异对应于所述第一图像及所述第二图像的所述一或多个区之间的平均强度差异。

8.根据权利要求1所述的成像系统，所述逻辑存储额外指令，所述指令在由所述控制器执行时致使所述成像系统执行另外操作，所述操作包括：

产生与包含在所述图像中的第三图像相关联的深度图，其中所述第三图像在时间上在所述第一图像及所述第二图像之后；及

基于所述深度图来确定所述遮挡物与所述图像传感器的距离，以在所述距离小于深度阈值时验证所述遮挡物正在影响所述图像传感器。

9.根据权利要求8所述的成像系统，所述逻辑存储额外指令，所述指令在由所述控制器执行时致使所述成像系统执行另外操作，所述操作包括向所述成像系统的用户输出指示影响所述图像传感器的所述遮挡物的所述存在的通知。

10.根据权利要求1所述的成像系统，其中所述逻辑对应于与所述图像传感器相关联的芯片上存储器，且其中所述图像的所述缩减表示存储在所述芯片上存储器中，以在没有外部存储器或外部处理的情况下局部地识别所述遮挡物的所述出现。

11.根据权利要求10所述的成像系统，所述逻辑存储额外指令，所述指令在由所述控制器执行时致使所述成像系统执行另外操作，所述操作包括在所述缩减表示中的对应者存储在所述芯片上存储器中之后从所述芯片上存储器移除所述图像中的一或多者。

12.根据权利要求1所述的成像系统，其中所述第一图像及所述第二图像是连续图像帧，使得在所述第一图像与所述第二图像之间不存在中间图像帧。

13.至少一种非暂时性机器可存取存储媒体，其提供指令，所述指令在由机器执行时将致使所述机器执行用于遮挡物检测的操作，所述操作包括：

接收外部场景的图像，所述图像包含第一图像及第二图像；

产生所述图像的缩减表示，其中所述缩减表示中的每一者具有小于所述图像中的相应者的全大小分辨率的对应分辨率，且其中所述缩减表示包含与所述第一图像相关联的第一缩减表示及与所述第二图像相关联的第二缩减表示；及

比较所述第一缩减表示与所述第二缩减表示以确定所述第一图像与所述第二图像之间的差异；以及

当所述差异大于阈值时，识别影响所述外部场景的成像的遮挡物的出现。

14.根据权利要求13所述的至少一种非暂时性机器可存取存储媒体，其中所述机器对应于耦合到控制器的图像传感器，且其中所述至少一种非暂时性机器可存取存储媒体对应于所述机器的芯片上存储器，以在没有外部存储器或外部处理的情况下局部地识别所述遮挡物的所述出现。

15.根据权利要求13所述的至少一种非暂时性机器可存取存储媒体，其中所述机器包含图像传感器，所述图像传感器包含按行及列布置的像素阵列以成像所述外部场景，其中所述图像的所述缩减表示包含所述图像的至少行轮廓或列轮廓，其中所述行轮廓对应于基于所述图像中每一者的所述像素阵列的所述行的在逐行基础上的平均行强度，其中所述列轮廓对应于基于所述图像中每一者的所述像素阵列的所述列的在逐列基础上的平均列强度。

16.根据权利要求15所述的至少一种非暂时性机器可存取存储媒体，其中所述差异对应于所述第一图像与所述第二图像之间的所述平均行强度或所述平均列强度的改变。

17.根据权利要求15所述的至少一种非暂时性机器可存取存储媒体，其提供额外指令，

所述指令在由所述机器执行时将致使所述机器执行另外操作，所述操作包括：

基于所述第一图像与所述第二图像之间的所述差异大于所述阈值的位置来识别受所述遮挡物影响的所述图像传感器的一或多个区；

监测所述第一图像及所述第二图像之后的图像的对应区，以确定所述遮挡物在一时间段内是否是静止的，其中所述图像的所述对应区与被识别为受所述遮挡物影响的所述图像传感器的所述一或多个区相关联；及

当所述遮挡物是静止的所述时间段大于时间阈值时，验证所述遮挡物正在影响所述图像传感器。

18.根据权利要求17所述的至少一种非暂时性机器可存取存储媒体，其提供额外指令，

所述指令在由所述机器执行时将致使所述机器执行另外操作，所述操作包括：

产生与包含在所述图像中的第三图像相关联的深度图，其中所述第三图像在时间上在所述第一图像及所述第二图像之后；及

基于所述深度图来确定所述遮挡物与所述图像传感器的距离，以在所述距离小于深度阈值时进一步验证所述遮挡物正在影响所述图像传感器。

19.根据权利要求18所述的至少一种非暂时性机器可存取存储媒体，其提供额外指令，所述额外指令在由所述机器执行时将致使所述机器执行另外操作，所述操作包括向所述成像系统的用户输出指示影响所述图像传感器的所述遮挡物的存在的通知。

20.一种用于遮挡物检测的方法，所述方法包括：

用图像传感器捕获外部场景的图像，所述图像包含第一图像及第二图像；

产生所述图像的缩减表示，其中所述缩减表示中的每一者具有小于所述图像中的相应者的全大小分辨率的对应分辨率，且其中所述缩减表示包含与所述第一图像相关联的第一缩减表示及与所述第二图像相关联的第二缩减表示；及

比较所述第一缩减表示与所述第二缩减表示以确定所述第一图像与所述第二图像之间的差异；以及

当所述差异大于阈值时，识别影响所述图像传感器对所述外部场景的成像的遮挡物的出现。