CN108040496A - 检测物体距图像传感器的距离的计算机实现的方法 - Google Patents

Abstract

提供了一种用于估计由图像传感器检测到的物体的距离的方法。自动地执行多次检测以检测物体的特征并且估计物体比例，所述物体比例随后被用于与诸如所述物体距所述图像传感器的距离的额外测量相关。所述方法检测人和非人物体。所述方法使用可用的人体测量学表。所述方法考虑到图像传感器光学像差，诸如镜头失真。还提供了一种相关的系统和一种相关的计算机程序产品。

Description

检测物体距图像传感器的距离的计算机实现的方法

发明背景

1.发明领域

本发明的领域涉及一种用于图像分析的方法，具体地用于检测物体距图像传感器的距离的方法，并且涉及相关系统、装置和计算机程序产品。

本专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人复制专利文献或专利公开内容，因为它出现在专利和商标局的专利文件或记录中，但是无论何事在其他方面保留所有版权权利。

2.技术背景

距离和/或年龄估计对于在机器人导航、安全、执法、监督、访问控制或人机交互的范围内的许多计算机视觉应用来说变得越来越重要。

深度测量传感器的示例包括飞行时间(ToF)摄像机和立体传感器。ToF摄像机基于飞行时间原理来测量距离，其涉及从诸如IR激光器的光源发射并且随后由物体反射的光脉冲的时间延迟的测量。当物体位于较远距离处时由于物体因背景而模糊，从ToF传感器的距离测量经常不能提供准确的测量结果。深度也可以通过使用立体或多摄像机系统来测量，因此需要多于一个图像传感器。立体传感器可以在较远的距离处提供良好的分离，然而它们需要校准设置。

大量的应用还依赖于了解一个人的年龄和/或性别。用于估计年龄的常用方法是基于提取和分析脸部特征。其他流行的技术是基于机器学习技术，诸如卷积神经网络(CNN)，并且已显示出用于估计一个人的年龄的良好性能。然而，这类技术是计算密集型的，因为它们涉及基于系统需要分类的物体来用大量示例训练系统。

虽然用于年龄和性别估计和分类的图像处理技术是众所周知的，但是能够自动估计年龄或性别仍然是具有挑战性的问题。

诸如距离、年龄或性别的检测物体属性的估计的不准确性经常也取决于诸如镜头失真的光学像差。由镜头失真引入的误差也将根据使用的镜头类型而变化。具有不同光学参数的多个传感器可以用于捕捉场景，并且需要自动地并且独立于所使用的图像传感器来考虑失真校正。

3.相关领域的讨论

US5781650A公开了用于在电子数字化图像中自动查找人脸的脸部图像并将与所述脸部相关联的人的年龄分类成年龄类别的过程。

US8565539B2公开了用于基于图像集合中的图像来确定感兴趣的个体的估计年龄的系统和方法。

US7319779B1公开了用于从数字图像中自动提取人的多类别年龄分类信息的方法和系统。所述系统检测图像中人物的脸部、从脸部提取特征、并且随后分类成多个年龄类别中的一个。

US8831362B1公开了包括编码在计算机存储介质上以用于执行年龄估计的计算机程序的方法、系统和设备。一个方面包括将人的图像提交给多个分类器，每个分类器具有适于确定所述人是否是特定年龄组的成员或者作为一个年龄组的成员或另一个年龄组的成员的概率的标量输出。

US8000505B2公开了用于确定在数字图像中具有红眼的人类受试者的年龄的数字图像处理方法。

US8523667B2公开了用于控制对电子媒体装置的访问的方法和系统。所述技术基于3-D人体模型的度量自动确定摄像机的视野中的用户的年龄组。所述度量可以涉及例如身体的头部的相对尺寸、手臂长度与身高的比率、身高与头部高度的比率和/或头部宽度与肩部宽度的比率。

US7912246B1公开了用于使用分类器的多类别分解体系结构来基于人的脸部图像来执行年龄分类或年龄估计的系统和方法。

发明内容

本发明是一种检测物体距图像传感器的距离的计算机实现的方法，所述方法包括以下步骤：(i)使用图像传感器及物体和/或物体特征检测算法来检测一个或多个物体和/或一个或多个物体特征；(ii)处理器自动地确定或计算不同的检测物体或物体特征之间的相对尺寸或比率，以及(iii)所述处理器基于已确定或计算的所述相对尺寸或比率来计算或推断所述物体或物体特征距所述传感器的距离。

本发明的实现方式中的任选特征包括以下各项中的任何一个或多个：

·所述物体是人并且所述特征包括以下各项中的一个或多个：脸部、头部、头部和肩部、全身、眼睛、嘴唇、耳朵和手。

·检测特征具有以下度量中的一个或多个：尺寸、角度、类型、颜色信息、温度、位置。

·所述度量具有二维空间(2D)参数和/或三维空间(3D)参数。

·使用不同的检测特征来估计人体比例。

·检测多个物体。

·检测到的人的特征尺寸是从检测到的非人物体的特征尺寸来估计，或反之亦然。

·所述方法实时执行，并且无需校准。

·所述方法还包括通过使用人体测量学表来估计人的一个或多个特征的尺寸。

·所述方法还包括将人的一个或多个特征的估计尺寸与可用的人体测量学表关联以便估计检测到的人的属性，诸如性征或性别。

·所述方法还包括从系统已经能够检测到的特征的尺寸来估计物体的缺失特征的尺寸的步骤。

·如果已知手的尺寸，则估计头部和/或头部和肩部的尺寸。

·如果已估计出头部的尺寸，则估计全身尺寸。

·所述方法包括以下步骤：如果已知人的年龄，则预测头部和肩部尺寸。

·对于特征尺寸的每个估计值，所述方法包括计算估计的测量值的置信因数的步骤。

·所述方法包括使用置信因数来决定估计值是否可用于估计物体的距离的步骤。

·所述方法同时且实时地提供不同特征的估计尺寸。

·所述方法包括通过考虑图像传感器光学参数来重新计算不同的检测特征或元素的估计尺寸的步骤。

·所述方法还包括计算镜头失真校正系数的步骤。

·所述镜头失真校正系数用于校准图像传感器。

·所述方法包括通过考虑镜头失真系数来重新计算物体的不同特征的估计尺寸的步骤。

·所述方法还包括紧挨着检测物体自动添加视觉信息或者产生可听消息的步骤，从而描述物体属性和物体距图像传感器的距离。

·所述方法应用于由摄像机记录的视频流，其中所述视频流包括帧，其中检测算法应用于每个帧以用于检测物体或物体特征，并且其中估计物体和/或物体特征的尺寸，并且在逐帧的基础上估计物体距摄像机的距离。

·所述方法还包括处理器基于已确定或计算的人体的不同特征的尺寸或比率来计算或推断人的年龄的步骤。

·所述方法还包括使用全身和头部的估计尺寸来通过使用可用的人体测量学表而估计检测到的人的年龄的步骤。

·所述方法用于以下产品中的一个中：

·摄像机；

·智能门铃；

·灯开关；

·灯泡；

·发光模块；

·任何可穿戴装置；

·任何智能家居装置。

另一方面是一种检测物体距图像传感器的距离的计算机实现的方法，所述方法包括以下步骤：(i)使用图像传感器及物体和/或物体特征检测算法来检测一个或多个物体和/或一个或多个物体特征；(ii)处理器自动地确定或计算一个或多个检测物体或物体特征的尺寸，以及(iii)所述处理器基于已确定或计算的所述尺寸来计算或推断所述物体或物体特征距所述传感器的距离。

以上定义的任何一种或多种方法包括提供执行算法的计算资源的GPU。

另一方面是实现以上定义的任何方法的计算机视觉系统。

所述计算机视觉系统实现用于以下各项的算法：(i)物体和/或特征检测和(ii)确定或计算不同的检测物体或物体特征的尺寸，以及(iii)基于已确定或计算的所述尺寸来计算或推断所述物体或物体特征距所述传感器的距离。

所述计算机视觉系统实现用于以下各项的算法：(i)确定或计算不同的检测物体或物体特征之间的相对尺寸或比率，以及(ii)基于已确定或计算的所述相对尺寸或比率来计算或推断所述物体或物体特征距所述传感器的距离。

所述计算机视觉系统包括嵌入式处理器或其他形式的处理器，所述处理器是适于提供执行算法的计算资源的图形处理器。

所述计算机视觉系统包括实现如上所述的方法的图像传感器模块。

所述图像传感器模块接收视频流并且在逐帧的基础上分析所述视频流。

所述图像传感器模块报告物体的存在连同关于物体的额外信息，包括物体距传感器的估计距离和/或物体的其他属性中的一个或多个。

所述图像传感器模块不会将视频流式传输到另一装置。

所述计算机视觉系统在自动对焦系统中实现，并且其中根据检测物体的估计距离来调整镜头的焦点。

一旦检测到物体，自动对焦就会自动执行，而不需要任何校准。

使用常规的自动对焦技术执行自动对焦的进一步精化。

计算机视觉系统形成灯开关、灯泡或发光模块的部分。

计算机视觉系统包括图像传感器模块，所述图像传感器模块接收视频流并且在逐帧的基础上分析所述视频，并且随后报告物体的存在连同关于物体的额外信息，诸如物体距传感器的估计距离和/或物体的其他属性。

计算机视觉系统形成智能门铃或安全系统传感器的部分。

计算机视觉系统实时地检测物体并且自动地测量物体距智能门铃或安全系统传感器的距离。

如果检测物体在预定义的区域或距离内，则系统触发另外的事件。

预定义区域或距离通过直接输入所述数据来设置。

计算机视觉系统形成语音命令控制装置的部分。

语音命令控制装置的功能通过被编程来仅在检测物体位于预定义的区域或距离内时才执行各种功能而增强。

所述计算机视觉系统通过被编程来仅在(通过检测身体的姿势或者头部的取向)检测到的人正在观察装置或者朝向装置时才执行各种功能而增强。

所述计算机视觉系统用于汽车防撞或自动驾驶系统中。

所述计算机视觉系统检测所检测物体是人还是非人。

所述计算机视觉系统被用作额外过滤器来帮助消除误报。

另一方面是一种嵌入式处理器，其适于与上文定义的计算机视觉系统中的任何一个或多个一起操作或者形成其部分，并且提供执行算法的计算资源。

另一方面是一种光学传感器模块，其包括实现以上定义的任何一种或多种方法的计算机视觉系统。

另一方面是一种使用图像传感器来检测人的年龄的计算机实现的方法，所述方法包括以下步骤：(i)使用图像传感器和物体特征检测算法来检测人的一个或多个特征；(ii)处理器自动地确定或计算若干物体特征的尺寸，以及(iii)所述处理器基于已确定或计算的所述不同的物体特征的所述尺寸或比率来从所述传感器计算或推断所述人的年龄。

所述方法包括使用全身和头部的估计尺寸来通过使用可用的人体测量学表而估计检测到的人的年龄的步骤。

另一方面是一种图像传感器系统，其中所述传感器系统包括或实现用于以下各项的算法：(i)人体特征检测和(ii)确定或计算不同的检测到的人体特征的尺寸，以及(iii)基于已确定或计算的不同的人体特征的相对尺寸或比率来计算或推断人体的年龄。

附图说明

现在将参考以下附图通过示例的方式来描述本发明的各方面，每个附图均示出本发明的特征：

图1是说明人元素(‘元素’是任何类型的检测特征)的一组图像以及通过数据分析或‘元素参数’处理创建的元素。

图2是说明非人元素的一组图像以及通过数据分析或‘元素参数’处理创建的元素。

图3是示出人体测量学数据集的示例的图。

图4是示意性地示出在使用针孔摄像机模型对人进行摄像时的光流(射线图)的图；所述图像被投影到传感器区域。

图5是示意性地示出在使用针孔摄像机模型在距传感器的两个不同距离处对人进行成像时的光流的图。

图6是说明用于镜头失真补偿的比率计算的一组图像。

图7是示意性地示出本发明的实施方案的简单算法流程的图。

图8是示意性地示出本发明的实施方案的算法流程的图。

图9示出本文件中其他地方提到的公式。

图10示出本文件中其他地方提到的公式。

具体实施方式

提供了一种用于分析来自一个或多个图像传感器的从场景捕获的图像的方法。检测算法应用于所述图像以便检测物体，并且用于估计物体的尺寸和/或物体的特定特征的尺寸并且用于估计物体的距离。

此外，提供了一种用于镜头失真补偿的方法。所述方法包括分析来自一个或多个图像传感器的从场景捕获的图像内的感兴趣的人和/或非人元素。

所述传感器可以包括以下传感器中的一个或多个：在可见光谱中操作的传感器、在红外光谱中操作的传感器、热传感器、超声波传感器、在不可见光谱中操作的传感器以及用于加速度或移动检测的传感器。

提供了一种用于估计检测到的人的性别和年龄或者用于估计已检测到的非人物体的类型(例如物体分类)的方法。

所述方法还可以应用于由摄像机记录的视频流，其中所述视频流包括帧，其中检测算法应用于每个帧以用于检测物体或物体特征，并且其中估计物体和/或物体特征的尺寸，并且在逐帧的基础上估计物体距摄像机的距离。

图1示出图像，其用于帮助详细解释人体的关键部分。用于分析图像的数据分析是扩展块。数据分析的一个目的是用于图像分析和特定特征的检测。这些检测特征可以包括例如脸部102、头部和肩部101、全身103和手104。检测特征可以具有以下度量：尺寸、角度、类型、颜色信息、温度、位置。这些度量可以具有二维空间(2D)参数和/或三维空间(3D)参数。

检测特征也可以称为“元素”。因此，“元素参数”是定义或涉及脸部102或头部和肩部101等的2D或3D参数。

人体具有单元素与多元素之间的良好确定关系。可以根据等式(1)确定“元素之间的比率”(RBE)：参见图9。

在等式(1)中，E_k是与检测元素k相关联的值，E_n是与检测元素n相关联的值，V_最小是最小比率值，并且V_最大是最大比率值。

图2示出包括非人物体和人‘物体’的图像。数据分析可以产生诸如轮子203、物体长度201和物体高度204的检测。具体物体可以具有良好确定的元素之间的关系，诸如前后轮202之间的距离。此外，一些元素可以具有众所周知的参数，诸如轮子直径203或汽车宽度。元素之间的比率也可以根据等式(1)来确定：参见图9。人205的身体比例也可以通过使用计算的或已知比例的非人物体(诸如汽车宽度)来估计。

图3示出人体测量学表的示例。人体测量学表给出了男性和女性以及不同年龄组的不同身体部位的测量结果。人体测量学数据集的示例在NASA参考出版物1024'Anthropometric Source Book Volume II:A Handbook of Anthropometric Data'中呈现。在图3中绘制身高测量结果301和头部宽度测量结果302。y轴303以厘米为单位，并且x轴304以年为单位。从图中可以很容易地认识到身高与头部宽度之间的RBE何时具有强关系。因此可以估计RBE值，并且估计的精度可以强烈依赖于基于元素的物理性质的特定元素的指定标准偏差。与其他元素相比，人体的某些元素可以具有更大的标准偏差。

因此，可以估计身高值。类似地，在某些情况下，也可能估计年龄和性别。然而，准确地估计十三岁以下人群的性别的概率可能相当低。

例如，图像传感器可以捕捉包括人或人的部分的场景。通过数据分析引擎的检测算法可以应用于捕获的图像，这可以导致图像内的特征的多次检测。人的头部可以最先检测到；随后可以检测到人的全身，接下来是检测头部和肩部。人体的不同特征或部位的检测可以自动且同时地进行。随后使用不同的检测来估计身体比例，其随后可以用来将基于身体的更多测量与可用的人体测量学表关联。

此外，人体的某些部位也可能缺失或者可能不被检测到。即使人体的某些部位或特征从捕获图像中缺失，但是它们的尺寸仍然可以从系统已能够检测的特征的尺寸来估计。例如，如果人的年龄已知，则就可能预测头部和肩部的尺寸。又如，如果手的尺寸已知，则就可能估计头部以及头部和肩部的尺寸。此外，如果已估计头部的尺寸，则可以随后估计全身尺寸，因为普通人可以例如在7个半头高的区域中。在一些情况下，也可能估计性别。例如，从全身的估计尺寸和头部的估计尺寸，经常可能通过使用可用的人体测量学表来估计检测到的人的年龄。

所述方法的优点之一在于其同时且实时地提供不同特征或身体部位的估计尺寸。

所述方法的另一优点在于不需要校准，并且只要检测到物体就可以自动估计尺寸、距离、年龄和/或性别。

也可以使用非人物体来估计其他存在的物体的尺寸和距离，并且由图像传感器检测所述非人物体(参见图2)。例如，可以通过图像来检测汽车。可以同时检测汽车的不同部位，诸如车轮或宽度。也可以从估计的汽车宽度估计检测到的汽车距图像传感器的距离。此外，不同的非人特征的尺寸也可以用于估计另一个检测到的非人物体或检测到的人的尺寸。

对于每个估计的身体部位测量，所述方法还可以计算估计的测量值的置信因数。随后可以应用置信因数来决定所估计的身体部位值是否可以用于估计物体的距离。例如，图像可以检测人、人的头部以及人的头部和肩部。如果针对头部尺寸的估计确定了较低的置信度分数，则可以从进一步的估计中丢弃所述头部尺寸估计。因此，将使用估计的头部和肩部尺寸(具有较高的置信度分数)而不是估计的头部尺寸(具有较低的置信度分数)来进行其他身体部位测量估计。如果两个估计的尺寸具有相似的置信度分数，则可以使用这两个的平均值来估计其他身体部位以及人距图像传感器的距离。

所提供的方法还考虑了图像传感器光学参数，并且还包括通过考虑图像传感器光学参数来重新计算不同元素的估计尺寸的步骤，如通过以下章节和附图所解释的。

图4示出在假设针孔摄像机模型的情况下人体在传感器区域407上的投影。可以由等式(2)描述真实人尺寸S1与其投影尺寸S2之间的关系：参见图9。在等式(2)中，F1是人与光圈405之间的距离，S1是人的高度，F2是投影到传感器区域上的人与光圈405之间的距离，S2是投射到传感器区域上的人的高度。

F1的值可以根据等式(3)来确定：参见图9。

通过使用传感器的实际尺寸和以像素为单位的元素尺寸，F1的值可以根据等式(4)来确定：参见图9。在等式(4)中，N_像素是与检测元素相关联的像素的数量；H_像素是传感器的活动区域上单个像素的尺寸。

随后可能根据等式(5)通过使用预定的查找表或者使用与预定的查找表结合的插值函数来预测S1的值：参见图10。

在等式(5)中，LUT是包含与检测元素相关联的数据集的查找表。

图5示出位于距传感器区域505两个不同距离处的同一人(501和502)。在假设如上所述的针孔摄像机模型的情况下，S1、S2、S3、S4的RBE值将相等，因为所述模型将不包括由光学元件引起的光学失真。

包括光学元件的系统的精确模型必须考虑光学失真。失真是与直线投影的偏差，所述直线投影是其中场景中的直线在图像中保持直线的投影，并且是在应用针孔摄像机模型时导致差异的光学像差的形式。

因此，在包括光学元件的系统中，S1的RBE值不等于S2和S4的RBE值；并且类似地，S3的RBE值不等于S2和S4的RBE值。失真可以随着距光轴503的距离而增加。因此，在这个示例中，S2的RBE值可以具有较小的误差，S2更接近光轴。

位于更接近光轴的距离处的人的最小可能检测的RBE值称为RBE_中心。可以根据等式(6)确定校正的RBE值RBE_校正：参见图10。

在等式(6)中，x是校正系数的值。此镜头失真校正称为RBELDC。

存在许多失真校正方法，其可以用作诸如多项式插值、3线性插值、重心插值或四面体插值的插值方法。校正系数也可以取决于帧内物体的位置。

图6示出位于距传感器区域三个不同距离处的同一人601、602和603。在这个示例中，帧区域由形成矩形网格的垂直和水平线划分。帧区域也可以由其他类型的规则图案来划分，诸如三角形或者蜂窝网格状布置。也可能使用径向网格，然而这可能无法保证相同的光学中心位置和传感器面积中心位置。网格可以用作称为‘全局镜头失真校正’的镜头失真校正(LDC)的基础。全局LDC也可以用来计算检测元素的校正尺寸。校正值可以从最近的网格节点中提取，或者可以由两个或多个网格节点之间的内插而得到。对于全局LDC，网格节点中的值是检测元素的校正值。在使用元素进行RBE计算之前，根据公式(7)计算元素的新尺寸：参见图10。在等式(7)中，E是检测元素的尺寸，并且y是校正值。

校准可以在一定量的时间内静态或动态地执行。动态校准可以通过在视野中使用同一个移动人来完成。校准程序可以计算校正系数。全局LDC的校准也可以通过使用指定印刷目标来静态地执行，或者通过在视野中使用同一个移动人来动态地执行。

图7示出用于估计物体的距离的过程的示例的流程图。方框703首先执行比率或全局LDC。视频分析引擎(VAE)是扩展块。VAE检测可以包括诸如尺寸、角度、速度、加速度、重心、颜色标记、姿势、概率评分、性别等的检测类型。人检测类型可以包括例如：脸部、头部和肩部、全身、眼睛、嘴唇、手等。所述检测可以具有2D或3D坐标。方框708基于VAE检测执行人参数的估计。方框712产生对人性别和年龄的估计。方框707基于VAE检测执行非人参数的估计。方框711估计物体的类型。方框714估计物体的距离。

图8示出处理流程的另一个更详细示例的图。方框801从VAE接收一组检测。方框803执行比率LDC校准。所述校准输出排列为2D或3D查找表的一组值。方框805执行全局LDC校准。所述校准可以在一定量的时间内静态地执行或者其可以动态地执行。所述校准输出排列为2D或3D查找表的一组值。方框808获取关于检测类型的信息。可以在方框807中处理非人检测，并且可以在方框809中处理人检测。方框809获取关于连接到单个人的人元素或特征的数量的信息。必须存在至少两个元素来估计RBE。方框813为存在于检测集合中的每个人产生RBE计算。方框820执行在方框803和方框813中先前计算的RBE的校正。方框823根据适当的性别来选择数据集。所述数据集可以包括例如人体测量学数据。方框830基于可用的检测参数来执行性别估计。方框834执行年龄估计。估计的年龄是基于先前选择的RBE和人体测量学数据集。方框835选择具有估计的人体测量学数据的数据集。如果在方框814、818和821中检测到以下各项中的至少一项：脸部、眼睛和嘴唇，则可以执行方框844。方框844基于人体测量学数据选择数据集。方框832将全局LDC应用于检测参数。方框838基于RBE和检测参数执行距离估计。方框840通过使用单个元素基于所选择的人体测量学数据集和检测参数来执行距离估计。方框842通过使用多个元素基于所选择的人体测量学数据集和检测参数来执行距离估计。方框806基于元素参数来选择数据集。所述数据集可以包括预定义的尺寸、角度、距离等。方框815将全局LDC应用于检测参数。方框816为存在于检测集合中的每个非人产生RBE计算。方框822执行在方框803和方框816中先前计算的RBE的校正。方框826为每个适当类型选择数据集。所述数据集可以包括预定义的RBE、尺寸、角度、距离等。方框828基于可用的检测参数来执行类型估计。

本发明实现大量应用。一些用例在下面作为示例被列出。

图像传感器模块：图像传感器可以包括实现如上所述的方法的模块。所述图像传感器模块可以接收视频流并且在逐帧的基础上分析所述视频，并且可以随后报告物体的存在连同关于物体的额外信息，诸如物体距传感器的估计距离和/或物体的其他属性。所述传感器模块可以不将视频流式传输到另一装置。所述传感器模块可以是包括GPU的SoC；GPU本身可以被编程来实现上述一些或所有方法。具有能够提供自动距离检测的复杂计算机视觉功能的嵌入式处理器或SoC将在许多情况下非常有用。在固件或硬件(或二者的某种组合)中实现自动距离检测的情况下，则操作可以是非常快且功率高效的，对于扩展IoT计算机视觉系统的能力的关键要求。

自动对焦：摄像机可以根据检测物体的估计距离来调整其焦点。一旦检测到物体，自动对焦就可以自动地执行，而不需要任何校准。取决于所使用的图像传感器的参数，自动对焦的进一步改进可以或可以不由摄像机完成，例如使用常规的自动对焦技术。

传感器模块可以形成灯开关、灯泡或发光模块的部分。

发光模块：发光模块可以包括焊接在印刷电路板(PCB)上的多个LED。LED之间经常存在未使用的PCB的区域，并且这个未使用的区域可以由图像传感器模块使用。图像传感器可以包括实现如上所述的方法的模块。所述图像传感器模块可以接收视频流并且在逐帧的基础上分析所述视频，并且可以随后报告物体的存在连同关于物体的额外信息，诸如物体距传感器的估计距离和/或物体的其他属性。所述传感器模块可以不将视频流式传输到另一装置。

智能门铃或类似的安全系统：智能门铃系统可以例如放置在家庭的入口门处或附近。它可以实时地检测物体并且自动地测量物体距智能门铃的距离。在测量距离大于预定义值的情况下，所述系统可以忽略所述物体。如果物体在预定义的区域内，则系统可以触发另外的事件。各种安全系统可以具有带有不同光学参数的不同传感器。通过根据以上定义的方法测量到检测物体的距离，与通过测量像素尺寸来估计距离的其他方法相比，这提供了许多优点。由于本文提供的系统不需要校准并且考虑到光学像差，所以可以通过直接输入来自传感器的实际距离或所需面积来为不同的传感器设置预定距离或面积。

连接的语音命令装置(诸如Amazon Echo)：装置的用户体验可以通过集成为检测物体提供估计距离的传感器模块来增强。只有当检测物体位于预定义的区域内时，所述装置才可以被编程来执行各种功能。还可以包括额外的检测特征，诸如关于检测到的人是否正在观察或朝向所述装置的指示(例如，通过检测身体的姿势或者头部的取向)。如果检测到的人的年龄高于某个值，则所述装置也仅可以进行通信。

汽车防撞或自主驾驶系统：这类系统可以用于在即将发生碰撞时向驾驶员提供警报，或者在没有任何驾驶员输入的情况下自主地采取行动。这类系统可以用于例如帮助驾驶员改变车道或停放车辆。当前防撞可以使用不断感测周围环境并且检测附近的物体的传感器，并且可以提醒驾驶员可能的碰撞。警报可以是例如可听警告的形式，其可以根据检测物体的接近度而变化。集成了实现上述方法的光学传感器模块的防撞系统可以提供关于附近的检测物体的额外信息，并且可以在物体是人或非人的情况下警告驾驶员，并且提供关于物体距车辆的距离的信息。

用于消除误报的额外过滤器：关于检测物体的距离或坐标的信息可以用作额外的过滤器以帮助消除误报。例如，如果摄像机探测到外部场景，并且它检测到人位于地面以上十米处，则可以使用所述系统来推断这是不可能的，并且可以消除误报。

注意事项

应理解，上面提及的布置只是对本发明原理的应用的说明。可以在不脱离本发明的精神和范围的情况下设想到许多修改和替代布置。虽然本发明已在附图中示出并在上文结合目前被认为是本发明的最实用和优选示例特别并且详细地进行了完整描述，但是本领域的普通技术人员应明了，可以在不脱离如本文阐述的本发明的原理和概念的情况下做出各种修改。

Claims (56)

1.一种检测物体距图像传感器的距离的计算机实现的方法，所述方法包括以下步骤：(i)使用图像传感器及物体和/或物体特征检测算法来检测一个或多个物体和/或一个或多个物体特征；(ii)处理器自动地确定或计算不同的检测物体或物体特征之间的相对尺寸或比率，以及(iii)所述处理器基于已确定或计算的所述相对尺寸或比率来计算或推断所述物体或所述物体特征距所述传感器的所述距离。

2.根据权利要求1所述的方法，其中所述物体是人并且所述特征包括以下各项中的一个或多个：脸部、头部、头部和肩部、全身、眼睛、嘴唇、耳朵和手。

3.根据任一项前述权利要求所述的方法，其中所述检测特征具有以下度量中的一个或多个：尺寸、角度、类型、颜色信息、温度、位置。

4.根据前述权利要求3所述的方法，其中所述度量具有二维空间(2D)参数和/或三维空间(3D)参数。

5.根据任一项前述权利要求所述的方法，其中使用不同的检测特征来估计人体比例。

6.根据任一项前述权利要求所述的方法，其中检测多个物体。

7.根据权利要求6所述的方法，其中从检测到的非人物体的特征尺寸来估计检测到的人的特征尺寸，或反之亦然。

8.根据任一项前述权利要求所述的方法，其中所述方法是实时执行的并且不需要校准。

9.根据任一项前述权利要求所述的方法，其中所述方法还包括通过使用人体测量学表来估计人的一个或多个特征的尺寸。

10.根据权利要求9所述的方法，其中所述方法还包括将人的所述一个或多个特征的估计尺寸与可用的人体测量学表关联以便估计检测到的人的属性，诸如性征或性别。

11.根据任一项前述权利要求所述的方法，其中所述方法还包括以下步骤：从所述系统已经能够检测到的所述特征的所述尺寸来估计所述物体的缺失特征的尺寸。

12.根据任一项前述权利要求所述的方法，其包括以下步骤：如果已知手的尺寸，则估计所述头部和/或所述头部和肩部的尺寸。

13.根据任一项前述权利要求所述的方法，其包括以下步骤：如果已估计出所述头部的所述尺寸，则估计全身尺寸。

14.根据任一项前述权利要求所述的方法，其包括以下步骤：如果已知人的年龄，则预测所述头部和肩部的尺寸。

15.根据任一项前述权利要求所述的方法，其中对于特征的尺寸的每个估计值，所述方法包括计算所述估计的测量值的置信因数的步骤。

16.根据前述权利要求15所述的方法，其包括以下步骤：使用所述置信因数来决定所述估计值是否可用于估计所述物体的所述距离。

17.根据任一项前述权利要求所述的方法，其中所述方法同时且实时地提供不同特征的估计尺寸。

18.根据任一项前述权利要求所述的方法，其中所述方法包括以下步骤：通过考虑图像传感器光学参数来重新计算所述不同的检测特征或元素的所述估计尺寸。

19.根据前述权利要求18所述的方法，其中所述方法还包括计算镜头失真校正系数的步骤。

20.根据前述权利要求19所述的方法，其中所述镜头失真校正系数用于校准所述图像传感器。

21.根据前述权利要求20所述的方法，其包括以下步骤：通过考虑所述镜头失真系数来重新计算所述物体的所述不同特征的所述估计尺寸。

22.根据任一项前述权利要求所述的方法，其中所述方法还包括以下步骤：紧挨着检测物体自动添加视觉信息或者产生可听消息，从而描述所述物体属性和所述物体距所述图像传感器的所述距离。

23.根据任一项前述权利要求所述的方法，当所述方法应用于由摄像机记录的视频流时，其中所述视频流包括帧，其中检测算法应用于每个帧以用于检测物体或物体特征，并且其中估计所述物体和/或所述物体的所述特征的所述尺寸，并且在逐帧的基础上估计所述物体距所述摄像机的所述距离。

24.根据任一项前述权利要求所述的方法，其中所述方法还包括以下步骤：所述处理器基于已确定或计算的人体的所述不同特征的所述尺寸或比率来计算或推断该人的年龄。

25.根据前述权利要求24所述的方法，其中所述方法还包括以下步骤：使用全身和头部的估计尺寸来通过使用可用的人体测量学表而估计所述检测到的人的所述年龄。

26.根据任一项前述权利要求所述的方法，当使用时所述方法用于以下产品中的一个中：

·摄像机；

·智能门铃；

·灯开关；

·灯泡；

·发光模块；

·任何可穿戴装置；

·任何智能家居装置。

27.一种检测物体距图像传感器的距离的计算机实现的方法，所述方法包括以下步骤：(i)使用图像传感器及物体和/或物体特征检测算法来检测一个或多个物体和/或一个或多个物体特征；(ii)处理器自动地确定或计算一个或多个检测物体或物体特征的尺寸，以及(iii)所述处理器基于已确定或计算的所述尺寸来计算或推断所述物体或所述物体特征距所述传感器的所述距离。

28.根据任一项前述权利要求所述的方法，其中GPU提供执行所述算法的计算资源。

29.一种实现以上所述的方法中的任一方法的计算机视觉系统。

30.根据权利要求29所述的计算机视觉系统，其实现用于以下各项的算法：(i)物体和/或特征检测和(ii)确定或计算不同的检测物体或物体特征的尺寸，以及(iii)基于已确定或计算的所述尺寸来计算或推断所述物体或所述物体特征距所述传感器的距离。

31.根据权利要求30所述的计算机视觉系统，其实现用于以下各项的算法：(i)确定或计算不同的检测物体或物体特征之间的相对尺寸或比率，以及(ii)基于已确定或计算的所述相对尺寸或比率来计算或推断所述物体或所述物体特征距所述传感器的所述距离。

32.根据任一项前述权利要求29-31所述的计算机视觉系统，其包括嵌入式处理器或其他形式的处理器，所述处理器是适于提供执行所述算法的所述计算资源的图形处理器。

33.根据任一项前述权利要求29-32所述的计算机视觉系统，其包括实现如上所述的所述方法的图像传感器模块。

34.根据前述权利要求33所述的计算机视觉系统，其中所述图像传感器模块接收视频流并且在逐帧的基础上分析所述视频流。

35.根据前述权利要求33-34所述的计算机视觉系统，其中所述图像传感器模块报告物体的存在连同关于所述物体的额外信息，包括所述物体距所述传感器的所述估计距离和/或所述物体的其他属性中的一个或多个。

36.根据前述权利要求33-35所述的计算机视觉系统，其中所述图像传感器模块不将视频流式传输到另一装置。

37.根据前述权利要求29-36所述的计算机视觉系统，所述计算机视觉系统在自动对焦系统中实现，并且其中根据检测物体的所述估计距离来调整镜头的焦点。

38.根据前述权利要求37所述的计算机视觉系统，其中一旦检测到物体，就会自动执行所述自动对焦，而不需要任何校准。

39.根据前述权利要求37-38所述的计算机视觉系统，其中使用常规的自动对焦技术执行所述自动对焦的进一步精化。

40.根据前述权利要求29-36所述的计算机视觉系统，其形成灯开关、灯泡或发光模块的部分。

41.根据前述权利要求40所述的计算机视觉系统，其包括图像传感器模块，所述图像传感器模块接收视频流并且在逐帧的基础上分析所述视频，并且随后报告物体的存在连同关于所述物体的额外信息，诸如所述物体距所述传感器的估计距离和/或所述物体的其他属性。

42.根据前述权利要求29-36所述的计算机视觉系统，其形成智能门铃或安全系统传感器的部分。

43.根据前述权利要求42所述的计算机视觉系统，其实时地检测物体并且自动地测量所述物体距所述智能门铃或所述安全系统传感器的所述距离。

44.根据前述权利要求43所述的计算机视觉系统，其中如果所述检测物体在预定义的区域或距离内，则所述系统触发另外的事件。

45.根据前述权利要求44所述的计算机视觉系统，其中所述预定义区域或距离通过直接输入所述数据来设置。

46.根据前述权利要求29-36所述的计算机视觉系统，其形成语音命令控制装置的部分。

47.根据前述权利要求46所述的计算机视觉系统，其中所述语音命令控制装置的所述功能通过被编程来仅在检测物体位于预定义的区域或距离内时才执行各种功能而增强。

48.根据前述权利要求46-47所述的计算机视觉系统，所述计算机视觉系统通过被编程来仅在(通过检测身体的姿势或者头部的取向)检测到的人正在观察所述装置或者朝向所述装置时才执行各种功能而增强。

49.根据前述权利要求29-36所述的计算机视觉系统，当使用时所述计算机视觉系统用于汽车防撞或自动驾驶系统中。

50.根据任一项前述权利要求所述的计算机视觉系统，其检测所检测物体是人还是非人。

51.根据任一项前述权利要求所述的计算机视觉系统，当使用时所述计算机视觉系统用作额外的过滤器以帮助消除误报。

52.一种嵌入式处理器，其适于与如任一项前述权利要求29-51所述的计算机视觉系统一起操作或者形成其部分，并且提供执行所述算法的计算资源。

53.一种光学传感器模块，其包括实现如权利要求1-26所述的方法中的任一方法的计算机视觉系统。

54.一种使用图像传感器来检测人的年龄的计算机实现的方法，所述方法包括以下步骤：(i)使用图像传感器和物体特征检测算法来检测所述人的一个或多个特征；(ii)处理器自动地确定或计算若干物体特征的尺寸，以及(iii)所述处理器基于已确定或计算的所述不同的物体特征的所述尺寸或比率来从所述传感器计算或推断所述人的所述年龄。

55.根据权利要求54所述的年龄估计的方法，其包括以下步骤：使用全身和头部的估计尺寸来通过使用可用的人体测量学表而估计所述检测到的人的所述年龄。

56.一种图像传感器系统，其中所述传感器系统包括或实现用于以下各项的算法：(i)人体特征检测和(ii)确定或计算不同的检测到的人体特征的尺寸，以及(iii)基于已确定或计算的所述不同的人体特征的相对尺寸或比率来计算或推断所述人体的年龄。