CN112513870A

CN112513870A - 用于利用改进的高度计算对感兴趣的人类对象进行检测、跟踪和计数的系统和方法

Info

Publication number: CN112513870A
Application number: CN201880096243.6A
Authority: CN
Inventors: 王芝芊
Original assignee: Sobo Technology Co ltd
Current assignee: Sobo Technology Co ltd
Priority date: 2018-08-08
Filing date: 2018-08-08
Publication date: 2021-03-16
Also published as: WO2020032944A1; US20210133491A1; EP3834125A1

Abstract

本文披露了用于评估高度数据的技术。在指定时间段内获得被跟踪对象的高度值。生成包括所述高度值中的至少一个高度值的聚类。标识具有最大数量的高度值的聚类。根据所标识的聚类估计所述被跟踪对象的高度。

Description

用于利用改进的高度计算对感兴趣的人类对象进行检测、跟踪和计数的系统和方法

发明背景

发明领域

本发明总体上涉及对象检测、跟踪和计数的领域。具体地，本发明是一种用于检测和跟踪出现在例如在设施的一个或多个入口处拍摄的相机图像中的感兴趣人类对象并且对在给定时间段内进入或离开所述设施的感兴趣人类对象的数量进行计数的计算机实施的检测和跟踪系统和过程。

背景技术

传统上，已经提出了用于对对象的通过进行检测和计数的各种方法。美国专利号7,161,482描述了一种集成电子物品监视(EAS)和人员计数系统。所述EAS组件通过在受保护区域的出口点处邻近询问区定位的天线建立询问区。所述人员计数组件包括：一个人员检测设备，所述人员检测设备用于检测人员通过相关联的通道并提供人员检测信号；以及另一个人员检测设备，所述另一个人员检测设备放置在离所述第一设备预定义距离处并且被配置用于检测另一个人员检测信号。然后，响应于这些信号，将这两个信号处理成表示行进方向的输出。

基本上，有两类系统使用视频图像来定位和跟踪感兴趣的人类对象。一类使用单目视频流或图像序列来提取、识别和跟踪感兴趣的对象。另一类利用两个或更多个视频传感器从多个强度图像得到距离图或高度图并将所述距离图或高度图用作主要数据源。

在单目系统中，通过应用背景差或者通过自适应模板匹配或者通过轮廓跟踪来检测和跟踪感兴趣的对象。使用背景差的方法的主要问题是背景杂波的存在，这不利地影响系统性能的稳健性和可靠性。另一个问题是背景更新速率在实际应用中很难调整。使用自适应模板匹配的方法的问题是：

1)对象检测倾向于偏离对象的真实位置，或者固定到背景中的强特征上；以及

2)检测易于被遮挡。使用轮廓跟踪的方法在克服对象的轮廓附近背景中的强度梯度引起的退化方面存在困难。另外，前面提到的所有方法都容易受到照明条件变化、阴影和阳光的影响。

在立体或多传感器系统中，由传感器拍摄的强度图像被转换为距离图或高度图，并且转换不受比如照明条件变化、强阴影或阳光等不利因素的影响。

因此，在不利的照明条件等不利因素存在的情况下，立体系统的性能仍然非常稳健和可靠。另外，使用距离或高度信息来分割、检测和跟踪对象比使用强度信息更容易。

大多数最先进的立体系统使用距离背景差来检测感兴趣的对象。距离背景差存在与单目背景差方法相同的问题，比如背景杂波，并且在区分多个位置接近的对象方面存在困难。

美国专利号6,771,818描述了一种通过选择性地聚类斑点以在场景内生成“候选斑点聚类”并将所述斑点聚类与表示场景中的感兴趣人员和对象的模型进行比较来标识和定位感兴趣人员或对象的系统和过程。候选斑点聚类与所述模型的比较标识作为所述模型的最接近的一个或多个匹配的斑点聚类。可以实时捕获和分析连续的实时深度图像以根据时间提供对人员或对象的连续标识和定位。

美国专利号6,952,496和7,092,566涉及一种采用彩色图像、彩色直方图、用于补偿变化的技术和匹配质量总和方法来最好地标识场景的图像中的一组人员和对象中的每一个的系统和过程。分割图像以提取可能与感兴趣的人员和对象相对应的区域并针对每个提取的区域计算直方图。将所述直方图与预先计算的模型直方图进行比较，并且如果相似度超过规定的阈值，则所述直方图被指定为与人或对象相对应。所指定的直方图也可以存储为附加模型直方图。

美国专利号7,176,441描述了一种用于对通过设置在路径的宽度方向上的监测线的人数进行计数的计数系统。安装激光器以用狭缝射线照射监测线并且部署图像捕获设备以拍摄包括监测线的区域。当人通过监测线时，在监测线上狭缝射线被中断时，基于从拍摄获得的图像生成的一维数据对通过的人数进行计数。

尽管有此领域中的所有现有技术，但是还没有发明开发出一种使得能够不引人注目地检测和跟踪移动的人类对象、需要低预算和维护同时提供精确的流量计数结果并具有区分进入和离开的流量、移动和静止的对象以及在不同高度的对象之间进行区分的能力的技术。因此，本发明的主要目的是提供一种不引人注目的流量检测、跟踪和计数系统，所述系统涉及低成本、容易维护且维护成本低、高速处理，并且能够提供可以进一步分析的时间戳结果。

另外，人员计数系统通常会创建匿名流量计数。然而，在零售流量监测中，这可能是不够的。例如，一些情况可能需要商店员工陪同客户通过由对象跟踪和计数系统监测的访问点，比如试衣间。在这些情况下，现有系统无法分别对员工和客户进行跟踪和计数。本发明将解决这一缺陷。

发明内容

根据本发明的一个方面，一种用于对定义的对象进行计数和跟踪的方法包括用数据捕获设备接收子集数据的步骤，其中，所述子集数据与定义的对象相关联并且包括每个定义的对象的唯一标识符、进入时间、离开时间和位置数据。所述方法可以进一步包括以下步骤：在计数系统处接收子集数据，对所述定义的对象进行计数，跟踪所述定义的对象，将定义的对象的位置与预定义区域相关联，和/或通过绘制所述定义的对象在连续的时间段在所述预定义区域内的X和Y坐标来生成路径数据。

在一些实施例中，所述方法可以进一步包括在所述数据捕获设备处接收位置数据的步骤，其中，所述位置数据是从跟踪技术接收的，所述跟踪技术检测从一个或多个移动手机发出的蜂窝信号或者从会员卡、员工徽章、火车票或机票、租车钥匙、酒店钥匙、商店赞助的信用卡或借记卡、或者具有RFID芯片的忠诚奖励卡发出的信号。

在一些实施例中，所述蜂窝信号包括T-IMSI信号、CDMA信号或Wi-Fi信号。

在一些实施例中，所述方法可以进一步包括从另一个独立系统接收关于对象的物理特性的数据的步骤。

在一些实施例中，所述另一个独立系统可以选自由销售点系统、忠诚度奖励系统、销售点触发信息和机械土耳其人组成的组。

在一些实施例中，所述方法可以进一步包括将所述子集数据转换成序列记录并创建所有所述序列记录的序列阵列的步骤，其中，序列记录可以包括：(a)唯一ID，其是与移动手机相关联的无符号整数、与所述移动手机相关联的电话号码、或与对象相关联的任何其他唯一号码、字符或其组合，(b)开始时间，其可以包括指示对象首次在覆盖区域内被检测的时间的信息，(c)结束时间，其可以包括指示对象最后一次在所述数据捕获设备的覆盖区域内被检测的时间的信息，和/或(d)对与特定序列记录重叠的所有轨迹的引用的阵列。

在一些实施例中，所述方法可以进一步包括通过从此预定区域的开始时间减去此预定区域的结束时间来确定对象在预定义区域内的停留时间的步骤。

在一些实施例中，所述方法可以进一步包括使用Z坐标来进一步跟踪由多个楼层定义的预定义区域内的对象的步骤。

在一些实施例中，所述方法可以进一步包括使用所述子集数据来生成报告的步骤，所述报告显示预定义区域内的对象的数量、在特定时间段期间所述预定义区域内的对象的数量、对象访问的预定义区域的数量或者一个或多个预定义区域的停留时间中的至少一个。

在一些实施例中，所述方法可以进一步包括至少使用路径数据和子集数据来聚集对象所采取的最常见路径并使路径数据信息与停留时间相关的步骤。

在一些实施例中，所述方法可以进一步包括生成报告的步骤，所述报告显示以下中的至少一个：(a)对象在商店中采取的最常见路径，包括相应的停留时间，(b)按时间段或季节的购物模式的变化，和/或(c)商店安全或HVAC系统在特定时间增加或减少资源时使用的流量模式。

在一些实施例中，所述方法可以进一步包括通过以下操作来生成转换率的步骤：(a)加载与所进行的交易相关的交易数据，(b)加载包括流量计数并按时间段分类的流量数据，和/或(c)将所述交易除以所述时间段的流量计数。

在一些实施例中，所述交易数据可以包括销售额、购买物品的数量、购买的特定物品、交易的数据和时间、用于交易的登记表以及完成交易的销售伙伴。

在一些实施例中，所述方法可以进一步包括基于停留时间、预定义区域或时间段中的至少一个来生成显示购买者与非购买者之间的比较的报告的步骤。

根据此后将变得显而易见的这些和其他目的，将具体参考附图来描述本发明。

附图说明

图1是其中安装有本发明的系统的设施的示意性透视图；

图2是展示连接到本发明的示例性计数系统的图像捕获设备的图示；

图3是展示将由本发明的系统捕获的一个或多个立体图像对转换成高度图的序列的图示，所述高度图被分析以对人类对象进行跟踪和计数；

图4是描述根据本发明系统执行人类对象检测、跟踪和计数的处理流程的流程图；

图5是描述对象跟踪的处理流程的流程图；

图6A至图6B是描述跟踪分析的处理流程的流程图；

图7A至图7B是描述不成对轨迹的次优定位的处理流程的流程图的第一部分；

图8A至图8B是图7的流程图的第二部分，描述了不成对轨迹的次优定位的处理流程；

图9A至图9B是描述轨迹与对象检测的第二遍匹配的处理流程的流程图；

图10是描述轨迹更新或创建的处理流程的流程图；

图11是描述轨迹合并的处理流程的流程图；

图12是描述轨迹更新的处理流程的流程图；

图13是展示可以在其中部署计数系统的示例情景的概念图；

图14是相对于图13描述的立体光学传感器单元的示例实施例的简图；

图15是相对于图13描述的立体光学传感器单元的布置组件的示例实施例的简单框图；

图16是相对于图13描述的计数系统的组件的布置的简单框图；

图17是为计数系统定义的计数区域的示例实施例的示例概念图；

图18是8连接斑点的网格视图的示例概念图；

图19是指示个体的斑点的俯视图的示例概念图；以及

图20和图21是展示用于确定相对于图13和图14描述的立体光学计数系统中的高度计算的方法的流程图。

具体实施方式

在计算机或计算机网络上执行的程序、数据结构或过程方面呈现本具体实施方式。由系统实施的软件程序可以用比如JAVA、C、C++、C#、汇编语言、Python、PHP或HTML等语言编写。然而，本领域技术人员将理解，其他语言可以代替前述语言或与前述语言组合地使用。

1.系统组件

参考图1、图2和图3，本发明是一种系统10，所述系统包括以电子或无线方式连接到计数系统30的至少一个图像捕获设备20。在所展示的实施例中，所述至少一个图像捕获设备20安装在设施23的一个或多个入口21上方以用于从所述一个或多个入口21捕获图像。具有宽入口的商场或商店等设施通常需要一个以上的图像捕获设备来完全覆盖入口。由图像捕获设备20捕获的区域是视场44。每个图像连同图像被捕获的时间是帧48(图3)。

典型地，图像捕获设备包括具有两个或更多个视频传感器46(图2)的至少一个立体相机，这允许相机模拟人类的双目视觉。一对立体图像包括由相机的每个视频传感器46拍摄的帧48。然后，通过涉及在立体图像对的校正帧52、53中找到相应像素的计算从所述对立体图像构建高度图56。

门区84是高度图56中标记进入轨迹的开始位置和离开轨迹的结束位置的区域。内部区86是标记进入轨迹的结束位置和离开轨迹的开始位置的区域。死区90是视场44中未被计数系统30处理的区域。

视频传感器46(图2)通过透镜接收光子，并且光子使图像捕获设备20中的电子反应并形成光图像。图像捕获设备20然后将光图像转换成数字信号，通过所述数字信号，设备20获得包括像素的数字原始帧48(图3)。像素是原始帧48中的单个点。原始帧48通常包括按行和列排列的数十万或数百万像素。

用于本发明的视频传感器46的示例包括CMOS(互补金属氧化物半导体)传感器和/或CCD(电荷耦合器件)传感器。然而，视频传感器46的类型不应被认为是限制性的，并且可以采用与本系统兼容的任何视频传感器46。

计数系统30包括三个主要组件：(I)引导加载器32；(2)系统管理和通信组件34；以及(3)计数组件36。

引导加载器32在系统加电时执行并将主应用程序加载到存储器38中以执行。

系统管理和通信组件34包括任务调度器、数据库接口、记录功能、和TCP/IP或PPP通信协议。数据库接口包括用于将从计数组件36产生的数据推送到和存储到远程站点处的数据库的模块。记录功能提供比如将用户定义的事件写入数据库、发送电子邮件和视频记录等操作。

计数组件36是系统10的关键组件并且下面对其进行进一步详细描述。

2.计数组件。

在本发明的所展示的实施例中，至少一个图像捕获设备20和计数系统30被集成在单个图像捕获与处理设备中。所述单个图像捕获与处理设备可以安装在设施23的一个或多个入口上方的任何地方。从所述单个图像捕获与处理设备输出的数据可以通过系统管理和通信组件34传输到数据库用于存储和进一步分析。

图4是示出计数组件36的处理流程的图示。所述处理是：(1)获得原始帧(框100)；(2)校正(框102)；(3)视差图生成(框104)；(4)高度图生成(框106)；(5)对象检测(框108)；以及(6)对象跟踪(框110)。

参考图1至图4，在框100中，图像捕获设备20以给定速率(比如每秒一帧)从视频传感器46获得视场44的原始图像帧48(图3)。原始帧48中的每个像素记录视场44中的位置的颜色和光强度。当图像捕获设备20拍摄快照时，设备20的每个视频传感器46同时产生不同的原始帧48。同时拍摄的一对或多对原始帧48随后被用于生成视场44的高度图56，如将要描述的。

当使用多个图像捕获设备20时，由每个图像捕获设备20生成的轨迹88在前进到框102之前被合并。

框102使用存储在图像捕获设备20中的立体相机(未示出)的校准数据来校正原始立体帧48。所述校正操作修正原始帧48上的透镜失真效应。校准数据包括每个传感器的光学中心、透镜失真信息、焦距以及一个传感器相对于另一个传感器的相对姿态。在校正之后，已失真成原始立体帧48中的曲线的真实世界中的直线被修正并恢复成直线。从校正得到的帧被称为校正帧52、53(图3)。

框104从每对校正帧52、53创建视差图50(图3)。视差图50是图像图，其中每个像素包括视差值。术语视差最初用于描述左眼和右眼看到的相应特征的位置之间的2维向量。对中的校正帧52、53被相互比较以匹配特征。视差被计算为帧52和帧53中的相同特征的位置之间的差。

框106将视差图50转换成高度图56。高度图56的每个像素包括高度值和xy坐标，其中高度值由视场44中相同位置的所有点的最大地面高度表示。在说明书的其余部分中，高度图56有时被称为帧。

2.1对象检测

对象检测(框108)是在高度图56中定位候选对象58的过程。本发明的一个目的是检测在相对平坦的区域中站立或行走的人类对象。因为所关心的人类对象比地面高得多，所以高度图56的局部最大值通常表示人类对象的头部或偶尔抬起的手或在计数区84、86中行走的人类对象的肩膀上携带的其他对象(图1)。因此，高度图56的局部最大值被标识为潜在人类对象58检测的位置。每个潜在人类对象58检测在高度图56中由具有大于预定义阈值的高度的局部最大值以及高于预定义范围的与其他局部最大值的所有距离来表示。

有时，比如由于高度图56在生成视差图50的过程中由于雪盲效应而受到错误检测的影响或者所关心的人类对象靠近较高的物体(比如墙或门)站立，所以一些所关心的人类对象不作为局部最大值出现。为了克服这个问题，本发明在最新的局部最大值附近搜索次优位置，作为所关心人类对象的候选位置，这将在后面描述。

行程(run)是高度图56的同一行上具有相同非零高度值的一组连续像素。每个行程由四元组(行、开始列、结束列、高度)表示。实际上，高度图56通常由一组行程来表示以便提高处理性能并且也在行程上而不是在像素上执行对象检测。

对象检测包括四个阶段：1)背景重建；2)第一遍组件检测；3)第二遍对象检测；以及4)合并位置接近的检测。

2.1.1组件定义和属性

如果像素q和像素p在高度图56中共享边或顶点，并且p和q两者都具有非零高度值，则q是p的八邻域像素。一个像素可以具有多达八个邻域像素。

如果对于一组像素E中的每一对像素Pi和Pi，存在像素序列Pi′...,Pi，使得所述序列中的所有像素都属于组E，并且每对两个相邻像素是彼此的八邻域像素，则E是八连接组件。无需进一步说明，八连接组件在下文中简称为连接组件。

连接组件是表示高度图56中的一组八连接像素的数据结构。连接组件可以表示一个或多个所关心的人类对象。连接组件的属性包括高度、位置、大小等。表1提供了与连接组件相关联的属性的列表。每个属性具有括在一对括号中的缩写名称和描述。下文将以属性的缩写名称引用属性。

多个谓词运算符被应用于连接组件的属性子集以检查所述属性子集是否满足特定条件。组件谓词运算符包括：

IsNoisy，其检查连接组件是否太小而不能被认为是有效的对象检测58。如果以下三个条件中的至少两个成立，则连接组件被视为“噪声”：1)其det_minSize小于指定的最小人体尺寸的三分之二，所述指定的最小人体尺寸可在[9,36]英寸范围内配置；2)其det_area小于直径等于指定的最小身体尺寸的圆的面积的九分之四；以及3)其det_minSize和det area的乘积小于所述指定的最小人体尺寸和指定的最小身体面积的乘积。

IsPointAtBoundaries，其检查以当前点为中心且其边等于指定的局部最大搜索窗口大小的正方形窗口是否与高度图56的边界相交，或者连接组件在死区90中是否具有超过特定数量的像素。如果此操作返回真，则被检查的点被认为在高度图56的边界内。

NotSmallSubComponent，其检查第二遍组件检测中的子组件是否不小。如果其detrninxize大于指定的最小人类头部尺寸或者其det_area大于指定的最小人类头部面积，则其返回真。

BigSubComponentSeed，其检查第二遍组件检测中的子组件种子是否大到足以停止分组操作。如果其detrninxize大于指定的最大人类头部尺寸或者其det_area大于指定的最大人类头部面积，则其返回真。

SmallSubComponent，其检查第二遍组件检测中的子组件是否较小。如果其detrninxize小于指定的最小人类头部尺寸或者其der area小于指定的最小人类头部面积，则其返回真。

2.1.2背景重建

背景表示图像捕获设备20的视场44中的静态风景并且由高度图56构建。背景建立过程监测每个高度图56的每个像素并更新背景高度图。如果像素在指定百分比(例如，70％)的时间内具有相同的非零高度值，则所述像素可被视为静态风景的一部分。

2.1.3第一遍组件检测

通过对高度图56的行程应用八连接图像标记算法的变体来计算第一遍组件。根据表1中的定义计算第一遍组件的属性。谓词运算符也适用于第一遍组件。那些其“IsNoise”谓词运算符返回“真”的第一遍组件将被忽略，而不会传递到对象检测的第二遍组件检测阶段。

2.1.4第二遍对象检测

在此阶段中，在以下步骤中从第一遍组件得到高度图局部最大值，所述高度图局部最大值将被视为候选人类检测。

首先，对于每个第一遍组件，找到其像素具有相同高度的所有八个连接子组件。清除所有子组件的deigrouped属性以为子组件分组做准备，并将每个子组件的deCID属性设置为相应的第一遍组件的ID。

其次，尝试找到满足以下两个条件的最高未分组局部最大子组件：(1)所述子组件在给定第一遍组件的所有未分组子组件中具有最高高度，或者如果存在多个具有相同最高高度的未分组子组件，则在给定第一遍组件的所有未分组子组件中具有最大面积；以及(2)所述子组件高于其所有相邻子组件。如果存在这样的子组件，则将其用作当前种子并前进到下一步骤以进行进一步的子组件分组。否则，返回到步骤1以处理行中的下一个第一遍组件。

第三，如果BigSubComponentSeed测试对于当前种子返回真，则所述子组件被认为是潜在的人类对象检测。设置所述子组件的det grouped标志以将其标记为已分组并继续步骤2以寻找新种子。如果所述测试返回假，则前进到下一步骤。

第四，尝试在当前种子旁边找到具有最高高度并且满足以下所有三个条件的子组件：(I)其与当前种子八连接；(2)其高度小于当前种子的高度；以及(3)其没有连接到更高的第三个子组件并且其通过了NotSmallSubComponent测试。如果一个以上的子组件满足所有以上条件，则选择面积最大的一个。当没有子组件符合标准时，将当前种子的deigrouped属性设置为“已分组”并转到步骤2。否则，前进到下一步骤。

第五，计算当前种子的中心与在前一步骤中找到的子组件的中心之间的距离。如果所述距离小于指定的检测搜索范围或者当前种子通过了SmallSubComponent测试，则将当前种子与子组件分组在一起并相应地更新当前种子的属性。否则，将当前种子的det_grouped属性设置为“已分组”。返回到步骤2以继续分组过程，直到无法进行进一步的分组。

2.1.5合并位置接近的检测

因为图像捕获设备20安装在设施入口的天花板上(图1)，所以所关心的人类对象由高度图中的局部最大值标识。有时，从相同的所关心的人类对象产生不止一个局部最大值检测。例如，当人类对象同时举起其双手时，可以检测到两个位置接近的局部最大值。因此，有必要合并位置接近的局部最大值。

此阶段的步骤如下。

首先，搜索最接近的局部最大值检测对。如果这两个最接近的检测之间的距离大于指定的检测合并距离，则停止并退出所述过程。否则，前进到下一步骤。

其次，按照给定的顺序，根据以下条件检查并处理这两个检测。一旦满足一个条件，忽略其余条件并前进到下一步骤：

a)如果有一个但不是所有检测都在背景中，则忽略背景中的检测，因为其很可能是静态对象(前景中的局部最大值比背景中的局部最大值具有更高的优先级)；

b)如果有一个但不是所有检测都接触高度图56或死区的边缘，则删除接触高度图56或死区的边缘的检测(完整的局部最大值比不完整的局部最大值具有更高的优先级)；

c)如果检测的det rnaxlleight之间的差小于指定的人高度变化阈值，则删除3维体积明显较小的检测(例如，一个连接组件的det_maxHeight和det_masArea的乘积小于另一个连接组件的乘积的三分之二(强局部最大值比弱局部最大值具有更高的优先级)；

d)如果检测的最大高度之间的差大于一英尺，则：如果两个检测中具有较大高度的检测小于指定的最大人高度，则删除具有较小det_maxHeight的检测，或者如果这个检测的最大高度大于指定的最大人高度，则删除具有较大det_maxHeight的检测(具有合理高度的局部最大值比具有不太可能的高度的局部最大值具有更高的优先级)；

e)删除其det area是另一个检测的det area两倍小的检测(接近大局部最大值的小局部最大值更可能是椒盐噪声)；

f)如果这两个检测之间的距离小于指定的检测搜索范围，则将这两个检测合并成一个(两个局部最大值一样好并且彼此接近)；

g)如果两个检测之间的距离大于或等于指定的检测搜索范围，则保留这两个检测(两个局部最大值一样好并且彼此不太接近)。用另一个检测的ID更新每个检测的det.,closestDet属性。

然后，返回到步骤1以寻找下一个最接近的检测对。

在以上合并过程之后的剩余局部最大值检测被定义为候选对象检测58，所述候选对象检测然后与一组现有轨迹74匹配以用于轨迹扩展，或者如果没有找到匹配，则用于发起新轨迹。

2.2对象跟踪

对象跟踪(图1中的框110)使用在对象检测过程(框108)中检测到的对象来扩展现有轨迹74或创建新轨迹80。对于可能的轨迹修复操作，还分析了一些短的、断裂的轨迹。

为了使用对象轨迹对人类对象计数，在高度图56中描绘了区82。门区84表示设施23入口周围的门区域。内部区86表示设施的内部区域。从门区84横穿到内部区86的轨迹76具有潜在的“入”计数。从内部区86横穿到门区84的轨迹76具有潜在的“出”计数。如果轨迹76多次横越区82，则根据最近一次区横越的方向，只能有一个潜在的“入”或“出”计数。

如图5所示，对象跟踪110的过程包括以下阶段：1)旧轨迹的分析和处理(框120)；2)轨迹与对象检测之间的第一遍匹配(框122)；3)不成对轨迹的次优定位(框124)；4)轨迹与对象检测之间的第二遍匹配(框126)；以及5)轨迹更新或创建(框128)。

对象轨迹76可以用于确定人类对象是否正在进入或离开设施，或者导出比如被跟踪的人类对象的移动速度和方向等属性。

对象轨迹76还可以用于消除错误的人类对象检测，比如入口区域周围的静态标志。如果对象检测58没有移动并且其相关联轨迹76已经静止了相对较长的时间，则对象检测58将被认为是背景的一部分并且其轨迹76将被不同于正常轨迹进行处理(例如，由所述轨迹创建的计数将被忽略)。

对象跟踪110还利用帧52、53中的颜色或灰度级强度信息来搜索轨迹76与对象检测58之间的最佳匹配。注意，颜色或强度信息不被携带到视差图50或高度图56。

对象跟踪中使用的相同技术也可以用于确定一个人在收银台排队的时间。

2.2.1对象轨迹的属性

每个轨迹76是从在时域和空间域两者中被跟踪的相同对象生成的数据结构并且除了一组相关属性之外还包含4元组(x，y，t，h)的列表，其中h、x和y呈现在时间t时对象在视场44中的高度和位置。(x，y，h)在世界坐标系中定义，其中h、x和y形成的平面平行于地面并且h轴垂直于地面。每个轨迹在任何时候只能有一个位置。除了4元组的列表之外，轨迹76还具有表2中定义的一组属性并且后面将通过所述属性在括号中的缩写名称引用所述属性：

2.2.2轨迹相关预测操作

定义了多个谓词运算符以获得轨迹76的当前状态。所述谓词运算符被应用于轨迹76的属性子集以检查所述属性子集是否满足特定条件。所述谓词运算符包括：

IsNoisyNow，其检查轨迹在当前时间是否局部地来回跳动。具体地，如果过去具有固定数量的帧的轨迹点(指定为嘈杂轨迹持续时间)满足以下条件之一，则轨迹76被认为是嘈杂的：

a)轨迹76的范围(trkrange)小于指定的嘈杂轨迹范围，并且负距离(trk_negDist)大于正距离(trk_posDist)的三分之二或者负步(trk_negNum)大于正步(trk_posNum)的三分之二；

b)轨迹76的范围(trkrange)小于指定的嘈杂轨迹范围的一半，并且负距离(trk_negDist)大于正距离(trk_posDist)的三分之一或者负步(trk_negNum)大于正步(trk_posNum)的三分之一。

WholeTrackIsNoisy：轨迹76可能在某个时间嘈杂，而在另一个时间不嘈杂。

当不久前创建轨迹76时使用此检查，并且如果以下条件之一成立，则整个轨迹76被认为是嘈杂的：

b)轨迹76的范围(trkrange)小于指定的嘈杂轨迹范围的一半，并且负距离trk_negDist)大于正距离(trk_posDist)的三分之一或者负步(trk_negNum)大于正步(trk_posNum)的三分之一。

IsSameTrack，其检查两个轨迹76、77是否可能是由同一个人类对象引起。此测试必须满足以下所有三个条件才能返回真：(a)两条轨迹76、77在时间上重叠了指定为最大轨迹超时的最小帧数；(b)两条轨迹76、77的范围都高于指定为有效计数轨迹跨度的阈值；以及(c)在任何时刻，两条轨迹76、77之间的距离必须小于指定的最小人宽度。

IsCountIgnored：当轨迹76横越计数区时，其可能不是由所关心的人类对象创建的。如果满足以下条件之一，则忽略轨迹的计数：

无效轨迹：trk_exits与trk_enters之间的绝对差不等于一。

小轨迹：trkrange小于指定的最小计数轨迹长度。

不可靠的合并轨迹：trkrange小于指定的最小背景计数轨迹长度并且存在以下情况之一：trk_mergedTracks等于trk_smallSearches，或者trk_backgroundCount超过轨迹76的生命周期的80％，或者轨迹76多次横越区边界。

高对象测试：trk_highPtSteps大于trk_totaISteps的一半。

小童测试：trk_lowPtSteps大于trk_totaISteps的3/4，并且trk_maxTrackHt小于或等于指定的最小人高度。

购物车测试：trk_voteFollowing大于3，trk_minFollowingDist大于或等于trk_maxFollowingDist的80％，并且trk_maxTrackHt小于或等于指定的购物车高度。

假轨迹测试：trk_voteMirrorTrack大于轨迹76的生命周期的60％，并且trk_maxMirrorTrackDist小于指定的最大人宽度的三分之二或trk_totalVoteMirrorTrack大于轨迹76的生命周期的80％。

2.2.3轨迹更新操作

参考图12，当在当前高度图56中存在最佳匹配的人类对象检测58时，用关于每个轨迹76的位置、时间和高度的新信息来对所述轨迹进行更新首先，将轨迹76的trk_state设置为1(框360)。

其次，对于当前帧，通过对轨迹76的最新的三个高度使用中值滤波来获得高度并且通过对轨迹76的最新的三个位置求平均值来计算新位置56(框362)。

第三，对于当前帧，使用轨迹谓词运算符IsNoisyNow检查噪声状态。如果为真，则将过去指定数量的帧标记为嘈杂。另外，更新轨迹76的噪声相关属性(框364)。

第四，更新轨迹76的跨度(框366)。

第五，如果满足以下条件之一，则收集轨迹76携带的计数(框374)：

a)轨迹76在开始时不嘈杂，但是其变为嘈杂的时间已经超过指定的静止轨迹超时(框368)；或者

b)轨迹76在开始时不在背景中，但是其变为在背景中的时间已经超过指定的静止轨迹超时(框370)。

最后，更新当前区信息(框372)。

2.2.4轨迹预测计算

当寻找最佳匹配检测58时，使用轨迹76的预测位置是有帮助的。所述预测位置是通过对轨迹76在过去三秒内的位置进行线性外推来计算的。

2.2.5旧轨迹的分析和处理

这是对象跟踪的第一阶段。活动轨迹88是在前一帧中利用人类对象检测58创建或扩展的轨迹76。当对于轨迹76没有最佳匹配的人类对象检测58时，轨迹76被认为是不活动的。

此阶段主要处理在一定时间段内不活动或在前一帧56中被标记为删除的轨迹76。对已经长时间不活动的轨迹76进行轨迹分析以决定是将其与现有轨迹74分组在一起还是在下一帧56中将其标记为删除。如果轨迹76已经在前一帧56中被标记为删除，或者轨迹76是不活动的并且是在很短的时间段之前创建的，则删除轨迹76。如果根据IsCountIgnored谓词运算符不应忽略即将删除的轨迹76的计数，则收集轨迹76的计数。

2.2.6轨迹与检测之间的第一遍匹配

在对所有轨迹76进行分析以进行分组或删除之后，此阶段搜索人类对象检测58(即，在对象检测阶段发现的局部最大值的集合)与还未被删除的轨迹76之间的最优匹配。

首先，检查每一个可能的轨迹76和检测58对，并且如果满足以下所有条件，则将所述对放入候选者列表：

1)轨迹76是活动的，或者其必须足够长(例如，具有三个以上的点)，或者其只是在短时间周期之前变得不活动(例如，其具有少于三个帧)；

2)当轨迹76还没有移动太远时(例如，轨迹76的跨度小于指定的最小人类头部尺寸并且轨迹76具有3个以上的点)，从检测58的中心到轨迹76的最后两个点的距离中的较小者小于指定的检测搜索范围的三分之二；

3)如果检测58在背景中，则检测58的最大高度必须大于或等于指定的最小人高度；

4)如果检测58既不在背景中也不接近死区或高度图边界，并且轨迹76在前一帧中既不在背景中也不嘈杂，并且从检测58到轨迹76的预测位置的第一距离小于从检测58到轨迹76的结束位置的第二距离，则使用所述第一距离作为匹配距离。否则，使用所述第二距离作为匹配距离。匹配距离必须小于指定的检测搜索范围；

5)检测58的最大高度与轨迹76的最后一个点的高度之间的差必须小于指定的最大高度差；以及

6)如果最后一点偏离轨迹76或检测58在背景中，或者检测58接近死区或高度图边界，则从轨迹76到检测58的距离必须小于指定的背景检测搜索范围，所述范围通常小于条件(4)中使用的阈值。

根据从检测58到轨迹76的距离或检测58与轨迹76之间的高度差(如果距离相同)以升序对候选者列表进行排序。

排序列表包含没有成对的检测58和轨迹76对。从头开始遍历整个排序列表并检查每一对。如果所述对的检测58或轨迹76已经被标记为“已成对”，则忽略所述对。否则，将所述对的检测58和轨迹76标记为“已成对”。

2.2.7搜索不成对轨迹的次优位置

由于视差图50和高度图56的稀疏性，一些人类对象可能不会在高度图56中产生局部最大值并且因此可能在对象检测过程108中被遗漏。另外，期望的局部最大值可能被来自较高对象的相邻较高局部最大值抑制。因此，一些人类对象轨迹76在高度图56中可能不总是具有相应的局部最大值。此阶段尝试通过搜索当前时间在高度图56中没有相应局部最大值的轨迹76的次优位置来解决这个问题。如果从在前一阶段已经与检测58成对的轨迹76的终点到其所成对的检测之间的距离比其过去的步大得多，则这些轨迹也可能经历此阶段以调整其位置。在下面的描述中，当前经历此阶段的轨迹76被称为轨迹A。搜索按以下步骤进行。

首先，参考图7，如果轨迹A被认为不适合次优位置搜索操作(即，其是不活动的，或者其在背景中，或者其接近高度图56的边界或死区，或者其在最后一帧中的高度小于最小人高度(框184))，则停止搜索过程并退出。否则，前进到下一步骤。

其次，如果轨迹A已经移动了几步(框200)(例如，三步)并与不在背景中并且其当前步比由轨迹超时参数指定的过去一段时间内的其最大移动步大得多(框202、204)的检测(称为检测A)成对(框186)，则前进到下一步骤。否则，停止搜索过程并退出。

第三，在轨迹A的终点周围，在所述轨迹的最大移动步所定义的范围内搜索预定义窗口中具有最大高度总和的位置并将此位置称为最佳点A(框188)。如果在对象检测阶段中在位置接近的检测的合并过程中删除了一些检测58并且轨迹A在空间域或时域中较长(例如，轨迹A的跨度大于指定的嘈杂轨迹跨度阈值，或者轨迹A具有三个以上的帧)(框190)，则也找到最接近轨迹的终点的检测。如果所述检测与轨迹A的终点的距离小于指定检测搜索范围(框206)，则在删除的组件周围搜索具有最大高度总和的位置并将其称为最佳点AI(框208)。如果最佳点A和最佳点AI都不存在，则停止搜索过程并退出。如果最佳点A和最佳点AI两者都存在，则选择高度总和较大的那一个。所选择的最佳点被称为轨迹A的次优位置。如果次优位置处的最大高度大于预定义的最大人高度(框192)，则停止搜索并退出。如果在次优位置周围没有当前检测(框194)，则在次优位置处创建新的检测58(框214)并停止搜索。否则，找到最接近次优位置的检测58并将其称为检测B(框196)。如果检测B是与步骤2中的检测A相同的检测(框198)，则用次优位置更新检测A的位置(框216)并退出搜索。否则，前进到下一步骤。

第四，参考图8，如果检测B还没有与轨迹76成对(框220)，则进行下一步。否则，将检测B的成对轨迹称为轨迹B并在退出搜索之前按给定顺序执行以下操作之一：

1)当轨迹A的次优位置和检测B来自同一父组件(例如，在相同的第一遍组件的支持下)并且轨迹A与检测B之间的距离小于指定的最大人宽度的一半时，如果满足以下所有三个条件，则在次优位置处创建新的检测58(框238)：(i)次优位置处的最大高度与检测B处的最大高度之间的差小于指定的人高度误差范围；(ii)两个位置处的高度总和之间的差小于较大者的一半；(iii)它们之间的距离大于指定的检测搜索范围并且轨迹A和轨迹B两者的trk_range值大于指定的嘈杂轨迹偏移。否则，忽略次优位置并退出；

2)如果次优位置与检测B之间的距离大于指定的检测搜索范围，则在次优位置处创建新的检测58并退出；

3)如果轨迹A在时域和空间域两者中都不可观(框226)，则忽略次优位置；

4)如果轨迹B在时域和空间域两者中都不可观(框228)，则将轨迹B与检测B分离并用次优位置更新检测B的位置(框246)。将检测B标记为轨迹A的最接近的检测；

5)在轨迹B的结束位置周围寻找所述轨迹的最佳点(框230)。如果轨迹B的最佳点与次优位置之间的距离小于指定的检测搜索范围(框232)并且轨迹B的最佳点具有较大的高度总和，则用轨迹B的最佳点替换次优位置(框233)。如果轨迹B的最佳点与次优位置之间的距离大于指定的检测搜索范围，则在轨迹B的最佳点处创建检测58(框250)。如果检测A存在，则用次优位置更新检测A的位置。

第五，如果次优位置和检测B不在相同的第一遍组件的支持下，则前进到下一步骤。否则，如果它们的距离大于指定的最大人宽度的一半，则在次优位置处创建新的检测，否则忽略次优位置并将检测B标记为轨迹A的最接近的检测。

最后，如果它们的距离大于指定的检测搜索范围，则在次优位置处创建新的检测58并且将检测B标记为轨迹A的最接近的检测(框252)。否则，如果次优位置处的高度总和大于检测B处的高度总和，则用次优位置更新轨迹A的结束位置(框254)，否则将检测B标记为轨迹A的最接近的检测。

2.2.8轨迹与检测之间的第二遍匹配

在前一阶段之后，可以添加一些新的检测并且一些成对的检测72和轨迹76再次变得不成对。此阶段在以下步骤中寻找当前不成对的检测72与轨迹76之间的最优匹配。

对于保持不成对的每一个轨迹76和检测58对，如果满足以下所有五个条件，则将所述对放入候选者列表：

1)轨迹76是活动的(图9中的框262)；

2)当轨迹没有移动太远时(例如，轨迹76的跨度小于最小头部尺寸并且轨迹76具有三个以上的点(框276))，从检测58到轨迹76的终点的距离(框274)小于指定的检测搜索范围的三分之二(框278)；

3)如果检测58在背景中(框280)，则检测58的最大高度必须大于或等于指定的最小人高度(框282)；

4)最大高度与轨迹76的最后一个点的高度之间的差小于指定的最大高度差(框284)；

5)如果轨迹76或检测58的最后一个点在背景中(框286)或者检测58接近死区或高度图边界(框288)，则从检测58到轨迹76的距离必须小于指定的背景检测搜索范围；或者如果不是，则从检测58到轨迹76的距离必须小于指定的检测搜索范围(框292)。

根据从检测58到轨迹76的距离或两者之间的高度差(如果距离相同)以升序对候选者列表进行排序(框264)。

排序列表包含在开始时根本不成对的检测58和轨迹76对。然后从头开始遍历整个排序列表并检查每一对。如果所述对的检测58或轨迹76已经被标记为“已成对”，则忽略所述对。否则，将所述对的检测58和轨迹76标记为“已成对”(框270)。

2.2.9轨迹更新或创建

在第二遍匹配之后，执行以下步骤以更新旧轨迹或创建新轨迹：

首先，参考图10，对于每一组成对的轨迹76和检测58，用检测58的信息来更新轨迹76(框300、302)。

其次，如果检测58的最大高度大于指定的最小人高度并且检测58与检测58的最接近的轨迹76之间的距离大于指定的检测搜索范围，则为与轨迹76不匹配的每个检测58创建新的轨迹80(框306、308)。当所述距离小于指定的检测合并范围并且检测58和最接近的轨迹76在相同的第一遍组件的支持下(即，检测58和轨迹76来自相同的第一遍组件)时(框310、320)，则将最接近的轨迹76的trk_IastCollidingTrack设置为新创建的轨迹80(如果存在)的ID。

第三，将每个不成对的轨迹77标记为不活动(框324)。如果这个轨迹77具有所标记的最接近的检测并且检测58具有成对的轨迹76，则将当前轨迹77的trk_IastCollidingTrack属性设置为所述成对的轨迹76的轨迹ID(框330)。

第四，对于每个活动轨迹88，搜索在距活动轨迹88的方向最多三十度的方向上移动的最接近的轨迹89。如果最接近的轨迹89存在，则轨迹88被认为紧密跟随有另一个轨迹，并且更新轨迹88的与“购物车测试”相关的属性以便为当轨迹88稍后将要被删除时的“购物车测试”做准备(框334)。

最后，对于每个活动轨迹88，搜索最接近的轨迹89。如果两者之间的距离小于指定的最大人宽度并且轨迹88具有标记的最接近的检测或者其高度小于指定的最小人高度，则轨迹88被认为是不太可靠的错误轨迹。更新与“错误轨迹”相关的属性以便为当轨迹88稍后将要被删除时的“错误轨迹”测试做准备(框338)。

因此，所有现有轨迹74或者被扩展或者被标记为不活动，并且新的轨迹80被创建。

2.2.10轨迹分析

每当轨迹76将要被删除时，就应用轨迹分析。当轨迹76在指定的时间段内不与任何检测成对时，其将被删除。当人类对象移出视场44时或者当轨迹76由于较差的视差图重建条件(比如人类对象与背景之间的对比度非常低)而中断时，就会发生这种情况。

轨迹分析的目标是找到可能是一些即将被删除的轨迹的延续的那些轨迹并将其合并。轨迹分析从最老的轨迹开始并且可以递归地应用于新合并的轨迹，直到没有轨迹可以进一步合并。在下面的描述中，将要被删除的轨迹被称为种子轨迹，而其他轨迹被称为当前轨迹。轨迹分析的步骤如下：

首先，如果种子轨迹在活动时是嘈杂的(图6中的框130)，或者其trkrange小于指定的合并轨迹跨度(框132)，或者其trk_IastCollidingTrack不包含有效的轨迹ID并且其是在小于指定的合并轨迹时间段之前创建的(框134)，则停止并退出轨迹分析过程。

其次，如果对活动轨迹的“是相同轨迹”谓词运算返回真，则检查在指定的合并轨迹时间段之前创建的每个活动轨迹并且将活动轨迹与种子轨迹合并。

第三，如果当前轨迹满足以下所有三个初始测试条件，则前进到下一步骤。否则，如果存在最佳拟合轨迹(所述最佳拟合轨迹的定义和搜索标准将在接下来的步骤中描述)，则将所述最佳拟合轨迹与种子轨迹合并(框172、176)。如果没有最佳拟合轨迹，如果在此操作中种子轨迹已经与至少一个轨迹合并，则保留种子轨迹(框178)，否则删除种子轨迹(框182)。然后，退出轨迹分析。

在此步骤中使用的初始测试条件是：(1)当前轨迹没有被标记为删除并且足够长时间处于活动状态(例如，三个以上的帧)(框142)；(2)当前轨迹与种子轨迹是连续的(例如，其是在种子轨迹的终点的指定最大轨迹超时内创建的)(框144)；(3)如果两个轨迹在空间上较短(例如，两个轨迹的trkrange属性小于嘈杂轨迹长度阈值)，则两个轨迹应该根据每个轨迹的trk_start和trk_end属性的相对偏移在相同方向上移动(框146)。

第四，合并种子轨迹和当前轨迹。如果当前轨迹已经与种子轨迹冲突(即，当前轨迹的trk_IastCollidingTrack是种子轨迹的trk_ID)，则返回到最后一个步骤。否则，前进到下一步骤。

第五，如果同时满足以下两个条件，则前进到下一步骤，否则返回到步骤3：(1)如果根据“在边界处”检查，任一轨迹在边界处(框148)，则两条轨迹应该在相同的方向上移动；以及(2)至少一个轨迹在合并时不嘈杂(框150)。嘈杂条件由“是嘈杂的”谓词运算符确定。

第六，即将出现的两个阈值中的一个用于距离检查。为正常和干净的轨迹指定第一阈值(框162)，并且为嘈杂轨迹或者背景中的轨迹指定第二阈值。如果种子轨迹或当前轨迹不可靠(例如，在边界处，或者任一轨迹是嘈杂的，或者两个轨迹的trkrange都小于指定的嘈杂轨迹长度阈值并且至少一个轨迹在背景中)(框160)，则使用所述第二阈值(框164)，否则使用所述第一阈值。如果在这两条轨迹的重叠时间期间这两条轨迹之间的最短距离小于阈值(框166)，则将当前轨迹标记为种子轨迹的最佳拟合轨迹(框172)。如果种子轨迹i)还没有最佳拟合轨迹或者ii)当前轨迹比现有的最佳拟合轨迹更接近种子轨迹(框170)，则转到步骤3。

2.2.11轨迹合并

此操作将两个轨迹合并为一个轨迹并为合并的轨迹分配从这两个轨迹派生的属性。合并的轨迹的大多数属性是这两个轨迹的相应属性的总和，但有以下例外：

参考图11，合并的轨迹的trk_enters和trk_exits属性是轨迹的相应属性加上由从终点臭氧轨迹到另一轨迹的起点的区横越导致的计数的总和，这补偿了这两个轨迹之间的时间间隙中的丢失的区横越(框350)。

如果一个时间点在合并之后具有多个位置，则最终位置是平均值(框352)。

合并的轨迹的trk_start属性具有与被合并的两个轨迹中的较新轨迹相同的trk_start值，并且合并的轨迹的trk_end属性具有与被合并的两个轨迹中的较旧轨迹相同的trk_end值(框354)。

合并的轨迹的缓冲原始高度和原始位置是被合并的两个轨迹中的较旧轨迹的缓冲原始高度和原始位置(框356)。

本披露内容的另一个实施例可以被适配用于计数系统，所述计数系统可以被适配用于各种环境，比如零售环境。如图13所示，示出了在零售环境1301中部署的计数系统的示例。零售环境1301可以表示具有多个零售单元1302的购物中心1301。每个零售单元1302可以包括立体光学传感器单元1303。例如，立体光学传感器单元1303可以位于相应零售单元1302的内部入口上方的天花板高度处。立体光学传感器单元1303包括用于对访问零售单元1302的每个个体进行计数的传感器和逻辑。立体光学传感器单元1303还将向用户报告这种计数数据。

在零售环境1301中，用户可以评估计数数据，例如，用于分析比如销售转换率和访客流量等统计数据。然而，一个问题是从进入和离开给定零售单元1302的访客获得准确的计数数据。更具体地，对给定零售单元1302的成人访客和儿童访客进行区分通常是在获得用于客户分析的有用信息时所关心的。例如，用户可能想要评估零售单元1302的成人访客的习惯，并且如果将儿童访客包括在计数中，则可能无法获得对这种习惯的准确洞察。作为另一个示例，用户可能想要单独评估零售单元1302的儿童访客的习惯。然而，由于被跟踪对象的检测高度具有相对显著的可变性，因此对于计数系统来说，区分成人访客和儿童访客可能是一个挑战。目前这样做的方法可能不准确并且涉及计算复杂性。

本文呈现的实施例披露了用于获得指示个体的被跟踪对象的相对准确的高度测量估计的技术。更具体地，技术处理随时间收集的所述个体的高度数据集合。如本文进一步描述的，所述技术为被跟踪的个体确定相对准确的高度估计。例如，可以执行k均值聚类算法来从所述高度数据集合中确定多个聚类。所述估计可以从最密集的聚类中导出。然后，可以对照高度阈值对此估计进行评估，并用于确定所述个体对应于成人还是儿童。然后，所述个体可以被计数为成人或儿童。有利的是，本文呈现的实施例披露了用于以需要较少计算复杂性的方式准确确定被跟踪对象的高度的技术。

现在参考图14，示出了进一步展示立体光学传感器单元1303位于位置(例如，零售单元1302)的入口1404处的简化图。立体光学传感器单元1303的外部的透视图显示在图14的顶部角落。说明性地，立体光学传感器单元1303包括外壳1402和相机镜头1403。说明性实施例提供了彼此水平分开定位的两个相机镜头1403。在使用多个相机镜头1403时，立体光学传感器单元1303可以测量深度，或者在离立体光学传感器单元1303和地面的距离已知的情况下，可以测量高度。

说明性地，立体光学传感器单元1303中的相机捕获进入和离开其视场的个体1405的图像数据。立体光学传感器单元1303中的逻辑处理图像数据。例如，立体光学传感器单元1303生成由视场捕获的场景的高度图并且基于对生成的高度图的评估来标识要作为计数数据包括的个体。

现在参考图15，示出了描绘立体光学传感器单元1303的硬件组件的框图。如所示出的，立体光学传感器单元1303包括但不限于中央处理单元(CPU)1502、立体光学相机1504、网络接口1506、存储器1508和存储装置1510。这些组件中的每一个都可以经由互连总线1512互连。注意，图15提供了可以包含在给定立体光学传感器单元1303中的硬件组件的示例。当然，本领域技术人员将认识到，立体光学传感器单元1303可以包括本文没有讨论的额外组件。此外，立体光学传感器单元1303的组件也可以以不同于图15所示的布置的各种布置来组织。例如，一些组件(比如传感器)可以使用比如蓝牙等无线通信协议无线连接到立体光学传感器单元1303。

CPU 1502检索并执行存储在存储器1508中的编程指令、并且存储并检索驻留在存储装置1510中的应用数据。总线1512用于在CPU 1502、存储装置1510、网络接口1506以及存储器1508之间传输编程指令和数据。注意，包括CPU 1502以表示单个CPU、多个CPU、具有多个处理核的单个CPU等。通常包括存储器1508以表示随机存取存储器。存储装置1510可以是磁盘驱动存储设备。尽管被示出为单个单元，但是存储装置1510可以是固定存储设备和/或可移除存储设备的组合，比如固定磁盘驱动器、可移除存储器卡、或光学存储装置、网络附加存储(NAS)或存储区域网络(SAN)。

立体光学相机1504包括多个传感器透镜(例如，相机镜头1403)，用于捕获存储装置1510可以临时维护的图像数据。存储器1508包括程序代码逻辑，用于引导立体光学相机1504捕获图像数据。程序代码还可以(例如，使用上述技术)标识图像数据中的个体以对数据进行计数，并且为每个个体生成高度图数据并处理所述高度图数据(例如，以区分成人个体和儿童个体)。网络接口1506可以被实施为能够实现光学传感器单元1303与其他设备之间通过网络的通信的任何通信电路、设备或其集合。

现在参考图16，示出了计数系统1601的组件布置的框图。说明性地，计数系统1601可以包括一个或多个立体光学传感器单元1303。每个立体光学传感器单元1303可以包括两个相机镜头1403。每个立体光学传感器单元1303彼此通信。例如，如所示出的，立体光学传感器单元1303使用数据电缆1604彼此连接。这样做允许每个立体光学传感器单元1303彼此之间传送数据(例如，图像数据、高度数据、计数数据等)。此外，立体光学传感器单元1303可以连接到计算设备1607(例如，经由电缆1606或以无线方式)。计算设备1607可以是管理控制台，其接收由给定立体光学传感器单元1303生成的图像数据和其他统计数据(例如，高度数据、计数数据等)。注意，虽然图16描绘了计数系统1601的每个组件经由数据电缆(例如，数据电缆1606、1606)彼此连接，但是本领域技术人员将认识到，这些组件也可以使用一些无线标准(例如，WiFi、蓝牙等)彼此无线连接。

在计数系统1601的配置期间，将测量立体光学传感器单元1303距表面(例如，零售单元的地板)的高度以建立给定传感器单元1303与所述表面之间的准确关系。这样做允许立体光学传感器单元1303可靠地检测和跟踪场景(例如，由光学传感器在视场中捕获的图像区域)中的个体。

计数系统1601还被配置用于定义计数区域。在一些实施例中，所述计数区域与所捕获的图像数据内的区域相对应，所述区域表示个体穿过以由系统1601计数的物理区域。现在参考图17，示出了示例计数区域1700。说明性地，定义了两个计数区(区1和区2)。计数区是预先配置的空间边界，个体穿过所述空间边界以由系统1601计数。当个体穿过区1和区2时，计数系统1601分别对每个区的进入和离开进行计数。对于将被计数为进入的个体，计数系统1601可以确定所述个体在穿过区2之前穿过区1。对于将被计数为离开的个体，计数系统1601可以确定所述个体在穿过区1之前穿过区2。如图17所示，个体A在穿过区2之前已经穿过了区1。在这种情况下，计数系统1601将个体A计数为进入(例如，计数系统1601可以递增与进入和个体B相关联的计数器)。如图17进一步所示，示出了个体B靠近并穿过区2并且然后穿过区1。如果这样进行，则计数系统1601将个体B计数为离开(例如，计数系统1601可以递增与离开和个体B相关联的计数器)。

在一些实施例中，用户可以校准计数系统1601以校正透镜失真(例如，在立体光学传感器单元1601中)。一旦校准，计数系统1601可以更好地确定被跟踪对象的高度，其中给定立体光学传感器单元1601距表面的距离是已知的。其他信息可以用于高度计算，比如镜头焦距、镜头之间的距离等。在一些情况下，由每个相机同时记录场景的两个图像并且所述图像可以用于导出这两个图像中的任何两个对应点之间的视差信息，其中两个点都指坐标系中的相同物理点。一旦创建了视差图，就计算高度图，以反映从传感器可见的场景中每个点的高度。在这些操作之后，获得第一高度图像，其中每个像素表示场景中的点并且像素值表示所述点距所述表面的高度。

现在参考图18，示出了8连接视图的网格视图的示例图示1800。计数系统的感兴趣对象可以包括穿过场景的个体。可以使用斑点检测在生成的高度图中标识个体。通常，斑点检测涉及将具有彼此接近的相关属性值(例如，RGB值、高度值等)的像素分类成组。立体光学传感器单元1303可以从具有指定范围内的高度值的组成员创建像素组。例如，用于对给定对象进行分类的指定范围可以包括彼此接近的具有非零高度值的像素。继续这个示例，彼此接近的具有零高度像素的像素可以与背景(例如，零售单元的地板)相对应。

图示1800是非零高度、8连接斑点的示例。通常，非零高度、8连接斑点是一组像素，其中每个成员是另一个的8邻域像素。此外，通常，如果两个像素共享边或顶点，则所述像素是彼此的8邻域像素。说明性地，图示1800的网格上的每个正方形表示像素。图表1800的8连接斑点是白色像素组。每个白色像素具有非零高度值并且表示由计数系统1601跟踪的对象。黑色像素具有零高度值并且表示计数系统1601的背景。

从观察的角度来看，斑点可以与个体的形状相对应。例如，现在参考图19，示出了个体的斑点表示的俯视图的示例图示1900。图示1900的黑色区域表示零高度值区域并且非黑色区域指示斑点表示。更具体地，非黑色区域表示具有高度值的像素。计数系统1601可以跟踪计数区内的斑点。计数系统1601可以在轨迹结束时(例如，当个体喜欢计数区时或在特定持续时间结束时)计数由斑点表示的个体。

个体在每个图像帧的高度可以被评估为表示所述个体的斑点内的最大像素高度值。沿着斑点的轨迹，计数系统1601(例如，经由立体光学传感器单元1303)可以在跟踪期间从每个图像帧收集高度数据集合。由于各种因素，比如姿态变化、物体遮挡、计算误差等，高度数据可能沿轨迹变化。然而，计数系统1601可以对高度数据应用聚类算法以提高高度准确度计算。

现在参考图20和图21，描述了用于估计被跟踪对象(例如，进入和离开零售单元的被监测个体)的高度的方法2000。例如，计数系统1601可以在操作中执行方法2000。在一些实施例中，计数系统1601的单个立体光学传感器单元1303可以执行方法2000。此外，计算系统(例如，计算设备1607)可以执行方法2000。

如所示出的，方法2000开始于框2000，其中计数系统1601检测进入计数区的个体。计数系统1601可以使用上述技术检测所述个体。在框2004中，计数系统1601捕获所述个体的一个或多个图像。在框2006中，计数系统1601为每个图像生成场景的高度图。这样做允许计数系统1601区分背景(例如，具有零高度值的像素)和所关心的对象，比如个体。计数系统1601还标识每个高度图内的局部最大值(例如，场景中的像素上的最大高度值)。

在框2008中，计数系统1601检测每个高度图中与被跟踪对象相对应的斑点。计数系统1601标识用于高度图的当前时间点。例如，计数系统1601可以使用由立体光学传感器单元1303维护的与立体光学传感器单元1303捕获图像的时间相对应的时间戳数据。在框2010中，计数系统1601在指定的持续时间内通过计数区跟踪斑点。指定的持续时间可以是用于特定计数区的一段时间。在框2012中，计数系统1601确定斑点轨迹是否完成。例如，一旦被跟踪对象不再在场景中，斑点跟踪就可以完成。作为另一个示例，一旦指定的持续时间过去，斑点轨迹可以完成。

在框2014中，计数系统1601在指定的持续时间内获得被跟踪斑点的高度数据的集合。所述高度数据集合可以与通过捕获的图像跟踪的斑点的高度值相对应。例如，每个高度值可以与给定图像中被跟踪斑点的最大高度值相对应。

在框2016中，计数系统1601将聚类技术应用于所述高度数据集合。这样做的结果是生成了多个聚类。在一些实施例中，计数系统1601可以应用k均值聚类算法来生成多个聚类。每个聚类包括来自所述高度数据集合的多个高度值。在实践中，生成三个聚类已被证明是有效的。但是也可以考虑其他数量的聚类。类似地，其他聚类算法也可以应用于高度数据。

计数系统1601继续将聚类技术应用于高度数据以在每个聚类中提供稳定性(例如，以通过聚类技术的每次连续迭代减少聚类大小的变化)。在框2018中，计数系统1601确定聚类是否稳定。如果不是，则方法2000返回到框2016以继续迭代聚类技术的执行。

一旦稳定，在框2020中，计数系统1601就标识具有最大数量的高度值的聚类。在框2016中，计数系统1601计算所标识的聚类的平均高度值。具有最大数量的高度值的聚类的平均高度值与表示所述个体的被跟踪对象的估计相对应。这种计算可以被评估以区分被跟踪对象是对应于成人个体还是儿童个体。例如，在框2018中，计数系统1601确定计算值是否超过指示被跟踪对象是否对应于成人的指定阈值。如果不是，则在框2020中，计数系统1601出于计数目的将所述个体登记为儿童。否则，如果平均高度值超过阈值，则在框2022中，计数系统1601将所述个体登记为成人。

本披露内容不受本文所披露的实施例的限制，并且将理解，本领域技术人员可以设计出许多修改和实施例。因此，所附权利要求旨在覆盖落入本披露内容的真实精神和范围内的所有这样的实施例和修改。

Claims

1.一种用于评估高度数据的计算机实施的方法，所述方法包括：

在指定时间段内通过一个或多个处理器的执行来获得被跟踪对象的多个高度值；

从所述多个高度值生成多个聚类，每个聚类包括所述多个高度值中的至少一个；

标识所述多个聚类中相对于所述多个聚类的剩余聚类具有最大数量的所述多个高度值的一个聚类；以及

根据所述多个聚类中的所标识聚类估计所述被跟踪对象的高度。

2.如权利要求1所述的计算机实施的方法，进一步包括：

确定所述被跟踪对象的所述高度是否超过指定阈值。

3.如权利要求2所述的计算机实施的方法，进一步包括：

在确定所述被跟踪对象的所述高度超过指定阈值时，将所述被跟踪对象分类为成人个体。

4.如权利要求2所述的计算机实施的方法，进一步包括：

在确定所述被跟踪对象的所述高度没有超过指定阈值时，将所述被跟踪对象分类为儿童个体。

5.如权利要求1所述的计算机实施的方法，其中，估计所述被跟踪对象的所述高度包括计算所述多个聚类中的所标识聚类的平均高度值。

6.如权利要求1所述的计算机实施的方法，其中，所述被跟踪对象与个体相对应，并且所述方法进一步包括：

检测进入预定义区域的所述个体；

经由一个或多个传感器捕获所述个体的多个图像；

对于每个图像，生成场景的高度图并标识局部最大值；

检测所述高度图中的斑点；以及

在所述指定时间段内通过所述预定义区域跟踪所述斑点。

7.如权利要求1所述的计算机实施的方法，其中，生成所述多个聚类包括将k均值聚类算法应用于所述多个高度值。

8.如权利要求1所述的计算机实施的方法，其中，生成所述多个聚类包括将k均值聚类算法应用于所述多个高度值以创建三个聚类，所述三个聚类与所述多个聚类相对应。

9.如权利要求7或8所述的计算机实施的方法，进一步包括：

迭代所述k均值聚类算法，直到所述多个聚类中的每一个都稳定为止。

10.一种系统，包括：

一个或多个处理器；以及

存储器，所述存储器存储有程序代码，所述程序代码在所述一个或多个处理器上执行时使所述系统执行以下操作：

在指定时间段内获得被跟踪对象的多个高度值；

标识相对于所述多个聚类的剩余聚类具有最大数量的所述多个高度值的所述多个聚类之一；以及

11.如权利要求10所述的系统，其中，所述程序代码进一步使所述系统执行以下操作：

确定所述被跟踪对象的所述高度是否超过指定阈值。

12.如权利要求11所述的系统，其中，在确定所述被跟踪对象的所述高度超过指定阈值时，所述程序代码进一步使所述系统：

将所述被跟踪对象分类为成人个体。

13.如权利要求11所述的系统，其中，在确定所述被跟踪对象的所述高度没有超过指定阈值时，所述程序代码进一步使所述系统：

将所述被跟踪对象分类为儿童个体。

14.如权利要求1所述的计算机实施的方法，其中，估计所述被跟踪对象的所述高度包括计算所述多个聚类中的所标识聚类的平均高度值。

15.如权利要求1所述的计算机实施的方法，其中，生成所述多个聚类包括将k均值聚类算法应用于所述多个高度值以创建三个聚类，所述三个聚类与所述多个聚类相对应。