CN101965576B - 用于追踪、索引及搜寻的物件匹配 - Google Patents

Abstract

一种相机系统(100)包含：一影像捕捉装置(102)、一物件侦测模块(204)、一物件追踪模块(206)、及一匹配分类器(218)。物件侦测模块(204)接收影像数据且侦测出现于该些影像之一或多者的物件。物件追踪模块(206)暂时关联侦测于该些影像的一第一群组的一第一物件的实例。第一物件是具有代表第一物件特征的一第一签章。匹配分类器(218)是由分析自第一物件的第一签章与侦测于一第二影像的一第二物件的一第二签章所导出的数据而匹配物件实例。第二签章代表自第二影像所导出的第二物件的特征。匹配分类器(218)是确定第二签章是否为匹配第一签章。一种训练方法是运用一组可能物件特征而自动组态该匹配分类器(218)。

Description

用于追踪、索引及搜寻的物件匹配

相关申请案

此申请是根据美国法典35 U.S.C.§119(e)而主张于公元2008年3月3日所提出的标题为“动态物件与事件分类的方法”的美国临时申请案第61/033,349号及于公元2008年3月3日所提出的标题为“用于追踪于视讯监视下的物件的方法与系统”的美国临时申请案第61/033,284号的权益，此二件美国临时申请案均为以参照方式而整体纳入本文。

技术领域

此揭露内容是概括关于而非为专指视讯监视，且尤其指匹配代表于多个影像的物件。

背景技术

自动化保全及监视系统系典型为运用视讯相机或其它影像捕捉装置或传感器以收集影像数据。于最简单系统中，由影像数据所代表的影像系显示以供保全人员的同时审查及/或记录以供在保全违反之后的后续参考。于彼等系统中，侦测有关物件的任务是由一观察人员所实行。重大的进展是当系统本身为能够部分或完整实行物件侦测与追踪而发生。

于一种典型的监视系统中，举例而言，可能对于追踪其移动通过环境的诸如人类、载具、动物等等的一侦测的物件为有兴趣。能够追踪侦测的物件的现存的系统系企图以运用运动预测及于连续视讯框的选择特征的追踪而追踪物件。诸如SIFT方法的其它技术系企图以精确代表一物件的一实例的外观，使该代表可用以匹配一物件的多个实例而无关于时间接近性。然而，已知的追踪系统受损于下列一或多者：(1)无能作训练，(2)缺乏与物件搜寻、索引、及分类系统的整合，(3)不当的物件追踪与搜寻性能、及(4)无效的交互相机追踪能力。

发明内容

一种相机系统包含：一影像捕捉装置；一物件侦测模块，连接至该影像捕捉装置；一物件追踪模块，连接至该物件侦测模块；及一匹配分类器，连接至该物件追踪模块。该影像捕捉装置具有一视野且产生代表该视野的多个影像的影像数据。该物件侦测模块接收影像数据且为可操作以侦测其出现于多个影像的一或多者的物件。该物件追踪模块可操作以暂时关联其侦测于该多个影像的一第一群组的一第一物件的实例(instance)。第一物件具有一第一签章(signature)，其代表自第一群组的影像所导出的第一物件的特征。该匹配分类器可操作以由分析自第一物件的第一签章与一第二物件的一第二签章所导出的数据而匹配物件实例。第二物件侦测于不同于第一群组的影像的一第二影像。第二签章是代表自第二影像所导出的第二物件的特征。该匹配分类器分析第一组资料以确定第二签章是否为匹配第一签章。该匹配分类器操作于一种方式以匹配物件实例，该种方式是已经至少部分为由一种训练方法所确定，该种训练方法是运用一组可能的物件特征以自动组态该匹配分类器。

一种方法是追踪由一相机系统所捕捉的一物件。该种方法捕捉该相机系统的一视野的第一与第二影像，侦测捕捉于第一影像的一第一物件与捕捉于第二影像的一第二物件，且产生第一物件的一第一签章与第二物件的一第二签章。第一签章代表第一物件的一第一组的特征，且第二签章代表第二物件的一第二组的特征。该种方法是产生自第一与第二签章所导出的资料。该数据对应于自第一组所选择的一第一子集的特征及自第二组所选择的一第二子集的特征。一种训练方法是自动确定其为选择以纳入于第一与第二子集的第一与第二组的特征。该种方法是分析该数据以确定第二物件是否为第一物件的一实例。

一种方法是产生于由一相机系统所捕捉的影像的物件的索引元素。该种方法是捕捉于该相机系统的一视野的一物件的一第一群组的多个影像，侦测于第一群组的多个影像的该物件，且产生该物件的一第一组的单框签章。第一组的单框签章是对应于自第一群组的多个影像所导出的该物件的特征。该种方法产生该物件的一第一平均签章。第一平均签章是第一组的单框签章的一平均值。第一平均签章是该物件的一第一索引元素。该种方法产生该物件的一累积签章。该累积签章是第一组的单框签章的一加权平均值。该种方法捕捉该物件的一第二影像，侦测于第二影像的该物件，且产生自第二影像所导出的一第二单框签章。该种方法是由加权第二单框签章且平均该加权的第二单框签章与该累积签章而更新该累积签章。该种方法确定是否接受或拒绝该更新累积签章与第一平均签章作为一匹配。当该更新累积签章与第一平均签章系接受作为一匹配，第一平均签章是基于第二单框签章而更新。当该更新累积签章与第一平均签章拒绝作为一匹配，该物件的一第二平均签章是基于第二单框签章而产生。第二平均签章是该物件的一第二索引元素。

一种方法是搜寻数据以识别由一相机系统所捕捉的一物件的影像。该种方法是捕捉于该相机系统的一视野的一影像的一第一物件。第一物件具有代表第一物件的特征的一第一签章。该种方法显示第一物件的一影像于一显示器，接受其表示第一物件的一选择的使用者输入，作出关于该第一签章是否匹配其对应于该相机系统的视野的影像所捕捉的一组的物件的一群组的签章的确定。该种方法在该组的第二物件的第二签章匹配该第一签章时发送一通知。

一种相机系统包含：一影像捕捉装置；一物件侦测模块，连接至该影像捕捉装置；一使用者接口，连接至该影像捕捉装置；一匹配分类器；一物件追踪模块，连接至该匹配分类器与该物件侦测模块；及，一搜寻模块，连接至该匹配分类器与该使用者接口。该影像捕捉装置具有一视野且产生其代表该视野的多个影像的影像数据。该物件侦测模块接收该影像数据且为可操作以侦测其出现于该多个影像之一或多者的物件。该使用者接口包括：一显示器，用于显示由该物件侦测模块所侦测的物件；及一输入装置，可操作以响应于使用者命令而选择由该物件侦测模块所侦测的物件。该匹配分类器可操作以匹配由该物件侦测模块所侦测的物件。该物件追踪模块可操作以暂时关联由该物件侦测模块所侦测的物件的实例且亦为可操作以请求该匹配分类器以确定是否关联物件的实例。该搜寻模块可操作以撷取由该输入装置所选择的物件的储存影像且亦为可操作以请求该匹配分类器以找出一选择物件的一储存影像。

附图说明

图1是根据一个实施例的一种相机系统的绘图。

图2是于图1所示的系统的一个影像捕捉装置的简化方块图。

图3是描绘根据一个实施例的一种产生针对于图2的匹配分类器的一输入的方法的方块图。

图4是图2的匹配分类器的方块图。

图5A是显示于图4所示的匹配分类器的初始N-1个步级之一者的方块图。

图5B是于图5A所示的步级所利用的接受与拒绝临限的绘图。

图6是描绘根据一个实施例的一种利用匹配分类器的方法的流程图。

图7是一种匹配分类器训练方法的流程图。

图8是一种匹配分类器训练方法的流程图。

图9是另一种匹配分类器训练方法的流程图。

图10是一种物件追踪系统的方块图。

图11是一种物件追踪方法的流程图。

图12是另一种物件追踪系统的混合方块图与流程图。

图13A与13B是一种相机间追踪方法的混合方块图与流程图。

图14是一种物件索引系统的方块图。

图15是一种物件搜寻方法的绘图。

具体实施方式

相机系统

参考附图，此段落是描述特定的实施例与其详细的结构与操作。本文所述的实施例仅为作为举例而非为限制所陈述。熟悉此技术人士按照本文的揭示内容而将认知的是：对于本文所述的实施例存在一系列的等效者。特别是，其它的实施例可能，变化可作成于本文所述的实施例，且对于其构成所述的实施例的构件、零件、或步骤系可能存在等效者。

如熟悉此技术人士按照此揭示内容而将理解的是：某些实施例是能够达成优于已知的先前技术的某些优点，其包括下列的一些或全部：(1)统合物件追踪、索引、及搜寻方法；(2)实施一种用于物件追踪、索引、及搜寻的可训练的匹配分类器；(3)能够在一规则违反之前而搜寻所捕捉的一物件的实例；(4)能够在一新物件型式为加入至一侦测链接库之后而辨识先前捕捉的物件；(5)能够对于环境变化而适应物件追踪、索引、及搜寻；(6)能够加入新特征以最佳化侦测及分类准确度；(7)实施一种高速的追踪系统，其允许于甚至具有相当低的框率的准确的追踪；(8)运用不昂贵的硬件以实施一种准确的追踪系统于一嵌入式平台；(9)能够由反馈准确追踪数据以改良物件侦测准确度与分类准确度；及(10)能够跨过相机而实时自动追踪物件。种种的实施例的此等与其它优点于阅读此段落的其余部分而将为显明。

为了简明，某些实施例的构件或步骤的某些层面不具有过度的细节而呈现，其中，该种细节将对于熟悉此技术人士于按照本文的揭示内容为显明，且/或其中，该种细节将混淆该些实施例的较为有关层面的了解。

图1是根据一个实施例的一种相机系统100的绘图。相机系统100包括彼此连接于一网络108的影像捕捉装置102、一使用者接口104、及一远程储存/处理单元106(例如：一远程服务器)。网络108可包括任何型式的有线或无线网络。虽然图1的相机系统100包括连接于一网络的多个影像捕捉装置102，相机系统100可包括单一个影像捕捉装置102。影像捕捉装置102可包括一内部储存系统110，其包含一硬盘机(HD，hard drive)111与一元数据数据库(DB，database)112。举例而言，影像捕捉装置102可包括一种储存系统，其描述于标题分别为“视讯数据的内容觉察储存”与“延伸其用于视讯数据储存应用的硬盘机的操作寿命”的共同拥有的美国专利申请案第12/105,971号与第12/105,893号，此二件美国专利申请案均为以参照方式而整体纳入于本文。使用者接口104包括一显示器114与一输入装置116。影像捕捉装置102捕捉个别的视野的影像且产生代表该些影像的数据。要了解的是：影像可意指静止影像或运动视讯影像。影像数据是通过网络108而通讯至使用者接口104，且一或多个视野的影像提出于显示器114。输入装置116可操作以允许一使用者为提供针对于相机系统100的使用者反馈信息。影像数据亦可通过网络108而通讯至远程储存/处理单元106。

图2是一个影像捕捉装置102的简化方块图。影像捕捉装置102可为一种高分辨率的视讯相机，诸如：一种百万画素的视讯相机。影像捕捉装置102亦可捕捉自外侧的可见频谱(例如：热能)的资料。除了储存系统110之外，影像捕捉装置102包括一影像处理单元，其包括一视讯分析模块200以分析由影像捕捉装置102所捕捉的影像。该影像处理单元无须为容纳于如于图2所绘的影像捕捉装置102的一外壳202内。甚者，远程储存/处理单元106亦可包括一影像处理单元。

视讯分析模块200包括用于实行种种任务的一些模块。举例而言，视讯分析模块200包括一物件侦测模块204，用于侦测其出现于影像捕捉装置102的视野的物件。物件侦测模块204可运用任何已知的物件侦测方法，诸如：运动侦测或二进制大型物件(blob)侦测。物件侦测模块204可包括于标题为“用于侦测于时空讯号的有关物件的方法及系统”的共同拥有的美国专利申请案第10/884,486号的所述的系统且运用所述的侦测方法，此美国专利申请案的整体内容系以参照方式而纳入于本文。

视讯分析模块200亦包括一物件追踪模块206，其连接至物件侦测模块204。如运用于本文，术语“连接”意指直接或间接为通过一或多个中间媒介所逻辑或实体连接。物件追踪模块206可操作以于时间关联由物件侦测模块204所侦测的一物件的实例。物件追踪模块206产生其对应于所追踪的物件的元数据。该元数据可对应于物件的签章，其代表物件的外观或其它特征。该元数据可传送至元数据数据库112以供储存。物件追踪模块206更为详细描述于下文。

视讯分析模块200亦包括一暂时物件分类模块208。暂时物件分类模块208可操作以分类一物件为根据其型式(例如：人、载具、动物)，由考虑随着时间的该物件的外观。换言之，物件追踪模块206是追踪一物件于多个讯框(即：多个影像)，且暂时物件分类模块208是基于多个讯框的其外观而确定该物件的型式。暂时物件分类模块208可组合关于一物件的轨迹的信息(例如：该轨迹是否为平滑或混乱、物件是否为移动或不动)及于多个讯框所平均的由一物件分类模块210所作成的分类的信赖。举例而言，由物件分类模块210所确定的分类信赖值可基于该物件的轨迹的平滑度而作调整。暂时物件分类模块208可指定一物件至一未知的类别，直到该物件于一充分的次数及一预定数目的统计资料为已经收集而由该物件分类模块所分类。于分类一物件，暂时物件分类模块208亦可考虑该物件已经于视野为多久。暂时物件分类模块可基于上述的信息而作成关于一物件的类别的最后确定。暂时物件分类模块208亦可运用一种用于改变一物件的类别的磁滞方法。举例而言，一临限可设定以变迁一物件的分类为自未知至人类，且该临限可为大于针对于相反变迁(即：自人类至未知)的一临限。暂时物件分类模块208可产生其关于一物件的分类的元数据，且该元数据可储存于元数据数据库112。

视讯分析模块200亦包括物件分类模块210，其连接至物件侦测模块204。对照于暂时物件分类模块208，物件分类模块210可基于物件的单一个实例(即：单一个影像)而确定一物件的型式。物件分类模块可包括于标题为“动态物件分类”的共同拥有的美国专利申请案(代理人档案号码37686/8:2)的所述的系统且运用所述的方法，此美国专利申请案的整体内容是以参照方式而纳入于本文。暂时物件分类模块208可聚集由物件分类模块210所作成的分类。

视讯分析模块200亦包括一物件索引模块212，其连接至储存系统110。物件索引模块212可操作以产生针对于物件的签章。该些签章可储存于元数据数据库112且可作用为针对于物件的视讯影像的索引元素。物件索引模块212更为详细描述于下文。

视讯分析模块200亦包括一物件搜寻模块214，其连接至储存系统110与使用者接口104。物件搜寻模块214可操作以搜寻通过其储存于储存系统110的签章，以识别一物件是否为存在于先前捕捉的影像。物件搜寻模块214更为详细描述于下文。

视讯分析模块200亦包括一物件种类化模块216，其连接至物件分类模块210。物件种类化模块216可操作以当多个物件为侦测于一影像时而排定追踪的优先级。举例而言，物件种类化模块216可操作以运用物件分类模块210所产生的信息以建立用于企图关联一目前讯框的物件与其侦测于过去讯框的物件的一顺序。物件种类化模块216更为详细描述于下文。

由视讯分析模块200所产生的数据可由一规则引擎220所运用以确定一或多个使用者指定的规则是否为已经违反。举例而言，规则引擎220是可触发其为提出于使用者接口的显示器114的一警报，若一人是侦测于该些影像捕捉装置102之一者的视野。

如运用于本文，术语“模块”是一构件，其可包含一或多个硬件电路或装置、及/或一或多个软件例程、函式、物件或类似者。一模块亦可整体为硬件，整体为软件，包含韧体，或包含前述者的某个组合。如运用于本文，术语“系统”是指一种有形者。

匹配分类器

视讯分析模块200亦包括一匹配分类器218，其连接至物件追踪模块206、物件索引模块212、与物件搜寻模块214。匹配分类器218可操作以接收其代表二个物件的签章的一输入型态z且确定该些签章是否为匹配(例如：该些签章是否为充分类似)。匹配分类器218可为由物件追踪模块206、物件索引模块212、与物件搜寻模块214所运用以协助该些模块于其种种操作。因此，针对于追踪、索引、及搜寻的一种统合架构可经由匹配分类器218所达成。

匹配分类器218可操作以基于物件签章(例如：特征或外观特性)而匹配物件。举例而言，匹配分类器218接收其关于捕捉于不同讯框的二个物件的签章的数据(即：输入型态z)且确定该些物件是否为对应于相同的实际物件。

一物件的一签章可由其选择自一集合的特征F＝{f₁，f₂，f₃，…，f_n}的一子集合的特征

所作成。的元素可视为一物件的一影像区域R的某个变换。因此，一物件的一签章x可呈现以下形式：

$x=\left(\begin{array}{c}{\hat{f}}_1=f_{k1}\left(R\right)\\ {\hat{f}}_2=f_{k2}\left(R\right)\\ \·\\ \·\\ \·\\ {\hat{f}}_3=f_{k3}\left(R\right)\end{array}\right)---\left(1\right)$

一物件的特征

可对应于一些外观特性，诸如而不限于：长宽比、色调、强度、边缘方位、纹理、角隅特征、原始影像的像素数据、正规化的饱和、与诸如标度不变特征变换(SIFT，Scale-invariant featuretransform)特征的区域描述符。该些特征均包括色彩特征(例如：色调与饱和)及灰阶特征(例如：强度与边缘方位)。此允许匹配分类器218以运作于彩色与黑白影像。一物件的一影像可分割成为区域或子窗口，且特征

可对应于该些区域或子窗口的物件的外观特性。甚者，特征

可代表外观特性的特征向量(例如：直方图，其中，直方图的分格对应于向量分量)且可为由匹配分类器218所运用以确定物件是否为匹配。举例而言，物件的边缘方位的直方图可针对于物件影像的不同区域(例如：子窗口)而作图。换言之，一物件的影像可分割成为子窗口，且边缘方位可针对于子窗口的各个像素而计算。一像素的边缘方位可运用一可操纵滤波器(例如：运用一高斯导数滤波器于多个方向)而导出。举例而言，一影像可卷积于其方位在零与90度的一高斯分布的一第一导数，零与90度可运用作为基础滤波器以合成诸多的方位。高斯导数响应可针对于各个像素而计算于八个方位，且针对于各个像素，关于最大响应的方位可选取作为针对于该像素的方向。运用一可操纵滤波器允许主要方向为指定至一子窗口的像素，且允许该些方向的直方图为针对于该子窗口所作图。举例而言，针对于一已知的像素，一可操纵滤波器可运用于多个方向以产生多个响应，且对应于最大方向导数响应的方向指定作为该像素的方向。一物件的一签章x可捕捉该物件的独特性而且允许于物件的不同实例间的外观变化。虽然非为必要，一物件的一签章可为以针对于相机系统100可利用的最大分辨率而计算且可为不受到事后的降低取样频率或压缩所影响。

图3是方块图，显示一种方法300，其可运用以基于自一第一物件的一签章x与自一第二物件的一签章y而产生用于匹配分类器218的一输入z。概括而言，自第一与第二物件的签章x与y组合以形成输入z(步骤302)。举例而言，签章x的特征

可与签章y的特征为组合。签章x与y可运用诸如直方图相交或特征的连锁的组合函数而数学方式组合。一组合函数可认为于特征之间的一距离度量d。诸多不同的距离度量可运用以提供输入z，诸如：一距离L₁、一曼哈顿(Manhattan)距离、一距离L₂、与一Bhattacharyya距离。因此，多个组合或距离度量是针对于例如签章x的特征

与签章y的特征为可能。距离度量可对应于特征之间的相似性的一度量；相同的物件的实例可于特征空间为“接近”(例如：小的距离度量)，而不同的物件的实例可于特征空间为“远离”(例如：大的距离度量)。当组合自例如签章x与y的边缘方位直方图，边缘方位直方图可作为一距离度量d。输入z是供应至匹配分类器218，且匹配分类器218作出其关于第一与第二物件是否为匹配的一决策。如下所述，一种训练方法可自动选取签章x与y的最佳特征、以及最佳组合或距离度量，以达成于匹配物件的一高程度的准确度。匹配分类器218的输出可对应于一决策步级值s(z)，如下所述。决策步级值s(z)可指出第一与第二物件是否为匹配，且可包括对应于其决策的一信赖度的一值。

匹配分类器218可为其概括由一分类器函数Γ(z)所定义的一分类问题而代表，其中，输入型态z所代表的二个物件是当Γ(z)＞0而宣告为一匹配或当Γ(z)＜0而宣告为一不匹配。概括而言，分类器函数Γ(z)是以一组的参数而为参数化，且输入z是由上述的特征的组合所构成。分类器函数的输出的大小可反映该匹配分类器218于其决策的信赖度。此信赖度可构成相似性(或相异性)的一度量。

匹配分类器218的结构的一个实施例是将参考图4至6而更详细描述。匹配分类器218包括其组态于一种串级组态(即：步级1、随后为步级2、随后为步级3、…、随后为步级N)的多个步级400(N个决策步级)，如于图4所示。N个步级操作以确定二个签章是否为匹配。不同于公元2004年的国际计算机视觉期刊(International Journal of Computer Vision)第137至154页的Paul Viola与Michael Jones的“强健实时脸部侦测”所提出的一种已知的串级分类系统，本实施例的初始N-1个步级各者可操作以作成三个决策之一者：(1)接受二个物件作为匹配；(2)拒绝该些物件作为匹配(即：宣告为不匹配)；及(3)转送该决策至下个步级。举例而言，输入z供应至步级1，且步级1判断是否(1)接受该些物件作为匹配；(2)拒绝该些物件作为匹配；或(3)转送该决策至步级2。接受、拒绝或转送的决策是基于由该步级所产生的一值(即：决策步级值s(z))。最后或第N个步级可操作以(1)接受该些物件作为匹配；或(2)拒绝该些物件作为匹配。

图5A是方块图，更为详细显示初始N-1个步级400之一者。各个步级400包括一或多个阶段500。针对于各个阶段500，自一第一物件的特征

的一者与自一第二物件的特征

的一对应者的组合(例如：一距离度量或毗连)自输入z而取出(由方块502所代表)且供应至其对应的阶段500。举例而言，自第一物件的特征

与自第二物件的特征的组合可供应至第一阶段500。因此，各个阶段500是具有关联于其的一对应特征。阶段/特征的组合可由于如下所述的一训练方法期间的一种学习算法而预定。甚者，举例而言，供应至图5的第一阶段(阶段1)的特征组合可为不同或相同于其供应至第二阶段(阶段2)的特征组合。

概括而言，一阶段500可为由一阶段函数g所代表，阶段函数g定义为如下：

g：(x，y)→γ

g∈G

(x，y)∈z且

γ∈[-1，1]        (2)

其中，G代表特定阶段函数g为选取自其的一般集合，且(x，y)代表其取出自签章x的一特征与其取出自签章y的一特征的组合。如上所述，供应至一阶段500的特征的组合可视为一距离度量d。因此，集合G可写为G＝D×T，其中，D是于图3的步骤302所计算的一组所有可能的距离度量(例如：d∈D，d：(x，y)→z)，且T代表一组可能的变换(即：映射)，使针对于t∈T，t：z→γ。因此，阶段函数g可呈现以下的展开形式：

$g_i({\hat{f}}_k^x,{\hat{f}}_k^y)=t\left(d({\hat{f}}_k^x,{\hat{f}}_k^y)\right)---\left(3\right)$

 一阶段500代表一判别函数，其包括一加权向量

与一启动函数β。如上所述，特征

可代表特征向量。此外，于特征向量之间的一距离度量d可代表一距离向量

阶段函数可改写为如下：

$g_i\left({\stackrel{\→}{d}}_k\right)={\mathrm{\β}}_i({\stackrel{\→}{w}}_i\·{\stackrel{\→}{d}}_k)---\left(4\right)$

其中，代表加权向量

与距离向量

的内乘积。启动函数β_i可为任何函数，诸如而不限于：一S型函数或一径向基底函数。启动函数β_i运用以映像加权向量

与距离向量的内乘积至于0与1之间之一值。纯量值γ可由计算该判别函数的一微分而确定。不同于其包括针对所有阶段的相同判别函数的公知串级分类器，针对于本实施例的阶段的判别函数可彼此为不同。甚者，针对于各个阶段500的加权向量

与启动函数β_i如下所述而自动确定于训练期间。

各个步级400是阶段500之一或多者的一线性组合(由比例及总和方块502所代表)。换言之，阶段500的纯量值γ系比例及总和以产生决策步级值s(z)。概括而言，一步级函数系可数学式代表如下：

$s\left(z\right)={\mathrm{\Σ}}_{{\∀}_i}{\mathrm{\α}}_i{g}_i(x_k,y_k)---\left(5\right)$

其中， ${\mathrm{\Σ}}_{{\∀}_i}{\mathrm{\α}}_i=1$

因为s(z)(即：决策步级值)是阶段的一凸组合，s(z)与g(x，y)具有相同的范围。加权系数α是于训练期间为由一种学习算法所选取。决策步级值是相较于一接受临限τ_a与一拒绝临限τ_r之一或二者(由方块506所代表)，以确定二个物件是否匹配、拒绝该些物件作为一匹配、或转送该决策至下一个步级400。该比较可代表为如下：

接受，若τ_a＜s(z)≤1

转送，若τ_r＜s(z)≤τ_a     (7)

拒绝，若-1＜s(z)≤τ_r

图5B说明于区间[-1，+1]的接受与拒绝临限的一个实例。接受临限τ_a与拒绝临限τ_r是基于使用者特定的伪正与伪负率而由一种学习算法所选取于训练期间。各个步级400可具有其为不同于或相同于其它步级400的针对于τ_α与τ_r的值。“接受”的一决策指的是：分类器确信该二个物件为匹配。“转送”的一决策指的是：分类器不确定且延缓该决策至下一个步级。“拒绝”的一决策指的是：分类器确信该二个物件为不匹配。于任何步级，若决策系非“转送”至下一个步级400，接受/拒绝决策作成于该点且评估完成。于该步级的决策步级值s(z)是针对于匹配分类器218的输出值。决策步级值可对应于针对于对应步级400的一决策信赖度。举例而言，相较于稍高于接受临限τ_a的一决策步级值，接近1的一决策步级值可代表的是：对应步级400较确信二个物件为匹配。替代而言，于决策步级值的一增大是可能非必要为对应于一较高决策信赖度(即：决策为正确的一机率)。由于物件是以不同的决策步级值而正确及不正确匹配，关联于各个决策步级值的信赖度可凭经验估计于训练期间。决策步级值的信赖度更详细描述于下文。如上所述，于匹配分类器218的最后一个步级(步级N)是强制以恒为接受或拒绝：

接受，若0＜s(z)≤1

拒绝，若-1＜s(z)≤0    (7)

图6是流程图，举例描绘匹配分类器218的一种操作流程600。首先，第一与第二物件的签章组合(步骤602)。第一与第二物件可对应于相同的实际物件。步骤602是相关于图3的步骤302。输入z是传送至匹配分类器218的第一个步级400(步骤604)。对应于第一个到第S个阶段500的特征(例如：距离度量)是识别于输入z且为选取自输入z(步骤606)。替代而言，非为传送输入z至第一个步级400，由第一个步级400的阶段500所运用的组合特征可选择且仅为彼等组合特征可传送至第一个步级400。该些组合特征供应至其个别的阶段500，且该些阶段500是映像该些组合特征至纯量值γ(步骤608)。该些纯量值是比例化(即：加权)且总和以产生一决策步级值s(z)(步骤610)。决策步级值相较于接受临限τ_a与拒绝临限τ_r之一或多者(步骤612)。若决策步级值大于接受临限τ_a，第一与第二物件接受作为一匹配(步骤614)。若决策步级值小于或等于拒绝临限τ_r，第一与第二物件拒绝作为一匹配(步骤616)。若决策步级值大于拒绝临限τ_r而小于或等于接受临限τ_a，输入z转送至第二个步级400(或替代而言，仅为由第二个步级400所运用的彼等特征组合传送至第二个步级400)(步骤618)。第一与第二物件可于串级的内的任一个步级400而接受或拒绝作为一匹配。

训练匹配分类器

一种训练匹配分类器218的方法将描述。公知分类器可为以学习算法AdaBoost或AdaBoost的某种变化者而训练。尽管AdaBoost已证明其于一些应用的价值，运用于该学习方法的算法与目标函数具有一些限制。举例而言，为了AdaBoost为有效，匹配或不匹配物件的距离度量不能显著重迭彼此于特征空间。换言之，物件的特征应为相当分开一分类空间。甚者，因为AdaBoost是运用弱的学习器，大量的弱的学习器可能为必要以形成其能够达成一期望准确度的一全分类器。

根据一个实施例，称为依序判别误差最小化(SDEM，SequentialDiscriminant Error Minimization)的一个替代的目标函数与学习算法是用以训练匹配分类器218。SDEM提出于Saptharishi的“依序判别误差最小化：理论与其于实时视讯物件辨识的应用”(Carnegie Mellon大学，公元2005年)，其整体内容是以参照方式而纳入于本文。SDEM可处理其非必要为相当分开一分类空间的特征或距离度量。不同于AdaBoost与其它类似的激增(boosting)技术，SDEM可运用弱的学习器或其非必要视为弱的其它的判别函数。因此，相较于AdaBoost，运用SDEM以训练，一物件分类器的步级400与阶段500的数目可为显著较小。针对于一既定特征，SDEM经常为能够学习针对于对应特征空间的最佳分类器。物件的最佳特征、距离度量、与转变是可针对于一既定分类问题而自动选择。

概括而言，SDEM算法是运用以训练针对于各个步级400的阶段500的组合。如于式(3)所定义，一阶段500包括一阶段函数g_i(x，y)，其为等于特征

与

的一距离度量d的一转变t(即：

)。训练任务是选取最佳转变t、最佳距离度量d、与最佳特征使当一特定的阶段500相加至一步级400，物件分类器的性能是最大化。换言之，SDEM算法是选择针对于一特定阶段的转变t、距离度量d、与特征

以最大化一目标函数。特征的集合F与距离度量的集合D可为有限，且转变的集合T可为连续且可微分。采用SDEM算法，针对于一离散对

的各个选取，一搜寻是实行于集合T以识别其实行最佳于一训练数据集的转变t。于集合T的搜寻是运用标准无限制最佳化技术而实行，诸如而不限于：一种准牛顿(Quasi-Newton)最佳化方法。一旦最佳转变t是针对于

的各个选取而识别，最佳特征/距离度量对可根据一估计概括误差

而选择。最佳特征/距离度量对的选择可写为如下：

$g({\hat{f}}_k^x,{\hat{f}}_k^y)={\min }_{\∀(k,j),\∀t\∈T}\left\{\widehat{\mathrm{\ϵ}}\left(t\left(d_j({\hat{f}}_k^x,{\hat{f}}_k^y)\right)\right)\right\}---\left(8\right)$

当各个阶段500增加至一步级400，可能存在n个独特的特征型式与b个独特的距离度量。因此，当增加一个新的阶段500，总共n×b对

可为探究。SDEM算法的一个性质在于：当一阶段500增加至一步级400，阶段500的增加是改良该物件分类器于训练数据集的性能。若一新的阶段无法识别为改良该物件分类器的性能，SDEM算法自动终止。替代而言，非为等待SDEM算法以自动终止，一步级400的一些阶段500可为由使用者所确定。换言之，当由使用者所设定的一最大数目的阶段500达到或是当并无阶段500可增加为将改良性能，SDEM算法终止训练。

SDEM算法是选择一系列特征、距离度量、与转变，使当组合，该系列胜过该些特征/距离度量/转变的单一者。举例而言，尽管一物件的长宽比可能为用于匹配之一不良的特征，当组合于局部梯度信息，长宽比可改良其对应于仅有局部梯度信息的匹配准确度。一些简单的特征、距离度量、与转变可组合以产生极为准确的匹配分类器218。训练任务是由组合针对于二个物件的一组的外观特征与距离度量而产生超特征。

用于建立第一个步级400的阶段500的训练任务将参照图7与8而更详细描述。以下说明亦可应用至其它步级400的阶段500。图7是一种产生训练数据的方法700的方块图。一序列的物件影像可提出给使用者以供验证关于该些影像是否为对应于相同物件或不同物件。举例而言，二个影像可同时提出、或是依序提出给使用者以供验证。当该些影像对应于相同物件，一个匹配实例产生(步骤702)。当该些影像对应于不同物件，一个不匹配实例产生(步骤704)。距离度量d₁，d₂，…，d_m是运用针对于匹配与不匹配实例的特征。匹配与不匹配实例的物件的特征

可具有关联于其的超过一个距离度量。举例而言，b个不同的距离度量可利用针对于特征

之一或多者。因此，d₁与d₂可均为对应于物件的特征

匹配与不匹配实例的特征

是由运用关联于特定特征的不同距离度量之一或多者而组合。举例而言，若d₁对应于

d₁运用以组合一匹配实例的一个物件的特征

与该匹配实例的另一个物件的特征其它的匹配与不匹配实例的物件的特征

亦可为组合。在若干个匹配与不匹配实例产生且该些实例的物件的特征

运用适当的距离度量d₁，d₂，…，d_m而组合之后，该些实例与组合可运用于一种训练算法以训练匹配分类器218(步骤706)。

图8是一种训练方法800的流程图，训练方法800可运用以训练匹配分类器218。匹配与不匹配实例的物件的特征

的组合(即：特征组合802)识别且关联于其为运用以组合该些特征的距离度量(例如：d₁、d₂)(步骤804a、804b、与804c)。举例而言，针对于距离度量d₁，由运用d₁所形成的适当特征

的组合识别(步骤804a)。

在其对应于距离度量d₁，d₂，…，d_m的特征组合802识别之后，最佳转变t是针对于距离度量d₁，d₂，…，d_m的各者而选择(步骤806a、806b、与806c)。因为一特定特征关联于各个距离度量，最佳转变不仅针对于距离度量并且亦针对于关联于距离度量的特征而选择。转变可基于标准最佳化技术而选择。一转变t可视为分离该些匹配与不匹配实例的特征组合802的一决策边界。因此，最佳转变t对应于最佳分离针对于对应的特征

与距离度量的匹配与不匹配实例的一决策边界。就由加权向量

与启动函数β_i所作成的判别函数的情形而论，最佳转变t的选择对应于最佳分离该些匹配与不匹配实例的启动函数β_i与加权向量

的分量的选择。启动函数β_i可选择自一组多个函数型式，诸如而不受限于：一S型函数与一径向基底函数(例如：一高斯函数)。因此，不同于公知的串级分类器，一第一个阶段可包括其相较于一第二个阶段的一不同型式的判别函数。

在针对于距离度量d₁，d₂，…，d_m的转变选择之后，对应于各个距离度量/转变组合的一目标函数的一值计算(步骤808a、808b、与808c)。目标函数可为成比例于误差的一度量(例如：宣告一匹配或不匹配或反之亦然)或是可为分类误差的一非线性而单调变化的函数。目标函数的计算值可相关于不同距离度量/转变组合所作成的分类误差的数目及/或严重程度。举例而言，一第一计算值可相关于距离度量d₁与其对应转变所作成的分类误差的数目。目标函数的计算诸值比较，具有最大计算值的距离度量/转变组合是针对于第一个步级400的第一个阶段500而选择(步骤810)。

在距离度量(及其关联的特征)与转变针对于第一个阶段500而选择之后，不同的匹配与不匹配实例的特征组合802是将第一个阶段500所作成的决策纳入考虑而加权具有不同的加权(步骤812)。匹配与不匹配实例的特征组合802各者可考虑为对应于特征空间的数据点。匹配与不匹配实例的特征组合802可加权作为其对应数据点为如何接近于第一个阶段500所代表的决策边界的一函数。举例而言，对应于接近于特征空间的决策边界的数据点的特征组合802相较于具有远离决策边界的数据点的特征组合802而可加权为具有较高的加权，使得一第二个阶段500可由较多针对于其使第一个阶段500为有些困惑的彼等特征组合802而训练。介于一数据点与第一个阶段500的决策边界之间的距离可关连于针对于对应于该数据点的实例所计算的纯量值γ。

在该些实例的特征组合802加权之后，最佳转变是针对于距离度量d₁，d₂，…，d_m而再次选择(步骤806a、806b与806c重复)。然而，对应于距离度量d₁，d₂，…，d_m的特征组合802已经加权，且针对于距离度量d₁，d₂，…，d_m各者的最佳转变t是将第一个阶段500纳入考虑而选择。最佳转变t可对应于其造成目标函数值的最大增加的转变。目标函数的诸值再次计算且比较以确定针对于第二个阶段500的距离度量/转变(步骤808a、808b、808c与810重复)。欲建立一第三个阶段500，匹配与不匹配实例的特征组合802重新加权，其中，对于第一与第二个阶段500为有些困惑的实例给予较高加权。再次，步骤806a、806b与806c是重复，而对应于距离度量d₁，d₂，…，d_m的特征组合802已经重新加权且针对于距离度量d₁，d₂，…，d_m各者的最佳转变t是将第一与第二个阶段500均纳入考虑而选择。目标函数的诸值再次计算且比较以确定针对于第三个阶段500的距离度量/转变(步骤808a、808b、808c与810系重复)。通过训练一新阶段的各个反复运作以选取最佳距离度量、转变及加权标示实例的特征组合802的方法可考虑为于函数空间的一梯度上升、或为提高目标函数的总值的一种方法。

一旦第一个步级400训练时，临限τ_a与τ_r选择，使期望的伪正与伪负率系可达到。甚者，随着阶段500针对于第一个步级400而构成，加权系数α亦选择。举例而言，随着各个阶段500增加至第一个步级400，针对于该些阶段的加权系数α是调整以求得其对应于针对于第一个步级400的最低整体误差率的该些加权系数α的值。举例而言，加权系数α可由运用一线搜寻最佳化策略而选择。

在第一个步级400训练之后，一第二个步级400的阶段500可训练。然而，少于其运用以训练第一个步级400的所有的匹配与不匹配实例可为运用以训练第二个步级400。举例而言，仅有第一个步级400可能既不接受且亦不拒绝的彼等匹配与不匹配实例可为运用以训练第二个步级400。换言之，第二个步级400训练关于其具有一对应决策步级值为大于拒绝临限τ_r而小于或等于接受临限τ_a的实例。此允许第二个步级400以仅为针对于第一个步级400觉得困惑的彼等实例。

一旦该匹配分类器218以实例所训练，匹配分类器218可继续通过其它训练步骤以改进针对于不同阶段500所选择的距离度量/转变。训练匹配分类器218的一种高阶方式显示于图9的流程图，说明一种训练方法900。影像数据901(例如：原始的视讯数据)供应至简单的基底或种子系统，其为能够进行物件的基本侦测、追踪、与分类。基底系统系侦测、追踪、及分类其代表于影像数据901的物件且产生其对应于物件的元数据(步骤902)。基底系统系选择其为侦测及追踪的一组的物件(步骤904)。物件选择可取决于一物件为于一影像捕捉装置102的视野的时间量，或可取决于基底系统为多信赖于一物件的其分类。其它规则是可规定以指定一物件是否为由基底系统所选择。

基底系统所选择的物件的影像是于一显示器而提出至一使用者，故使用者可人工标示该些物件作为匹配或不匹配的实例。使用者是人工标示该些物件，且标示的实例供应至其为训练的匹配分类器218(步骤906)。特征组合可针对于其运用距离度量d₁，d₂，…，d_m的标示的实例而计算。人工标示的实例的特征组合可对应于上述的特征组合802。匹配分类器218诸如根据参考图8的如上所述的训练方法800而以特征组合802所训练(步骤800)。影像数据901供应至匹配分类器218。匹配分类器218确定其代表于影像数据901的物件是否匹配且产生其代表匹配与不匹配的物件的元数据(步骤910)。匹配分类器218所产生的各个匹配与不匹配具有关联于其的一匹配信赖度。匹配信赖度对应于其宣告该匹配或不匹配的步级400的决策步级值。匹配分类器218所产生的匹配信赖度分析以识别其对于匹配分类器218为困惑的物件的实例(例如：具有一低匹配信赖度的匹配与不匹配)。匹配分类器218的性能评估以确定该匹配分类器的性能是否为可接受(步骤912)。

欲确定该匹配分类器的性能是否为可接受，一不相交测试集是可运用，其中，不相交测试集的匹配与不匹配是在由匹配分类器218的分类之前而为已知。供应至匹配分类器218的影像数据901可对应于不相交测试集，且由训练的物件分类器所作成的分类可相较于实际的匹配与不匹配。由此比较，匹配分类器218的性能可确定。若该性能是不等于或高于某个预定的性能位准，令人困惑的物件提交至使用者以供人工标示(步骤904)。使用者系标示令人困惑的物件且新标示的匹配与不匹配是运用以重新训练匹配分类器218(步骤906与908)。当匹配分类器218重新训练，针对于不同的阶段500的距离度量/转变组合可基于新标示的实例而更新。重新训练的匹配分类器是运用以分类其代表于影像数据901的物件，且重新训练的匹配分类器的性能评估(步骤910与912)。重新训练方法可继续而直到匹配分类器218的性能为可接受。当匹配分类器218的性能可接受，其可为部署(步骤914)。训练方法可重新编排成为以下步骤：

1、人工标示一数据集的某个小部分。

2、运用该资料集的部分以训练一匹配分类器218。

3、运用新训练的分类器以自动标示完整的数据集。

4、选择其对于匹配分类器218为困惑的一组自动标示的数据点。

5、人工标示该些困惑的数据点。

6、借着所有新标示的数据点而重复训练。

7、至步骤3。

给定匹配分类器218的阶段步骤架构，可加入一新的步骤于该匹配分类器218。这个新的步骤可加以训练以校正由该匹配分类器218所造成的错误。或者，可训练一新的步骤来取代该匹配分类器218的最后一个或第N^th个步骤。在该匹配分类器218由以上所述的流程所训练之后，该匹配分类器218可执行各种的操作，例如追踪、产生索引元素、以及执行基于物件(例如基于外观)的搜寻。换言之，该匹配分类器218不需要针对每一个不同的操作而分别训练。

匹配分类器218所运作以匹配物件实例的方式是已经至少部分为由其运用一组可能的物件特征以自动构成该匹配分类器218的一种训练或自我学习方法而确定。该种构成可包括以下确定之一或多者：(1)自该组可能的特征而选择哪些特征以运用；(2)确定该些选择的特征为评估的顺序；(3)确定有多少倍的特征为组合(即：运用以组合多个变量的加权系数)；(4)自一组可利用的距离度量(例如：L₂、Manhattan、Bhattacharyya)以选择距离度量。匹配分类器218的其它层面可构成于训练方法期间。训练方法是可离线式发生在匹配分类器218的部署前及/或联机式发生于匹配分类器218的联机操作期间。

匹配信赖

决策步级值s(z)是相关于匹配分类器对于其认为二个物件为多类似的估计(例如：匹配信赖)。该相关性是可非为线性，即：步级400可产生一高正值，但是该些物件是可能为不匹配。典型而言，由于训练方法，s(z)的值为愈高，步级400愈不可能作出一错误。关联于s(z)的某值的信赖度是可计算，首先由定义一指针函数ε(Γ(z))，其中：

一信赖函数Ψ(Γ(z))可定义为步级400宣告二个实例为一匹配的机率，且其针对于s(z)＝ν的一输出为正确。因此，针对于一小量化区间[ν-Δ，ν+Δ]，信赖函数可表示为如下：

Ψ(Γ(z))＝P_ε，Ω|Γ(ε(Γ(z))＝0，ω＝匹配|s(z)＜ν+Δ)-  (10)

           P_ε，Ω|Γ(ε(Γ(z))＝0，ω＝匹配|s(z)＜ν-Δ)

注意，可为考虑的是：步级400是宣告二个实例为一匹配，当s(z)＞0，即：P_ε，Ω|Γ(ω＝匹配|s(z)＞0)＝1。因此，针对于ν＞0，式(10)可表示为：

Ψ(Γ(z))＝P_ε|Ω，Γ(ε(Γ(z))＝0|ω＝匹配，0＜s(z)≤ν+Δ)- (11)

           P_ε|Ω，Γ(ε(Γ(z))＝0|ω＝匹配，0＜s(z)＜ν-Δ)

式(11)代表真正率，当ν∈[Δ，1-Δ]且s(z)∈[ν-Δ，ν+Δ]。

同理，针对于ν≤-Δ而宣告二个实例为不匹配的一步级400的信赖函数可表示为：

Ψ(Γ(z))＝P_ε|Ω，Γ(ε(Γ(z))＝0|ω＝不匹配，ν+Δ≤s(z)≤0)-  (12)

           P_ε|Ω，Γ(ε(Γ(z))＝0|ω＝不匹配，ν-Δ＜s(z)≤0)

式(12)代表真负率，当ν∈[-1+Δ，-Δ]且s(z)∈[ν-Δ，ν+Δ]。因此，若步级400针对于任何观测输出值s(z)＝ν为正确的机率(如于式(11)与(12)所定义)是高，则步级400视为信赖于其答案。针对于信赖的此自我评估，一机率测量

是自训练实例所估计且信赖函数Ψ(Γ(z))推断。若信赖函数Ψ(Γ(z))小于其针对于s(z)的一既定输出值的一临界信赖临限ψ_c，则步级400视为针对于该输出值而不同或令人困惑。不同分类转送至下一个步级400。因此，信赖函数Ψ(Γ(z))可运用于训练期间以识别其对于一匹配分类器218为困惑的物件。若构成阶段500的判别函数是对于贝氏(Bayes)最佳决策边界的良好的近似，则决策步级值s(z)是将为单调相关于信赖函数Ψ(Γ(z))。针对于初始步级400，物件分类器可能未充分近似贝氏决策边界。因此，针对于一既定步级400的决策步级值s(z)与信赖函数Ψ(Γ(z))是可能非恒为单调相关。

信赖函数Ψ(Γ(z))可运用以确定针对于不同步级400的接受临限τ_a与拒绝临限τ_r。相对于其它串级分类器架构，若针对于匹配的信赖函数Ψ(Γ(z))随着决策步级值s(z)而单调递增，接受临限τ_a是可选取，使真正限制系符合。若信赖函数Ψ(Γ(z))是未随着决策步级值s(z)而单调递增，则接受临限τ_a可维持为饱和于1，即：并无实例是于对应步级400而接受作为匹配。单调性的欠缺指出的是：于匹配区域，决策边界未充分适当反映贝氏最佳分类器。同理，拒绝临限τ_r系选取，若不匹配信赖系单调相关于决策步级值s(z)。实际上，不匹配类别相较于匹配类别而可更密集聚集于特征空间。因此，尽管一单调关系为可能不存在于初期的步级的匹配类别，极可能存在于初期的步级的不匹配类别。对应于匹配分类器218的匹配信赖度是关联于其接受或拒绝一匹配的步级400所产生的决策步级值s(z)的分类信赖。

追踪

追踪可认为于各个视讯框或影像以找出一物件、且建立于其跨于诸框的移动物件之间的对应关系。追踪可实行于单一个影像捕捉装置102内或跨于多个影像捕捉装置102。概括而言，物件追踪模块206可运用于诸框间的物件运动以作为追踪的线索，而且亦仰赖于匹配分类器218以追踪。运用匹配分类器218以追踪可致能准确的追踪，即使当一些闭塞存在、运动有些不稳定、且相当多个交叉的物件存在于一影像捕捉装置102的视野。

图10是由物件追踪模块206所运用以追踪物件的一种系统1000的方块图。物件追踪模块206包括一运动模型化模块1002，其为可操作以估计一物件于一影像捕捉装置102的视野的相继影像或讯框之间的位置变化。运动模型化模块1002可基于其先前估计的轨迹与速度而预测一物件于一新讯框的位置与尺寸。运动模型化模块1002可运用以根据对应于其为追踪的一特定物件的其可能性或机率而排列于一目前讯框的物件的观测。物件追踪模块206是可产生其已经侦测于先前讯框的一列表的追踪物件或目标。举例而言，该列表的追踪物件可包括十个物件，目前的讯框可包括五个侦测物件，且该五个侦测物件的一排序(例如：一至五且一为最高排序)是可基于匹配机率信息而针对于该十个追踪物件的各者所产生。物件追踪模块206可产生针对于其追踪的各个物件的一识别编号或另一个型式的识别符号。运动模型化模块1002可运用一种卡尔曼(Kalman)滤波器以预测一物件的位置与速度。

在运动模型化模块1002为根据对应于追踪物件的其可能性而排列目前讯框的物件之后，物件追踪模块206可请求匹配分类器218以确定该目前讯框的一物件是否对应于一追踪物件。针对于一既定的追踪物件，物件追踪模块206可请求匹配分类器218以首先确定该目前讯框的最高排序的物件是否匹配该追踪物件。甚者，物件追踪模块206可运用匹配机率信息以确定针对于追踪物件的一顺序。举例而言，若运动模型化模块1002是确定于一第一追踪物件与其最高排序物件之间的一匹配机率为高于一第二追踪物件与其最高排序物件之间的一匹配机率，则物件追踪模块206可请求该匹配分类器218以在企图匹配第二追踪物件与其最高排序物件之前而企图匹配第一追踪物件与其最高排序物件。虽然运动模型化模块1002已描述为运用在匹配分类器218之前，运动模型化模块1002可运用在匹配分类器218之前或之后。概括而言，运动模型化模块1002可运用为连同于匹配分类器218。运动模型化模块1002可运用以助于确定由匹配分类器218所宣告的一匹配或不匹配的信赖。举例而言，匹配分类器218可宣告二个物件为一匹配，但是运动模型化模块1002可确定该二个物件于视野中为分开太远而未对应于相同物件。于该情形，运动模型化模块1002可运用以提高该接受临限τ_α。关联于匹配分类器218的匹配信赖度可接着关联于由运动模型化模块1002所作成的确定而分析以宣告一匹配或不匹配。

图11是可为由物件追踪模块206所运用的一种追踪方法1100的流程图。一第一物件是捕捉于一第一影像且侦测(步骤1102)。第一物件的一第一签章产生(步骤1104)。第一签章可包括上述的特征之一或多者。第一物件可纳入于追踪物件的列表。一第二物件捕捉于一第二影像且侦测(步骤1106)。物件追踪模块206可运用运动模型化模块1002以基于第一物件的估计轨迹与速度而评等其对应于第一物件的第二物件的可能性(步骤1108)。第二物件的一第二签章产生(步骤1110)。第二签章可包括上述的特征之一或多者。步骤1110无须为发生在步骤1108之后(即：第二签章可在运动模型化模块1002为运用之前而产生)。第一与第二签章如上所述而组合(步骤1112)。举例而言，不同的特征(例如：直方图)组合。组合的特征传送至匹配分类器218，且匹配分类器218确定第一与第二签章是否为匹配(步骤1114)。匹配分类器218宣告一匹配或一不匹配、连同一匹配信赖度。若匹配分类器218确定第一与第二签章为匹配，第一签章如下所述而更新且其它元数据可产生，诸如而不限于：运动信息(例如：速度、轨迹)、对应于第一物件为侦测于其中的讯框数目的信息、物件的位置与尺寸(例如：环绕该物件的一定界框的尺寸)、物件的型式(例如：由暂时物件分类模块208所确定的分类标记)、一分类信赖度、与一匹配信赖度。

如上所述，匹配分类器218可运用物件签章以确定物件是否为匹配(即：物件是否为彼此的实例)。不同的签章可针对于各个物件而产生。举例而言，一单框签章与一累积签章可为由匹配分类器218所运用于追踪期间。一单框签章(例如：一瞬间签章)可代表于一特定视讯框的一物件的外观(即：物件的单一个影像)。一单框签章可包括其基于对应框所计算的上述的特征(例如：直方图)之一或多者。一单框签章可针对于一物件的每个实例而产生。于前个段落所述的第二签章可为一单框签章。一累积签章可为一序列的单框签章的一加权平均。一累积签章可代表其为追踪的一物件(例如：于追踪物件的列表的一物件)的外观。针对于一追踪物件为运用一累积签章而非为一单框签章可对于噪声为更强健，因为一累积签章是平均于多个框。于前个段落所述的第一签章可为一累积签章。

一累积签章是每当一追踪物件为由匹配分类器218所匹配至一新的实例而可更新。举例而言，累积签章随着一物件的新影像为捕捉而实时更新。甚者，各个单框签章的作用可对应于时间而降低(例如：指数式降低)。因此，最为新近的单框签章可对于一累积签章为作用最多。一累积签章可数学式代表如下：

c_物件＝ρc_物件+(1-ρ)i_观测         (13)

其中，c_物件代表累积签章，i_观测代表其对应于一物件的一实例的单框签章，且ρ是一折扣因子，其中，0＜ρ＜1。当一物件首先侦测时，累积签章可为等于单框签章，且然后为可对应于式(13)以针对于后续的侦测。

一第三型式的签章(即：一平均签章)亦可针对于一物件而产生。如同一累积签章，一物件的一平均签章包括自该物件的单框签章的作用。然而，不同于累积签章，作用于平均签章的单框签章非为不同加权。换言之，自单框签章的作用未根据时间而降低。因此，一平均签章可代表一组的单框签章的总和除以该组的单框签章的数目。下式是一物件的一平均签章a_物件的一数学式代表：

其中，物件是已经追踪为针对于n个框，且k_i代表针对于第i个框的单框签章。平均签章可随着新的单框签章为产生而实时更新。

物件的种类或类别亦可于追踪期间为纳入考虑。于多个应用，物件的特定的种类或类别(例如：人类、载具、动物)系追踪。物件种类化模块216可操作以种类化于各框的一物件而作为有关类别的一者或作为“未知”。物件种类化模块216可操作以运用物件类别信息与其它信息以产生追踪物件为匹配于一目前框的物件的一顺序。举例而言，追踪物件的“重要性”是可对应于追踪物件为分类作为除了“未知”以外者的框数目。因此，对应于移动的树叶、水、相机噪声、与类似者的具有噪声的观测可能具有低的重要性，因为具有噪声的观测可能通常分类为“未知”。物件种类化模块216可能企图最后匹配具有噪声的观测，其可降低错误匹配一“未知”观测至一有关物件(诸如：人类或载具)的机率。物件种类化模块216是当大量的物件为捕捉于一目前框且充分资源为可能不可利用以追踪所有的物件而可为有用。于该种情形，追踪物件的“重要性”可运用以确定用于追踪的一顺序，其中，最重要的物件首先追踪。

图12是一种方法1200的混合方块图与流程图，方法1200运用类别信息与涉及于该方法的模块以追踪物件。物件侦测于一目前讯框，且物件分类模块210分类该目前讯框的物件而作为物件类别(例如：人类、载具)之一的一成员或作为“未知”。代表分类物件1202的数据是供应至运动模型化模块902。代表一列表的追踪物件的数据亦供应自物件种类化模块216至运动模型化模块902。追踪物件是其已经观测于最近的讯框的物件。物件种类化模块216是识别各个追踪物件的“重要性”，基于暂时物件分类模块208为于其指出该追踪物件被分类作为有关类别的一成员的讯框数目。举例而言，使用者可指定的是：人类及/或载具系有关的类别。因此，一追踪物件为于其由物件分类模块210所分类作为人类或载具的讯框愈多，追踪物件的“重要性”愈大。物件种类化模块216可根据重要性而排序该列表的追踪物件。自物件种类化模块216所供应至运动模型化模块902的数据指出该些追踪物件的各者的重要性，且亦包括针对于该些追踪物件的各者的运动信息(例如：位置、轨迹、速度)。

运动模型化模块902接收其代表该列表的追踪物件的数据与其代表分类物件1202的数据。运动模型化模块902开始自该列表的最重要的追踪物件(例如：一第一个追踪物件)且基于对应于第一个追踪物件的其可能性以评等该些分类物件1202。可能匹配的签章组合于第一个追踪物件的签章，且组合的签章传送至匹配分类器218以确定一分类物件1202是否为匹配第一个追踪物件。若一分类物件1202为匹配第一个追踪物件，第一个追踪物件的运动信息(例如：位置、轨迹、速度)与外观信息(例如：累积签章)系更新(步骤1204)。此外，当一分类物件1202为匹配第一个追踪物件，该分类物件的类别传送至暂时物件分类模块208，使得第一个追踪物件的“重要性”可为更新。若无任何分类物件1202为匹配第一个追踪物件，信息产生以指出一不匹配。指出一不匹配的信息可传送至暂时物件分类模块208且第一个追踪物件的“重要性”可为更新。

若一追踪物件是未匹配于一预定时间量(例如：该物件可能已经离开场景)，该列表的追踪物件可由移除该追踪物件而更新(步骤1206)。当一追踪物件为移除自该列表，物件的信息(例如：识别编号、签章、类别)可传送至元数据数据库112以供储存。此外，若一分类物件1202是未匹配该些追踪物件的任一者，分类物件1202可添加至该列表的追踪物件(步骤1206)。

相机系统100亦可操作以实行相机间的追踪、或于多个影像捕捉装置102之间的追踪。图13A与13B分别为由一发送相机与一接收相机所运用的相机间的追踪方法1300与1301的混合方块图与流程图。一第一影像捕捉装置102(例如：发送相机)侦测于其视野的一物件，且追踪该物件于若干个讯框。追踪物件1302可令其签章为路由至其它的影像捕捉装置102(例如：接收相机)(步骤1304)。其为路由的签章可为追踪物件1302的一平均签章。该签章可传送至相机系统100的所有的影像捕捉装置102、或是根据一路由表1306而传送至某些影像捕捉装置102。路由表1306可包括其对应于一物件为已经出现或是在该物件出现于发送相机视野之后或当时的某时间期间内而将出现于接收相机视野的机率的信息。路由信息是产生于当发送相机为传送签章至接收相机、及当接收相机回报其为指示匹配及/或不匹配的匹配通知信息1308至发送相机的时间期间。举例而言，位在远离发送相机的一接收相机可能很少(难得)报告一匹配，因为由发送相机所追踪的一物件可能于一预定时间期间内而未为由接收相机所捕捉(例如：物件无法移动足够快速于发送相机的视野与接收相机的视野之间)。因此，机率信息可为运用以选择性传送签章至某些相机，以未使其它相机为负担匹配任务，当该些其它相机为于一预定时间期间内而捕捉物件的机率低。

匹配通知信息1308是由其运用匹配通知信息1308以更新该些路由表的机率的一匹配通知响应器1310所接收。举例而言，若一接收相机报告一匹配，匹配通知回应器1310可提高于对应于该接收相机的路由表的机率。匹配通知信息1308亦可包括其对应于由一接收相机所匹配的物件的签章信息。匹配通知响应器是当一接收相机为侦测一匹配而可更新该物件的签章，且储存所更新的签章于元数据数据库112。识别其匹配物件的接收相机的信息亦可储存于元数据数据库112。

如于图13B所示，自该发送相机所传送至一第二影像捕捉装置102(例如：接收相机)的一物件签章储存于接收相机的一匹配数据库1312。匹配数据库1312可为该储存系统110的部分。物件的签章组合于其为由接收相机所追踪的物件之一或多个现用签章。所追踪的物件的现用签章可为平均签章且可为储存于接收相机的元数据数据库112。组合的签章传送至接收相机的匹配分类器218，且匹配分类器218企图以匹配该些签章于一预定数目的讯框(步骤1314)。若匹配分类器218确定该传送签章为于预定数目的讯框而未匹配现用签章之一者，传送签章移除自该匹配数据库1312(步骤1316)。接收相机的路由表更新(例如：对应于发送相机的一匹配的机率系减小)，且接收相机对发送相机通知该不匹配(步骤1318)。若匹配分类器218确定该传送签章为匹配现用签章之一者，对应的现用签章可为更新(例如：该传送签章与现用签章为平均)且为储存于接收相机的元数据数据库112，且/或该传送签章可储存于接收相机的元数据数据库112而作为针对于该物件的一新的签章(步骤1320)。接收相机的路由表接着为更新(例如：对应于发送相机的一匹配的机率系增大)，且接收相机对发送相机通知该匹配(步骤1318)。

相机间的追踪可运用于自动相机校准。举例而言，若于多个影像捕捉装置102各者的视野的一物件的位置已知，且若该物件的近似尺寸已知，则于影像捕捉装置102之间的距离与其相对方位可计算。在校准以后，由多个影像捕捉装置102所同时追踪的一物件的位置可确定于三维(3-D，three-dimensional)“世界”坐标。因此，系统可不仅是于二维影像平面而是亦为于3-D以分析物件的运动。

由实施该物件追踪模块206与匹配分类器218，物件追踪可显著改良为优于公知的追踪系统。甚者，由物件追踪模块206所产生的数据可供应至物件侦测模块204与物件分类模块210以改良物件侦测与物件分类。此外，物件可实时为准确追踪。

索引

物件的签章是作用为针对于物件为捕捉于其中的影像或视讯剪辑的索引元素。当物件选择时，索引元素可致能该些物件的视讯剪辑的撷取。签章可储存于元数据数据库112。签章相较于其关联于物件的影像或视讯剪辑而为小型。甚者，签章可致能基于物件的搜寻。一旦一签章针对于一物件而产生，追踪与搜寻方法可能无关于该物件的视讯影像。因此，视讯信息无须为解压缩以实行搜寻，且搜寻方法可能对于解压缩的人工因素及/或不良的视讯质量为有弹性。

各个物件可具有关联于其的超过一个签章。举例而言，一物件可具有多个单框签章与其包含该些单框签章的累积及平均签章。一物件的平均签章可为有用以作用为针对于该物件的一索引元素。

然而，计算于一物件为追踪于其的整个期间的单一个平均签章可能为不适用以致能基于物件的搜寻，因为一物件的外观可能为多重模态或可能随时间而变化(例如：物件的一前视图对一侧视图、照明变化、物件的不同部分的视图)。因此，物件索引模块212可操作以确定何时产生针对于一物件的一新平均签章。甚者，物件索引模块212可操作以请求匹配分类器218以确定一物件的外观是否已经改变足够，使一新平均签章应为针对于该物件而产生。

图14是方块图，显示该匹配分类器218可为如何运用于索引。当一物件的一新的单框签章1402产生自一物件的一新实例且该新实例是由匹配分类器218所匹配于一追踪物件，追踪物件的累积签章1404是关于单框签章1402而更新。在累积签章1404更新之后，累积签章1404组合于追踪物件的平均签章1406。组合签章1408供应至匹配分类器218。若匹配分类器218确定该累积签章1404与平均签章1406为匹配，平均签章是关于单框签章1402而更新(方块1410)。若匹配分类器218确定该累积签章1404与平均签章1406为不匹配，一新的平均签章是运用单框签章1402而产生(方块1412)。新的平均签章可储存于元数据数据库112而作为针对于物件的一第二索引元素。若该追踪物件具有多个平均签章，累积签章1404可相较于该多个平均签章的各者，且一新的平均签章是当累积签章1404为不匹配该多个平均签章的任一者而可产生。如上所述，运用以追踪物件的相同匹配分类器218可运用以侦测于一物件的外观的显著的变化，且因此一新的索引元素可由运用该匹配分类器218而产生。

搜寻

储存于元数据数据库112的签章或索引元素可利于针对于一特定物件以快速搜寻物件的一大数据库，因为自视讯影像的实际的像素信息无须为重新处理。物件搜寻模块214可运用其用于追踪及索引的相同匹配分类器218以搜寻一特定物件。匹配分类器218连同物件的签章以致能于历史的视讯与实时的视讯馈入的基于物件的搜寻。

图15是一种搜寻方法1500的绘图，仅为举例而言，搜寻方法1500可由相机系统100所实行；方法1500可操作于任何适合的相机系统。影像捕捉装置102之一者捕捉一参考物件的一影像，且该参考物件的影像是提出于使用者接口104的显示器114。举例而言，参考物件可由提出其环绕该参考物件的影像的外框而针对于使用者为强调。使用者可运用输入装置116以选择该参考物件。举例而言，输入装置116可包括一鼠标，且使用者可运用鼠标以点选于参考物件的影像的一指针。因此，参考物件的影像可视为一超标记(hyper-tag)(有些类似于一HTML页面的一超级链接)。当使用者选择参考物件，选择映像至其捕捉参考物件影像的影像捕捉装置102的物件追踪模块206所产生的参考物件的识别编号(步骤1502)。参考物件的识别编号由物件搜寻模块214所运用以自元数据数据库112而撷取参考物件的签章(步骤1504)。撷取的签章可为参考物件的平均签章，且若参考物件具有多个平均签章，该多个平均签章可为撷取。

除了平均签章之外，参考物件的一或多个快速签章可撷取自元数据数据库112。一快速签章可为其计算自一平均签章的一简单的外观描述符。快速签章可由降低于一直方图的分格的数目以抛弃于平均签章所含有的一些特征、或是由计算于该些特征的统计量(例如：最大或熵统计量)而计算。快速签章可运用以快速降低储存的签章的搜寻空间，由移除其最可能为不匹配第一物件的候选物件。除了快速签章之外，其它的准则可为由物件搜寻模块214所用以快速删除明显的不匹配。举例而言，物件搜寻模块214可运用参考物件的类别以排除候选物件。甚者，物件搜寻模块214可为基于时间以排除候选物件(例如：排除其为在一预定时间框之前所侦测的候选物件)及/或基于关联于参考物件之一或多个规则违反以排除候选物件(例如：排除其未触发类似规则违反的候选物件)。

第一个物件的快速签章通过相机网络108而传送至其它的影像捕捉装置102。其它影像捕捉装置102的元数据数据库112搜寻其匹配参考物件的快速签章的候选物件的快速签章。其它影像捕捉装置102的物件搜寻模块214比较参考物件的快速签章与候选物件的快速签章，由计算于该些签章之间的一距离度量。该距离度量可接着相较于一预定临限。该临限可设定以使伪负率(例如：抛弃匹配的比率)为低，而伪正率(例如：接受不匹配的比率)可能为高。若物件搜寻模块214确定该些候选物件之一或多个快速签章为匹配参考物件的快速签章，物件搜寻模块214撷取该些对应的候选物件的平均签章。

候选物件的平均签章传送至其捕捉参考物件的影像的影像捕捉装置102或传送至远程储存/处理单元106(步骤1510)。影像捕捉装置102的匹配分类器218或远程储存/处理单元106的匹配分类器218运用以比较参考物件的平均签章与候选物件的平均签章(步骤1512)。匹配分类器218比较该些平均签章以抛弃不匹配及评等匹配，基于关联于该些匹配的匹配信赖度。一旦该些匹配评等，包括评等的匹配代表的一列表可提出于显示器114(步骤1514)。此外，对应于该些匹配的候选物件的视讯影像是通过相机网络108而撷取自储存系统110之一或多者、或自远程储存/处理单元106。使用者可为自该列表以选择一候选物件的一代表，且所选择的候选物件的视讯影像可提出于显示器114。

捕捉该参考物件的影像捕捉装置102的元数据数据库112亦可搜寻以识别潜在的匹配的签章，类似于上述的方法1500。举例而言，影像捕捉装置102的物件搜寻模块214可先搜寻快速签章且接着请求匹配分类器218以比较该参考物件的平均签章与潜在匹配的平均签章。甚者，虽然方法1500是包括借着位在其捕捉参考物件的影像的影像捕捉装置102或远程储存/处理单元106的匹配分类器218的匹配，关联于任何其它的影像捕捉装置102的一匹配分类器218是可运用。换言之，匹配可实行在一或多个影像捕捉装置102或在远程储存/处理单元106。

匹配分类器218与物件搜寻模块214致能其可称为“点选及搜寻(clickand search)”的一形式搜寻。一使用者可由检视自种种的影像捕捉装置102的历史视讯。若一特定物件似乎为令人关注，使用者可搜寻其看似该特定物件的所有的物件。甚者，看来相似的物件的视讯剪辑可针对于使用者而播放。搜寻可实行于相机系统100的所有影像捕捉装置102或于任何使用者指定的子集。因为视讯无须为再次处理以实行一搜寻，搜寻可快速实行。

匹配分类器218与物件搜寻模块214亦致能其可称为“点选及追踪(click and track)”的一形式的搜寻。除了实行关于历史视讯的搜寻之外，搜寻可针对于其才刚出现于一现场视讯馈入的一物件的实例而实行。很类似于相机内的追踪，使用者接口104要求(响应于一使用者选择)的是：捕捉一有关物件的影像捕捉装置102传送该物件的签章于网络108的影像捕捉装置102。若一匹配找到，使用者接口104通知且有关物件的影像系提出于显示器114。

当检视其撷取自一物件搜寻的视讯数据，使用者可验证一匹配为有效或无效。针对于其为由一使用者所验证的每个匹配，于元数据数据库112的一连结可产生，且对应的签章可更新。针对于无效的匹配，签章可指定为对于匹配的排除者，对照于该物件的签章。使用者验证数据可储存于元数据数据库且稍后撷取以重新训练匹配分类器218，而造成搜寻与相机间的追踪结果以及相机内的追踪结果的更进一步的改良。此外，使用者验证可运用以协调搜寻结果。

应用

上述系统及方法可运用以产生一些应用。此等应用的一些实例提出于以下段落。

相较于其仅当由一种规则引擎所建立的一规则为已经违反时而产生追踪信息的已知系统，相机系统100无论规则是否为违反而产生丰富的追踪元数据。此致能后置搜寻、或搜寻其在一规则为违反之前所捕捉的视讯影像。甚者，因为元数据产生为其包括物件外观特征，一物件可辨识为新产生的物件类别的一成员，即使该物件的一影像是在新物件类别的产生前而捕捉。

已知的追踪系统系具有关于丧失物件的追踪的问题。举例而言，若某人走在公园长凳的后方，该人的腿部可能为看不见。一种已知的追踪系统可能将该人视作为太矮而非为人。结果，该人可作追踪而直到该人走在公园长凳的后方。因为相机系统100可运用诸多不同的外观特征，相机系统100可避免在当物件仍为于视野内而丧失物件的追踪。甚者，相较于已知系统，匹配分类器218系可使得追踪为更可适应于环境变化，且可改良于不同相机型式(且概括为各个相机)的侦测。

因为匹配分类器218是可训练，物件的新的特征是可选择以改良侦测与追踪准确度。匹配分类器218可于前置部署训练阶段而学习其为最重要的特征，且亦可在现场学习以改良追踪准确度。

由建立于视讯串流与侦测物件之间的语意(semantic)连结，一视讯历史可针对于特定物件而产生。举例而言，由选择人类物件，使用者可自动召集视讯剪辑(clip)，其显示该人士已经为由其它相机所先前侦测之处。使用者可接着通知所考虑的人士的同伴，且可选择彼等同伴且观看其视讯历史。因为对应于物件的外观签章的元数据是于数据库为连结其对应于所侦测的位置的视讯数据，影像其本身可运用作为用于搜寻数据库的一可选择的连结。

当一物件是由一个影像捕捉装置102所捕捉，已述的系统及方法亦可运用以通知且占用所有其它的影像捕捉装置102，使得其可自动开始搜寻相同物件且若其为侦测而产生一警示。举例而言，个别人士可通过由具有相邻的重迭视野的许多台相机所监视的一赌场而注视，由仅是点选于一影像且指导系统以于所有相机而追踪影像。一旦该人士的一外观签章系侦测，系统自动指引自对应相机的现场视讯数据至一监视器，其允许保全人员于视觉追踪该人士。随着该人士移动至下个相机的视野，视讯馈送系自动切换，使得保全人员不必要来回切换于相机之间以继续追踪该人士的路径。

相机系统100可自动辨识其离开一停妥的车辆的行人，且可稍后将其相较于进入车辆的人士。若进入车辆的人非为来自其抵达于该车辆的原始的群组，保全人员可被警示。视讯剪辑随着该警示而自动送出，使得容易检视且快速确定是否有问题。保全警卫可接着为选择以告知该车主(若该车辆为由牌照号码所登记)或召唤警察。

借着追踪物件的能力，诈骗行为可由注视个别的购物者通过零售商店的路径而侦测。借着此能力，已揭示的系统可教导以证实其存在于商店的购物者为带着商品已经停留一结帐柜台且在离开商店前为已经购买该商品。该系统亦可确定于一退货柜台的顾客是否为直接来自其车辆，或其是否为先通过商店、选择自该商店的产品、且即使其已经购买该些产品而企图将其退货。退货柜台服务人员可为显示其进入商店与其通过商店的路径的顾客的一剪辑而作为证实。

当结合于物件匹配，脸部辨识与载具牌照辨识系统的性能系可改良。物件匹配系可由整体外观与移动而提供良好的追踪能力，且可追踪于任何方位的人士，而不仅是当其为对准以面对相机。

相机系统100亦可构成以自动辨识异常活动，由在数日或数周的期间而监视车辆与行人的型态。关于潜在恐怖份子活动的高风险的设施可得益自此特征。若相机系统100是反复辨识其停放一段延长的时间周期的一载具而无人在该载具，可疑活动的一警示可产生以召集保全人员以检视该视讯数据。替代而言，结合一脸部辨识系统的物件匹配可辨识其反复行走在一设施的附近的个体。该种行动可捕捉其事先察看一设施的罪犯。于另一个实例，若穿着制服的雇员定期视察特定的供膳室或存货室，举例而言，相机系统100可辨识此型态。稍后，若未穿着该种制服的某人进入此等室之一，相机系统100可响应以一自动警示。

相机系统100可运用以测量于例如一收款机有多少人正在排队且产生其对应于一规则引擎的一规则的警示。此外，相机系统100可运用以测量每个人已经排队多久，因为该系统100可追踪各个个体。若一人已经排队太久，该规则引擎的一规则可能为违反且一警示可产生以召请协助(例如：一警示以开放一新的收款机的排队)。甚者，统计数据可针对于管理者而产生，以助于测量顾客服务性能。

相机系统100可运用以助于防止在例如零售商店的儿童诱拐。相机系统100可辨识当其进入一商店的儿童与其伴随该儿童的成人。相机系统100亦可辨识该儿童在走过商店时而保持靠近的成人。若该儿童离开商店而无该成人伴随儿童，一警示可产生。相机系统100亦可识别该成人的位置，使得他/她系可被通知。

相机系统100可运用以找到在零售商店的走失的儿童。举例而言，若一家长遗失其儿童且通知一保全警卫，保全警卫系可找出该家长的一影像，点选于该影像以搜寻于其它的视讯影像且识别当该家长为带着儿童而进入商店的一影像。保全警卫可接着为点选于该儿童的一影像且搜寻其最近捕捉该儿童的一影像的影像捕捉装置102。快速找到于商店的儿童的位置。

相机系统100运用以防止其称为“甜心诈骗”的一问题，其发生在当一结帐人员为故意刷过一廉价物品的条形码而表现为好像其正在刷过一较昂贵物品的条形码。相机系统100可连接至一收款机的销售点(POS，point-of-sale)数据输出且可比较产品的外观与条形码信息。经过一段时间周期，相机系统100可自动产生针对于不同产品的外观签章于元数据数据库112。在相机系统100已经达到针对于产品辨识的某程度的准确度之后，即：相机系统100可确定其本身，则可在每当条形码信息为未匹配所扫描的影像而自动开始产生警示。

相机系统100可基于对于一关键事件为侦测于其的片段的其相似性而自动标记用于较高优先者的视讯。举例而言，若一膝上型计算机自一工作区域所偷走，相机系统100可为能够由历史视讯而自动辨识该膝上型计算机且可辨识当该膝上型计算机为遗失时的最接近于其的人士。相机系统100可接着自动指定该可疑人士的所有视讯影像为较高优先者以供保全人员的储存、保留、撷取、与检视。

结论

本文所说明和叙述的方法和系统可存在于启动和未启动的两种不同的形式中。举例而言，他们可以部份地或完全地存在，就像由原始码、物件码、可执行码、或其它格式中的程序指令所组成的一或更多的软件程序。以上任何一种可体现于计算机可读取媒体上的压缩或未压缩形式中，该计算机可读取媒体包含储存装置。示范性的计算机可读取储存装置包含公知的计算机系统随机存取内存(RAM)、只读存储器(ROM)、可抹除可程序只读存储器(EPROM)、电子可抹除可程序只读存储器(EEPROM)、闪存、以及磁性或光学磁盘、或磁带。

上文运用的术语与描述是仅为作为举例所陈述而无意为限制。举例而言，该匹配分类器218可以是远程处理单元(例如图1中的远程储存/处理单元106)、与使用者接口104相关的计算机、相机网络108中的另一节点、或另一服务器(例如在中央场所或另一网络的服务器)的其中一部份，且该分类方法可以执行在远程处理单元(例如图1中的远程储存/处理单元106)、与使用者接口104相关的计算机、相机网络108中的另一节点、或另一服务器(例如在中央场所或另一网络的服务器)的上。熟悉此技术人士将认知的是：本文所述的概念的诸多变化、增强及修改是可能而未脱离本发明的基本原理。本发明的范畴应因此为仅由申请的权利范围与其等效者所确定。

Claims (63)

1.一种相机系统，包含：

一物件侦测模块，接收由一影像捕捉装置所产生的影像数据，该影像数据代表该影像捕捉装置的视野的多个影像，该物件侦测模块可操作以侦测出现于该多个影像之一或多个的物件；

一物件追踪模块，连接至该物件侦测模块且可操作以暂时关联侦测于该多个影像的一第一群组的一第一物件的实例，第一物件具有一第一签章，其代表自第一群组的影像所导出的第一物件的特征；及

一匹配分类器，连接至该物件追踪模块以供匹配物件实例，该匹配分类器可操作以由分析自第一物件的第一签章与一第二物件的一第二签章所导出的数据而匹配物件实例，第二物件是侦测于不同于第一群组的影像的一第二影像，且第二签章代表自第二影像所导出的第二物件的特征，其中，该匹配分类器分析所述所导出的数据以确定第二签章是否为匹配第一签章。

2.根据权利要求1所述的相机系统，其中，第二物件是第一物件的一实例。

3.根据权利要求1所述的相机系统，其中，第二签章是实时产生。

4.根据权利要求1所述的相机系统，其中，该匹配分类器包括组态于一串级组态的N个决策步级，该N个决策步级可操作以确定第一物件与第二物件是否为匹配，其中，该N个决策步级的至少一个可操作以(a)接受第一物件与第二物件作为一匹配，(b)拒绝第一物件与第二物件作为一匹配，或(c)请求下一个步级以确定第二物件是否为匹配第一物件。

5.根据权利要求4所述的相机系统，其中，该N个决策步级的至少一个包括一阶段，用于映像该所导出的数据的一部分至相关于一匹配信赖的一纯量值。

6.根据权利要求5所述的相机系统，其中，第一签章是代表第一物件的外观特征且包括第一物件的一第一边缘方位直方图，而第二签章是代表第二物件的外观特征且包括第二物件的一第二边缘方位直方图。

7.根据权利要求6所述的相机系统，其中，第一与第二边缘方位直方图是运用一可操纵的滤波器所产生。

8.根据权利要求6所述的相机系统，其中，第一与第二边缘方位直方图组合以产生该所导出的数据的部分。

9.根据权利要求8所述的相机系统，其中，第一与第二边缘方位直方图是由序连所组合。

10.根据权利要求6所述的相机系统，其中，第一签章包括一第一群组的多个边缘方位直方图，其对应于第一物件的一第一组的不同空间区域，且第二签章包括一第二群组的多个边缘方位直方图，其对应于第二物件的一第二组的不同空间区域，第二组的不同空间区域对应于第一组的不同空间区域。

11.根据权利要求6所述的相机系统，其中，第一签章包括第一物件的一第一色调直方图与一第一强度直方图，且第二签章包括第二物件的一第二色调直方图与一第二强度直方图。

12.根据权利要求6所述的相机系统，其中，第一签章包括一第一群组的多个色调直方图，其对应于第一物件的一第一组的不同空间区域，且第二签章包括一第二群组的多个色调直方图，其对应于第二物件的一第二组的不同空间区域，第二组的不同空间区域对应于第一组的不同空间区域。

13.根据权利要求6所述的相机系统，其中，第一签章包括一第一群组的多个强度直方图，其对应于第一物件的一第一组的不同空间区域，且第二签章包括一第二群组的多个强度直方图，其对应于第二物件的一第二组的不同空间区域，第二组的不同空间区域对应于第一组的不同空间区域。

14.根据权利要求1所述的相机系统，其中，该匹配分类器包括组态于一串级组态的N个决策步级，该N个决策步级的各个包括用于映像该所导出的数据的部分至纯量值之一或多个阶段，其中，该些阶段的一第一个包括用于确定一第一纯量值的一第一判别函数，该些阶段的一第二个包括用于确定一第二纯量值的一第二判别函数，且第一与第二判别函数从由不同型式的复数个判别函数所组成的一群组中选择而出。

15.根据权利要求1所述的相机系统，其中，第一签章是自第一群组的影像所导出的第一物件的累积签章，且第二签章是自第二影像所导出的第二物件的单框签章。

16.根据权利要求15所述的相机系统，其中，第一物件的累积签章是自第一群组的影像所导出的第一物件的单框签章的一加权平均。

17.根据权利要求1所述的相机系统，其中，该物件追踪模块包括一运动模型化模块，其为可操作以估计于该视野的依序影像之间的物件位置变化，其中，该运动模型化模块可操作以运用为连同该匹配分类器以确定第二物件是否为第一物件的一实例。

18.根据权利要求1所述的相机系统，进一步包含彼此为连接于一网络的多个影像捕捉装置，该多个影像捕捉装置包括第一和第二影像捕捉装置，第一群组的影像是由第一影像捕捉装置所捕捉，且第二影像是由第二影像捕捉装置所捕捉。

19.根据权利要求18所述的相机系统，其中，第一影像捕捉装置包括一外壳，该匹配分类器容纳于该外壳内，且第二影像捕捉装置可操作以传送第二物件的第二签章至第一影像捕捉装置的该匹配分类器。

20.根据权利要求19所述的相机系统，其中，该匹配分类器可操作以确定自第二影像捕捉装置所传送的第二签章与第一物件的第一签章为匹配，且第一影像捕捉装置是可操作以通知第二影像捕捉装置该匹配。

21.根据权利要求18所述的相机系统，其中，该匹配分类器远离第一与第二影像捕捉装置的一处理器的部分，且第一与第二影像捕捉装置可操作以分别传送第一与第二签章至该处理器。

22.根据权利要求21所述的相机系统，其中，该处理器可操作以传送一通知至第一与第二影像捕捉装置的一个或二个，以表示第一与第二签章为匹配。

23.根据权利要求1所述的相机系统，其中，第二物件侦测于第二影像的多个物件之一，且第一物件为由该物件追踪模块所追踪的多个追踪物件之一，该相机系统包含：

一物件分类模块，该物件分类模块可操作以分类物件作为一物件类别的成员或非成员；及

一物件种类化模块，连接至该匹配分类器与该物件分类模块，该物件种类化模块可操作以确定该匹配分类器为企图以匹配该些追踪的物件与侦测于第二影像的多个物件的一顺序，该顺序是基于由该物件分类模块所确定的该些追踪的物件的分类。

24.根据权利要求1所述的相机系统，其中，第一签章是一累积签章，其代表自第一群组的影像所导出的第一物件的单框签章的一加权平均，第二签章代表自第二影像所导出的第二物件的一单框签章，且该匹配分类器是确定第二物件为第一物件的一实例。

25.根据权利要求24所述的相机系统，包含：

一数据库，用于储存侦测的物件的平均签章，该些平均签章是该些侦测的物件的索引元素；及

一物件索引模块，连接至该匹配分类器与该数据库，该物件索引模块可操作以产生第一物件的一第一平均签章，第一平均签章是代表第一物件的单框签章的一平均，其中，该物件索引模块可操作以供应第一平均签章至该数据库以供储存。

26.根据权利要求25所述的相机系统，其中，该自第一物件的第一签章与第二物件的第二签章所导出的数据是一第一组的数据，该物件索引模块可操作以请求该匹配分类器以确定第二物件的第二签章是否为作用至第一平均签章，且该匹配分类器可操作以分析其代表第一签章与第一平均签章的一第二组的数据，以确定第一签章与第一平均签章是否为匹配。

27.根据权利要求26所述的相机系统，其中，当该匹配分类器是确定第一签章为匹配第一平均签章，该物件索引模块可操作以借着自第二签章的作用而更新第一平均签章。

28.根据权利要求26所述的相机系统，其中，当该匹配分类器是确定第一签章为未匹配第一平均签章，该物件索引模块是可操作以产生针对于第一物件的一第二平均签章，第二平均签章包括自第二签章的作用，且该物件索引模块可操作以供应第一与第二平均签章至该数据库以供储存。

29.根据权利要求28所述的相机系统，其中，第一平均签章是代表第一物件的一第一视图，且第二平均签章是代表第一物件的一第二视图。

30.根据权利要求1所述的相机系统，包含：

一数据库，用于储存侦测的物件的签章，该数据库提供一索引至该些侦测的物件的影像；

一使用者接口，包括用于提出该视野的多个影像至一使用者的一显示器，该使用者接口包括一输入装置，其致能于该多个影像之一或多个所出现的一物件的使用者选择，其中，其包括第一物件的一代表的第一群组的一影像提出于该显示器，且第一物件由该使用者所选择；及

一搜寻模块，连接至该使用者接口、该数据库、及该匹配分类器，该搜寻模块可操作以搜寻储存于该数据库的签章以识别第一物件是否出现于该些侦测的物件的一第二群组的影像，该搜寻模块可操作以请求该匹配分类器以确定第一物件的第一签章是否为匹配其储存于该数据库的签章之一或多个。

31.根据权利要求30所述的相机系统，其中，该匹配分类器是可操作以产生于第一签章与储存于该数据库的签章之间所作成的匹配的信赖度，且该搜寻模块是可操作以产生根据信赖度所组织的一匹配表。

32.根据权利要求30所述的相机系统，其中，储存于该数据库的签章包括该些侦测的物件的平均签章，其代表自该些侦测的物件为出现于其的第二群组的影像所导出的单框签章的平均，且储存于该数据库的签章包括该些侦测的物件的快速签章，其代表该些平均签章的简化。

33.根据权利要求32所述的相机系统，其中，第一物件包括代表第一签章的一简化者的一快速签章，且该搜寻模块可操作以比较第一物件的快速签章与储存于该数据库的快速签章以识别未对应于第一物件的该些侦测的物件的一群组。

34.根据权利要求33所述的相机系统，其中，该自第一物件的第一签章与第二物件的第二签章所导出的数据是一第一组的数据，且该匹配分类器可操作以分析一第二组的数据，其代表第一物件的第一签章与非为该未对应于第一物件的群组的成员的该些侦测的物件的平均签章。

35.根据权利要求30的相机系统，其中，当该匹配分类器确定第一签章为匹配该些侦测的物件的一第一个的一签章时，该搜寻模块可操作以撷取代表该些侦测的物件的该第一个的一影像的影像数据以供传送至该使用者接口。

36.根据权利要求30所述的相机系统，进一步包含彼此为连接于一网络的多个影像捕捉装置，且该多个影像捕捉装置包括第一和第二影像捕捉装置。

37.根据权利要求36所述的相机系统，其中，第一群组的影像是由第一影像捕捉装置所捕捉，且第二群组的影像是由第二影像捕捉装置所捕捉。

38.根据权利要求37所述的相机系统，其中，第二影像捕捉装置包括一外壳，该匹配分类器容纳于该外壳内。

39.根据权利要求37所述的相机系统，其中，该匹配分类器远离第一与第二影像捕捉装置的一处理器的部分。

40.根据权利要求1所述的相机系统，其中，该匹配分类器操作以匹配物件实例的方式已确定为至少部份藉由利用一组可能的物件特征来自动配置该匹配分类器的训练方法。

41.一种追踪物件的方法，该物件是由一相机系统所捕捉，该方法包含：

接收代表该相机系统的一视野的第一与第二影像的影像数据；

侦测捕捉于第一影像的一第一物件与捕捉于第二影像的一第二物件；

产生第一物件的一第一签章与第二物件的一第二签章，第一签章代表第一物件的一第一组的特征，且第二签章代表第二物件的一第二组的特征；

产生自第一与第二签章所导出的数据，该所导出的数据对应于自第一组所选择的一第一子集的特征及自第二组所选择的一第二子集的特征；及

分析该所导出的数据以确定第二物件是否为第一物件的一实例。

42.根据权利要求41所述的方法，其中，包含：确定第二物件为第一物件的一实例。

43.根据权利要求41所述的方法，进一步包含实时产生第二签章。

44.根据权利要求41所述的方法，进一步包含组合第一与第二签章的部分以产生该所导出的数据。

45.根据权利要求44所述的方法，其中，该所导出的数据是由一匹配分类器所分析，且该匹配分类器包括组态于一串级组态的N个决策步级，该N个决策步级的各个包括用于分析该所导出的数据的部分的一或多个阶段。

46.根据权利要求45所述的方法，其中，第一子集的特征包括第一物件的一第一边缘方位直方图的外观特征，且第二子集的特征包括第二物件的一第二边缘方位直方图的外观特征。

47.根据权利要求46所述的方法，进一步包含映射自第一与第二边缘方位直方图所导出的数据的一部分至其代表一相似性的度量的一纯量值。

48.根据权利要求41所述的方法，其中，第一签章是一累积签章，其代表自第一物件的多个影像所导出的单框签章的一加权平均，该方法包含：

当第二物件是第一物件的一实例时，更新第一物件的第一签章，其中，第二签章借着该累积签章所加权及平均。

49.根据权利要求41所述的方法，其中，该相机系统包括彼此为连接于一网络的第一与第二影像捕捉装置，第一与第二影像捕捉装置分别具有一第一视野与一第二视野，且该相机系统的视野是对应于组合的第一视野与第二视野，进一步包含：

利用第二影像捕捉装置捕捉第一物件的第一影像；及利用第一影像捕捉装置捕捉第二物件的第二影像。

50.根据权利要求49所述的方法，其中，第二影像捕捉装置包括用于分析该所导出的数据的一匹配分类器，该种方法包含：

自第一影像捕捉装置而传送第二签章至第二影像捕捉装置。

51.根据权利要求49所述的方法，其中，远离第一与第二影像捕捉装置的一处理器包括用于分析该所导出的数据的一匹配分类器，该方法包含：

分别自第一与第二影像捕捉装置而传送第一与第二签章至该处理器。

52.根据权利要求41所述的方法，其中，一训练方法是自动确定被选择以纳入于第一与第二子集的第一与第二组的特征。

53.根据权利要求41所述的方法，进一步包含搜寻一组物件的签章，以识别第二物件是否出现于该组物件的影像中。

54.根据权利要求53所述的方法，其中，该搜寻步骤包含：

显示第二物件的第二影像于一显示器；

接受表示第二物件的一选择的使用者输入；

对于关于第二签章是否为匹配该组物件的一或多个签章作出确定；及送出表示该第二签章和该组物件的匹配签章之间为匹配的通知。

55.一种搜寻数据的方法，以识别由一相机系统所捕捉的一物件的影像，该方法包含：

接收代表该相机系统的一视野的一影像的一第一物件的影像数据，第一物件具有代表第一物件的特征的一第一签章；

显示第一物件的一影像于一显示器；

接受表示第一物件的一选择的使用者输入；

对于关于第一签章是否为匹配对应于该视野的影像所捕捉的一组的物件的一群组的一或多个签章作出确定；及

送出表示该第一签章和该组的一第二物件的一第二签章为匹配的通知。

56.根据权利要求55所述的方法，其中，该通知包括：显示第二物件的一影像于该显示器。

57.根据权利要求55所述的方法，其中，该相机系统包括第一与第二影像捕捉装置，其为于一网络而连接至彼此及该显示器，第一与第二影像捕捉装置分别具有一第一视野与一第二视野，且该相机系统的视野是对应于组合的第一视野与第二视野，进一步包含：

利用第一影像捕捉装置捕捉第一物件的影像；及

利用第二影像捕捉装置捕捉第二物件的影像。

58.根据权利要求55所述的方法，其中，第一物件包括其代表第一签章的一简化者的一快速签章，且该组的物件包括其代表该群组的签章的简化者的快速签章，该种方法包含：

在对于关于该群组的签章是否为匹配第一签章作出确定之前，比较第一物件的快速签章与该组的物件的快速签章。

59.根据权利要求55所述的方法，其中，包含：自一数据库撷取该群组的签章。

60.根据权利要求55所述的方法，进一步包含当(a)该第二签章为匹配该第一签章，且(b)一选定的规则违例与该第二物件关连时，送出通知。

61.根据权利要求55所述的方法，其中，一规则违例与该组物件的每一个关连。

62.一种相机系统，包含：

一物件侦测模块，可操作以接收由一影像捕捉装置所产生的影像数据，该影像数据代表该影像捕捉装置的视野的多个影像，且该物件侦测模块可操作以侦测出现于该多个影像之一或多个的物件；

一使用者接口，包括一显示器与一输入装置，该显示器是用于显示由该物件侦测模块所侦测的物件，该输入装置可操作以响应于使用者命令而选择由该物件侦测模块所侦测的物件；

一匹配分类器，可操作以匹配由该物件侦测模块所侦测的物件；

一物件追踪模块，连接至该匹配分类器与该物件侦测模块，该物件追踪模块可操作以暂时关联由该物件侦测模块所侦测的物件的实例，其中，该物件追踪模块可操作以请求该匹配分类器以确定是否关联物件的实例；及

一搜寻模块，连接至该匹配分类器与该使用者接口，该搜寻模块可操作以撷取由该输入装置所选择的物件的储存影像，该搜寻模块可操作以请求该匹配分类器以找出一选择物件的一储存影像。

63.根据权利要求62所述的相机系统，其中，包含：一物件索引模块，连接至该匹配分类器与该物件侦测模块，该物件索引模块可操作以产生针对于由该物件侦测模块所侦测的物件的一或多个索引元素，该物件索引模块可操作以请求该匹配分类器以确定是否产生针对于一侦测的物件的一新索引元素。

Images