CN103119608A - 根据事务日志的活动确定 - Google Patents

Abstract

通过视频分析的应用从视频流确定人类行为警报，该视频分析把视频流解析为多个片段，其中每个片段与事件数据日志中的多个在时间上不同的事务中的至少一个在时间上相关；或者它们如果与在时间上不同的事务中的至少一个不在时间上相关则分别与一伪事务标志关联，并且图像分析指示期望与不同的事务中的至少一个的时间相关。从片段提取视觉图像特征，并且对提取的特征执行一SVM分类以相对于阈值边界把片段归类为界内值或界外值。针对与关联的伪事务标志关联的界内值片段，发出关注事件警报。

Description

根据事务日志的活动确定

背景技术

本发明涉及人类活动的分析，并且在一个方面涉及准确地确定和辨别在视频中表示的行为。在各种环境下，可能希望针对某些活动的发生或遗漏来监视人类活动，以例如符合活动过程和政策。违反规定会导致由于未遵守安全规章或由于物理障碍引起的伤害、商业和零售设施中的失窃以及其它损失或损失风险。通过利用视频系统捕获和记录行为偏差用于随后或同期的分析，可识别程序中的漏洞以进行补救，例如，通过再培训。然而，用人审查和分析视频馈送是耗时的，并且在人力资源分配上可能效率低下，因此期望实现视频分析的自动系统。用于确定人的活动和行为的视频自动分析提出了许多挑战，包括在确定关注的人的活动的出现时提供期望的精度水平，关注的人的活动必须被识别并且有时候与其它活动要相区分，其中，假警报和遗漏事件识别必须以可接受的水平发生。

发明内容

一种用于从视频流确定人类行为警报的方法的一个实施例包括：经由可编程装置把视频流解析为多个片段，每个片段在时间上与事件数据日志中的多个在时间上不同的事务中的至少一个相关；或者这些片段如果不在时间上与在时间上不同的事务中的至少一个相关，则均与伪事务标志关联，并且图像分析指示期望与不同的事务中的至少一个的时间相关。从片段提取视觉图像特征，并且对提取的特征执行一SVM分类（one-SVM classification），以相对于阈值边界把这些片段归类为界内值（inlier）或界外值（outlier）。针对与关联的伪事务标志关联的界内值片段，发出关注事件警报。在另一实施例中，一种从视频流确定人类行为警报的计算机系统包括：处理单元；计算机可读存储器；计算机可读存储系统；和程序指令，存储在计算机可读存储系统上以经由计算机可读存储器由处理单元执行从而：把视频流解析为多个片段，每个片段在时间上与事件数据日志中的多个在时间上不同的事务中的至少一个相关；或者如果不在时间上与在时间上不同的事务中的至少一个相关，则每个片段与一伪事务标志关联，并且图像分析指示期望与不同的事务中的至少一个的时间相关。该程序指令还从这些片段提取视觉图像特征，并且对提取的片段特征执行一SVM分类，以相对于阈值边界把片段归类为界内值或界外值。该程序指令还针对与关联的伪事务标志关联的界内值片段，发出关注事件警报。

在另一实施例中，一种用于从视频流确定人类行为警报的计算机程序产品包括：计算机可读存储介质；和程序指令，存储在计算机可读存储介质中用以：把视频流解析为多个片段，每个片段在时间上与事件数据日志中的多个在时间上不同的事务中的至少一个相关；或者如果不在时间上与在时间上不同的事务中的至少一个相关，则每个片段与一伪事务标志关联，并且图像分析指示期望与不同的事务中的至少一个的时间相关。该程序指令还从所述片段提取视觉图像特征，并且对提取的片段特征执行一SVM分类，以相对于阈值边界把片段归类为界内值或界外值。该程序指令还针对与关联的伪事务标志关联的界内值片段，发出关注事件警报。

附图说明

通过下面结合附图进行的本发明的各方面的详细描述，将会更容易地理解本发明的这些和其它特征，其中：

图1示出根据本发明的用于人类行为的无人监督确定的方法或系统的实施例。

图2示出根据本发明的用于自动识别的可能人类移动的上位观点状态图。

图3是根据本发明的根据视频图像或部分与事务日志中的事务的时间关系来分割视频流的图形表示。

图4是针对图3的片段根据本发明对提取的特征执行的一SVM分类的结果的表示。

图5是根据本发明的示例性事件的运动序列的图形表示。

图6是根据本发明的运动峰值的图形表示。

图7是本发明的实施例的计算机化实现方式。

附图未必按照比例绘制。附图仅是示意性表示，而非意图描述本发明的具体参数。附图旨在仅描述本发明的典型实施例，因此，不应被视为限制本发明的范围。在附图中，相似的标号代表相似的元件。

具体实施方式

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

下面将参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品（manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

历史上，通常通过直接的人的监视迫使人的活动符合政策、规章等。例如，安保人员可观看瞄准特定区域的摄像机以发现对安全政策的违反、非法侵入、偷窃、对限制区域的未授权访问等。然而，人的视觉注意可能效率低，尤其是对于大量的视频数据。由于很多因素，例示地包括感兴趣的活动的频率低、任务十分乏味、在具有视觉混乱和其它分心事物的环境下进行目标追踪的可靠性差，所以人的视频监视既昂贵又低效。

自动视频监视系统和方法是公知的，其中，计算机或其它可编程装置直接分析视频数据并尝试确定关注活动的出现。然而，由于混乱、差的或可变的光线以及对象分辨率和分散注意力的竞争视觉信息，现有技术的自动视频监视系统和方法系统的对象跟踪在现实的真实环境和应用中通常不可靠。对视频内的人的活动的分析通常被限制为捕捉和识别一组特定的主导活动，每个主导活动需要有人监督的学习和因此大量的标记数据，其中，无法添加或定义新的约束来改进或加强完整的视觉依从确定。

现在参照图1，示出根据本发明的用于根据视频流进行人类行为警报的无人监督确定的方法或系统的实施例。在102，根据与事件数据日志中的在时间上不同的事件或事务的相关性，根据本发明的可编程装置把视频流解析为多个个体视频片段。所述解析包括产生这样的视频片段，所述视频片段(i)在时间上与一个或多个事务相关，或者(ii)在视频片段并不在时间上与任何事务相关的情况下与伪事务标志关联，并且所述片段的图像分析指示期望与至少一个事务的时间相关。视频片段可以是视频流的连续部分，或者它们可以是个体帧图像基元的集合。还将会理解，事件或事务可设想各种记录的数据事件，例如条形码扫描、十字转门进入、与中转点相关地检测的车辆、自动门锁的证章划扫等，并且本发明不受本文描述的实施例的限制。

在104，从视频片段提取视觉图像特征，并且在106，对提取的特征执行一SVM(支持向量机)分类，以相对于阈值边界把片段归类为界内值或界外值。在108，根据通过一SVM分类确定的片段的界内值或界外值状态并且还根据伪事件关联，来分析分类的片段，以便从关注事件的发生的确定来辨别可能的假警报，更具体地讲，以便针对与关联的伪事务关联的界内值发出关注事件警报。因此，在110，针对在经过以上步骤而被确定为指示发生关注事件的片段，发出警告，有效地区分可能真实的事件与可能的假警报。

在110，从警报中忽略与伪事务标志关联的界外值，但这种关联可指示可与由其它界外值捕捉的活动区分的活动。因此，在一些实施例中，在110的警报产生也可包括标注与伪事务标志关联的界外值，以便用于随后的询问（例如当在110处发警报的每个界内值/伪标志关联事件的分析之后可高效地分配资源时的辅助可选审核过程）中的关注事件的进一步分析。

实现本发明的一个示例性实施例以通过零售视频流的自动分析来检测“甜心”事件，该“甜心”事件区别于也可能触发关注警报的其它事件。例如，图2是零售环境（例如，扫描通道）中的收银员的多个可能的移动和动作162相对于可能的移动向量152、154的上位观点状态图。（应理解的是，这里使用的“收银员”是普通术语，它表示扫描物品的人，并且实施例设想扫描的人可以是文员或收银员以及顾客、装袋工、经理或其它人。）在简单的扫描运动路径向量152中，物品从拾取区域156被拾取，通过使物品在扫描器的扫描范围内穿过扫描区域160对该物品进行扫描，然后该物品在装袋或放下区域164被放下。拾取区域156的示例包括取入皮带、柜台、购物篮和小推车，放下区域164可为分配皮带、柜台、购物篮或购物车中的一个或多个，它们中的每一种可要求不同的运动。向量154均表示相对于收银员的其它动作162并在视频馈送中可观察的观察到的运动，例示性地包括卸载物品、拿起和扫描积分卡、主管/助理越权卡（SA）、礼券或其它条形码卡。

大部分的零售缩水可归因于雇员并发生在销售点(POS)的收银员周围。甜心或“假扫描”描述了收银员的如下动作，即，收银员故意不扫描或者以其它方式使物品不进入零售交易，以向表示购买这些物品的顾客提供免费的商品，通常通过覆盖物品条形码，将物品堆叠在另一物品上以阻碍扫描器读取代码，或在扫描动作期间使物品绕过扫描区域以针对免费物品的条形码故意避开扫描区域中的条形码读取器，将物品从输入（拾取）位置通过处理（扫描）区域移动到输出（放下或装袋）区域。

自动化系统必须考虑图像的许多变化和偏差以充分地区分甜心与其它(也许，正当的、合法的)扫描活动，以避免发出太多假警告或者遗漏太多假扫描。一些现有技术方法通过“有人监督”学习模型分类系统和方法实现这一点，所述“有人监督”学习模型分类系统和方法通过分析已知的每次发生的图像属性来区分假扫描与其它扫描，由此通过比较学习模型与视频流图像来学习辨别分类的事件的发生以选择满足模型的参数的图像。然而，这种方案受到它们从人类扫描运动创建用于指示警报的属性的准确且有效的模型的能力的限制，并且它们必须高效地比较视频流图像与模型并由此识别关注的事件。由于缺少某些关注事件的已知基础事实，准确性可能降低，并且在无法预先知道欺骗活动的情况下，必须进行假设。另外，由于缺少由视频流捕捉的图像的在视觉上有区别性的差异，通过与学习模型的比较，可能无法确定在视觉上不可感知的欺骗活动。

相比之下，本发明的实施例在102(图1)根据关联的记录的事务把视频流分割成片段或图像基元，并分析片段相对于其它片段的相似度和偏差；不执行与基础事实或学习模型的比较或者不需要该比较。图3提供根据本发明的根据视频流的图像或部分210(在图3中标记为210a、210b、210c)与事务日志中的并在时间线208上按照时间顺序发生的多个事务212(在图3中标记为212a、212b、212c、212d)的时间关系来分割视频流的图形表示。在图2的零售环境中，事务212是由寄存器记录的条形码扫描，但其它实施例可使用其它事务，并且说明性的而非穷举的例子包括十字转门进入、与中转点相关地检测的车辆、自动门锁的证章或卡划扫、售票亭等。因此，虽然参照条形码扫描描述本实施例，但本领域技术人员将会理解，根据本发明，任何一系列的关联的、离散的时间顺序事务可用于创建视频片段。

在本实施例中，片段210被定义为跨越三次连续条形码扫描212，其中每次条形码扫描212预期发生在随后的条形码扫描212的指定持续时间阈值或约束216内；例如，片段210a跨越从时间上的第一扫描212a到接下来的第二扫描212b并在最后的第三扫描212c结束的视频流部分。选择指定的阈值216以代表典型的正常收银员事务中的物品扫描事件之间的预期最大延迟；说明性的而非穷举的例子包括两秒和五秒，并且根据各实现方式的要求，可实施其它指定的阈值216。片段210可包括包含多个图像的连续视频片段，或者在替代实施例中，它们可包括按照与任何片段210的时间关系从视频流中选择的一个或多个个体图像基元210；例如，从片段曲线210a选择的、被指示为与例如在曲线210a的最高点211处的图像的扫描的条形码扫描三元组中的第二条形码扫描212b最为相关或最为时间相关的至少一个基元。

如果相邻条形码扫描212之间的间隙比指定的阈值216长(例如，在212c和212d之间沿着时间轴208的时间间隙218)，则本发明的实施例执行在它们之间限定的视频片段210b的自动分析，以寻找某些运动或水平或与预期的遗漏的扫描相关的运动或其它活动，并且如果该分析发现预期的指定的视觉活动存在于片段/基元210b中(例如，某些运动、一般活动或某些运动的水平等)，则伪扫描214a被包括或以其它方式与片段/基元210b关联。伪扫描可在跨越长间隙片段的初始扫描或最后扫描的指定阈值内被关联(例如，伪扫描214a在最后扫描212d的指定阈值216内被关联)；或者它可按照替代的方式布置，例如布置在它们中间，或者相对于在曲线210c的最高点213的伪扫描214b布置，并且根据本发明可实施其它位置或关联。

本发明的一些实施例通过考虑为了片段/基元210的创建和分析而定义的不同的关注区域(ROI)来分析长间隙片段。可对于每一帧在每个ROI中对通过对视频流进行帧差分(或微分)获得的运动像素进行计数，并且通过ROI的面积使其规范化。再次参照图2，在适于在“进/出”扫描过程中确定甜心的实施例中，定义了拾取区域156、扫描区域160和放下区域164，以根据在所述区域内的运动序列中观察到的模式来创建各个拾取、扫描和放下基元，通常是响应于与在每个区域内物品和/或收银员的手（或双手）运动关联的运动像素。每个区域156/160/164可自身定义ROI，且将视频流进行帧差分获得的运动像素在每帧的每个ROI中被计数并按各个ROI 156/160/164的面积进行归一化。或者，任何区域156/160/164可包含多个不同的（且有时重叠的）ROI，以提供另外的粒度或基元创建能力。

辨别在与条形码扫描相关的ROI内得到的运动序列中观察的运动图案并适合于利用本发明实施的一个例子由Quanfu Fan等人的“Detecting Sweethearting in Retail Surveillance Videos”（ICCASSP,2009）给出教导，其中图5提供了拾取事件、扫描事件和放下事件的每个的运动序列的示例性图示。每个拾取和放下事件可由一对波峰182及位于它们之间的波谷180识别，描述了在事件过程中收银员的手和特定区域之间的交互导致的运动变化。波谷180对应于当手就要到达物品（拾取）或取回物品（放下）时短暂停的时刻，两个相关的波峰182的位置粗略地对应于事件的起始和结束事件。

尽管由基元事件指示的模式可在视觉上可识别，但在现有技术方案中难以将它们以有意义的方式在运动序列中进行分割。拾取、扫描和放下顺序地发生，因此，时间次序意味着在扫描186前面应该存在一次拾取184，在扫描186后面跟着放下188，这提供了识别基元或片段类型以及应用合适的运动阈值设置的引导。例如，参照图6，每个扫描轮廓192中的运动波峰190可被定位并用作分隔物，以将拾取事件和放下事件分开（目前通过重叠扫描轮廓192和拾取运动轮廓194示出）

再次参照图1，在视频被如此分割并且伪扫描214被适当地关联的情况下，在104提取片段/基元210的特征。在一些实施例中，特征提取包括时空关注点(STIP)，时空关注点（STIP）是从具有大的强度变化和大的时间变化的局部图像点计算的时空特征，并大致对应于存在诸如停止或开始的急剧运动变化的时刻；例如，参见I.Laptev和T.Lindeberg的“Space-time interest points”（ICCV2003，第432-439页）。因此，在当手就要到达（拾取）或放下物品的时刻，在收银员的手附近可检测到若干STIP，并且STIP检测器可针对所述事件的大小和持续时间自动选择空间和时间的标度，其中，对每个STIP形成时空体积，并且时空体积进一步被划分成立方体的栅格。在一些实施例中，方向梯度（HoG）和光流（HoF）的直方图可被计算、归一化并串连到每个立方体的局部描述符。。

在一些实施例中，创建特征包（BOF）模型来表示其中特定区域中的时空特征基于它们的相似性被聚类到离散的“可视词语”组中的事件，并且词语出现频率的直方图被建立以形成该事件的简洁表示，直方图表示用于分类的方法。“Learning realistic human actions frommovies”（Marszalek等人，CVPR08，2008）教导了BOF建模的示例，并且其它示例对本领域技术人员来说将是清楚的。

例如，根据代表视频剪辑的灰度值的函数，其它实施例可采用平方加权梯度范函数的局部最大点作为视频中的关注点。因此，本发明的实施例可使用例如根据下面的函数[1]的检测器，该检测器采用平方加权梯度范函数的局部最大点作为视频片段中的关注点：

$g(x,y,z)={\left(\frac{\∂I}{\∂x}\right)}^2+{\left(\frac{\∂I}{\∂y}\right)}^2+\mathrm{\α}{\left(\frac{\∂I}{\∂t}\right)}^2;---\left[1\right]$

其中I(x,y,t)代表视频剪辑的灰度值，α大于1以强调时间显著点更加可能与关注事件相关的事实。在整个视频剪辑上具有低于阈值P^th百分位数的相对较小的g函数值的点(x,y,t)也被排除，以便实现真正的时空显著点。因此，相对于关注点(即，在关注点附近以及在关注点)从视频片段210可提取两种特征：在关注点附近的小窗口中的平均颜色值，即[R,G,B]；和图像梯度向量，即公式[1]的项[dI/dx,dI/dy]。所述特征一起可构成包含在视频中的每个检测的关注点的外观和纹理信息的描述向量或颜色特征。因此，在一个实施例中，每个事件基元P可根据公式[2]被当作特征包(BOF)：

$P=\{p_i{\}}_{i=1}^{N_P}---[2]$

其中p_i是颜色特征向量。

图4提供针对图3的片段210根据本发明对提取的特征执行的一SVM分类的结果的表示。更具体地讲，由视频流(即，在这个例子中，收银员的视频流)捕捉的正常人类活动通常是主要的并且在视觉上相似。根据片段210的视觉特性，针对每个片段210的分类，本发明的实施例应用一SVM技术学习特征空间中的阈值分类或边界230内的界内值的优势类232和234以代表正常人类活动(即，在本例子中，在POS扫描器的正常收银员活动)。边界230是用户指定的阈值，超过该阈值，片段210被确定为例如相异的界外值244、246、254或256，它们不与类似的界内值250、252、240或242共享可能100点的相似度中的至少80%、90%或95%或某一其它阈值百分比，并且可实施其它边界阈值。本领域技术人员还将会理解，边界230可被启发式地确定。一SVM技术如此学习特征空间中的一个或多个优势类以代表在POS的正常收银员活动，并提供一种用于检测与在POS的其它扫描区分的收银员欺骗的视频分析方案，在一方面不管该欺骗是如何进行的。

一SVM技术对于本领域技术人员而言是已知的，并且适于与本发明一起实施的例子由“Estimating the Support of a High-DimensionalDistribution,”（Bernhard 

等人,Neural Computation 13,pages1443–1471(2001)）；S.Andrews,T.Hofmann,and I.Tsochantaridis;“Multiple instance learning with generalized supportvector machines,”（Artificial Intelligence pages 943–944,2002）；以及“SVM Clustering”（Stephen Winters-Hilt and Sam Merat,BMCBioinformatics2007,8(Suppl.7):S18）给出教导。因此，在一个实施例中，使用“SVM Clustering”参考教导，通过以下方式可在特征空间中实现聚集：基于片段210对象与阈值230内的界内值250、252、240或242的已知相似度把它们进行分组，并且它们可在不同的类232和234内被进一步聚类；或者分组为超出阈值230的界外值244、246、254或256。例如，令{x_i}是输入空间{R^d}中的N个点的数据集。类似于非线性SVM公式，非线性变换

可用于把变换x到高维空间(Kernel空间)以通过公式[3]寻找半径{R}的最小包围类232/234或总体阈值230：

对于所有j=1,...,N[3];

其中{a}是类232/234或总体阈值230的中心。通过根据公式[4]加入松弛变量{ζ_j}可包括软约束：

或者所有j=1,...,N;满足ζ_j≥0[4];

拉格朗日量可如此形成为公式[5]：

L=R²-∑_jβ_j(R²+ζ_j-||φ(χ_j)-a||²)-∑_jζ_jμ_j+C∑_jζ_j;满足β_j≥0,μ_j≥0[5];

其中C是界外值的成本，因此，{C∑_jζ_j}用作惩罚项。获得L w.r.t.R、a和ζ的导数并把它们设置为零，提供下面的公式[6]：

∑_jβ_j=1,

a=∑_jβ_jφ(χ_j),and        [6]

β_j=C-μ_j;

把以上公式[6]代回到拉格朗日量[5]中，可提供下面的对偶形式[7]：

W=1-∑_i,jβ_iβ_jK_ij其中0≤β_i≤C;K_ij=exp(-||x_i–x_j||²/2б²)满足∑_iβ_i=1;[7]

然后，通过Karush-Kuhn-Tucker(KKT)关系，可提供下面的公式[8]：

ζ_jμ_j=0;andβ_j(R²+ζ_j-||φ(χ_j)-a||²)=0.[8]

在特征空间中，仅当ζ_j>0时，β_j=C；因此，它位于类232/234或总体阈值230的外面，即

这个点变为有界支持向量或BSV。类似地，如果ζ_j=0并且0<β_j<C，则它位于类232/234或总体阈值230的表面上，即

这个点变为支持向量或SV，如果ζ_j=0并且β_j=0，则

因此，这个点被包含在类232/234或总体阈值230内。

再次参照图4，在本例子中，边界230内的界内值根据本发明按照一SVM被分类为由三角形250、252、254或256表示的第一类型的扫描事件；或者被分类为由星形240、242、244或246表示的第二类型的扫描事件。例如，三角形类型可以是单手物品扫描，而星形类型可以是针对大的或重的物品的双手物品扫描；或者三角形类型可以是左手物品扫描，并且星形类型是右手物品扫描。其它例子对于本领域技术人员而言将会是清楚的，并且其它实施例也可仅实现一种类型的事件类型分类或实现超过两种类型的事件类型分类。

片段210的在视觉上不可感知的欺骗事件就其本性而言将会在视觉上与通过一SVM分析提供的各个类232和234内的其它正常行为(界内值)250、252、240或242一致，因此，边界在如何进一步区分假警报与从特征提取和/或一SVM分类确定的可能警报方面提供有用的判定点。因此，根据本发明，通过进一步检查与学习的类232和234中的每个实例关联的条形码信息，能够检测/区分假/欺骗事件252和242。在本例子中，如果关联的条形码是伪扫描码214而非来自事务日志的扫描码212，则聚集的界内值被识别为欺骗事务252或242；因为它与各个类232或234内的其它界内值在视觉上非常相似，所以它本应与实际的、合法的记录的扫描212关联，但是由于它不与扫描212关联，所以可推断，故意避开了一次扫描。

相比之下，可感知的欺骗事件在视觉上与正常收银员活动相异，因此，将会被分类为界外值254、256、244或246。界外值包括与记录的事务关联的事件246和256以及与关联的伪事务标志关联的事件254和244。因为伪标志事件244/254不是界内值，所以通常从假扫描事件警报中忽略它们。然而，它们与伪标志的关联可指示：它们既在视觉上不同于界内值，又与其它界外值相比需要更长的时间帧来完成。在一些实施例实现方式中，把大的不可扫描物品放在一旁并通过键盘键入物品代码可导致超过指定的阈值216的记录的条形码之间的间隙，但实际上未发生“甜心”或其它假扫描，因此，界外值伪标志事件244/254可被识别为可区别于与记录的事务关联的其它界外值事件246和256的合法扫描事件，并且其中任一事件可在随后的二次处理中被进一步检查和分析，本发明因此能够实现另外的分析效率。

因此，本发明的实施例提供通过无人监督分类来识别在视觉上不可感知的欺骗界内值，这能够实现由于缺少所述不可感知的欺骗的欺骗性收银员活动模型的基础事实而通过有人监督的现有技术系统无法实现的欺骗检测。可从视频流识别并分割相关的图像或视频部分，而无需有人监督的学习、标记数据、复杂建模、人类行为推断方案，或者无需知道或确定欺骗性收银员活动的基础事实或者欺骗活动的在前知识。不需要欺骗活动的在前知识，并且仅需要关于区分指定的阈值216的假设。在106把记录的事务(例如，条形码)信息包括在分类中直接能够实现根据本发明的欺骗检测，而非仅仅检验通过其它系统确定的欺骗。

现在参照图7，本发明的实施例的示例性计算机化实施方式包括与装置336（例如摄像机或视频服务器）通信的计算机或其它可编程装置304，装置304例如通过计算机网络基础设施308响应于存储器316或存储系统332中驻留的文件中的计算机可读代码202，根据本发明分析视频数据用于确定人的行为。除此之外，该实施方式意图展示本发明可以在网络环境（例如，互联网、广域网（WAN）、局域网（LAN）或虚拟专用网络（VPN）等）内实现。整个网络308中的通信可经由各种类型的通信链路的任何组合发生；例如，通信链路可包括可利用有线和/或无线传输方法的任意组合的可寻址连接。

在经互联网发生通信的情况下，可通过传统的基于TCP/IP套接字的协议提供连接，可使用互联网服务提供商来建立到互联网的连接。再者，网络基础设施308意图展示服务提供商可部署、管理、服务于本发明实施例的应用，所述服务提供商对他人提供实现、部署和/或执行本发明的功能。

计算机304包括各种组件，所述各种组件中的一些组件示出在计算机304内。更具体地讲，如所示，计算机304包括与一个或多个外部I/O装置/资源328通信的处理单元（CPU）312和存储系统332。通常，处理单元312可执行存储在存储器316和/或存储系统332中的计算机程序代码，诸如执行图1中示出的处理步骤中的一个或多个的代码。

网络基础设施308仅例示了实现本发明的不同类型的计算机基础设施。例如，在一个实施例中，计算机基础设施308包括经网络通信的两个或更多个计算装置（例如，服务器集群）。而且，计算机304仅为可包括大量硬件组合的各种可能的计算机系统的代表。为此，在其它实施例中，计算机304可包括包含硬件和/或用于执行特定功能的计算机程序代码的任何专用计算制品、包含专用和通用硬件/软件的组合的任何计算制品等。在每种情况下，可使用标准的编程和工程技术来分别创建程序代码和硬件。

而且，处理单元312可包括单个的处理单元，或者被分布在一个或多个位置（例如，客户机和服务器上）的一个或多个处理单元上。类似地，存储器316和/或存储系统332可包括位于一个或多个物理位置处的各种类型的数据存储和/或传输介质的任意组合。此外，I/O接口320/340可包括与一个或多个外部服务器和/或客户机（未示出）交换信息的任意系统。此外，应该理解的是，未示出的一个或多个另外的组件（例如，系统软件、数学协处理单元等）可包括在计算机304或服务器或客户机中。

一个实施例基于订阅、广告和/或费用执行本发明的处理步骤。即，服务提供商可提供对用于确定人的行为的视频数据提供自动分析。在这种情况下，服务提供商可对计算机基础设施（例如，为一个或多个客户执行本发明的处理步骤的网络计算机基础设施308）进行创建、维护和支持等。作为回报，服务提供商可在订阅和/或费用协议下从客户接收支付，和/或服务提供商可从对一个或多个第三方广告内容的销售中接收支付。

在另一实施例中，本发明提供了执行如上所述的自动分析视频数据以确定人的行为的过程、系统和制品中的一个或多个的计算机实现的方法。在这种情况下，可提供诸如计算机基础设施308的计算机基础设施，并可获得（例如，创建、购买、使用、修改等）用于执行本发明的处理步骤的一个或多个系统并将其部署到计算机基础设施。为此，系统的部署可包括一个或多个以下步骤：（1）将程序代码从计算机可读介质安装在诸如计算机/装置304/336的计算装置上；（2）将一个或多个计算装置添加到计算机基础设施；和（3）并入和/或修改计算机基础设施的一个或多个现有系统以使计算机基础设施能够执行本发明的处理步骤。

这里使用的术语仅出于描述具体实施例的目的，而不是要限制本发明。如这里所使用的，单数形式也意图包括复数形式，除非上下文明确表明不是这样。还将理解的是，当在本说明书中使用术语“包括”和/或“包含”时，说明存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、组件和/或它们的组合。如这里所使用的，将理解的是，术语“程序代码”和“计算机程序代码”是同义的并且意味着任何的表达方式，任何语言的意图使具有信息处理能力的计算装置执行具体功能的一组指令的代码或符号，所述特定功能被直接执行或在下面两个步骤中的一个或两个之后执行：（a）转换成另一语言、代码或符号；和/或（b）以不同的材料形式再现。为此，程序代码可实施为应用/软件程序、组件软件/功能库、操作系统、特定计算和/或I/O装置的基本I/O系统/驱动程序等中的一个或多个。

在本说明书中描述的（包括在权利要求中以及如附图中所示的）特定示例和元件可通过独特的形容词区分或以其他方式识别（例如，多个元件中的“第一”元件与另一“第二”或“第三”元件相区分，“主要”与“次要”相区分、一个或“另一个”项目等）。这种识别形容词通常用于减少混淆或不确定性，并不应该被解释为将权利要求限制为任何具体示出的元件或实施例或者暗示任何权利要求要素、限制或处理步骤的任何优先级、顺序或排位。

下面的权利要求中的对应的结构、材料、动作和所有装置或步骤加功能要素的等同物意图包括与如具体要求保护的其它权利要求要素组合地执行功能的任意结构、材料或动作。本发明的描述是出于示出和描述的目的，而不是穷举的或者把本发明限制为公开的形式。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。实施例的选择和描述旨在最好地解释本发明的原理和实际应用，使本技术领域的其它普通技术人员能理解本发明的带有适合所设想的具体用途的各种修改的各种实施例。

Claims (11)

1.一种用于从视频流确定人类行为警报的方法，该方法包括：

经由可编程装置把视频流解析(102)为多个片段(210a，210b，210c)，每个片段与事件数据日志中的多个在时间上不同的事务(212a，212b，212c，212d)中的至少一个在时间上相关，或者如果与在时间上不同的事务中的至少一个不在时间上相关则与伪事务标志关联，并且所述不在时间上相关的片段的图像分析指示期望与不同的事务中的至少一个事务的时间相关；

从所述片段提取(104)视觉图像特征；

对提取的片段特征执行(106)一SVM(支持向量机)分类以相对于阈值边界把片段归类为界内值或界外值；以及

针对与关联的伪事务标志关联的每个界内值片段，发出(110)关注事件警报。

2.如权利要求1所述的方法，其中所述人类行为是扫描通道视频流内的甜心；

其中可编程装置把扫描通道视频流分割为片段；并且

其中发出关注事件警报包括把与关联的伪事务标志关联的每个界内值片段识别为假扫描。

3.如权利要求1所述的方法，其中把视频流解析为多个片段包括：

把每个片段定义为跨越三个连续的在时间上不同的事务，每个事务位于所述在时间上不同的事务中的下一个事务的指定时间阈值内。

4.如权利要求3所述的方法，其中从两秒到五秒的范围选择所述指定时间阈值。

5.如权利要求3所述的方法，其中经由可编程装置把视频流解析为多个片段，每个片段如果与在时间上不同的事务中的所述至少一个事务不在时间上相关则与所述伪事务标志关联，并且所述不在时间上相关的片段的图像分析指示期望与不同的事务中的至少一个事务的时间相关，该步骤包括：

识别发生在连续的在时间上不同的事务中的第一事务和第二事务之间的一个片段，其中第一事务和第二事务之间的时间间隙比所指定的阈值长；

执行发生在第一事务和第二事务之间的所述一个片段的自动分析以确定预期的指定的视觉活动的存在；以及

如果通过执行的自动分析确定了预期的指定的视觉活动，则把发生在第一事务和第二事务之间的所述一个片段与伪事务关联。

6.如权利要求5所述的方法，其中执行发生在第一事务和第二事务之间的所述一个片段的自动分析以确定预期的指定的视觉活动的存在包括：

采用平方加权梯度范函数的局部最大点作为所述一个片段中的关注点；

提取与所述关注点相关的平均颜色值和图像梯度向量；以及

从提取的平均颜色值和提取的图像梯度向量构成颜色特征向量。

7.如权利要求6所述的方法，其中对提取的片段特征执行一SVM分类以相对于阈值边界把片段归类为界内值或界外值包括：

学习特征空间中的阈值边界内的界内值的优势类以代表正常人类活动；并且

其中阈值边界是一阈值，超过该阈值，片段就被确定为在视觉上与界外值相异。

8.如权利要求7所述的方法，其中对提取的片段特征执行一SVM分类以相对于阈值边界把片段归类为界内值或界外值包括：

定义输入空间半径内的点的数据集；以及

把该数据集变换到高维空间，以根据松弛变量软约束寻找包含优势类或阈值边界的最小半径。

9.如权利要求7所述的方法，其中针对与关联的伪事务标志关联的每个界内值片段发出关注事件警报还包括：

区分与伪事务标志关联的界外值和与事件数据日志中的所述多个在时间上不同的事务中的至少一个在时间上相关的界外值。

10.一种包括适于执行如任何前面方法权利要求所述的方法的所有步骤的装置的系统。

11.一种计算机程序，包括用于当在计算机系统上执行所述计算机程序时执行如任何前面方法权利要求所述的方法的所有步骤的指令。

Images