CN101268478B - 采用视频分析检测可疑活动的方法及装置 - Google Patents

Abstract

系统通过获得与交易区相关联的视频数据并分析该视频数据，来检测交易结果，以获得涉及与交易区相关联的交易的至少一个视频交易参数。交易区在视频数据中可被指明为由应用于视频数据的自动物品检测算法检测到的物品的视频计数。系统获得涉及发生在交易区内的预期交易的至少一个预期交易参数，诸如在销售点终端被扫描的物品的扫描计数。系统自动将视频交易参数与预期交易参数相比较，以识别指明零售店中出现的诸如舞弊的欺诈活动的交易结果。

Description

采用视频分析检测可疑活动的方法及装置

背景技术

零售店一般使用销售点终端或其它交易终端，通常称为收银机，以允许店内顾客购买物品。例如，在常见的百货公司、超级市场或其它零售店中，顾客在整个店内收集要买的物品，并将它们放置在购物车、购物篮中或只是把它们带到销售点终端，从而在交易中购买那些物品。销售点终端可配有诸如收银员之类被商店雇用以帮助顾客完成交易的操作员。在某些情形，零售店实行销售点终端自助结账，顾客就是操作员。在这两种情形中，操作员一般将欲购买的物品放置在柜台、传送带或其它物品输入区上。销售点终端包括诸如激光扫描器或光学扫描器的扫描器，操作其以识别顾客欲购买的各物品所附的通用产品代码(UPC)标签或条形码。激光扫描器通常是与作为销售点终端组成部分的计算机相连接的外围设备。为了扫描物品，操作员从物品输入区依次捡起各物品，使物品通过扫描区，诸如嵌入于柜台或结账区内的玻璃窗，从而令激光扫描器检测UPC码。一旦销售点终端识别了物品上的UPC码，计算机就在数据库中执行查寻以确定被扫描物品的价格和标识。或者，在操作员可扫描物品的所有情形中，操作员同样可将UPC或产品识别码手动或通过诸如无线射频识别(RFID)阅读器的自动产品识别设备输入到终端。术语“扫描”通常被定义为包括将交易物品输入到交易终端的所有方法。同样地，术语“扫描器”通常被定义为任何自动的和/或手动的，用于记录交易信息的交易终端。 

当操作员依次扫描或输入欲购买的各物品时，销售点终端保留交易中所有物品的累计总购买价格。对于操作员成功扫描或输入的各物品，销售点终端一般会发出嘀嘀的响声或音调，从而向操作员指明物品已经被销售点终端扫描，并且相应地，操作员将物品放置于物品输出区，诸如下游传送带或让顾客取回物品或将物品装入购物袋的其它区。一旦交易中的所有物品照这样被扫描，操作员指示销售点终端扫描过程被完成，并且销售点终端将总购买价格显示给顾客，顾客则为该交易中购买的物品付款给商店。 

发明内容

用于物品购买的现有系统采用扫描器或其它通过代码进行自动物品识别的装置，其存在许多不足之处。特别地，这些系统的操作可受到操作员以有意或无意的方式让顾客无需付款而得到一个或多个物品的危及。特别地，这些系统容许“直通”，也称为“舞弊”，在其中当该物品移动通过交易区时，操作 员有意或偶然没能扫描物品。在这些情形，POS系统根本不检测未扫描的物品，因而该物品也根本不计入买价。在这些情形，顾客实际上是免费得到物品。零售连锁店每年由于此类操作员差错或欺诈活动损失数百万美元。 

在非欺诈的例子中，操作员在交易中可无意地传送物品通过扫描区并将物品放置在诸如下游传送带的物品输出区中，而没有进行物品扫描。也许操作员没有注意和留意(或不介意)在物品扫描时扫描器没有发出嘀嘀声。 

在代表零售店中欺诈活动的舞弊的例子中，操作员可帮助与其有私交的顾客(例如朋友或操作员的同谋)故意使POS系统不扫描物品，当操作员移动物品通过交易区时，诸如用他们的手遮盖UPC标签或将UPC码移动到扫描器范围以外。在这些情形，物品被包括在其它也许已经被扫描或未被扫描的物品中，并且顾客或操作员继续向前就像没有任何不当的事发生。在操作员处理完所有交易中的物品后，或者通过真实的扫描，其通常扫描较便宜的物品来使交易在可能正在观察的人看起来合法；或者通过舞弊，此情形下未扫描的物品和看起来已经被扫描的物品放在一起，顾客支付给操作员的买价仅反映所有被扫描和被输入的物品的总金额。付款后，顾客从商店拿走所有被扫描的/被输入的和未被扫描的物品，而仅为那些被扫描或被输入的物品付款。 

在另一类被称为标签调换的欺诈例中，操作员使POS系统在交易时扫描与被传送通过扫描区的物品不同的物品。在这些情形，顾客或操作员可用另一较便宜物品的UPC标签替代原来的并通常较贵的物品的标签。在这种情形中，进行了扫描但被POS系统识别的是错误的物品。这样，系统会以大大低于顾客所得物品价值的价格扫描该物品。 

安全系统设计者已试图对现有技术进行改进，来检测使用POS系统时发生的欺诈或偶然的操作员差错。检测直通和舞弊领域的现有系统提供对反常的长“扫描间隔”的检测。“扫描间隔”是销售点终端连续扫描之间的时间量。当物品被传送通过而没有发生扫描，扫描间隔增加直到下一次扫描。对于通过将交易中被扫描物品之间的扫描间隔和假定操作员的平均扫描间隔相比较，现有的扫描间隔法试图识别物品绕过扫描器没有被扫描的事件。 

现有的扫描间隔检测法普遍被认为是不实用的，因为扫描间隔已被发现至多是“嘈杂的”测量。这是由于完全合法的扫描间隔可由于延迟而发生极大的变化，这些延迟诸如是由产品称重、手动输入没有标签或无法被扫描的物品以及重新扫描首次通过时未被扫描的物品而引起的。所以扫描间隔不是可靠的方法，因此现有系统试图采用扫描间隔作为检测欺诈活动的方法，存在许多问题。 

相反，本发明揭示的系统采用视频数据分析技术，以下将阐明其如何应用于检测诸如舞弊或直通的活动。特别地，本发明揭示的系统检测在收银机、POS或其它交易终端处的、当诸如顾客或店员的操作员在扫描器(或RFID阅读器) 周围传送一个或多个物品而没有将其扫描，或当操作员把物品的错误代码扫描或手动输入到交易终端中时而造成的偷窃活动或库存遗失。本发明揭示的系统也可检测物品被误贴不正确的条形码标签而被扫描器误读或被操作员当作错误的物品输入。一些实施例采用视频分析与由POS终端实际扫描的物品的交易扫描数据相结合。 

应理解采用扫描的销售点终端或收银机仅是交易终端的一些例子，并且系统不限于仅在零售店检测欺诈活动。此外，扫描不限于固定扫描器的激光扫描，也可包括手持式扫描器或无线射频识别(RFID)阅读器。系统也可应用于操作员通过键盘手动输入代码或其它物品识别码到交易终端的情形。本文揭示的系统一般可应用于能获取交易数据用于与该交易相关联的视频数据作比较的任何环境。 

例如，采用RFID标签识别物品的系统可从本文揭示的系统中获益。例如，收费站系统提供行驶通过收费站的车辆的视频数据，并且提供诸如人的操作员或诸如RFID车辆收发读取系统的自动扫描器，从而向公路上行驶的车辆收取通行费。欺诈活动会出现在此类系统中，例如，若车辆配有不恰当的收发器(例如卡车配有汽车收发器)。终端操作员也可指店员或顾客，正如在诸如自助结账交易终端的情形。 

更特定地，本文揭示的系统包括用于检测交易结果的方法和装置，诸如与顾客在交易终端进行物品交易(例如购买、退款、作废等)相关联的可疑活动。系统获得与交易区相关联的视频数据。视频数据可，例如，从聚焦于超市或其它零售店内的结账收银机或其它交易区的高位摄像机处获得。系统应用作为系统的一部分进行揭示的自动机器视频分析算法，来分析至少一部分视频数据，从而获得涉及与交易区相关联的至少一部分交易的至少一个视频参数。例如，系统可分析视频数据以跟踪(例如识别其存在)交易区内的交易涉及的物品。此过程可从视频数据分析来自动识别交易中涉及的物品的存在。这可通过例如自动检测交易区内的物品活动和/或交易区内的操作员活动实现。物品的存在的检测可包括检测从交易区的感兴趣区域移出物品和/或检测物品引入到交易区的感兴趣区域内。 

在一个设置中，视频交易参数被简化为视频计数，即视频分析算法识别为已被操作员在交易中处理的物品数目。例如，当操作员移动物品通过交易区时，物品即被处理，不管物品是否被扫描或输入。因而视频计数可对既被处理又被扫描/输入的物品和被处理但未被扫描/输入的物品进行检测和计数。 

在另一个设置中，视频交易参数是一个或多个检测器对所有或部分视频数据进行分析产生的检测事件次序。检测器通常是应用于视频数据感兴趣区域的自动图像处理算法。例如，视频数据可覆盖大部分交易区，其包括操作员(例如店员和/或顾客)、物品输入区、扫描区和物品输出区。检测器可分析此区的全部或一部分，诸如只是销售点终端视频数据的输入传送带区。图像分离和比较进程可被应用于一个或多个感兴趣区域的视频数据帧，以检测被引入或移出感兴趣区域的物品的存在。当物品照这样被检测时，产生的检测事件指明物品的存在、检测时间和其它诸如物品尺寸的特性。可有不止一个感兴趣区域并且事件次序可包括来自不同检测器的许多事件，或者可为单个检测器，其只是对于一个感兴趣区域产生单组事件。通过采用此方法分析视频数据，系统能够从视频分析检测到交易中个别物品的存在。在一些设置中，系统可确定整个交易中有多少物品看起来被处理。

系统获得至少一个源于与交易区相关联的交易终端的交易参数。在一个设置中，预期交易参数为从交易终端(例如销售点终端)所产生的交易数据中获得的交易计数或其它物品的存在指明。当各物品被扫描或识别时，数据从扫描装置发送到交易终端的处理器。在此揭示的系统访问该数据(这可采用多种方法实现，以下将详述)或在逐个扫描的基础上，或作为来自数据库的数据集合，从而确定由交易处理的大量物品的存在(在某些情形还有标识)。 

采用视频分析与交易数据比较相结合，系统可确定视频数据分析中识别的物品的存在是否在交易数据中有相对应的存在，若没有，则识别可疑活动。例如，对各检测器，系统可将该检测器的该组检测事件与至少一部分交易数据相比较，从而识别出由该检测器检测到的大量物品数与这部分交易数据中所标示的大量物品数之间的至少一处明显差异。诸如交易计数(例如扫描计数)或交易物品标识的交易数据因而代表一个或大量(对整个交易)被扫描的物品的存在，而来自视频分析的检测事件数据或视频计数代表被操作员移动通过交易区的物品的存在(或数量)。在此揭示的许多其它实施例在详细说明部分进行详述。本发明的其它实施例包括任何类型的计算机设备、工作站、掌上或膝上型电脑、POS或交易终端，或其它配置了软件和/或电路系统(例如处理器)以处理在此揭示的任一或所有方法操作的系统。本系统可包括用于获得视频的摄像机，或者本系统可为独立计算机，其接收从一个或多个零售点处的一个或多个POS终端收集的视频数据和扫描数据作为输入。换句话说，被编程或配置成以在此所揭示的任何方法运行的计算机设备或处理器都被认为是本发明的实施例。系统无需包括摄像机和POS终端，而可为由接收视频和交易数据的安全服务供应商操作的远程计算机系统。 

可在收集视频和交易数据时进行实时处理，以识别或许已经发生的欺诈或可疑活动(并且可包括通知安全管理员，其可接近操作员并检查交易物品和收据以决定欺诈是否发生)，或者，处理可在收集了一个或多个交易的视频和交易数据后(即可为后处理)的某个时间进行。若为后处理，操作员的用户名可 被保持和跟踪，并且与该操作员相关联的可疑活动历史记录可被累积。在随后对该操作员的交易进行分析时(操作员用唯一的用户名登录到POS终端，因而操作员进行的所有交易可与该操作员相关联)，在此揭示的系统可考虑该操作员的历史记录以调整赋予交易结果的可疑度。因而起初的可疑结果可不标记为欺诈活动，但是如果某一时间段内(例如若干小时、天等)对于同一操作员检测到第二、第三、第四次交易结果，与那些交易相关联的视频可自动被检测并且将其传送以供用另一方式进行检验，诸如人工检验来确认欺诈活动发生。 

在一个设置中，所处理的交易数据针对一个或多个零售点的一个或多个POS终端的许多交易，并且那些按上述方法被处理的指明为欺诈或可疑活动的交易被标记，并且仅对那些交易的视频数据采用其它技术作进一步检验，诸如人工检验，从而对最初由在此所述的自动(例如非人工或基于机器的)处理方法识别为欺诈或可疑的活动进行确认。更多的变体和替代实施例将在以下详细说明书部分更充分地说明。 

本发明揭示的其它实施例包括执行以上概括和以下详述的步骤和操作的软件程序。一个这样的实施例包括计算机程序产品，其具有计算机程序逻辑编码的计算机可读介质，当在与存储器和处理器相结合的计算机设备中运行时，使处理器按程序运行如本发明所述的操作。这样的设置通常以软件、代码和/或其它数据(例如数据结构)设置或编码在计算机可读介质上，诸如光介质(例如CD-ROM)、软盘或硬盘或其它介质中，诸如在一个或多个ROM或RAM或PROM芯片内的固件或微码或专用集成电路(ASIC)。软件或固件或其它此类设置可被安装在计算机设备上以使计算机设备运行如本发明实施例所述的技术。 

应理解本发明的系统可被严格实施为软件程序、软件与硬件、或诸如处理器内或操作系统内的单独硬件。本发明实施例可在由美国马萨诸塞州伯林顿的Stoplift公司制造的计算机系统、处理器和计算机程序产品和/或软件应用内实施。 

附图说明

本发明的上述和其它目的、特性以及优点在以下更特定的本发明实施例说明中得以体现，各附图所示的相同的标号在不同的图中表示相同的部件。附图并不一定是按比例绘制的，而侧重于阐明本发明的实施例、原则和概念。 

图1阐示了网络环境的设置实例，其包括视频监视系统和配有按照在此所揭示内容而设置的交易监控器的计算机系统； 

图2为交易监控器处理在一个设置中进行交易区内的直通活动检测的操作流程图； 

图3A为交易监控器在一个设置实例中执行处理的流程图，其中误识别的物品被检测； 

图3B显示了检测感兴趣区域内活动以指明物品的存在的一种方法； 

图4显示了交易监控器在一个设置中执行的处理，其采用视频数据分析对交易中涉及的物品进行计数； 

图5显示了交易监控器执行处理的一个方法，其提供对象移出和引入事件检测； 

图6为显示处理步骤的流程图，交易监控器在一个设置中采用该步骤以提供顾客与/或店员存在检测和跟踪； 

图7为交易监控器32执行处理以提供店员/顾客对象区分的处理步骤流程图； 

图8为交易监控器可执行的、以提供由检测器在进行视频分析时使用的区域比较方法的操作处理流程图； 

图9为交易监控器可执行的、以提供关键帧区域比较的操作处理步骤流程图； 

图10为描述交易监控器处理的、以提供直通物品检测方法的处理步骤流程图； 

图11为显示实施例视频数据帧的图，并且其显示了事件检测前后的交易区的外观； 

图12为事件时间线，演示了交易经理如何确定在相同的交易物品之间的间隔内是否有看起来不止一个的物品检测。 

具体实施方式

在此揭示的系统一般对视频数据中捕获的、涉及交易的物品进行视频计数或识别，并且将此物品识别信息与从诸如销售点收银机之类的交易终端获得的交易数据相比较，从而识别可疑和可能指明欺诈活动或操作员差错的情况。通过获得来自对交易区进行监控的至少一个摄像机的视频数据，系统可自动(例如不需人工参与)分析视频数据以跟踪交易区内涉及交易的物品。利用此信息，系统可将被跟踪物品的视频分析与交易终端产生的交易数据相比较，从而识别可疑活动。 

图1为实施例环境300，其适合用于解释本发明揭示的实施例。实施例环境300描绘了顾客305可购买物品307的零售店。诸如销售点终端或收银机的交易终端34在诸如店员的操作员308的控制下，允许顾客305购买物品307。交易终端34包括扫描装置36，当物品307被带到扫描装置36附近的预定范围内时，其能够检测并扫描或读取物品标识310，诸如粘贴于各物品307的UPC 条形码符号或RFID标签。 

在环境300的一般操作中，顾客305带着要购买的一组物品307接近交易区301。物品307可被放置在例如购物车311或其它物品运送器中由顾客305运送到交易区301。或者，顾客305可将物品307一个个地带到交易区301。为了购买物品307，顾客305从购物车311(或从他们拿物品的手)中取出物品307，并且将物品放置于交易区301内的大体指定为区域302-1的物品输入区。物品输入区302-1可为传送带、柜台面或其它表面区，在由交易终端34的扫描器36检测和读取前，先把要购买的物品放置在其上。 

诸如店员的操作员308通过登录或启动交易终端34实施与交易终端34的交互操作。这个过程包括操作员308将独一的操作员用户名提供给交易终端34。在操作员308操作交易终端34期间，操作员308的身体通常保持在交易区301的操作员区域302-4内。一旦完成登录，操作员308可在物品输入区302-1内开始选取要购买的物品307，诸如用手一个个地捡起物品307。操作员308从物品输入区302-1传送各物品307到通常位于物品读取区302-2内的扫描器36。假定为适当的(例如非欺诈并且无差错)操作员操作，操作员308将物品307放置成使得附着于物品的物品标识310可被扫描装置36检测和扫描或读取。对扫描装置36检测刚被扫描的物品307的物品标识310进行响应，交易终端34将物品307登记为要购买的物品，并且通常会以诸如嘀嘀的响声或音调指明物品307已被成功识别来告知操作员308。作为对该告知的响应，操作员308将物品307移动到物品输出区302-3，其可为另一柜台台面、下游传送带或其它容纳被成功扫描或读取或输入到交易终端34中的物品307的类似装置。 

操作员308对每一物品个体307重复此过程，使得所有要购买的物品307从物品输入区302-1移动穿过或通过物品读取区302-2(在此期间发生物品扫描)并进入物品输出区302-3。在一些情形中，物品307可不包含附加的物品标识310，诸如水果、蔬菜等等。在这样的情形中，从物品输入区302-1移出物品307后，操作员308通过键盘或其它手动输入设备将物品标识手动输入到交易终端304，使得交易终端34登记物品307。这样，在所有物品307都被交易终端34识别后，操作员308可指示交易终端34交易已完成，并且交易终端34计算要购买的物品307的总价。顾客305照该数额付款给操作员308，并且从物品输出区302-3移出物品307以运送出零售店外。 

如图1所示，环境300进一步包括交易监控器32，其依据本发明实施例配置以检测和交易相关联的可疑活动。环境300也包括视频源30，诸如一个或多个获取交易区301视频的架空摄像机。通常视频源30被安装在交易区301上方足以覆盖并从各个区域302获取视频的高位。此例中的交易监控器32接收来自视频源30的视频数据320和来自交易终端34的交易数据34作为输入。 实施例环境300中所示的交易监控器32是从视频源30和交易终端34直接接收交易数据330和视频数据320，应理解交易监控器32可实时地接收这些输入，或是在操作员308完成物品处理或整个交易后的稍晚时候接收这些输入。此外，交易监控器32不是必需直接从视频源30和交易终端34直接接收交易数据330和视频数据320。在另一个设置中，可从磁带录象机(或从数字记录媒体)或从交易终端34旁的另一计算机系统保存的交易数据库接收这些输入。视频源30因而可为诸如摄像机的实时源或诸如VCR或DVR之类录像设备的迟滞源。交易终端34同样可提供直接来自POS(例如收银终端或扫描器)的实时交易数据，或者交易数据可为存储POS数据的交易日志数据库内的迟滞数据。 

操作本发明所揭示的系统时，操作交易监控器32，通过将视频数据320和相应的交易数据330相比较以识别和报告可疑活动来识别与交易区301相关联的可疑活动，诸如舞弊或直通活动。通常，这使交易监控器32必需从包括顾客305在交易时购买物品307所在交易终端34在内的交易区301收集视频数据320。诸如摄像机的视频源30优选地安装在交易区301上方的高位，从而允许从区域302上方进行视频捕获，虽然系统并不只限于此方式。 

通常交易监控器32将对高位视频数据320的至少一部分或片断实施自动(例如非人工)视频分析，以检测与交易相关联的至少一个物品307的存在。交易监控器32将与从(由本发明所述的图像处理技术自动检测的)视频数据得到的与交易相关联的物品的存在和指明由顾客在交易终端实际购买的物品的交易数据330(例如由终端34读取或扫描的物品307)相比较，来识别顾客305拥有而没有在交易终端购买的物品(例如通过交易区301而没有被交易终端34扫描或输入或读取)。经由视频数据320在与交易数据330内所识别的物品相比较时的自动处理得到一个或多个物品的存在有差异，指明本发明揭示的系统可检测到的可疑活动。可疑活动可以是缘于操作员308所代表的操作员差错，或实际的欺诈活动，其包括舞弊或直通。 

根据设置，交易监控器32可分析从交易区捕获的视频数据的全部或一部分，从而自动检测物品，该自动检测是基于，例如，通过交易区的对象活动、在交易区内的特定感兴趣区域内的对象活动、在交易区内的多个特定感兴趣区域内的对象活动、进入交易区内特定感兴趣区域的对象的活动与/或离开交易区内特定感兴趣区域的对象的活动。 

在一个设置中，对视频数据的全部或一部分进行分析，产生了一组检测事件，其指明由至少一个检测器在至少一部分视频数据的至少一个感兴趣区域302检测到一个或多个物品。依据实施例，交易监控器32可通过视频分析仪在一个感兴趣区域302内或在许多区302内进行物品检测。注意图1中交易区301被分割或列举为从302-1到302-N的若干个区。这些区或区域中的每一个可被认为是感兴趣区域302，并且视频数据320可捕获这些区中的一些、所有或仅一个区中的可指明交易中涉及的物品的活动。

交易监控器32运用检测器在感兴趣区域内进行图像处理。检测器通常是可检测该区内物品的存在的图像处理算法。例如，通过将检测器处理应用于输入物品区302中可检测物品的存在。对于各检测器(一个或多个)，交易监控器32将检测器检测到的该组检测事件与至少一部分交易数据(例如包含与视频数据相符的交易信息的部分)相比较，从而识别由检测器检测到的物品数与部分交易数据中所指明的物品数之间的至少一个明显差异。交易监控器32可基于检测器识别的明显差异确定总可疑度。 

在一些设置中，视频处理或分析包括将交易区301划分成多个区(例如302-1和302-3)，对象在至少一部分交易期间依次移动通过该多个区。当物品移动依次通过多个区时，交易监控器32可执行物品的自动视频检测，以获得由一个或多个视频参数指明的模式。所述模式因而指明在所有或部分交易期间移动通过所述区的物品的视频事件。交易监控器32可获得对应于被分析视频数据的那部分交易期间的、由交易终端34检测到的识别物品的交易数据330；并且可自动将视频参数与交易参数相比较，该比较是通过确定指明来自所有或部分交易的物品视频事件的模式是否表明与所有交易期间或与视频事件相同的那部分交易期间由交易终端检测到的识别物品的交易数据之间有差异来进行的。若差异存在，交易监控器32识别交易结果为可疑交易。 

通过分成不同的区，可采用不同的检测事件的次序来识别视频数据中的物品的存在。在这样的情形中，交易监控器32可将来自检测器的多组检测事件与交易数据同时进行比较，从而识别出交易区中处理的大量物品中的差异。例如，进行物品的自动视频检测可包括识别物品输入区302-1中的移出事件，其指明操作员308已经从物品输入区302-1移出物品307，并且也可包括在物品输出区识别引入事件，其指明操作员已经将物品放置于物品输出区。因而如果有多个视频数据区被监控，可由视频分析产生诸如移出、引入、移出、引入等一个事件次序。这个次序可与指明例如物品扫描的交易数据是时同步的，使得合法的模式呈现为移出、扫描、引入、移出、扫描、引入等等，而可疑模式也许呈现为移出、扫描、引入、移出、引入。注意到第二次扫描事件不存在，这指明可能有欺诈或其它可疑活动。通过应用自动的基于机器的视频分析技术以检测与交易区相关联的物品视频事件，并且通过将此类事件与指明和交易区相关联的物品交易事件的交易数据相比较，交易监控器32可确定视频事件是否与交易数据中的交易事件不一致，相应地，可对指明视频事件与交易事件不一致所在之处的视频数据的特定片断328进行识别。 

如图1所示，一旦可疑活动被识别，交易监控器32可对(即视频剪辑328 中)指明视频事件与交易事件不一致所在之处的视频数据的特定片断进行识别并传输给检验者，检验者通过检查该视频数据片断328来检查交易期间与物品购买有关的操作员的可疑活动。 

在一个设置中，在此揭示的系统提供对物品或物品检测事件进行实际计数的方法，并且是更有力和更准确的识别物品被传送通过交易而没有被扫描的事件的方法。系统不受扫描延迟影响，并且由于系统可确定交易部分的物品较被扫描物品多，所以系统可作为非常清晰的指示器，以表明发生了操作员的偷窃活动或差错。 

另一类差错是物品的误识别，其不依靠物品检测比较。这可能是由于条形码或其它物品标识310可被定价较低的物品条形码覆盖而形成诸如“价目单或标签调换”的欺诈，或由于操作员308故意手动输入较低价物品的代码或物品标识到交易终端34中而形成“折价”。在一个设置中，本发明揭示的系统提供隔离物品图像的方法，用于直接与通常进行交易的视频相比较。在这种设置中，交易终端32可进行图像比较以确定与检测事件(例如视频数据中指明物品的存在的事件)相关联的物品图像是否大致和之前存储的物品图像相匹配。若图像基本上不匹配，交易监控器32可识别交易为可能潜在地包括指明潜在可疑活动的标签调换事件。因为此方法允许操作员308正常处理物品307，并不需要改变常规进行交易的方法。系统也不会影响或放慢操作员执行交易的速度。这对职业操作员来说尤为重要，因为他们是依据执行速度进行考核的。因为无需让操作员改变他或她的行为习惯，系统可被安装用于检测不诚实的店员，而无需让他们知晓安装了系统。 

以下讨论在此所述各种实施例的一系列流程图。应理解提供这些实施例是为了说明某些设置的某些操作，并不打算包括本发明所揭示系统的所有变体。 

图2是交易监控器32在一个设置中进行交易区内的直通活动检测的操作流程图。在此实施例设置中，交易监控器32从对交易区301进行监控的至少一个摄像机获得视频数据。分析来自至少一部分交易的视频数据320的视频剪辑2和该交易的相应交易数据8(来自图1的交易数据330)以跟踪交易区301中涉及该交易的物品307。可以处理任何时间跨度的视频数据320和相应的交易数据330(即一部分或不止一个交易)，但为了清楚和简单起见，此例将讨论每次处理一个交易的情况。 

在一个设置中，可采用区域差分技术识别物品的存在。采用此技术，交易监控器32界定了交易区内的感兴趣区域，诸如输入物品区302-1。对于此区域的视频，交易监控器32操作检测器以自动识别视频数据的第一帧(即第一次被拍摄的)，其指明感兴趣区域302-1中的第一组物品。这可为，例如顾客305要购买的放置在该区302-1内的第一组物品307。此后，交易监控器32自动识 别指明感兴趣区域302内第二组物品的视频数据的第二帧(即第二次或迟些时候捕获的)，但是第一组物品与第二组物品有视觉差异。这可能是由于操作员308从区302-1移出了一个物品。交易监控器32可自动将第一组物品与第二组物品的视觉差异指明为有物品存在于视频数据的感兴趣区域302-1内的事件。 

在步骤10中，交易监控器32获得与交易区301的交易终端34相关联的交易数据。交易数据指明物品307是否在交易终端34处被登记为购买物品。 

在步骤14中，交易终端32将被跟踪物品的的视频分析与交易终端产生的交易数据相比较，以识别可疑活动。在一个设置中，当有事件指明物品存在于感兴趣区域302内，而该物品的交易数据丢失时，交易监控器32识别其为可疑活动。这是基于事件的比较，从而将各视频检测事件与来自交易数据的交易事件相关联。 

在图2的另一个设置中，视频剪辑2在步骤4中被分析，从而直观地检测交易中实际涉及的物品307的存在(可采用事件检测)。交易监控器32分析至少一部分视频数据，以获得涉及与交易区301相关联的至少一部分交易的至少一个视频参数。视频参数因而可为被检测到其存在的物品的视频计数。交易监控器32也获得来自与交易区相关联的交易终端34的至少一个交易参数。步骤10中的交易监控器32分析交易数据330以获得交易中涉及的物品307的记录。从这些记录可确定交易数据中反映的预期物品计数。在步骤14中，交易监控器32将实际的或视频计数6与预期的扫描或交易计数12相比较。若计数匹配，则交易监控器32标记交易为无可疑，如步骤(16)所示。若计数不匹配，则交易监控器32标记交易为可疑(例如潜在欺诈)，如步骤18所示。 

如上所述，交易监控器32在交易区内采用视频分析识别被检测的物品的视频计数，并且通过分析与至少一部分交易相关联的交易数据来识别交易区内的交易物品计数。通过将视频计数与交易计数相比较，若视频计数不同于交易计数，交易监控器32可指出指明为可疑活动的交易结果，诸如欺诈交易或操作员差错。根据设置，交易监控器32可提供额外信息，诸如基于尺度的可疑度，诸如以实际计数和预期计数之间的差为尺度。 

在某些设置中，其它信息可被用来将可疑度分级为低或高或在一定范围内。例如在零售店中，操作交易终端或收银台的各收银员通常以唯一的用户名通过他或她的收银机(例如通过键盘)登录系统以处理顾客的交易。一旦登录上，在此揭示的系统可照在此所述般执行，并且若检测到可疑交易(例如交易计数与视频计数并不匹配)，系统可查询该特定收银员过去的历史记录(基于他们唯一的用户名)，其被存储在数据库中，指明收银员执行标记为可疑交易的频繁程度。这样，若发生这种情形相当少见，则也许只是收银员的差错(例如该操作员也许偶然没有扫描一个物品)，而若该收银员的可疑交易历史记录 指明频繁发生多起可疑交易，则可在可疑度中将其标明并且可用于随后的处理(例如对操作人员标记该情形，以供进一步进行视频检查)。 

在图2的步骤20中，交易监控器32可向视频片断328分配可疑度。可疑度指明与交易数据相比，视频数据的自动视频分析产生的可疑度。交易监控器32可基于许多因素调整与交易结果相关联的可疑度。例子包括： 

·交易计数和视频计数之间差的量。例如，在20个被检测物品之外，若有10个未被操作员交易，则可疑度大大高于20个物品仅有1个未被交易。 

·操作员处理交易的历史记录表明对于该操作员，至少有一个先前的历史记录中标明的交易被识别为可疑的。此例如上所述。 

·在视频数据中检测到物品的许多感兴趣区域。例如，若未交易的物品被每一个区的每一个检测器直观地检测到，则可疑/置信度高于未交易物品仅被一个区的一个检测器检测的情形。 

·在交易区内不同感兴趣区域内的物品检测次序(例如紧接有引入事件的物品移出事件)。 

·视频数据内物品视频识别与从交易数据获得的物品交易识别相比较得到的两者之间的差异。交易标识可为例如物品价格和/或物品标识。 

·进行交易的收银机的历史记录。这可指明收银机有故障，或指明由于位置或其它因素，收银机更易于可疑活动。 

·交易中所识别的、指明交易中的物品其交易数据并不需要的其它物品的历史记录。例如，若沙拉被识别为一个物品，随后是一个未被扫描的叉子(因而最初被识别为可疑的)，则可疑度可被调低以反映叉子是免费的，无需被扫描。 

图3A是交易监控器32在一检测被误识别物品的配置实例中执行处理的流程图。在此设置中，一个交易的视频数据40和该交易相应的交易数据46被分析。可以处理任何时间跨度的视频和相应的交易数据(例如至少一部分交易或一个以上的交易)，但为了简洁明了起见，此例将讨论每次处理一个交易的情形。 

在步骤42中，实际的物品图像44被从视频数据40分离出来。图像分离的方法是作为移出/引入检测方法(如下所述)一部分而描述的。在步骤48中，将对应于交易数据中物品的预期物品图像52从物品图像50数据库中提取出来。物品图像数据库可以任何方式组建，但在零售店中一个便利的方法是利用SKU号。 

根据物品图像数据库，尽管本发明揭示的系统可依靠预先装入的图像数据 库，但在交易监控器32进行从各连续交易中分离出更多图像时，交易监控器32也可向数据库中装入图像。这样，并不需要零售商花费时间和费用提前提供数据库。而是，可通过捕获和存储足够多的同一物品的交易视频而学得该数据库。 

在步骤54中，实际的物品图像可与预期的物品图像相比较。应注意到实际的物品图像可被分离并一次一个地比较，或作为群组和它们相应的预期物品图像相比较。在交易数据仅包括物品完整列表，但没有与扫描次序或扫描时间相关联的数据的情形中，缺乏可在单个图像之间建立起事先对应的基础。因此整组实际物品的图像需要与整组预期物品的图像进行比较。然而，若可得到次序或时序交易数据，允许进行同步处理而将被扫描的物品数据与视频数据相关联(例如，扫描时戳与视频时戳基本同步)，则可建立图像间的对应。例如，第一个实际物品图像与第一个预期的物品图像相比较等等。在此情形中，可选择将各单个的实际物品图像与其对应的预期物品图像相比较。 

在步骤56中，若发现图像不匹配，则交易在步骤58中被标记为可疑的。若如上所述，将实际的物品图像与预期物品图像逐个比较，则可选择将特定物品而非整个交易标记为可疑的。 

在步骤60中，若发现图像确实是匹配的，则交易被认为是无可疑的。如果需要的话，实际物品图像或图像44可被合并到物品图像数据库(50)中。例如，可能不需要引入新的图像到专业的预装数据库中，而对于“学习型”数据库则是必要的。不管如何，在下一步骤62中，交易(或上述的单个物品)将被标记为无可疑的。 

这样，交易监控器32采用自动视频分析以产生物品的视频标识来对交易区内被检测物品进行图像辨别。这样做，通过识别交易区内被检测物品的预期物品标识，交易监视器32获得至少一个交易参数。交易监控器32则通过将物品的视频标识和物品的预期标识相比较来自动将视频参数与交易参数相比较。若视频标识不同于预期标识，则交易监控器32指示代表可疑活动的交易结果。 

如上所述，交易中涉及的物品可在特定的感兴趣区域内或在多个感兴趣区域302组合而成的区域内进行计数。感兴趣区域可包括交易物品可能在的任何区。在通常超市购物场景中，例如感兴趣区域可包括购物车302-N、顾客区302-5、传入传送带区302-1(即对象输入区域或区)、扫描区302-2以及传出传送带区302-3或打包区(即对象输出区)及操作员区302-4。 

操作员可随感兴趣区域变化而不同。例如在超市场景中，若物品在从购物车311到传入传送带区302-1的传送中被计数，则把进行传送的顾客305看作为操作员。类似地，若收银操作员308在交易终端34处扫描物品，则把收银员308看作为操作员。 

如以上概述，在一些设置中，这些感兴趣区域302的计数可被合并考虑以提供更加稳健的计数方法。例如，在一个设置中，将传入物品输入区302-1、扫描器或物品读取区302-2以及打包区或其它物品输出区302-3的检测次数加以比较以查看它们是否一致。若它们不一致，则采用平均检测次数。同样地，也可考虑计数或检测事件的次序。例如，各精确计数的物品在传入区会首先被计数为物品移出事件，在扫描器处为扫描事件，在打包区则又为物品引入事件 (各事件或计数由分析视频数据320中感兴趣区域的检测器检测和产生)。 

在另一个设置中，物品的计数被看成某个区的某种类型事件的次序或模式，诸如当操作员从传送带或对象输入区302-1移出对象时的对象移出事件；其后是另一类型的事件，诸如当操作员将对象放置在对象输出区302-3或下游传送带时的引入事件。因而紧接有一个引入事件(操作员将物品放置在输出带或对象输出区上)的一个移出事件(操作员捡起对象来扫描，并且从对象输入区移出该对象)被系统看成或解释成一个视频计数。 

若计数一直仅在次序的一个阶段或区域302(例如302-1物品事件检测)被登记，而未在另一个或两个区域(未在区302-3与/或302-2检测)，则该计数或事件可被认为是差错与/或可被标记为可疑的。例如，若视频数据被分析并且扫描或交易数据被分析，系统可确定哪些扫描检测事件(即交易事件)或扫描计数匹配哪些视频计数(例如若分析两个区，为紧接有一个物品引入事件的一个物品移出事件的视频计数，或若仅分析诸如物品输入区302-1的单个区，则视频计数或事件可为被视频分析检测到的物品307从该区302-1的单个移出事件)。在这样的情形中，若扫描计数或事件与事件的视频计数一一匹配，则没有明显的可疑活动且交易不用标记或标明以供进一步检验。然而，若视频数据与扫描数据时间同步后(这样的时间同步在同时收集视频数据与交易或扫描数据的数据收集过程中可以是固有的，或可在后处理中以视频帧或检测事件模式通过扫描时戳进行算法比较时达成)，检测到的模式为诸如移出事件，其后是引入事件(对于第一对象，没有识别交易数据中物品的存在的扫描或交易事件)，其后是另一移出事件(对于第二对象)，则该交易可被标记为潜在的欺诈或可疑。在一个设置中，交易监控器32将来自视频数据分析的事件的视频时戳与在交易数据中表现为已交易的物品的交易时戳相关联，从而识别出指明视频数据中的物品在交易数据中没有相应记录的事件，因而指明有可疑活动。 

有许多可单个使用或互相结合使用的方法，通过这些方法，可进行视频分析以在一个或多个感兴趣区域302识别物品的计数或检测事件。 

本发明揭示的这些处理技术中的一种是对当前在感兴趣区域内的物品进行计数。对当前在感兴趣区域内物品计数的一个方法是对在感兴趣区域的静态图像中可见的物品进行计数。这假定单个物品可被很好地分开和区别，并且此 方法因而在物品连结或重叠在一起的情形中特别具有挑战性。在超市或其它零售店场景中，例如少量物品逐个缓慢放置于移动传送带上，确实可以在传送带上分开，使得它们互相不接触或重叠。在这样的情形中，对传送带的静态图像中对应传送带背景的物品进行计数，得出交易中精确的物品数量。然而，若传送带上有大量物品，则物品开始在传送带的末端互相堆积。当它们堆积时，通过视频分析将特定物品区分开会变得非常困难，并且分析静态图像会而得到的传送带上放置的物品的计数结果很差。 

在另一个设置中，交易监控器32可利用活动周期的计数。感兴趣区域内的活动周期可指明为物品的引入、移出或通过。活动测量包括区域内的简单检测和运动测量。可采用“绊网”(即沿着感兴趣区域的边寻找运动)考虑进入区域的方向。在超市场景中，例如沿着顾客面向传入带区端部的绊网可被用来对顾客每次将新物品放置到物品输入区302-1内的传送带上进行计数。 

可设置两个或多个绊网用于确定物品从感兴趣区域的一侧横跨到感兴趣区域的另一侧的移动。在超市结账处扫描区302-2周围，例如，在扫描区两侧上的两个绊网可依据它们被触发的次序来检测特定方向的运动。 

另一使用绊网的方法是用一连串绊网(垂直于感兴趣物的运动方向)覆盖整个大的感兴趣区域，以从一端到另一端检测行进运动。在超市场景中，这些一连串的绊网可被用于检测向前从传入区行进到打包区的对象，甚至当对象在扫描区从一手交换到另一手时。 

若可从图像被识别出操作员对象(例如包括操作员308的视频数据320部分)，则仅当操作员对象本身(例如他或她的手臂或手)进入并离开区域时可使计数递增。通过采用皮肤检测与/或通过识别操作员对象308的四肢，检测器触发物品检测可更精确，或仅当操作员的手进入感兴趣区域(例如302-1)时才进行计数。若操作员对象的端部(例如他或她的手)其色图颜色有一部分不是其本身的颜色，则可认为其更可能是手拿着物品进入或离开感兴趣区域。 

图3B显示在感兴趣区域检测活动以指明物品的存在的一个方法。从视频源430的图像，步骤432识别对象并创建对象视图。步骤434应用关联过滤器(例如皮肤检测、皮肤加对象色图等等)以确保只有对象或感兴趣物活动被考虑。例如在零售店环境的视频图像中，操作员可跨过扫描区域从而和交易终端的触摸屏交互。感兴趣区域内的这些活动并不指明物品的存在，因而可通过过滤视频图像中操作员对象与触摸屏的图形区相连接的情形将其忽略。步骤436将当前对象视图合并到图像中随时间运动的运动视图。步骤442则分析运动视图以识别运动方向438即感兴趣区域440内的运动。若步骤444确定运动已自始至终完成横跨感兴趣区域的动作，则可记录为步骤446中的视频检测事件。若步骤448确定存在更多的视频，则步骤450将前进到下一帧视频并从步骤432 继续。若否，则视频检测事件的记录在步骤452被返回。例如，感兴趣物的方向从物品输入区向着物品输出区横跨作为扫描区的感兴趣区域，交易监控器32可观察扫描区指明交易中存在物品的活动。 

在其它设置中，交易监控器32能够对对象的引入或移出进行计数，该对象可为物品或操作员或顾客对象。在一个设置中，从一个或多个感兴趣区域302新引入或移出对象指示物品检测或计数发生变化。例如在超市场景中，若物品从传入传送带移出，或者若其被引入到打包区(或将两种情形结合考虑)，则其指明交易中涉及额外的物品。 

检测引入或移出的一个方法是检测感兴趣区域内的色图变化。检测引入或移出额外对象(例如物品或操作员对象)的另一方法是检测对象出现或消失。在此所述的图像检测算法不断将静态对象结合到用于对象区分的背景视图中。当新对象被添加到图像中时，其呈现为前景中的唯一对象。类似地，当对象被移出时，其留下的幻影(例如图像曾经占据的位置中的变动)在前景中同样视为一个对象。在这两种情形中，对象随后被计数并且此后合并到背景中，从而为下一物品的计数做准备。 

此方法的一个优点是其易于分离物品图像。当诸如物品的对象被引入时，该物品图像可被剪裁为分离的物品图像。当物品被移出(例如幻影对象出现)时，该物品的图像可从移出之前的帧中被剪切出来。上述方法的一个挑战是操作员的手臂本身会显现为感兴趣区域内的对象。在此揭示的两个实施例设置，通过忽略操作员手臂或仅采用区域中不包括手臂在内的图像，来应对这个挑战。 

为了忽略手臂对象，其首先被识别。这可通过检查视频数据中的所有对象以查看哪一个对象从感兴趣区域302-1外部(或内部)的操作员区域302-4内较大的操作员对象308延伸而来的(例如采用边缘检测)。这个对象可被假定为操作员308的手臂。也可进行皮肤检测以进一步确保对象确实是手臂与/或手。则可从感兴趣区域对象视图去除该手臂对象，仅留下已被引入或移出的交易物品307。为了仅采用图片中不包括手臂在内的图像，可采用沿着最接近操作员308的感兴趣区域的边缘的绊网，以查看是否有任何对象穿过它。若在特定的视频帧内没有对象穿过它，则指明在该帧内手臂不在感兴趣区域302-1中。采用这个逻辑，手臂进入和离开之前和之后的帧可被分离，以确定物品的存在。可比较这些帧以识别物品引入或移出。 

如上所述，交易监控器32能够在交易区的感兴趣区域(例如302-1)内识别出指明感兴趣区域内存在用于交易(例如用于购买)的物品307的操作员308动作。交易监控器32可表明物品记录是否存在于交易数据中，其对应的是，对操作员动作进行识别可自动识别出在感兴趣区域302-1内的操作员动作指明 有用于交易的物品307存在时，在交易数据中却不存在该物品记录的情形。相应地，交易监控器32可指示可疑活动。 

如上所述，可对诸如收银员308(或若图1中的环境300是自助结账终端34时，则为顾客)的操作员进行模拟以识别交易中与处理各物品307相关联的动作。在从上往下看的超市场景中，例如操作员可被模拟为有两只手臂伸展出的躯干。操作员的躯干可通过其在交易终端34的位置识别。手臂可被识别为从躯干伸出的快速移动的两个肢。物品307的处理可被模拟为一手伸出到传入带区或物品输入区域302-1，其后在扫描区或区域302-2将物品从一手传递到另一手时是两手共用，然后是第二只手伸向打包区或物品输出区域302-3。 

如上所述，既可用一种物品计数方法监控单个感兴趣区域，也可在感兴趣区域302中采用多种计数方法以实现在该区302计数物品。类似地，可采用将来自多个感兴趣区域的计数和计数次序相结合，从而实现整个交易中更精确的计数。 

图4显示交易监控器32在一个设置中执行的处理，其采用视频数据320分析对交易中涉及的物品进行计数。对物品的存在进行计数的一个方法是对操作员从感兴趣区域移出或引入到感兴趣区域的物品进行计数。例如，只要操作员在诸如打包区的感兴趣区域内放行物品时，就可确实假定该物品是被引入到打包区的交易物品。相反地，对物品移出进行计数的一个方法是对物品输入区域302-1的物品移出进行计数。 

在图4中，当视频源70输出视频帧时，第一步骤72在该图像内识别对象。通常使用的一个方法是通过将当前帧与背景模型相比较，从而提取图像中的前景元件或物品。在下一步骤74中，操作员对象(即视频帧中操作员308的动作)被分离。做到这样的一个方法是采用操作员308可能所在位置的事先的信息。例如若已知操作员308将站立在诸如操作员区域302-4的特定限定位置，则可假定该区域中的最大移动对象是操作员308。在视频数据中识别和分离操作员对象的另一方法是识别穿过感兴趣区域302-3界限边缘的操作员对象为操作员，例如进入打包区以放置另一物品307的操作员对象。 

下一步骤76核查图像引入或移出事件，诸如当感兴趣区域内的操作员对象和物品(或如上所述的对象幻影)的图像互相分离时。移出事件指明操作员已经捡起物品输入区域302-1内的物品。在步骤78，若移出已经发生，则步骤80内计数递增。在步骤82，若有更多的视频存在，则进程前进到步骤84中视频的下一帧，执行步骤72继续下一轮循环。当交易视频完成时，在步骤86计数被返回。在逐个处理物品的情形中，每次从物品输入区302-1移出物品(或引入物品到物品输出区302-3)产生相应的移出(或引入)事件，其可和交易数据相关联(若采用多个感兴趣区域，则可成对地被关联)。 

图5说明交易监控器32可执行提供对象移出和引入事件检测的处理方法。在图5中，当前图像90和更新的背景图像92被步骤94作为输入，在步骤94中它们被比较(通过相减和取阈值)以产生二进制对象视图96。这个对象视图包括图像中的不是更新背景部分的任何新对象(例如物品)，以及也不是更新背景部分的操作员对象。在下一步骤98中，当前操作员对象100从对象视图分离。在超市场景中，收银操作员308站在收银机前的规定位置(例如区域302-4)，在一个设置中这是通过寻找该空间内站立的最大移动对象而达成的。(或者，这也可通过寻找与操作员可能接触到的较小的标签区域相重叠的对象而达成。)这个对象被认为是操作员对象。 

在步骤104中，当前操作员对象100和先前的操作员对象102被用来界定当前感兴趣区域106。先前操作员对象的非重叠区构成当前的感兴趣区域，有以下原因：若物品在视频数据的前一帧里被操作员308拿着，则它将成为先前操作员对象的一部分。因此，若物品在当前帧内被释放，则它将停留在先前操作员对象区的某处。并且因为它被释放，其不会成为当前操作员对象的一部分。因此，若物品自前一帧被释放，则对象会出现在不与当前操作员对象重叠的前一操作员对象区域。同样地，若物品在前一帧被捡起，此帧内其幻影(即其从背景层被移出处的空白)会出现在相同的当前感兴趣区域。 

在下一步骤110，对象视图96被核查以查看是否有新对象(即物品)或对象(即物品)幻影出现在当前感兴趣区域106中。若否，则在下一步骤120，操作员对象以外的所有区域被合并到用于下一帧的背景更新中。最后无移出/引入事件被返回。 

在步骤110，若在当前感兴趣区域确实有新对象，则下一步骤112将该对象(物品)图像分离，即从当前帧复制它。若对象移出(从幻影分离)被检测，则在前一帧之前当物品被捡起的那一帧中获取图像。 

在下一步骤114，实际物品的分离图像将与预期对象的数据库相比较(例如连同其照片的物品数据库)。注意到这是上述的物品误识别检测方法的一部分。然后对象图象被合并到用于下一帧的背景更新中。在下一步骤116，操作员对象之外的、包括被移出或被引入对象的所有区再一次被合并到用于下一帧的背景更新中。最后移出(或引入)事件被返回。 

图11说明视频数据501和502的帧的示例，其显示了事件检测前(视频数据帧501)与事件检测后(帧502)交易区301的外观。此例中所发生的检测事件为操作员308放置物品307(此例中为牛奶壶)的引入事件。各帧501和502被划分为四个象限，右上和左上，以及右下和左下。各帧的左上象限显示视频数据的初始帧，左下象限显示经由上述处理产生的更新的背景图像。各帧501和502的右上象限显示操作员对象308，并且右下象限显示了不同的二 进制图像或视图。 

在帧501的左上象限，可以看到操作员308将物品放置在物品输出区域302-3，但没有将他们的手从物品上307放开。在帧502中的相应象限中，操作员308在此处已经放开了物品307，作为将物品引入到输出区域302-3中。注意在帧501的右上象限内操作员对象308被认为包括操作员手中的物品，相对于帧502的右上象限内所包括的操作员对象308以及现已分开的物品对象307，两者之间有差异。如上所述的视频分析可检测图像中的差异，并且可将这个活动指明为物品检测事件，在这个情形下为物品引入事件，说明交易中存在该物品。这样，视频分析可检测交易中涉及的物品，并且如上所述，交易监控器32可采用此信息与来自交易终端34的交易数据相比较，从而确保视频数据中检测的各物品在交易数据中都有相应的输入(例如扫描、读取物品标识或价格)。若对于这个对象，相应的交易数据并不存在，交易监控器32可指示可疑活动。 

注意到对于具有移动背景的感兴趣区域，诸如超市中的传送带，适应背景图像的方法在以下针对移动背景的改变讨论中详述。系统也可结合篮底检测或篮内检测来从高位视角识别，例如在可移动购物车下面或里面的，物品。 

如上例所示，在一个设置中的交易监控器32可通过在视频数据内界定至少一个感兴趣区域、并计算对象视图来对至少一部分视频数据进行分析，所述对象视图识别感兴趣区域当前图像和感兴趣区域更新的背景图像之间的变化。然后，通过分离出感兴趣区域内的至少一个操作员对象，交易监控器32可检测对象视图和操作员对象的分析是否识别对象移出或引入到感兴趣区域302。这样，可将检测事件保存来指示视频数据中对象存在的计数。这可针对单个区或多个区302进行，也可以物品为基础针对一个物品或针对大部分交易或整个交易(即所有物品)进行。 

在分析至少一部分视频数据的过程中，系统需要补偿存在于一些摄像机或其它视频源的自动增益功能。自动增益试图在摄像机的三色频道中平衡整个图像的亮度。如果在摄像机视野内出现大的噪声对象(即出现在场景中但不是交易或交易数据的一部分的对象)，会导致颜色不适宜地出现偏差。系统需要大体上消除颜色偏差。问题是系统不能计算出遍及整个图像的任何统计值，因为系统将得到与摄像机自动增益所得结论相同的结论。反而系统需要将其焦点限制在交易区，更重要的是，聚焦于交易区中保持静止但呈显出颜色或亮度偏差的对象。实现这个目的的一个方法如下所示：将当前图像和当前更新的背景图像相比较(例如相减和取阈值)从而获得前景/背景象素的噪声二进制图。只有背景象素被用来计算当前图像和背景图像的颜色统计值。采用这些背景象素，因为它们对应于现实世界中相同的静态对象，并且显示出需要被校正的偏色效应。一旦被标记为背景的象素统计值被计算，则对当前图像实施改变，使其颜 色与背景图像的颜色相一致，因此与由系统处理的其余图像相一致。一旦这个预处理步骤完成，则继续进行常规的视频处理步骤。这样交易监控器32可在视频分析前对应用于视频源的自动增益进行补偿。 

对于感兴趣区域内的物品移去和引入同时进行监控的设置，交易监控器32可定义对象输入区域302-1为第一感兴趣区域，并且可定义对象输出区302-3为第二感兴趣区域。在这个设置中，检测对象移出事件与/或对象引入事件可包括检测当操作员从对象输入区移出对象时的对象移出事件，与/或检测当操作员将对象放置在对象输出区时的对象输入事件。相应地，检测到移出事件紧接有引入事件时，在一个设置中，交易监控器32可递增视频计数作为至少一个视频交易参数，或者可产生各自的移出和引入事件，事件可在与交易数据比较期间被处理以识别不在交易数据中但出现在视频数据中的物品。 

在一个设置中，至少一个感兴趣区域包括传送带，传送带随时间将传送带上对象的位置平移，如视频数据当前和先前帧所捕获的那样。例如，当操作员移出物品307时产生移出检测事件的物品输入区可以是将物品307供应给操作员308的传送带。在这些情形中，交易监控器32可在连续的视频帧内对物品从一位置移动到另一位置时的移动或平移进行补偿。特别地，交易监控器32可分析至少一部分视频数据，并可包括在感兴趣区域内视频数据相关联的先前和当前帧，从而确定传送带上对象位置平移的量。交易监控器32可在检测对象移出事件与/或对象引入事件时计算传送带上对象位置平移的量。 

图8为交易监控器32在进行视频分析时，可执行供检测器采用的区比较法的操作处理流程图。 

当视频源200提供视频帧时，视频源(200)输出视频帧。第一步骤202识别该帧的图像内的对象。做到这一点的一个方法是将当前帧与背景模型相比较，以提取图像中的前景组件或对象。 

在下一步骤204，操作员对象被分离。做到这一点的一个方法是采用操作员可能位置的事先信息。例如若已知操作员将站立在特别规定的位置，则可假定在该位置内的最大移动对象就是操作员。另一个方法是识别越过感兴趣区域界限边缘的对象，因为操作员伸手够到打包区内以放置另一物品。 

在下一步骤206，系统核查操作员对象是否延伸到感兴趣区域。在下一步骤208，若操作员对象在感兴趣区域内，则系统核查在步骤210操作员是否也在先前帧的感兴趣区域内。若否，则先前帧在步骤212被保存为关键帧1。因此关键帧1为在操作员对象进入感兴趣区域前的感兴趣区域的图像。在操作员对象离开感兴趣区域后，与感兴趣区域的图像相比较时，系统将能够确定是否有新对象引入感兴趣区域或从感兴趣区域移出。不管步骤210中判定如何，系统将在步骤224中继续核查更多的视频。 

若步骤208判定操作员对象不在感兴趣区域内，则步骤214检查关键帧1是否已经保存。若否，则指明操作员对象在前一帧时还未进入到感兴趣区域。并且因为操作员对象在当前帧中也未进入感兴趣区域，检查操作员是否将新对象引入或移出感兴趣区域内并无价值。系统则将在步骤224中继续核查更多的视频。 

若步骤214中的判定为是，则指明操作员对象之前已经进入感兴趣区域，并且在最后一帧中并不存在。因此，既然操作员对象不再在感兴趣区域内，操作员对象必定已经离开。因此当前帧在步骤216被保存为关键帧2。 

在步骤218，关键帧1和关键帧2的对象区被比较。这个过程将在以下详述。 

若步骤220判定在关键帧1和2之间的对象区内确实有实质性变化(例如大于阈值量)，则步骤222递增物品计数或产生检测事件。 

不管步骤220中的判定如何，系统继续进行步骤223，在其中复位(或删除)关键帧1和2以指明操作员对象不再被认为是在ROI内。 

系统继续进行步骤224以核查是否存在更多的视频。若否，则物品计数被返回。若是，步骤228前进到视频下一帧并且系统在步骤202重新开始循环。 

图9是交易监控器32执行提供关键帧区比较的处理步骤流程图。图中所述为示例方法，利用该方法可对两个关键帧进行比较来查找感兴趣区域内对象区的变化以指明对象引入或移出。 

在此例中，关键帧1(250)是操作员对象进入感兴趣区域前的视频帧。关键帧2(254)是操作员对象离开感兴趣区域后的视频帧。空基底图像(252)为感兴趣区域无对象的场景图像。感兴趣区域259是突出显示哪个图像区域是感兴趣区域的二进制图。 

步骤256、258、260和262描述与关键帧1有关的处理。 

在步骤256，关键帧1和空基底图像被比较(通过相减和取阈值)以产生二进制对象图258。这个对象图包括任何在图像中但不属于空基底图像一部分的新对象，包括操作员对象和感兴趣区域内的其它对象。 

在步骤260，通过取出对象视图258并用感兴趣区域259掩盖它，分离出感兴趣区域内的对象，使得感兴趣区域内只有对象被保留。进行掩盖的一个方法是在二进制对象图和二进制感兴趣区域图之间执行“与”操作。新的合成对象图是关键帧1对象图262。 

步骤264、266、268和270执行类似操作，由关键帧2 254生成关键帧2对象图270。 

在步骤272，关键帧1和关键帧2之间感兴趣区域内的平移量被确定。可通过采用如关联、差方和、流程分析等标准技术来套准感兴趣区域并查找关键 帧1和2之间发生的平移量。步骤272产生平移量274。 

步骤276应用平移量274从而将关键帧2对象图270与关键帧1对象图相套准。生成被套准的关键帧2对象图278。 

步骤280将关键帧1对象图262的面积与被套准的关键帧2对象图278的面积相比较。各对象图的面积可被计算为二进制对象图的总和。 

在步骤282，若在面积有足够明显的变化(例如大于阈值)，则返回是，指明面积有变化284。否则，返回否，面积没有变化286。 

图10是描述交易监控器32执行提供直通物品检测方法的处理步骤流程图。正如可对经过整个交易的时间窗期间的预期和实际物品计数进行比较而可检测出直通行为，在时窗为能进行大体上基于逐个物品比较的较短时段的情况下也是如此。 

在各单个交易物品被输入(例如扫描、键盘输入、RFID读取等)的时间窗期间，仅有一个物品预期通过交易处理。若看起来计数大于一，则指明可疑活动发生。类似地，在各单个实际直观物品检测的时间窗期间，应当有相应的POS物品输入。若没有POS输入，则意味着实际处理的物品依照数据来看并不是预期的，因此指明有可疑活动(例如潜在的直通)。这个场景在以下详述： 

物品检测进程402从视频源400取得视频并使其前进，直到检测到交易中涉及的下一物品。可采用多种方法，包括但不限于引入移除检测、面积差检测、扫描移动检测等。这产生了物品检测时间404。 

然后在步骤410，系统从交易数据源(406)取得交易物品时间数据408，并将它与物品检测时间410相比较。比较指明是否有与物品检测时间相对应的交易物品时间。 

步骤412核查比较结果。若有与物品检测时间相对应的交易时间，则预期活动和实际活动相匹配，并且当前直观被检测的物品被标记为无可疑的414。若没有和物品检测时间相对应的交易时间，则预期活动和实际活动不同，并且当前直观被检测的物品被标记为可疑的且输入到可疑物品日志416。 

可确定相对应的一个方法是通过判断看作不相应的的交易物品时间是否处在物品检测的充分接近时间(例如低于某些静态或动态阈值)内。若是，则检测可与交易时间相匹配；若否，则物品检测被认为是不相对应的。另一种方法涉及在运行的计数器中既保存交易物品的总数，又保存被检测物品总数的记录。当被检测的物品在数量上超过被交易的物品多于一定阈值(例如多于一个物品)时，则最后被检测的物品被认为是不相应的，并且计数器被重置直到下一个不相应的物品出现。另一方法是看是否有不止一个直观物品检测出现在相同的交易物品间隔内，如图12的例子所示。若是，则至少一个物品检测必定不与交易物品时间相对应。在这样的情形中，交易物品间隔本身可被认为是可 疑的。 

在步骤418，若仍有视频存在，则系统继续进行步骤402以重新开始循环。否则系统继续进行步骤420以返回可疑物品日志。 

这样，系统提供了可将直通识别为可疑活动的直通物品检测方法。 

其它设置包括使用顾客与/或店员存在和跟踪的性能。这样的设置在除了简单地自顶向下摄像机拍摄以外，还可采用过肩的透视摄像机拍摄。在摄像机位于站在收银台的收银员后的情形中，摄像机可越过他或她的肩查看柜台、收银机和顾客，所述方法可识别出店员是因为其作为位于柜台近侧的并且将柜台挡住的对象。相反地，顾客对象是作为越过柜台但被柜台的上边隔断的对象而被识别出。在一个设置中，一旦顾客或店员被识别，他或她的位置就被系统跟踪和标记。 

图6是显示，在一个设置中，交易监控器32采用以提供顾客与/或店员存在检测和跟踪的处理步骤流程图。在步骤254，输入图像250和背景基底图像252被比较，以产生显示图像中所有非背景对象的所有对象二进制图.。如此比较的一个常规方法是相减，然后是取阈值，而后是形态学运算以“清洗”噪声二进制图。然后，在下一步骤256，在所有对象二进制图上进行店员/顾客对象区分，如以下部分所述和描述店员/顾客对象区分的图7所述的。 

在步骤268，若店员对象存在，则店员对象在步骤270被标记。在步骤258，若顾客对象不存在，则进程前进到步骤284中视频的下一帧。否则，在步骤260中，若在前一帧出现相同的顾客对象，则步骤262将确定顾客对象是否一直是静止的。若是，则顾客对象确实可能是无生命的对象诸如购物车。在该情况下，进程在步骤280重置顾客标记并将静止对象合并到步骤282中的背景基底图像。若顾客对象不是一直静止的，则假定其确实是真人，并且对象在步骤266被标记为顾客。不管静止与否，进程前进到步骤284的下一视频帧。 

在步骤260，若相同的顾客对象没有在先前帧出现，则顾客对象在步骤272被跟踪。通过跟踪感兴趣区域重心的变化来进行跟踪。若顾客对象邻近柜台区域(例如302-1、302-2、302-3)，例如，若站在柜台边，则确定是否为像购物车之类的静止对象。若是，则进程转到步骤282如上所述。若否，则在步骤278提供顾客存在标记并且在步骤266中对顾客进行标记。 

图7是显示了交易监控器32所执行的提供店员/顾客对象区分的处理步骤流程图，。 

在步骤(204)，输入图像200和背景基底图像202被比较以产生在图像中显示所有非背景对象的所有对象二进制图。进行此类比较的常规方法是相减，然后是取阈值，然后是形态学运算以清洗噪声二进制图。 

在步骤206，二进制对象图被核查是否存在任何对象。若否，则步骤208 使视频前进到下一帧并且进程从循环起点再次继续。在步骤206，若在二进制对象图中存在对象，则它们进行步骤210中的标记操作。然后在步骤212中，第一个被标记的对象被选取。在步骤214，若发现对象仅落在店员感兴趣区域302-4，则在步骤218中将对象添加到仅有店员的二进制图中。店员感兴趣区域302-4通常为只出现一个店员或其它操作员(相对于顾客或柜台上的物品)的柜台近侧。 

在步骤216，若发现对象仅落在顾客感兴趣区域302-5，则在步骤228中将对象添加到只有顾客的二进制图中。顾客感兴趣区域302-5通常在图像中柜台台面的顶边上方，顾客如果站在柜台边会出现的位置。 

然后，在步骤220，若发现对象落在柜台感兴趣区域(例如302-1、302-2或302-3)(柜台顶部)，则对象可能为柜台上的物品，并且在步骤222中被添加到仅有柜台的二进制图。在步骤224，若对象出现在店员和柜台感兴趣区域302-4与302-1、302-2和302-3中的一个或多个，而不是出现在顾客感兴趣区域302-5，则对象被确定为店员或操作员，并且在步骤218中被添加到仅有店员的二进制图中。 

在步骤226，若对象同时在顾客和柜台感兴趣区域304-5以及304-1、302-2或302-3中的一个或多个内，但不在店员感兴趣区域302-4内，则认为对象是顾客并且在步骤228中将其添加到仅有顾客的二进制图中。 

在步骤230，若对象在所有三个区域内(店员302-4、顾客302-5以及柜台-302-1、302-2和302-3中的一个或多个)，则其可能是店员图像与顾客图像部分重叠的合并对象。因此，在步骤232中该对象被添加到店员和顾客二进制图中。 

对象已被处理后，在步骤234，其被从所有对象二进制图移出，以便于可处理下一个被标记对象。 

在步骤206，若仍有对象存在于所有对象二进制图中，则在步骤210继续处理下一对象。否则，若图像内的所有对象已经被处理，则继续处理步骤208中的下一视频帧。 

这样，系统可识别操作员或顾客对象，从而在视频分析中能够从物品对象识别此对象。 

在此说明和描述设置相关联的系统和方法，以使熟知本领域技术的人员可做出形式和细节的各种变化，在附属权利要求所述的发明范围内。因此本发明不限于以上提供的实施例设置。 

Claims (32)

1.一种检测可疑活动的方法，所述方法包括：

获得来自对交易区进行监控的至少一个摄像机的视频数据；

分析所述视频数据以跟踪所述交易区内的交易中涉及的物品，分析所述视频数据包括：

界定所述视频数据内的至少一个感兴趣区域；

计算对象图，所述对象图识别在所述至少一个感兴趣区域的当前图像与所述至少一个感兴趣区域更新的背景图像中被跟踪物品之间的变化，被跟踪物品被定义为对象；

分离所述至少一个感兴趣区域内的至少一个操作员对象；以及

分析所述对象图和所述操作员对象，检测该分析是否识别出所述至少一个感兴趣区域中的对象具有移出或引入行为中的至少一个；

将所述被跟踪物品的所述视频分析与交易终端产生的交易数据相比较，以识别可疑活动。

2.如权利要求1所述的方法，其中分析所述视频数据以跟踪交易中涉及的物品包括：

自动识别所述交易中涉及的物品的存在；以及

其中将所述被跟踪物品的所述视频分析与交易数据相比较包括：

对于所述视频数据分析中识别的所述物品的存在，确定其在所述交易数据中是否有对应的存在；若没有，则识别所述可疑活动。

3.如权利要求2所述的方法，其中自动识别所述交易中涉及的物品的存在，包括以下中的至少一个：

检测在所述交易区内的物品活动；以及

检测在所述交易区内的操作员活动。

4.如权利要求2所述的方法，其中自动识别所述交易中涉及的物品的存在，包括以下中的至少一个：

检测物品从所述交易区内的感兴趣区域移出；

检测物品引入到所述交易区内的感兴趣区域。

5.如权利要求1所述的方法，其中界定至少一个感兴趣区域包括：

界定对象输入区为第一感兴趣区域；

界定对象输出区为第二感兴趣区域；以及

其中检测对象移出事件和对象引入事件中至少一个包括：

检测当操作员从所述对象输入区移出对象时的对象移出事件；

检测当操作员在所述对象输出区内放置对象时的对象引入事件；以及 

对于检测到紧接有引入事件的移出事件，递增视频计数。

6.如权利要求1所述的方法，其中所述至少一个感兴趣区域中的至少一个包括传送带，其使得被当前和先前的视频数据帧所捕获时的对象在传送带上的位置随时间平移；以及

其中分析所述视频数据还包括：

将所述感兴趣区域内先前和当前的视频数据帧相关联，从而确定所述传送带上所述对象位置的平移量；以及

当检测对象移出事件和对象引入事件中的至少一个时，将所述传送带上对象的所述位置的所述平移量考虑在内。

7.一种检测交易结果的方法，所述方法包括：

获得与交易区相关联的视频数据；

分析至少一部分所述视频数据以获得至少一个视频参数，所述视频参数涉及与所述交易区相关联的至少一部分交易，分析所述视频数据还包括应用基于机器的自动视频分析技术以检测与所述交易区相关联的物品视频事件；

获得来自于与所述交易区相关联的交易终端的至少一个交易参数，包括通过识别指明与所述交易区相关联的物品交易事件的交易数据来获得涉及所述交易区内所发生交易的至少一个交易参数；以及

自动将所述至少一个视频参数与所述至少一个交易参数相比较，以识别交易结果，该比较是通过确定所述视频事件是否没有被识别为所述交易数据中的交易事件，并且作为响应，识别所述视频数据的特定片断，其指明有未被识别为交易事件的所述视频事件存在来进行的。

8.如权利要求7所述的方法，其中获得视频数据包括：

获得来自对交易区进行监控的至少一个高位摄像机的视频数据；以及

其中分析至少一部分所述视频数据包括：

分析所述视频数据以跟踪所述交易区内的所述交易中涉及的物品；以及

其中自动将所述至少一个视频参数与所述至少一个交易参数相比较，以识别交易结果，包括：

将所述被跟踪物品的所述视频分析与交易终端产生的交易数据相比较，以识别可疑活动。

9.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

产生一组检测事件，其指明由至少一部分所述视频数据的至少一个感兴趣区域内的至少一个检测器进行的物品检测；

其中自动将所述至少一个视频参数与所述至少一个交易参数相比较包括：

对于各检测器，将该检测器的该组检测事件与至少一部分交易数据相比较，从而识别被该检测器检测到的物品数与所述至少一部分交易数据所指明的 物品数之间的至少一个明显差异；以及

识别出所述交易的总可疑度，所述总可疑度以来自各检测器的物品数和所述交易数据中物品数之间明显差异为基础。

10.如权利要求9所述的方法，其中各检测器是应用于所述交易区的所述视频数据的感兴趣区域的视频处理算法，以及其中比较该组检测事件包括：

同时将来自至少一个检测器的至少一组检测事件与所述至少一部分交易数据相比较，以识别所述交易区内处理的大量物品中的差异。

11.如权利要求7所述的方法，其中识别所述视频数据的特定片断包括：

将指明有未被识别为交易事件的所述视频事件存在的所述视频事件的特定片断传送给检验者，以检验所述视频数据片断，从而检验与物品交易有关的操作员在交易过程中的可疑活动。

12.如权利要求11所述的方法，其中自动将所述至少一个视频参数与所述至少一个交易参数相比较包括：

对所述视频片断赋予可疑度，所述可疑度指明与交易数据相比，视频数据的自动视频分析产生的可疑程度。

13.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

界定所述交易区内的感兴趣区域；

自动识别出指明所述感兴趣区域内的第一组物品的视频数据的第一帧；

自动识别出指明所述感兴趣区域内的第二组物品的视频数据的第二帧，所述第一组物品与所述第二组物品有视觉差异；以及

自动将所述第一组物品与所述第二组物品的视觉差异指明为表明物品存在于所述视频数据的所述感兴趣区域内的事件；以及

其中获得至少一个交易参数包括：

获得与涉及所述交易区的所述交易终端相关联的交易数据，所述交易数据指明所述物品是否登记为所述交易终端的交易物品；以及

其中自动将所述至少一个视频参数与所述至少一个交易参数相比较，包括：

当所述交易数据缺少某一物品的交易数据，而有事件指明所述物品存在于所述感兴趣区域内时，识别可疑活动。

14.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

界定所述交易区内的感兴趣区域；

在第一时间自动识别所述感兴趣区域内的第一组物品；

在第二时间自动识别所述感兴趣区域内的第二组物品，所述第一组物品与所述第二组物品有视觉差异，以及

自动将所述第一组物品与所述第二组物品的视觉差异指明为表明物品存 在于所述视频数据的所述感兴趣区域内的事件；以及

其中获得至少一个交易参数，包括：

获得与涉及所述交易区的所述交易终端相关联的交易数据，所述交易数据指明所述物品是否登记为所述交易终端的交易物品；以及

其中自动将所述至少一个视频参数与所述至少一个交易参数相比较，包括：

当所述交易数据缺少某一物品的交易数据，而有事件指明该物品存在于所述感兴趣区域内时，识别可疑活动。

15.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

对所述交易区捕获的视频进行视频分析，对以下中的至少一个进行自动检测并产生视频计数：

通过所述交易区的对象的活动；

所述交易区内的特定感兴趣区域内的对象的活动；

所述交易区内的多个特定感兴趣区域内的对象的活动；

进入所述交易区内的特定感兴趣区域内的对象的活动；以及

离开所述交易区内的所述特定感兴趣区域内的对象的活动。

16.如权利要求15所述的方法，其中获得视频数据包括：

从所述交易区的至少一个感兴趣区域获得视频数据，该区域和所述交易区的扫描器区域大体是齐平的，所述视频数据包括所述交易区内交易物品的标志；

其中对所述交易区捕获的视频进行视频分析以自动检测和产生对象活动的计数，包括以下中的至少一个：

检测与对象相关联的活动，所述对象包括所述交易区内的顾客、操作员及物品中的至少一个，所述活动指明在所述交易区内用于交易的物品的存在，并且在检测到所述活动后，保留在所述交易区内所检测的物品的存在的记录。

17.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

自动分析来自至少一部分所述视频数据的至少一个感兴趣区域的视频帧，以识别指明与所述交易相关联的物品的存在的相应事件；以及

其中获得来自于与所述交易区相关联的交易终端的至少一个交易参数，包括：

分析至少一部分来自交易终端的交易数据，以识别在所述交易内正在进行交易的物品的次序；以及

其中自动将所述至少一个视频参数与所述至少一个交易参数相比较，包括：

与所述视频数据分析产生的所述事件相比较，分析来自所述交易数据中被 识别为在所述交易内正在进行交易的物品的次序，从而确定由所述视频数据分析产生的至少一个事件所代表的所述物品是否被指明为在所述至少一部分交易数据内用于交易的物品。

18.如权利要求17所述的方法，其中自动将所述至少一个视频参数与所述至少一个交易参数相比较包括：

使来自所述视频数据分析的事件的视频时戳与所述交易数据内所反映的已被交易的物品交易时戳相关联，以识别指明所述视频数据中的物品在所述交易数据内没有对应记录的事件。

19.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

采用自动视频分析对所述交易区内被检测物品进行图像辨认，从而产生物品的视频标识；以及

其中获得至少一个交易参数包括：

识别所述交易区内被检测物品的预期物品标识；以及

其中自动将所述至少一个视频参数与所述至少一个交易参数相比较包括：

将所述物品的视频标识与所述物品的预期标识相比较，并且若所述视频标识与所述预期标识不同，则指明交易结果表示可疑活动。

20.如权利要求7所述的方法，其中自动将所述至少一个视频参数与所述至少一个交易参数相比较包括以下中的至少一个：

检测指明与所述交易区相关联的欺诈活动的交易结果；

检测指明与所述交易区相关联的操作员差错的交易结果。

21.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

识别操作员在所述交易区的感兴趣区域内的、指明所述感兴趣区域内用于交易的物品的存在的动作；以及

其中获得至少一个交易参数包括：

指明是否在交易数据中存在对应于识别所述操作员动作的物品记录；以及

其中自动将所述至少一个视频参数与所述至少一个交易参数相比较包括：

识别这样的情形，当操作员在所述交易区的感兴趣区域内的动作指明用于交易的物品的存在，但所述物品记录并没有出现在所述交易数据中，则相应地指明为可疑活动。

22.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

采用视频分析识别所述交易区内被检测物品的视频计数；以及

其中获得来自于与所述交易区相关联的交易终端的至少一个交易参数包括：

通过分析与至少一部分所述交易相关联的交易数据，识别所述交易区内物品的交易计数；以及 

其中自动将所述至少一个视频参数与所述至少一个交易参数相比较包括：

将所述视频计数与所述交易计数相比较，并且若所述视频计数与所述交易计数不同，则指明交易结果代表欺诈交易和操作员差错中的至少一个。

23.如权利要求22所述的方法，其中自动将所述至少一个视频参数与所述至少一个交易参数相比较包括：

调整与所述交易结果相关联的可疑度，所述可疑度在以下至少一个的基础上调整：

i)所述交易计数和所述视频计数之间的差异量；

ii)操作员处理所述交易的历史记录指明对于该操作员，至少一个先前交易已经在所述历史记录中被识别为可疑的；

iii)所述视频数据内其中物品被检测到的多个感兴趣区域；

iv)所述交易区的不同感兴趣区域内所述视频数据中的物品检测次序；

v)与从所述交易数据获得的所述物品交易标识相比，所述视频数据内物品视频标识与之的差异，所述交易标识至少是所述物品价格和所述物品标识中的一个；

vi)终端执行所述交易的历史记录；以及

vii)所述交易中被识别的其它物品历史记录，可指明并不需要交易数据的交易中的物品；

viii)交易数据中包括的一组物品。

24.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

检测物品从所述视频数据内的第一感兴趣区域移出；

在检测物品从所述第一感兴趣区域移出后，检测物品引入到所述视频数据的第二感兴趣区域；

其中获得至少一个交易参数包括：

获得由交易终端产生的交易数据；以及

其中自动将所述至少一个视频参数与所述至少一个交易参数相比较包括：

比较所述交易数据，以识别被检测到移出和引入的所述物品是否在所述交易数据中作为交易物品的存在，若否，则指明与所述物品相关联的活动是可疑的。

25.如权利要求24所述的方法，其中分析至少一部分所述视频数据包括：

对应于物品移出的检测和物品引入的检测，递增视频计数以指明与所述交易相关联的物品的存在；以及

其中所述方法包括：

重复检测物品移出、检测物品引入和递增视频计数，直到交易完成，完成的所述交易视频计数指明由所述视频数据分析得到所述交易内所识别的物品 总数。

26.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

应用图像调整处理于所述视频数据从而补偿遍及所述视频数据整个区域的自动增益特性，所述图像调整处理的应用限制在所述视频数据内捕获的一部分感兴趣区域内。

27.如权利要求26所述的方法，其中应用图像调整处理包括：

限制聚焦于所述交易区内保持静止并且呈现色差和亮差中的至少一个的对象。

28.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

进行图像比较以确定与引入事件和移出事件中的至少一个相关联的物品图像是否基本匹配先前存储的物品图像；

若所述图像基本不相匹配，将所述交易识别为潜在包括标签调换事件在内的指明潜在可疑活动和潜在操作差错中的一个。

29.如权利要求7所述的方法，其中分析至少一部分所述视频数据包括：

将所述交易区划分为多个区域，在至少一部分交易期间对象依次移动通过这些区域；

当所述物品依次移动通过所述多个区域时，对物品进行自动视频检测，以获得由所述至少一个视频参数代表的模式，所述模式代表在至少一部分所述交易期间移动通过所述多个区域的物品视频事件；

其中获得至少一个交易参数包括：

获得在至少一部分所述交易期间、识别被交易终端检测到的物品的交易数据；以及

其中自动将所述至少一个视频参数和所述至少一个交易参数相比较包括：

确定在所述至少一部分交易期间，代表来自至少一部分所述交易的物品视频事件的所述模式是否指明出与识别所述交易终端所检测物品的所述交易数据之间有差异，若是，则识别所述交易结果为可疑交易。

30.如权利要求29所述的方法，其对所述物品进行自动视频检测包括：

识别物品输入区内的移出事件，其指明操作员已经从所述物品输入区移出物品；以及

识别物品输出区内的引入事件，其指明操作员已经将物品放置于所述物品输出区内。

31.一种识别可疑零售交易活动的方法，所述方法包括：

从包括交易期间顾客交易物品的交易终端在内的交易区收集高位视频数据；

将自动视频分析应用于至少一部分所述高位视频数据，以检测与所述交易 相关联的至少一个物品的存在，分析所述视频数据还包括应用基于机器的自动视频分析技术以检测与所述交易区相关联的物品视频事件；

通过识别指明与所述交易区相关联的物品交易事件的交易数据来获得涉及所述交易区内所发生交易的至少一个交易参数；

将从所述视频数据获得的与所述交易相关联的至少一个物品的存在与指明在所述交易终端所述顾客实际交易的物品的交易数据相比较，以识别所述顾客拥有但没有在所述交易终端交易的物品，该比较是通过确定所述视频事件是否没有被识别为所述交易数据中的交易事件，并且作为响应，识别所述视频数据的特定片断，其指明有未被识别为交易事件的所述视频事件存在来进行的。

32.一种识别可疑零售交易活动的系统，所述系统包括：

至少一个可操作的高位视频源，用于捕获交易区的视频数据；

至少一个可操作的交易终端，用于当交易期间物品被放置于所述交易终端附近时，从物品获得交易数据；以及

交易监控器，可操作其获得来自至少一个高位摄像机的所述视频数据，以及自动分析所述视频数据以跟踪所述交易区内的交易所涉及的物品，以及将所述被跟踪物品的所述视频分析与交易终端产生的交易数据相比较，以识别与物品相关联的可疑活动，分析所述视频数据包括：

界定所述视频数据内的至少一个感兴趣区域；

计算对象图，所述对象图识别在所述至少一个感兴趣区域的当前图像与所述至少一个感兴趣区域更新的背景图像中被跟踪物品之间的变化，被跟踪物品被定义为对象；

分离所述至少一个感兴趣区域内的至少一个操作员对象；以及

分析所述对象图和所述操作员对象，检测该分析是否识别出所述至少一个感兴趣区域中的对象具有移出或引入行为中的至少一个。 

Images