CN102714713A - 视频流处理 - Google Patents

Abstract

本公开涉及视频流处理。在任何给定的时间都监视零售环境中结账站的子集，而不是每时每刻都监视所有结账站。所述结账站的子集是根据，但不限于，收银员记录、来自用户的输入参数、当前通道行为、过去通道行为、时间等动态确定的。根据这些开发指导通道选择过程的统计模型（例如，有效人口抽样和/或人口假设测试），由此，当感兴趣的事件发生时由于监视特定通道失败所造成的假阴性率的增加受到控制。通过监视较少的结账站，在维持目标性能准确率的同时，终端用户必须处理的数据量被显著减少了。

Description

视频流处理

技术领域

本发明总体上涉及视频监视，尤其涉及利用计算机基础结构来优先化(prioritize)多个视频流的处理。

背景技术

零售环境中的视频监视是一种常见的做法。但是，处理所捕捉到的视频以便自动检测违规行为仍然是资源密集的。在零售环境中，为了自动捕捉违规行为，诸如结账通道的收银员欺诈，需要执行复杂且资源密集的计算模式识别算法。通过乘以通道的规模（每个商店10-20个通道，全国有几千个），需要大量的计算能力来处理由于复杂计算机处理而产生的大量输出。

此外，每个商店通常只有有限的空间和资源来处理所有的销售点（POS）交易和关联的视频流。可用的空间对于具有较少通道的较小商店是足够的，但是对于具有15-20个通道或者甚至更多的较大的商店就不够了。同时，零售商不是总愿意投资更多到为了跟上需求所需的硬件、软件和服务中。

因此，如果可用的计算资源跟不上需求，那么有用的信息将由于这种短缺而丢失，例如，视频流中的帧被丢弃和/或处理被限于仅仅视频流的一个子集。这可能造成漏掉许多违规的行为，从而导致零售商的严重损失。

鉴于以上所述，存在解决相关领域中的一个或多个缺陷的需求。

发明内容

在本发明的一方面中，在具有计算机可执行代码的计算机基础结构中实现了一种方法，所述计算机可执行代码有形地体现在具有编程指令的计算机可读存储介质中。该方法包括从一个或多个硬件设备获得视频流和交易数据；把所述视频流和交易数据组合成各单个交易单元；为所述各单个交易单元中的每个交易单元确定处理优先级；及基于每个交易单元的优先级，处理所述各单个交易单元中的一部分。

在本发明的另一方面中，提供了一种计算机程序产品，该计算机程序产品包括具有体现在存储介质中的计算机可读程序代码的计算机可读存储介质，该计算机程序产品包括至少一个模块，所述至少一个模块可操作来从一个或多个硬件设备获得视频流和交易数据；把所述视频流和交易数据组合成各单个交易单元；为所述各单个交易单元中的每个交易单元确定处理优先级；及基于每个交易单元的优先级，处理所述各单个交易单元中的一部分。

在本发明的再一方面中，提供了一种用于处理视频的系统，该系统包括存储器；及至少一个耦合到所述存储器的处理器，所述处理器可操作来从一个或多个硬件设备获得视频流和交易数据；把所述视频流和交易数据组合成各单个交易单元；为所述各单个交易单元中的每个交易单元确定处理优先级；及基于每个交易单元的优先级，处理所述各单个交易单元中的一部分。

附图说明

现在参考附图仅仅通过例子描述本发明的实施方式，其中：

图1示出了根据本发明的一种实施方式的用于优先化多个视频流处理的系统的说明性环境。

图2示出了根据本发明的一种实施方式的用于优先化多个视频流处理的说明性环境的近视图。

图3说明了根据本发明的一种实施方式的示例性智能切换程序的系统图。

图4A和4B说明了为不同交易单元计算优先级的例子。

图5说明了根据本发明的一种实施方式的优先化多个视频流处理的示例性步骤的流程图。

图6说明了为多个视频流分配优先级的示例性步骤的流程图。

应当指出，附图不是成比例的。附图仅仅是要描述本发明的典型方面，因此不应当认为是限制本发明的范围。在附图中，相同的标号在附图之间代表相同的元件。

具体实施方式

本发明的各方面旨在解决零售商店中遇到的可扩展性问题，在这些商店中，计算能力常常不足以同时监视所有的结账通道的违规行为，诸如收银员欺诈，尤其是在高峰期（例如，在节假日购物季期间）。

本发明的各方面涉及智能切换程序的实现，由此监视结账站所需的处理能力被显著降低了。在一种实施方式中，本发明在任何给定的时间都监视结账站的一个子集，而不是每时每刻都监视所有的结账站。结账站子集可以根据，但不限于，收银员记录、来自经理的输入参数、当前的通道行为、过去的通道行为、时间等动态确定。基于以上变量开发出了统计模型，例如有效人口采样和/或人口假设测试，来引导通道选择过程，由此，当感兴趣的事件发生时由于监视特定通道的错误所造成的假阴性率的增加是受控的。通过监视较少的结账站，同时维持目标性能准确率，终端用户必须处理的数据量显著减少了。

根据本发明的一种实施方式，假定有N个结账通道要监视并且配备了违规行为捕捉模块的单个处理机。在任何单位时间周期内，例如10秒内，系统可能能够处理期望数量的交易。因此，本发明开发出了用于通道选择的智能切换程序并且不时地把处理能力动态地分配给不同的通道。该系统还能够基于实时进入的数据动态地调整其分配。

在本发明的一种实施方式中，处理能力可以位于与结账通道不同的位置而且可以监视来自位于不同位置的多于一个商店的结账通道。处理能力还可以与实时数据一起处理历史数据。

根据本发明的一种实施方式，在不同的零售商店之间可以有共享的计算资源。例如，区域性的或者全国性的处理中心可以给任何过载的单个商店提供备份。在这种情况下，每个商店最初具有其自己的调度与优先化过程来处理其自己的交易。如果存在不能利用本地计算资源处理的具有高优先级的交易，请求将被发送到区域性或者全国性的处理中心，以便处理该负载。由于不同的商店可能具有不同的问题定义，因此更高级的处理单元不必包含与各单个商店所包含的相同的分析模块。

区域性或全国性处理中心的处理单元可以只是提供计算能力，而计算什么是由各单个商店所发送的请求定义的。由各单个商店发送的请求包括交易数据、视频流和任务定义。交易数据指来自POS设备的数据，包括顾客人数、价格、物品编号、数量、折扣、无效等等。处理单元可以驻留在相同的物理位置，或者它们可以是分布形式而且通过它们的虚拟/逻辑地址来引用。

本发明的更多实施方式提供了一种开放的体系结构以集成来自不同位置及不同零售商的处理。当一个销售商的计算资源有限的时候，更高级的处理单元可以分配来自另一个销售商的空闲资源，来承当该负担。

在优先化多个视频流的处理的过程中，处理能力可能依赖于一组初始规则，这组规则能够被动态更新。监视系统的初始输入可以包括，但不限于：用户偏好，例如，第10通道被认为是敏感的而且因此应当比其它通道具有更多的焦点；更多的焦点应当放到特定的一个正在工作的收银员；历史数据：例如，过去数个周日的交易量、通常的时间、日期、星期几，等等。采用一组统计采样和人口估计技术（例如，假设测试）来进一步加强优先化过程的可信度。

基于上述的初始系统输入，选择性的监视单元可以启动统计采样过程来分配计算资源，以使得通道或被某些收银员占用的通道接收比其它通道更多的焦点。所述采样过程是基于利用上下文感知(context-aware)（零售）先前信息和数学模型的统计推断技术。

在本发明的一种实施方式中，当持续地给系统提供新的信息时，它可以动态地调整其计算资源分配。为了维持目标捕捉准确度，智能切换程序可以把其焦点调整到具有更高处理速率的通道。该系统对一天当中不同的时间段应当具有不同的简述(profile)。这可以是作为初始输入而被预先定义的。此外，特定类型交易的量可以触发智能切换程序改变焦点。例如，如果一个通道比其它通道产生更多的“无效交易”事件，那么系统可以调整其焦点以处理来自这个通道的更多交易。换句话说，如果一个通道/收银员产生更多的“候选”违规行为，诸如收银员欺诈，那么系统可以把更多的焦点放到这个通道和/或收银员。

在本发明的一种实施方式中，可以不是彼此独立地评估让智能切换程序切换焦点的事件触发器。相反，它们可以被建模为联合分布，就好像在它们之间可以有强的相关性一样。可以使用常见的特征模型，诸如高斯、泊松、指数、均匀，等等。

仔细地设计假设测试和统计采样过程，使得目标违规行为捕捉的准确度得以维护，例如，系统应当处理来自一个通道和/或一个收银员的多少物品，以维持75%的捕捉率。这是高度上下文相关的，而且标准的统计方法被修改以适合应用。

此外，预调度模块基于特定的通道是否开放来确定该通道是否应当在任何给定的时间被监视。在智能切换程序优先化视频流的处理之前，由处理模块对所有通道执行一些预处理以产生中间交易。这些中间交易提供了用于进一步处理的交易单元。交易单元包含对应于由单个顾客在单个时间段内所购买的一组物品的交易视频。

所述中间特征与先前信息一起用于决定哪些交易应当接收优先化后的处理（例如，为了捕获收银员的违规行为）。结果被存档以供人力审阅和验证。

转向附图，图1示出了根据本发明的一种实施方式的用于优先化多个视频流处理的说明性环境。就此而言，至少一个摄像机42捕捉结账通道中的行为。摄像机44和摄像机46每个都捕捉不同结账通道中的行为。因此，来自摄像机42的数字视频输入41、来自摄像机44的数字视频输入43、来自摄像机46的数字视频输入N都被获得并发送到系统12，其中系统12包括例如智能切换程序30、数据50、参数52、和/或输出54等等，如在此所讨论的。来自每个结账通道的交易数据47、48和M都被发送到系统12以进行处理。

图2示出了根据本发明的实施方式一种实施方式的用于优先化多个视频流处理的说明性环境10的近视图。就此而言，环境10包括可以执行在此所述的处理以便检测违规结账行为的计算机系统12。特别地，示出了包括计算设备14的计算机系统12，计算设备14包括智能切换程序30，通过执行在此所述的过程，该智能切换程序30使计算设备14可操作用于优先化多个视频流的处理。

计算设备14示为包括处理器20、存储器22A、输入/输出（I/O）接口24和总线26。另外，计算设备14还示为与外部的I/O设备/资源28和存储设备22通信。总的来说，处理器20执行程序代码，诸如智能切换程序30，该智能切换程序30存储在诸如存储器22A和/或存储设备22B的存储系统中。在执行程序代码的同时，处理器20可以从存储器22A、存储设备22B和/或I/O接口24读数据和/或向其写数据，诸如数据36。总线26提供计算设备14中每个部件之间的通信链路。I/O设备28可以包括在用户16与计算设备14之间和/或数字视频输入41、43、N和交易数据输入47、48和M与计算设备14之间传输信息的任何设备。就此而言，I/O设备28可以包括使单个用户16能够与计算设备14交互的用户I/O设备和/或使诸如数字视频输入41、43、N和交易数据输入47、48和M的元件能够与计算设备14利用任何类型的通信链路通信的通信设备。

在任何情况下，计算设备14都可以包括任何通用的能够执行安装在其上的程序代码的计算制造物品。但是，应当理解，计算设备14和智能切换程序30仅仅代表可以执行在此所述过程的各种可能的等同计算设备。就此而言，在其它实施方式中，由计算设备14和智能切换程序30提供的功能性可以由包括通用和/或专用硬件和/或程序代码的任何组合的计算制造物品来实现。在每种实施方式中，程序代码和硬件都可以分别利用标准的编程与工程技术创建。这种标准的编程与工程技术包括开放的体系结构，以便允许来自不同零售商的处理的集成。这种开放的体系结构包括云计算。

类似地，计算机系统12仅仅是说明用于实现本发明各方面的各种类型的计算机系统。例如，在一种实施方式中，计算机系统12包括两个或多个计算设备，其经任何类型的通信链路（诸如网络、共享存储器等）通信以便执行在此所述的过程。另外，在执行在此所述过程的同时，计算机系统12中的一个或多个计算设备可以利用任何类型的通信链路与在计算机系统12外部的一个或多个其它计算设备通信。在任何一种情况下，通信链路都可以包括各种类型的有线和/或无线链路的任何组合；包括一种或者多种类型网络的任何组合；和/或利用各种类型的发送技术与协议的任何组合。

如在此所讨论的，智能切换程序30使计算机系统12能够检测违规的结账行为。就此而言，智能切换程序30示为包括预调度模块32、预处理模块34、优先化模块36、处理模块37、清理(cleanup)模块38和存档模块39。这些模块中每一个模块的操作都在此进一步讨论。但是，应当理解，图2中所示各个模块中的一些可以被独立地、组合地实现和/或存储在计算机系统12所包括的一个或多个单独的计算设备的存储器中。另外，应当理解，有些模块和/或功能性可以不被实现，或者附加的模块和/或功能性可以作为计算机系统12的一部分而被包括。

图3说明了示例性视频交易智能切换程序30（图2）的系统图。本发明考虑了一个或多个零售商店中的多个通道。这种非限制性的例子描述了优先化安装在零售商店中的多个视频流的处理的系统。就此而言，零售商店维护任何数量的通道。安装摄像机来捕捉每个通道的交易行为。交易数据（例如，价格、物品编号、数量，等等）与每次交易的视频捕捉一起被发送。交易既包括交易数据又包括视频流。这种非限制性的例子假定有N个通道（通道1至通道N）要处理，如由预调度模块32（图2）所确定的。在预调度模块中，为通道1安装预调度过滤器111。类似地，为通道2安装另一个过滤器113，为通道N-1安装过滤器113，并为通道N安装过滤器114。

预调度过滤器基于特定的通道是否开放来确定来自该通道的交易是否应当被监视。来自通道的所有交易都发送到预处理模块34（图2）。预处理模块34组织交易，以使得每个交易都被隔离并给予唯一的ID。然后，所有交易都被提交给优先化模块36。优先化模块36使用预先确定的规则为每个交易计算优先级得分，所述规则也能够被动态更新。

优先化模块36维护交易优先级队列140，该队列140包含具有优先级得分的交易。按照交易的优先级得分的次序在交易优先级队列140中列出交易。处理模块37首先处理交易优先级队列140中具有最高优先级得分的交易。处理模块37包含相对计算密集的违规行为检测软件来分析每个交易，以便发现该特定交易是否出现了违规行为。当一个交易被处理模块37处理时，用于该交易的交易单元移动到存档队列170。

清理模块38以规律的时间间隔监视交易优先级队列140。如果一个交易已经在交易优先级队列140中存在超过预定的时间量（例如，10秒）而且该交易的优先级得分低，则清理模块38将把该交易移动到存档队列170。

通过把存档队列170中的交易单元移动到永久性存储装置190，存档模块39处理存档队列170中的交易单元。数据可以从永久性存储装置190提取以构成优先化规则195的一部分。操作人员16也可以提供优先化规则195。优先化规则195由优先化模块36用于优先化交易。

根据本发明的一种实施方式，当处理模块37具有未使用的容量时（例如，晚上当顾客比较少或者当商店关门时），来自永久性存储装置190的未处理交易可以被发送回优先化模块36以被重新处理。

图4A和4B说明了交易之间的优先级设置的两个阶段。图4A说明了优先化交易的第一个阶段。在该第一个阶段中，来自通道1-3的交易被发送到优先化模块36。基于由操作人员16提供的优先化规则和每个交易的特征，优先化模块36按照T₁至T_N的次序优先化交易，其中T₁具有最高的优先级。

例如，来自通道1的T₁具有最高的优先级，这是因为操作通道1的收银员已经被经理标记了。来自通道2的T₂被给予了高优先级，这是因为该交易包含三个无效物品。来自通道3的T₃也被给予了高优先级，这是因为整个交易都是无效的。但是，给予T₂的优先级高于T₃的，这是因为根据系统规则设计，单次交易中的三个无效物品被认为是比无效整个交易更违规的行为。来自通道2的T₄被给予高优先级，这是因为其交易包含物品扫描之间不平常长的持续时间。扫描之间的长持续时间有可能暗示在输入到交易中的物品之间收银员把物品从输入带移动到输出带而不把物品输入到交易中（即，物品被打包并被收银员带离，而没有被购买）。对于物品之间的长持续时间还有许多其它原因（例如，收银员停止打包物品），因此给予T₄比T₁-T₃低的优先级。比较而言，来自通道2的T_N被给予低优先级，这是因为它看起来是一般的交易。

图4B说明了优先化交易的第二阶段。在该第二阶段，优先化规则已经利用来自第一阶段的交易数据而被更新了。在第一阶段，来自通道2的收银员发布了多个可疑的交易。因此，优先化规则是基于该信息进行更新的。

在图4B所说明的第二阶段中，新的交易T₁至T_N被优先化模块36处理。来自通道2的T₁被给予最高优先级，这是因为第一阶段显示了来自同一收银员的多个可疑交易和大量的高价值物品。来自通道3的T₂被给予高优先级，这是因为来自通道3的同一收银员已经有两个领导重写(managerial overwrite)被发布。来自通道3的T₃被给予高优先级，这是因为同一个收银员被认为是可疑的。T₄被给予高优先级，这是因为顾客付的是现金。用现金支付意味着购买者的身份不能象例如在信用卡交易中那样被记录，因此在现金购买与欺诈之间存在相关性。但是，相对于在其之前被优先化的物品，这种相关性不是很强。T_N给予低优先级，这是因为现在不同的收银员在通道1工作而且该收银员没有被标记为可疑的。此外，交易T_N是个普通的、不可疑的交易。

图5说明了为交易单元分配优先级的示例性步骤的流程图。在步骤501中，智能切换程序取得用于分配优先级的初始输入。在步骤502中，智能切换程序启动统计采样模型来处理交易数据和视频流，这些交易数据和视频流被组合成交易单元。在步骤503中，智能切换程序分析每个交易单元的特征。这些特征包括但不限于：每个通道的活动等级，例如可以通过分析目标检测与跟踪算法来获得；关于交易数量与金钱数量的交易量；及近期历史中违规行为检测的结果，这种结果还用于更新历史数据以影响未来的优先级排序。在步骤504中，智能系统使用统计模型（例如，高斯、泊松、指数、均匀，等等）来确定交易单元的特征之间的相关性。在步骤505中，基于分析结果，每个交易单元都被给予一个优先级得分，并被放在交易优先级队列中。

图6说明了根据本发明的处理交易的示例性步骤的流程图。在步骤601中，监视系统预处理视频捕捉和交易数据，并且把它们变成可识别的单个交易单元。在步骤602中，优先化系统基于优先化规则优先化各单个交易单元。在步骤603中，系统确定一个交易单元是否具有要被处理的足够高的优先级。如果该交易单元具有相对高的优先级，则在步骤604中处理该交易。如果在步骤603中该交易单元不具有高优先级，则在步骤605中该交易单元直接被存档。在步骤604中处理该交易单元之后，在步骤606中捕捉并记录违规行为。来自步骤604的处理后的交易也在步骤605中被存档。对来自步骤605的所有交易的分析为在步骤607中更新优先化规则提供了基础。

Claims (13)

1.一种用于处理零售环境中的交易和视频数据的方法，包括：

从一个或多个硬件设备获得视频流和交易数据；

把所述视频流和交易数据组合成各单个交易单元；

为所述各单个交易单元中的每个交易单元确定处理优先级；及

基于每个交易单元的优先级，处理所述各单个交易单元中的一部分。

2.如权利要求1所述的方法，其中为每个交易单元确定处理优先级包括：

应用一组规则。

3.如权利要求2所述的方法，其中所述一组规则是通过交易数据动态更新的。

4.如权利要求1所述的方法，其中为每个交易单元确定处理优先级包括：

使用一种或多种统计模型来确定交易单元的特征之间的相关性。

5.如权利要求4所述的方法，其中所述一种或多种统计模型包括高斯、泊松、指数、均匀或者其它统计模型。

6.如任一在前权利要求所述的方法，还包括：

以相对优先级的次序把所述交易单元放到交易优先级队列中。

7.如权利要求6所述的方法，还包括：

在处理之后把处理后的交易单元从所述交易优先级队列移动到存档队列。

8.如权利要求7所述的方法，还包括：

把未处理的交易单元以规律的间隔从所述交易优先级队列移动到所述存档队列。

9.如权利要求8所述的方法，还包括：

存档所述存档队列的交易单元，以及

在存档之后把所述存档队列中的交易单元放到永久性存储装置中。

10.如任一在前权利要求所述的方法，其中所述零售环境包括多个收银员结账站，其中每个结账站都包括硬件设备，所述方法包括：

检测收银员所进行的违规行为。

11.如权利要求10所述的方法，还包括：

基于结账站处的现在和过去行为中的一个或多个来动态地选择结账站以进行监视。

12.一种用于处理视频和交易数据的计算机程序产品，包括具有体现在存储介质中的计算机可读程序代码的计算机可读存储介质，所述计算机程序代码在被执行时使所述计算机执行权利要求1至11任一项的步骤。

13.一种用于处理视频的系统，包括：

存储器；及

至少一个处理器，耦合到所述存储器并适于执行权利要求1至11任一项的步骤。

Images