CN103458225B - 用于包括修改的视频数据流的监视的方法和系统 - Google Patents

Abstract

本发明涉及用于包括修改的视频数据流的监视的方法和系统。系统、方法和计算机程序产品可以提供包括修改的视频数据流的监视。一种方法，可以包括在图像处理器处接收第一视频数据流和第二视频数据流，第一视频数据流和第二视频数据流中的每一个都可以包括具有分配的跟踪定位标签的目标对象。方法还可以包括从第一视频数据流中提取目标对象的第一面部图像，至少部分地基于跟踪定位标签来确定第二视频数据流中的目标对象位置，以及生成包括叠加于第二视频数据流中的目标对象位置之上或者与第二视频数据流中的目标对象位置相邻的第一人面部图像的修改的视频数据流。

Description

用于包括修改的视频数据流的监视的方法和系统

背景技术

本发明总体涉及监视领域，并且更具体地涉及包括修改的视频数据流的监视领域。

监视技术领域对于系统故障可能具有毁灭性的实际代价。单个差错或错误就能够引起非法活动，导致财产或信息被窃、财产损毁、人类生命遇袭或丧失。

发明内容

根据本发明的一个实施例，提供一种在计算机系统内实施的，用于包括修改的视频数据流的监视的方法。方法可以包括在图像处理器处接收第一视频数据流和第二视频数据流，第一视频数据流和第二视频数据流中的每一个可以包括具有分配的跟踪定位标签的目标对象。方法还可以包括从第一视频数据流中提取目标对象的第一面部图像，至少部分地基于跟踪定位标签来确定第二视频数据流中的目标对象位置，以及生成包括叠加于第二视频数据流中的目标对象位置之上的或与第二视频数据流中的目标对象位置相邻的第一面部图像的修改的视频数据流。

在本发明的一些实施例中，方法还可以包括至少部分地基于面部检测程序确定第二视频数据流包括目标对象的低级面部视图，该低级面部视图小于预定的面部视图阈值。附加地或备选地，方法可以包括向所述跟踪定位标签分配第一面部图像。附加地或备选地，方法可以包括在图像显示器上显示修改的视频数据流。附加地或备选地，方法可以包括至少部分地基于对对象跟踪程序的使用而确定跟踪定位标签，以及向所述目标对象分配跟踪定位标签。附加地或备选地，方法可以包括提取目标对象的第二面部图像，以及将第一面部图像和第二面部图像排名，其中排名可以至少部分地基于目标对象面部的最大覆盖。附加地或备选地，方法可以包括向所述跟踪定位标签分配第一面部图像和第二面部图像的最高排名。附加地或备选地，方法可以包括在数据库中存储第一面部图像和跟踪定位标签。附加地或备选地，方法包括将方向图标叠加至第二视频数据流中的目标对象的位置附近。

根据本发明的另一实施例，提供一种在计算机系统内实施的，用于包括修改的视频数据流的监视的方法。方法可以包括在图像处理器处接收第一视频数据流和第二视频数据流，第一视频数据流和第二视频数据流中的每一个可以包括具有分配的跟踪定位标签的目标对象，至少部分地基于面部检测程序来确定第二视频数据流包括目标对象的低级面部视图，低级面部视频小于面部视图阈值，从第一视频数据流中提取目标对象的第一面部图像，以及生成包括叠加于第二视频数据流中的目标对象位置之上的、或与第二视频数据流中的目标对象位置相邻的第一面部图像的修改的视频数据流。

在本发明的一些实施例中，方法还可以包括至少部分地基于跟踪定位标签来确定第二视频数据流中目标对象位置。附加地或备选地，方法可以包括向所述跟踪定位标签分配第一面部图像。附加地或备选地，方法可以包括至少部分地基于面部检测程序来确定第一视频数据流包括目标对象的可接受的面部视图，可接受的面部视图达到或超过面部视图阈值。附加地或备选地，方法可以包括提取目标对象的第二面部图像，以及将第一面部图像和第二面部图像排名，其中排名至少部分地基于目标对象面部的最大覆盖。在一些实施例中，第二成像设备可以包括移动成像设备。

根据本发明的另一实施例，提供一种在计算机系统内实现的，用于包括修改的视频数据流的监视的方法。方法可以包括在图像处理器处接收来自第一图像捕获设备的第一视频数据流，第一视频数据流包括具有分配的跟踪定位标签的目标对象，从第一视频数据流中提取目标对象的第一面部图像，在图像处理器处接收来自移动图像捕获设备的第二视频数据流，第二视频数据流包括具有分配的跟踪定位标签的目标对象，生成包括叠加于第二视频数据流中的目标对象位置之上的或与第二视频数据流中的目标对象位置相邻的第一面部图像的修改的视频数据流，以及向所述移动图像捕获设备发送修改的视频数据流。

根据本发明的另一实施例，计算机程序产品可以包括计算机可读存储媒介，该计算机存储媒介具有在其上具体化的计算机可读程序代码。计算机可读程序代码在被处理器读取时，可以被配置成在图像处理器处接收第一视频数据流和第二视频数据流，第一视频数据流和第二视频数据流中的每一个包括具有分配的跟踪定位标签的目标对象，至少部分地基于面部检测程序确定第二视频数据流包括目标对象的低级面部视图，低级面部视图小于面部视图阈值，从第一视频数据流中提取目标对象的第一面部图像并且生成包括叠加于第二视频数据流中的目标对象位置之上的或与第二视频数据流中的目标对象位置相邻的第一面部图像的修改的视频数据流。

在本发明的一些实施例中，计算机可读程序代码还可以被配置成至少部分地基于跟踪定位标签来确定第二视频数据流中的目标对象的位置。附加地或备选地，计算机可读程序代码还可以被配置成向所述跟踪定位标签分配第一面部图像。附加地或备选地，计算机可读程序代码还可以被配置成至少部分地基于面部检测程序来确定第一视频数据流包括目标对象的可接受的面部视图，可接受的面部视图达到或超过面部视图阈值。附加地或备选地，第二成像设备可以包括移动成像设备。

在本发明的又一实施例中，提供一种计算机。计算机可以包括处理器、存储器和/或包括存储在存储器中的多个指令的程序。多个指令可以由处理器执行，以在图像处理器处接收第一视频数据流和第二视频数据流，第一视频数据流和第二视频数据流中的每一个包括具有分配的跟踪定位标签的目标对象。多个指令还可以由处理器执行，以从第一视频数据流中提取目标对象的第一面部图像，至少部分地基于跟踪定位标签来确定第二视频数据流中的目标对象位置，并且生成包括叠加于第二视频数据流中的目标对象位置之上的或与第二视频数据流中的目标对象位置相邻的第一面部图像的修改的视频数据流。

在本发明的一些实施例中，多个指令还可以由处理器执行，以向跟踪定位标签分配第一面部图像，并且在存储器中存储第一面部图像和跟踪定位标签。附加地或备选地，多个指令还可以由处理器执行，以至少部分地基于面部检测程序来确定第二视频数据流包括目标对象的低级面部视图，低级面部视图小于面部视图阈值。

附图说明

图1是说明性实施例可以在其中实施的计算机系统的示例的图形表示。

图2是说明性实施例可以在其中实施的计算机的示例的框图。

图3是说明性实施例可以在其中实施的系统的示例的框图。

图4是包括目标对象的低级面部视图的视频数据流的图形表示。

图5包括目标对象的叠加的面部视图的修改的视频数据流的图形表示。

图6是包括修改的视频数据流的监视方法的示例。

图7是包括修改的视频数据流的监视方法的示例。

图8是包括修改的视频数据流的监视方法的示例。

具体实施方式

所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、方法或计算机程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。

也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。

图中的流程图和框图。计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上被执行，以产生计算机实施的进程，使得在计算机或其他可编程装置上执行的指令提供用于实施在流程图和/或框图一个或多个框中规定的功能/动作。

现在参照附图，尤其是参照图1-图2，提供了说明性实施例可以在其中实施的数据处理环境的示例性框图。应该理解，图1-图2仅是示例性的，而并非旨在主张或暗示关于不同的实施例可以在其中实施的环境的任何限制。可以对描绘的环境进行许多修改。

图1描绘了计算机系统的图形表示，概括地由100指示，并且包括说明性实施例可以在其中实施的计算机网络。计算机系统100可以包含网络102，该网络102是用于提供在计算机系统100内连接在一起的各种设备和计算机之间的通信链路的介质。网络102可以包括诸如电线、无线通信链路或光纤电缆之类的连接。

在所描绘的示例中，服务器104和服务器106、连同存储单元108可以连接至网络102。此外，第一客户端计算机110、第二客户端计算机112和第三客户端计算机114可以连接至网络102。客户端计算机110、112和114例如可以是个人计算机或网络计算机。在所描绘的示例中，服务器104可以向客户端计算机110、112和114提供数据，诸如引导文件、操作系统映像和/或软件应用。客户端计算机110、112和114在该示例中是针对服务器104的客户端。计算机系统100可以包括附加的服务器、客户端和其他未示出的设备，或可以包括比所示出的设备更少的设备。

在描绘的示例中，网络102可以是因特网或可以包括因特网。计算机系统100还可以用若干不同类型的网络(诸如例如内联网、局域网(LAN)或广域网(WAN))实施。图1旨在作为示例，而不在作为针对不同的说明性实施例的架构限制。

现在参照图2，示出了说明性实施例可以在其中实施的数据处理系统的框图。数据处理系统200是计算机或计算机系统的示例，计算机或计算机系统诸如服务器、客户端计算机、游戏系统、个人数字助理(pda)、智能手机、移动装置或任何其他可以像计算机一样运作的计算机或设备，其中可以针对说明性实施例定位实施过程的计算机可用程序代码或指令。在该说明性示例中，数据处理系统200包括通信结构202，其提供在处理器单元204、存储器206、永久存储装置208、通信单元210、输入/输出(I/O)单元212和显示器214之间的通信。

处理器单元204可以服务于为可以被加载进存储器206的软件执行指令。处理单元204取决于具体的实施可以是一个或多个处理器的集合，或者可以是多个处理器核。另外，可以使用一个或多个异构处理器系统来实现处理单元204，其中主处理器和次处理器存在于单个芯片上。作为另一说明性示例，处理器单元204可以是包含多个相同类型的处理器的对称式多处理器系统。

存储器206和永久存储装置208是存储设备的示例。存储设备可以包括任何一件能够临时和/或永久存储信息的硬件。存储器206例如可以包括随机存取存储器或任何其他合适的易失性或非易失性存储设备。永久存储装置208可以取决于特定的实施采取各种形式。例如，永久存储装置208可以包含一个或多个组件或设备。例如，永久存储装置208可以包括硬盘驱动器、闪存、可重写光盘、可重写磁带或以上的一些组合。被永久存储装置208使用的介质也可以是可移除的。例如，可移除的硬盘可以用于永久存储装置208。

通信单元210可以提供与其他数据处理系统或设备和/或一个或多个诸如局域网(LAN)、通用广域网(WAN)和/或公用网络(例如因特网)之类的网络的通信。通信单元210的一些实施例可以包括网络接口卡。通信单元210可以通过使用物理和无线通信链路中的任一个或这两者来提供通信。

输入/输出单元212可以允许与可以连接至数据处理系统200的其它设备的数据输入和输出。例如，输入/输出单元212可以通过键盘和鼠标提供用于用户输入的连接。另外，输入/输出单元212可以向打印机发送输出。显示器214可以提供向用户显示信息的机制。显示器214可以包括触摸屏215。

用于操作系统和应用或程序的指令可以位于永久存储装置208上。这些指令可以被加载入存储器206中用于被处理器单元204执行。不同实施例的过程可以被处理器单元204使用计算机实施的指令执行，该指令可以位于诸如存储器206之类的存储器中。这些指令被称为程序代码、计算机可用程序代码或计算机可读程序代码，它们可以被处理器单元204中的处理器读取并执行。不同实施例中的程序代码可以在诸如存储器206或永久存储体208之类的不同物理的或有形的计算机可读介质上具体化。

程序代码216可以以功能的形式位于选择性地可移动的计算机可读介质218上，并且可以被加载或转移至数据处理系统200上以用于被处理器单元204执行。程序代码206和计算机可读介质218可以形成计算机程序产品220。在一个示例中，计算机可读介质218可以处于有形形式，诸如插入或置入驱动器或作为永久存储装置208的一部分的其他设备内以用于传送到存储设备的光盘或磁盘，存储设备诸如作为永久存储体208的一部分的硬盘驱动器。在有形形式的情况下，计算机可读介质218也可以采用永久存储装置的形式，诸如连接至数据处理系统200的硬盘驱动器、拇指驱动器或闪存。计算机可读介质218的有形形式还称为计算机可记录存储介质。在某些情况下，计算机可记录介质218可能是不可移除的。

备选地，可以通过到通信单元210的通信链路和/或通过到输入/输出单元212的连接而将程序代码216从计算机可读介质218转移至数据处理系统200。通信链路和/或连接在说明性示例中可以是物理的或无线的。计算机可读介质还可以采取非有形介质的形式，诸如包含程序代码的通信链路或无线传输。

针对数据处理系统200示例说明的不同组件并不意味着提供对不同实施例可以在其中实施的方式的架构上的限制。不同说明性实施例可以在如下数据处理系统内实施，该数据处理系统包括附加于或代替针对数据处理系统200示例说明的组件的组件。图2中示出的其他组件可以不同于所示出的说明性实施例。作为一个示例，数据处理系统200中的存储设备可以包括可以存储数据的硬件装置。存储器206、永久存储装置208和计算机可读介质218是有形形式的存储设备的示例。

在另一示例中，总线系统可以用于实施通信结构202，并可以由一条或多条诸如系统总线或输入/输出总线之类的总线组成。总线系统可以使用任何合适的提供附着于总线系统的不同组件或设备之间的数据转移的架构来实施。此外，通信单元可以包括用于发送或接收数据的一个或多个设备，诸如调制解调器或网络适配器。另外，存储器例如可以包括存储器206或诸如在可能存在于通信结构202中的接口和存储器控制器集线器中找到的高速缓存。

系统，诸如在图1和图2中图示的系统，可能在监视技术领域中有用。系统100、200可以在从飞机、火车、公司总部、政府建筑、核电站、军事设施、商店、银行、交叉路口以及要求安全性的任何其他潜在目标或区域的各种位置中合并。监控安全区域要求大量的基础设施：摄像机、监视器、计算机、网络等。该系统然后要求人员来操作并监视安全系统。甚至在所有这一投入和持续的运营成本之后，通过跨多个摄像机的环境来跟踪人员或车辆仍然充满了人为错误的可能性。

现在参照图3，监视系统300可以包括安装以用于覆盖监视区域的多个视频摄像机和/或其他图像捕获设备。例如，在交通交叉路口，第一图像捕获设备302、第二图像捕获设备304、第三图像捕获设备305可以分别安装在不同角度，使得每个设备302、304和305可以分别提供具有监视区域的视野或视角的第一视频数据流306、第二视频数据流308和第三视频数据流309。视频数据流306、308、309可以被记录，供以后在显示器上查看，立即在摄相机上或摄相机附近的显示器上查看，和/或经由任何本技术领域的技术人员已知的装置发送以供远程查看。

在图3示出的示例中，视频数据流306、308、309被发送至图像处理器310。图像处理器310可以包括跟踪模块312、面部提取模块314、存储器316、显示器318和/或修改模块320中的一个或多个。附加地和/或备选地，在其他实施例中，图像捕获设备302、304、305中的一个或多个可以包括图像处理器、跟踪模块、面部提取模块、存储器和/或修改模块中的一个或多个。

可以使用跟踪模块312来跟踪目标对象，诸如感兴趣的人员，跟踪模块312包括被本技术领域的技术人员已知的跟踪软件。跟踪软件可以被配置成跨多个视频数据流306、308、309跟踪目标对象。例如，目标对象可以被分配唯一的跟踪定位标签。至少部分地基于跟踪定位标签，可以跨视频数据流306、308、309中的每个视频数据流来跟踪目标对象。例如，在视频数据流之一中的目标对象的位置可以至少部分地基于跟踪定位标签而确定。跟踪定位标签可以被存储在存储器或数据库316中。

面部提取模块314可以包括被配置成在视频数据流(例如第一视频数据流306)中提取目标对象的面部视图的面部捕获软件。面部视图可以被存储在数据库316中。附加地和/或备选地，面部视图可以被分配给跟踪定位标签。

在一些实施例中，面部检测程序可以确定视频数据流(例如第二视频数据流308)包括目标对象的低级面部视图。面部检测程序可以包括面部视图阈值，并且对第二视频数据流308包括低级面部视图的确定可以至少部分地基于面部视图小于面部视图阈值。面部视图阈值可以从0.0％面部视图到100％面部视图变动。

在一些实施例中，面部捕获软件可以从视频数据流306、308、309中的一个或多个中提取多个面部视图。面部检测程序可以将多个面部视图排名。例如，排名可以至少部分地基于目标对象面部的最大覆盖。目标对象面部的最大覆盖可以基于面部可视的百分比、光照、聚焦、表情和/或本技术领域的技术人员已知的任何其他因素。面部图像的最高排名可以被分配给跟踪定位标签和/或存储进数据库。

包括阈值以下的面部视图(即低级面部视图)的第二视频数据流308可以表明目标对象面部在第二视频数据流308中非清晰可见。包括低级面部视图的第二视频数据流308可以被修改以包括高级面部视图。高级面部视图可以包括分配给跟踪定位标签的面部视图、从第一视频流306中提取的面部视图和/或最高排名面部视图中的一个或多个。例如，修改模块可以生成包括高级面部视图的修改的视频数据流。高级面部视图可以叠加于或者覆盖于第二视频数据流中的目标对象的位置之上、或者与第二视频数据流中的目标对象的位置相邻。修改的视频数据流322可以被发送至成像设备302、304、305中的一个或多个和/或在显示器318上被查看。

在一些实施例中，修改的视频数据流322还可以包括第二视频数据流中的目标对象的位置附近的方向图标，诸如箭头。方向图标可以例如在第二视频数据流中存在若干目标对象和/或目标对象部分或全部地隐藏在阻挡对象之后的情况下有用。

在一些实施例中，图像捕获设备302、304、305中的一个或多个可以包括移动图像捕获设备。例如，第三图像捕获设备305可以包括移动图像捕获设备。移动图像捕获设备可以包括具有摄像机的移动电话或被本技术领域的技术人员已知的任何其他移动图像捕获设备。移动图像捕获设备还可以包括移动显示器324。

图像处理器310可以接收来自移动图像捕获设备的视频数据流309，并且确定视频数据流309包括低级面部视图。图像处理器310可以生成包括覆盖于目标对象的位置之上或者与目标对象的位置相邻的面部视图的修改的视频数据流322，并且可以向移动图像捕获设备发送修改的视频数据流322。用户可以在移动显示器324上查看修改的视频数据流。因此，远程移动操作员可以在无须改变目标对象的位置和/或关注他或她自身的情况下查看他或她的面部视图。

图4示出了展示第二视频数据流的显示器400，该第二视频数据流包括具有目标对象位置的两个目标对象402。两个目标对象402都可以被确定包括低级面部视图，因为第二视频数据流中的目标对象的面部并非清晰可见。图5示出了展示修改的视频数据流的显示器，该修改的视频数据流包括叠加在两个目标对象的位置之上的目标对象402的面部视图404。查看修改的视频数据流的用户能够在无须查看提供不同视图的另一视频数据流或等待两个目标对象转身的情况下，立即确定两个目标对象的身份。

现在参照图6，提供一种在计算机系统内实施的用于包括修改的视频数据流的监视的方法示例500。尽管图5示出了根据一个实施例的方法的示例性步骤，但是其他实施例可以省略、添加和/或修改在该图中示出的任何步骤。在步骤502中，第一视频数据流和第二视频数据流可以在图像处理器被接收。第一视频数据流和第二视频数据流中的每一个都可以包括具有分配的跟踪定位标签的目标对象。在步骤504中，目标对象的第一面部图像可以从第一视频数据流中提取。在步骤506中，第二视频数据流中的目标对象的位置可以至少部分地基于跟踪定位标签来确定。在步骤508中，可以生成包括叠加于第二视频数据流中目标对象位置之上或者与第二视频数据流中目标对象位置相邻的第一面部图像的修改的视频数据流。

方法500可以包括其他步骤。例如，方法500可以包括至少部分地基于面部检测程序来确定第二视频数据流包括目标对象的低级面部视图，低级面部视图小于预定的面部视图阈值。附加地和/或备选地，方法500可以包括将第一面部图像分配给跟踪定位标签。附加地和/或备选地，方法500可以包括在图像显示器上显示修改的视频数据流。附加地和/或备选地，方法500可以包括至少部分地基于使用对象跟踪程序来确定跟踪定位标签以及向目标对象分配跟踪定位标签。

附加地和/或备选地，方法500可以包括提取目标对象的第二面部图像并将第一面部图像和第二面部图像排名，其中排名至少部分地基于目标对象面部的最大覆盖。附加地和/或备选地，方法500可以包括将第一面部图像和第二面部图像的最高排名分配给跟踪定位标签。附加地和/或备选地，方法500可以包括在数据库中存储第一面部图像和跟踪定位标签。附加地和/或备选地，方法500可以包括将方向图标叠加到第二视频流中目标位置附近。

现在参照图7，提供一种在计算机系统内实施的用于包括修改的视频数据流的监视的方法示例600。尽管图7示出了根据一个实施例的方法的示例性步骤，但是其他实施例可以省略、添加和/或修改该图中出示的任何步骤。在步骤602中，第一视频数据流和第二视频数据流可以在图像处理器处被接收。第一视频数据流和第二视频数据流中的每一个都可以包括具有分配的跟踪定位标签的目标对象。在步骤604中，第二视频数据流可以至少部分地基于面部检测程序被确定为包括目标对象的低级面部视图。低级面部视图可以小于面部视图阈值。在步骤606中，目标对象的第一面部视图可以从第一视频数据流中被提取。在步骤608中，可以生成包括叠加于第二视频数据流中的目标对象位置之上的或与第二视频数据流中的目标对象位置相邻的修改的视频数据流。

方法600可以包括其他步骤。例如，方法600可以包括至少部分地基于跟踪定位标签来确定第二视频数据流中的目标对象的位置。附加地和/或备选地，方法600可以包括向跟踪定位标签分配第一面部图像。附加地和/或备选地，方法600可以包括至少部分地基于面部检测程序来确定第一视频数据流包括可接受的目标对象的面部视图，可接受的面部视图达到或超过面部视图阈值。附加地和/或备选地，方法600可以包括提取目标对象的第二面部图像，并将第一面部图像和第二面部图像排名，其中排名至少部分地基于目标对象面部的最大覆盖。在一些实施例中，第二成像设备可以包括移动成像设备。

现在参照图8，提供一种在计算机系统内实施的用于包括修改的视频数据流的监视的方法示例700。尽管图示8出了根据一个实施例的方法的示例性步骤，但是其他实施例可以省略、添加和/或修改图中示出的任何步骤。在步骤702中，来自第一图像捕获设备的第一视频数据流可以在图像处理器被接收，第一视频数据流可以包括具有分配的跟踪定位标签的目标对象。在步骤704中，目标对象的第一面部图像可以从第一视频数据流中被提取。在步骤706中，来自移动图像捕获设备的第二视频数据流可以在图像处理器处被接收，第二视频数据流可以包括具有分配的跟踪定位标签的目标对象。在步骤708中，可以生成包括叠加于第二视频数据流中的目标对象位置之上的或者与第二视频数据流中的目标对象位置相邻的第一面部图像的修改的视频数据流，并且在步骤710中，可以向移动图像捕获设备发送修改的视频数据流。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些备选的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

一些实施例可以被描述为如下：本发明可以包括多摄像机视频监视系统(其中多个摄像机从不同角度/方位来记录位置)。在来自第一摄像机的视频流中，如果存在面部并非清晰可见的人(包括人员完全转离该摄像机)，则本发明可以从监视系统中的另一摄像机获得人员的面部镜头，并可以覆盖视频中该人员的面部。这使得该视频的查看者在无需从系统中其他的摄像机查看的情况下容易地跟踪视频中的人。

当任何人员的面部从一个角度并非清晰可见时，系统的一些实施例可以能够覆盖他的最佳可能的面部。系统的一些实施例可以包括移动电话摄像机，其中移动电话摄像机可以被导向背身站立(stand backward)的一组人，并且那些人的清晰可见面部将被覆盖。

此处使用的术语仅用于描述特定实施例的目的，且并非旨在对本法明的限制。如此处所使用的，单数形式的“一”、“一种”、“所述”旨在同样包括复数形式，除非明确做出另外指示。将进一步明白的是，当在本说明书中使用术语“包括”、“包含”时，规定所阐述的特征、整体(integer)、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件及其群组的存在或附加。

以下权利要求中相应的结构、材料、行为和所有装置或步骤加上功能元件的等价物，旨在包括与其他主张了权利要求的元素结合起来以特别要求的方式执行功能的任何结构、材料或行为。呈现对本发明的不同实施例的描述用于示例说明目的，并非旨在排他或对披露的实施例的限制。许多修改和变化将在不偏离所描述的实施例的精神和范围的情况下对本技术领域的普通技术人员显而易见。此处使用的术语被选择用于最佳解释实施例、实践应用或对市场中发现的技术在技术上的改进的原理，或用于使本技术领域的其他普通技术人员理解此处披露的实施例。

Claims (24)

1.一种用于视频数据流的监视的方法，包括：

在图像处理器处接收对应于第一视角的第一视频数据流和对应于第二视角的第二视频数据流，所述第一视频数据流和所述第二视频数据流中的每一个包括具有分配的跟踪定位标签的目标对象；

从所述第一视频数据流中提取所述目标对象的第一面部图像；

至少部分地基于所述跟踪定位标签来确定所述第二视频数据流中的目标对象位置；以及

生成修改的视频数据流，所述修改的视频数据流包括叠加于所述第二视频数据流中的所述目标对象位置之上的、或者与所述第二视频数据流中的所述目标对象位置相邻的所述第一面部图像。

2.根据权利要求1所述的方法，还包括：

至少部分地基于面部检测程序来确定所述第二视频数据流包括所述目标对象的低级面部视图，所述低级面部视图小于预定的面部视图阈值。

3.根据权利要求1所述的方法，还包括：

向所述跟踪定位标签分配所述第一面部图像。

4.根据权利要求1所述的方法，还包括：

在图像显示器上显示所述修改的视频数据流。

5.根据权利要求1所述的方法，还包括：

至少部分地基于对对象跟踪程序的使用而确定所述跟踪定位标签；以及

向所述目标对象分配所述跟踪定位标签。

6.根据权利要求1所述的方法，还包括：

提取所述目标对象的第二面部图像；以及

将所述第一面部图像和所述第二面部图像排名，其中所述排名至少部分地基于目标对象面部的最大覆盖。

7.根据权利要求6所述的方法，其中：

向所述跟踪定位标签分配所述第一面部图像和所述第二面部图像的所述最高排名。

8.根据权利要求3所述的方法，还包括：

在数据库中存储所述第一面部图像和所述跟踪定位标签。

9.根据权利要求1所述的方法，还包括：

将方向图标叠加到所述第二视频数据流中的所述目标对象的所述位置附近。

10.一种用于视频数据流的监视的方法，包括：

在图像处理器处接收对应于第一视角的第一视频数据流和对应于第二视角的第二视频数据流，所述第一视频数据流和所述第二视频数据流中的每一个包括具有分配的跟踪定位标签的目标对象；

至少部分地基于面部检测程序来确定所述第二视频数据流包括所述目标对象的低级面部视图，所述低级视图小于面部视图阈值；

从所述第一视频数据流中提取所述目标对象的第一面部图像；以及

生成修改的视频数据流，所述修改的视频数据流包括叠加于所述第二视频数据流中的目标对象位置之上的、或者与所述第二视频数据流中的目标对象位置相邻的所述第一面部图像。

11.根据权利要求10所述的方法，还包括：

至少部分地基于所述跟踪定位标签来确定所述第二视频数据流中的所述目标对象位置。

12.根据权利要求10所述的方法，还包括：

向所述跟踪定位标签分配所述第一面部图像。

13.根据权利要求10所述的方法，还包括：

至少部分地基于所述面部检测程序来确定所述第一视频数据流包括所述目标对象的可接受的面部视图，所述可接受的面部视图达到或超过所述面部视图阈值。

14.根据权利要求10所述的方法，还包括：

提取所述目标对象的第二面部图像；以及

将所述第一面部图像和所述第二面图像排名，其中所述排名至少部分地基于目标对象面部的最大覆盖。

15.根据权利要求10所述的方法，其中：

第二成像设备包括移动成像设备。

16.一种用于视频数据流的监视的方法，包括：

在图像处理器处接收来自第一图像捕获设备的第一视频数据流，所述第一视频数据流包括具有分配的跟踪定位标签的目标对象；

从所述第一视频数据流中提取所述目标对象的第一面部图像；

在所述图像处理器处接收来自移动图像捕获设备的第二视频数据流，所述第二视频数据流包括具有所述分配的跟踪定位标签的所述目标对象；

生成修改的视频数据流，所述修改的视频数据流包括叠加于所述第二视频数据流中的所述目标对象位置之上的、或者与所述第二视频数据流中的目标对象位置相邻的所述第一面部图像；以及

向所述移动图像捕获设备发送所述修改的视频数据流。

17.根据权利要求16所述的方法，还包括：

至少部分地基于面部检测程序来确定所述第二视频数据流包括所述目标对象低级面部视图，所述低级面部视图小于面部视图阈值。

18.一种用于视频数据流的监视的系统，包括：

用于在图像处理器处接收对应于第一视角的第一视频数据流和对应于第二视角的第二视频数据流的装置，所述第一视频数据流和所述第二视频数据流中的每一个包括具有分配的跟踪定位标签的目标对象；

用于至少部分地基于面部检测程序确定所述第二视频数据流包括所述目标对象的低级面部视图的装置，所述低级面部视图小于面部视图阈值；

用于从所述第一视频数据流中提取所述目标对象的第一面部图像的装置；以及

用于生成修改的视频数据流的装置，所述修改的视频数据流包括叠加于所述第二视频数据流中的目标对象位置之上的、或者与所述第二视频数据流中的目标对象位置相邻的所述第一面部图像。

19.根据权利要求18所述的系统，还包括：

用于至少部分地基于所述跟踪定位标签来确定所述第二视频数据流中的所述目标对象的位置的装置。

20.根据权利要求18所述的系统，还包括：

用于向所述跟踪定位标签分配所述第一面部图像的装置。

21.根据权利要求18所述的系统，还包括：

用于至少部分地基于所述面部检测程序来确定所述第一视频数据流包括所述目标对象的可接受的面部视图的装置，所述可接受的面部视图达到或超过所述面部视图阈值。

22.根据权利要求18所述的系统，其中:

第二成像设备包括移动成像设备。

23.一种用于视频数据流的监视的系统，包括:

用于在图像处理器处接收对应于第一视角的第一视频数据流和对应于第二视角的第二视频数据流的装置，所述第一视频数据流和所述第二视频数据流中的每一个包括具有分配的跟踪定位标签的目标对象；

用于至少部分地基于面部检测程序来确定所述第二视频数据流包括所述目标对象的低级面部视图的装置，所述低级面部视图小于面部视图阈值；

用于从所述第一视频数据流中提取所述目标对象的第一面部图像的装置；以及

用于生成修改的视频数据流的装置，所述修改的视频数据流包括叠加于所述第二视频数据流中的目标对象位置之上的、或者与所述第二视频数据流中的目标对象的位置相邻的所述第一面部视图。

24.一种用于视频数据流的监视的系统，包括：

用于在图像处理器处接收来自第一图像捕获设备的第一视频数据流的装置，所述第一视频数据流包括具有分配的跟踪定位标签的目标对象；

用于从所述第一视频数据流中提取所述目标对象的第一面部图像的装置；

用于在所述图像处理器处接收来自移动图像捕获设备的第二视频数据流的装置，所述第二视频数据流包括具有所述分配的跟踪定位标签的所述目标对象；

用于生成修改的视频数据流的装置，所述修改的视频数据流包括叠加于所述第二视频数据流中的目标对象位置之上的、或者与所述第二视频数据流中的目标对象位置的所述第一面部图像；以及

用于向所述移动图像捕获设备发送所述修改的视频数据流的装置。