CN1332349C - 应用基于外貌和几何特征的统计模型的图形处理系统中的人的标记 - Google Patents

Abstract

图像处理系统(10)处理一个图像序列，以为将被标记的每个不同的人产生一个统计模型。一个给定被标记人的统计模型包括至少一个外貌特征，例如颜色，肌理等，以及至少一个几何特征，例如形状或一或多个图像中相似外貌指定区域的位置。模型被用于后续图像，以执行对人的检查，定位和/或跟踪操作。根据操作结果控制图像处理系统的动作。

Description

应用基于外貌和几何特征的统计模型的图形处理系统中的人的标记

发明领域：

本发明一般的涉及图像处理领域，更具体的涉及在一个图像处理系统中实现人的标记的技术。

发明背景：

图形处理系统中的人的标记一般涉及描述在一个图像或一个视频信号的图像序列中观测到的个人特性的过程，并且利用该特性描述以决定同一个人是否出现在一个或多个后续图像中。一个检测到的人由相关的特性来标记，并且能够因此被识别为后续图像中已标记的人。人的标记的过程与人的识别过程的不同之处在于，标记过程中不必包括一个作为具体已知个人的特定个人的明确标识。相反其仅产生一个指示，表明在当前图像中的个人确实与以前图像中检测到的个人相匹配。个人标记过程还归于个人匹配。

传统的个人标记一般包括基于外貌或基于几何学的算法的使用。基于外貌的算法包括诸如模板匹配和颜色直方图的技术。用于几何学算法的特征的例子，包括大小，形状等等。但是，传统的技术不能把外貌和几何特征以这样一种方式结合，从而为图像处理系统提供效率更高和更有效的个人标记。

发明摘要

本发明通过提供一种方法和设备，使外貌特征和几何特征都被包括到一特定已标记个人的统计模型中，从而解决上述传统个人标记技术的问题。为出现在一个特定的视频片断的图像或其他图像序列中的一组特定的人生成的统计模型，可以用于检查，定位和跟踪在随后处理的图像中的人。

根据本发明的一个方面，一个图像处理系统处理一个图像序列，为大量不同的将被标记人中的每一个人产生一个统计模型，从而使其在后续的图像中能被识别。特定已标记个人的统计模型包括至少一个外貌特征，如颜色，肌理等等，和至少一个几何特征，如在一个或多个图像中相似外貌的一个指定的区域的形状或位置。此模型用于随后的图像以执行人的检查，定位和/或跟踪操作。根据操作的结果控制图像处理系统的一个动作。

根据发明的另一个方面，可以通过把一个或多个图像分为相似外貌的许多N个不同区域，生成特定已标记人的统计模型。

根据发明的又一个方面，为一个特定个人生成的统计模型可以是似然概率函数的形式，表明该人出现在一个特定图像或一组图像中的似然性。

如前所述，本发明的一个重要优点是应用包括外貌和几何特征的统计模型。组合这些不同类型特征的模型的使用有效地提高了个人标记处理的性能。例如，这种方法确保系统将较少可能混淆在特定图像序列中彼此交叉的人或被其他物体部分遮住的人。

本发明能够在广泛的图像处理应用领域中应用，如视频会议系统，视频监控系统，和人机交流。

附图的简要说明

图1是一个可以实现本发明的图像处理系统的框图。

图2说明按照本发明的人的标记过程的示例。

图3说明一个变换操作，可以被用于按照本发明的人的标记过程。

图4是一个示意按照本发明的人的标记过程的流程图。

详细描述

图1显示一个图像处理系统10，在其中可以实现按照本发明的人的标记技术。系统10包括一个处理器12，一个存储器14，一个输入/输出(I/O)设备15和一个控制器16，他们通过一个或多个系统总线或其它类型接线的设备17连接起来进行通信。如图所示，系统10还包括一个照相机18，其与控制器16连接。照相机18可以是，例如，一个机械全景(PTZ)照相机，一个广角电子聚焦照相机，或任何其他适合类型的图像捕捉设备。因此应该理解，其中所用的术语照相机意味着包括任何形式的图像捕捉设备，也包括任何多配置的这样的设备。

系统10可以在任何大量处理不同图像的应用中被采用，包括：如，视频会议系统，视频监控系统，和人机接口等等。更一般的，系统10能被用于任何应用，其能得益于根据本发明所提供的改进的人的标记能力。

操作上，图像处理系统10产生个人20的一个视频信号或其它类型的图像序列。调整照相机18，使个人20位于照相机18的视域22之内。在应用本发明的人的标记技术的系统10中处理由照相机18产生的与图像序列相应的一个视频信号，这将在下面作更详细的描述。可以根据对在特定的图像序列中特定的已标记的个人的检查，调整系统的一个输出。例如，一个视频会议系统，人机接口或其它类型的系统应用，可以产生一个探询或其他输出或根据对已标记个人的检查而采取的另一类型的动作。任何其他类型系统动作的控制可以根据至少部分的基于个人标记检查。

系统10的元件或组件可以代表一个另外的常规桌面或便携式电脑的相应元件，或这些元件的一部分或组合和其他处理设备。此外，在发明的其他实施例中，处理器12，存储器14，控制器16，和/或系统10的其他元件的一些或全部功能可以组合成一个设备。例如，一个或多个系统10的元件可以实现为一个计算机，电视，机顶盒或其他处理设备中的专用集成电路(ASIC)或电路卡。

其中用到的术语“处理器”意味着包括一个微处理器，中央处理单元(CPU)，微控制器，数字信号处理器(DSP)或任何其他用于特定图像处理系统的数据处理元件。此外，应该注意存储器14可以代表一个电子存储器，一个光或磁盘存储器，一个带式存储器，或者这些设备和其它类型的存储设备的全部或部分组合。

本发明通过基于外貌特征和几何特征的统计模型对常规的个人标记技术加以改进。其中所用的术语“标记”一般涉及统计模型的生成，用以在特定图像序列的一个或多个中描述特定个人的特性。这种方法中已标记的个人能够在一个或多个随后图像的同一序列或另一个序列中，检查，定位或跟踪。

图2说明一个按照本发明的人的标记过程的示例。在系统10中生成和处理包括个人20的图像25，使图像分解为N个不同的相似外貌的区域。索引r用于识别区域中的一个特定区域。

在这个例子中，图像25被分解为全部N＝3个不同区域，对应原始图像25的26-1，26-2，26-3部分。P(I|Ω)表示为特定个人Ω生成的统计模型的似然概率函数，并且指明个人Ω在特定图像I中出现的可能性。个人Ω的统计模型的似然概率函数P(I|Ω)可以计算为：

$P\left(I\right|Q)=\underset{r=\mathrm{1,2},...N}{\mathrm{\Σ}}P\left(R_r\right|\mathrm{\Ω})P\left(r\right|\mathrm{\Ω}),$

其中Rr是至少一个外貌特征和至少一个几何特征的函数。外貌特征可以包括颜色，肌理等等，几何特征可以包括区域形状和在图像中的相关区域位置。

图2中说明的人的标记的一般过程包括从一个或多个图像中建立个人的统计模型，并且应用这些模型在后续的图像中检查和定位已标记的个人。

这个过程还能够被设定为跟踪已标记的个人，这将结合图3予以详细的描述。让P(I|T，ξ，Ω)成为个人Ω的统计模型的似然概率函数。T是一个线性变换，用于捕捉在图像空间中的人的整体移动，ξ是一个离散变量，用于在给定的时间点捕捉人的局部移动，其中术语“局部移动“意味着包括发音移动，如，整体移动的不同部分的相关移动。举例，在一个屋子里的个人位置能够从线性变换T中得到，同时个人的姿态(站，坐等等)能够由离散变量ξ确定。

图3说明线性变换T的作用。如图所示，线性变换用来获得图像I的一个子窗口30，不随角度和比例变化。线性变量T用在图像I中涉及的点Xc上，一个旋转角度，一个比例因子的双线性的插值技术来实现。

上述的局部移动通过用变量ξ的状态{ξ₁，ξ₂，...ξ_M}离散组合捕捉人Ω的M个不同姿态来模拟。

本发明的人的标记过程中的图像个人Ω的检查和定位可以用以下最大概似法搜索来实现：

$T^{*}=\underset{T}{\arg \max }\underset{\∀\mathrm{\ξ}}{\mathrm{\Σ}}P\left(I\right|T,\mathrm{\ξ},\mathrm{\Ω})P\left(\mathrm{\ξ}\right|\mathrm{\Ω}).$

跟踪已标记的个人，与检查和定位相反，利用已知位置的历史纪录和以前图像的个人姿态，如，特定视频片断的前帧。对于一个视频片断V_t＝(I₀，I₁，I₁，...I_t}，似然概率P(V_t|T_t，ξ_t，T_t-1，ξ_t-1，...，T₀，ξ₀，Ω)被最大化，以获得最适宜的个人轨迹(T₀ ^*，ξ₀，T₁ ^*，ξ₁，...，T_t ^*，ξ_t)。最大似然搜索提供了已标记个人的跟踪，并且能够用已知的传统技术有效地实现，如维特比运算法则或向前-向后运算法则。

一个视频序列的似然概率能够根据单个帧的似然概率纪录为：

P(V_t|T_t，ξ_t，T_t-1，ξ_t-1，...，T₀，ξ₀，Ω)＝

P(I_t|T_t，ξ_t，Ω)P(T_t|T_t-1，...，T₀，Ω)P(ξ_t|ξ_t-1，...，ξ₀，Ω)

其中P(T_t|T_t-1，...、，T₀)描述整体移动模型的特性并能够通过，如一个凯尔曼过滤器来实现，并且P(ξ_t|ξ_t-1，...，ξ₀，Ω)描述局部移动的特性，并能够利用转换矩阵的一阶马尔可夫模型实现。

按照本发明，上述类型的不同统计模型为每一个出现在特定视频片断或其它类型图像序列的个人而产生。通过将每一个已标记的轨迹与最匹配的模型的识别符关联，个人标记过程能够提供检查，定位和跟踪。

如前所述，本发明的一个重要的优点是其利用统计模型，包括外貌和几何特征。结合这些不同类型特征的模型的应用，极大的提高了人的标记过程的性能。例如，这种方法确保系统将更少可能在视频帧序列中混淆彼此交叉的个人或被其他物体部分遮住的个人。

基于外貌和几何特征的统计模型的生成将更详细地描述。为了简单而清楚地说明，个人Ω的图像I中的像素可以认为彼此独立。换句话说，

$P\left(I\right|T,\mathrm{\ξ},\mathrm{\Ω})=\underset{\mathrm{pixeI}}{\mathrm{\Σ}}P\left(\mathrm{pix}\right|T,\mathrm{\ξ},\mathrm{\Ω}).$

结合图2如前所述，r是一个相似外貌的区域的索引，N是这些区域的总数，r＝1，2，......，N，所以：

$\left(\mathrm{pix}\right|T,\mathrm{\ξ},\mathrm{\Ω})=\underset{r=1,...,N}{\max }\left[P\left(\mathrm{pix}\right|r,T,\mathrm{\ξ},\mathrm{\Ω})P\left(r\right|\mathrm{\ξ},\mathrm{\Ω})\right],$

其中P(pix | r，T，ξ，Ω)是观察像素pix的概率，假设其属于在那个姿态下的个人模型的第r个区域，而P(r|ξ，Ω)是那个姿态下的区域的前概率。为了处理遮断和新的曝光，可以使用一个连续的概率加入一个假区域，

P(pix|r_occlusion，T，ξ，Ω)P(r_occlusion|ξ，Ω)＝P_occlusion，

图像中的每一个像素可以通过其位置x(一个平面向量)和其外貌特征f(颜色，肌理等等)来描述特性，

P(pix|r，T，ξ，Ω)＝P(x|r，T，ξ，Ω)P(f|r，T，ξ，Ω)，

其中P(x|r，T，ξ，Ω)和P(f|r，T，ξ，Ω)都可以近似为其特征空间的高斯分布。上述外貌特征向量f能从特定的像素本身或从特定的像素周围的指定相邻像素中得到。如前所述，这些外貌特征的例子包括颜色和肌理。颜色特征可以根据已知的色系的参数，如RGB，HIS，CIE等来确定。肌理特征可以用已知的常规技术如边界检查，肌理梯度，伽柏筛选，tamura特征生成等。

图4是一个总结上述本发明人的标记过程的流程图。步骤40中，处理一个视频片断或其它类型的图像序列，为已标记的个人Ω P(I|T，ξ，Ω)生成一个基于外貌和几何的统计模型P(I|T，ξ，Ω)。步骤42中，在图像处理系统存储器中存储结果模型或系列模型，如，系统10的存储器14中。最后，步骤44中，利用存储的模型处理一个或多个后续的图像，完成至少一次人的检查，人的定位，和人的跟踪。一个或多个后面的图像可以是相同视频片断或其他图像序列的后续图像。步骤40，42，和44的处理操作由系统10的处理器12通过软件执行来完成。

本发明的上述装置仅仅用来说明。例如，本发明的技术能够用不同人的标记过程类型来实现，包括涉及一个或多个人的检查，人的定位和人的跟踪过程。此外，本发明能在广泛应用领域中用于提供个人标记功能，包括视频会议系统，视频监视系统和其他摄像系统。更进一步，本发明至少能部分通过存储在电子，磁性或光学存储介质中并由处理设备执行的一个或多个软件程序来实现，如，通过系统10的处理器12。这些和其他许多包括在下述权利要求范围中的实施例对本领域的一般技术人员将是显而易见的。

Claims (18)

1.一种在图像处理系统(10)中标记人的方法，此方法包含的步骤：

处理(40)图像序列(25)，为每一个特定的人Ω产生一个统计模型，此统计模型包括外貌特征和几何特征，所述特征与被标记人的区域关联，所述区域包括所述被标记人的整体的一个中央区域(26-2)，或一个较低区域(26-3)或者其组合(26-2，26-3)；

应用(44)模型于一个图像，以便为已标记的人执行检查操作，定位操作和跟踪操作；并且

产生一个表示操作结果的输出信号。

2.权利要求1所述的方法，其中的图像序列(25)包括一个视频片断。

3.权利要求1所述的方法，其中的处理步骤(40)还包括处理图像序列(25)以生成一组模型，每一个模型对应一个特定的已标记的人。

4.权利要求1所述的方法，其中的外貌特征包括颜色特征和肌理特征。

5.权利要求1所述的方法，其中的几何特征包括区域形状和区域位置，此区域是与统计模型相关的一个特定的多数区域中的一个区域。

6.权利要求1所述的方法，其中统计模型或者它的一部分是通过分割特定图像为许多相似外观的不同区域(26-1，26-2，26-3)生成的。

7.权利要求1所述的方法，其中为一个特定的人Ω产生的统计模型，包括一个相似概率函数P(I|Ω)，表明人Ω出现在特定图像I的相似性。

8.权利要求7所述的方法，其中的人Ω相似概率函数P(I|Ω)计算如下：

$P\left(I\right|\mathrm{\Ω})=\underset{r=\mathrm{1,2},...N}{\mathrm{\Σ}}P\left(R_r\right|\mathrm{\Ω})P\left(r\right|\mathrm{\Ω}),$

其中Rr是外貌特征和几何特征的函数，r是一个识别在图像I中相似外貌的N个区域中的一个区域的索引。

9.权利要求1所述的方法，其中为一个特定的人Ω生成的统计模型，包括一个相似概率函数P(I|T，ξ，Ω)，其中T是一个线性变换，用于捕捉在图像I中的人的整体表情，ξ是一个离散变量，用于及时捕捉在特定的点上人的局部表情。

10.权利要求9所述的方法，其中人的位置由线性变换T决定。

11.权利要求9所述的方法，其中的线性变换T用于获得一个图像I的辅助窗口(30)，其旋转和比例不变。

12.权利要求9所述的方法，其中的线性变换T用一个在图像I中涉及的点Xc上，一个旋转角度θ，一个比例因子的双线性的插值技术来实现。

13.权利要求9所述的方法，其中的局部表情用一个离散的系列{ξ₁，ξ₂，...ξ_M}变换的ξ状态以捕捉人Ω的M个不同姿态来模拟。

14.权利要求1所述的方法，其中为一个特定的人Ω，和特定的图像I生成的统计模型包括一个相似概率函数

$P\left(I\right|T,\mathrm{\ξ},\mathrm{\Ω})=\underset{\mathrm{pix}\∈I}{\mathrm{\Σ}}P\left(\mathrm{pix}\right|T,\mathrm{\ξ},\mathrm{\Ω}),$

其中r是一个相似外貌区域的索引，N是这些区域的总数，r＝1，2，....N， $P\left(\mathrm{pix}\right|T,\mathrm{\ξ},\mathrm{\Ω})=\underset{r=1,...,N}{\max }\left[P\left(\mathrm{pix}\right|r,T,\mathrm{\ξ},\mathrm{\Ω})P\left(r\right|\mathrm{\ξ},\mathrm{\Ω})\right],$

其中P(pix|r，T，ξ，Ω)是观测像素的概率，假定其属于一个在模型中一个姿态ξ的第r区，P(r|ξ，Ω)是在那个姿态下的区域的优先概率。

15.权利要求14所述的方法，其中相似外貌区域包括以下一个有不变概率的虚构的区域：

P(pix|r_occlusion，T，ξ，Ω)P(r_occlusion|ξ，Ω)＝P_occlusion.

16.权利要求14所述的方法，其中图像I的每一个的子集的像素通过一个平面位置向量x和一个外貌特征向量f来描绘特性：

P(pix|r，T，ξ，Ω)＝P(x|r，T，ξ，Ω)P(f|r，T，ξ，Ω)，其中P(x|r，T，ξ，Ω)和P(f|r，T，ξ，Ω)是近似的，因为相应的特征空间为高斯分布。

17.权利要求1所述的方法，其中的产生输出信号的步骤包括改变图像处理系统(10)的操作参数，其基于操作的结果。

18.一个用于在图像处理系统(10)中提供人的标记的设备，此设备包括：

一个处理器(12)，用于处理图像序列，为每一个将被标记的人生成一个统计模型，此统计模型包括被标记人的外貌特征和几何特征，所述特征与被标记人的区域关联，所述区域包括所述被标记人的整体的一个中央区域(26-2)，或一个较低区域(26-3)或者其组合(26-2，26-3)，处理器(12)还进一步用于在一个图像上应用模型，以为标记的人执行检查操作，定位操作和跟踪操作，并且根据操作的结果控制图像处理系统(10)的一个动作。

Images