CN105975923A - 用于跟踪人体对象的方法和系统 - Google Patents

Abstract

本发明实施例提供一种用于跟踪人体对象的方法和系统。所述方法包括：获取带有人体对象的二维图像和三维图像；从所述三维图像提取所述人体对象的第一尺寸以及其与图像采集装置之间的距离；根据所述人体对象的第一尺寸以及其与图像采集装置之间的距离确定所述二维图像中单个像素代表的实物尺寸，并且根据从所述三维图像提取到的所述人体对象的第一尺寸计算所述人体对象在所述二维图像中的第二尺寸；根据所述人体对象在所述二维图像中的第二尺寸在所述二维图像中对所述人体对象进行标注。根据本发明提出的技术方案，能够在不增加计算复杂度的情况下，实现对运动人体目标有效的检测跟踪。

Description

用于跟踪人体对象的方法和系统

技术领域

本发明涉及图像处理技术，尤其涉及一种用于跟踪人体对象的方法和系统。

背景技术

行人检测跟踪是计算机视觉领域内一个极富挑战性的研究课题，在视频监控、交通流量观测、机器人导航以及视频图像压缩和传输等方面都具有广泛的应用。基于二维光学图像的监控仅能够提供视频和图像信息，而难以再从监控中获得其他信息，从而大大限制了监控视频先验预警效能的发挥。

监控视频的主要监控对象是移动中的人，而人在监控视频的画面中所占比例的大小受到摄像头焦距、人和摄像头之间的距离的影响，会产生很大变化。在运动目标的跟踪过程中，尺寸不断变化的运动目标具有“尺度效应”。现有的基于二维光学图像的行人检测跟踪方法随着目标的变大或变小无法自适应地调整跟踪窗的大小，因而不能够有效地跟踪视频中尺寸变化的目标。

发明内容

本发明的目的在于，提供一种用于跟踪人体对象的方法和系统，以准确地检测和跟踪运动中的人体对象。

根据本发明的一方面，提供一种用于跟踪人体对象的方法，所述方法包括：获取带有人体对象的二维图像和三维图像；从所述三维图像提取所述人体对象的第一尺寸以及其与图像采集装置之间的距离；根据所述人体对象的第一尺寸以及其与图像采集装置之间的距离确定所述二维图像中单个像素代表的实物尺寸，并且根据从所述三维图像提取到的所述人体对象的第一尺寸计算所述人体对象在所述二维图像中的第二尺寸；根据所述人体对象在所述二维图像中的第二尺寸在所述二维图像中对所述人体对象进行标注。

可选地，所述根据所述人体对象在所述二维图像中的第二尺寸在所述二维图像中对所述人体对象进行标注的处理包括：基于小面模型对所述二维图像计算多个方向通道的二阶方向性导数图；利用傅立叶变换的相位谱计算所述二阶方向性导数图中各个通道的方向显著性图，其中，使用所述第二尺寸作为二维高斯滤波器的方差对所述人体对象进行修正；将所述多个方向显著性图进行融合，获取所述人体对象的目标显著性图；根据预定的分割阈值分割出所述人体对象。

可选地，根据以下公式来计算所述二维图像中单个像素代表的实物尺寸S_pix：

$l=2dtan\left(\frac{\mathrm{\α}}{2}\right)$

$S_{pix}=\frac{l^2}{MN}$

其中，ɑ为所述图像采集装置的视场角，d为所述人体对象与所述图像采集装置之间的距离，l为所述图像采集装置拍摄的图像所能容纳的环境尺寸，M和N分别为所述二维图像的宽度和高度。

可选地，根据以下公式计算所述人体对象在所述二维图像中的第二尺寸S_IR：

$S_{IR}=\frac{mnMN}{l^2}$

其中，M和N分别为所述二维图像的宽度和高度，m和n分别为从所述三维图像提取所述人体对象的宽度和高度。

可选地，所述二维图像是二维光学图像，并且所述三维图像是三维点云图像。

可选地，所述图像采集装置包括光学摄像头和激光雷达。

进一步地，所述方法还包括：展现经过标注的所述二维图像。

根据本发明的另一方面，还提供一种用于跟踪人体对象的系统，所述系统包括用于采集带有人体对象的二维图像的二维图像采集装置、用于采集带有人体对象的三维图像的三维图像采集装置以及图像分析单元，所述图像分析单元用于执行如前所述的方法。其中，所述二维图像采集装置和三维图像采集装置集成在一个图像采集装置中，或放置在一起同步地工作。

进一步地，所述系统还包括：显示单元，用于展现经过所述图像分析单元标注的二维图像。

根据本发明的示例性实施例的用于跟踪人体对象的方法和系统，通过对同步采集的带有人体对象的二维图像和三维图像进行处理、分析，并且利用三维图像具有尺寸不变性的特点，将从三维图像获得的目标人体对象的实际尺寸来计算二维图像中目标人体对象的尺寸，进一步在二维图像中调整目标人体对象的跟踪框的大小，能够在不增加计算复杂度的情况下，准确地检测和跟踪运动中的目标人体对象。

附图说明

图1是示出根据本发明的总体发明构思的技术方案的示意图；

图2是示出结合目标人体对象的二维图像和三维图像计算二维图像中单个像素所代表的实际尺寸的示意图；

图3是示出根据本发明实施例一的用于跟踪人体对象的方法的流程图；

图4是示出根据本发明实施例二的用于跟踪人体对象的方法的流程图；

图5是示出根据本发明实施例三的用于跟踪人体对象的系统的逻辑框图；

图6是示出根据本发明实施例二的用于跟踪人体对象的方法的跟踪结果的示意图。

具体实施方式

本发明的基本构思是，提供一种通过对包含人体对象的二维图像和三维图像进行分析实现行人检测与跟踪的方案。具体地，将从包含人体对象的三维图像提取的距离信息以及人体对象的尺寸信息引入二维光学图像的检测跟踪算法中进行分析和融合，以准确地跟踪人体对象，尤其是运动的人体对象。通过本发明提出的技术方案，能够在不增加算法复杂度的情况下，为尺寸逐渐减小或逐渐增大的目标人体对象自动地选择合适的跟踪窗口大小，大大地提高人体目标检测跟踪算法的适应性和鲁棒性，并且对尺寸变化的目标人体对象进行有效的检测与跟踪。

具体地，行人的三维点云图像包含了目标人体对象的三维形状信息和距离信息，而不包含二维图像中的RGB色彩信息；此外，三维点云图像具有尺寸不变性，无需考虑二维图像中因旋转、移动等变化而带来的形变。由于监控视频的主要监控对象是移动中的人，而人在监控视频画面中所占比例的大小，受摄像头焦距、人和摄像头之间的距离的影响会有很大变化，因此为了尽可能实现在视频画面中对移动的人体对象的连续跟踪，将人体的三维点云数据引入到二维图像的人体检测方法中，实现在视频中对移动的人进行连续跟踪。

以下参照图1和图2描述根据本发明的总体发明构思的技术方案的基本原理。

图1是示出根据本发明的总体发明构思的技术方案的示意图。

参照图1，根据本发明的总体发明构思，通过集成有二维图像采集装置和三维图像采集装置的图像采集装置或放置在一起的二维图像采集装置和三维图像采集装置分别连续地采集含有目标人体对象的场景图像(目标人体对象的二维图像110和目标人体对象的三维图像120)。

此后，根据采集的目标人体对象的三维图像120提取人体对象的高度、宽度等尺寸信息以及其与图像采集装置之间的距离(130)，再提取从二维光学图像检测跟踪到的目标人体对象，然后根据提取到的目标人体对象与图像采集装置之间的距离，实时确定二维图像中单个像素所代表的实际尺寸(140)。

图2是示出结合目标人体对象的二维图像和目标人体对象的三维图像计算二维图像中单个像素所代表的实际尺寸的示意图。

参照图2，假设ɑ为图像采集装置中例如二维光学传感器的二维图像采集装置的视场角，d为行人和二维光学传感器之间的距离，l为二维光学传感器拍摄的图像所能容纳的环境尺寸。为了简单起见，假设二维图像成像区域为正方形。按照摄影测量学的相关理论可知，此时若已知视场角和目标人体对象与二维光学传感器之间的距离，在距离较远时，可通过公式1近似计算得到二维光学传感器拍摄的图像所能容纳的环境尺寸l：

假设已知的二维图像的尺寸为I_IR＝M×N，其中，M和N分别为所述二维图像的宽度和高度，则可求得二维图像中单个像素代表的尺寸大小为：

进一步地，由三维图像的三维点云数据得到的目标人体对象的实际尺寸为S_Real＝m×n，可推导出目标人体对象在二维光学图像中的尺寸S_IR为：

其中，m和n分别为从所述三维图像提取所述人体对象的宽度和高度。

在计算得到二维图像中单个像素所代表的实际尺寸后，根据提取到的目标人体对象的宽度和高度，结合目标人体对象和二维光学传感器之间的距离获取目标人体对象在二维图像中的像素面积，通过面积特征过滤掉虚警目标，并实时地更新二维图像检测结果中跟踪框的大小，从而实现二维和三维人体对象的融合检测与跟踪。

由于三维点云图像具有尺寸不变性，不受二维图像中因旋转、移动等变化而带来的形变的影响，因此通过将从三维点云数据中获得的目标人体对象的实际尺寸来计算二维图像中目标人体对象的尺寸，进一步在二维图像中调整目标人体对象的跟踪框的大小，能够在不增加计算复杂度的情况下，准确地检测和跟踪运动中的目标人体对象。

下面结合附图详细描述本发明的示例性实施例。

实施例一

图3是示出根据本发明实施例一的用于跟踪人体对象的方法的流程图。可由例如图5示出的用于跟踪人体对象的系统执行本实施例的方法。

参照图3，在步骤S310，获取带有人体对象的二维图像和三维图像。

如前所述，可通过集成有二维图像采集装置和三维图像采集装置的图像采集装置或放置在一起的二维图像采集装置和三维图像采集装置分别连续地采集含有目标人体对象的场景图像。也可以读取通过前述装置已采集的带有人体对象的二维图像和三维图像。

该二维图像可以是二维光学图像，该三维图像可以是三维点云图像。

相应地，二维图像采集装置可以是光学摄像头，三维图像采集装置可以是例如激光雷达。

在步骤S320，从所述三维图像提取所述人体对象的第一尺寸以及其与图像采集装置之间的距离。

具体地，从三维点云图像可提取人体对象的例如宽度M和高度N的第一尺寸以及人体对象与图像采集装置之间的距离d。

在步骤S330，根据所述人体对象的第一尺寸以及其与图像采集装置之间的距离确定所述二维图像中单个像素代表的实物尺寸S_pix，并且根据从所述三维图像提取到的所述人体对象的第一尺寸计算所述人体对象在所述二维图像中的第二尺寸。

具体地，可通过前述公式1和公式2计算得到二维图像中单个像素代表的实物尺寸，再通过前述公式3计算得到人体对象在所述二维图像中的第二尺寸S_IR。

在步骤S340，根据所述人体对象在所述二维图像中的第二尺寸S_IR在所述二维图像中对所述人体对象进行标注。

在确定人体对象在所述二维图像中的第二尺寸S_IR后，可将该第二尺寸S_IR作为参照对二维图像中的人体对象的跟踪框进行修正并进行标注。

通过前述步骤S310～S340的处理，将从三维点云数据中获得的目标人体对象的实际尺寸来计算二维图像中目标人体对象的尺寸进一步在二维图像中调整目标人体对象的跟踪框的大小，能够在不增加计算复杂度的情况下，准确地检测和跟踪运动中的目标人体对象。

实施例二

图4是示出根据本发明实施例二的用于跟踪人体对象的方法的流程图。可由例如图5示出的用于跟踪人体对象的系统执行本实施例的方法。

图4中示出的用于跟踪人体对象的方法的处理为实施例一的一种具体实施方式。图4中示出的步骤S310～S330的处理与图3中的相应步骤的处理类似，在此不予赘述。

在本实施例中，具体通过小目标检测精度较高的基于方向显著性的单源目标检测与跟踪方法来进行人体对象的跟踪，并且以计算得到的人体对象在二维图像中的尺寸(第二尺寸)作为滤波方差来对人体对象进行检测和跟踪，从而提高跟踪人体对象的准确性。图4，步骤S340的处理包括操作S342、S345和S348。

具体地，在操作S342，基于小面模型(facet model)对前述的二维图像计算多个方向通道的二阶方向性导数图。

二阶方向性导数滤波器(Second-order Directional Derivative，SODD)具备检测信号中的斜坡和孤立峰点的能力，因此可用它将红外图像分解成每个方向通道上的二阶方向性导数图，并将背景杂波和目标分别变换为固定方向上的带状纹理和高斯斑点。

针对被跟踪的目标人体对象呈现的高斯斑点信号特征以及背景杂波呈现的带状信号特征，执行操作S345的处理来突出被检测跟踪的目标，即人体对象。

在操作S345，利用傅立叶变换的相位谱计算所述二阶方向性导数图中各个通道的方向显著性图，其中，使用所述第二尺寸作为二维高斯滤波器的方差对所述人体对象进行修正。

由于傅立叶变换的相位谱(Phase Spectrum of Fourier Transform,PFT)方法在诸多显著性检测方法当中计算复杂度较低，因此较适合计算SODD图的方向显著性图。通过以第二尺寸作为二维高斯滤波器的方差，使用傅立叶变换的相位谱计算各个通道的方向显著性图，可明显放大显著性区域的高斯斑点，并且抑制背景杂波的带状信号。

由于不同方向通道上的方向显著性图具有不同的幅度范围，因此为了进一步提高信噪比，需将不同通道上的方向显著性图进行融合。相应地，执行操作S348：将所述多个方向显著性图进行融合，获取所述人体对象的目标显著性图。

具体地，可利用规则化算子分别对多个方向通道上的方向显著性图进行规则化，再采用显著性融合方法来融合所有的方向显著性图，得到目标显著性图，以进一步增强各向同性的高斯状目标信号的效果。

此后，在操作S349，根据预定的分割阈值分割出所述人体对象，从而圈定人体对象跟踪框的大小。可根据被跟踪的目标的性质，按照先验知识进行设定这里的分割阈值，例如，针对人体对象的跟踪，可将该分割阈值设定为光学图像中最大灰度值的0.3～0.4倍。

通过前述操作的处理，可利用小目标检测精度较高的基于方向显著性的单源目标检测与跟踪方法来进行人体对象的跟踪，其中，以计算得到的人体对象在二维图像中的尺寸(第二尺寸)作为滤波方差来对人体对象进行检测和跟踪，过滤掉了人体对象检测中发生的虚警，提高了跟踪人体对象的准确性，同时不增加计算复杂度。

图6是示出根据本发明实施例二的用于跟踪人体对象的方法的跟踪结果的示意图。其中，在高层建筑物上安装红外和激光雷达传感器采集不同距离的街道的二维场景图像和三维场景图像，以跟踪街道上的行人。由于从远处拍摄连续拍摄这些场景图像，场景中行人的尺寸较小，而且与图像采集装置之间的距离各不同，因此利用一般的基于二维图像进行行人检测和跟踪难以准确检测和跟踪行人。如图6所示，根据本发明实施例二的方法通过利用三维图像的尺寸不变性，计算得到人体对象在二维图像中的尺寸并对行人进行检测和跟踪，获得较准确的跟踪结果。

进一步地，本实施例的方法可还包括：展现在步骤S340经过标注的所述二维图像。

实施例三

本发明的示例性实施例还提供一种用于跟踪人体对象的系统。图5是示出根据本发明实施例三的用于跟踪人体对象的系统的逻辑框图。

参照图5，实施例三的用于跟踪人体对象的系统包括用于采集带有人体对象的二维图像的二维图像采集装置510、用于采集带有人体对象的三维图像的三维图像采集装置520以及图像分析单元530。

其中，二维图像采集装置510和三维图像采集装置520集成在一个图像采集装置中，或放置在一起同步地工作。

这里，图像分析单元530用于执行前述实施例一和/或实施例二的方法。

进一步地，该系统可还包括：显示单元540，用于展现经过图像分析单元530标注的二维图像。

根据本发明的示例性实施例的用于跟踪人体对象的方法和系统，通过对同步采集的带有人体对象的二维图像和三维图像进行处理、分析，并且利用三维图像具有尺寸不变性的特点，将从三维图像获得的目标人体对象的实际尺寸来计算二维图像中目标人体对象的尺寸，进一步在二维图像中调整目标人体对象的跟踪框的大小，能够在不增加计算复杂度的情况下，准确地检测和跟踪运动中的目标人体对象。

需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明的目的。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种用于跟踪人体对象的方法，所述方法包括：

获取带有人体对象的二维图像和三维图像；

从所述三维图像提取所述人体对象的第一尺寸以及其与图像采集装置之间的距离；

根据所述人体对象的第一尺寸以及其与图像采集装置之间的距离确定所述二维图像中单个像素代表的实物尺寸，并且根据从所述三维图像提取到的所述人体对象的第一尺寸计算所述人体对象在所述二维图像中的第二尺寸；

根据所述人体对象在所述二维图像中的第二尺寸在所述二维图像中对所述人体对象进行标注。

2.根据权利要求1所述的方法，其中，所述根据所述人体对象在所述二维图像中的第二尺寸在所述二维图像中对所述人体对象进行标注的处理包括：

基于小面模型对所述二维图像计算多个方向通道的二阶方向性导数图；

利用傅立叶变换的相位谱计算所述二阶方向性导数图中各个通道的方向显著性图，其中，使用所述第二尺寸作为二维高斯滤波器的方差对所述人体对象进行修正；

将所述多个方向显著性图进行融合，获取所述人体对象的目标显著性图；

根据预定的分割阈值分割出所述人体对象。

3.根据权利要求1～2中任一项所述的方法，其中，

根据以下公式来计算所述二维图像中单个像素代表的实物尺寸S_pix：

$l=2dtan\left(\frac{\mathrm{\α}}{2}\right)$

$S_{pix}=\frac{l^2}{MN}$

其中，ɑ为所述图像采集装置的视场角，d为所述人体对象与所述图像采集装置之间的距离，l为所述图像采集装置拍摄的图像所能容纳的环境尺寸，M和N分别为所述二维图像的宽度和高度。

4.根据权利要求3所述的方法，其中，根据以下公式计算所述人体对象在所述二维图像中的第二尺寸S_IR：

$S_{IR}=\frac{mnMN}{l^2}$

其中，M和N分别为所述二维图像的宽度和高度，m和n分别为从所述三维图像提取所述人体对象的宽度和高度。

5.根据权利要求1～2中任一项所述的方法，其中，所述二维图像是二维光学图像，并且所述三维图像是三维点云图像。

6.根据权利要求5所述的方法，其中，所述图像采集装置包括光学摄像头和激光雷达。

7.根据权利要求5所述的方法，其中，所述方法还包括：

展现经过标注的所述二维图像。

8.一种用于跟踪人体对象的系统，其中，所述系统包括用于采集带有人体对象的二维图像的二维图像采集装置、用于采集带有人体对象的三维图像的三维图像采集装置以及图像分析单元，所述图像分析单元用于执行如权利要求1～7中任一项所述的方法，

其中，所述二维图像采集装置和三维图像采集装置集成在一个图像采集装置中，或放置在一起同步地工作。

9.根据权利要求8所述的系统，其中，所述系统还包括：显示单元，用于展现经过所述图像分析单元标注的二维图像。