CN104834887B - 运动行人表示方法、识别方法及其装置 - Google Patents

Abstract

提供了运动行人识别方法和装置，其中，以摄像机拍摄方向为z轴，以行人高度方向为y轴，以与地面垂直的平面为xy轴平面，建立xyz直角坐标系，该运动行人识别方法可以包括：从时间序列的深度图得到时间序列的候选行人轮廓；基于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个；以及基于时间序列的候选行人轮廓的各个方向的至少一个，判定该候选行人轮廓是否是行人。行人轮廓的各个方向的距离分布基本上只和个人自身的身体特性和行走特性相关，因此不易受外界环境影响，适合于进行行人识别，而且能够快速识别行人，适合例如车辆驾驶辅助系统的许多应用的实时性需求。

Description

运动行人表示方法、识别方法及其装置

技术领域

本发明涉及深度图像处理，更具体地涉及计算机视觉技术中的运动行人表示方法、识别方法及其装置。

背景技术

行人识别是驾驶员辅助驾驶系统和车辆自动导航系统中必不可少的重要功能。运动行人的检测与识别对于车祸的减少和驾驶的安全，有着重要的作用。在许多场景下，例如有人横穿马路时，或者当行人朝着\背向车辆行走时，或者突然出现在司机视野范围内时，行人的快速检测与识别对于行人和司机的安全来说，都是一个重要的问题。

当前的行人识别技术主要基于灰度/彩色图像进行行人特征提取和分类器的训练，并对于测试图像进行特征提取，将提取的特征向量输入到分类器中，进行行人识别。

专利公开JP2010165003A首先从灰度图像中提取行人的轮廓信息。然后用点作为关节来代表行人身体上的不同区域，并用直线段连接相邻区域。然后基于线段与线段间的夹角计算行人不同区域的角度信息。储存角度信息并以此来确定行人的运动状态。

专利公开JP2013008315 A首先通过输入的连续帧信息识别出自身车辆周围的交通环境信息。然后在识别出的环境信息的基础上，选择一个训练好的分类器或者模板来识别行人。

一般地，各种行人存在各种姿态，利用灰度/彩色图像对行人的各种姿态进行建模需要大量的训练样本，需要复杂的训练，而且在实际应用中，存在识别速率可能不满足实际应用需求的问题。

发明内容

因此，存在对于适于快速识别各种行人的技术的需要。

根据本发明的一个方面，提供了一种运动行人识别方法，其中，以摄像机拍摄方向为z轴，以行人高度方向为y轴，以与地面垂直的平面为xy轴平面，建立xyz直角坐标系，该运动行人识别方法可以包括：从由摄像机拍摄的图像获得的时间序列的深度图中，跟踪得到时间序列的候选行人轮廓；基于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个；以及基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否是行人。

根据本发明的另一方面，还提供了一种运动行人识别装置，其中，以摄像机拍摄方向为z轴，以与地面垂直的平面为xy轴平面，以行人高度方向为 y轴，建立xyz直角坐标系，该运动行人识别装置可以包括：时间序列的候选行人轮廓获得部件，从源于摄像机拍摄的图像的时间序列的深度图中，跟踪得到时间序列的候选行人轮廓；距离分布获得部件，基于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、 z方向距离分布中的至少一个；以及行人识别部件，基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否是行人。

根据本发明的再一方面，提供了一种运动行人表示方法，其中，以摄像机拍摄方向为z轴，以行人高度方向为y轴，以与地面垂直的平面为xy轴平面，建立xyz直角坐标系，该运动行人表示方法可以包括：从由拍摄的图像获得的时间序列的深度图中，获得时间序列的行人轮廓；基于时间序列的行人轮廓，获得时间序列的行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个；以及基于时间序列的行人轮廓的x方向距离分布、 y方向距离分布、z方向距离分布的至少一个的周期性，表示行人轮廓。

根据本发明实施例的运动行人识别方法和装置，以及运动行人表示方法，行人轮廓的各个方向的距离分布基本上只和个人自身的身体特性和行走特性相关，因此不易受外界环境影响，适合于进行行人识别。

根据本发明实施例的运动行人识别方法和装置通过处理时间序列的深度图来获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布和z 方向距离分布，能够快速识别行人，适合例如车辆驾驶辅助系统的许多应用的实时性需求。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示出了根据本发明一个实施例的车辆自动控制系统1000的示意图。

图2示出了根据本发明一个实施例的可用于图1中所示的车辆自动控制系统1000中的摄像头1100和图像处理模块1200的组成示例的示意图。

图3示出了根据本发明一个实施例的行人识别装置2000的基本功能组成示例。

图4示出了根据本发明一个实施例的时间序列的候选行人轮廓获得部件 2100的功能组成。

图5(a)示出了候选对象检测模块2110得到的一个候选对象检测结果示例.

图5(b)示出了图5（a）所示的候选对象检测结果减背景后的示意图。

图5(c)示出了图5(b)所示的减背景后的候选对象检测结果进行轮廓连通后的效果示意图。

图6示出了3帧连续图像的候选行人轮廓示例。

图7示出了根据本发明一个实施例的距离分布获得部件2200的功能配置图。

图8(a)、（b）示出了根据本发明一个实施例的获得时间序列的候选行人轮廓的x方向距离分布的示例性方法的示意图。

图9(a)、（b）示出了根据本发明一个实施例的获得时间序列的候选行人轮廓的y方向距离分布的示例性方法的示意图。

图10示出了一个示例中的深度方向与三帧候选行人轮廓间关系的示意图。

图11(a)、（b）示出了根据本发明一个实施例的获得时间序列的候选行人轮廓的y方向距离分布的示例性方法的示意图。

图12示出了根据本发明实施例的行人识别部件2300的配置示例。

图13示出了一个行走周期内的行人姿态的连续12帧图像。

图14示出了行人4D运动骨架模型示例的示意图。

图15示出了运动行人识别装置的线上和线下运行过程的数据流图。

图16示出了根据本发明一个实施例的运动行人识别方法3000的总体流程图。

图17示出了适于用来实现本发明实施方式的示例性计算系统600的框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

在详细描述本发明的具体实施例之前，为便于本领域技术人员理解和把握本发明，首先介绍一下本发明的核心思想。

发明人认为，利用深度信息来分析行人轮廓的时间序列将能够极大提高图像处理的速度，满足实际交通环境下对行人识别算法快速的要求。

另外，发明人发现，行人的姿态在行走过程中是存在变化的，而且姿态的变化具有周期性重复特性，图13示出了拍摄得到的一行人由近到远行走的一系列视差图像，其中各个图像下的数字表示该图像按时间顺序的帧号，如箭头指示的拍摄的行人图像从第一帧变化到第12帧。如图所示，当行人运动时，他的姿态一直在发生变化。这里是12幅连续帧的视差图像，可以看到，第一帧中行人的姿态和第12帧中行人的姿态基本相同。因此这些帧的图像，对于行人来说，形成了他运动的一个周期。因此，发明人想到，可以通过判断待识别对象的姿态的变化是否具有周期性重复特性来区别行人和其它对象。

另外，发明人发现，一般地，行人的行走过程是存在一定规律的，存在相对自身整体而言固定的不动部分和运动部分，例如头和肩部基本在行走中保持不动，而胳膊和腿部则为摆动部分。因此，发明人还想到，可以通过检测预定对象在多帧中的运动部分和不动部分是否与人的对应部分基本对应，来识别行人。

下面详细描述的实施例正是上述核心思想的体现和细化。

下面，给出本文中使用的一些术语的解释。

在下面的描述中，关于行人轮廓的特定方向的距离分布（如x方向距离分布、y方向距离分布、z方向距离分布），表示行人轮廓的各个截面在该特定方向上的投影长度，其中该截面按照与该特定方向垂直的方向滑动截取；具体地，行人轮廓的x方向距离分布是指沿y轴切取的截面在x方向投影的最大长度；行人轮廓的y方向距离分布是指沿x轴切取的截面在y方向投影的最大长度；行人轮廓的z方向距离分布是指沿x轴切取的截面在z方向投影的最大长度。

行人轮廓的特定方向距离分布的周期性，是指随着时间的变化，行人轮廓在特定方向的距离分布周期性重复的特性。

本文中的“时间序列的（对象）”是指满足时间上先后顺序的（对象）。但是并不限于必需是彼此时间上紧邻的对象。例如，如果摄像机按照时间顺序拍摄得到了n帧，则从n帧中按照固定间隔提取的预定数目的图像，例如 1，3，5…也可以称为时间序列的图像。

下面关于实施例的描述将以车辆辅助驾驶或自动控制作为应用场景，不过本发明的应用并不局限于此，而是适用于任何需要识别走动中的行人的场合。

下文中将以下述顺序进行描述

1、车辆自动控制系统

<1.1、车辆自动控制系统的总体构成>

<1.2、摄像头和图像处理模块>

2、行人识别装置

2.1、行人识别装置的总体配置

2.2时间序列的候选行人轮廓获得部件2100的配置示例

2.3距离分布获得部件2200的配置示例

2.4行人识别部件2300的配置示例

3、运动行人识别方法示例

4、运动行人表示方法

5、用于进行运动行人识别的计算系统

1、车辆自动控制系统

<1.1、车辆自动控制系统的总体构成>

图1示出了根据本发明一个实施例的车辆自动控制系统1000的示意图。车辆自动控制系统1000可以安装在车辆之上。该车辆自动控制系统1000可以包括例如两个摄像头1100、图像处理模块1200、车辆控制模块1300。摄像头1100可以安装在靠近车辆后视镜的位置，用于捕获车辆前方的场景。所捕获的车辆前方场景的图像将作为图像处理模块1200的输入。图像处理模块 1200分析输入的视差图像，进行各种检测处理，例如本发明实施例的行人检测、以及其他的路面检测处理、栅栏检测处理、道路上的线型指示标志检测等等。车辆控制模块1300接收由图像处理模块1200输出的信号，根据检测得到的行人、以及路面、栅栏、车道等信息生成控制信号来控制车辆的刹车制动、行驶方向和行驶速度等。

图中所示的车辆自动控制系统1000的部件仅为示例，其还可以包括其他部件，例如GPS导航部分等。

<1.2、摄像头和图像处理模块>

图2示出了根据本发明一个实施例的可用于图1中所示的车辆自动控制系统1000中的摄像头1100和图像处理模块1200的组成示例的示意图。

如图2所示，图中左侧示出了两个摄像头1100，摄像头1100包括图像传感器1110和摄像头数字信号处理器（digital signal processing,DSP）1120。图像传感器1110将光信号转换为电子信号，将捕获的当前车辆前方的图像转换为模拟图像信号，再将结果传入摄像头DSP1120。如果需要，摄像头1110还可以进一步包括镜头，滤镜，等等。在本设备中，可以包括两个或多个（未示出）摄像头1100，这些摄像头配准后可以同时捕获多幅图像，以便用于双目成像或多目成像。摄像头DSP1120将模拟图像信号转换为数字图像信号，并发送到图像处理模块1200。

如图像处理模块1200的功能框图所示，图像处理模块1200可以包括，例如，图像输入部分1210、视差图成像部分1220、路面检测部分1230、行人检测部分1240、车辆检测部分1250等。图像输入部分1210可以按规定的时间间隔取得图像。视差图成像部分1220利用双目视觉原理，将输入的一对数字图像转换为视差图。路面检测部分1230可以例如基于来自视差图成像部分1220的视差图（和/或灰度图）而检测路面。行人检测部分1230可以例如基于来自视差图成像部分1220的视差图（和/或灰度图）而检测行人和车辆。车辆检测部分1250可以例如基于来自视差图成像部分1220的视差图（可选地，还基于灰度图）而检测车辆。

图2中所示的用于后续获得视差的双目摄像机成像仅为示例，也可以例如采用其他基于红外光飞行速度和基于纹理光的立体摄像机等等设置。另外，车辆上可以不配置摄像设备，而例如通过有线网络或者无线网络连接接收来自外部的图像数据等。

图2中所示的图像处理模块仅为示例，其可以省略其中的某些部分例如省略路面检测部分1230，以及可以包括额外的其他部分，例如栅栏检测部分、语音报警部分等。

下面将重点介绍本发明所关注的行人检测部分的组成和操作过程。

2、行人识别装置

2.1、行人识别装置的总体配置

下面将结合图3描述根据本发明一个实施例的行人识别装置的基本功能组成示例。

图3示出了根据本发明一个实施例的行人识别装置2000的基本功能组成示例，该行人识别装置2000可用作图2中所示的行人检测部分1240。该行人识别装置2000输入可以为图像数据的时间序列，例如深度图或视差图，或者替代地可以为双目相机拍摄的左图像和右图像，输出可以为检测得到的行人指示。另外，为便于描述，在本实施例以及下文的实施例中，以摄像机拍摄方向为z轴，以行人高度方向为y轴，以与地面垂直的平面为xy轴平面，建立xyz直角坐标系。

如图3所示，根据本发明一个实施例的行人识别装置2000可以包括：时间序列的候选行人轮廓获得部件2100；距离分布获得部件2200；以及行人识别部件2300。

时间序列的候选行人轮廓获得部件2100配置为从例如源于车辆上安装的摄像机拍摄的图像的时间序列的深度图中，跟踪得到时间序列的候选行人轮廓。

距离分布获得部件2200配置为基于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个。

行人识别部件2300配置为基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否代表行人。

需要说明的是，上述行人识别装置2000的部件可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU（微处理单元）、DSP（数字信号处理器）、FPGA（现场可编程门阵列）、ASIC（专用集成电路）等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在车辆上，并且与安装在例如车辆上的成像设备例如照相机来通信，以便对照相机拍摄获得的灰度图像和/ 或立体图像进行处理来得到行人识别或检测结果，以及可选地还可以根据行人识别或检测结果对车辆的驾驶进行控制，例如给出警告信息、自动刹车或启动应急保护装置等。另外，行人识别装置2000的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，行人识别装置2000的各个部件也可以利用软件和硬件的结合来实现。

上述行人识别装置2000中的各个单元的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例，上述时间序列的候选行人轮廓获得部件2100；距离分布获得部件2200；以及行人识别部件2300可以合并为一个独立的部件来执行和实现相应的功能和操作，或者可以将时间序列的候选行人轮廓获得部件2100；距离分布获得部件2200；以及行人识别部件2300进一步拆分为更小的单元来实现他们各自的功能和操作。

另外，需要说明的是，图3中所示的结构并不是排他式的，相反行人识别装置2000可以包括其他部件，例如显示部件，用于显示行人识别不经2300 的结果，以及例如通信部件，用于将有关信息和/或中间处理结果传递到外部等。

2.2时间序列的候选行人轮廓获得部件2100的配置示例

图4示出了根据本发明一个实施例的时间序列的候选行人轮廓获得部件 2100的功能组成。

如图4所示，候选行人轮廓获得部件2100可以包括候选对象检测模块 2110、减背景模块2120和轮廓连接模块2130。

候选对象检测模块2110配置为检测候选目标区域，供后续分析之用。任何可以用于候选目标区域检测的方法均可以使用，例如在US005937079A、 US2007162084B2中介绍的技术，以及例如在与本发明同一申请人（日本理光株式会社）的申请号为CN201310217323.1的中国申请中披露的技术。

图5(a)示出了候选对象检测模块2110得到的一个候选对象检测结果示例，其为一个矩形区域，只包含检测到的一个物体，物体背后为背景。

减背景模块2120配置为去除掉候选行人的背景图像。作为一个可采用的方法示例，可以通过分析视差分布情况，去除掉候选行人的背景图像。具体地，例如可以计算视差图像的视差分布直方图，找到其中最大值的部分（或者说出现频次最多的视差值或范围），看作为物体的视差，将与该物体的视差值相差过多的视差对应的部分去掉，因为这些部分很大程度上是背景。作为其他示例方法，可以例如采用主成分分析法，聚类方法等来对视差进行分析，进而去除背景。

图5(b)示出了图5（a）所示的候选对象检测结果减背景后的示意图。在该例子中，采用的是稀疏视差图，得到的视差基本上是物体边缘位置的视差。因此当背景减除之后，主要是物体的轮廓被保留了下来。

如图5(b)所示，轮廓中有些位置可能是断开的，因此存在连接轮廓的需要。

轮廓连接模块2130配置为对于得到的视差边缘图像，利用轮廓的连通性分析进行轮廓的连接。在一个示例中，可以仅对外轮廓进行连接，而不是对所有的轮廓都进行连接。作为连接方法的示例，可以采用主动轮廓模型，例如可以采用作为其中一种实现算法的snake算法，snake算法或者模型的介绍可以参见中国专利申请公开CN102129691A。

图5(c)示出了图5(b)所示的减背景后的候选对象检测结果进行轮廓连通后的效果示意图，这里，添加的外轮廓连通部分，用标号1指示。

图6示出了3帧连续图像的候选行人轮廓示例。

2.3距离分布获得部件2200的配置示例

图7示出了根据本发明一个实施例的距离分布获得部件2200的功能配置图。

如图7所示，距离分布获得部件2200可以包括时间序列的候选行人轮廓的x方向距离分布获得部件2210、时间序列的候选行人轮廓的y方向距离分布获得部件2220、时间序列的候选行人轮廓的z方向距离分布获得部件2230。

时间序列的候选行人轮廓的x方向距离分布获得部件2210配置为基于时间序列的候选行人轮廓（例如，如图6所示），获得时间序列的候选行人轮廓的x方向距离分布。

图8(a)、（b）示出了根据本发明一个实施例的获得时间序列的候选行人轮廓的x方向距离分布的示例性方法的示意图。对于每个固定的y，计算沿着x方向的外轮廓的最大宽度。每个宽度在图中以一个绿色的线段来表示。当y改变的时候，对于每个物体，所有的宽度形成x方向距离分布图（也可称为宽度直方图）。图8(a)示出了对象轮廓的沿y方向变化的x方向上的宽度（或称为距离）。图8（b）是图6所示的三帧候选行人轮廓的宽度直方图的一个示例，其中直方图的每个直条都是水平的，对应图8(a)中对应物体轮廓的宽度。

时间序列的候选行人轮廓的y方向距离分布获得部件2220配置为基于时间序列的候选行人轮廓（例如，如图6所示），获得时间序列的候选行人轮廓的y方向距离分布。

图9(a)、（b）示出了根据本发明一个实施例的获得时间序列的候选行人轮廓的y方向距离分布的示例性方法的示意图。对于每个固定的x，计算沿着y方向的外轮廓的最大高度（距离）。每个高度在图中以一个竖条线段来表示。当x改变的时候，对于每个物体，所有的高度形成一个y方向距离分布图（可以称为高度直方图）。图9(a)示出了三帧的对象轮廓视差图的沿x方向变化的y方向上的高度（或称为距离）。图9（b）是图6所示的三帧候选行人轮廓的高度直方图的一个示例，其中直方图的每个直条都是竖直的，对应图9(a)中对应物体轮廓的高度。

时间序列的候选行人轮廓的z方向距离分布获得部件2230配置为基于时间序列的候选行人轮廓（例如，如图6所示），获得时间序列的候选行人轮廓的z方向距离分布。

在一个示例中，与候选行人轮廓的x方向距离分布和y方向距离分布比起来，沿着z方向（即视差方向）的距离分布有所不同，候选行人轮廓的x 方向距离分布和y方向距离分布是宽度和高度的绝对值的分布，不具有符号信息，而沿着z方向的距离分布具有符号信息。这是根据行人行走的实际场景设置的。考虑行人行走方向与深度方向即z方向一致，此时x方向（宽度）和y方向（高度）距离分布是不存在符号变化的，但是由于人手臂的摆动和人腿部的摆动基本上是沿着深度方向的，而且同侧手臂和腿部的摆动方向是相反的，即正常人在行走时，时而左侧手臂在前同时左侧腿部在后，时而右侧手臂在前而同时右侧腿部在后，这样在计算深度方向上候选行人轮廓的距离分布时，加上符号可以反映出具体y值处，哪侧手臂（或腿部）在前，从而可以在一定程度上反映出人当前的行走姿态，特别是手臂和腿部的摆动方向。

图10示出了一个示例中的深度方向与三帧候选行人轮廓间关系的示意图。图11(a)、（b）示出了根据本发明一个实施例的获得时间序列的候选行人轮廓的y方向距离分布的示例性方法的示意图。

具体地，在一个示例中，对于每个固定的y，计算沿着视差方向的外轮廓的有符号的最大深度距离。假设固定的y是y0,如图10所示，线y=y0如图中水平线所示。在此示例中，对于一个物体的轮廓，沿着线y=y0来看，在这条线上最小的视差dmin的像素点对应的x坐标用x(dmin)表示，在此例中为右侧点(x1,y0)，如标号1表示；在这条线上最大的视差dmax的像素点对应的x坐标用x(dmax)表示，在此例中为左侧点(x2,y0)，如标号2表示。

在一个示例中，在特定y值处，有符号的最大深度距离通过下面的计算公式（1）得到。

公式1中，项sign(x(dmax_y)-x(dmin_y))表示在特定y值处，视差最大的像素点的x坐标与视差最小的像素点的x坐标之间差的符号。公知地，视差最大对应于深度最小，视差最小对应于深度最大，由此项sign(x(dmax_y)-x(dmin_y))表示在特定y值处深度最小（距离摄像机最近）的像素点与深度最大（距离摄像机最远）的点在x方向上的位置关系。后面的绝对值项反映的是深度变化的程度。由此可以确定沿着深度方向，人体轮廓的左侧在前还是右侧在前，并且数值的大小反映了在前在后的程度，从而某种程度上表示人的特定行走姿态。

本发明实施例的行人轮廓的各个方向的距离分布基本上只和个人自身的身体特性和行走特性相关，因此不易受外界环境影响，适合于进行行人识别。

2.4行人识别部件2300的配置示例

下面参考图12描述根据本发明实施例的行人识别部件2300的配置示例。

如图12所示，行人识别部件2300可以包括周期性判定模块2310、距离分布协同性判定模块2320、运动部分和不动部分判定模块2330、综合判定模块2340、滑动匹配模块2390。

时间序列的候选行人轮廓的x方向距离分布2350、时间序列的候选行人轮廓的y方向距离分布2360、时间序列的候选行人轮廓的z方向距离分布2370 为例如由前文参考图7-图11描述得到的。

4D运动周期模型存储数据库2380中可以存储大于等于行人行走周期的时间序列的行人轮廓训练样本的x方向距离分布、时间序列的行人轮廓训练样本的y方向距离分布、时间序列的行人轮廓训练样本的z方向距离分布，时间序列的行人轮廓训练样本的x方向距离分布、y方向距离分布、z方向距离分布可以例如由前文参考图8-图11所述的同样手段得到。

关于行人的行走周期，例如一般情况下可以由12帧连续图像构成。如图 13所示，对至少一个行走周期内的各个行人轮廓训练样本提取x方向距离分布、y方向距离分布、z方向距离分布并存储，以作为4D运动周期模型存储数据库。

周期性判定模块2310可以配置为判断时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个是否具有周期性，其判定结果可以输入到综合判定模块2340。

在一个示例中，判定一个距离分布是否具有周期性，可以通过将某时刻的距离分布沿着时间方向向后续距离分布滑动，并在滑动同时进行匹配，然后判定所有匹配上的各个时刻的距离分布之间是否间隔固定来实现。例如，通过将t1时刻x方向距离分布向后（当然也可以向先前时刻反向）滑动并进行匹配，发现t1、t12、t24…各时刻处的距离分布基本匹配，且彼此间间隔基本相等，同样地，发现t2、t13、t25…存在同样规律，类似地t11、t23、t35…存在同样规律，则可以得出x方向距离分布具有周期性。需要说明的是，该示例中的间隔12帧仅为示例，实际上对于不同的行人来说，行走周期可以更短或更长。

在一个示例中，如果周期性判定模块2310判定时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的任一个不具有周期性，则综合判定模块2340可以判定该候选行人轮廓不代表行人。

在另一个示例中，周期性判定模块2310还可以判定行人行走的周期，例如以重复出现同样距离分布的帧之间的间隔作为周期。

在一个示例中，周期性判定模块2310还可以判定预定距离分布是否满足预定规律。

例如，周期性判定模块2310可以判定在基于时间序列的候选行人轮廓的 x方向距离分布中，是否上部存在距离逐渐变小的部分同时下部存在距离先变小后变大的部分。这例如如图8所示，在该三帧候选行人轮廓得到的x方向距离分布中，标号2指示的距离逐渐变小，同时，标号3指示的距离先变小后变大，这符号人手臂和腿部的运动规律。附带说一下，标号1指示的距离基本不变，该部分对应于头部和肩部。

再例如，周期性判定模块2310可以判定在时间序列的候选行人轮廓的z 方向距离分布中，是否上部存在距离符号从正变为负的部分以及下部存在距离符号从负变为正的部分。这例如图11所示，标号为1的距离的符号从正变为负，而标号为2的距离的符号从负变为正，其中标号为1的距离的部分对应于人手部部分，而标号为2的距离的部分对应于人腿部下部。另外，周期性判定模块2310可以判定在基于时间序列的候选行人轮廓的z方向距离分布中，是否该距离符号从正变为负的部分的绝对值由大变小又变大，同时距离符号从负变为正的部分的绝对值由大变小又变大。这同样例如如图11所示，标号为1的距离绝对值由大变小又变大，同时标号为2的距离绝对值由大变小又变大。此时间序列的z方向距离分布反映了人手臂和腿部运动的协同性。另外标号3指示的距离基本不变，该部分对应于人的腰部。

再例如，周期性判定模块2310可以判定在时间序列的候选行人轮廓的y 方向距离分布中，是否存在距离发生变化的左侧部分和右侧部分，且这两部分变化趋势不同。这例如图9所示，该左侧部分如标号1指示，该右侧部分如标号2指示，这分别对应于人的左右两侧手臂部分，因为左右手臂的摆动，所以反映在y方向距离分布中，对应的距离发生变化，且因为左右手臂摆动趋势不同，因此对应的y方向距离变化趋势不同。另外，标号3指示的距离基本不变，这对应人头部部分。

距离分布协同性判定模块2320可以配置为判断时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布彼此之间是否满足预定协同性。

例如如图8、9、11所示，x方向距离分布、y方向距离分布和z方向距离分布之间存在彼此的关联性。因此，在一个实施例中，除了周期性判定模块2310判定各个时间序列的x方向距离分布、y方向距离分布和z方向距离分布是否满足各自的周期性和规律外，还可以由距离分布协同性判定模块 2320来判定时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z 方向距离分布彼此之间是否满足预定协同性或关联性。

在一个示例中，运动部分和不动部分判定模块2330可以配置为判定候选行人轮廓的不动部分和运动部分。

在另一个示例中，运动部分和不动部分判定模块2330还可以配置为判定该候选行人轮廓的对应于人头肩部的部分是否基本静止不动；该候选行人轮廓的对应于人腰部的部分是否基本静止不动；该候选行人轮廓的对应于人手臂的部分是否符合手臂周期性摆动规律；以及候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律。

其中，例如，运动部分和不动部分判定模块2330判定该候选行人轮廓的对应于人手臂的部分是否符合手臂周期性摆动规律以及判定候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律可以包括：判定在基于时间序列的候选行人轮廓的x方向距离分布中，是否上部存在距离逐渐变小的部分同时下部存在距离先变小后变大的部分。

在一个示例中，运动部分和不动部分判定模块2330判定候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律可以包括：判定在基于时间序列的候选行人轮廓的z方向距离分布中，是否上部存在距离符号从正变为负的部分以及下部存在距离符号从负变为正的部分。在另一个示例中，判定候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律还可以包括：判定在基于时间序列的候选行人轮廓的z方向距离分布中，是否该距离符号从正变为负的部分的绝对值由大变小又变大，同时距离符号从负变为正的部分的绝对值由大变小又变大。

在一个示例中，运动部分和不动部分判定模块2330可以分析行人轮廓训练样本（多帧顺序的行人轮廓深度图），通过总结行人身体在行走过程中的运动部分和不动部分，以及运动的规律和频率，来建立4D运动骨架模型，如图14所示。这里，4D代表着x,y,深度(d)和时间(t)这四维。身体中非摆动关节如图中标号1指示的点所示，非摆动部位如图中标号2指示的线段所示，摆动部位如图中标号3指示的线段所示。这个模型只是一个示意性例子，在实际训练的时候，可以针对不同的性别，不同人的行走习惯，行走方向，行走速度，来建立不同的4D运动周期模型，从而可以藉由4D运动周期模型，还可以进行性别的识别，行走方向的识别，不同人的识别等等。

在一个示例中，4D运动周期模型存储数据库2380可以预先存储对应于连续n帧深度图的行人轮廓样本的x方向距离分布、y方向距离分布、z方向距离分布，其中n是正整数，且大于等于行人行走的一个周期内含有的平均帧数。

滑动匹配模块2390可以将当前帧和先前预定k帧的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布与所述预先存储的n帧深度图的行人轮廓样本的x方向距离分布、y方向距离分布、z方向距离分布进行滑动匹配，比较得到的最大匹配程度和匹配阈值，以判定该候选行人轮廓是否代表行人。

综合判定模块2340可以综合周期性判定模块2310、距离分布协同性判定模块2320、运动部分和不动部分判定模块2330、滑动匹配模块2390的执行结果，来判定该候选行人轮廓是否代表行人。

需要说明的是，图12所示行人识别部件2300的配置仅为优选示例示例。行人识别部件2300可以仅具有所示模块中的一些。

例如行人识别部件2300可以仅具有运动部分和不同部分判定模块2330，藉此判定该候选行人轮廓的不动部分是否对应于人头部、肩部、腰部中的至少一个，以及运动部分是否对应于人手臂、腿部中的至少一个，来判定其是否代表行人。

再例如，行人识别部件2300可以仅具有距离分布协同性判定模块2320，通过判定x方向距离分布、y方向距离分布、z方向距离分布是否满足预定协同性，来判定该行人轮廓是否代表行人，

再例如，行人识别部件2300可以仅具有滑动匹配模块2390，通过将候选行人轮廓的预定方向的距离分布与4D运动周期模型存储数据库2380中的预定方向的距离分布进行滑动匹配来判定该行人轮廓是否代表行人。

再例如，行人识别部件2300可以仅具有周期性判定模块2310，通过判断时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个是否具有周期性，来判定该行人轮廓是否代表行人。

上面参考图3-14描述了根据本发明实施例的运动行人识别装置的组成以及示例性操作。

利用根据本发明实施例的运动行人识别装置通过处理时间序列的深度图来获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布和z方向距离分布，由此能够快速识别行人，适合例如车辆驾驶辅助系统的许多应用的实时性需求。

上述实施例的运动行人识别装置可以无需训练大量样本的灰度图，能够节省计算成本。

不过，需要说明的是，上述运动行人识别装置也可以配备有分类器或4D 运动周期模型，通过利用行人轮廓深度图样本来训练分类器，然后利用分类器来对测试样本进行分类。此时的数据流图可以如图15所示。该数据流图分为线下和线上两部分，线下部分可以为离线训练部分，对于n幅视差图像T1，进行预处理例如物体检测、减背景和轮廓连接，然后得到预处理后的视差图像T2，通过训练得到了分类器或4D运动周期模型T3；线上部分可以为实时测试部分，对于随时m幅视差图像T4，经过上述预处理后，得到了预处理后的视差图像T5，预处理后的视差图像T5送到4D运动周期模型或分类器T3，进行在线识别T6，得到识别结果T7。

3、运动行人识别方法示例

下面参考图16描述根据本发明一个实施例的运动行人识别方法3000。

该运动行人识别方法3000以下述xyz直角坐标系为参照来描述，其中，以摄像机拍摄方向为z轴，以行人高度方向为y轴，以与地面垂直的平面为 xy轴平面。

如图16所示，在步骤S3100中，从由摄像机拍摄的图像获得的时间序列的深度图中，跟踪得到时间序列的候选行人轮廓。

在步骤S3200中，基于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个。

在步骤S3300中，基于时间序列的候选行人轮廓的x方向距离分布、y 方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否是行人。

在一个示例中，基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否是行人可以包括：判断时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、 z方向距离分布的至少一个是否具有周期性。

在再一个示例中，基于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个可以包括：获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的每一个；以及基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否是行人可以包括：判断时间序列的候选行人轮廓的x方向距离分布、y 方向距离分布、z方向距离分布的每一个是否具有周期性；以及判断时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布彼此之间是否满足预定协同性。

在再一个示例中，基于时间序列的候选行人轮廓的x方向距离分布、y 方向距离分布、z方向距离分布，判定该候选行人轮廓是否是行人可以包括判定下述各项中的至少一个：该候选行人轮廓的对应于人头肩部的部分是否基本静止不动；该候选行人轮廓的对应于人腰部的部分是否基本静止不动；该候选行人轮廓的对应于人手臂的部分是否符合手臂周期性摆动规律；以及候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律。

在一个示例中，所述判定该候选行人轮廓的对应于人手臂的部分是否符合手臂周期性摆动规律以及判定候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律可以包括：判定在基于时间序列的候选行人轮廓的x 方向距离分布中，是否上部存在距离逐渐变小的部分同时下部存在距离先变小后变大的部分。

在一个示例中，在该运动行人识别方法中，其中基于时间序列的候选行人轮廓的z方向距离分布可以具有符号表示，用具体y值处的候选行人轮廓截面中视差值最大的点与视差值最小的点之间的x坐标值差的符号来作为对应z方向距离的符号，所述判定候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律包括：判定在基于时间序列的候选行人轮廓的z方向距离分布中，是否上部存在距离符号从正变为负的部分以及下部存在距离符号从负变为正的部分。

在一个示例中，所述判定候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律还可以包括：判定在基于时间序列的候选行人轮廓的z 方向距离分布中，是否该距离符号从正变为负的部分的绝对值由大变小又变大，同时距离符号从负变为正的部分的绝对值由大变小又变大。

在再一个示例中，运动行人识别方法3000还可以包括预先存储对应于连续n帧深度图的行人轮廓样本的x方向距离分布、y方向距离分布、z方向距离分布，其中n是正整数，且大于等于行人行走的一个周期内含有的平均帧数；以及所述步骤S3300中的基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布，判定该候选行人轮廓是否是行人可以包括：将当前帧和先前预定k帧的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布与所述预先存储的n帧深度图的行人轮廓样本的x 方向距离分布、y方向距离分布、z方向距离分布进行滑动匹配，比较得到的最大匹配程度和匹配阈值，以判定该候选行人轮廓是否是行人。

4、运动行人表示方法

根据本发明的一个实施例，提供了一种运动行人表示方法，其中以摄像机拍摄方向为z轴，以行人高度方向为y轴，以与地面垂直的平面为xy轴平面，建立xyz直角坐标系，该运动行人表示方法可以包括：从由拍摄的图像获得的时间序列的深度图中，获得时间序列的行人轮廓；基于时间序列的行人轮廓，获得时间序列的行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个；以及基于时间序列的行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个的周期性，表示行人轮廓。

在一个示例中，基于时间序列的行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个的周期性，表示行人轮廓可以包括：提取 x方向距离分布、y方向距离分布和z方向距离分布中的随时间的不变部分和随时间的改变部分，来代表行人的不动部分和运动部分。

在一个示例中，表示行人轮廓还可以包括，提取上述不变部分中的对应于预定轮廓高度范围的部分，分别对应于行人的头部、肩部和腰部。

在一个示例中，表示行人轮廓还可以包括，提取上述改变部分中的对应于预定轮廓高度范围中的上面部分和下面部分，并将二者关联的存储，以分别对应于行人的手臂部分和腿部部分。

在一个示例中，表示行人轮廓可以包括存储预定规则，该预定规则可以包括下述规则中的至少一个：

（1）时间序列的行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个具有周期性。

（2）时间序列的行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的每一个具有周期性；以及时间序列的行人轮廓的x方向距离分布、 y方向距离分布、z方向距离分布彼此之间满足预定协同性。

（3）行人轮廓的距离分布中对应于人头肩部的部分基本静止不动；

该行人轮廓的距离分布中对应于人腰部的部分基本静止不动；

该行人轮廓的距离分布中对应于人手臂的部分符合手臂周期性摆动规律；以及

行人轮廓的距离分布中对应于人腿部的部分符合腿部周期性摆动规律。

（4）基于时间序列的行人轮廓的z方向距离分布具有符号表示，用具体 y值处的行人轮廓截面中视差值最大的点与视差值最小的点之间的x坐标值差的符号来作为对应z方向距离的符号，在基于时间序列的行人轮廓的z方向距离分布中，上部存在距离符号从正变为负的部分以及下部存在距离符号从负变为正的部分。

(5)在上述第(4)条规则基础上，在基于时间序列的行人轮廓的z方向距离分布中，该距离符号从正变为负的部分的绝对值由大变小又变大，同时距离符号从负变为正的部分的绝对值由大变小又变大。

(6)在时间序列的行人轮廓的y方向距离分布中，存在距离发生变化的左侧部分和右侧部分，且这两部分变化趋势不同。

需要说明的是，本实施例的运动行人表示方法也可以用硬件、软件、固件或者其组合来实现。

5、用于进行运动行人识别的计算系统

本发明还可以通过一种用于进行运动行人识别的计算系统来实施。图17 示出了适于用来实现本发明实施方式的示例性计算系统600的框图。如图17所示，计算系统600可以包括：CPU（中央处理单元）601、RAM（随机存取存储器）602、ROM（只读存储器）603、系统总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示控制器69、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些设备中，与系统总线604耦合的有CPU601、RAM 602、ROM 603、硬盘控制器605、键盘控制器606、串行控制器607、并行控制器608和显示控制器609。硬盘610与硬盘控制器605耦合，键盘611与键盘控制器606 耦合，串行外部设备612与串行接口控制器607耦合，并行外部设备613与并行接口控制器608耦合，以及显示器614与显示控制器609耦合。应当理解，图17所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如 Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN) 或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

上面参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instructionmeans)的制造品（manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

前述描述仅为说明性的，可以进行很多修改和/或替换。

例如，前面描述中，行人识别方法和装置应用于车辆辅助驾驶或者车辆自动控制情景中，不过这仅是示例，本发明并不局限于此，而是可以应用于其它情景，例如飞机场、火车站、商场等情境下。

在前面的描述中，在对行人识别时，深度图的序列为三帧图像，不过这仅为示例，深度图的序列中包含的图像帧数可以更多或更少，例如可以仅为一帧，分析该一帧的候选行人轮廓的x方向距离分布、y方向距离分布和z 方向距离分布中的一个或多个，将这样的距离分布与预先存储的一个周期的行人轮廓模板的x方向距离分布、y方向距离分布、z方向距离分布中的相应的进行匹配，根据匹配结果来判定该候选行人轮廓是否代表行人。不过，优选地，作为分析对象的深度图的序列包含多个图像，而且更优选地包含范围跨越一个周期的图像。不过需要说明的是，如果一个行人行走周期为12帧，则选择开始帧、中间帧和结束帧会较好地平衡在行人行走全过程与计算资源的消耗，这里中间帧的数目可以视需要进行选取，例如如果对速度要求较高，则可以选择一个周期中的较少数目的帧，如果对行人识别的精确要求较高，则可以例如选取一个周期中的全部图像帧。

此外，在前面的描述的示例中，利用了候选行人轮廓的x方向距离分布、 y方向距离分布、z方向距离分布的全部来进行行人表示和识别，但这仅为示例，可以利用x方向距离分布、y方向距离分布、z方向距离分布中的部分来进行行人表示和识别。

另外，在前面以车辆辅助驾驶作为应用环境的描述中，以行人行走方向与车辆行进方向（更确切地说，深度方向）基本一致为例描述行人轮廓的x 方向距离分布、y方向距离分布和z方向距离分布，不过这仅为示例，本发明应用并不局限于此，而是也可以应用于行人行走方向与车辆行进方向（更确切地说，深度方向）不一致的情况，例如行人车辆前横穿而过的情况，这种情况下的x方向距离分布、y方向距离分布和z方向距离分布同样周期性，以及运动部分和不同部分同样与人体中手臂和腿部所在的位置相对应，因此同样也可以应用本发明来进行行人识别。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种运动行人识别方法，其中，以摄像机拍摄方向为z轴，以行人高度方向为y轴，以与地面垂直的平面为xy轴平面，建立xyz直角坐标系，该运动行人识别方法包括：

从由摄像机拍摄的图像获得的时间序列的深度图中，跟踪得到时间序列的候选行人轮廓；

基于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个，其中时间序列的候选行人轮廓的x方向距离分布为沿y轴切取的截面在x方向投影的最大长度，y方向距离分布为沿x轴切取的截面在y方向投影的最大长度，z方向距离分布为沿x轴切取的截面在z方向投影的最大长度；以及

基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否是行人。

2.根据权利要求1的运动行人识别方法，所述基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否是行人包括：

判断时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个是否具有周期性。

3.根据权利要求1的运动行人识别方法，其中基于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个包括：

获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的每一个；以及

基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否是行人包括：

判断时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的每一个是否具有周期性；以及

判断时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布彼此之间是否满足预定协同性。

4.根据权利要求1的运动行人识别方法，所述基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布，判定该候选行人轮廓是否是行人包括判定下述各项中的至少一个：

该候选行人轮廓的对应于人头肩部的部分是否基本静止不动；

该候选行人轮廓的对应于人腰部的部分是否基本静止不动；

该候选行人轮廓的对应于人手臂的部分是否符合手臂周期性摆动规律；以及

候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律。

5.根据权利要求1的运动行人识别方法，还包括:

预先存储对应于连续n帧深度图的行人轮廓样本的x方向距离分布、y方向距离分布、z方向距离分布，其中n是正整数，且大于等于行人行走的一个周期内含有的平均帧数；以及

所述基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布，判定该候选行人轮廓是否是行人包括：

将当前帧和先前预定k帧的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布与所述预先存储的n帧深度图的行人轮廓样本的x方向距离分布、y方向距离分布、z方向距离分布进行滑动匹配，比较得到的最大匹配程度和匹配阈值，以判定该候选行人轮廓是否是行人。

6.根据权利要求4的运动行人识别方法，所述判定该候选行人轮廓的对应于人手臂的部分是否符合手臂周期性摆动规律以及判定候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律包括：

判定在基于时间序列的候选行人轮廓的x方向距离分布中，是否上部存在距离逐渐变小的部分同时下部存在距离先变小后变大的部分。

7.根据权利要求6的运动行人识别方法，其中基于时间序列的候选行人轮廓的z方向距离分布具有符号表示，用具体y值处的候选行人轮廓截面中视差值最大的点与视差值最小的点之间的x坐标值差的符号来作为对应z方向距离的符号，

所述判定候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律包括：

判定在基于时间序列的候选行人轮廓的z方向距离分布中，是否上部存在距离符号从正变为负的部分以及下部存在距离符号从负变为正的部分。

8.根据权利要求7的运动行人识别方法，所述判定候选行人轮廓的对应于人腿部的部分是否符合腿部周期性摆动规律还包括：

判定在基于时间序列的候选行人轮廓的z方向距离分布中，是否该距离符号从正变为负的部分的绝对值由大变小又变大，同时距离符号从负变为正的部分的绝对值由大变小又变大。

9.一种运动行人识别装置，其中，以摄像机拍摄方向为z轴，以与地面垂直的平面为xy轴平面，以行人高度方向为y轴，建立xyz直角坐标系，该运动行人识别装置包括：

时间序列的候选行人轮廓获得部件，从源于摄像机拍摄的图像的时间序列的深度图中，跟踪得到时间序列的候选行人轮廓；

距离分布获得部件，基于时间序列的候选行人轮廓，获得时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个；以及

行人识别部件，基于时间序列的候选行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个，判定该候选行人轮廓是否是行人。

10.一种运动行人表示方法，其中，以摄像机拍摄方向为z轴，以行人高度方向为y轴，以与地面垂直的平面为xy轴平面，建立xyz直角坐标系，该运动行人表示方法包括：

从由拍摄的图像获得的时间序列的深度图中，获得时间序列的行人轮廓；

基于时间序列的行人轮廓，获得时间序列的行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布中的至少一个，其中时间序列的行人轮廓的x方向距离分布为沿y轴切取的截面在x方向投影的最大长度，y方向距离分布为沿x轴切取的截面在y方向投影的最大长度，z方向距离分布为沿x轴切取的截面在z方向投影的最大长度；以及

基于时间序列的行人轮廓的x方向距离分布、y方向距离分布、z方向距离分布的至少一个的周期性，表示行人轮廓。