CN102214309B - 一种基于头肩模型的特定人体识别方法 - Google Patents

Abstract

本发明涉及一种基于头肩模型的特定人体识别方法，属于模式识别与人工智能和计算机视觉领域。本发明采用摄像机作为视频采集装置，工控机作为视频处理装置。首先检测运动目标，统计得到的运动目标二值图像中的人体数目并提取人体头肩模型，同时存在多个人体则按顺序编号；按编号依次提取人体头肩模型的不变矩，根据分类标准将头肩模型分类为正背面或侧面；根据人体头肩模型的分类分别用训练好的正背面KNN分类器或侧面KNN分类器分类，实现对特定人体的识别，输出识别结果。本发明可以很好的提高识别准确率。

Description

一种基于头肩模型的特定人体识别方法

技术领域

本发明属于模式识别与人工智能和计算机视觉领域，特别涉及基于头肩模型的特定人体识别方法。

背景技术

近年来，人体视觉分析已成为计算机视觉的一个重要研究领域，对视频中人体的识别是其中一个热门的研究方向，广泛应用于室内视频监控、移动机器人人体跟踪等方面。

目前大多数方法在人体出现不完全遮挡时不能很好的识别人体，且只能简单的识别人与非人，不能实现对特定人体的识别。

一些现有方法基于目标的轮廓、长度、最小外接矩形、周长、面积等特征进行人体识别，这类方法对识别目标是否为人比较简单，但对于监控场景较为复杂、目标较多的情况则难以适用，普遍识别准确率不高；还有一些方法通过提取整个人体或者部分人体的不变矩、星形向量等特征，采用SVM、BP神经网络等国际通用的分类器对人体进行分类识别。但大多数方法与系统局限于用来识别人体和非人体，难以实现对特定人体的识别。

人体检测是人体识别的首要步骤，只有运动人体被很好的检测出来才能对人体进行识别。由于人体的非刚性运动，以及人体之间和人体与物体之间的相互遮挡等因素的影响，使得人体检测成为一项极具挑战性的课题。而头肩在人体运动时相对身体其它部分具有更好的稳定性并且不容易被遮挡，此时头肩会有很高的概率被检测出来，所以可以采用头肩模型作为识别模型。

发明内容

本发明的目的在于克服现有技术的上述不足，采用一种基于头肩模型的特定人体识别方法。将人体头肩模型分为正背面和侧面两大部分，以不变矩作为描述头肩模型的特征。通过一定的阈值将待识别的头肩模型分为相应的两大部分。采用与头肩模型上述分类相对应的KNN分类器实现对特定人体的识别。本发明可以提高识别准确率。

本发明提供一种基于头肩模型的特定人体识别方法，包括：

本发明采用摄像机作为视频采集装置，采用工控机作为视频处理装置。

(1)工控机实时对摄像机采集的视频图像按帧进行运动目标检测，得到运动目标二值图像；

采用基于背景图像差分的方法进行前景提取。为了完整地提取运动目标，在差分图像计算时采用如下彩色值模型：

I(x，y)＝max{|R_b(x，y)-R_k(x，y)|，|G_b(x，y)-G_k(x，y)|，|B_b(x，y)-B_k(x，y)|}

式中x，y分别为图像中某一像素的横、纵坐标，I(x，y)为差分图像某一像素的像素值，R_b(x，y)，G_b(x，y)，B_b(x，y)分别为背景图像某一像素的R、G、B值；R_k(x，y)，G_k(x，y)，B_k(x，y)分别为当前帧图像某一像素的R、G、B值。

对于得到的差分图像，采用类间距离与类内距离之比作为最佳分割的目标函数来实现以上差值图像的二值化分割，得到的二值图像中运动目标区域为白色像素，背景区域为黒色像素。

对二值图像采用开启和闭合操作进行处理，消除噪声斑点，得到运动目标二值图像。

还可以采用连续帧间差分的方法进行前景提取。

(2)由于运动目标可能包括人和物，因此需要从运动目标二值图像中提取人体二值图像，并且统计人体数目。当运动目标二值图像中含有多个人体时对所有人体依次编号，具体步骤如下：

2.1)对步骤(1)得到的运动目标二值图像提取连通分量，标注出各个连通区域；

2.2)判断各连通区域内是否存在多个运动目标，并对包含多运动目标的连通区域重新进行划分，具体如下：

2.2.1)做各连通区域的水平投影直方图；

2.2.2)当同一连通区域对应的水平投影直方图中仅存在一个峰顶时，表明该连通区域内仅有一个运动目标，峰顶的横向位置即为运动目标顶部的横向位置，此时该连通区域不需要进一步划分；

2.2.3)当同一连通区域对应的水平投影直方图中存在多个峰顶时，表明该连通区域内存在多个运动目标，此时需要重新划分该连通区域，以保证每一个连通区域内只有一个运动目标。划分方法为：首先计算相邻峰顶间的极小值点，然后在运动目标二值图像中做通过极小值点对应的列的垂直于图像水平方向的黑色单像素直线，实现对多峰值连通区域进行分割；

2.2.4)重新提取分割后的运动目标二值图像的连通分量，标注出各个连通区域。

2.3)提取人体二值图像，统计人体数目，对所有人体依次编号，具体包括以下步骤：

2.3.1)对运动目标二值图像中的各个连通区域做水平投影直方图；

2.3.2)计算各个水平投影直方图的脉冲宽度P，公式如下：

$P=\underset{x}{\mathrm{\Σ}}P\left(x\right)$

其中， $P\left(x\right)=\left\{\begin{array}{cc}1,& H\left(x\right)\&GreaterEqual;\frac{1}{3}H\\ 0,& H\left(x\right)<\frac{1}{3}H\end{array}\right.$

x代表连通区域的第x列，H(x)代表连通区域的第x列所包含的像素数目，H代表所有H(x)中的最大值；

2.3.3)若连通区域的正脉冲脉冲宽度P大于等于W，则连通区域为人体区域，W取值范围为[3，6]，保持该连通区域不变；

若连通区域的正脉冲脉冲宽度P小于W，则连通区域为非人体区域，将该连通区域由白色像素变为黑色像素，即将该区域变为背景区域；

2.3.4)此时运动目标二值图像即为人体二值图像，所有水平投影直方图中脉冲宽度P大于等于W的正脉冲总数目即为人体数目；

2.3.4)提取人体二值图像的连通分量，标注出各个连通区域，实现对所有人体的编号。

(3)提取人体二值图像中的人体头肩模型，得到人体头肩模型二值图像，当人体二值图像中含有多个人体时依次对提取的人体头肩模型编号，人体头肩模型的编号与其对应人体的编号相同；

按编号顺序依次做人体二值图像中各个连通区域的垂直投影直方图，将垂直投影直方图进行滤波平滑处理。图1为平滑处理后的人体二值图像连通区域垂直投影直方图，横坐标代表人体二值图像的连通区域的各行，纵坐标代表人体二值图像的连通区域的各行中的像素数目，参照图1，垂直投影直方图中曲线与横轴的第一个交点即为人体的头顶点A；

找出头顶点A附近的局部最大值点B，点B的纵坐标即为头部宽度，根据人体解剖学的知识提取头部宽度的2.5～3.0倍作为头肩模型的高度h；若找不出头顶点A附近的局部最大值点B，则找出垂直投影直方图曲线的全局最大值点B1，点B1的纵坐标即为人体宽度，根据人体解剖学的知识人体的宽高比为[0.28，0.36]，计算出人体的近似高度，根据人体解剖学的知识人体头肩模型的高度与人体高度的比值为[0.22.0.30]，计算出人体头肩模型的高度h。头顶点A的横坐标与点C的横坐标的差值为h，以头顶点A为起始点，点A和点C间的垂直投影直方图曲线H在人体二值图像中对应的区域即为所要提取的人体头肩模型区域，对应的二值图像即为人体头肩模型二值图像；

图2为本发明中人体的头肩视图的划分方法示意图，参照图2，将人体头肩模型分为正背面、侧面两大部分，正面、背面、左侧面、右侧面、左前半侧面、左后半侧面、右后半侧面、右前半侧面八个区域。其中正面、背面属于正背面区域，人体头肩模型在正面、背面区域左、右微偏5°仍可认为其属于正背面部分；左侧面、右侧面、左前半侧面、左后半侧面、右后半侧面、右前半侧面属于侧面部分。具体判断的方法是通过计算不变矩，并根据分类标准实现的，具体为步骤(4)、(5)；

(4)对人体头肩模型按编号依次提取不变矩，不变矩计算公式如下：

其中：

${\mathrm{\&eta;}}_{\mathrm{pq}}=\frac{{\mathrm{\&mu;}}_{\mathrm{pq}}}{{\mathrm{\&mu;}}_{00}^{\frac{p+q}{2}+1}},(p,q=\mathrm{0,1,2,3})$

${\mathrm{\&mu;}}_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{(x-\stackrel{\&OverBar;}{x})}^p{(y-\stackrel{\&OverBar;}{y})}^{q}f(x,y),$

x，y分别为人体头肩模型二值图像中某一像素的横、纵坐标；

f(x，y)为人体头肩模型二值图像中某一像素点的像素值；

分别为人体头肩模型二值图像重心点的横、纵坐标，

$\stackrel{\&OverBar;}{x}=m_{10}/m_{00},\stackrel{\&OverBar;}{y}=m_{01}/m_{00},m_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{x}^p{y}^{q}f(x,y),$ m_pq为人体头肩模型二值图像的(p+q)阶原点矩；

(5)选用M₁、M₂、M₆对人体头肩模型进行正背面或侧面的分类，分类标准如下：

当M₁＜ε₁时，为侧面；

当M₁＞ε₂时为正背面；

当ε₁≤M₁≤ε₂时，若M₂＞ε₃且M₆＞ε₄时，为正背面，

若M₂≤ε₃或M₆≤ε₄时，为侧面；

其中，ε₁的取值范围为[0.5800，0.5900]，ε₂的取值范围为[0.6100，0.6200]，ε₃的取值范围为[0.2300，0.2400]，ε₄的取值范围为[0.1400，0.1500]；

(6)用训练好的KNN分类器对分类后的人体头肩模型进行识别，

6.1)当人体头肩模型分类为正背面时，送入训练好的正背面KNN分类器；当人体头肩模型分类为侧面时，送入训练好的侧面KNN分类器；

6.2)计算人体头肩模型的不变矩特征与已知类别的训练样本的不变矩特征之间的欧氏距离d，计算欧氏距离的公式为：

$d=\sqrt{\underset{i=1}{\overset{7}{\mathrm{\&Sigma;}}}{(M_i-M_i^{\&prime;})}^2}$

M_i，M′_i分别为人体头肩模型的第i个不变矩特征与已知类别的训练样本的第i个不变矩特征；

6.3)寻找与人体头肩模型的不变矩特征欧氏距离最近，且距离小于L的k个邻居，其中，k为大于2的奇数，L取值范围为[0.0091，0.0150]；

若无法找到k个欧氏距离小于L的邻居，则人体头肩模型对应的人体为非特定人体；

若找到k个欧氏距离小于L的邻居，则人体头肩模型对应的人体为特定人体，人体头肩模型的k个邻居的类别中占多数的类别即为人体头肩模型的类别，也即特定人体的类别；若人体头肩模型的k个邻居的类别中没有占多数的类别，则欧氏距离d最小的邻居的类别即为人体头肩模型的类别，也即特定人体的类别。

训练好的正背面KNN分类器利用权利要求1中的步骤1至5对需要识别的特定人体进行图像采集并分类。

训练好的侧面KNN分类器利用权利要求1中的步骤1至5对需要识别的特定人体进行图像采集并分类。

附图说明

图1为平滑处理后的人体二值图像连通区域垂直投影直方图。

图2为本发明中人体的头肩视图的划分方法示意图。

图3为本发明方法的流程图。

图4为KNN分类器训练流程图。

具体实施方式

图3为本发明方法的流程图，参照图3，本发明提供一种识别侵入视频监控区域的非法人员的实施例。

图4为KNN分类器训练流程图，参照图4，以识别侵入视频监控区域的非法人员的情况为例，选择10个特定人体作为合法人员，为了减少背景干扰，选取没有其他物品存在的摄影环境对每个特定人体采集32张图像。特定人体数目和采集的图像可以根据实际情况有所变化。根据正背面和侧面的划分原则包括8张正背面图像和24张侧面图像。对采集到的图像采用基于背景图像差分的方法进行前景提取。对于得到的差分图像，采用类间距离与类内距离之比作为最佳分割的目标函数来实现以上差值图像的二值化分割，得到的二值图像中特定人体区域为白色像素，背景区域为黒色像素。对二值图像采用开启和闭合操作进行处理，消除噪声斑点，得到特定人体二值图像。由于本实施例中对特定人体的图像采集是在没有背景干扰的情况下进行的，每幅图片中仅存在一个特定人体，因此无需经过权利要求书中的步骤2。

如果特定人体的摄影环境复杂，则需要经过权利要求书中的步骤2从二值图像提取特定人体二值图像。

提取特定人体二值图像中的特定人体头肩模型，得到特定人体头肩模型二值图像。按编号顺序依次做人体二值图像中各个连通区域的垂直投影直方图，将垂直投影直方图进行滤波平滑处理。图1为平滑处理后的人体二值图像连通区域垂直投影直方图，横坐标代表人体二值图像的连通区域的各行，纵坐标代表人体二值图像的连通区域的各行中的像素数目，参照图1，垂直投影直方图中曲线与横轴的第一个交点即为人体的头顶点A；

找出头顶点A附近的局部最大值点B，点B的纵坐标即为头部宽度，根据人体解剖学的知识提取头部宽度的2.5～3.0倍作为头肩模型的高度h；若找不出头顶点A附近的局部最大值点B，则找出垂直投影直方图曲线的全局最大值点B1，点B1的纵坐标即为人体宽度，根据人体解剖学的知识人体的宽高比为[0.28，0.36]，计算出人体的近似高度，根据人体解剖学的知识人体头肩模型的高度与人体高度的比值为[0.22.0.30]，计算出人体头肩模型的高度h。头顶点A的横坐标与点C的横坐标的差值为h，以头顶点A为起始点，点A和点C间的垂直投影直方图曲线H在人体二值图像中对应的区域即为所要提取的人体头肩模型区域，对应的二值图像即为人体头肩模型二值图像；

对特定人体头肩模型按编号依次提取不变矩，不变矩计算公式如下：

其中：

${\mathrm{\&eta;}}_{\mathrm{pq}}=\frac{{\mathrm{\&mu;}}_{\mathrm{pq}}}{{\mathrm{\&mu;}}_{00}^{\frac{p+q}{2}+1}},(p,q=\mathrm{0,1,2,3})$

${\mathrm{\&mu;}}_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{(x-\stackrel{\&OverBar;}{x})}^p{(y-\stackrel{\&OverBar;}{y})}^{q}f(x,y),$

x，y分别为特定人体头肩模型二值图像中某一像素的横、纵坐标；

f(x，y)为特定人体头肩模型二值图像中某一像素点的像素值；

分别为特定人体头肩模型二值图像重心点的横、纵坐标，

$\stackrel{\&OverBar;}{x}=m_{10}/m_{00},\stackrel{\&OverBar;}{y}=m_{01}/m_{00},m_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{x}^p{y}^{q}f(x,y),$ m_pq为特定人体头肩模型二值图像的(p+q)阶原点矩；

选用M₁、M₂、M₆对特定人体头肩模型进行正背面或侧面的分类，分类标准如下：

当M₁＜ε₁时，为侧面；

当M₁＞ε₂时，为正背面；

当ε₁≤M₁≤ε₂时，若M₂＞ε₃且M₆＞ε₄时，为正背面，

若M₂≤ε₃或M₆≤ε₄时，为侧面；

其中，ε₁为0.58，ε₂为0.61，ε₃为0.23，ε₄为0.14；

对于正背面特定人体头肩模型，把该特定人体头肩模型对应的7个不变矩存入工控机中的正背面KNN分类器的训练样本库中；对于侧面特定人体头肩模型，把该特定人体头肩模型对应的7个不变矩存入工控机中的侧面KNN分类器的训练样本库中；

此时，正背面KNN分类器和侧面KNN分类器训练完成。

摄像机实时采集图像，工控机实时对摄像机采集的视频图像按帧进行运动目标检测，得到运动目标二值图像。统计得到的运动目标二值图像中的人体数目，当运动目标二值图像中含有多个人体时对所有人体依次编号，得到人体二值图像；提取人体二值图像中的人体头肩模型，得到人体头肩模型二值图像，当人体二值图像中含有多个人体时依次对提取的人体头肩模型编号，人体头肩模型的编号与其对应人体的编号相同；对人体头肩模型按编号依次提取不变矩，并根据分类标准进行分类。当判定为正背面时，依次读取正背面KNN分类器训练样本库中特定人体的7个不变距，计算人体头肩模型的不变矩特征与特定人体不变矩特征之间的欧氏距离d，若无法在训练样本库中找到与人体头肩模型的不变矩特征欧氏距离最近的且小于0.0100的3个邻居，则人体头肩模型对应的人体为非法人员。若在训练样本库中找到与人体头肩模型的不变矩特征欧氏距离最近的且小于0.0100的3个邻居，则人体头肩模型对应的人体为合法人员，人体头肩模型的3个邻居的类别中占多数的类别即为人体头肩模型的类别，也即合法人员的类别；若人体头肩模型的3个邻居的类别中没有占多数的类别，则欧氏距离最小的邻居的类别即为人体头肩模型的类别，也即合法人员的类别。

当判定为侧面时，依次读取侧面KNN分类器训练样本库中特定人体的7个不变距，计算人体头肩模型的不变矩特征与特定人体不变矩特征之间的欧氏距离d，若无法在训练样本库中找到与人体头肩模型的不变矩特征欧氏距离最近的且小于0.0100的3个邻居，则人体头肩模型对应的人体为非法人员。若在训练样本库中找到与人体头肩模型的不变矩特征欧氏距离最近的且小于0.0100的3个邻居，则人体头肩模型对应的人体为合法人员，人体头肩模型的3个邻居的类别中占多数的类别即为人体头肩模型的类别，也即合法人员的类别；若人体头肩模型的3个邻居的类别中没有占多数的类别，则欧氏距离最小的邻居的类别即为人体头肩模型的类别，也即合法人员的类别。

以上所述仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改，等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于头肩模型的特定人体识别方法，该方法基于摄像机和工控机构成的硬件平台，其特征在于包括以下步骤：

(1)工控机实时对摄像机采集的视频图像按帧进行运动目标检测，得到运动目标二值图像；

(2)统计上一步得到的运动目标二值图像中的人体数目，当运动目标二值图像中含有多个人体时对所有人体依次编号，得到人体二值图像；

(3)提取人体二值图像中的人体头肩模型，得到人体头肩模型二值图像，当人体二值图像中含有多个人体时依次对提取的人体头肩模型编号，人体头肩模型的编号与其对应人体的编号相同；

(4)对人体头肩模型按编号依次提取不变矩，不变矩计算公式如下：

其中：

${\mathrm{\&eta;}}_{\mathrm{pq}}=\frac{{\mathrm{\&mu;}}_{\mathrm{pq}}}{{\mathrm{\&mu;}}_{00}^{\frac{p+q}{2}+1}},(p,q=\mathrm{0,1,2,3})$

${\mathrm{\&mu;}}_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{(x-\stackrel{\&OverBar;}{x})}^p{(y-\stackrel{\&OverBar;}{y})}^{q}f(x,y),$

x，y分别为人体头肩模型二值图像中某一像素的横、纵坐标；

f(x，y)为人体头肩模型二值图像中某一像素点的像素值；

分别为人体头肩模型二值图像重心点的横、纵坐标，

$\stackrel{\&OverBar;}{x}=m_{10}/m_{00},\stackrel{\&OverBar;}{y}=m_{01}/m_{00},m_{\mathrm{pq}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{x}^p{x}^{q}f(x,y),$ m_pq为人体头肩模型二值图像的(p+q)阶原点矩；

(5)选用M₁、M₂、M₆对人体头肩模型进行正背面或侧面的分类，分类标准如下：

当M₁＜ε₁时，为侧面；

当M₁＞ε₂时为正背面；

当ε₁≤M₁≤ε₂时，若M₂＞ε₃且M₆＞ε₄时，为正背面，

若M₂≤ε₃或M₆≤ε₄时，为侧面；

其中，ε₁的取值范围为[0.5800，0.5900]，ε₂的取值范围为[0.6100，0.6200]，ε₃的取值范围为[0.2300，0.2400]，ε₄的取值范围为[0.1400，0.1500]；

(6)用训练好的KNN分类器对分类后的人体头肩模型进行识别，

6.1)当人体头肩模型分类为正背面时，送入训练好的正背面KNN分类器；

当人体头肩模型分类为侧面时，送入训练好的侧面KNN分类器；

6.2)计算人体头肩模型的不变矩特征与已知类别的训练样本的不变矩特征之间的欧氏距离d，计算欧氏距离的公式为：

$d=\sqrt{\underset{i=1}{\overset{7}{\mathrm{\&Sigma;}}}{(M_i-M_i^{\&prime;})}^2}$

其中：M_i，M′_i分别为人体头肩模型的第i个不变矩特征与已知类别的训练样本的第i个不变矩特征；

6.3)寻找与人体头肩模型的不变矩特征欧氏距离最近，且距离小于L的k个邻居，其中，k为大于2的奇数，L取值范围为[0.0091，0.0150]，

若无法找到k个欧氏距离小于L的邻居，则人体头肩模型对应的人体为非特定人体，

若找到k个欧氏距离小于L的邻居，则人体头肩模型对应的人体为特定人体，人体头肩模型的k个邻居的类别中占多数的类别即为人体头肩模型的类别，也即特定人体的类别，若人体头肩模型的k个邻居的类别中没有占多数的类别，则欧氏距离d最小的邻居的类别即为人体头肩模型的类别，也即特定人体的类别。

2.根据权利要求1所述的一种基于头肩模型的特定人体识别方法，其特征在于：

提取二值图像中的人体头肩模型的方法为垂直投影直方图方法。

3.根据权利要求1所述的一种基于头肩模型的特定人体识别方法，其特征在于：

所述的训练好的正背面KNN分类器利用权利要求1中的步骤1至5对需要识别的特定人体进行图像采集并建立正背面训练样本库。

4.根据权利要求1所述的一种基于头肩模型的特定人体识别方法，其特征在于：

所述的训练好的侧面KNN分类器利用权利要求1中的步骤1至5对需要识别的特定人体进行图像采集并建立侧面训练样本库。

Images