CN111626107A - 一种面向智能家居场景下的人形轮廓分析提取方法 - Google Patents

Abstract

本发明公开一种面向智能家居场景下的人形轮廓分析提取算法，首先，对预先获取的视频帧图像进行预处理，基于改进GMM的前景快速提取方法，提取出运动的前景目标；然后，计算每一个运动目标的宽度直方图，根据其宽度直方图的变化趋势，计算当前轮廓的头肩比，判断当前轮廓是否为人形轮廓，将人形轮廓添加到列表shapes；若shapes为空，读取下一帧图片；若列表不为空，对列表中的每一个轮廓使用最小矩形进行拟合；通过基于交并比和重心距离的轮廓跟踪法和基于人脸识别的轮廓跟踪法，将当前帧轮廓与前一帧轮廓对应起来，实现人形轮廓的连续提取。本发明解决了人形轮廓的后续提取和多人场景下不同目标轮廓的对应问题，可以在智能终端实现人形轮廓的提取与区分。

Description

一种面向智能家居场景下的人形轮廓分析提取方法

技术领域

本发明属于智能识别领域，具体涉及一种面向智能家居场景下的人形轮廓分析提取方法。

背景技术

人形轮廓分析提取是指将运动目标轮廓从复杂的背景图像中提取出来，并去除非人形轮廓部分。常见的运动目标轮廓提取方法有帧差法、背景减除法和光流法，这些方法仅能够实现对目标轮廓的提取，无法区分是否为人形轮廓。基于目标检测的方法可以通过训练一个神经网络，实现目标分类与定位的功能，此类网络模型有：YOLO、SSD、R-CNN和FasterR-CNN等。基于目标检测的方法虽然可以实现目标轮廓的提取并区分是否为人形轮廓，但多层的神经网络模型对硬件设备要求较高，无法应用到计算量和存储空间有限的智能终端设备。面向家居场景下的人形轮廓分析提取考虑到实时性与实用性，往往是需要在智能终端上实现的，目前已有的方法无法完美实现家居场景下人形轮廓的分析与提取，效果仍需改善。

发明内容

发明目的：本发明提出一种面向家居场景下的人形轮廓分析提取方法，解决了人形轮廓的后续提取和多人场景下不同目标轮廓的对应问题，可以在智能终端实现人形轮廓的提取与区分。

发明内容：本发明提出一种面向智能家居场景下的人形轮廓分析提取方法，包括以下步骤：

(1)对预先获取的视频帧图像进行预处理，所述预处理包括图像去噪和图像灰度化处理；

(2)基于改进GMM的前景快速提取方法，提取当前帧的运动目标对应的二值图，并对其进行形态学处理，得到目标轮廓列表contours；

(3)遍历目标轮廓列表contours，计算每一个运动目标的宽度直方图，根据其宽度直方图的变化趋势，计算当前轮廓的头肩比，判断当前轮廓是否为人形轮廓，将人形轮廓添加到列表shapes；

(4)若shapes为空，读取下一帧图片；若列表不为空，对列表中的每一个轮廓使用最小矩形进行拟合；

(5)通过基于交并比和重心距离的轮廓跟踪法和基于人脸识别的轮廓跟踪法，将当前帧轮廓与前一帧轮廓对应起来，实现人形轮廓的连续提取。

进一步地，所述步骤(2)包括以下步骤：

(21)采用模型快速移植加载机制，综合多种典型的家居场景，训练基础高斯混合模型，应用到具体的家居场景时，加载训练好的基础模型，通过以下公式实现：

其中，μ_i和σ_i为第i个典型场景的高斯混合模型的均值和方差矩阵， I(f(x_i)＝y_i)用于判断当前家居场景是否包含第i个典型场景的背景；

(22)使用视频的前十帧图像进行背景训练，将背景训练得到的高斯模型按照权值系数的比值从大到小进行排序，采集到的当前帧图像的每个像素点的灰度值与已有的高斯模型进行匹配，若匹配成功，则该像素点为背景点，否则，该像素点为前景；训练过程中对背景进行实时更新，通过下式实现：

其中，x_t为当前像素点的像素值，

表示t时刻高斯混合模型中第i个高斯分布的权值系数的估计值，

和

表示t时刻高斯混合模型中第i个高斯分布的均值向量和协方差矩阵，M为匹配值，匹配成功时为1，否则为0，α为参数学习率，α越大背景更新速度越快，越能适应新的场景。

进一步地，所述步骤(3)包括以下步骤：

(31)绘制轮廓宽度直方图；

(32)计算宽度直方图的驻点，驻点对应人的头部轮廓、颈部轮廓、肩部轮廓和腿部轮廓，若驻点数小于4，则判为非人形轮廓；否则，转入步骤(33)；

(33)比较每一个驻点纵坐标的大小，若满足y_驻点2＜y_驻点1,y_驻点4＜y_驻点3，则转入步骤(34)；否则，判为非人形轮廓；

(34)计算头部宽度与肩部宽度的比值

若λ的大小满足条件 th1≤λ≤th2，则判为人形轮廓；否则，判为非人形轮廓；其中，th1和th2为设定的阈值，行人正对摄像机对应阈值th1，行人侧对摄像机对应阈值th2。

进一步地，所述步骤(5)包括以下步骤：

(51)获取一帧图像中的每个人形轮廓的头肩比，判断是否为已存在的人形，若是，则提取相应轮廓，并进行标注；若不是，则转入步骤(52)；

(52)根据宽度直方图，获取人脸区域，将前一帧已提取的人脸与当前轮廓进行匹配，若匹配到相符合的人脸，则为同一人形；否则，转入步骤(53)；

(53)计算每个轮廓前后两帧间矩形之间的交并比和重心距离，筛选出交并比符合[ε，1]的矩形框，选取重心距离最小的作为与上一帧匹配的轮廓，判定为同一个人形，其中ε为交并比阈值。

有益效果：与现有技术相比，本发明的有益效果：1、可以在智能终端实现人形轮廓的提取与区分；2、模型快速加载机制的提出减少了模型训练时间，能够快速进行轮廓提取；基于宽度直方图的轮廓判别法的提出减少了非人形轮廓的检测的干扰，增加了人形轮廓提取准确率的同时也减少了计算量；基于交并比和重心距离的轮廓跟踪法与基于人脸识别的轮廓跟踪法的提出解决了人形轮廓的跟踪问题和多人共存情形下的人形轮廓对应问题，具有很大的实用价值。

附图说明

图1为本发明的流程图；

图2为模型快速移植加载机制示意图；

图3为人形轮廓宽度变化示意图；

图4为多目标前后两帧运动示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示，本发明所述的一种面向智能家居场景下的人形轮廓分析提取方法，首先通过基于高斯混合模型的前景提取方法，提取出运动的前景目标；接着通过基于宽度直方图的轮廓判别法，区分正常行走的人形轮廓和其他非人形轮廓；最后，分析了人形轮廓的后续提取，提出了基于交并比和重心距离的轮廓跟踪法，解决了人形轮廓的后续提取和多人场景下不同目标轮廓的对应问题。具体包括以下步骤：

步骤1：对预先获取的视频帧图像进行预处理，预处理包括图像去噪和图像灰度化处理。

步骤2：基于改进GMM的前景快速提取方法，提取当前帧的运动目标对应的二值图，并对其进行形态学处理，得到目标轮廓列表contours。

高斯模型的理论基础是高斯分布，其公式如下所示：

其中，x为随机变量，μ为为期望，σ为方差。对于每帧图像，每个像素点的像素值在一段时间内的分布服从高斯分布。然而，在实际的家居生活中，存在各种各样的噪声干扰，例如光线变化和风扇旋转等，一个高斯分布无法准确描述背景信息。高斯混合背景模型使用多个高斯分布对动态变化的背景建立不同的高斯模型，用多个模型来描述背景信息，以达到更加准确提取背景的效果。在高斯混合模型中，假设每个像素点之间相互独立。背景图像的每一个像素分别用K 个高斯分布构成的高斯混合模型来建模，即：

其中，x_j表示像素j在t时刻的取值，

表示t时刻高斯混合模型中第i 个高斯分布的权值系数的估计值

和

表示t时刻高斯混合模型中第i个高斯分布的均值向量和协方差矩阵，η为高斯分布概率密度函数， K的取值一般为3～7。

为了准确地获取背景信息，需要进行背景训练。主要过程如下所示：

(1)初始化模型参数。对于第一帧图像，将采集到的每个像素的灰度值作为均值，再选择一个较大的常数σ₀作为方差，建立高斯模型。对于每个像素点j，此时K为1，权值系数ω为1；

(2)背景训练。将采集到的当前帧图像的每个像素点的灰度值与已建立的 K个高斯模型按照优先级逐一比较，若满足

则按照公式4更新参数；若不满足，且i<K，则新增一个高斯分布，若i＝K，则用新建立的高斯分布替换权值系数最小的高斯分布。

(3)停止训练。当帧数大于N时，停止训练。

背景训练能够增加背景提取的准确性，减少其他干扰因素，避免将运动目标当作背景的一部分。但训练的帧数N不能过长，本文选择前10帧图像进行训练。

将背景训练得到的高斯模型按照

从大到小进行排序，按照如下公式选取前B个模型来描述背景：

其中，T为阈值，本文T为0.8，1≤b≤K。

将采集到的当前帧图像的每个像素点的灰度值与B个高斯模型进行匹配，若满足

则该像素点属于背景，否则属于前景。

由于场景会不断的变化，为了保证背景提取的准确性，需要对背景进行实时更新。更新规则如下：

其中，M为匹配值，匹配成功时为1，否则为0，α为参数学习率，α越大背景更新速度越快，越能适应新的场景。

对于采集到的当前帧图像，若满足

则按照公式(4)进行背景更新；若不满足，且i<K，则新增一个高斯分布，若i＝K，则用新建立的高斯分布替换权值系数最小的高斯分布。新建立的高斯分布均值为当前像素点的灰度值，方差为较大的常数σ₀。

为提升高斯混合模型的准确性，本发明提出了模型快速移植加载机制，如图 2所示，综合多种典型的家居场景，通过上述方法训练基础高斯混合模型，应用到具体的家居场景时，加载训练好的基础模型，然后通过简单的初始化训练即可。

在家居场景下，存在着多种多样的家具，例如，沙发、空调、电视、盆栽等，复杂的背景对高斯混合模型的训练时间和准确度都有较大的影响。因此，本文在训练基础高斯混合模型时，构建了特殊的家居场景，分别为只包含沙发的家居场景、只包含空调的家居场景、只包含电视剧的家居场景、只包含盆栽的家居场景和只包含桌子的家居场景，一共训练五个不同的高斯混合模型。当应用到具体的家居场景时，首先通过一个分类网络，识别该家居场景是否有沙发、空调、电视剧、盆栽和桌子，然后按照以下公式，初始化高斯混合模型，最后通过视频的前十帧，微调模型参数。

其中，μ_i和σ_i为第i个典型场景的高斯混合模型的均值和方差矩阵， I(f(x_i)＝y_i)用于判断当前家居场景是否包含第i个典型场景的背景。

步骤3：遍历目标轮廓列表，计算每一个运动目标的宽度直方图，根据其宽度直方图的变化趋势，计算当前轮廓的头肩比，判断当前轮廓是否为人形轮廓，将人形轮廓添加到列表shapes。

基于高斯混合模型的前景提取方法能够提取出家居场景下的运动目标轮廓，但家居场景下，除了行人以为，还有很多其他的运动目标，例如，猫、狗和滚动的皮球等，这些运动目标都会对人形轮廓的提取造成干扰，增加计算量。为了满足实时性的要求，本发明提出了基于宽度直方图的轮廓判别法，用于区分人形轮廓和其他目标轮廓。

宽度直方图是用来描述轮廓水平方向宽度变化的趋势。以二值图的左上角作为原点，水平向右为x轴，竖直向下为y轴建立像素坐标系。由于组成前景的像素点的灰度值都为255，而其他区域的像素点灰度值为0，所以可以按照以下方式计算轮廓的宽度：沿y轴正方向为滑动方向，每次滑动一个像素，记录x轴方向上像素值从0变为255到从255变为0的宽度，直至遍历完整幅二值图。

对于人形轮廓，其宽度变化趋势如图3所示，头部轮廓对应的宽度为曲线的第一个峰值，由于脖颈的宽度小于头部轮廓宽度，所以曲线开始下降，接着曲线开始上升，达到第二个峰值，这对应着肩部的宽度，并且大于头部宽度，然后曲线开始下降，速度由快变慢，再变快，这是因为人体上身的宽度大与腿部宽度。通过分析可得，头部宽度与肩部宽度的比值λ满足以下条件：

th1≤λ≤th2 (7)

其中，th1和th2为实验所得的阈值，行人正对摄像机对应阈值th1，行人侧对摄像机对应阈值th2。

因此，基于宽度直方图的轮廓判别法包含以下步骤：

(1)绘制轮廓宽度直方图。

(2)计算宽度直方图的驻点，驻点对应人的头部轮廓、颈部轮廓、肩部轮廓和腿部轮廓，若驻点数小于4，则判为非人形轮廓；否则，转入步骤(3)。

(3)比较每一个驻点纵坐标的大小，若满足y_驻点2＜y_驻点1,y_驻点4＜y_驻点3，则转入步骤(4)；否则，判为非人形轮廓。

(4)计算头部与肩部比值

若λ的大小满足公式(7)，则判为人形轮廓；否则，判为非人形轮廓。

若shapes为空，读取下一帧图片；若列表不为空，对列表中的每一个轮廓使用最小矩形进行拟合。

步骤4：通过基于交并比和重心距离的轮廓跟踪法和基于人脸识别的轮廓跟踪法，将当前帧轮廓与前一帧轮廓对应起来，实现人形轮廓的连续提取。

当行人发生弯腰、跌倒和坐下等动作时，轮廓与行走时的轮廓相比，会发生变形，此时，基于宽度直方图的轮廓判别法无法准确判断人形轮廓和非人形轮廓。为了满足准确性要求，本发明提出了基于交并比和重心距离的轮廓跟踪法和基于人脸识别的轮廓跟踪法，用于实现人形轮廓的连续提取。

随着人脸识别技术的日益成熟，通过人脸识别，匹配前一帧和当前帧的人脸，可以很便捷的实现人形轮廓的跟踪，区分不同的人形。但是，当行人没有正对摄像头时，即无法达到预期的效果。

在家居场景下，行人的运动速度较慢，对比前后两帧可以发现，人形轮廓有一定的重叠区域。如图4所示，A和B为前一帧检测到的两个人形轮廓的最小外接矩形，A'和B'为当前帧检测到的人形轮廓，d为前后两帧同一个目标重心的距离，d'为前后两帧不同目标的重心距离。可以发现，对于同一个运动目标的轮廓，对比前后两帧，两个矩形框有较大的重叠区域，重心之间的距离也比较小；对于不同目标，对比前后两帧，两个矩形重叠区域很小，甚至没有，重心之间的距离也比较大。常见衡量重叠区域的一个指标是交并比，具体公式如下：

其中，IOU表示矩形面积的交并比，对于同一个目标，前后两帧轮廓的交并比应满足ε≤IOU≤1，IOU取1时对应目标没有运动的情形，阈值ε为实验所得。

因此，根据矩形交并比、重心之间距离和人脸匹配可以实现家居场景下行人轮廓的跟踪，具体步骤如下：

(1)获取一帧图像中的每个人形轮廓的头肩比，判断是否为已存在的人形，若是，则提取相应轮廓，并进行标注；若不是，则转入步骤(2)。

(2)根据宽度直方图，获取人脸区域，将前一帧已提取的人脸与当前轮廓进行匹配，若匹配到相符合的人脸，则为同一人形，否则，转入步骤(3)。

(3)计算每个轮廓前后两帧间矩形之间的交并比和重心距离，筛选出交并比符合[ε，1]的矩形框，选取重心距离最小的作为与上一帧匹配的轮廓，判定为同一个人形。其中，ε为通过实验所得的交并比阈值。

Claims (4)

1.一种面向智能家居场景下的人形轮廓分析提取方法，其特征在于，包括以下步骤：

(1)对预先获取的视频帧图像进行预处理，所述预处理包括图像去噪和图像灰度化处理；

(2)基于改进GMM的前景快速提取方法，提取当前帧的运动目标对应的二值图，并对其进行形态学处理，得到目标轮廓列表contours；

(3)遍历目标轮廓列表contours，计算每一个运动目标的宽度直方图，根据其宽度直方图的变化趋势，计算当前轮廓的头肩比，判断当前轮廓是否为人形轮廓，将人形轮廓添加到列表shapes；

(4)若shapes为空，读取下一帧图片；若列表不为空，对列表中的每一个轮廓使用最小矩形进行拟合；

(5)通过基于交并比和重心距离的轮廓跟踪法和基于人脸识别的轮廓跟踪法，将当前帧轮廓与前一帧轮廓对应起来，实现人形轮廓的连续提取。

2.根据权利要求1所述的一种面向智能家居场景下的人形轮廓分析提取方法，其特征在于，所述步骤(2)包括以下步骤：

(21)采用模型快速移植加载机制，综合多种典型的家居场景，训练基础高斯混合模型，应用到具体的家居场景时，加载训练好的基础模型，通过以下公式实现：

其中，μ_i和σ_i为第i个典型场景的高斯混合模型的均值和方差矩阵，I(f(x_i)＝y_i)用于判断当前家居场景是否包含第i个典型场景的背景；

(22)使用视频的前十帧图像进行背景训练，将背景训练得到的高斯模型按照权值系数的比值从大到小进行排序，采集到的当前帧图像的每个像素点的灰度值与已有的高斯模型进行匹配，若匹配成功，则该像素点为背景点，否则，该像素点为前景；训练过程中对背景进行实时更新，通过下式实现：

其中，x_t为当前像素点的像素值，

表示t时刻高斯混合模型中第i个高斯分布的权值系数的估计值，

和

表示t时刻高斯混合模型中第i个高斯分布的均值向量和协方差矩阵，M为匹配值，匹配成功时为1，否则为0，α为参数学习率，α越大背景更新速度越快，越能适应新的场景。

3.根据权利要求1所述的一种面向智能家居场景下的人形轮廓分析提取方法，其特征在于，所述步骤(3)包括以下步骤：

(31)绘制轮廓宽度直方图；

(32)计算宽度直方图的驻点，驻点对应人的头部轮廓、颈部轮廓、肩部轮廓和腿部轮廓，若驻点数小于4，则判为非人形轮廓；否则，转入步骤(33)；

(33)比较每一个驻点纵坐标的大小，若满足y_驻点2＜y_驻点1,y_驻点4＜y_驻点3，则转入步骤(34)；否则，判为非人形轮廓；

(34)计算头部宽度与肩部宽度的比值

若λ的大小满足条件th1≤λ≤th2，则判为人形轮廓；否则，判为非人形轮廓；其中，th1和th2为设定的阈值，行人正对摄像机对应阈值th1，行人侧对摄像机对应阈值th2。

4.根据权利要求1所述的一种面向智能家居场景下的人形轮廓分析提取方法，其特征在于，所述步骤(5)包括以下步骤：

(51)获取一帧图像中的每个人形轮廓的头肩比，判断是否为已存在的人形，若是，则提取相应轮廓，并进行标注；若不是，则转入步骤(52)；

(52)根据宽度直方图，获取人脸区域，将前一帧已提取的人脸与当前轮廓进行匹配，若匹配到相符合的人脸，则为同一人形；否则，转入步骤(53)；

(53)计算每个轮廓前后两帧间矩形之间的交并比和重心距离，筛选出交并比符合[ε，1]的矩形框，选取重心距离最小的作为与上一帧匹配的轮廓，判定为同一个人形，其中ε为交并比阈值。

Images