CN107590440A - 一种智能家居场景下人形识别的方法和系统 - Google Patents

Abstract

本发明公开了一种智能家居场景下人形识别的方法和系统，首先通过终端摄像头实时捕获图像，并选取家居场景下不含有人物的背景图，对当前帧和背景图进行预处理。通过背景减除法得到人形轮廓图，用形态学的方法填充人形轮廓中的孔洞，对人形轮廓图的水平和垂直方向进行像素分布直方图和像素梯度分布直方图统计，获取人形特征点的坐标信息，构建头肩模型，计算头肩比用于判断是否为人形，计算基于形状特征的曲率并与人形特征曲率库进行比对，用于人形识别。若人形识别到当前为陌生人时，该系统会向客户端发送报警信息，并传输当前图像到客户端。该发明可以广泛应用于智能家居场景下，给用户带来舒适安全的享受，有非常广阔的应用场景。

Description

一种智能家居场景下人形识别的方法和系统

技术领域

本发明涉及一种智能家居场景下人形识别的方法和系统，属于智能家居领域。

背景技术

人形识别是指在图像中获取人物的形状轮廓，提取人形特征点和轮廓曲线等特征，并对人形进行识别。

而在线视频的人形识别更为复杂，需要把视频流分解成一帧帧图片，使用背景减除法获取当前轮廓图，提取特征点构建头肩模型，判断轮廓是否为人形，使用基于形状特征的曲率比对进行人形识别。但当今市场上，具有人形识别功能的智能家居设备还较为少见，大多人形识别产品仅仅停留在远程视频监控功能和红外感应上，不能识别人物身份，识别效果并不理想，并对实时视频处理有很大的时延。

发明内容

为了克服现有技术的不足，本发明提出了一种智能家居场景下人形识别的方法和系统，对硬件要求低，复杂度低和时延低。该方法通过对每一帧图像进行灰度处理，并用高斯模糊平滑算法处理，为下一步的背景减除做准备。然后通过背景减除法得到当前的人形轮廓图像，进行特征点和轮廓坐标信息提取，计算头肩比和人形轮廓曲率，对人形进行识别。当检测到陌生人形时会像用户发送警报和当前的图像。本发明提出的一种智能家居场景下人形识别的方法和系统能检测家居环境下是否有陌生人闯入的问题，解决用户对家居安全的监控难题。

本发明为解决上述技术问题采用以下技术方案：

一方面，本发明提供一种智能家居场景下人形识别的方法，具体步骤如下：

步骤1，选取一张不含人物的家居场景图像作为背景图，并对其进行预处理，得到图像Image0，其中，预处理包括灰度处理和高斯模糊平滑处理；

步骤2，实时采集家居场景的视频流，并对视频流中的每一帧图像进行预处理，其中，预处理包括灰度处理和高斯模糊平滑处理；

步骤3，对步骤2中预处理后的图像进行逐帧识别，具体为：

301，采用背景减除法对当前帧预处理后的图像和步骤1得到的图像Image0进行处理，得到轮廓图像；

302，对301中得到的轮廓图像依次进行二值化处理和形态学中的闭运算处理，得到图像Image1；

303，对302中得到的图像Image1进行图像特征信息提取，具体为：

1)对图像Image1的水平方向，统计灰度值为255的像素点个数，得到水平方向的像素分布直方图，并计算得到水平方向的像素梯度分布直方图；

2)对图像Image1的垂直方向，统计灰度值为255的像素点个数，得到垂直方向的像素分布直方图，并计算得到垂直方向的像素梯度分布直方图；

3)通过1)得到的水平方向的像素分布直方图和像素梯度分布直方图、2)中得到的垂直方向的像素分布直方图和像素梯度分布直方图，得到图像Image1上轮廓点的坐标和特征点的坐标，其中，特征点为：头部最顶端、头部最左侧、头部最右侧、颈部最左侧、颈部最右侧、左肩与手臂交点、右肩与手臂交点；

304，根据步骤303中提取到的图像特征信息，划分头部区域和肩部区域，并计算头肩比，若得到的头肩比在预设范围内，则当前图像Image1为人形轮廓，进入步骤305，否则舍弃当前帧，进入下一帧图像的识别；其中，头部区域为连接头部最顶端、头部最左侧、头部最右侧、颈部最左侧、颈部最右侧特征点的矩形框框出的区域，肩部区域为以颈部最左侧、颈部最右侧、左肩与手臂交点、右肩与手臂交点特征点为顶点的梯形框框出的区域；

305，计算当前图像Image1上每个轮廓点的曲率，并将其与预存人形特征曲率库中对应的轮廓点曲率进行比对，若小于预设阈值则识别出的人形轮廓为陌生人，否则输出识别结果并进入下一帧图像的识别；其中，n为曲率相同的轮廓点个数，N为轮廓点总数

作为本发明的进一步技术方案，步骤304中头肩比a＝N_Head/N_Shoulder，其中，N_Head为头部区域Head灰度值为255的像素个数，N_Shoulder为肩部区域Shoulder灰度值为255的像素个数。

作为本发明的进一步技术方案， I(x,y)表示在(x,y)点的灰度值。

作为本发明的进一步技术方案，步骤304中的预设范围为(1.6,3.3)。

作为本发明的进一步技术方案，步骤305中预设阈值为0.8。

另一方面，本发明提供一种采用如上所述的一种智能家居场景下人形识别的方法进行人形识别的系统，包括：

图像模块，用于采集和保存当前家居环境下的实时视频流，并对采集到的视频流中的每一帧图像进行预处理；

人形识别模块，用于对预处理后的图像进行图像特征信息提取，通过计算头肩比判断当前环境下是否有人存在，通过计算轮廓点曲率并进行与人形特征曲率库进行对比以识别当前人的身份特征；

控制模块，用于接收人形识别模块的识别结果，若检测到人形并且无法确定身份特征，则向用户端发送报警信号，保存当前图像并推送到用户端

作为本发明的进一步技术方案，人形识别模块包括：

人形轮廓提取单元，用于对实时视频流和背景图进行背景减除法处理，得到轮廓图像；

人形特征提取，用于对轮廓图像计算其水平方向和垂直方向的像素分布直方图和像素梯度分布直方图，进而提取图像特征信息；

人形识别单元，用于根据提取的图像特征信息计算头肩比和曲率，并与人形特征曲率库进行曲率比对，识别当前人物身份；

人形特征曲率库，用于保存用户及其家人人形特征曲率信息。

作为本发明的进一步技术方案，控制模块包括：

指令收发单元，用于接收来自人形识别模块的识别结果，根据识别结果向用户端发出报警信号，并传输当前人物图像；

无线传输单元，用于用户端与指令收发单元之间的通信。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明一种智能家居场景下人形识别的方法，通过对实时视频流进行灰度处理和高斯平滑模糊处理，去除高斯噪声对识别效果的影响，即图像的预处理；通过背景减除方法，获取人形轮廓，即人形轮廓提取；通过对人形轮廓进行直方图统计，获取特征点和轮廓的坐标信息，即人形轮廓图像特征信息提取；通过计算头肩比和人形轮廓曲率进行人形识别，即人形特征比对与识别。当检测到人形时会像用户发送警报和当前的图像。本发明提出的一种智能家居场景下人形识别的方法和系统能检测家居环境下是否有陌生人闯入的问题，解决用户对家居安全的检测难题。

附图说明

图1为本发明智能家居场景下人形识别方法总体的流程图；

图2为轮廓图像示意图；

图3为本发明智能家居场景下人形识别系统模块化结构框图。

具体实施方式

下面结合附图以及具体实施例对本发明的技术方案做进一步的详细说明：

本发明提出了一种智能家居场景下人形识别的方法和系统，首先通过终端摄像头实时捕获图像，并选取家居场景下不含有人物的背景图，对当前帧和背景图进行预处理。通过背景减除法得到人形轮廓图，用形态学的方法填充人形轮廓中的孔洞，对人形轮廓图的水平和垂直方向进行像素分布直方图和像素梯度分布直方图统计，获取人形特征点的坐标信息，构建头肩模型，计算头肩比用于判断是否为人形，计算基于形状特征的曲率并与人形特征曲率库进行比对，用于人形识别。若人形识别到当前为陌生人时，该系统会向客户端发送报警信息，并传输当前图像到客户端。该发明可以广泛应用于智能家居场景下，给用户带来舒适安全的享受，有非常广阔的应用场景。

如图1所示，本发明智能家居场景下人形识别的方法主要包括以下步骤：

步骤1，选取一张不含人物的家居场景图像作为背景图，实时采集家居场景的视频流，并对背景图和视频流中的每一帧图像分别进行预处理，预处理后的背景图记为Image0。本发明中，可以每天或是间隔一定时间从实时视频流中选取一张不含人物的家居场景图作为背景图。

本发明中，图像的预处理包括依次进行灰度处理和高斯模糊平滑处理。图像像素信息可以RGB信息表示，灰度处理可以根据公式(1)得到：

Gray_Value＝0.3*R_Value+0.6*G_Value+0.1*B_Value

其中，Gray_Value表示像素的灰度值，R_Value,G_Value,B_Value表示像素信息中RGB的值。

对灰度图像进行高斯模糊平滑处理，具体如下：

正态分布是一种钟形曲线，越接近中心，取值越大，越远离中心，取值越小。计算平均值的时候，只需要将"中心点"作为原点，其他点按照其在正态曲线上的位置，分配权重，就可以得到一个加权平均值。正态分布的密度函数叫做"高斯函数"。

二维高斯函数公式为：

其中σ表示正态分布的标准偏差；x和y表示坐标系中某点距离原点的横坐标的值和纵坐标的值；G(x,y)表示二维正态分布的密度函数。

根据像素点间的距离可以计算每个点的权重。如5*5高斯滤波器的权值如下所示：

高斯模糊平滑算法可以有效的从图像中去除高斯噪音的影响。

步骤3，对步骤2中预处理后的图像进行逐帧识别，具体为：

301，采用背景减除法对当前帧预处理后的图像和步骤1得到的图像Image0进行处理，得到轮廓图像Image＝|Image0-Frame_image|，Frame_image表示当前第i帧预处理后的图像。

302，对301中得到的轮廓图像依次进行二值化处理和形态学中的闭运算处理，得到图像Image1。

形态学中的闭运算处理包含腐蚀运算和膨胀运算，是先对图像进行膨胀处理后再进行腐蚀处理，用来填充图像中的小孔或者弥合小裂缝。。腐蚀运算：消除物体的所有边界点的一种过程，其结果使剩下的物体沿其周边比原物体小一个像素的面积。膨胀运算：将与某物体接触的所有背景点合并到该物体中的过程。过程结果使物体的面积增大了相应数量的点。

303，对302中得到的图像Image1进行图像特征信息提取，具体为：

1)对图像Image1的水平方向，统计灰度值为255的像素点个数，得到水平方向的像素分布直方图，并计算得到水平方向的像素梯度分布直方图；

2)对图像Image1的垂直方向，统计灰度值为255的像素点个数，得到垂直方向的像素分布直方图，并计算得到垂直方向的像素梯度分布直方图；

3)通过1)得到的水平方向的像素分布直方图和像素梯度分布直方图、2)中得到的垂直方向的像素分布直方图和像素梯度分布直方图，得到图像Image1上轮廓点的坐标和特征点的坐标，其中，如图2所示，特征点为：t-头部最顶端(头顶)、n₁-头部最左侧(左耳)、n₂-头部最右侧(右耳)、f₁-颈部最左侧、f₂-颈部最右侧、m₁-左肩与手臂交点、m₂-右肩与手臂交点。

304，根据步骤303中提取到的图像特征信息，划分头部区域和肩部区域，并计算头肩比，若得到的头肩比在预设范围内，则当前图像Image1为人形轮廓，进入步骤305，否则舍弃当前帧，进入下一帧图像的识别；其中，如图2所示，头部区域为由t点，n₁点，n₂点，f₁点和f₂点所构成的矩形框区域，肩部区域为由m₁点，m₂点，f₁点和f₂点所构成的梯形框区域。

头肩比a＝N_Head/N_Shoulder，其中，N_Head为头部区域Head灰度值为255的像素个数，N_Shoulder为肩部区域Shoulder灰度值为255的像素个数，I(x,y)表示在(x,y)点的灰度值。本发明中，头肩比的预设范围为α∈(1.6,3.3)。

305，计算当前图像Image1上每个轮廓点的曲率，并将其与预存人形特征曲率库中对应的轮廓点曲率进行比对，若小于预设阈值(一般取0.8)则识别出的人形轮廓为陌生人，否则输出识别结果并进入下一帧图像的识别；其中，n为曲率相同的轮廓点个数，N为轮廓点总数。

曲率指的是针对曲线上某个点的切线方向角对弧长的转动率，通过微分来定义，表明曲线偏离直线的程度，描述了曲线在这一点的凹凸程度。曲率的大小与曲线的弯曲程度成正比。

平均曲率其中，为曲线上某个点的切线方向角变化值，Δs为曲线弧长的变化值。

对于一个点A，为了精确刻画此处的弯曲程度可使A的邻域趋近于零，在A的邻域里面找个点B，令B→A，即得到平均曲率

图3显示了本发明提供的一种智能家居场景下人形识别系统模块化结构示意图，包括图像模块、控制模块、人形识别模块。

其中，图像模块，用于采集当前家居环境下图像信息，并对图像进行预处理；此外，当识别到陌生人形时还将存储当前图像，用于向用户端传输。其中，图像模块具体包括：图像采集单元：用于实时采集当前环境中的图像信息；图像预处理单元：用于对采集到图像进行灰度处理和高斯滤波去噪处理；图像保存单元：用于保存当前图像信息，当人形识别到陌生人时则触发系统进行对当前图像进行保存，用于传输给用户进行查看。

其中，控制模块，用于人形识别模块的识别结果，若结果是人形为陌生人，则向用户端发送报警信号并传输当前图像信息；其中，控制模块具体包括：指令收发单元，接收来自人形识别模块的报警指令和传输当前图像信息；无线传输单元，用于用户端与指令收发单元之间的通信。

其中，人形识别模块，用于建立人形特征曲率库，并对实时采集的图像信息进行比对，判断当前图像是否存在人。其中，人形识别模块具体包括：人形轮廓提取单元，用于对实时视频流和背景图进行背景减除法处理，得到人性轮廓图像；人形特征提取单元，用于对人形轮廓图像计算其水平方向和垂直方向的像素分布直方图和像素梯度分布直方图，提取特征点的信息；人形识别单元，用于对提取的特征点计算头肩比和曲率，并进行曲率比对；人形特征曲率库，用于保存用户及其家人人形特征曲率信息。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种智能家居场景下人形识别的方法，其特征在于，具体步骤如下：

步骤1，选取一张不含人物的家居场景图像作为背景图，并对其进行预处理，得到图像Image0，其中，预处理包括灰度处理和高斯模糊平滑处理；

步骤2，实时采集家居场景的视频流，并对视频流中的每一帧图像进行预处理，其中，预处理包括灰度处理和高斯模糊平滑处理；

步骤3，对步骤2中预处理后的图像进行逐帧识别，具体为：

301，采用背景减除法对当前帧预处理后的图像和步骤1得到的图像Image0进行处理，得到轮廓图像；

302，对301中得到的轮廓图像依次进行二值化处理和形态学中的闭运算处理，得到图像Image1；

303，对302中得到的图像Image1进行图像特征信息提取，具体为：

1)对图像Image1的水平方向，统计灰度值为255的像素点个数，得到水平方向的像素分布直方图，并计算得到水平方向的像素梯度分布直方图；

2)对图像Image1的垂直方向，统计灰度值为255的像素点个数，得到垂直方向的像素分布直方图，并计算得到垂直方向的像素梯度分布直方图；

3)通过1)得到的水平方向的像素分布直方图和像素梯度分布直方图、2)中得到的垂直方向的像素分布直方图和像素梯度分布直方图，得到图像Image1上轮廓点的坐标和特征点的坐标，其中，特征点为：头部最顶端、头部最左侧、头部最右侧、颈部最左侧、颈部最右侧、左肩与手臂交点、右肩与手臂交点；

304，根据步骤303中提取到的图像特征信息，划分头部区域和肩部区域，并计算头肩比，若得到的头肩比在预设范围内，则当前图像Image1为人形轮廓，进入步骤305，否则舍弃当前帧，进入下一帧图像的识别；其中，头部区域为连接头部最顶端、头部最左侧、头部最右侧、颈部最左侧、颈部最右侧特征点的矩形框框出的区域，肩部区域为以颈部最左侧、颈部最右侧、左肩与手臂交点、右肩与手臂交点特征点为顶点的梯形框框出的区域；

305，计算当前图像Image1上每个轮廓点的曲率，并将其与预存人形特征曲率库中对应的轮廓点曲率进行比对，若小于预设阈值则识别出的人形轮廓为陌生人，否则输出识别结果并进入下一帧图像的识别；其中，n为曲率相同的轮廓点个数，N为轮廓点总数。

2.根据权利要求1所述的一种智能家居场景下人形识别的方法，其特征在于，步骤304中头肩比a＝N_Head/N_Shoulder，其中，N_Head为头部区域Head灰度值为255的像素个数，N_Shoulder为肩部区域Shoulder灰度值为255的像素个数。

3.根据权利要求2所述的一种智能家居场景下人形识别的方法，其特征在于，I(x,y)表示在(x,y)点的灰度值。

4.根据权利要求1所述的一种智能家居场景下人形识别的方法，其特征在于，步骤304中的预设范围为(1.6,3.3)。

5.根据权利要求1所述的一种智能家居场景下人形识别的方法，其特征在于，步骤305中预设阈值为0.8。

6.采用如权利要求1至5所述的一种智能家居场景下人形识别的方法进行人形识别的系统，其特征在于，包括：

图像模块，用于采集和保存当前家居环境下的实时视频流，并对采集到的视频流中的每一帧图像进行预处理；

人形识别模块，用于对预处理后的图像进行图像特征信息提取，通过计算头肩比判断当前环境下是否有人存在，通过计算轮廓点曲率并进行与人形特征曲率库进行对比以识别当前人的身份特征；

控制模块，用于接收人形识别模块的识别结果，若检测到人形并且无法确定身份特征，则向用户端发送报警信号，保存当前图像并推送到用户端。

7.根据权利要求6所述的一种智能家居场景下人形识别的系统，其特征在于，人形识别模块包括：

人形轮廓提取单元，用于对实时视频流和背景图进行背景减除法处理，得到轮廓图像；

人形特征提取，用于对轮廓图像计算其水平方向和垂直方向的像素分布直方图和像素梯度分布直方图，进而提取图像特征信息；

人形识别单元，用于根据提取的图像特征信息计算头肩比和曲率，并与人形特征曲率库进行曲率比对，识别当前人物身份；

人形特征曲率库，用于保存用户及其家人人形特征曲率信息。

8.根据权利要求6所述的一种智能家居场景下人形识别的系统，其特征在于，控制模块包括：

指令收发单元，用于接收来自人形识别模块的识别结果，根据识别结果向用户端发出报警信号，并传输当前人物图像；

无线传输单元，用于用户端与指令收发单元之间的通信。