CN108334870A - Ar设备数据服务器状态的远程监控系统 - Google Patents

Abstract

一种AR设备数据服务器状态的远程监控系统，包括：面部识别数据获得单元，用于进行位于预定用户周围对象的分布式的用户图像面部识别；预设时间获取单元，用于获得第一预设时间和第二预设时间；AR设备数据服务器状态传输单元，用于当所述AR设备功耗高于第一预设值时，以与第一预设时间相关的第一预设方式采集并传输分布式AR数据到AR设备数据服务器，否则以与第二预设时间相关的第二预设方式采集并传输分布式AR数据到AR设备数据服务器；功耗监测单元，用于监测所述AR设备数据服务器的功耗，当功耗高于第二预设值时，发出告警信息。

Description

AR设备数据服务器状态的远程监控系统

技术领域

本发明属于人脸识别技术领域，具体涉及一种AR设备数据服务器状态的远程监控系统。

背景技术

人脸识别，特指利用分析比较的计算机技术。人脸识别是一项热门的计算机技术研究领域，人脸追踪侦测，自动调整影像放大，夜间红外侦测，自动调整曝光强度；它属于生物特征识别技术，是对生物体(一般特指人)本身的生物特征来区分生物体个体。

人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流。首先判断其是否存在人脸,如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。

目前的AR设备数据服务器状态的远程监控系统包括很多，但都存在各自的缺点，下面我们逐个分析：

(101)几何特征的人脸识别方法，几何特征一般是指眼、鼻、嘴等的形状和它们之间的相互几何关系比如之间的距离，采用这种算法识别速度快，但识别率较低。

(102)基于特征脸(PCA)的人脸识别方法:特征脸方法是基于KL变换的人脸识别方法，KL变换是图像压缩的一种最优正交变换。高维的图像空间经过KL变换后得到一组新的正交基，保留其中重要的正交基，由这些基可以张成低维线性空间。如果假设人脸在这些低维线性空间的投影具有可分性，就可以将这些投影用作识别的特征矢量，这就是特征脸方法的基本思想。这些方法需要较多的训练样本，而且完全是基于图像灰度的统计特性的。

(3)神经网络的人脸识别方法:神经网络的输入可以是降低分辨率的人脸图像、局部区域的自相关函数、局部纹理的二阶矩等。这类方法同样需要较多的样本进行训练，而在许多应用中，样本数量是很有限的。

(4)弹性图匹配的人脸识别方法:弹性图匹配法在二维的空间中定义了一种对于通常的人脸变形具有一定的不变性的距离，并采用属性拓扑图来代表人脸，拓扑图的任一顶点均包含一特征向量，用来记录人脸在该顶点位置附近的信息。该方法结合了灰度特性和几何因素，在比对时可以允许图像存在弹性形变，在克服表情变化对识别的影响方面收到了较好的效果，同时对于单个人也不再需要多个样本进行训练，但算法相对复杂。

(105)支持向量机(SVM)的人脸识别方法:支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个2分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明SVM有较好的识别率，但是它需要大量的训练样本(每类300个)，这在实际应用中往往是不现实的。而且支持向量机训练时间长，方法实现复杂，该函数的取法没有统一的理论。

发明内容

鉴于以上分析，本发明的主要目的在于提供一种AR设备数据服务器状态的远程监控系统，包括：

面部识别数据获得单元，用于进行位于预定用户周围对象的分布式的用户图像面部识别，当识别结果中的图像信息符合预设条件时，通过AR设备的摄像头获得所述预定用户周围对象的动态和/或静态图像信息作为分布式AR数据；

预设时间获取单元，用于获得第一预设时间和第二预设时间；

AR设备数据服务器状态传输单元，用于当所述AR设备功耗高于第一预设值时，以与第一预设时间相关的第一预设方式采集并传输分布式AR数据到AR设备数据服务器，否则以与第二预设时间相关的第二预设方式采集并传输分布式AR数据到AR设备数据服务器；

功耗监测单元，用于监测所述AR设备数据服务器的功耗，当功耗高于第二预设值时，发出告警信息。

进一步地，所述第一预设时间大于第二预设时间，且所述第一预设方式为采样频率高于第二预设方式下的采样频率的采样方式。

进一步地，所述低功耗AR传输单元包括：

人脸数据采集子单元，用于读取人的脸部图像数据，首先采用多个角度的多个摄像头对带有背景的人脸图像摄取；

脸部识别子单元，用于对脸部进行检测，从上述摄取的复杂背景图像中通过确认被检测对象的人脸属性提取人的脸部图像；

其中提取人的脸部图像包括对其边界进行计算和识别，其包括如下计算过程：

其中，k_mn表示图像像素(m,n)的灰度值，K＝max(k_mn)，拍摄角度θ_mn∈[0,1]

利用Tr公式对图像进行弧度灰度变换：

N为大于2的自然数；

其中

其中θ_c为边界识别阈值，由人脸边界识别实验确定，接着再进行如下计算：

变换系数k′_mn＝(K-1)θ_mn

接着对图像边界进行提取，提取出的图像边界矩阵为

E_dges＝[k′_mn]

其中

k′_mn＝|k′_mn-min{k′_ij}|,(i,j)∈W

W是以像元(i,j)为中心的3×3窗口，

接着对边界判断结果进行验证，如果足够识别，则结束，如果不足以识别，则对上述边界识别阈值进行调整，重复上述过程，直到得到良好边界识别结果，其中，边界识别阈值取值范围为[0.3,0.8]；

第一判断子单元，用于对识别图像进行初次判断，判断因子包括脸部姿势、光照度、有无遮挡、脸部距离，首先是进行脸部姿势判断，对识别图像进行对称度及完整度判断，对上述第二步获得的图像的对称度进行分析，如果对称度满足预设阈值要求，则认为脸部水平姿势正确，如果超过预设阈值要求，则认为脸部水平姿势不正确，即出现侧脸过度或脸部倾斜过度现象，具体判断算法为对得到的图像进行二值化，取阈值为80，大于80的像素点取0，其余置1，对二值化后的图像分成左右两部分分别求取水平方向的投影，得到两部分的直方图，计算直方图之间的卡方距离，卡方距离越大表明水平对对称度越差，接着对脸部完整度进行判断，即对识别出的脸部轮廓内的脸部初始元素检查，核对其眼睛、眉毛、嘴巴、下巴是否出现完全，如果缺少某个元素或不完整，则认为识别时俯仰角度过大，接着对脸部有无遮挡进行判断，无遮挡时进行后续处理，最后对脸部距离是否合适进行判断，当适合识别的距离时，进行后续处理，当满足上述条件时，进行下面步骤。

第二判断子单元，用于在人脸部图像的特定区域中搜索关键的人脸特征点的位置，利用识别图像中人眼候选区域的灰度直方图分割，图像阈值分割取灰度值最低的部分像素点的值为255，其它像素点的值为0，所述第二判断子单元还包括瞳孔中心定位子单元，用于从两只眼睛区域中检测反射点，利用位置和亮度信息进行眼睛块的检测，从左右眼睛区域中二值化的图像中删除亮度较高的连通块，选择位于最低位置的连通块作为眼睛块，并且上述瞳孔定位子单元还包括低功耗处理子单元，用于进行色度空间变换，保留亮度分量，得到人眼区域的亮度图像，对亮度图像进行直方图线性均衡和对比度增强，接着进行阈值变换，对阈值变换后的图像进行腐蚀和膨胀处理，再对上述处理后的二值人眼区域实施高斯与中值平滑滤波，对平滑后的图像再次进行阈值变换，再进行边缘检测，椭圆拟合并检测轮廓中的圆，检测半径最大的圆即得到瞳孔的中心；

纹理特征信息获得子单元，用于进行上述定位后，对人脸识别数据进行处理，采用高通滤波器，将图像标准化成一个零均值和单位方差的高斯函数分布，再对图像进行子块分割，降维处理，计算图像每个像素值与其相邻点上的灰度值的二值关系，其次，通过对应像素值点与加权权重相乘，然后相加形成了局部二值模式的编码，最后通过采用多区域的直方图作为图像的纹理特征，局部纹理特征计算公式如下：

H_i,j＝∑_x,yI{h(x,y)＝i}I{(x,y)∈R_j})，i＝0,1,…n-1；j＝0,1,…D-1

其中H_i,j表示从图像划分的区域R_j中属于第i个直方图区间的个数，n为局部二值模式的统计模式特征的个数，D为人脸图像的区域个数，对脸部重点区域和非重点区域的上述信息进行统计，接着进行拼接，综合得到整幅人脸部图像的纹理特征信息；

比较与传输子单元，用于对上述得到的整幅人脸部图像的纹理特征信息与人脸档案数据库中的脸部纹理特征信息进行对比和传输，从而实现基于低功耗人脸识别的增强现实数据获取与传输。

本发明的技术方案具有以下优点：

能够较为准确的实现人脸识别数据的处理及脸部纹理信息的特征提取，同时，算法相对简单易实现，能够实现以人脸识别为基础和识别条件的人群人脸识别，进而降低分布式AR设备数据传输所需的功耗并进行有效监控，降低实时人脸监控带来的相关AR设备数据服务器功耗，尤其是存储数据时的功耗。

附图说明

图1示出了根据本发明的增强现实设备组成框图。

具体实施方式

如图1所示，本发明的AR设备数据服务器状态的远程监控系统包括：

面部识别数据获得单元，用于进行位于预定用户周围对象的分布式的用户图像面部识别，当识别结果中的图像信息符合预设条件时，通过AR设备的摄像头获得所述预定用户周围对象的动态和/或静态图像信息作为分布式AR数据；

预设时间获取单元，用于获得第一预设时间和第二预设时间；

AR设备数据服务器状态传输单元，用于当所述AR设备功耗高于第一预设值时，以与第一预设时间相关的第一预设方式采集并传输分布式AR数据到AR设备数据服务器，否则以与第二预设时间相关的第二预设方式采集并传输分布式AR数据到AR设备数据服务器；

功耗监测单元，用于监测所述AR设备数据服务器的功耗，当功耗高于第二预设值时，发出告警信息。

优选地，所述第一预设时间大于第二预设时间，且所述第一预设方式为采样频率高于第二预设方式下的采样频率的采样方式。

优选地，所述低功耗AR传输单元包括：

人脸数据采集子单元，用于读取人的脸部图像数据，首先采用多个角度的多个摄像头对带有背景的人脸图像摄取；

脸部识别子单元，用于对脸部进行检测，从上述摄取的复杂背景图像中通过确认被检测对象的人脸属性提取人的脸部图像；

其中提取人的脸部图像包括对其边界进行计算和识别，其包括如下计算过程：

其中，k_mn表示图像像素(m,n)的灰度值，K＝max(k_mn)，拍摄角度θ_mn∈[0,1]

利用Tr公式对图像进行弧度灰度变换：

N为大于2的自然数；

其中

其中θ_c为边界识别阈值，由人脸边界识别实验确定，接着再进行如下计算：

变换系数k′_mn＝(K-1)θ_mn

接着对图像边界进行提取，提取出的图像边界矩阵为

E_dges＝[k′_mn]

其中

k′_mn＝|k′_mn-min{k′_ij}|,(i,j)∈W

W是以像元(i,j)为中心的3×3窗口，

接着对边界判断结果进行验证，如果足够识别，则结束，如果不足以识别，则对上述边界识别阈值进行调整，重复上述过程，直到得到良好边界识别结果，其中，边界识别阈值取值范围为[0.3,0.8]；

第一判断子单元，用于对识别图像进行初次判断，判断因子包括脸部姿势、光照度、有无遮挡、脸部距离，首先是进行脸部姿势判断，对识别图像进行对称度及完整度判断，对上述第二步获得的图像的对称度进行分析，如果对称度满足预设阈值要求，则认为脸部水平姿势正确，如果超过预设阈值要求，则认为脸部水平姿势不正确，即出现侧脸过度或脸部倾斜过度现象，具体判断算法为对得到的图像进行二值化，取阈值为80，大于80的像素点取0，其余置1，对二值化后的图像分成左右两部分分别求取水平方向的投影，得到两部分的直方图，计算直方图之间的卡方距离，卡方距离越大表明水平对对称度越差，接着对脸部完整度进行判断，即对识别出的脸部轮廓内的脸部初始元素检查，核对其眼睛、眉毛、嘴巴、下巴是否出现完全，如果缺少某个元素或不完整，则认为识别时俯仰角度过大，接着对脸部有无遮挡进行判断，无遮挡时进行后续处理，最后对脸部距离是否合适进行判断，当适合识别的距离时，进行后续处理，当满足上述条件时，进行下面步骤。

第二判断子单元，用于在人脸部图像的特定区域中搜索关键的人脸特征点的位置，利用识别图像中人眼候选区域的灰度直方图分割，图像阈值分割取灰度值最低的部分像素点的值为255，其它像素点的值为0，所述第二判断子单元还包括瞳孔中心定位子单元，用于从两只眼睛区域中检测反射点，利用位置和亮度信息进行眼睛块的检测，从左右眼睛区域中二值化的图像中删除亮度较高的连通块，选择位于最低位置的连通块作为眼睛块，并且上述瞳孔定位子单元还包括低功耗处理子单元，用于进行色度空间变换，保留亮度分量，得到人眼区域的亮度图像，对亮度图像进行直方图线性均衡和对比度增强，接着进行阈值变换，对阈值变换后的图像进行腐蚀和膨胀处理，再对上述处理后的二值人眼区域实施高斯与中值平滑滤波，对平滑后的图像再次进行阈值变换，再进行边缘检测，椭圆拟合并检测轮廓中的圆，检测半径最大的圆即得到瞳孔的中心；

纹理特征信息获得子单元，用于进行上述定位后，对人脸识别数据进行处理，采用高通滤波器，将图像标准化成一个零均值和单位方差的高斯函数分布，再对图像进行子块分割，降维处理，计算图像每个像素值与其相邻点上的灰度值的二值关系，其次，通过对应像素值点与加权权重相乘，然后相加形成了局部二值模式的编码，最后通过采用多区域的直方图作为图像的纹理特征，局部纹理特征计算公式如下：

H_i,j＝∑_x,yI{h(x,y)＝i}I{(x,y)∈R_j})，i＝0,1,…n-1；j＝0,1,…D-1

其中H_i,j表示从图像划分的区域R_j中属于第i个直方图区间的个数，n为局部二值模式的统计模式特征的个数，D为人脸图像的区域个数，对脸部重点区域和非重点区域的上述信息进行统计，接着进行拼接，综合得到整幅人脸部图像的纹理特征信息；

比较与传输子单元，用于对上述得到的整幅人脸部图像的纹理特征信息与人脸档案数据库中的脸部纹理特征信息进行对比和传输，从而实现基于低功耗人脸识别的增强现实数据获取与传输。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种AR设备数据服务器状态的远程监控系统，其特征在于，包括：

面部识别数据获得单元，用于进行位于预定用户周围对象的分布式的用户图像面部识别，当识别结果中的图像信息符合预设条件时，通过AR设备的摄像头获得所述预定用户周围对象的动态和/或静态图像信息作为分布式AR数据；

预设时间获取单元，用于获得第一预设时间和第二预设时间；

AR设备数据服务器状态传输单元，用于当所述AR设备功耗高于第一预设值时，以与第一预设时间相关的第一预设方式采集并传输分布式AR数据到AR设备数据服务器，否则以与第二预设时间相关的第二预设方式采集并传输分布式AR数据到AR设备数据服务器；

功耗监测单元，用于监测所述AR设备数据服务器的功耗，当功耗高于第二预设值时，发出告警信息。

2.根据权利要求1所述的方法，其特征在于，所述第一预设时间大于第二预设时间，且所述第一预设方式为采样频率高于第二预设方式下的采样频率的采样方式。

3.根据权利要求2所述的方法，其特征在于，所述低功耗AR传输单元包括：

人脸数据采集子单元，用于读取人的脸部图像数据，首先采用多个角度的多个摄像头对带有背景的人脸图像摄取；

脸部识别子单元，用于对脸部进行检测，从上述摄取的复杂背景图像中通过确认被检测对象的人脸属性提取人的脸部图像；

其中提取人的脸部图像包括对其边界进行计算和识别，其包括如下计算过程：

其中，k_mn表示图像像素(m,n)的灰度值，K＝max(k_mn)，拍摄角度θ_mn∈[0,1]利用Tr公式对图像进行弧度灰度变换：

r＝2,…，N，N为大于2的自然数；

其中

其中θ_c为边界识别阈值，由人脸边界识别实验确定，接着再进行如下计算：

变换系数k′_mn＝(K-1)θ_mn

接着对图像边界进行提取，提取出的图像边界矩阵为

E_dges＝[k′_mn]

其中

k′_mn＝|k′_mn-min{k′_ij}|,(i,j)∈W

W是以像元(i,j)为中心的3×3窗口，

接着对边界判断结果进行验证，如果足够识别，则结束，如果不足以识别，则对上述边界识别阈值进行调整，重复上述过程，直到得到良好边界识别结果，其中，边界识别阈值取值范围为[0.3,0.8]；

第一判断子单元，用于对识别图像进行初次判断，判断因子包括脸部姿势、光照度、有无遮挡、脸部距离，首先是进行脸部姿势判断，对识别图像进行对称度及完整度判断，对上述第二步获得的图像的对称度进行分析，如果对称度满足预设阈值要求，则认为脸部水平姿势正确，如果超过预设阈值要求，则认为脸部水平姿势不正确，即出现侧脸过度或脸部倾斜过度现象，具体判断算法为对得到的图像进行二值化，取阈值为80，大于80的像素点取0，其余置1，对二值化后的图像分成左右两部分分别求取水平方向的投影，得到两部分的直方图，计算直方图之间的卡方距离，卡方距离越大表明水平对对称度越差，接着对脸部完整度进行判断，即对识别出的脸部轮廓内的脸部初始元素检查，核对其眼睛、眉毛、嘴巴、下巴是否出现完全，如果缺少某个元素或不完整，则认为识别时俯仰角度过大，接着对脸部有无遮挡进行判断，无遮挡时进行后续处理，最后对脸部距离是否合适进行判断，当适合识别的距离时，进行后续处理，当满足上述条件时，进行下面步骤。

第二判断子单元，用于在人脸部图像的特定区域中搜索关键的人脸特征点的位置，利用识别图像中人眼候选区域的灰度直方图分割，图像阈值分割取灰度值最低的部分像素点的值为255，其它像素点的值为0，所述第二判断子单元还包括瞳孔中心定位子单元，用于从两只眼睛区域中检测反射点，利用位置和亮度信息进行眼睛块的检测，从左右眼睛区域中二值化的图像中删除亮度较高的连通块，选择位于最低位置的连通块作为眼睛块，并且上述瞳孔定位子单元还包括低功耗处理子单元，用于进行色度空间变换，保留亮度分量，得到人眼区域的亮度图像，对亮度图像进行直方图线性均衡和对比度增强，接着进行阈值变换，对阈值变换后的图像进行腐蚀和膨胀处理，再对上述处理后的二值人眼区域实施高斯与中值平滑滤波，对平滑后的图像再次进行阈值变换，再进行边缘检测，椭圆拟合并检测轮廓中的圆，检测半径最大的圆即得到瞳孔的中心；

纹理特征信息获得子单元，用于进行上述定位后，对人脸识别数据进行处理，采用高通滤波器，将图像标准化成一个零均值和单位方差的高斯函数分布，再对图像进行子块分割，降维处理，计算图像每个像素值与其相邻点上的灰度值的二值关系，其次，通过对应像素值点与加权权重相乘，然后相加形成了局部二值模式的编码，最后通过采用多区域的直方图作为图像的纹理特征，局部纹理特征计算公式如下：

H_i,j＝∑_x,yI{h(x,y)＝i}I{(x,y)∈R_j})，i＝0,1,…n-1；j＝0,1,…D-1

其中H_i,j表示从图像划分的区域R_j中属于第i个直方图区间的个数，n为局部二值模式的统计模式特征的个数，D为人脸图像的区域个数，对脸部重点区域和非重点区域的上述信息进行统计，接着进行拼接，综合得到整幅人脸部图像的纹理特征信息；

比较与传输子单元，用于对上述得到的整幅人脸部图像的纹理特征信息与人脸档案数据库中的脸部纹理特征信息进行对比和传输，从而实现基于低功耗人脸识别的增强现实数据获取与传输。