CN109492628B - 一种应用于课堂违纪抓取的球形定位系统的实现方法 - Google Patents

Abstract

本发明公开了一种应用于课堂违纪抓取的球形定位系统的实现方法，本发明是滑块移动端与摄像头的结合，摄像头搭载滑块移动端可以采集多图像使用拉普拉斯金字塔图像融合算法，采集完整的人脸图像，输入卷积网络中进行识别,最后与数据库中的学生信息进行对比，完成自动签到；本系统采用可移动的多方位视频监控，配合滑块使摄像头运动，可以捕捉到教室中的个个角落。通过对多个方位的进行视频信息融合。可以更好的得到明显的人脸特征，进而帮助我们更好的进行人脸识别。

Description

一种应用于课堂违纪抓取的球形定位系统的实现方法

技术领域

本发明涉及图像处理领域，尤其涉及到一张图片中多张人脸的图像信息的提取与多张图片中人脸信息的融合，具体涉及一种球形定位系统的实现方法。

背景技术

目前的课堂点名，现在常见的是采用花名册点名签到，APP扫码签到，上课微博、微信签到、指纹签到。这些签到方式比如指纹签到、花名册点名签到比较耗时，有些存在帮签的情况比如微博、微信签到、APP扫码签到。

而人脸识别算法关于人脸的检测主要有参考模板法、人脸规则法、样品学习法、肤色模型法、特征子脸法等算法。关于人脸追踪有特征向量法、与面纹模板法等算法。

发明内容

本发明针对现有技术的不足，提出了一种应用于课堂违纪抓取的球形定位系统的实现方法。

一种应用于课堂违纪抓取的球形定位系统的实现方法，该方法具体包括以下步骤：

步骤一、以原始彩色图像作为输入，将图像进行灰度化，防止曝光过度的影响；具体公式如式(1)

Gray＝0.072169B+0.715160G+0.212671R (1)

步骤二、采用自适应权值滤波进行去噪处理

在进行对图像的去噪处理前，对图像进行噪声检测，计算图像中某点的相对领域差分统计值来确定噪声点，并且来确定该点在滤波中分配的权重系数；领域绝对值差分法公式(2)、(3)如下：

b(i,j)＝{p(x+i,y+i)：-1＜＝i,j＞＝1,i∪j≠0} (2)

其中p(x,y)表示图像中第x行y列的像素点，b(i,j)表示第x+i行y+j列的像素点,i与j是x与y上的偏移量，

表示p(x,y)与b(i,j)差值的绝对值；p(x,y)为P点；利用领域绝对值差分法计算出P点周围的差值

对

里面的元素进行排序，找出最小的四个数记为ROOM；使用公式(4)进行噪声检测：

其中er代表设置的阈值，Q(p(x,y))表示标记的噪点，f(x,y)表示噪点标记的图片；

利用公式(4)找到图像的噪点；

对图像的滤波系数的确定采用权重系数计算公式(5)：

U_i,j＝e^{-ROOM(i,j)/2*}er² (5)

其中，U_i,j表示为噪点的权重系数；

计算出噪点的权重系数，采用归一化公式(6)对系数进行归一化处理；

其中K_i,j表示为进行完归一化后的权重系数；

最后利用公式(7)把噪点与归一化后的权重系数做点乘，得到滤波处理后的图片；

其中，z(x,y)表示处理后的图片；

步骤三、将步骤二处理后的图片采用拉普拉斯金字塔融合进行图像信息融合；

首先将步骤二处理后的图像作为最底层图像T₀，即高斯金字塔的第0层，利用高斯核对其进行卷积，然后对卷积后的图像进行下采样，去除偶数行和列得到上一层图像T₁，将此图像作为输入，重复卷积和下采样操作得到更上一层图像，反复迭代多次，形成一个金字塔形的图像数据结构，即高斯金字塔；

高斯金字塔的构建过程为：假设高斯金字塔的第L层图像为T_L：

式(8)中N为高斯金字塔顶层层号，R₁和C₁分别为高斯金字塔第l层的行数和列数V(m，n)是一个二维可分离的窗口函数；

由T₀，T₁...T_N，就构成了一个高斯金字塔，其中T₀为高斯金字塔的底层，T_N为金字塔的顶层；由此可见高斯金字塔的当前层图像就是对其前一层图像首先进行高斯低通滤波，然后再进行隔行和隔列的降2采样而生成的；前一层图像大小依次为当前层图像大小的4倍；

用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为LP分解图像；将T_L内插方法得到放大图像

使

的尺寸与T_L-1的尺寸相同，即放大算子Expand:

表示为：

该式(10)实现两个步骤：在奇数行和列插入0，然后使用下采样中的高斯核进行滤波处理，得到和L-1层一样大小的图像；

令：

式(12)中N为拉普拉斯金字塔顶层的层号LP_l是拉普拉斯金字塔分解的第L层图像；由LP₀，LP₁....LP_N构成的金字塔即为拉普拉斯金字塔；它的每一层LP₀图像是高斯金字塔本层T₀图像与其高一层图像T₁经内插放大后图像

的差；

设LA₁和LB₁分别为步骤二处理后的图像A,B经过拉普拉斯金字塔分解后得到的第l层图像，融合后的结果为LF₁；当l＝N时，LA_N和LB_N分别为图像A，B经过拉普拉斯金字塔分解后得到的顶层图像；对于顶层图像的融合，首先计算以其各个像素为中心的区域大小为M*N的区域平均梯度，公式如下：

其中M、N取奇数且M>＝3、N>＝3；

其中，ΔI_x与ΔI_y分别为像素f(x,y)在x与y方向上的一阶差分，定义如下：

因此对于顶层图像中的每一个像素LA_N(i,j)和LB_N(i,j)都得到与之相对应的区域平均梯度TA(i,j)和TB(i,j)；顶层图像的融合结果为：

在得到金字塔各个层次的融合图像LF₁、LF₂...LF_N后；通过重构，得到最终的融合图像；

步骤四、将进行完信息融合的图片输入卷积神经网络中进行检测识别；

CNN网络包含卷积层、下采样层、全连接层三个部分；

卷积层通过与滤波器做卷积得到特征图，公式如下：

x_i,j表示图像的第i行第j列元素；w_m,n表示第m行第n列权重，用w_b表示滤波器的偏置项；用a_i,j表示特征图的第i行第j列元素；用f表示激活函数；

对于下采样层也叫池化层，接受从卷积层输入的N个特征图，对应输出N个特征图；通过与滤波器做卷积得到特征图；公式如下：

a_i,j＝max(x_i,j)*w_m,n+w_b (17)

在全连接层中，采用变权重误差代价函数，权重变化率根据前面的自适应参数给定。公式如下：

其中，t_k表示的是样本对应的第K维；y_k表示样本对应的网络输出层的第K个输出。

本发明的有益效果：

过去的视频监控多数采用的是静止式的摄像头，但由于监控环境的复杂，导致摄像头无法拍到正面的人脸甚至是拍不到。类如：当人上课时坐在一个角落，静止的摄像头往往无法捕捉到完整的人脸，从而无法获得明显的人脸特征。这样在用训练好的网络进行检测时，会使错误率提高。从而达不到人脸检测的目的。

本系统采用可移动的多方位视频监控，配合滑块使摄像头运动，可以捕捉到教室中的个个角落。通过对多个方位的进行视频信息融合。可以更好的得到明显的人脸特征，进而帮助我们更好的进行人脸识别。

附图说明

图1是本发明应用示意图；

图2是本发明结构示意图；

图3是领域绝对值差法计算示意图；

图4是本发明使用的CNN网络模型示意图；

图5是本发明的流程示意图；

具体实施方式

如图1所示，本发明一种应用于课堂违纪抓取的球形定位系统的实现方法所基于的系统，采用摄像头搭载滑块移动端，形成一个自动教室签到系统。在教室前方上安装该系统，在上课期间系统启动，通过滑块的运动，可以使摄像头多方位的采集在教室中所有同学的人脸图像，在将采集的人脸图像信息进行信息融合与数据库中的数据进行对比分析，识别出教室的所有的人脸信息，进行自动签到。从整体上，系统分为数据库模块、识别模块与硬件模块，具体流程可见图2。

硬件由摄像头、滑块、微控处理器、导轨组成；摄像头是用于采集教室的人脸信息，是识别过程的基础。滑块与导轨组成移动端，由步进电机驱动。滑块使于搭载摄像头，导轨是方便滑块的运动。这个移动端可以搭载摄像头运动用来全方位的多角度的识别教室中的人脸信息，避免了一些人坐在角落中摄像头无法采集到人脸信息。

微控处理器用于接受摄像头采集的图片，进行人脸信息的采集、识别并与数据库中的信息进行比对识别。

数据库模块

这是一个存放学生信息的数据库。在系统用于识别前，需要采集输入全部学生的信息数据。信息数据包括身份信息、人脸图像、及其相关签到信息，可以方便系统对这些信息的处理、查询、调用。身份信息包括：学生的个人信息、学生人脸数据，含有人脸样本及其人脸特征点等；签到信息包括了这个学生的签到情况，含有签到时间，签到地点，到课情况等。

识别模块

识别模块是系统最重要的部分，主要实现人脸的检测与识别。对于系统识别过程描述如下：在上课后，系统启动，摄像头开始捕捉图片，系统配合移动端开始识别，摄像头当前视野的图像识别完毕以后，滑块由步进电机驱动后，开始向导轨一端滑动。系统上课期间一直启动，这样可以避免有人在上课后一直低头玩手机或者低头干其他的事情，或者来上课后一直睡觉。只要他抬头，摄像头就会采集到他的人脸信息，开始存入数据库中进行人脸的识别，并完成签到，这样避免了摄像头漏识别。

本发明是滑块移动端与摄像头的结合，摄像头搭载滑块移动端可以采集多图像使用拉普拉斯金字塔图像融合算法，采集完整的人脸图像，输入卷积网络中进行识别,最后与数据库中的学生信息进行对比，完成自动签到。

如图4、5所示，一种应用于课堂违纪抓取的球形定位系统的实现方法，该方法具体包括以下步骤：

步骤一、以原始彩色图像作为输入，将图像进行灰度化，防止曝光过度的影响；具体公式如式(1)

Gray＝0.072169B+0.715160G+0.212671R (1)

步骤二、采用自适应权值滤波进行去噪处理

在进行对图像的去噪处理前，对图像进行噪声检测，计算图像中某点的相对领域差分统计值来确定噪声点，并且来确定该点在滤波中分配的权重系数；如图3所示，领域绝对值差分法公式(2)、(3)如下：

b(i,j)＝{p(x+i,y+i)：-1＜＝i,j＞＝1,i∪j≠0} (2)

其中p(x,y)表示图像中第x行y列的像素点，b(i,j)表示第x+i行y+j列的像素点,i与j是x与y上的偏移量，

表示p(x,y)与b(i,j)差值的绝对值；p(x,y)为P点；利用领域绝对值差分法计算出P点周围的差值

对

里面的元素进行排序，找出最小的四个数记为ROOM；使用公式(4)进行噪声检测：

其中er代表设置的阈值，Q(p(x,y))表示标记的噪点，f(x,y)表示噪点标记的图片；

利用公式(4)找到图像的噪点；

对图像的滤波系数的确定采用权重系数计算公式(5)：

U_i,j＝e^{-ROOM(i,j)/2*}er² (5)

其中，U_i,j表示为噪点的权重系数；

计算出噪点的权重系数，采用归一化公式(6)对系数进行归一化处理；

其中K_i,j表示为进行完归一化后的权重系数；

最后利用公式(7)把噪点与归一化后的权重系数做点乘，得到滤波处理后的图片；

其中，z(x,y)表示处理后的图片；

步骤三、将步骤二处理后的图片采用拉普拉斯金字塔融合进行图像信息融合；

首先将步骤二处理后的图像作为最底层图像T₀，即高斯金字塔的第0层，利用高斯核对其进行卷积，然后对卷积后的图像进行下采样，去除偶数行和列得到上一层图像T₁，将此图像作为输入，重复卷积和下采样操作得到更上一层图像，反复迭代多次，形成一个金字塔形的图像数据结构，即高斯金字塔；

高斯金字塔的构建过程为：假设高斯金字塔的第L层图像为T_L：

式(8)中N为高斯金字塔顶层层号，R₁和C₁分别为高斯金字塔第l层的行数和列数V(m，n)是一个二维可分离的窗口函数；

由T₀，T₁...T_N，就构成了一个高斯金字塔，其中T₀为高斯金字塔的底层，T_N为金字塔的顶层；由此可见高斯金字塔的当前层图像就是对其前一层图像首先进行高斯低通滤波，然后再进行隔行和隔列的降2采样而生成的；前一层图像大小依次为当前层图像大小的4倍；

用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为LP分解图像；将T_L内插方法得到放大图像

使

的尺寸与T_L-1的尺寸相同，即放大算子Expand:

表示为：

为该式(10)实现两个步骤：在奇数行和列插入0，然后使用下采样中的高斯核进行滤波处理，得到和L-1层一样大小的图像；

令：

式(12)中N为拉普拉斯金字塔顶层的层号LP_l是拉普拉斯金字塔分解的第L层图像；由LP₀，LP₁....LP_N构成的金字塔即为拉普拉斯金字塔；它的每一层LP₀图像是高斯金字塔本层T₀图像与其高一层图像T₁经内插放大后图像

的差；

设LA₁和LB₁分别为步骤二处理后的图像A,B经过拉普拉斯金字塔分解后得到的第l层图像，融合后的结果为LF₁；当l＝N时，LA_N和LB_N分别为图像A，B经过拉普拉斯金字塔分解后得到的顶层图像；对于顶层图像的融合，首先计算以其各个像素为中心的区域大小为M*N的区域平均梯度，公式如下：

其中M、N取奇数且M>＝3、N>＝3；

其中，ΔI_x与ΔI_y分别为像素f(x,y)在x与y方向上的一阶差分，定义如下：

因此对于顶层图像中的每一个像素LA_N(i,j)和LB_N(i,j)都得到与之相对应的区域平均梯度TA(i,j)和TB(i,j)；顶层图像的融合结果为：

在得到金字塔各个层次的融合图像LF₁、LF₂...LF_N后；通过重构，得到最终的融合图像；

步骤四、将进行完信息融合的图片输入卷积神经网络中进行检测识别；

CNN网络包含卷积层、下采样层、全连接层三个部分；

卷积层通过与滤波器做卷积得到特征图，公式如下：

x_i,j表示图像的第i行第j列元素；w_m,n表示第m行第n列权重，用w_b表示滤波器的偏置项；用a_i,j表示特征图的第i行第j列元素；用f表示激活函数；

对于下采样层也叫池化层，接受从卷积层输入的N个特征图，对应输出N个特征图；通过与滤波器做卷积得到特征图；公式如下：

a_i,j＝max(x_i,j)*w_m,n+w_b (17)

在全连接层中，采用变权重误差代价函数，权重变化率根据前面的自适应参数给定。公式如下：

其中，t_k表示的是样本对应的第K维；y_k表示样本对应的网络输出层的第K个输出。

以下举例说明本发明整个过程的具体实施方式如下(各步骤效果图参见图2)：

1.首先系统在上课期间启动，利用摄像头采集原始图像，将获得的原始图像进行利用公式(1)进行灰度化。

2.对灰度化的图像应用公式(5)进行图像噪声检测，并且对检测后的图像使用公式(8)进行滤波处理。将图片预留。

3.处理完后，滑块开始向可移动方向移动一段距离停止，系统重复1.2步骤。直到滑块移动到导轨的另一端。结束1.2步。

4.当滑块到达另一端后，系统将会把之前拍摄预留的图片使用公式(17)拉普拉斯金字塔图像融合算法，进行图像信息的融合。

5.将融合后的图片输入到卷积神经网络的模型中，进行人脸识别的检测与识别。将输出的结果与后台的数据库里的身份信息进行比对，完成学生上课的签到。

6.完成后系统继续开始向导另一端继续重复1.2.3.4.5步骤。

Claims (1)

1.一种应用于课堂违纪抓取的球形定位系统的实现方法，其特征在于，该方法使用的球形定位系统包括：数据库模块、识别模块与硬件模块；其中硬件模块包括摄像头、滑块、微控处理器和导轨；摄像头搭载在滑块上，用于采集包含人脸信息的原始彩色图像；滑块与导轨组成移动端，在电机的驱动下从各个角度采集图像；微控处理器用于进行人脸信息的采集、识别并与数据库中的信息进行比对识别；

该方法具体包括以下步骤：

步骤一、以原始彩色图像作为输入，将图像进行灰度化，防止曝光过度的影响；具体公式如式(1)

Gray＝0.072169B+0.715160G+0.212671R (1)

步骤二、采用自适应权值滤波进行去噪处理

在进行对图像的去噪处理前，对图像进行噪声检测，计算图像中某点的相对领域差分统计值来确定噪声点，并且来确定该点在滤波中分配的权重系数；领域绝对值差分法公式(2)、(3)如下：

b(i,j)＝{p(x+i,y+i)：-1<＝i,j>＝1,i∪j≠0} (2)

其中p(x,y)表示图像中第x行y列的像素点，b(i,j)表示第x+i行y+j列的像素点,i与j是x与y上的偏移量，

表示p(x,y)与b(i,j)差值的绝对值；p(x,y)为P点；利用领域绝对值差分法计算出P点周围的差值

对

里面的元素进行排序，找出最小的四个数记为ROOM；使用公式(4)进行噪声检测：

其中er代表设置的阈值，Q(p(x,y))表示标记的噪点，f(x,y)表示噪点标记的图片；

利用公式(4)找到图像的噪点；

对图像的滤波系数的确定采用权重系数计算公式(5)：

其中，U_i,j表示为噪点的权重系数；

计算出噪点的权重系数，采用归一化公式(6)对系数进行归一化处理；

其中K_i,j表示为进行完归一化后的权重系数；

最后利用公式(7)把噪点与归一化后的权重系数做点乘，得到滤波处理后的图片；

其中，z(x,y)表示处理后的图片；

步骤三、将步骤二处理后的图片采用拉普拉斯金字塔融合进行图像信息融合；

首先将步骤二处理后的图像作为最底层图像T₀，即高斯金字塔的第0层，利用高斯核对其进行卷积，然后对卷积后的图像进行下采样，去除偶数行和列得到上一层图像T₁，将此图像作为输入，重复卷积和下采样操作得到更上一层图像，反复迭代多次，形成一个金字塔形的图像数据结构，即高斯金字塔；

高斯金字塔的构建过程为：假设高斯金字塔的第L层图像为T_L：

式(8)中N为高斯金字塔顶层层号，R₁和C₁分别为高斯金字塔第l层的行数和列数V(m，n)是一个二维可分离的窗口函数；

由T₀，T₁...T_N，就构成了一个高斯金字塔，其中T₀为高斯金字塔的底层，T_N为金字塔的顶层；由此可见高斯金字塔的当前层图像就是对其前一层图像首先进行高斯低通滤波，然后再进行隔行和隔列的降2采样而生成的；前一层图像大小依次为当前层图像大小的4倍；

用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为LP分解图像；将T_L内插方法得到放大图像

使

的尺寸与T_L-1的尺寸相同，即放大算子Expand:

表示为：

该式(10)实现两个步骤：在奇数行和列插入0，然后使用下采样中的高斯核进行滤波处理，得到和L-1层一样大小的图像；

令：

式(12)中N为拉普拉斯金字塔顶层的层号LP_l是拉普拉斯金字塔分解的第L层图像；由LP₀，LP₁....LP_N构成的金字塔即为拉普拉斯金字塔；它的每一层LP₀图像是高斯金字塔本层T₀图像与其高一层图像T₁经内插放大后图像T₁ ^*的差；

设LA₁和LB₁分别为步骤二处理后的图像A,B经过拉普拉斯金字塔分解后得到的第l层图像，融合后的结果为LF₁；当l＝N时，LA_N和LB_N分别为图像A，B经过拉普拉斯金字塔分解后得到的顶层图像；对于顶层图像的融合，首先计算以其各个像素为中心的区域大小为M*N的区域平均梯度，公式如下：

其中M、N取奇数且M>＝3、N>＝3；

其中，ΔI_x与ΔI_y分别为像素f(x,y)在x与y方向上的一阶差分，定义如下：

因此对于顶层图像中的每一个像素LA_N(i,j)和LB_N(i,j)都得到与之相对应的区域平均梯度TA(i,j)和TB(i,j)；顶层图像的融合结果为：

在得到金字塔各个层次的融合图像LF₁、LF₂...LF_N后；通过重构，得到最终的融合图像；

步骤四、将进行完信息融合的图片输入卷积神经网络中进行检测识别；

CNN网络包含卷积层、下采样层、全连接层三个部分；

卷积层通过与滤波器做卷积得到特征图，公式如下：

x_i,j表示图像的第i行第j列元素；w_m,n表示第m行第n列权重，用w_b表示滤波器的偏置项；用a_i,j表示特征图的第i行第j列元素；用f表示激活函数；

对于下采样层也叫池化层，接受从卷积层输入的N个特征图，对应输出N个特征图；通过与滤波器做卷积得到特征图；公式如下：

a_i,j＝max(x_i,j)*w_m,n+w_b (17)

在全连接层中，采用变权重误差代价函数，权重变化率根据前面的自适应参数给定；公式如下：

其中，t_k表示的是样本对应的第K维；y_k表示样本对应的网络输出层的第K个输出。

Images