CN109508742A - 基于arm平台和独立循环神经网络的手写数字识别方法 - Google Patents

Abstract

基于ARM平台和独立循环神经网络的手写数字识别方法。包括如下步骤，S1、根据TensorFlow框架构建IndRNN模型；S2、将MNIST训练集导入IndRNN模型进行训练；S3、在ARM平台安装TensorFlow，在PC端上利用FlashFXP通过SFTP over SSH连接方式将训练好的IndRNN模型移植到ARM平台；S4、采集设备采集手写数字照片，并进行预处理；S5、预处理后的照片通过IndRNN模型处理分类识别，最终在SSH终端显示识别结果。本发明利用TensorFlow进行深度学习和人工智能具有开发简单、建模速度快、准确率高的优点。ARM嵌入式平台具有成本低、稳定性好、实时性高等诸多优点。

Description

基于ARM平台和独立循环神经网络的手写数字识别方法

技术领域

本发明属于图像识别处理技术领域，具体涉及一种基于ARM平台和独立循环神经网络的手写数字识别方法。

背景技术

图像识别技术的作用是按照所观测到的图像，对图像中的物体进行分辨，并以此来判断物体所具有的意义，它的具体实现是通过现代信息处理技术，以及计算机技术对人类认知过程进行模拟。通常情况下，一个图像的识别系统由图像分割、图像特征提取、分类器的识别三个部分组成，其中，图像分割的作用是将图像划分成多个区域；图像特征提取则是对多个区域的图像进行相应的特征提取；分类器的识别则是按照图像特征所提取的结果进行适当的分类。总而言之，随着社会的不断发展，图像识别技术也得到了较大的发展，并被广泛应用于各个领域中，如医学、航天航空、通信等领域。

随着谷歌基于DistBelief研发的第二代人工智能学习系统TensorFlow的诞生，TensorFlow被广泛应用于图像识别或语音识别等多项机器学习和深度学习领域。TensorFlow是将复杂的数据结构传输至人工智能神经网络中进行分析和处理过程的系统，该系统基于PC机对图像进行识别。然而，基于PC机的图像处理系统存在结构复杂，成本太高，体积太大，功耗巨大等缺点。同时，PC机的最大缺点是桌面操作系统不具有实时性。图像处理系统的实时性和小型化是它发展的必要趋势。

近年来，嵌入式系统开发技术得到了飞速发展，使得嵌入式技术越来越完善。以嵌入式技术为核心的图像处理系统自然也能够成为现实。越来越多的图像处理实时控制问题都可以在嵌入式系统中得以解决实现。同时，伴随嵌入式系统应运而生的嵌入式实时操作系统方便了嵌入式系统开发者的软件编写，在多任务，多中断环境中具有无与伦比的优势。嵌入式图像处理系统以嵌入式芯片为处理核心，体积小，成本低，稳定性好，适应性强等许许多多的优点都能在嵌入式图像处理系统中得到体现。与传统的图像处理系统相比，嵌入式图像处理系统结构紧凑，很多时候不需要PC机的介入，这样大大提高了图像的处理速度，同时有效的降低了嵌入式图像处理系统的成本。图像处理系统还具有拆装方便、配置灵活等别的系统不具有的优点，安全性能同时得到了大大的提高。

发明内容

本发明的目的在于：提供一种基于ARM平台和独立循环神经网络的手写数字识别方法，利用独立循环神经网络和回归计算方法构建深度神经网络，从而达到优秀的识别精度，具有开发简单、建模速度快、准确率高的优点。

为了达到以上目的，提供一种基于ARM平台和独立循环神经网络的手写数字识别方法。包括如下步骤，

S1、根据TensorFlow框架构建IndRNN模型；

S2、将MNIST训练集导入IndRNN模型进行训练；

S3、在ARM平台安装TensorFlow，在PC端上利用FlashFXP通过SFTP over SSH连接方式将训练好的IndRNN模型移植到ARM平台；

S4、采集设备采集手写数字照片，并进行预处理；

S5、预处理后的照片通过IndRNN模型处理分类识别，最终在SSH终端显示识别结果。

本发明的优选方案是：IndRNN模型包括六层IndRNN层，每层由128个神经元组成，每层IndRNN层后面增加标准化BN层，最后添加一个softmax回归函数。

更优选地，IndRNN层的公式如下：

h_t＝F(wx_t+u⊙h_t-1+b)

其中，h_t为t时刻的隐藏状态，σ为激活函数，W为输入权重，x_t为t时刻的输入，u为循环权重，⊙为哈达玛积，h_t-1为上一时间步的隐藏状态，b为偏置值。每一层的神经元各自独立，神经元之间通过叠加至少两层IndRNN连接，对于第n个神经元，隐藏状态h_n,t可以通过如下公式得出：

h_n,t＝σ(w_nx_t+u_nh_n,t-1+b_n)

其中，σ为激活函数，w_n为输入权重的第n行，x_t为t时刻的输入，u_n为循环权重的第n行，h_n,t-1为上一时间步第n行的隐藏状态，b_n为第n行的偏置值。每个神经元在它的输入和前一步时间的隐藏状态中接收信息。

更优选地，所述softmax回归函数的类表y可以取k个不同的值，对于训练集{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}，其中，x⁽ⁱ⁾∈R⁽ⁿ⁺¹⁾、y⁽ⁱ⁾∈{1,2,…k}，根据识别的MNIST数字，因此k＝10；

对于给定的输入x，回归函数针对每一个类别j计算出概率值p(y＝j/x)，用以估计x的每一种分类结果出现的概率；因此，函数将输出一个k维向量，向量元素和为1来表示这k个估计的概率，则函数h_θ(x)为：

其中，θ₁，θ₂，…，θ_k∈Rⁿ⁺¹为模型参数，p(y⁽ⁱ⁾＝j|x⁽ⁱ⁾；θ_j)为样本x⁽ⁱ⁾属于j类的概率，θ为全部的参数模型，softmax回归函数中将x分类为类别j的概率为：

优选地，步骤S4中通过ARM平台上的摄像头模块拍摄需要被识别的手写数字图片，然后摄像头模块拍摄图片中的数字，最终将拍摄的照片进行预处理。

优选地，步骤S4中图片预处理的具体步骤为，

S41、将摄像头模块拍摄的彩色图像进行灰度化处理，获取灰度图像；

S42、根据图像阈值分割方法将灰度图像转化成相应的二值图像；

S43、将二值图像进行膨胀，来扩充边缘和填充小的孔洞，再腐蚀图像，以提取骨干信息，去掉毛刺与孤立的像素；

S44、使用measure模块中find_contours()函数来找出手写数字的轮廓，以最长轮廓距缩放到20×20的黑底图像中心；通过计算像素质心并以质心平移至图像至28×28黑底图像的中心；质心在x轴和y轴方向上公式为：

其中，x_i、y_i分别为每个像素在x、y轴方向上的坐标，p_i为对应的像素值。

优选地，步骤S42中根据灰度图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域，即目标区域和背景区域，系统自动生成一个阈值，以确定图像中每个像素点的区域范围，从而产生相应的二值图像。

本发明有益效果为：IndRNN相较于传统的RNN，可以有效的解决梯度消失和梯度爆炸问题；可以保留长期记忆以处理长序列；可以很好地利用修正线性单元等非饱和函数作为激活函数，并且训练之后具有非常好的鲁棒性；能实现高效的多层叠加以增加网络的深度。本发明利用TensorFlow进行深度学习和人工智能具有开发简单、建模速度快、准确率高的优点。ARM嵌入式平台具有成本低、稳定性好、实时性高等诸多优点。因此，将TensorFlow框架IndRNN模型应用于ARM嵌入式平台中进行手写数字识别，两者的优势相结合，将会对图像识别的研究带来十足的意义。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明的流程框图；

图2为本发明中IndRNN结构示意图；

图3为本发明中摄像头拍摄的手写数字照片；

图4为灰度化处理后的图像；

图5为转化生成的二值图像；

图6为进行膨胀处理后的图像；

图7为进行腐蚀处理后的图像。

具体实施方式

实施例一

请参阅图1，本实施例提供一种基于ARM平台和独立循环神经网络的手写数字识别方法。包括如下步骤，

S1、根据TensorFlow框架构建IndRNN模型；

S2、将MNIST训练集导入IndRNN模型进行训练；

S3、在ARM平台安装TensorFlow，在PC端上利用FlashFXP通过SFTP over SSH连接方式将训练好的IndRNN模型移植到ARM平台；

S4、采集设备采集手写数字照片，并进行预处理；

S5、预处理后的照片通过IndRNN模型处理分类识别，最终在SSH终端显示识别结果。

如图2所示，IndRNN模型包括六层IndRNN层，每层由128个神经元组成，每层IndRNN层后面增加标准化BN层，最后添加一个softmax回归函数。

IndRNN层的公式如下：

h_t＝σ(Wx_t+u⊙h_t-1+b)

其中，h_t为t时刻的隐藏状态，σ为激活函数，W为输入权重，x_t为t时刻的输入，u为循环权重，⊙为哈达玛积，h_t-1为上一时间步的隐藏状态，b为偏置值。每一层的神经元各自独立，神经元之间通过叠加至少两层IndRNN连接，对于第n个神经元，隐藏状态h_n,t可以通过如下公式得出：

h_n,t＝σ(w_nx_t+u_nh_n,t-1+b_n)

其中，σ为激活函数，w_n为输入权重的第n行，x_t为t时刻的输入，u_n为循环权重的第n行，h_n,t-1为上一时间步第n行的隐藏状态，b_n为第n行的偏置值。每个神经元在它的输入和前一步时间的隐藏状态中接收信息。

所述softmax回归函数的类表y可以取k个不同的值，对于训练集{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}，其中，x⁽ⁱ⁾∈R⁽ⁿ⁺¹⁾、y⁽ⁱ⁾∈{1,2,…k}，根据识别的MNIST数字，因此k＝10；

对于给定的输入x，回归函数针对每一个类别j计算出概率值p(y＝j/x)，用以估计x的每一种分类结果出现的概率；因此，函数将输出一个k维向量，向量元素和为1来表示这k个估计的概率，则函数h_θ(x)为：

其中，θ₁，θ₂，...，θ_k∈Rⁿ⁺¹为模型参数，p(y⁽ⁱ⁾＝j|x⁽ⁱ⁾；θ_j)为样本x⁽ⁱ⁾属于j类的概率，θ为全部的参数模型，softmax回归函数中将x分类为类别j的概率为：

步骤S3中，首先需要在ARM平台上搭建TensorFlow，然后在PC上利用Flash FXP通过SFTP over SSH连接类型，将训练好的深度学习模型导入ARM平台中。在ARM上搭建TensorFlow的具体方法如下：

下面是在ARM嵌入式平台Raspbian位系统Python2.7环境下安装TensorFlow的相关代码：

安装pip,python-dev:

$sudo apt-get install python-pip

$sudo apt-get install python-dev

wheel是众多Python软件安装包格式中的一种，本质上是一个zip包格式，它使用.whl作为扩展名，用于安装Python模块。

使用Python2.7安装：

$wget

https://github.com/samjabrahams/tensorflow-on-raspberry-pi/releases/download/v0.11.0/tensorflow-0.11.0-cp27-none-linux_armv7l.whl

$sudo pip install tensorflow-0.11.0-cp27-none-linux_armv7l.whl

此刻，使用Python2.7安装好了TensorFlow，路径在/usr/local/lib/python2.7/

distpackages/tensorflow/。

步骤S4中在白纸上写下一个0到9的阿拉伯数字，然后利用ARM平台上的摄像头模块拍摄白纸上的写下的数字，如图3所示。

图片预处理的具体步骤为，

S41、将摄像头模块拍摄的彩色图像进行灰度化处理，获取灰度图像，如图4所示，灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征；

S42、根据图像阈值分割方法将灰度图像转化成相应的二值图像；如图5所示，根据灰度图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域，即目标区域和背景区域，系统自动生成一个阈值，以确定图像中每个像素点的区域范围，从而产生相应的二值图像；

S43、将二值图像进行膨胀，如图6所示，来扩充边缘和填充小的孔洞，再腐蚀图像，如图7所示，以提取骨干信息，去掉毛刺与孤立的像素；

S44、使用measure模块中find_contours()函数来找出手写数字的轮廓，以最长轮廓距缩放到20×20的黑底图像中心；通过计算像素质心并以质心平移至图像至28×28黑底图像的中心；质心在x轴和y轴方向上公式为：

其中，x_i、y_i分别为每个像素在x、y轴方向上的坐标，p_i为对应的像素值。除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (7)

1.基于ARM平台和独立循环神经网络的手写数字识别方法，其特征在于，包括如下步骤，

S1、根据TensorFlow框架构建IndRNN模型；

S2、将MNIST训练集导入IndRNN模型进行训练；

S3、在ARM平台安装TensorFlow，在PC端上利用FlashFXP通过SFTP over SSH连接方式将训练好的IndRNN模型移植到ARM平台；

S4、采集设备采集手写数字照片，并进行预处理；

S5、预处理后的照片通过IndRNN模型处理分类识别，最终在SSH终端显示识别结果。

2.根据权利要求1所述的基于ARM平台和独立循环神经网络的手写数字识别方法，其特征在于，所述IndRNN模型包括六层IndRNN层，每层由128个神经元组成，每层IndRNN层后面增加标准化BN层，最后添加一个softmax回归函数。

3.根据权利要求2所述的基于ARM平台和独立循环神经网络的手写数字识别方法，其特征在于，所述IndRNN层的公式如下：

h_t＝σ(Wx_t+u⊙h_t-1+b)

其中，h_t为t时刻的隐藏状态，σ为激活函数，W为输入权重，x_t为t时刻的输入，u为循环权重，⊙为哈达玛积，h_t-1为上一时间步的隐藏状态，b为偏置值。每一层的神经元各自独立，神经元之间通过叠加至少两层IndRNN连接，对于第n个神经元，隐藏状态h_n,t可以通过如下公式得出，

h_n,t＝σ(w_nx_t+u_nh_n,t-1+b_n)

其中，σ为激活函数，w_n为输入权重的第n行，x_t为t时刻的输入，u_n为循环权重的第n行，h_n,t-1为上一时间步第n行的隐藏状态，b_n为第n行的偏置值。每个神经元在它的输入和前一步时间的隐藏状态中接收信息。

4.根据权利要求2所述的基于ARM平台和独立循环神经网络的手写数字识别方法，其特征在于，所述softmax回归函数的类表y可以取k个不同的值，对于训练集{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}，x⁽ⁱ⁾为输入特征，y⁽ⁱ⁾为类标；(请提供公式中每个参数的含义)

其中，x⁽ⁱ⁾∈R⁽ⁿ⁺¹⁾、y⁽ⁱ⁾∈{1,2,…k}，根据识别的MNIST数字，因此k＝10；

对于给定的输入x，回归函数针对每一个类别j计算出概率值p(y＝j/x)，用以估计x的每一种分类结果出现的概率；因此，函数将输出一个k维向量，向量元素和为1来表示这k个估计的概率，则函数h_θ(x)为：

其中，θ₁，θ₂，…，θ_k∈Rⁿ⁺¹为模型参数，p(y⁽ⁱ⁾＝j|x⁽ⁱ⁾；θ_j)为样本x⁽ⁱ⁾属于j类的概率，θ为全部的参数模型，softmax回归函数中将x分类为类别j的概率为：

5.根据权利要求1所述的基于ARM平台和独立循环神经网络的手写数字识别方法，其特征在于，所述步骤S4中通过ARM平台上的摄像头模块拍摄需要被识别的手写数字图片，然后摄像头模块拍摄图片中的数字，最终将拍摄的照片进行预处理。

6.根据权利要求1所述的基于ARM平台和独立循环神经网络的手写数字识别方法，其特征在于，所述步骤S4中图片预处理的具体步骤为，

S41、将摄像头模块拍摄的彩色图像进行灰度化处理，获取灰度图像；

S42、根据图像阈值分割方法将灰度图像转化成相应的二值图像；

S43、将二值图像进行膨胀，来扩充边缘和填充小的孔洞，再腐蚀图像，以提取骨干信息，去掉毛刺与孤立的像素；

S44、使用measure模块中find_contours()函数来找出手写数字的轮廓，以最长轮廓距缩放到20×20的黑底图像中心；通过计算像素质心并以质心平移至图像至28×28黑底图像的中心；质心在x轴和y轴方向上公式为：

其中，x_i、y_i分别为每个像素在x、y轴方向上的坐标，p_i为对应的像素值。

7.根据权利要求6所述的基于ARM平台和独立循环神经网络的手写数字识别方法，其特征在于，步骤S42中根据灰度图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域，即目标区域和背景区域，系统自动生成一个阈值，以确定图像中每个像素点的区域范围，从而产生相应的二值图像。