CN102509122B - 一种应用于交互式触摸屏的笔色智能识别方法 - Google Patents

Abstract

本发明公开了一种应用于交互式触摸屏的笔色智能识别方法，包括以下步骤：S1选取触摸屏上Z个位置的触摸笔图像作为训练样品图像集；S2将触摸笔图像由RGB空间转为HSV空间；S3对色调H、饱和度S、亮度V进行优化的归一化，得到颜色量化直方图特征集；S4建立一个三层的BP神经网络；S5将训练样品特征集及验证集输入BP神经网络进行训练，得到T个弱分类器；S6将T个弱分类器进行叠加，得到一个强分类器；S7彩色摄像头对触摸笔的彩色笔头进行拍摄，得到的颜色量化直方图特征后输入到训练好的强分类器中，得出识别结果。本发明与现有的笔色识别方法相比，具有抗噪声能力强、准确率高的优点。

Description

一种应用于交互式触摸屏的笔色智能识别方法

技术领域

本发明涉及图像处理领域，特别涉及一种应用于交互式触摸屏的笔色智能识别方法。

背景技术

在交互式触摸屏书写或标注应用中，字体或标注经常需要使用不同的颜色来显示。目前字体或标注显示颜色主要有以下几种方式：一是通过有选择功能的颜色软件来实现字体或标注的颜色显示，这种方式一般需要在屏幕上显示一个颜色快捷键图标，因为交互式触摸屏尺寸较大，颜色快捷键图标一般固定在屏幕的某个位置，使用者在书写或标注时需要移动较远的距离才能进行颜色的变换操作，使用起来不方便，而且有些应用如模拟军用沙盘的标注，不方便在显示屏上设置颜色图标快捷键功能。另外一种实现方式是将书写笔像粉笔一样涂成不同的颜色，通过红外感应技术识别。即在交互式触摸装置中，配置一个特制的托盘，当有颜色的书写笔放在装有红外感应器的托盘时，红外感应器能检测到触摸(书写)笔的颜色，达到变换字体颜色的目的，但这种方法的缺点是当需要变换字体颜色时，要重新选择需要的颜色笔放到托盘上，尽管这种方式可靠性高，当使用起来也很不方便，而且成本较高。还有一种较智能的方式就是通过摄像头拍摄触摸笔的颜色，利用图像分析方法，提取触摸笔的颜色，然后使用传统的颜色直方图进行聚类，实现笔色识别，这种方法因其可以识别任意颜色，且成本低的优点而广受欢迎，但由于工艺设计的限制，摄像头安装的位置会受到光照条件限制，在触摸屏的某些书写区域，摄像头拍摄的书写笔颜色可区分度较小，经常出现误判的情况，难于达到在全屏幕上，笔色自动识别的目的。因此，提出一种抗噪性强、准确率高、全屏幕的笔色智能识别方法实为必要。

BP神经网络是一种模仿人脑结构及其功能的算法，具有自适应能力好，并行度高等优点；AdaBoost.oc算法是boosting算法中的一种，通过对多个弱学习器建立“委员会”的机制，可以有效的提高弱学习器的识别能力。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种抗噪性强、准确率高的笔色智能识别方法。

本发明的目的通过以下技术方案实现：

一种应用于交互式触摸屏的笔色智能识别方法，包括以下步骤：

S1选取触摸屏上Z个位置的触摸笔图像作为训练样品图像集；

S2根据公式(1)～(3)将触摸笔图像由RGB空间转为HSV空间，

$H=\left\{\begin{array}{cc}\arccos \left\{\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right\}& B\≤G\\ 2\mathrm{\π}-\arccos \left\{\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right\}& B>G\end{array}\right.---\left(1\right)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R,G,B)}---\left(2\right)$

$V=\frac{\max (R,G,B)}{255}---\left(3\right)$

使图像的色调H、饱和度S、亮度V三者分离；

S3设定触摸笔图像的大小为M*N个像素，根据公式(4)～(8)对色调H、饱和度S、亮度V进行优化的归一化，得到颜色量化直方图特征集X＝{X_n，k|n＝1，2，3...Z；k＝0，1，2，3...15}，其中X_n，k表示归一化的第n张图像的颜色量化直方图特征的第k维分量；

$W_{n,k}=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\mathrm{\η}(i,j,k)*S(i,j)*V{(i,j)}^{1.1}*\mathrm{\ξ}(i,j)*\mathrm{\ζ}(i,j)---\left(4\right)$

$\mathrm{\ξ}(i,j)=\left\{\begin{array}{cc}1& V(i,j)>V_{\min }\\ 0& V(i,j)\≤V_{\min }\end{array}\right.---\left(6\right)$

$\mathrm{\ζ}(i,j)=\left\{\begin{array}{cc}1& S(i,j)>S_{\min }\\ 0& S(i,j)\≤S_{\min }\end{array}\right.---\left(7\right)$

$X_{n,k}=W_{n,k}/\underset{m=0}{\overset{15}{\mathrm{\Σ}}}{W}_{n,m}---\left(8\right)$

其中W_n，k表示未归一化的第n张触摸笔图像的颜色量化直方图特征的第k维分量；H(i，j)、S(i，j)、V(i，j)分别表示触摸笔图像第i行、第j列的色调H、饱和度S和亮度V；i＝1:M，j＝1:N，K＝0:15；

式(6)中所述V_min的意义为：亮度V低于或等于V_min的点均视为应删除的点；式(7)中S_min的意义为：饱和度低于或等于S_min的点均视为应删除的点；

S4根据实际情况选取BP神经网络输入层神经个数、隐藏层神经元个数、输出层神经个数，建立一个三层的BP神经网络；

S5将步骤S3得到的颜色量化直方图特征集X＝{X_n，k|n＝1，2，3...Z；k＝0，1，2，3...15}作为BP神经网络的训练集，将Y＝{Y_i|i＝1，2，...，300}作为验证集输入步骤S4建立的BP神经网络进行训练，通过AdaBoost.oc算法迭代T次得到T个弱分类器；其中，Y_i的值表示样品图像的颜色；

S6将步骤S5得到的T个弱分类器进行叠加，得到一个强分类器；

S7彩色摄像头对触摸笔的彩色笔头进行拍摄，然后将得到的笔头图像进行以下处理：

S7.1根据定位位置，在触摸笔图像中截取出包含笔头信息的子图；

S7.2根据公式(1)-(8)提取出子图的16维颜色量化直方图特征；

将得到的颜色量化直方图特征输入到训练好的强分类器中，得出识别结果。

步骤S6所述强分类器中增加置信度的计算并设置置信度阈值；当置信度高于置信度阈值，表明识别结果可靠，当置信度低于置信度阈值时，表明识别结果不可靠，识别失败。

所述置信度阈值取值为0.8。

步骤S3所述V_min取值为0.2。

步骤S3所述S_min取值为0.15。

步骤S1所述选取触摸屏上Z个位置的触摸笔图像作为训练样品图像集，具体为：

选取Z＝300，选取红、黄、蓝三种颜色的图片各100张，通过手工分割的方式分离出笔尖，将300张图片置于触摸屏上的300个位置上，通过彩色摄像头对300张图片进行拍摄，得到训练样品图像集。

所述Y_i∈Y＝{1，2，3}，Y_i为1、2、3时分别代表红、黄、蓝色。

相对于现有技术，本发明具有以下优点和技术效果：

1、抗噪声能力好：本发明通过在在传统的颜色直方图特征归一化中引入了饱和度和亮度两个权重因素，极大地提高了特征集的抗噪声功能。

2、准确率高：本发明在BP神经网络中进行训练的过程中还设置了置信度阈值，使分类结构更加准确。

附图说明

图1为交互式触摸屏的示意图。

图2为本发明用于交互式触摸屏的笔色智能识别方法的流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

交互式触摸屏如图1所示，包括触摸屏101、摄像头102、触摸屏边框103和无源触摸笔104，其中无源触摸笔104设有彩色笔头；彩色摄像头102为具有90度拍摄范围的彩色摄像头，内嵌于触摸屏边框103的一角。

如图2所示，本发明应用于交互式触摸屏的笔色智能识别方法，包括以下步骤：

S1选取触摸屏上Z个位置的触摸笔图像作为训练样品图像集；具体为：

选取Z＝300，选取红、黄、蓝三种颜色的图片各100张，通过手工分割的方式分离出笔尖，将300张图片置于触摸屏上的300个位置上，通过彩色摄像头对300张图片进行拍摄，得到训练样品图像集。

S2根据公式(1)～(3)将触摸笔图像由RGB空间转为HSV空间，

$H=\left\{\begin{array}{cc}\arccos \left\{\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right\}& B\≤G\\ 2\mathrm{\π}-\arccos \left\{\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right\}& B>G\end{array}\right.---\left(1\right)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R,G,B)}---\left(2\right)$

$V=\frac{\max (R,G,B)}{255}---\left(3\right)$

使图像的色调H、饱和度S、亮度V三者分离；

S3设定触摸笔图像的大小为M*N个像素，根据公式(4)～(8)对色调H、饱和度S、亮度V进行优化的归一化，得到颜色量化直方图特征集X＝{X_n，k|n＝1，2，3...Z；k＝0，2，3...15}，其中X_n，k表示归一化的第n张图像的颜色量化直方图特征的第k维分量；

$W_{n,k}=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\mathrm{\η}(i,j,k)*S(i,j)*V{(i,j)}^{1.1}*\mathrm{\ξ}(i,j)*\mathrm{\ζ}(i,j)---\left(4\right)$

$\mathrm{\ξ}(i,j)=\left\{\begin{array}{cc}1& V(i,j)>V_{\min }\\ 0& V(i,j)\≤V_{\min }\end{array}\right.---\left(6\right)$

$\mathrm{\ζ}(i,j)=\left\{\begin{array}{cc}1& S(i,j)>S_{\min }\\ 0& S(i,j)\≤S_{\min }\end{array}\right.---\left(7\right)$

$X_{n,k}=W_{n,k}/\underset{m=0}{\overset{15}{\mathrm{\Σ}}}{W}_{n,m}---\left(8\right)$

其中W_n，k表示未归一化的第n张触摸笔图像的颜色量化直方图特征的第k维分量；H(i，j)、S(i，j)、V(i，j)分别表示图片第i行、第j列的色调H、饱和度S和亮度V；i＝1:M，j＝1:N，K＝0:15；

式(6)中所述V_min的意义为：亮度V低于或等于V_min的点均视为应删除的点；式(7)中S_min的意义为：饱和度低于或等于S_min的点均视为应删除的点；

本步骤中在式(4)～(7)中对色调H、饱和度S和亮度进行了如下处理：把低饱和度和低亮度的不稳定点去除(本实施例把亮度低于或等于0.2、或者是饱和度低于或等于0.15的点视为不稳定点，即应去除的点)，把每个点的色调进行优化的16量化，即计算每个点色调的量化值大小颜色量化直方图特征中第k个分量等于其原来大小加上当前点的亮度的1.1次方乘以饱和度。

S4选取BP神经网络输入层神经个数、隐藏层神经元个数、输出层神经个数，建立一个三层的BP神经网络；其中输入层神经个数为16、输出层神经个数为1；隐藏层神经元个数等于对神经网络训练过程中的迭代次数T，本实施例选为20；

S5将步骤S3得到的颜色量化直方图特征集X＝{X_n，k|n＝1，2，3...Z；k＝0，1，2，3...15}作为BP神经网络的训练集，将Y＝{Y_i|i＝1，2，...，300}作为验证集输入步骤S4建立的BP神经网络进行训练，通过AdaBoost.oc算法迭代20次得到20个弱分类器；其中，Y_i的值表示样品图像的颜色；Y_i∈Y＝{1，2，3}，y_i为1、2、3时分别代表红、黄、蓝色。

S4将步骤S5得到的20个弱分类器进行叠加，得到一个强分类器；在强分类器中增加置信度的计算并设置置信度阈值为0.8，当置信度高于信度阈值，表明识别结果可靠，当置信度低于置信度阈值时，表明识别结果不可靠，识别失败。

S7彩色摄像头对触摸笔的彩色笔头进行拍摄，将得到的触摸笔图像进行以下处理：

S7.1根据定位位置，在触摸笔图像中截取出包含笔头信息的子图；

S7.2根据公式(1)-(8)提取出子图的16维颜色量化直方图特征；

然后将得到的颜色量化直方图特征输入到训练好的强分类器中，得出识别结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种应用于交互式触摸屏的笔色智能识别方法，其特征在于，包括以下步骤：

S1选取触摸屏上Z个位置的触摸笔图像作为训练样品图像集：

选取Z=300，选取红、黄、蓝三种颜色的图片各100张，通过手工分割的方式分离出笔尖，将300张图片置于触摸屏上的300个位置上，通过彩色摄像头对300张图片进行拍摄，得到训练样品图像集；

S2根据公式（1）～（3）将触摸笔图像由RGB空间转为HSV空间，

$H=\left\{\begin{array}{cc}\arccos \left\{\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right\}& B\≤G\\ 2\mathrm{\π}-\arccos \left\{\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right\}& B>G\end{array}---\left(1\right)\right.$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R,G,B)}---\left(2\right)$

$V=\frac{\max (R,G,B)}{255}---\left(3\right)$

使图像的色调H、饱和度S、亮度V三者分离；

S3设定触摸笔图像的大小为M*N个像素，根据公式（4）～（8）对色调H、饱和度S、亮度V进行优化的归一化,得到颜色量化直方图特征集X={X_n,k|n=1,2,3…Z;k=0,1,2,3…15}，其中X_n,k表示归一化的第n张图像的颜色量化直方图特征的第k维分量；

$W_{n,k}=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\mathrm{\η}(i,j,k)*S(i,j)*V{(i,j)}^{1.1}*\mathrm{\ξ}(i,j)*\mathrm{\ζ}(i,j)---\left(4\right)$

$\mathrm{\ξ}(i,j)=\left\{\begin{array}{cc}1& V(i,j)>V_{\min }\\ 0& V(i,j)\≤V_{\min }\end{array}---\left(6\right)\right.$

$\mathrm{\ζ}(i,j)=\left\{\begin{array}{cc}1& S(i,j)>S_{\min }\\ 0& S(i,j)\≤S_{\min }\end{array}\right.---\left(7\right)$

$X_{n,k}=W_{n,k}/\underset{k=0}{\overset{15}{\mathrm{\Σ}}}{W}_{n,k}---\left(8\right)$

其中W_n,k表示未归一化的第n张触摸笔图像的颜色量化直方图特征的第k维分量；H(i,j)、S(i,j)、V(i,j)分别表示触摸笔图像第i行、第j列的色调H、饱和度S和亮度V；i=1:M，j=1:N，K=0:15；

式（6）中所述V_min的意义为：亮度V低于或等于V_min的点均视为应删除的点；式（7）中S_min的意义为：饱和度低于或等于S_min的点均视为应删除的点；

S4根据实际情况选取BP神经网络输入层神经个数、隐藏层神经元个数、输出层神经个数，建立一个三层的BP神经网络；

S5将步骤S3得到的颜色量化直方图特征集X={X_n,k|n=1,2,3…Z;k=0,1,2，3…15}作为BP神经网络的训练集，将Y={Y_i|i=1,2,…,300}作为验证集输入步骤S4建立的BP神经网络进行训练，通过AdaBoost.oc算法迭代T次得到T个弱分类器；其中，Y_i的值表示样品图像的颜色；

S6将步骤S5得到的T个弱分类器进行叠加，得到一个强分类器；

S7彩色摄像头对触摸笔的彩色笔头进行拍摄，将得到的触摸笔图像进行以下处理：

S7.1根据定位位置，在触摸笔图像中截取出包含笔头信息的子图；

S7.2根据公式（1）-（8）提取出子图的16维颜色量化直方图特征；

然后将得到的颜色量化直方图特征输入到训练好的强分类器中，得出识别结果。

2.根据权利要求1所述的应用于交互式触摸屏的笔色智能识别方法，其特征在于，步骤S6所述强分类器中增加置信度的计算并设置置信度阈值；当置信度高于置信度阈值，表明识别结果可靠，当置信度低于置信度阈值时，表明识别结果不可靠，识别失败。

3.根据权利要求2所述的应用于交互式触摸屏的笔色智能识别方法，其特征在于，所述置信度阈值取值为0.8。

4.根据权利要求1所述的应用于交互式触摸屏的笔色智能识别方法，其特征在于，步骤S3所述V_min取值为0.2。

5.根据权利要求1所述的应用于交互式触摸屏的笔色智能识别方法，其特征在于，步骤S3所述S_min取值为0.15。

6.根据权利要求1所述的应用于交互式触摸屏的笔色智能识别方法，其特征在于，所述Y_i∈Y={1，2，3},Y_i为1、2、3时分别代表红、黄、蓝色。

Images