CN102542265B - 一种基于摄像头定位多点触摸的板擦识别方法及其装置 - Google Patents

Abstract

本发明提供一种基于摄像头定位多点触摸的板擦识别方法，包括以下步骤：对触摸屏图像中亮斑进行识别处理，识别出触摸点，获取触摸点的点阵；根据触摸点的点阵，获取该触摸点的对称轴直线；根据多个触摸点之间对称轴的相交情况进行判断，若任意两个触摸点的长对称轴皆有交点，且所有交点均在预先设定的范围内，则识别为板擦模式。克服了因外界的干扰，不会因为你的衣袖或者多人操作向不同方向移动产生的误判，大大减少了板擦触发的误操作性，使板擦应用更加准确与灵活，使其手势应用能在多点触摸下得到方便的应用。

Description

一种基于摄像头定位多点触摸的板擦识别方法及其装置

技术领域

本发明属于摄像头定位多点触摸下的手势识别的技术领域，特别是涉及一种基于摄像头定位多点触摸的板擦识别方法及其装置。

背景技术

传统的多点触摸屏下板擦的判别方法一般是，在支持两点触摸定位下认为三点同时按下并同时移动即为板擦，在支持三点以上的触摸的定位下一般认为五点同时按下并同时移动即认为是板擦，上述的判定方法皆存在误判的问题，因为其并不能判断到所有触摸点是否都为真正的触摸点，当出现如：触摸时手指倾斜、衣袖碰到触摸屏的情况都会极度容易引起对触摸点的误判，还有就是在不同区域同时按下手指并反方向移动的情况下，也同样会极易触发是板擦操作。

如公开号为CN201010523504.3的一种抗干扰的触摸点识别方法及其装置，公开了一种抗干扰的触摸点识别方法，通过椭圆识别法，将触摸点为识别为椭圆，避免了非触摸点干扰造成的误判，如因衣袖或者其他身上的物件碰到触摸面板而造成的误判，从而识别出多个触摸点的真实位置，但是同样在支持两点触摸定位下认为三点同时按下并同时移动即为板擦，在支持三点以上的触摸的定位下一般认为五点同时按下并同时移动即认为是板擦等等情况下对于板擦功能的识别误判依然非常严重，依然不能解决对板擦功能的识别，也不能有效的解决在不同区域同时按下手指并反方向移动等情况下的触发板擦误判的问题。

发明内容

本发明第一个目的在于克服现有技术的缺点与不足，提供基于摄像头定位多点触摸的板擦识别方法。

本发明的另一个发明目的在于提供一种触摸点识别准确、有效抗干扰和识别板擦的基于摄像头定位多点触摸的板擦识别装置

为了实现上述发明目的，本发明的第一个发明目的采用的技术方案如下：

一种基于摄像头定位多点触摸的板擦识别方法，包括以下步骤：

对触摸屏图像进行识别处理，识别出触摸点，获取触摸点的点阵；

根据触摸点的点阵，获取该触摸点的对称轴直线；

根据多个触摸点之间对称轴直线的相交情况进行判断，若任意两个触摸点的对称轴直线皆有交点，且所有交点均在预先设定的范围内，则识别为板擦模式。

优选地，所述对触摸屏图像进行的识别处理为：

根据预设的触摸点面积大小范围，对触摸屏图像中的非触摸点亮斑进行初步排除；通过将触摸屏图像中亮斑与手指椭圆进行相似度比较，识别出触摸点，并获取该触摸点的椭圆点阵。

进一步地，所述获取该触摸点的对称轴直线具体为：通过触摸点的椭圆点阵，获取椭圆点阵的外接矩形，并得出所述外接矩形的内切椭圆，算出该触摸点的长对称轴方程，从而获取对称轴直线。

优选地，还包括：根据多个触摸点的对称轴直线，获取对称轴直线的一般直线方程，并根据任意两个触摸点的一般直线方程的斜率判断两触摸点的对称轴是否相交，然后获取任意任意两个触摸点的对称轴相交的交点。

优选地，所述根据多个触摸点之间对称轴的相交情况进行判断，具体为：若任意两个触摸点的对称轴皆有交点，则根据多个触摸点的点阵，计算出多个触摸点之间的外接圆，将任意两个触摸点对称轴的交点与外接圆的圆心之间的距离与外接圆的半径做比较，若所有交点与圆心的距离皆小于半径则识别为板擦模式。

为了实现本发明的第二发明目的，采用的技术方案如下：

一种基于摄像头定位多点触摸的板擦识别装置，包括：

触摸点处理模块，用于对触摸屏图像进行识别处理，识别出触摸点，获取触摸点的点阵；

运算模块，用于根据触摸点的点阵，获取该触摸点的对称轴直线；

板擦识别模块，用于根据多个触摸点之间对称轴直线的相交情况进行判断，若任意两个触摸点的对称轴直线皆有交点，且所有交点均在预先设定的范围内，则识别为板擦模式。

优选地，所处触摸点处理模块，包括：

触摸点识别单元，用于根据预设的触摸点面积大小范围，对触摸屏图像中的非触摸点亮斑进行初步排除；通过将触摸屏图像中亮斑与手指椭圆进行相似度比较，识别出触摸点；

点阵获取单元，用于根据识别出的触摸点，通过手指椭圆获取该触摸点的椭圆点阵。

进一步地，所述运算模块通过触摸点的椭圆点阵，获取椭圆点阵的外接矩形，并得出所述外接矩形的内切椭圆，算出该触摸点的长对称轴方程，从而获取对称轴直线。

优选地，板擦识别模块根据多个触摸点的对称轴直线，获取对称轴直线的一般直线方程，并根据任意两个触摸点的一般直线方程的斜率判断两触摸点的对称轴是否相交，然后获取任意任意两个触摸点的对称轴相交的交点。

优选地，所述板擦识别模块根据多个触摸点之间对称轴的相交情况进行判断，具体为：若任意两个触摸点的对称轴皆有交点，则根据多个触摸点的点阵，计算出多个触摸点之间的外接圆，将任意两个触摸点对称轴的交点与外接圆的圆心之间的距离与外接圆的半径做比较，若所有交点与圆心的距离皆小于半径则识别为板擦模式。 

与现有技术相比，本发明具有以下优点：

本发明首先排除了非手指（如衣袖、不规则形状硬物等）触摸干扰产生的板擦误判，其次也客服了多人多点触摸产生的板擦误判现象，例如，五个人在不同区域同时进行书写，在一般的五点同时按下认为是板擦事件的判定方法中此时就会产生误判。而利用本发明的判定方法就不会产生这种误判，大大减少了板擦触发的误操作性，使板擦应用更加准确与灵活，使其手势应用能在多点触摸下得到方便的应用。

附图说明

图1为本发明的板擦识别方法的流程图；

图2为本发明获取内切椭圆的效果图像；

图3为本发明获取长对称轴的图示；

图4为本发明多个触摸点长对称轴相交示意图；

图5为本发明多个触摸点长对称轴交点数示意图；

图6为本发明的板擦识别装置的连接图；

图7为本发明具体实施例的示意图；

图8为本发明具体实施例的示意图；

图9为本发明具体实施例的示意图；

图10为本发明具体实施例的示意图；

图11为本发明具体实施例的示意图。

具体实施方式

下面结合附图对本发明做进一步的说明。

如图1-6所示，本发明提供一种基于摄像头定位多点触摸的板擦识别方法，包括以下步骤：

S100对触摸屏图像中亮斑进行识别处理，识别出触摸点，获取触摸点的点阵，如图2所示；

其中，所述对触摸屏图像中的亮斑进行的识别处理为：

根据预设的触摸点面积大小范围，对触摸图像中的非触摸点亮斑进行初步排除；通过将触摸屏图像中亮斑与手指椭圆进行相似度比较，识别出触摸点，并获取该触摸点的椭圆点阵。

对于触摸点的识别处理，主要原理是利用摄像头成像时，触摸点与非触摸点的颜色不同，从而进行二质化处理 ，取出触摸点图像。只是这些图像并不一定是类似于手指椭圆形状。可能是点状、片状、任意形状都有可能。关键是看使用什么物体进行的触摸操作，如触摸笔、手指、任意形状的硬物，都可以实现触摸，这些触摸点的图像自然就不规律，通过简单的判断方式，会引起很多误操作。如写字时衣袖遮挡了摄像头，如果此时没有对摄像头成像进行形状区分，就会认为衣袖点也是触摸点，这样就引起的误判，从而导致错误的笔迹产生。即认为是对正常的操作产生了干扰。因此采用了抗干扰的触目点的识别方法，而且还进行了类椭圆处理。

S110根据触摸点的点阵，获取该触摸点的对称轴直线，如图3所示；

其中，所述获取该触摸点的对称轴直线具体为：通过触摸点的椭圆点阵，获取椭圆点阵的外接矩形，并得出所述外接矩形的内切椭圆，算出该触摸点的长对称轴方程，从而获取对称轴直线。

S120根据多个触摸点之间对称轴直线的相交情况进行判断，若任意两个触摸点的对称轴直线皆有交点，且所有交点均在预先设定的范围内，则识别为板擦模式，如图4-5所示。

其中，根据多个触摸点的对称轴直线，获取对称轴直线的一般直线方程，并根据任意两个触摸点的一般直线方程的斜率判断两触摸点的对称轴是否相交，然后获取任意任意两个触摸点的对称轴相交的交点。

进一步地，所述根据多个触摸点之间对称轴的相交情况进行判断，具体为：若任意两个触摸点的对称轴皆有交点，则根据多个触摸点的点阵，计算出多个触摸点之间的外接圆，将任意两个触摸点对称轴的交点与外接圆的圆心之间的距离与外接圆的半径做比较，若所有交点与圆心的距离皆小于半径则识别为板擦模式。

如图6所示，另外本发明还提供一种基于摄像头定位多点触摸的板擦识别装置，包括：

触摸点处理模块，用于对触摸屏图像中亮斑进行识别处理，识别出触摸点，获取触摸点的点阵；

其中，所处触摸点处理模块，包括：

触摸点识别单元，用于根据预设的触摸点面积大小范围，对触摸图像中的非触摸点亮斑进行初步排除；通过将触摸屏图像中亮斑与手指椭圆进行相似度比较，识别出触摸点；

点阵获取单元，用于根据识别出的触摸点，通过手指椭圆获取该触摸点的椭圆点阵。

运算模块，用于根据触摸点的点阵，获取该触摸点的对称轴直线；

其中，所述运算模块通过触摸点的椭圆点阵，获取椭圆点阵的外接矩形，并得出所述外接矩形的内切椭圆，算出该触摸点的长对称轴方程，从而获取对称轴直线。

板擦识别模块，用于根据多个触摸点之间对称轴的相交情况进行判断，若任意两个触摸点的对称轴皆有交点，且所有交点均在预先设定的范围内，则识别为板擦模式。板擦识别模块根据多个触摸点的对称轴直线，获取对称轴直线的一般直线方程，并根据任意两个触摸点的一般直线方程的斜率判断两触摸点的对称轴是否相交，然后获取任意任意两个触摸点的对称轴相交的交点。

优选地，所述板擦识别模块根据多个触摸点之间对称轴的相交情况进行判断，具体为：若任意两个触摸点的对称轴皆有交点，则根据多个触摸点的点阵，计算出多个触摸点之间的外接圆，将任意两个触摸点对称轴的交点与外接圆的圆心之间的距离与外接圆的半径做比较，若所有交点与圆心的距离皆小于半径则识别为板擦模式。

以下根据人手的五个手指头作为具体实施例，应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

假设有五点触摸为板擦，触摸点分别为A、B、C、D、E。

首先对触摸点A做近似椭圆模拟，根据预设的触摸点面积大小范围，对触摸图像中的非触摸点亮斑进行初步排除；通过将触摸屏图像中亮斑与手指椭圆进行相似度比较，识别出触摸点，并获取该触摸点的椭圆点阵。取点阵的最左边的点X1与最右边的点X2的距离A1、最上边的点Y1与最下边点Y2的距离A2，作为矩形A’的长与宽（如果A1 < A2 ，A2为长，A1为宽，反之A1为长，A2为宽），已A1<A2的情况为例，确定矩形A’的四个顶点为X1Y1、X2Y1、X2Y2、X1Y2，中点为X0Y0值为（X1+ A1/2）、(Y1+A2/2)。如图7所示。有了矩形A’的坐标，以矩形A’的长为椭圆的长对称轴2a、宽为椭圆的短对称轴2b。利用椭圆方程X^2/a^2 + y^2/b^2 = 1作为基准来求其外接椭圆。如图8所示。

有了椭圆方程X^2/a^2 + y^2/b^2 = 1与椭圆长半轴a、短半轴b与椭圆上的两点X0’Y1、X0”Y2，如图9所示。

因此根据两点直线方程，求得直线A的直线方程为：

(x-X0’)/(X0”-X0’)=(y-Y1)/(Y2-Y1)。（X0” ≠X0’、Y2≠ Y1）

转化为一般方程为：

X（Y2-Y1）-y(X0”- X0’) –X0’Y2 + Y1X0”= 0

同样道理可以获取直线B的直线方程为：

(x-Xb0’)/(Xb0”-Xb0’)=(y-Yb1)/(Yb2-Yb1)

转化为一般方程为：

X（Yb2-Yb1）-y(Xb0”- Xb0’) –Xb0’Yb2 + Yb1Xb0” = 0

直线C的直线方程为：(x-Xc0’)/(Xc0”-Xc0’)=(y-Yc1)/(Yc2-Yc1)

转化为一般方程为：

X（Yc2-Yc1）-y(Xc0”- Xc0’) –Xc0’Yc2 + Yc1Xc0” = 0

直线D的直线方程为：(x-Xd0’)/(Xd0”-Xd0’)=(y-Yb1)/(Yd2-Yd1)

转化为一般方程为：

X（Yd2-Yd1）-y(Xd0”- Xd0’) –Xd0’Yd2 + Yd1Xd0” = 0

直线E的直线方程为：(x-Xe0’)/(Xe0”-Xe0’)=(y-Ye1)/(Ye2-Ye1)

转化为一般方程为：

X（Ye2-Ye1）-y(Xe0”- Xe0’) –Xe0’Ye2 + Ye1Xe0” = 0

有了手型的五点的直线方程，根据两条直线的一般的直线方程利用斜率关系判定两条直线是否相交。

例如：已知直线L：AX+BY+C=0和直线M：A1X+B1Y+C1=0

如果 A/A1≠B/B1≠C/C1  说明两条直线必相交。将五条手型直线方程分别利用上面的公式进行两两相交判断。如果都有交点说明可能为板擦，否则一定不是板擦。

下面利用两条直线相交，来求得其交点。

因(x0,y0)在过两个点(x1,y1),(x2,y2)的直线上,所以三点在一直线上，(y0-y1)/(x0-x1)=(y1-y2)/(x1-x2)又因(x0,y0)在过两个点(x3,y3),(x4,y4)的直线上,所以三点在一直线上，(y0-y3)/(x0-x3)=(y3-y4)/(x3-x4) 

求解方程组；得出交点x0,y0

y0-y1=[(y1-y2)/(x1-x2)](x0-x1)=[(y1-y2)/(x1-x2)]x0-[(y1-y2)/(x1-x2)]x1

y0-y3=[(y3-y4)/(x3-x4)](x0-x3)=[(y3-y4)/(x3-x4)]x0-[(y3-y4)/(x3-x4)]x3[(y1-y2)/(x1-x2)-(y3-y4)/(x3-x4)]x0=[(y1-y2)/(x1-x2)]x1-[(y3-y4)/(x3-x4)]x3+y3-y1

解得x0为：

x0=[(y1-y2)x1/(x1-x2)-(y3-y4)x3/(x3-x4)+y3-y1]/[(y1-y2)/(x1-x2)-(y3-y4)/(x3-x4)]

解得y0为：

y0=[(y1-y2)x1(x3-x4)-(y3-y4)x3(x1-x2)+(y3-y1)(x1-x2)(x3-x4)]/[(y1-y2)(x3-x4)-(y3-y4)(x1-x2)]

将上面的(x1,y1),(x2,y2)、(x3,y3),(x4,y4)四点换成前面得到的椭圆A上的点(X0’, Y1),( X0”, Y2)、椭圆B上的点(Xb0’, Yb1),( Xb0”, Yb2)，带入公式就可以求得交点（Xab，Yab）;

同理可以求得五条直线的两两相交的其它交点九个交点（Xac，Yac）、（Xad，Yad）、（Xae，Yae）、（Xbc，Ybc）、（Xbd，Ybd）、（Xbe，Ybe）、(Xcd，Ycd) 、(Xce，Yce) 、(Xde，Yde)

有了手型椭圆方程的直线交点，然后判断这十个交点是否在其五点椭圆的外接圆内。从五点手型触摸点阵中取得最上面R1、最下面R2、最左面R3、最右面R4的四个触摸点。因此利用这四个点的组成一个矩形。如图10所示。有了矩形就可以求得其中心点（RX0，RY0），利用两点间距离公式：A(X1,Y1)、B(X2,Y2)距离|AB|=√[(X1-X2)2+(Y1-Y2)2]（为[(X1-X2)2+(Y1-Y2)2]的平方根）。计算每个触摸点阵到矩形中心（RX0，RY0）距离O、P、Q、S、R长度最大的距离作为外接圆的半径r，矩形中心点（RX0，RY0）为原点，取得圆方程(x- RX0)^2+(y- RY0)^2=r^2，圆心O（RX0，RY0），半径r。

根据“点在圆内”最直接判断方法是，点到圆心距离小于半径r。因此根据|AB|=√[(X1-X2)2+(Y1-Y2)2] （为[(X1-X2)2+(Y1-Y2)2]的平方根）公式，计算上诉十点（Xab，Yab）、（Xac，Yac）、（Xad，Yad）、（Xae，Yae）、（Xbc，Ybc）、（Xbd，Ybd）、（Xbe，Ybe）、(Xcd，Ycd) 、(Xce，Yce) 、(Xde，Yde)到圆心（RX0，RY0）的距离是否小于半径r，如所有距离都小于r则说明所有五点触摸点直线交点都在五点手型触摸点的外接圆内。则可以认为此时处于板擦状态，否则为多点触摸的其它状态（及为非板擦状态）。如果五点直线方程的交点，并不是十个交点在外接圆内，则一定不是板擦，如图11所示。

Claims (4)

1.一种基于摄像头定位多点触摸的板擦识别方法，其特征在于，包括以下步骤：

对触摸屏图像进行识别处理，识别出触摸点，获取触摸点的点阵；

根据触摸点的点阵，获取该触摸点的对称轴直线；

根据多个触摸点之间对称轴直线的相交情况进行判断，若任意两个触摸点的长轴对称轴直线皆有交点，且所有交点均在预先设定的范围内，则识别为板擦模式；

所述对触摸屏图像进行的识别处理为：

根据预设的触摸点面积大小范围，对触摸屏图像中的非触摸点亮斑进行初步排除；通过将触摸屏图像中亮斑与手指椭圆进行相似度比较，识别出触摸点，并获取该触摸点的椭圆点阵；

所述获取该触摸点的对称轴直线具体为：通过触摸点的椭圆点阵，获取椭圆点阵的外接矩形，并得出所述外接矩形的内切椭圆，算出该触摸点的长对称轴方程，从而获取对称轴直线；

所述根据多个触摸点之间对称轴的相交情况进行判断，具体为：若任意两个触摸点的长轴对称轴皆有交点，则根据多个触摸点的点阵，计算出多个触摸点之间的外接圆，将任意两个触摸点长轴对称轴的交点与外接圆的圆心之间的距离与外接圆的半径做比较，若所有交点与圆心的距离皆小于半径则识别为板擦模式。

2.根据权利要求1所述的基于摄像头定位多点触摸的板擦识别方法，其特征在于，还包括：根据多个触摸点的长轴对称轴直线，获取长轴对称轴直线的一般直线方程，并根据任意两个触摸点的一般直线方程的斜率判断两触摸点的长轴对称轴是否相交，然后获取任意两个触摸点的长轴对称轴相交的交点。

3.一种基于摄像头定位多点触摸的板擦识别装置，其特征在于，包括：

触摸点处理模块，用于对触摸屏图像进行识别处理，识别出触摸点，获取触摸点的点阵；

运算模块，用于根据触摸点的点阵，获取该触摸点的对称轴直线；

板擦识别模块，用于根据多个触摸点之间对称轴直线的相交情况进行判断，若任意两个触摸点的长轴对称轴直线皆有交点，且所有交点均在预先设定的范围内，则识别为板擦模式；

所处触摸点处理模块，包括：

触摸点识别单元，用于根据预设的触摸点面积大小范围，对触摸屏图像中的非触摸点亮斑进行初步排除；通过将触摸屏图像中亮斑与手指椭圆进行相似度比较，识别出触摸点；

点阵获取单元，用于根据识别出的触摸点，通过手指椭圆获取该触摸点的椭圆点阵；

所述运算模块通过触摸点的椭圆点阵，获取椭圆点阵的外接矩形，并得出所述外接矩形的内切椭圆，算出该触摸点的长对称轴方程，从而获取对称轴直线；

所述板擦识别模块根据多个触摸点之间对称轴的相交情况进行判断，具体为：若任意两个触摸点的长轴对称轴皆有交点，则根据多个触摸点的点阵，计算出多个触摸点之间的外接圆，将任意两个触摸点长轴对称轴的交点与外接圆的圆心之间的距离与外接圆的半径做比较，若所有交点与圆心的距离皆小于半径则识别为板擦模式。

4.根据权利要求3所述的基于摄像头定位多点触摸的板擦识别装置，其特征在于，板擦识别模块根据多个触摸点的长轴对称轴直线，获取长轴对称轴直线的一般直线方程，并根据任意两个触摸点的一般直线方程的斜率判断两触摸点的长轴对称轴是否相交，然后获取任意两个触摸点的长轴对称轴相交的交点。