CN111488897A - 一种触摸物体的检测识别方法及其装置 - Google Patents

Abstract

本发明涉及一种触摸物体的检测识别方法及其装置，所述方法包括：1、预先选定好各类别待检测物体；2、定期检测触摸物体并给出其触摸相关信息；3、抽象并提取各类别待检测物体的触摸几何特征；4、抽象并提取当前触摸物体的触摸几何特征；5、对当前触摸物体和各类别待检测物体进行匹配度计算；6、采集当前触摸物体的图像；7、图像识别并计算当前触摸物体属于各类别待检测物体的概率；8、通过加权平均计算以确定当前触摸物体所属类别；9、由当前触摸物体所属类别索引得到其非触摸特征；10、结合触摸相关信息和非触摸特征，完成对当前触摸物体的检测识别。与现有技术相比，本发明的检测效率高、识别准确性高等优点。

Description

一种触摸物体的检测识别方法及其装置

技术领域

本发明涉及触摸检测技术领域，尤其是涉及一种触摸物体的检测识别方法及 其装置。

背景技术

作为一种人机交互技术，触摸检测技术已经被广泛使用。基于不同硬件原理实 现的触摸检测技术包含：电阻式，电容式，红外Led以及摄像头等。触摸检测设 备除了常见的触摸屏，触摸框，也包含触摸笔、触摸桌等设备。

当前的触摸检测技术能为我们识别出触控笔，手指，或者其它触摸物体的触摸 相关信息，比如位置、大小，甚至是压力等，但是却无法识别出触摸物体的非触摸 相关信息，比如触控笔的颜色。当人们使用触控笔进行操作的时候，通常会先选择 笔的颜色，然后再进行书写或者绘画等；或者当需要使用不同种颜色的触控笔进行 不同的操作时，比如使用黄色触控笔进行整字高度的标记，而使用黑色触控笔进行 书写，这时只能通过频繁的切换软件模式来实现所需目的，过程比较繁琐。

在中国专利申请公开说明书，CN106896967A公开了一种智能书写方法、红外 触摸屏与智能书写系统，该发明中，红外触摸屏能够识别触摸物体，使得不同触摸 物体的笔迹通过不同的笔迹显示状态来显示，实现了差异化书写以及手笔分离。该 发明利用了红外智能笔发出的红外信号来区分普通的笔和智能笔，并通过不同的红 外波长来配置不同的笔颜色，以达到智能笔与手指的区分和不同笔之间的区分，该 发明依赖于红外触摸屏和红外智能笔，不适用于其它非红外触摸设备，不能区分普 通的笔和手。CN104345956A公开了一种防止手掌误触的方法，当使用者以写字形 态在触控式面板上输入数据时，可根据使用者手掌或书写方式来区分实际触摸坐标 和误触触摸坐标，进而提升触摸屏的辨识度。该发明利用触摸坐标来识别使用者是 否是用手掌进行书写，然而在多点触摸屏上，握着笔的手掌和触摸屏接触，通常是 形成多个分散的触摸点，这些点和真实的多个手指触摸不能很好的区分，另外，握 着笔的手掌在下笔过程，是一个渐进的过程，触摸屏通常不是短时间就检测到所有 分散的触摸点，那么为了达到按坐标进行区分的目的，通常需要等待一段时间，导致了触摸响应的延迟。

尤其在触摸桌设备的应用领域，用户希望在触摸桌上放置展示物体的同时能够进行触摸操作，比如在触摸桌上放置一个小瓶化妆品(假设这个小瓶瓶身直径和手 指差不多)，用户希望在这瓶化妆品的触摸位置附近展示该化妆品的介绍，而当用 户的手指进行触摸，则希望能够进行点击或者菜单操作。但在实际中，如果这个展 示物体触摸部位和手指的形状大小相近，则无法很好的区分触摸物体究竟是展示物 体还是用户的手指，给触摸设备展示应用层面的开发带来了不便和限制。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种触摸物体的 检测识别方法及其装置，通过对触摸物体的触摸相关信息进行匹配度计算、对触摸 物体的图像进行图像识别及概率统计，最终检测识别出触摸物体。

本发明的目的可以通过以下技术方案来实现：

一种触摸物体的检测识别方法，包括以下步骤：

步骤1：预先选定有限类别的触摸物体作为待检测物体，并存储各类别待检测 物体的非触摸特征以及触摸相关信息；

步骤2：根据设定的周期，定期检测触摸识别平面是否有触摸物体，并给出当 前触摸物体的触摸相关信息CurTouchInfo；

步骤3：根据步骤1中预先存储的各类别待检测物体的触摸相关信息，抽象并 提取各类别待检测物体的触摸几何特征；

步骤4：根据步骤2中当前触摸物体的触摸相关信息CurTouchInfo，抽象并提 取当前触摸物体的触摸几何特征；

步骤5：基于触摸几何特征进行匹配，对当前触摸物体和各类别待检测物体进 行匹配度计算；

步骤6：采集触摸物体接触或者靠近触摸识别平面时的图像；

步骤7：将步骤6得到的图像输入多层卷积神经网络，识别出触摸物体在图像 中的区域位置，并计算触摸物体属于各类别待检测物体的概率；

步骤8：对步骤5计算得到的匹配度和步骤7计算得到的概率进行综合计算， 得到当前触摸物体属于各类别待检测物体的分数，取分数最高的类别作为当前触摸 物体所属类别CurTypeInfo；

步骤9：基于步骤1中预先存储的各类别待检测物体的非触摸特征，由步骤8 中当前触摸物体所属类别CurTypeInfo索引得到当前触摸物体的非触摸特征；

步骤10：结合步骤2中当前触摸物体的触摸相关信息CurTouchInfo和步骤9 中当前触摸物体的非触摸特征，完成对当前触摸物体的检测识别。

优选地，所述步骤1、步骤9和步骤10中的非触摸特征，包括指触摸物体本 身的颜色、宽度、高度信息；

所述步骤1、步骤2、步骤3、步骤4和步骤10中的触摸相关信息包括一个或 多个Blob，所述Blob包含位置信息、轮廓信息或外包矩形的宽高信息，其中，所 述位置信息是指触摸物体的触摸部位在触摸识别平面中的位置，所述轮廓信息或外 包矩形的宽高信息是指触摸物体的触摸部位在触摸识别平面中的轮廓或外包矩形 的宽高；

所述步骤3、步骤4和步骤5中的触摸几何特征包含面积特征Area和形状特 征Shape，所述面积特征Area为该类别物体的触摸相关信息中的单个Blob的通用 面积范围，或该物体类别的触摸相关信息中的多个Blob形成的整体面积范围；所 述形状特征为该类别物体的触摸相关信息中的单个Blob轮廓的近似形状及其大小， 或该物体类别的触摸相关信息中的多个Blob组成的整体几何形状及其大小。

优选地，所述面积特征Area中的面积范围包含：多段子范围以及样本数据在 每段子范围中的数据的比例；

所述形状特征Shape，包含：顶点个数，边个数，边长范围，边与边的角度范 围。

优选地，所述步骤5中的匹配度计算，包括以下步骤：

步骤5.1：将当前触摸物体的面积CurArea与各类别待检测物体的面积特征 Area进行匹配，计算出基于面积的匹配度Ma；

步骤5.2：将当前触摸物体的形状CurShape与各类别待检测物体的形状特征Shape进行匹配，计算出基于形状的匹配度Ms；

步骤5.3：结合步骤5.1中的Ma和步骤5.2中的Ms，计算出当前触摸物体和 各类别待检测物体的匹配度M；

其中当前触摸物体的面积CurArea和形状CurShape构成当前触摸物体的触摸 几何特征。

优选地，所述步骤5.1中基于面积的匹配度Ma的计算方式为：

5.1.a：若CurArea位于Area的范围之内，则Ma＝Mmax，Mmax表示最大匹配 度，或找出CurArea位于Area的子范围，将样本数据在该段子范围中的数据的比 例作为Ma；

5.1.b：若CurArea没有位于Area的范围之内，则Ma＝Mmin，Mmin表示最小 匹配度。

优选地，所述步骤5.2中基于形状的匹配度Ms的计算方式为：

5.2.a：若CurShape中顶点的个数或边的个数，与Shape中顶点的个数或边的 个数是不相等的，则Ms＝Mmin，Mmin表示最小匹配度；

5.2.b：若CurShape中边的长度超出了Shape中边长范围，则Ms＝Mmin，Mmin 表示最小匹配度；

5.2.c：若CurShape中边与边之间的角度超出了Shape中边与边之间的角度范 围，则Ms＝Mmin，Mmin表示最小匹配度；

5.2.d：若所述5.2.a、5.2.b和5.2.c均没有满足，则Ms＝Mmax，Mmax表示最 大匹配度。

优选地，所述步骤7具体包括以下步骤：

步骤7.1：采集各类别待检测物体接触或者靠近触摸识别平面时的图像，作为 样本数据，并对样本数据进行标注预处理；

步骤7.2：利用采集并标注好的样本数据，对卷积神经网络进行离线训练，包 括样本数据的卷积、池化、归一化的多层处理，重复训练直至卷积神经网络模型的 损失函数收敛到设定的程度；

步骤7.3：将采集到的当前触摸物体接触或者靠近触摸识别平面时的图像输入 所述步骤7.2中训练好的卷积神经网络，以此识别出触摸物体在图像中的区域位置， 并计算触摸物体属于各类别待检测物体的概率。

优选地，所述步骤8中的综合计算，具体包括以下步骤：

步骤8.1：将步骤5计算得到的匹配度和步骤7计算得到的概率进行归一化处 理，即将其各自的值域范围归一化为[0,1]，因此最大匹配度或最大概率为1，最小 匹配度或最小概率为0；

步骤8.2：对归一化之后的匹配度和概率进行加权平均，即对于不同类别的待 检测物体，根据其在总的各类被待检测物体当中的差异化特征，给其对应的匹配度 和概率赋予不同的权重，并进行加权平均计算。

一种用于权利要求1所述的触摸物体的检测识别方法的装置，包括：数据信 息存储模块、触摸检测模块、类别匹配模块、图像采集模块、图像识别分析模块、 综合计算模块以及整合模块，所述数据信息存储模块的第一输出端连接到所述类别 匹配模块的第一输入端，所述数据信息存储模块的第二输出端连接到所述综合计算 模块的第一输入端，所述触摸检测模块的输出端分别连接到所述类别匹配模块的输 入端和所述整合模块的第一输入端，所述类别匹配模块的输出端连接到所述综合计 算模块的第二输入端，所述图像采集模块的输出端连接到所述图像识别模块的输入 端，所述图像识别模块的输出端连接到所述综合计算模块的第三输入端，所述综合 计算模块的输出端连接到所述整合模块的第二输入端。

优选地，所述数据信息存储模块用于存储各类别待检测物体的非触摸特征及触摸相关信息，并将各类别待检测物体的非触摸特征信息传输给综合计算模块，将各 类别待检测物体的触摸相关信息传输给类别匹配模块；

所述触摸检测模块用于定期检测触摸识别平面是否有触摸物体，并将当前触摸物体的触摸相关信息CurTouchInfo分别传输给类别匹配模块和整合模块；

所述类别匹配模块用于抽象并提取各类别待检测物体和当前触摸物体的触摸 几何特征，之后基于触摸几何特征的匹配，计算当前触摸物体和各类别待检测物体 的匹配度，将计算得到的匹配度传输给综合结算模块；

所述图像采集模块用于采集触摸物体接触或靠近触摸识别平面时的图像，并将采集到的图像传输给图像识别分析模块；

所述图像识别分析模块用于识别触摸物体在采集到的图像中的区域位置，并计算当前触摸物体属于各类别待检测物体的概率，将计算得到的概率传输给综合计算 模块；

所述综合计算模块用于对匹配度和概率进行综合计算，得到当前触摸物体属于各类别待检测物体的分数，以分数最高所属的类别作为当前触摸物体的类别 CurType，最后基于各类别待检测物体的非触摸特征，由CurType索引得到当前触 摸物体的非触摸特征，并将当前触摸物体的非触摸特征传输给整合模块；

所述整合模块用于结合当前触摸物体的非触摸特征及触摸相关信息CurTouchInfo，给出当前触摸物体的检测识别结果。

与现有技术相比，本发明具有以下有益效果：

一、本发明不仅能检测到触摸物体的触摸相关信息，还能够识别出触摸物体 的非触摸特征，为进一步开发触摸设备人机交互的应用层面带来了便利。

二、本发明利用训练好的卷积神经网络，对触摸物体进行图像识别及概率计 算，有效的保证了触摸物体识别的效率和准确性。

三、本发明能够在短时间内检测到所有分散的触摸位置以及对应的触摸相关 信息，通过匹配度和概率计算，能够得到所有分散的触摸位置对应的触摸物体信息， 从而在实际应用中能很好的区分不同的触摸物体。

附图说明

图1为本发明的触摸物体的检测识别方法流程图；

图2为本发明的触摸物体检测识别装置结构示意图；

图3为本发明实施例一的触摸设备结构示意图；

图4为本发明实施例一的右上方摄像头采集的图像示意图；

图5为本发明实施例一的采集图像中识别出来的方框和概率示意图；

图6为本发明实施例一的检测到的触摸信息示意图；

图7为本发明实施例二的触摸设备结构示意图；

图8为本发明实施例二的检测到的触摸信息示意图；

图9为本发明实施例二的右侧摄像头采集的图像示意图；

图10为本发明实施例二的采集图像中识别出来的方框和概率示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获 得的所有其他实施例，都应属于本发明保护的范围。

实施例一

如图3所示，一种触摸设备的结构包括红外触摸框102、显示区域104和摄像 头101，其中，红外触摸框102与显示区域104之间有一小段留空103，摄像头101 安装在红外触摸框102的右上角没有红外LED灯的位置并朝向红外触摸框102的 左下方，使其成像平面105与触摸识别平面垂直。触摸物体包括普通笔106和手指 107。

在本实施例一的实际应用中，红外触摸框102的四个顶角没有红外LED灯的 位置各有一个摄像头，为方便进行阐述，以下仅以右上角位置的摄像头101采集的 图像为例进行说明，不影响具备本领域知识的相关人员对本发明的理解。

第一步，预先选定各类别待检测物体分别为普通黑色笔、普通白色笔和手指， 存储各类别触摸物体的非触摸特征及触摸相关信息如表1所示。

表1

用普通黑色笔、普通白色笔和手指在触摸识别平面上进行书写，通过摄像头 101采集样本数据，样本数据为各种含有笔或手指的图像，对采集到的样本数据进 行标注，将笔和手指在图像中的位置分别用矩形框标出，并且标明类别信息，类别 为普通黑色笔、普通白色笔、手指。

将标注好的样本数据输入卷积神经网络进行离线训练，包括卷积、池化、归一 化等多层处理，反复训练直至损失函数收敛到一定程度，以生成训练好的卷积神经 网络。

根据红外触摸框102检测到的各类别待检测物体的触摸相关信息，提取出各类 别待检测物体的触摸几何特征如表2所示，本实施例中，触摸几何特征仅包含面积 特征。

表2

第二步，图4所示为摄像头101采集到的图像，图像中普通黑色笔201位于图 像的右半部分，手指202位于图像的左半部分，由于手指202更靠近右上角，所以 在图像中显得更大，根据近大远小的透视原理，触摸识别平面203在图像中呈现为 一个梯形。

第三步，将第二步中采集到的图像输入第三步中训练好的卷积神经网络，识别 出普通黑色笔和手指在图像中的区域位置，用方框标出。如图5所示，方框301 对应图像右边区域方框，方框302对应图像左边区域方框，303、304、305分别对 应给出了方框302为普通黑色笔、普通白色笔以及手指的概率，306、307、308分 别对应给出了方框301为普通黑色笔、普通白色笔以及手指的概率，具体概率值如 表3所示。

表3

第四步，由红外触摸框102检测触摸相关信息，红外触摸框102使用物理单位 毫米(mm)作为坐标系单位，坐标原点位于其左上角，坐标系范围为1248*724。 如图6所示，检测到两个触摸位置401、402，为方便图示，将401、402分别放大 后标记为403、406，触摸位置403、406的轮廓分别为405、408，使用计算机视觉 的开源库提供的方法，取两个轮廓405、408的外包近似矩形作为Blob，则得到其 对应的两个Blob 404、407，表4为触摸相关信息及对应的触摸几何特征。

表4

对应表2的各类别待检测物体及其触摸几何特征数据，可知：

Blob 404的面积39mm²，均位于普通黑色笔和普通白色笔的面积子范围区间 [25，48)，没有位于手指的面积范围区间[49，90]；

Blob 407的面积63mm²，位于手指的面积子范围区间[58，83)，没有位于普通黑色笔或普通白色笔的面积范围区间[22，56]。

由此可得到当前触摸物体与各类别待检测物体的匹配度，如表5所示。

表5

第五步，给匹配度和概率分别赋予0.6和0.4的权重，结合表3和表5的数据 进行加权平均计算，可得到当前触摸物体属于各类别待检测物体的分数，具体如表 6所示，其中，由于摄像头101位于红外触摸框102的右上角，所以位于触摸识别 平面左边区域的Blob404对应的是位于图像右边区域的方框301，位于触摸识别平 面右边区域的Blob 407对应的是位于图像左边区域的方框302。

表6

由表6的数据可知，Blob 404及其对应的方框301属于普通黑色笔的分数0.82 为最高，所以Blob 404及其对应的方框301所属触摸物体为普通黑色笔；Blob 407 及其对应的方框302属于手指的分数0.818为最高，所以Blob 407及其对应的方框 302所属触摸物体为手指。

第六步，给出触摸物体的检测识别结果：检测到手指触摸在触摸识别平面的位 置为(940，360)，宽度为7mm，高度为9mm；检测到普通黑色笔触摸在触摸识 别平面的位置为(316，380)，宽度为6.5mm，高度为6mm。

实施例二

如图7所示，一种触摸设备的结构包括红外触摸框501、摄像头502、摄像头 506和触摸识别平面503，其中摄像头502安装在触摸识别平面503的右边，摄像 头506安装在触摸识别平面503的左边，且摄像头502和摄像头506均高于触摸识 别平面503，则有摄像头502的成像平面504垂直于触摸识别平面503。触摸物体 包括四个手指505和一辆四轮玩具小车507。

在本实施例二的实际应用中，红外触摸框501的左右各有一个摄像头506和502，为方便进行阐述，以下仅以右边位置的摄像头502采集到的图像为例进行说 明，不影响具备本领域知识的相关人员对本发明的理解。

第一步，预先选定各类别待检测物体分别为四轮玩具小车和手指，存储各类别 触摸物体的非触摸特征及触摸相关信息如表7所示。

表7

将小车和手指分别摆在触摸识别平面的不同区域，旋转车身或者手指摆不同造型，通过摄像头502采集样本数据，样本数据为各种含有摆放好的小车或手指的图 像，对采集到的样本数据进行标注，将小车和手指在图像中的位置分别用矩形框标 出，并且标明类别信息，类别为四轮玩具小车、手指。

将标注好的样本数据输入卷积神经网络进行离线训练，包括卷积、池化、归一 化等多层处理，反复训练直至损失函数收敛到一定程度，以生成训练好的卷积神经 网络。

第二步，由红外触摸框501检测触摸相关信息，对检测到的触摸相关信息进行 统计和分析，以得到触摸物体的触摸几何特征。如图8所示，小车车轮和手指指腹 的触摸部位各被检测为4个轮廓，分别取4个轮廓的外包近似矩形得到4个Blob， 4个Blob组成一个Blob组，一个Blob组形成一个四边形。以小车车轮为例，图8 中，若604为小车单个车轮触摸部位的轮廓，取其外包近似矩形得到Blob 603，小 车车轮的4个Blob组成一个Blob组605，形成一个四边形601。同样的，手指的 4个指腹Blob组成一个Blob组606，形成一个四边形602。四边形601和四边形 602的长边距离范围均为[88，100]mm，短边距离范围均为[58，70]mm，对角线距 离范围均为[104,124]mm。

本实施例中，基于触摸几何特征的匹配仅利用形状特征，对小车车轮的触摸部 位形成的四边形进行匹配，其规则为：

1)、Blob个数为4；

2)、每个Blob，和其它3个Blob形成的3条边的长度(等价于两个Blob中心 坐标的距离)，如果3条边最短长度值在范围[58，70]之间，最长长度值在范围[104， 124]之间，而中间长度值在范围[88，100]之间，则当前Blob为符合四边形的Blob；

3)、如果4个Blob，都满足条件2)，即都为符合四边形的Blob，则当前4个 Blob和车轮触摸Blob形成的四边形的匹配度为1；

4)、其它情况，匹配度为0，比如Blob个数不等于4，或者出现不符合条件2) 的Blob。

本实施例中，由于手指的触摸几何特征变化较多，单指、两指、多指等，所以 这里不统计手指的触摸几何特征，而采取了简化策略：如果将检测到的Blob与小 车车轮的触摸几何特征进行匹配，其匹配度为1，则对应和手指的匹配度取为预设 值0.21，否则和手指的匹配度为1。

红外触摸框501使用物理单位毫米(mm)作为坐标系单位，坐标原点位于其 左上角，坐标系范围为1248*724，如前文所述，本实施例中有8个轮廓对应的Blob， 将这8个Blob进行简单的聚类后，得到各含有4个Blob的Blob组605和Blob 组606，其中，Blob组605位于红外触摸框501左侧上方位置，Blob组606位于 红外触摸框501左侧下方位置。

Blob组605的4个Blob位置依次为左上(253，148)、右上(347,148)、右下 (347，212)、左下(253，212)，4个Blob形成的四边形601的中心坐标为(300， 180)，而Blob组606的4个Blob形成的四边形602的中心坐标为(290，542)。 通过计算后可知，Blob组605的4个Blob和Blob组606的4个Blob均满足上述 条件2)，因此得到当前触摸物体与各类别待检测物体的匹配度，如表8所示。

表8

本实施例中，为侧重阐述本发明的关键步骤，这里省略了Blob组605和Blob 组606满足条件2)的具体计算过程，但并不影响具备领域知识的相关人员通过上 述描述理解本发明。

第三步，图9所示为摄像头502采集到的图像，图像中小车704位于图像的左 边，手指701位于图像的右边，图像中702为左侧摄像头，703为触摸识别平面。

第四步，将第三步中采集到的图像输入第一步中训练好的卷积神经网络，识别 出小车和手指在图像中的区域位置，用方框标出。如图10所示，方框801对应图 像左边区域方框，方框802对应图像右边区域方框，803和804分别对应给出了方 框801为小车和手指的概率，805和806分别对应给出了方框802为小车和手指的 概率，具体概率值如表9所示。

表9

第五步，给匹配度和概率分别赋予0.25和0.75的权重，结合表8和表9的数 据进行加权平均计算，可得到当前触摸物体属于各类别待检测物体的分数，具体如 表10所示，其中，由于摄像头502位于红外触摸框501的右侧，所以位于图像左 边区域的方框801对应的是位于触摸识别平面左侧下方区域的Blob组606，位于 图像右边区域的方框802对应的是位于触摸识别平面左侧上方区域的Blob组605。

表10

由表10的数据可知，Blob组606及其对应的方框801属于小车的分数0.85 为最高，所以Blob组606及其对应的方框801所属触摸物体为小车；Blob组605 及其对应的方框802属于手指的分数0.63为最高，所以Blob组605及其对应的方 框802所属触摸物体为手指。

第六步，给出触摸物体的检测识别结果：检测到红色玩具小车触摸在触摸识别 平面的位置为(290，542)；检测到模拟小车位置进行摆放的四根手指分别触摸在 触摸识别平面的位置为(253，148)，(347，148)，(347，212)，(253，212)。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效 的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明 的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种触摸物体的检测识别方法，其特征在于，包括以下步骤：

步骤1：预先选定有限类别的触摸物体作为待检测物体，并存储各类别待检测物体的非触摸特征以及触摸相关信息；

步骤2：根据设定的周期，定期检测触摸识别平面是否有触摸物体，并给出当前触摸物体的触摸相关信息CurTouchInfo；

步骤3：根据步骤1中预先存储的各类别待检测物体的触摸相关信息，抽象并提取各类别待检测物体的触摸几何特征；

步骤4：根据步骤2中当前触摸物体的触摸相关信息CurTouchInfo，抽象并提取当前触摸物体的触摸几何特征；

步骤5：基于触摸几何特征进行匹配，对当前触摸物体和各类别待检测物体进行匹配度计算；

步骤6：采集触摸物体接触或者靠近触摸识别平面时的图像；

步骤7：将步骤6得到的图像输入多层卷积神经网络，识别出触摸物体在图像中的区域位置，并计算触摸物体属于各类别待检测物体的概率；

步骤8：对步骤5计算得到的匹配度和步骤7计算得到的概率进行综合计算，得到当前触摸物体属于各类别待检测物体的分数，取分数最高的类别作为当前触摸物体所属类别CurTypeInfo；

步骤9：基于步骤1中预先存储的各类别待检测物体的非触摸特征，由步骤8中当前触摸物体所属类别CurTypeInfo索引得到当前触摸物体的非触摸特征；

步骤10：结合步骤2中当前触摸物体的触摸相关信息CurTouchInfo和步骤9中当前触摸物体的非触摸特征，完成对当前触摸物体的检测识别。

2.根据权利要求1所述的一种触摸物体的检测识别方法，其特征在于，所述步骤1、步骤9和步骤10中的非触摸特征，包括指触摸物体本身的颜色、宽度、高度信息；

所述步骤1、步骤2、步骤3、步骤4和步骤10中的触摸相关信息包括一个或多个Blob，所述Blob包含位置信息、轮廓信息或外包矩形的宽高信息，其中，所述位置信息是指触摸物体的触摸部位在触摸识别平面中的位置，所述轮廓信息或外包矩形的宽高信息是指触摸物体的触摸部位在触摸识别平面中的轮廓或外包矩形的宽高；

所述步骤3、步骤4和步骤5中的触摸几何特征包含面积特征Area和形状特征Shape，所述面积特征Area为该类别物体的触摸相关信息中的单个Blob的通用面积范围，或该物体类别的触摸相关信息中的多个Blob形成的整体面积范围；所述形状特征为该类别物体的触摸相关信息中的单个Blob轮廓的近似形状及其大小，或该物体类别的触摸相关信息中的多个Blob组成的整体几何形状及其大小。

3.根据权利要求2所述的一种触摸物体的检测识别方法，其特征在于，所述面积特征Area中的面积范围包含：多段子范围以及样本数据在每段子范围中的数据的比例；

所述形状特征Shape，包含：顶点个数，边个数，边长范围，边与边的角度范围。

4.根据权利要求1所述的一种触摸物体的检测识别方法，其特征在于，所述步骤5中的匹配度计算，包括以下步骤：

步骤5.1：将当前触摸物体的面积CurArea与各类别待检测物体的面积特征Area进行匹配，计算出基于面积的匹配度Ma；

步骤5.2：将当前触摸物体的形状CurShape与各类别待检测物体的形状特征Shape进行匹配，计算出基于形状的匹配度Ms；

步骤5.3：结合步骤5.1中的Ma和步骤5.2中的Ms，计算出当前触摸物体和各类别待检测物体的匹配度M；

其中当前触摸物体的面积CurArea和形状CurShape构成当前触摸物体的触摸几何特征。

5.根据权利要求4所述的一种触摸物体的检测识别方法，其特征在于，所述步骤5.1中基于面积的匹配度Ma的计算方式为：

5.1.a：若CurArea位于Area的范围之内，则Ma＝Mmax，Mmax表示最大匹配度，或找出CurArea位于Area的子范围，将样本数据在该段子范围中的数据的比例作为Ma；

5.1.b：若CurArea没有位于Area的范围之内，则Ma＝Mmin，Mmin表示最小匹配度。

6.根据权利要求4所述的一种触摸物体的检测识别方法，其特征在于，所述步骤5.2中基于形状的匹配度Ms的计算方式为：

5.2.a：若CurShape中顶点的个数或边的个数，与Shape中顶点的个数或边的个数是不相等的，则Ms＝Mmin，Mmin表示最小匹配度；

5.2.b：若CurShape中边的长度超出了Shape中边长范围，则Ms＝Mmin，Mmin表示最小匹配度；

5.2.c：若CurShape中边与边之间的角度超出了Shape中边与边之间的角度范围，则Ms＝Mmin，Mmin表示最小匹配度；

5.2.d：若所述5.2.a、5.2.b和5.2.c均没有满足，则Ms＝Mmax，Mmax表示最大匹配度。

7.根据权利要求1所述的一种触摸物体的检测识别方法，其特征在于，所述步骤7具体包括以下步骤：

步骤7.1：采集各类别待检测物体接触或者靠近触摸识别平面时的图像，作为样本数据，并对样本数据进行标注预处理；

步骤7.2：利用采集并标注好的样本数据，对卷积神经网络进行离线训练，包括样本数据的卷积、池化、归一化的多层处理，重复训练直至卷积神经网络模型的损失函数收敛到设定的程度；

步骤7.3：将采集到的当前触摸物体接触或者靠近触摸识别平面时的图像输入所述步骤7.2中训练好的卷积神经网络，以此识别出触摸物体在图像中的区域位置，并计算触摸物体属于各类别待检测物体的概率。

8.根据权利要求1所述的一种触摸物体的检测识别方法，其特征在于，所述步骤8中的综合计算，具体包括以下步骤：

步骤8.1：将步骤5计算得到的匹配度和步骤7计算得到的概率进行归一化处理，即将其各自的值域范围归一化为[0,1]，因此最大匹配度或最大概率为1，最小匹配度或最小概率为0；

步骤8.2：对归一化之后的匹配度和概率进行加权平均，即对于不同类别的待检测物体，根据其在总的各类被待检测物体当中的差异化特征，给其对应的匹配度和概率赋予不同的权重，并进行加权平均计算。

9.一种用于权利要求1所述的触摸物体的检测识别方法的装置，其特征在于，包括：数据信息存储模块、触摸检测模块、类别匹配模块、图像采集模块、图像识别分析模块、综合计算模块以及整合模块，所述数据信息存储模块的第一输出端连接到所述类别匹配模块的第一输入端，所述数据信息存储模块的第二输出端连接到所述综合计算模块的第一输入端，所述触摸检测模块的输出端分别连接到所述类别匹配模块的输入端和所述整合模块的第一输入端，所述类别匹配模块的输出端连接到所述综合计算模块的第二输入端，所述图像采集模块的输出端连接到所述图像识别模块的输入端，所述图像识别模块的输出端连接到所述综合计算模块的第三输入端，所述综合计算模块的输出端连接到所述整合模块的第二输入端。

10.根据权利要求9所述的装置，其特征在于，所述数据信息存储模块用于存储各类别待检测物体的非触摸特征及触摸相关信息，并将各类别待检测物体的非触摸特征信息传输给综合计算模块，将各类别待检测物体的触摸相关信息传输给类别匹配模块；

所述触摸检测模块用于定期检测触摸识别平面是否有触摸物体，并将当前触摸物体的触摸相关信息CurTouchInfo分别传输给类别匹配模块和整合模块；

所述类别匹配模块用于抽象并提取各类别待检测物体和当前触摸物体的触摸几何特征，之后基于触摸几何特征的匹配，计算当前触摸物体和各类别待检测物体的匹配度，将计算得到的匹配度传输给综合结算模块；

所述图像采集模块用于采集触摸物体接触或靠近触摸识别平面时的图像，并将采集到的图像传输给图像识别分析模块；

所述图像识别分析模块用于识别触摸物体在采集到的图像中的区域位置，并计算当前触摸物体属于各类别待检测物体的概率，将计算得到的概率传输给综合计算模块；

所述综合计算模块用于对匹配度和概率进行综合计算，得到当前触摸物体属于各类别待检测物体的分数，以分数最高所属的类别作为当前触摸物体的类别CurType，最后基于各类别待检测物体的非触摸特征，由CurType索引得到当前触摸物体的非触摸特征，并将当前触摸物体的非触摸特征传输给整合模块；

所述整合模块用于结合当前触摸物体的非触摸特征及触摸相关信息CurTouchInfo，给出当前触摸物体的检测识别结果。

Images