CN109375833B - 一种触控指令的生成方法及设备 - Google Patents

Abstract

本发明适用于信息处理技术领域，提供了一种触控指令的生成方法及设备，包括：获取关于触控界面的投影图像；基于预设的投影坐标转换关系、触控界面以及投影图像，提取投影图像内的手部区域图像以及手部区域图像对应的阴影区域图像；识别手部区域图像中的指尖区域图像以及阴影区域图像中的指尖阴影图像，并计算指尖区域图像以及指尖阴影图像的重合率；若重合率大于或等于预设的触摸判定阈值，则基于指尖区域图像的触摸位置生成触控指令。本发明通过识别手部区域图像以及阴影区域图像，继而判断指尖是否与投影屏发生接触，并生成触控指令，降低了触控指令的生成成本，也提高了用户的使用体验。

Description

一种触控指令的生成方法及设备

技术领域

本发明属于信息处理技术领域，尤其涉及一种触控指令的生成方法及设备。

背景技术

触控技术作为人机交互的主要方式之一，应用领域也越来越广，如何准确生成触控指令直接影响触控技术的发展以及推广。现有的触控界面往往会通过投影的方式进行展示，终端设备通过识别用户在触控界面的投影上所完成的操作，从而生成对应的触控指令。

现有识别用户的触控操作的方法，主要是依靠用户佩戴附有特殊标记的手套来方便终端设备获取用户的手部位置，例如在手套的食指布置具有反射功能的标记性圆环，从而通过追踪手部位置的变化确定对应的触控指令。然而上述需要用户佩戴辅助识别设备，才能够提高识别的准确性，使用难度较大，不仅降低了用户的使用体验，还提高了触控指令的生成成本。

发明内容

有鉴于此，本发明实施例提供了一种触控指令的生成方法及设备，以解决现有的触控操作的识别技术，需要用户佩戴辅助识别设备，才能够提高识别的准确性，使用难度较大，不仅降低了用户的使用体验，还提高了触控指令的生成成本的问题。

本发明实施例的第一方面提供了一种触控指令的生成方法，所述触控指令的生成方法包括：

获取关于触控界面的投影图像；

基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像；所述手部区域图像具体为用户的手部对投影光线进行遮挡时在投影图像上形成的图像；

识别所述手部区域图像中的指尖区域图像以及所述阴影区域图像中的指尖阴影图像，并计算所述指尖区域图像以及所述指尖阴影图像的重合率；

若所述重合率大于或等于预设的触摸判定阈值，则基于所述指尖区域图像的触摸位置生成触控指令。

本发明实施例的第二方面提供了一种终端设备，所述终端设备包括：

投影图像获取单元，用于获取关于触控界面的投影图像；

特征区域识别单元，用于基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像；所述手部区域图像具体为用户的手部对投影光线进行遮挡时在投影图像上形成的图像；

重合率计算单元，用于识别所述手部区域图像中的指尖区域图像以及所述阴影区域图像中的指尖阴影图像，并计算所述指尖区域图像以及所述指尖阴影图像的重合率；

触控指令生成单元，用于若所述重合率大于或等于预设的触摸判定阈值，则基于所述指尖区域图像的触摸位置生成触控指令。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面的各个步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的各个步骤。

实施本发明实施例提供的一种触控指令的生成方法及装置具有以下有益效果：

本发明实施例通过比对触控界面以及关于触控界面的投影图像之间的差异，确定因用户触控操作时在投影图像上产生的手部区域图像以及阴影区域图像，并从手部区域图像中确定指尖区域图像以及从阴影区域图像中确定指尖阴影图像，并计算上述两者之间的重合率，确定用户是否在投影屏上进行触控操作，并基于指尖区域图像的位置生成对应的触控指令。与现有的触控指令的生成方法相比，本发明实施例无需依靠用户佩戴辅助识别工具，而是通过识别手部区域图像以及阴影区域图像，继而判断指尖是否与投影屏发生接触，并生成触控指令，降低了触控指令的生成成本，也提高了用户的使用体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明第一实施例提供的一种触控指令的生成方法的实现流程图；

图1b是本发明一实施例提供的投影图像的示意图；

图1c是本发明一实施例提供的投影终端的示意图；

图2是本发明第二实施例提供的一种触控指令的生成方法S103的具体实现流程图；

图3是本发明第三实施例提供的一种触控指令的生成方法S102的具体实现流程图；

图4是本发明第四实施例提供的一种触控指令的生成方法的具体实现流程图；

图5是本发明第五实施例提供的一种触控指令的生成方法S102的具体实现流程图；

图6是本发明一实施例提供的一种终端设备的结构框图；

图7是本发明另一实施例提供的一种终端设备的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，流程的执行主体为终端设备，该终端设备包括但不限于个人电脑、移动终端、平板电脑等安装有触控指令的生成程序。特别地，该终端设备具体为一内置有摄像模块的智能投影仪，该智能投影仪通过投影模块将触控界面投射到投影屏幕上，继而通过内置的摄像模块获取投影图像，用户可以在投影屏幕上的触控界面执行对应的触控操作。图1a示出了本发明第一实施例提供的触控指令的生成方法的实现流程图，详述如下：

在S101中，获取关于触控界面的投影图像。

在本实施例中，终端设备可以通过内置的摄像模块获取投影图像。其中，该投影图像具体为将触控界面投射到投影屏，通过摄像模块获取投影屏的图像。需要说明的是，投射投影图像的投影模块可以内置于终端设备内，即终端设备即为一投影设备，可通过投影模块将内置的触控界面投射到预设的投影屏上；该终端设备还可以为一独立于投影设备的触控识别终端，将识别得到的触控指令通过通信链路或串行链路发送给投影设备，并基于触控指令更新触控界面。

在本实施例中，该触控界面可以为用户终端的操作界面，即本实施例提供的终端设备可以为用户终端的一辅助操作设备，对终端设备内的操作界面进行投射，并获取投射后的操作界面的投影图像，从而能够扩大操作界面的可操作范围，并对于只能通过鼠标或键盘等方式进行指令输入的操作界面，在投影后可以通过触控方式进行指令输入。例如，用户终端为一笔记本电脑，终端设备可以将笔记本电脑的操作界面通过终端设备的投影模块投射到投影屏，从而用户可以在投影屏所显示的触控界面上对笔记本电脑进行控制，由于笔记本电脑的显示屏幕较小，显示效果差，通过终端设备进行投影后，可以提高触控界面的显示效果，还能实现触控控制，提高了用户的使用体验。

优选地，在本实施例中，终端设备可以对投影图像进行预处理，由于在拍摄投影屏的投影画面时，可能会将投影屏外的环境也一并拍摄，为了提高后续识别的准确率，终端设备可以基于投影屏的尺寸大小，对投影图像进行预处理，过滤投影图像中的环境区域图像，只保留关于触控界面部分的投影图像。具体地，终端设备可以对环境图像进行轮廓识别，并根据触控界面的尺寸对识别到的轮廓线进行调整，基于调整后的轮廓线从拍摄图像中提取出关于触控界面的投影图像。

在本实施例中，终端设备可以以预设的时间间隔获取投影图像，该时间间隔可以基于用户对于触控操作的精度进行设置，例如用户对于触控操作的响应效率要求较高，需要终端设备快速响应用户的操作操作，则可以将该时间间隔设置为0.05s～0.1s。终端设备还可以设置在投影屏的边界区域设置遮挡检测元件，当检测到用户对投影光线进行遮挡时，则执行S101的操作。由于遮挡检测元件检测到投射光线的光强减弱或消失时，可能是用户需要执行触控操作，从而妨碍了投射光线投射至投影屏幕，此时需要通过投影图像确定对应的触控指令，若各个遮挡检测元件并未检测到投射光线被遮挡，则终端设备处于待机状态，无需获取投影图像。具体地，该遮挡检测元件可以为光敏传感器。

在S102中，基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像；所述手部区域图像具体为用户的手部对投影光线进行遮挡时在投影图像上形成的图像。

在本实施例中，为了识别触控界面以及投影图像之间的差异区域，并根据差异区域区分出里面包含的手部区域图像以及手部区域图像对应的阴影图像，终端设备首先需要确定两个图像之间的坐标转换关系，从而能够从不同的平面上确定关联的像素点，并通过对比各个像素点之间的差异，从而识别出两个图像之间的差异区域。具体地，终端设备可以根据投影屏与终端设备之间的距离，确定出投影画面的尺寸，并基于投影画面的尺寸以及触控界面的尺寸确定缩放比，并基于该缩放比得到投影坐标转换关系。

在本实施例中，终端设备将触控界面投射到投影屏幕上进行显示，若用户在投影屏上执行触控操作则必然会在投射光线的投射路径内，对投影光线进行遮挡，从而会将部分触控界面的图像投射到用户的手部，以及因手部对光线进行遮挡而在投影屏上生成阴影区域。因此，终端设备在识别的得到触控界面与投影图像之间的差异区域图像后，则可以确定该差异区域图像是由于用户手部遮挡而导致的，并基于手部特征以及阴影特征将差异区域图像划分为手部区域图像以及阴影区域图像。

可选地，在本实施例中，终端设备会对触控界面以及投影界面进行相似性识别，若识别上述两个图像之间的相似度大于预设阈值，则表示用户并未执行触控操作，在该情况下，终端设备会返回执行S101的相关操作；反之，若上述两个图像之间的相似度小于或等于预设阈值，则从投影图像中确定手部区域图像以及阴影区域图像，并执行S103的相关操作。

可选地，参见图1b所示，图1b是本发明一实施例提供的投影图像，由于用户在触控操作的过程中对投射光线进行遮挡，从而在投影图像上生成与用户手部形状相似的手部区域图像，以及因手部遮挡而在投影屏幕上形成的阴影区域图像。

在S103中，识别所述手部区域图像中的指尖区域图像以及所述阴影区域图像中的指尖阴影图像，并计算所述指尖区域图像以及所述指尖阴影图像的重合率。

在本实施例中，终端设备为了精准确定用户的在触控界面上的点击位置，会基于用户指尖形状的特征，从手部区域图像中划分出指尖区域图像以及从阴影区域图像内划分出指尖阴影图像。具体地识别指尖区域图像的方式可以为：终端设备存储有指尖轮廓模板，终端设备将该指尖轮廓模板与手部区域图像中进行滑动遍历识别，选取匹配度最高的区域作为指尖区域图像。同样地，指尖阴影图像也可以通过上述步骤进行识别。

在本实施例中，终端设备在识别得到指尖区域图像以及指尖阴影图像后，可以确定上述两个区域图像在投影图像中的坐标位置，并根据上述两个区域图像的坐标位置计算两者之间的重合度。可选地，终端设备也可以根据指尖阴影图像的区域面积以及指尖区域图像的区域面积，计算两者之间的重合率。由于用户与触控屏发生接触时，则指尖与指尖的阴影会重合，因此通过计算重合率的大小，识别用户是否执行了触控操作，并生成对应的触控指令。

优选地，该终端设备可以为一投影设备，参见图1c所示，图1c为本发明一实施例提供的投影设备的结构框图。该投影设备包括有投影模块11，摄像模块12以及数据处理模块13，其中，投影模块11以及摄像模块12紧密排布，从而通过摄像模块12获取到的投影图像可以相当于从投影模块11的角度采集的投影图片，因此，若用户与投影屏发生接触，则从投影模块11的角度上观察，用户的人手与因人手产生的人影将会重合，因此，通过人手的指尖区域图像以及指尖阴影图像之间的重合率，可以判定用户是否执行了触控操作，并在判定了用户发生了触控操作的情况下，执行S104的相关操作。

在S104中，若所述重合率大于或等于预设的触摸判定阈值，则基于所述指尖区域图像的触摸位置生成触控指令。

在本实施例中，终端设备若检测到指尖区域图像与指尖阴影图像之间的重合率小于触摸判定阈值，则识别该用户并未执行触控操作，返回执行S101的操作；反之，若终端设备检测到该重合率大于或等于预设的触摸判定阈值，则表示用户与投影屏发生了接触，此时可以确定用户发起了触控操作。在该情况下，终端设备会根据识别得到的之间指尖区域图像在投影图像中坐标，确定该坐标在触控界面内的关联坐标，并基于该关联坐标生成对应的触控指令。例如，该关联坐标对应一个触控按钮，终端设备则识别用户对该触控按钮进行了点击，并生成该触控按钮对应的触控指令。

可选地，终端设备可以连续获取多个投影图像，并基于多个投影图像中识别得到的触控位置，确定用户的触控类型，并基于该触控类型以及触控位置生成触控指令。例如，若多个触控位置相同，则表示用户的触控操作属于“单击”触控类型；若多个触控位置连续，构成一连续滑动轨迹，则表示用户的触控操作属于“滑动”触控类型，基于该连续的滑动轨迹生成对应的触控指令。

以上可以看出，本发明实施例提供的一种触控指令的生成方法通过比对触控界面以及关于触控界面的投影图像之间的差异，确定因用户触控操作时在投影图像上产生的手部区域图像以及阴影区域图像，并从手部区域图像中确定指尖区域图像以及从阴影区域图像中确定指尖阴影图像，并计算上述两者之间的重合率，确定用户是否在投影屏上进行触控操作，并基于指尖区域图像的位置生成对应的触控指令。与现有的触控指令的生成方法相比，本发明实施例无需依靠用户佩戴辅助识别工具，而是通过识别手部区域图像以及阴影区域图像，继而判断指尖是否与投影屏发生接触，并生成触控指令，降低了触控指令的生成成本，也提高了用户的使用体验。

图2示出了本发明第二实施例提供的一种触控指令的生成方法S103的具体实现流程图。参见图2所示，相对于图1a所述实施例，本实施例提供的一种触控指令的生成方法S103包括S1031～S1033，详述如下：

进一步地，所述识别所述手部区域图像中的指尖区域图像以及所述阴影区域图像中的指尖阴影图像，包括：

在S1031中，提取所述手部区域图像的轮廓坐标序列。

在本实施例中，终端设备会对手部区域图像进行轮廓识别，确定该手部区域图像内关于手部的轮廓线，并基于该轮廓线中各个像素点的坐标关系，生成轮廓坐标序列，即该轮廓坐标序列内各个元素的序号与对应像素点在轮廓线中的序号是一致的。

在本实施例中，终端设备可以对手部区域图像进行预处理，突出手部区域图像的轮廓信息，从而提高轮廓识别的准确性。具体地，终端设备可以调整手部区域图像的对比度，并对该手部区域图像进行锐化处理，从而能够加深各个像素点之间的差异，从而轮廓线也会较为明显且易于识别，在通过上述对轮廓线进行加深处理后，可以再对手部区域图像进行灰度处理或二值化处理，从而对灰度图或二值化图进行轮廓识别，确定该手部区域图像内的轮廓线，获取该轮廓线上各个像素点在投影图像中的坐标，生成轮廓坐标序列。

可选地，终端设备在确定了手部区域图像后，可以将该手部区域图像的边界轮廓作为用户的手部轮廓，并基于该手部区域图像各个边界点在投影图像内的坐标位置，生成轮廓坐标序列。

在S1032中，将所述轮廓坐标序列中的各个轮廓坐标导入曲率计算函数内，计算各个所述轮廓坐标的曲率值；所述曲率计算函数具体为：

其中，P_i为所述轮廓坐标序列中第i个轮廓坐标；x为预设系数；

为点P_i到点P_i-x的向量；

为向量的模值。

在本实施例中，终端设备在确定了手部区域图像的轮廓坐标序列后，可以计算各个像素点对应的曲率值。由于指尖相对与手部其他区域而言，形状较为尖细，因此处于指尖轮廓的坐标点，其对应的曲率值也会相对较大；而手部的其他区域由于形状较为平滑，因此上述区域的轮廓坐标点的曲率值相对较小，因此终端设备可以通过计算各个轮廓坐标的曲率值确定该轮廓线是否为指尖区域的轮廓线，从而可以识别出指尖区域图像。

在本实施例中，终端设备分别将各个轮廓坐标导入到曲率计算函数内，分别计算各个轮廓坐标的曲率值。终端设备会从轮廓坐标序列中选取任一一个轮廓坐标作为本次计算的中心坐标，并基于预设的间隔系数x，确定该中心坐标的左基准坐标以及右基准坐标，从而得到关于中心坐标P_i的向量

以及向量

并基于上述两个向量计算得到关于中心坐标的曲率值。

需要说明的是，由于轮廓曲线是一封闭曲线，因此在计算P₁的曲率值时，左基准坐标可以取P_N-x，其中N为该轮廓坐标序列的元素总个数；而计算P_N的曲率值时，可以取P_x为右基准坐标。

在S1033中，选取所述曲率值最大的轮廓坐标作为指尖坐标，并基于所述指尖坐标从所述手部区域图像内提取所述指尖区域图像。

在本实施例中，终端设备在计算了各个曲率值后，可以选取曲率值最大的轮廓坐标作为指尖坐标，当然，终端设备可以设置一曲率阈值，若各个轮廓坐标的曲率值均小于曲率阈值，则识别该手部区域图像中并不包含指尖区域图像。

在本实施例中，终端设备确定了指尖坐标后，可以根据该指尖坐标所在的位置为中心，预设范围为半径，从手部区域图像中划分为指尖区域图像。可选地，终端设备可以在指尖坐标的左侧以及右侧选取预设数量的轮廓坐标作为指尖区域轮廓，并基于该指尖区域轮廓的指尖区域图像。

可选地，终端设备识别指尖阴影图像的方式与识别指尖区域图像的方式相似，可以首先生成阴影轮廓序列，并计算阴影轮廓序列内各个轮廓坐标的曲率值，从而确定阴影指尖坐标，得到阴影指尖区域，具体方式可参见上述阐述，在此不再赘述。

在本发明实施例中，终端设备通过确定各个轮廓坐标的曲率值，识别出指尖坐标，从而提高了指尖坐标的识别准确率。

图3示出了本发明第三实施例提供的一种触控指令的生成方法S102的具体实现流程图。参见图3所示，相对于图1a所述实施例，本实施例提供的一种触控指令的生成方法中S102包括S1021～S1023，详述如下：

进一步地，所述基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像，包括：

在S1021中，确定所述投影图像内各个像素点的像素值。

在本实施例中，终端设备在获取了投影图像后，会识别各个像素点的像素值。若该投影图像为灰度图像，则该图像内各个像素点的像素值为灰度值；若该投影图像为彩色图像，则该图像内各个像素点具有RGB三个通道对应的像素值。

可选地，在本实施例中，终端设备可以对投影图像内的各个像素点进行颜色校准，由于对触控界面进行投影的过程中，投影屏所在的环境存在环境光，因此投影图像与触控界面而言，颜色较浅，为了提高手部识别的准确率，终端设备在获取了投影图像后，会基于当前的环境光强确定颜色校准系数，并通过该颜色校准系数对投影图像内的各个像素点进行调整，以减少环境光强对于手部区域图像以及阴影区域图像的识别影响。

在S1022中，分别将各个像素点在所述投影图像内的像素值以及在所述触控界面中关联像素点的像素值导入反射率计算函数，计算在所述投影图像内各个所述像素点的反射率；所述反射率计算函数具体为：

其中，a[x,y]为在所述投影图像内坐标为(x,y)的像素点的反射率；C[x,y]为在所述投影图像内坐标为(x,y)的像素点的像素值；P[x,y]为在所述投影图像内坐标为(x,y)的坐标点在所述触控界面中关联像素点的像素值。

在本实施例中，终端设备可以根据投影坐标转换关系，确定投影图像内各个像素点在触控界面中的关联像素点，并将上述投影图像的像素点的像素值以及触控界面中的关联像素点的像素值导入到该反射率计算函数内，从而确定投影坐标内各个像素点的像素值。由于经过手部皮肤的反射，手部皮肤相对于投影屏而言反射率较低，因此经过手部皮肤反射后，手部区域所在的像素点的颜色会较浅；而对于阴影区域，由于投射光线被手部遮挡，因此该区域的一般呈现为黑色，不存在反射现象。因此终端设备可以基于手部区域以及阴影区域的反射率特征，从投影图像中确定手部区域图像以及阴影区域图像。

可选地，若该投影图像为一彩色图像，终端设备可以分别计算各个通道的反射率，继而根据三个通道的反射率的平均值，确定该像素点的反射率。当然，终端设备还可以为每个通道设置对应的反射率权重，对各个通道的反射率进行加权运算，从而确定该像素点的反射率。

在S1033中，将所述反射率大于前景阈值的像素点所构成的区域识别为手部区域图像，以及将所述反射率小于阴影阈值的像素点所构成的区域识别为阴影区域图像。

在本实施例中，终端设备设置有一反射率分割系数S，并基于该反射率分割系数S确定前景阈值以及阴影阈值，其中，前景阈值为1+S，阴影阈值为1-S，优选地，该S可以从0.5～0.8。终端设备在计算了各个像素点的反射率后，会将该反射率与上述两个阈值进行比较，将反射率大于前景阈值的像素点识别为手部区域像素点，并将所有手部区域像素点所构成的区域识别为手部区域图像。终端设备将反射率小于阴影阈值的像素点识别为阴影像素点，并将所有阴影像素点所构成的区域识别为阴影区域图像。

在本发明实施例中，通过计算各个像素点的反射率，并基于手部皮肤与阴影区域的反射率特点，在投影区域内识别出手部区域图形以及阴影区域图像，提高了特征区域的识别准确性以及识别效率。

图4示出了本发明第四实施例提供的一种触控指令的生成方法的具体实现流程图。参见图4所示，相对于图1a、图2以及图3所述实施例，本实施例提供的一种触控指令的生成方法在所述获取关于触控界面的投影图像之前，还包括：S401～S404，详述如下：

进一步地，在所述获取关于触控界面的投影图像之前，还包括：

在S401中，获取预设的栅格校准图的栅格投影图像。

在本实施例中，终端设备对用户的触控操作进行识别之前，可以对投影图像进行几何校准，从而可以在投影图像上确定触控界面的关联像素，建立两个平面图像之间的对应关系。基于此，终端设备会首先在投影屏上投射预设的栅格校准图，并通过摄像模块获取该栅格校准图对应的栅格投影图像。该栅格图像中存在多个栅格点，每个栅格点在校准栅格图内对应的栅格坐标，因此不依赖与在图像中的绝对坐标，终端设备可以根据各个栅格点的栅格坐标，确定两个平面之间的投影坐标转换关系。

优选地，终端设备内置有位移传感器，若检测到移动终端发生位移，则终端设备与投影屏之间的距离发生了变化，此时该投影坐标转换关系则需要进行更新，此时会执行S401的相关操作。

在S402中，从所述栅格校准图内任意选取至少四个校准栅格点，并从所述栅格投影图像中获取各个所述校准栅格点的投影坐标。

在本实施例中，终端设备会从三个校准图内任意选取至少四个校准栅格点，并确定上述四个校准栅格点在栅格校准图上的预设坐标，并从栅格投影图像中获取上述四个校准栅格点在栅格投影图像中的投影坐标，以便通过上述四个坐标之间的坐标关系，确定投影坐标转换规则，在后续的操作中确定每个投影坐标在触控界面上的关联像素点。

在S403中，根据所述校准栅格点在所栅格校准图内的预设坐标以及所述投影坐标，生成单应性矩阵。

在本实施例中，终端设备在获取了上述四个校准栅格点在两个图像中的坐标后，可以生成单应性矩阵，以使任一校准栅格点满足如下关系式：

(x,y)＝[a_ij]_n×m*(x₀,y₀)

其中，(x,y)为投影栅格图像中的投影坐标；[a_ij]_n×m为单应性矩阵；(x₀,y₀)为栅格校准图中预设坐标。

优选地，该单应性矩阵为一3*3的矩阵。

在S404中，基于所述单应性矩阵生成所述投影坐标转换关系。

在本实施例中，终端设备可以将该单应性矩阵作为投影坐标转换关系，通过该单应性矩阵确定投影图像内各个像素点在触控界面上的关联像素点。

在本发明实施例中，在获取投影图像之前，首先对终端设备进行几何校准，并生成投影坐标转换关系，从而提高关联坐标识别的准确性，提高了触控位置的识别准确率。

图5示出了本发明第五实施例提供的一种触控指令的生成方法S103的具体实现流程图。参见图5所示，相对于图1a、图2以及图3所述实施例，本实施例提供的一种触控指令的生成方法中S103包括：S501～S503，详述如下：

进一步地，所述计算所述指尖区域图像以及所述指尖阴影图像的重合率，包括：

在S501中，从所述指尖区域图像中确定指尖坐标，以及从所述指尖阴影图像中确定阴影顶点坐标。

在本实施例中，终端设备在确定了指尖区域图像后，可以选取指尖区域图像中心点作为指尖坐标，同样地，终端设备也可以选取指尖阴影图像中的中心点作为，作为阴影顶点坐标。

在S502中，计算所述指尖坐标以及所述阴影顶点坐标之间的欧氏距离，将所述欧氏距离的倒数识别为所述重合率。

在本实施例中，终端设备在确定了指尖坐标以及阴影顶点坐标后，则计算上述两个坐标的欧氏距离，从而可以确定两个坐标点之间相距距离，若两者相距距离越大，则表示两个区域图像之间的重合率越低，若两者的相距距离越小，则表示两个区域图像之间的重合率越高，从而终端设备可以将欧氏距离的倒数识别为两个区域图像之间的重合率。

在本发明实施例中，确定指尖区域图像以及指尖阴影图像的指尖坐标，并计算两个坐标之间的相距距离，确定两个图像之间的重合率，从而能够准确地判断用户与投影屏是否接触，并生成对应的触控指令，提高触控指令的准确性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图6示出了本发明一实施例提供的一种终端设备的结构框图，该终端设备包括的各单元用于执行图1a至图5对应的实施例中的各步骤。具体请参阅图1a至图5所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。

参见图6，所述终端设备包括：

投影图像获取单元61，用于获取关于触控界面的投影图像；

特征区域识别单元62，用于基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像；所述手部区域图像具体为用户的手部对投影光线进行遮挡时在投影图像上形成的图像；

重合率计算单元63，用于识别所述手部区域图像中的指尖区域图像以及所述阴影区域图像中的指尖阴影图像，并计算所述指尖区域图像以及所述指尖阴影图像的重合率；

触控指令生成单元64，用于若所述重合率大于或等于预设的触摸判定阈值，则基于所述指尖区域图像的触摸位置生成触控指令。

可选地，所述重合率计算单元63，包括：

轮廓坐标序列提取单元，用于提取所述手部区域图像的轮廓坐标序列；

曲率值计算单元，用于将所述轮廓坐标序列中的各个轮廓坐标导入曲率计算函数内，计算各个所述轮廓坐标的曲率值；所述曲率计算函数具体为：

其中，P_i为所述轮廓坐标序列中第i个轮廓坐标；x为预设系数；

为点P_i到点P_i-x的向量；

为向量

的模值；

指尖区域选取单元，用于选取所述曲率值最大的轮廓坐标作为指尖坐标，并基于所述指尖坐标从所述手部区域图像内提取所述指尖区域图像。

可选地，所述特征区域识别单元62，包括：

像素值确定单元，用于确定所述投影图像内各个像素点的像素值；

反射率计算单元，用于分别将各个像素点在所述投影图像内的像素值以及在所述触控界面中关联像素点的像素值导入反射率计算函数，计算在所述投影图像内各个所述像素点的反射率；所述反射率计算函数具体为：

其中，a[x,y]为在所述投影图像内坐标为(x,y)的像素点的反射率；C[x,y]为在所述投影图像内坐标为(x,y)的像素点的像素值；P[x,y]为在所述投影图像内坐标为(x,y)的坐标点在所述触控界面中关联像素点的像素值；

特征区域识别单元，用于将所述反射率大于前景阈值的像素点所构成的区域识别为手部区域图像，以及将所述反射率小于阴影阈值的像素点所构成的区域识别为阴影区域图像。

可选地，所述终端设备，还包括：

栅格投影图像获取单元，用于获取预设的栅格校准图的栅格投影图像；

校准栅格点选取单元，用于从所述栅格校准图内任意选取至少四个校准栅格点，并从所述栅格投影图像中获取各个所述校准栅格点的投影坐标；

单应性矩阵生成单元，用于根据所述校准栅格点在所栅格校准图内的预设坐标以及所述投影坐标，生成单应性矩阵；

转换关系确定单元，用于基于所述单应性矩阵生成所述投影坐标转换关系。

可选地，所述重合率计算单元63包括：

顶点坐标确定单元，用于从所述指尖区域图像中确定指尖坐标，以及从所述指尖阴影图像中确定阴影顶点坐标；

欧氏距离计算单元，用于计算所述指尖坐标以及所述阴影顶点坐标之间的欧氏距离，将所述欧氏距离的倒数识别为所述重合率。

因此，本发明实施例提供的终端设备同样无需依靠用户佩戴辅助识别工具，而是通过识别手部区域图像以及阴影区域图像，继而判断指尖是否与投影屏发生接触，从而生成触控指令，降低了触控指令的生成成本，也提高了用户的使用体验。

图7是本发明另一实施例提供的一种机器人的示意图。如图7所示，该实施例的机器人7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如触控指令的生成程序。所述处理器70执行所述计算机程序72时实现上述各个触控指令的生成方法实施例中的步骤，例如图1a所示的S101至S104。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各单元的功能，例如图6所示模块61至64功能。

示例性的，所述计算机程序72可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述机器人7中的执行过程。例如，所述计算机程序72可以被分割成投影图像获取单元、特征区域识别单元、重合率计算单元以及触控指令生成单元，各单元具体功能如上所述。

所述机器人可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是机器人7的示例，并不构成对机器人7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71可以是所述机器人7的内部存储单元，例如机器人7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述机器人7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种触控指令的生成方法，其特征在于，包括：

获取关于触控界面的投影图像；

基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像；所述手部区域图像具体为用户的手部对投影光线进行遮挡时在投影图像上形成的图像；

识别所述手部区域图像中的指尖区域图像以及所述阴影区域图像中的指尖阴影图像，并计算所述指尖区域图像以及所述指尖阴影图像的重合率；

若所述重合率大于或等于预设的触摸判定阈值，则基于所述指尖区域图像的触摸位置生成触控指令；

在所述基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像之前，还包括：

对所述触控界面以及所述投影图像进行相似性识别，若所述触控界面与所述投影图像之间的相似度大于预设阈值，则返回执行获取关于触控界面的投影图像；若所述触控界面与所述投影图像之间的相似度小于或等于预设阈值，则执行所述基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像；

所述识别所述手部区域图像中的指尖区域图像以及所述阴影区域图像中的指尖阴影图像，包括：

提取所述手部区域图像的轮廓坐标序列；

将所述轮廓坐标序列中的各个轮廓坐标导入曲率计算函数内，计算各个所述轮廓坐标的曲率值，包括：从轮廓坐标序列中选取任一一个轮廓坐标作为本次计算的中心坐标，并基于预设的间隔系数x，确定该中心坐标的左基准坐标以及右基准坐标，得到关于中心坐标P_i的向量

以及向量

并基于上述两个向量计算得到关于中心坐标的曲率值；所述曲率计算函数具体为：

其中，P_i为所述轮廓坐标序列中第i个轮廓坐标；x为预设系数；

为点P_i到点P_i-x的向量；

为向量

的模值；

选取所述曲率值最大的轮廓坐标作为指尖坐标，并基于所述指尖坐标从所述手部区域图像内提取所述指尖区域图像。

2.根据权利要求1所述的生成方法，其特征在于，所述基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像，包括：

确定所述投影图像内各个像素点的像素值；

分别将各个像素点在所述投影图像内的像素值以及在所述触控界面中关联像素点的像素值导入反射率计算函数，计算在所述投影图像内各个所述像素点的反射率；所述反射率计算函数具体为：

其中，a[x,y]为在所述投影图像内坐标为(x,y)的像素点的反射率；C[x,y]为在所述投影图像内坐标为(x,y)的像素点的像素值；P[x,y]为在所述投影图像内坐标为(x,y)的坐标点在所述触控界面中关联像素点的像素值；

将所述反射率大于前景阈值的像素点所构成的区域识别为手部区域图像，以及将所述反射率小于阴影阈值的像素点所构成的区域识别为阴影区域图像。

3.根据权利要求1-2任一项所述的生成方法，其特征在于，在所述获取关于触控界面的投影图像之前，还包括：

获取预设的栅格校准图的栅格投影图像；

从所述栅格校准图内任意选取至少四个校准栅格点，并从所述栅格投影图像中获取各个所述校准栅格点的投影坐标；

根据所述校准栅格点在所栅格校准图内的预设坐标以及所述投影坐标，生成单应性矩阵；

基于所述单应性矩阵生成所述投影坐标转换关系。

4.根据权利要求1-2任一项所述的生成方法，其特征在于，所述计算所述指尖区域图像以及所述指尖阴影图像的重合率，包括：

从所述指尖区域图像中确定指尖坐标，以及从所述指尖阴影图像中确定阴影顶点坐标；

计算所述指尖坐标以及所述阴影顶点坐标之间的欧氏距离，将所述欧氏距离的倒数识别为所述重合率。

5.一种终端设备，其特征在于，包括：

投影图像获取单元，用于获取关于触控界面的投影图像；

特征区域识别单元，用于基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像；所述手部区域图像具体为用户的手部对投影光线进行遮挡时在投影图像上形成的图像，其中，在所述基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像之前，还包括：对所述触控界面以及所述投影图像进行相似性识别，若所述触控界面与所述投影图像之间的相似度大于预设阈值，则返回执行获取关于触控界面的投影图像；若所述触控界面与所述投影图像之间的相似度小于或等于预设阈值，则执行所述基于预设的投影坐标转换关系、所述触控界面以及所述投影图像，提取所述投影图像内的手部区域图像以及所述手部区域图像对应的阴影区域图像；

重合率计算单元，用于识别所述手部区域图像中的指尖区域图像以及所述阴影区域图像中的指尖阴影图像，并计算所述指尖区域图像以及所述指尖阴影图像的重合率；

触控指令生成单元，用于若所述重合率大于或等于预设的触摸判定阈值，则基于所述指尖区域图像的触摸位置生成触控指令；

所述重合率计算单元，包括：

轮廓坐标序列提取单元，用于提取所述手部区域图像的轮廓坐标序列；

曲率值计算单元，用于将所述轮廓坐标序列中的各个轮廓坐标导入曲率计算函数内，计算各个所述轮廓坐标的曲率值，包括：从轮廓坐标序列中选取任一一个轮廓坐标作为本次计算的中心坐标，并基于预设的间隔系数x，确定该中心坐标的左基准坐标以及右基准坐标，得到关于中心坐标P_i的向量

以及向量

并基于上述两个向量计算得到关于中心坐标的曲率值；所述曲率计算函数具体为：

其中，P_i为所述轮廓坐标序列中第i个轮廓坐标；x为预设系数；

为点P_i到点P_i-x的向量；

为向量

的模值；

指尖区域选取单元，用于选取所述曲率值最大的轮廓坐标作为指尖坐标，并基于所述指尖坐标从所述手部区域图像内提取所述指尖区域图像。

6.根据权利要求5所述的终端设备，其特征在于，所述特征区域识别单元，包括：

像素值确定单元，用于确定所述投影图像内各个像素点的像素值；

反射率计算单元，用于分别将各个像素点在所述投影图像内的像素值以及在所述触控界面中关联像素点的像素值导入反射率计算函数，计算在所述投影图像内各个所述像素点的反射率；所述反射率计算函数具体为：

其中，a[x,y]为在所述投影图像内坐标为(x,y)的像素点的反射率；C[x,y]为在所述投影图像内坐标为(x,y)的像素点的像素值；P[x,y]为在所述投影图像内坐标为(x,y)的坐标点在所述触控界面中关联像素点的像素值；

特征区域识别单元，用于将所述反射率大于前景阈值的像素点所构成的区域识别为手部区域图像，以及将所述反射率小于阴影阈值的像素点所构成的区域识别为阴影区域图像。

7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。

Images