CN110399047B - 一种基于人脸检测实现跨屏的鼠标控制方法 - Google Patents

Abstract

本发明涉及人机交互技术领域，尤其是涉及一种基于人脸检测实现跨屏的鼠标控制方法，包括以下步骤：a，人脸转动角度计算；b，判断人手是否握持鼠标；c，依据人脸转动角度实现跨屏幕移动鼠标指针，本发明一种基于人脸检测实现跨屏的鼠标控制方法在使用时，实现了依据人脸转动角度实现鼠标指针跨屏幕移动，同时通过接触传感器判断人手是否握持鼠标，以此防止日常使用中的误操作，相比于传统的通过大幅度移动鼠标或则按下固定按钮实现鼠标指针跨屏幕移动的方法，简化了操作，省去了不必要的麻烦极大的方便了使用者的日常使用，提升了日常工作效率。

Description

一种基于人脸检测实现跨屏的鼠标控制方法

技术领域

本发明涉及人机交互技术领域，尤其是涉及一种基于人脸检测实现跨屏的鼠标控制方法。

背景技术

鼠标在一定程度上实现了人机交互的功能，能够使人完成点击，移动等操作，这些操作功能为设备使用者提供了极大的方便，在目前阶段是一个不可替代的设备。随着时代的发展与进步，越来越多的人追求更为简便的操作方式。而现今的日常工作中，有些人往往需要跟多的视觉信息才能够满足日常工作的需要，这时候就需要多块显示屏组合起来来组成更大的视觉显示系统，这就涉及到了鼠标在多块屏幕间进行移动的问题。传统的多屏幕间的鼠标指针的移动，往往是按下固定的按钮，或将鼠标移动一个较大的距离来使鼠标指针从一个屏幕跳转到另外一个屏幕，在繁忙工作中这无疑会给使用者带来极大的不便，从而大大的降低了工作效率。

发明内容

本发明要解决的技术问题是：为了解决传统的多屏幕间的鼠标指针的移动，往往是按下固定的按钮，或将鼠标移动一个较大的距离来使鼠标指针从一个屏幕跳转到另外一个屏幕，在繁忙工作中这无疑会给使用者带来极大的不便，从而大大的降低了工作效率的问题，现提供了一种基于人脸检测实现跨屏的鼠标控制方法。首先从统计角度分析人脸转动多大角度，会把鼠标指针从一块屏幕上移动到另外一块人脸所正对的分块屏幕上，找到合适的角度，并把此角度设定为阈值。当今后使用者使用鼠标的时候，人脸转动角度大于阈值且人手正握持鼠标时，便把鼠标指针自动移动到人脸所正对的对应分块屏幕上。

本发明解决其技术问题所采用的技术方案是：一种基于人脸检测实现跨屏的鼠标控制方法，包括以下步骤：

a，人脸转动角度计算；

b，判断人手是否握持鼠标；

c，依据人脸转动角度实现跨屏幕移动鼠标指针。

进一步地，上述步骤a中人脸转动角度计算包括以下步骤：

c，依据深度学习学习到的人脸特征模型提取人脸特征信息，并存入到信息存储单元；

d，将人脸于信息存储单元中存储的信息进行比对，实现人脸识别；

e，人脸运动分为人脸旋转-R(3*3阶矩阵)与人脸平移-t(3维向量)，将其转化为相机相对人脸的运动，则相机的旋转为R(3*3阶矩阵)，平移为t(3 维向量)；

f，提取人脸征点在相机内坐标，并转化为归一化坐标：

x₁＝K^-1p₁

x₂＝K^-1p₂

其中p₁(3维向量)与p₂(3维向量)为人脸同一特征于相机内不同时刻的特征坐标，x1(3维向量)与x2(3维向量)为p1(3维向量)与p2(3维向量)的归一化坐标，K(3*3阶矩阵)为相机内参；

g，推导归一化坐标之间的对极约束：

其中t^Λ(3*3阶矩阵)为相机平移t的反对称矩阵，t^ΛR为一个3*3的矩阵，也称为本质矩阵；

h，提取9对人脸特征的归一化坐标，并依据归一化坐标间关系，求解本质矩阵；

i，将本质矩阵依据奇异值分解得出相机的旋转R(3*3阶矩阵)与平移t(3 维向量)；

j，将得出的相机的旋转与平移取负，还原为人脸的旋转与运动，得出人脸转动角度。

进一步地，上所述步骤g中推导归一化坐标之间的对极约束包括以下步骤：

k，计算归一化坐标间关系；

x₂＝Rx₁+t

l，将步骤k中公式两边同时左乘t^Λ(3*3阶矩阵),其中t^Λ为平移t(3维向量) 的反对称矩阵，因此t^Λ×t为0向量，故：

m，将步骤l中公式两边同时左乘

(3维向量x₂的转置)，依据数学原理可知t^Λx₂是与

垂直的向量，由此推出对极约束为：

进一步地，上述步骤c中依据人脸转动角度实现跨屏幕移动鼠标指针包括以下步骤：

n，采集用户操作习惯，当人脸转动时通过人脸转动角计算结合鼠标指针移动，根据统计原理，找到人脸转动与鼠标指针移动相适应的角度，将此角度设定为阈值；

o，阈值确定后，今后使用者人脸转动时，通过人脸转动角度计算，计算人脸转动的角度，如果人脸转动的角度大于设定的阈值且人手正握持鼠标，则鼠标指针实现自动跨屏幕移动，如果没大于设定的阈值或人手没有握持鼠标，鼠标指针停留在当前的分块屏幕上。

进一步地，上述步骤b中判断人手是否握持鼠标包括以下步骤：

p，在鼠标上加装接触传感器，并与电脑主机相连；

q，当人手握持鼠标时，接触传感器产生接触信号，反馈给电脑主机，以此确定人手正握持鼠标。当人手没有握持鼠标时，接触传感器不产生接触信号，电脑主机没有接受反馈，以此确定人手没有握持鼠标。

本发明的有益效果是：本发明一种基于人脸检测实现跨屏的鼠标控制方法在使用时，实现了依据人脸转动角度实现鼠标指针跨屏幕移动，同时通过接触传感器判断人手是否握持鼠标，以此防止日常使用中的误操作，相比于传统的通过大幅度移动鼠标或则按下固定按钮实现鼠标指针跨屏幕移动的方法，简化了操作，省去了不必要的麻烦极大的方便了使用者的日常使用，提升了日常工作效率，避免了传统的多屏幕间的鼠标指针的移动，往往是按下固定的按钮，或将鼠标移动一个较大的距离来使鼠标指针从一个屏幕跳转到另外一个屏幕，在繁忙工作中这无疑会给使用者带来极大的不便，从而大大的降低了工作效率的问题。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明使用时的示意图；

图2是本发明中设定人脸转动角度阈值流程图；

图3是本发明中根据人脸转动角度实现鼠标指针跨屏幕移动流程图。

图中：1、屏幕，2、摄像头，3、摄像头支架，4、电脑主机，5、加装接触传感器的鼠标，6、人脸，7、工作平台。

具体实施方式

现在结合附图对本发明做进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1-3所示，一种基于人脸检测实现跨屏的鼠标控制方法，包括以下步骤：

a，人脸6转动角度计算；

b，判断人手是否握持鼠标；

c，依据人脸6转动角度实现跨屏幕1移动鼠标指针。

上述步骤a中人脸6转动角度计算包括以下步骤：

c，依据深度学习学习到的人脸6特征模型提取人脸6特征信息，并存入到信息存储单元；

d，将人脸6于信息存储单元中存储的信息进行比对，实现人脸6识别；

e，人脸6运动分为人脸6旋转-R与人脸6平移-t，将其转化为相机相对人脸6的运动，则相机的旋转为R，平移为t；

f，提取人脸6征点在相机内坐标，并转化为归一化坐标：

x₁＝K^-1p₁

x₂＝K^-1p₂

其中p1与p2为人脸6同一特征于相机内不同时刻的特征坐标，x₁与x₂为p₁与 p₂的归一化坐标，K为相机内参；

g，推导归一化坐标之间的对极约束：

其中t^Λ为相机平移t的反对称矩阵，t^ΛR为一个3*3的矩阵，也称为本质矩阵；

h，提取9对特征点坐标对人脸特征的归一化坐标，由于本质矩阵是一个3*3 的矩阵，且拥有9个未知量，所以需要有9对特征点坐标人脸特征的归一化坐标进行求解，并依据归一化坐标间关系，求解本质矩阵；

i，将本质矩阵依据奇异值分解得出相机的旋转R与平移t；

j，将得出的相机的旋转与平移取负，还原为人脸6的旋转与运动，得出人脸6转动角度。

上述步骤g中推导归一化坐标之间的对极约束包括以下步骤：

k，计算归一化坐标间关系：

x₂＝Rx₁+t

l，将步骤k中公式两边同时左乘t^Λ,其中t^Λ为平移t的反对称矩阵，因此t^Λ×t为 0向量，故：

m，将步骤l中公式两边同时左乘

依据数学原理可知t^Λx₂是与

垂直的向量，由此推出对极约束为：

上述步骤c中依据人脸6转动角度实现跨屏幕1移动鼠标指针包括以下步骤：

n，采集用户操作习惯，当人脸6转动时通过人脸6转动角计算结合鼠标指针移动，根据统计原理，找到人脸6转动与鼠标指针移动相适应的角度，将此角度设定为阈值；

o，阈值确定后，今后使用者人脸6转动时，通过人脸6转动角度计算，计算人脸6转动的角度，如果人脸6转动的角度大于设定的阈值且人手正握持鼠标，则鼠标指针实现自动跨屏幕1移动，如果没大于设定的阈值或人手没有握持鼠标，鼠标指针停留在当前的分块屏幕1上。

上述步骤b中判断人手是否握持鼠标包括以下步骤：

p，在鼠标上加装接触传感器，并与电脑主机4相连；

q，当人手握持鼠标时，接触传感器产生接触信号，反馈给电脑主机4，以此确定人手正握持鼠标。当人手没有握持鼠标时，接触传感器不产生接触信号，电脑主机4没有接受反馈，以此确定人手没有握持鼠标。

上述一种基于人脸检测实现跨屏的鼠标控制方法在使用时，设定人脸6转动角度阈值结合图1与图2，通过摄像头支架3固定在多块屏幕1组合的大屏上的摄像头2拍摄，人脸6转动后，判断鼠标5指针是否人为移动到人脸6所正对的分块屏幕1上，如果是，通安装在电脑主机4中的人脸6角度计算算法计算人脸6转动角度，如果不是返回开始步骤，当计算好人脸6转动角度后，存储人脸6转动角度数据到电脑主机4中，然后判断存储的人脸6转动角度数据是否多于一百个，如果是，对这一百个数据求取平均值并设定为阈值E，如果不是则返回开始步骤。

根据人脸6转动角度实现跨屏幕移动鼠标指针结合图1与图3，当设定好阈值E后，通过摄像头支架3固定在多块屏幕1组合的大屏上的摄像头2拍摄，使用者在进行人脸6转动时，通过电脑主机4中的人脸6转动角度算法计算人脸6转动角度，如果人脸6转动角度大于阈值E，则继续通过加装接触传感器的鼠标5判断人手是否握持鼠标，如果是此时无需通过在工作平台7上大范围移动加装接触传感器的鼠标5或按下固定按钮这样的人为操作使鼠标5指针移动人脸6正对的分块屏幕1上，鼠标5指针自动移动到人脸6所正对的分块屏幕1上，如果人脸6转动角度没有大于阈值E或人手没有握持鼠标5，则鼠标5指针停留在当前的分块屏幕1上。

上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.一种基于人脸检测实现跨屏的鼠标控制方法，其特征在于，包括以下步骤：

a，人脸转动角度计算；

b，判断人手是否握持鼠标；

c，依据人脸转动角度实现跨屏幕移动鼠标指针；

上述步骤a中人脸转动角度计算包括以下步骤：

c，依据深度学习学习到的人脸特征模型提取人脸特征信息，并存入到信息存储单元；

d，将人脸与信息存储单元中存储的信息进行比对，实现人脸识别；

e，人脸运动分为人脸旋转-R与人脸平移-t，其中-R为3*3阶矩阵，-t为3维向量，将其转化为相机相对人脸的运动，则相机的旋转为R，平移为t，其中R为3*3阶矩阵，t为3维向量；

f，提取人脸征点在相机内坐标，并转化为归一化坐标：

x₁＝K^-1p₁

x₂＝K^-1p₂

其中p₁与p₂为人脸同一特征于相机内不同时刻的特征坐标，x₁与x₂为p₁与p₂的归一化坐标，K为相机内参，其中p₁和p₂为3维向量，x₁和x₂为3维向量，K为3*3阶矩阵；

g，推导归一化坐标之间的对极约束：

其中t^Λ为相机平移t的反对称矩阵，其中t^Λ为3*3阶矩阵，t^ΛR为一个3*3的矩阵，也称为本质矩阵；

h，提取9对特征点坐标对人脸特征的归一化坐标，并依据归一化坐标间关系，求解本质矩阵；

i，将本质矩阵依据奇异值分解得出相机的旋转R与平移t，其中R为3*3阶矩阵，平移t为3维向量；

j，将得出的相机的旋转与平移取负，还原为人脸的旋转与运动，得出人脸转动角度。

2.根据权利要求1所述的一种基于人脸检测实现跨屏的鼠标控制方法，其特征在于，上所述步骤g中推导归一化坐标之间的对极约束包括以下步骤：

k，计算归一化坐标间关系：

x₂＝Rx₁+t

l，将步骤k中公式两边同时左乘t^Λ，其中t^Λ为3*3阶矩阵,其中t^Λ为平移t的反对称矩阵，其中平移t为3维向量，因此t^Λ×t为0向量，故：

m，将步骤l中公式两边同时左乘

其中

为3维向量x₂的转置，依据数学原理可知t^Λx₂是与

垂直的向量，由此推出对极约束为：

3.根据权利要求1所述的一种基于人脸检测实现跨屏的鼠标控制方法，其特征在于，上所述步骤c中依据人脸转动角度实现跨屏幕移动鼠标指针包括以下步骤：

n，采集用户操作习惯，当人脸转动时通过人脸转动角计算结合鼠标指针移动，根据统计原理，找到人脸转动与鼠标指针移动相适应的角度，将此角度设定为阈值；

o，阈值确定后，今后使用者人脸转动时，通过人脸转动角度计算，计算人脸转动的角度，如果人脸转动的角度大于设定的阈值且人手正握持鼠标，则鼠标指针实现自动跨屏幕移动，如果没大于设定的阈值或人手没有握持鼠标，鼠标指针停留在当前的分块屏幕上。

4.根据权利要求1所述的一种基于人脸检测实现跨屏的鼠标控制方法，其特征在于，上所述步骤b中判断人手是否握持鼠标包括以下步骤：

p，在鼠标上加装接触传感器，并与电脑主机相连；

q，当人手握持鼠标时，接触传感器产生接触信号，反馈给电脑主机，以此确定人手正握持鼠标，当人手没有握持鼠标时，接触传感器不产生接触信号，电脑主机没有接受反馈，以此确定人手没有握持鼠标。

Images