CN107656637A - 一种利用手动选取四点的投影键盘的自动化标定方法 - Google Patents

Abstract

一种利用手动选取四点的投影键盘的自动化标定方法，涉及一种投影键盘的自动化标定方法。为了解决目前的标定方法存在较大的标定误差的问题。本发明首先利用识别摄像头拍摄一张LED标定板的图片，计算识别摄像头的内参数矩阵和畸变模型的畸变系数；然后手动选取投影键盘的标定基准点，计算标定基准点的图像坐标；根据摄像头成像模型计算识别摄像头与投影键盘相对位置关系并确定标定基准点的世界坐标；根据投影变换关系建立标定基准点从摄像机坐标到世界坐标系的变换方程，得到投影变换矩阵；然后根据投影键盘尺寸以及四个标定基准点的世界坐标计算各个按键的世界坐标，生成的键盘表。本发明适用于投影键盘的自动化标定。

Description

一种利用手动选取四点的投影键盘的自动化标定方法

技术领域

本发明涉及一种投影键盘的自动化标定方法。

背景技术

输入设备(键盘、鼠标)是计算机设备或者其他智能设备的人机交互的重要工具，随着计算机设备或者可穿戴智能设备的微型化，诸多电子领域的产品将输入设备做到小型化甚至微型化，但是输入设备越小给人们造成输入不方便的麻烦，但是仍然不能满足移动、便携的需求，目前已经有一些计算机设备或者可穿戴智能设备采用了投影键盘作为输入设备。

但是投影键盘的标定工作任然存在诸多问题，目前对于投影键盘的标定基本上都是采用人工手动标定，实际标定过程中，采用人工手动标定，而且需要人工对投影键盘上的每个按键都进行标定，而且不同的人员进行标定必定会使标定结果不同，带来误差，使得键盘标定的准确性受到影响。例如，每个人的手指大小不同，会导致指尖坐标提取的不一致，会导致标定结果的准确性下降。

发明内容

本发明为了解决目前的标定方法存在较大的标定误差的问题。

一种利用手动选取四点的投影键盘的自动化标定方法，包括：

步骤1、摄像头标定：

摄像头标定为识别摄像头的标定，识别摄像头与投影键盘的投射装置是一体的，用于进行指尖区域识别与定位；

标定采用定制的分布尺寸已知的LED小灯板作为LED标定板，利用识别摄像头拍摄一张LED标定板的图片，利用阈值分割算法检测LED标定板上的每个灯点，计算灯点的质心作为标定点在图像中的坐标，即标定点的图像坐标；同时由于LED标定板的尺寸已知，LED标定板上的每个灯点的世界坐标已知；根据已知的LED标定板上标定点的图像坐标和世界坐标，计算识别摄像头的内参数矩阵和畸变模型的畸变系数，即完成摄像头标定；

步骤2、标定基准点选取：

手动选取投影键盘的标定基准点，将手指依次按照左上、右上、左下、右下的顺序按在投影键盘的四个顶点位置，识别摄像头分别拍摄四张图片，利用阈值分割算法提取出指尖的光斑区域，并计算光斑区域的最小外接矩形的中心，作为指尖区域在图像中的坐标，即标定基准点的图像坐标；

步骤3、待标定键盘计算：

投影键盘整体尺寸和各个按键尺寸已知，投影键盘长x0，宽y0；在计算识别摄像头与投影键盘相对位置关系时，规定投影键盘左上顶点世界坐标为(x，y，z)，右上顶点世界坐标(x+x0，y，z)，左下顶点世界坐标(x，y+y0，z)，右下顶点世界坐标(x+x0，y+y0，z)，并以此四个坐标作为步骤2中四个标定基准点的世界坐标；

将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标定基准点在相机坐标系中的坐标，根据畸变模型计算标定基准点在相机坐标系下校正后的坐标；摄像机坐标系下的标定基准点坐标与标定基准点世界坐标为投影变换关系，根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程，最后解出方程中的未知系数即得到投影变换矩阵，所述的投影变换矩阵用来描述识别摄像头与投影键盘之间的相对位置关系；

根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个按键的世界系坐标，生成的键盘表。

步骤4、坐标匹配：

通过指尖对投影键盘进行操作，在投影键盘的投射装置底部设有红外激光器，用于对指尖进行光补偿；

在识别摄像头捕获到的图像中指尖反光区域亮度高于周围区域，采用阈值分割算法从识别摄像头所拍摄的图像中分割出指尖的反光区域，并计算指尖反光区域的质心的图像坐标；最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标，采用畸变模型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正，将校正后的指尖反光区域的质心摄像机坐标系下的坐标再乘以步骤1中标定的识别摄像头外参数矩阵得到指尖反光区质心的世界坐标，完成指尖区域的定位；

在步骤3生成的键盘表中进行查表，将按键坐标与指尖反光区质心的世界坐标进行匹配，实现投影键盘和鼠标的响应。

优选地，步骤3所述的根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个按键的世界系坐标的过程包括以下步骤：

投影键盘包括6排按键和所有按键右侧的鼠标区域；设投影键盘的6排按键分别设有n1、n2、n3、n4、n5和n6个按键，采用如下方式计算按键坐标：

第一排按键坐标计算：

第一排n1按键中的每个按键的宽度为x1，按键高度为h1，按键水平之间的间隙为d1，投影键盘左上顶点的世界坐标为(x，y，z)，第一排按键的左上顶点横坐标为(x1+d1)*(i1-1)，其中i1表示第一排按键的序号，第一排按键的左上顶点纵坐标均为0；第一排按键与第二排按键的距离为s1；

第二排按键坐标计算：

第二排前n2-1按键的宽度为x1，最后一个按键的宽度为x2＝，第二排所有按键的高度为h2，按键水平之间的间隙为d2；第二排按键左上顶点横坐标为(x1+d2)*(i2-1),其中i2表示第二排按键的序号，第二排按键的左上顶点纵坐标均为(h1+s1)；

根据第三排至第六排每个按键设计的长和宽，结合第二排按键坐标计算方案计算每个按键的世界坐标；

鼠标区域计算：

按照鼠标区域四个顶点的世界坐标计算鼠标区域。

优选地，步骤1中所述的识别摄像头是广角摄像头。

优选地，步骤1中计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程所述的畸变模型为Brown畸变模型。

优选地，步骤1中所述的计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程采用张正友标定算法实现。

优选地，步骤3中根据畸变模型计算标定基准点在相机坐标系下校正后的坐标所述的畸变模型为Brown畸变模型。

优选地，步骤3中所述的最后解出方程中的未知系数即得到投影变换矩阵的过程是利用牛顿法实现的。

优选地，所述识别摄像头装有滤光片；所述红外激光器发射的光线波长与滤光片的通过波长相一致。

优选地，所述的LED小灯板上的小灯共8行23列，灯与灯之间的水平间距和垂直间距均为15mm。

本发明具有以下有益效果：

利用本发明进行投影键盘的自动标定，能够节省一部分人工操作，不但节省了人力成本，同时也提高了标定效率，而且标定过程排除了人员不同导致的标定结果不同的问题，很大程度上避免了人工标定带来的误差。对投影键盘的标定准确率达到96％以上。

同时，所有投影键盘的标准一致，使带有投影键盘的装置参数等标准一致，有利于设备的自动化安装和校正，进一步保证了设备一致性和合格率。

附图说明

图1为识别摄像头拍摄的LED标定板图像；

图2为手指按在投影键盘的四个顶点左上位置时识别摄像头拍摄的指尖图像；

图3为手指按在投影键盘的四个顶点右上位置时识别摄像头拍摄的指尖图像；

图4为手指按在投影键盘的四个顶点左下位置时识别摄像头拍摄的指尖图像；

图5为手指按在投影键盘的四个顶点右下位置时识别摄像头拍摄的指尖图像；

图6为手动选取四点的投影键盘自动化标定过程示意图。

具体实施方式

具体实施方式一：结合图6说明本实施方式，

一种利用手动选取四点的投影键盘的自动化标定方法，包括：

步骤1、摄像头标定：

摄像头标定为识别摄像头的标定，识别摄像头与投影键盘的投射装置是一体的，用于进行指尖区域识别与定位；

标定采用定制的分布尺寸已知的LED小灯板作为LED标定板，利用识别摄像头拍摄一张LED标定板的图片，如图1所示，利用阈值分割算法检测LED标定板上的每个灯点，计算灯点的质心作为标定点在图像中的坐标，即标定点的图像坐标；同时由于LED标定板的尺寸已知，LED标定板上的每个灯点的世界坐标已知；根据已知的LED标定板上标定点的图像坐标和世界坐标，计算识别摄像头的内参数矩阵和畸变模型的畸变系数，即完成摄像头标定；

步骤2、标定基准点选取：

手动选取投影键盘的标定基准点，将手指依次按照左上、右上、左下、右下(在使用者的方向上，即与摄像头相对的方向上)的顺序按在投影键盘的四个顶点位置，识别摄像头分别拍摄四张图片，如图2至图5所示，利用阈值分割算法提取出指尖的光斑区域，并计算光斑区域的最小外接矩形的中心，作为指尖区域在图像中的坐标，即标定基准点的图像坐标；

步骤3、待标定键盘计算：

投影键盘整体尺寸和各个按键尺寸已知，投影键盘长x0＝357mm，宽y0＝101mm,，在计算识别摄像头与投影键盘相对位置关系时，规定投影键盘左上顶点世界坐标为(x，y，z)为(0,0,0)，右上顶点世界坐标(x+x0，y，z)为(357,0,0)，左下顶点世界坐标(x，y+y0，z)为(0,101,0)，右下顶点世界坐标(x+x0，y+y0，z)为(357,101,0)，并以此四个坐标作为步骤2中四个标定基准点的世界坐标；

将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标定基准点在相机坐标系中的坐标，根据畸变模型计算标定基准点在相机坐标系下校正后的坐标；此时摄像机坐标系下的标定基准点坐标与标定基准点世界坐标为投影变换关系，根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程，最后解出方程中的未知系数即得到投影变换矩阵，所述的投影变换矩阵用来描述识别摄像头与投影键盘之间的相对位置关系；

根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个按键的世界系坐标，生成的键盘表。

具体实施方式二：

一种利用手动选取四点的投影键盘的自动化标定方法，包括：

步骤1、摄像头标定：

摄像头标定为识别摄像头的标定，识别摄像头与投影键盘的投射装置是一体的，用于进行指尖区域识别与定位；

标定采用定制的分布尺寸已知的LED小灯板作为LED标定板，利用识别摄像头拍摄一张LED标定板的图片，如图1所示，利用阈值分割算法检测LED标定板上的每个灯点，计算灯点的质心作为标定点在图像中的坐标，即标定点的图像坐标；同时由于LED标定板的尺寸已知，LED标定板上的每个灯点的世界坐标已知；根据已知的LED标定板上标定点的图像坐标和世界坐标，计算识别摄像头的内参数矩阵和畸变模型的畸变系数，即完成摄像头标定；

步骤2、标定基准点选取：

手动选取投影键盘的标定基准点，将手指依次按照左上、右上、左下、右下(在使用者的方向上，即与摄像头相对的方向上)的顺序按在投影键盘的四个顶点位置，识别摄像头分别拍摄四张图片，如图2至图5所示，利用阈值分割算法提取出指尖的光斑区域，并计算光斑区域的最小外接矩形的中心，作为指尖区域在图像中的坐标，即标定基准点的图像坐标；

步骤3、待标定键盘计算：

投影键盘整体尺寸和各个按键尺寸已知，投影键盘长x0＝357mm，宽y0＝101mm,，在计算识别摄像头与投影键盘相对位置关系时，规定投影键盘左上顶点世界坐标为(x，y，z)为(0,0,0)，右上顶点世界坐标(x+x0，y，z)为(357,0,0)，左下顶点世界坐标(x，y+y0，z)为(0,101,0)，右下顶点世界坐标(x+x0，y+y0，z)为(357,101,0)，并以此四个坐标作为步骤2中四个标定基准点的世界坐标；

将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标定基准点在相机坐标系中的坐标，根据畸变模型计算标定基准点在相机坐标系下校正后的坐标；此时摄像机坐标系下的标定基准点坐标与标定基准点世界坐标为投影变换关系，根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程，最后解出方程中的未知系数即得到投影变换矩阵，所述的投影变换矩阵用来描述识别摄像头与投影键盘之间的相对位置关系；

根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个按键的世界系坐标，生成的键盘表。

步骤4、坐标匹配：

通过指尖对投影键盘进行操作，在投影键盘的投射装置底部设有红外激光器，用于对指尖进行光补偿，使得指尖在识别摄像头中的成像更加清晰；

在识别摄像头捕获到的图像中指尖反光区域亮度会明显高于周围区域，采用阈值分割算法从识别摄像头所拍摄的图像中分割出指尖的反光区域，并计算指尖反光区域的质心的图像坐标；最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标，由于识别摄像头为广角摄像头，采用Brown畸变模型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正，将校正后的指尖反光区域的质心摄像机坐标系下的坐标再乘以步骤1中标定的识别摄像头外参数矩阵得到指尖反光区质心的世界坐标，完成指尖区域的定位；

在步骤3生成的键盘表中进行查表，将按键坐标与指尖反光区质心的世界坐标进行匹配，实现投影键盘和鼠标的响应。

具体实施方式二：

本实施方式步骤3所述的根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个按键的世界系坐标的过程包括以下步骤：

投影键盘包括6排按键和所有按键右侧的鼠标区域；设投影键盘的6排按键分别设有n1、n2、n3、n4、n5和n6个按键，采用如下方式计算按键坐标：

第一排按键坐标计算：

第一排n1按键中的每个按键的宽度为x1，按键高度为h1，按键水平之间的间隙为d1，投影键盘左上顶点的世界坐标为(x，y，z)，第一排按键的左上顶点横坐标为(x1+d1)*(i1-1)，其中i1表示第一排按键的序号，第一排按键的左上顶点纵坐标均为0；第一排按键与第二排按键的距离为s1；

第二排按键坐标计算：

第二排前n2-1按键的宽度为x1，最后一个按键的宽度为x2＝，第二排所有按键的高度为h2，按键水平之间的间隙为d2；第二排按键左上顶点横坐标为(x1+d2)*(i2-1),其中i2表示第二排按键的序号，第二排按键的左上顶点纵坐标均为(h1+s1)；

根据第三排至第六排每个按键设计的长和宽，结合第二排按键坐标计算方案计算每个按键的世界坐标；

鼠标区域计算：

按照鼠标区域四个顶点的世界坐标计算鼠标区域。

例如投影键盘第一排有15个按键，第二排有14个按键，第三排有14个按键，第四排有13个按键，第五排有13个按键，第六排有10个按键；

a.第一排按键坐标计算

第一排按键的宽度为16.6mm，按键高度为11mm，按键水平之间的间隙为1.4mm，由于在前文在计算识别摄像头与投影键盘相对位置时规定左上顶点的世界坐标为(0,0,0)，因此第一排按键的左上顶点横坐标为(16.6+1.4)*(i1-1)，其中i1表示第一排按键的序号，i1大于等于1小于等于15，第一排按键的左上顶点纵坐标均为0；每排按键之间的距离为1.4mm；

b.第二排按键坐标计算

第二排前13个按键的宽度为16.6mm，第14个按键的宽度为34.6mm，第二排所有按键的高度为16.6mm，因此第二排按键左上顶点横坐标为(16.6+1.4)*(i2-1),其中i2表示第二排按键的序号，i2大于等于1小于等于14，第二排按键的左上顶点纵坐标均为12.4mm；

c.第三排按键坐标计算

第三排第1个按键和第14个按键的宽度为25.6mm，第2至第13个按键的宽度为16.6mm，第三排所有按键高度均为16.6mm，因此第三排第1个按键左上顶点横坐标为0，第2至第14个按键左上顶点的横坐标为25.6+1.4+(16.6+1.4)*(i3-2),其中i3表示第三排按键的序号，i3大于等于2小于等于14，第三排按键的左上顶点纵坐标均为30.4；

d.第四排按键坐标计算

第四排第1个按键的宽度为30.1mm，第13个按键的宽度为39.1mm，第2至第12个按键的宽度为16.6mm，第四排所有按键高度均为16.6mm，因此第四排第1个按键左上顶点横坐标为0，第2至第13个按键左上顶点横坐标为30.1+1.4+(16.6+1.4)*(i4-2),其中i4表示第四排按键的序号，i4大于等于2小于等于13，第四排按键的左上顶点纵坐标均为48.4；

e.第五排按键坐标计算

第五排第1个按键的宽度为39.1mm，第11个按键的宽度为21.1mm，第13个按键的宽度为25.6mm，第2至第10个按键和第12个按键的宽度为16.6mm，第五排所有按键高度均为16.6mm，因此第五排第1个按键左上顶点横坐标为0，第2至第11个按键左上顶点横坐标为39.1+1.4+(16.6+1.4)*(i5-2)，其中i5表示第五排按键的序号，i5大于等于2小于等于11，第12个按键左上顶点横坐标为39.1+1.4+(16.6+1.4)*9+(21.1+1.6)mm，第13个按键左上顶点横坐标为39.1+1.4+(16.6+1.4)*10+(21.1+1.6)mm，第五排按键左上顶点纵坐标为66.4；

f.第六排按键坐标计算

第六排第1个按键的宽度为25.6mm，第5个按键的宽度为88.6mm，第10个按键的宽度为25.6mm，第2至第4和第6至第9个按键的宽度为16.6mm，第六排所有按键的高度均为16.6mm，因此第六排第1个按键左上顶点横坐标为0，第2至第5个按键左上顶点横坐标为25.6+1.4+(16.6+1.4)*(i6-2),其中i6为第六排按键的序号，i6大于等于2小于等于5，第6至第9个按键左上顶点横坐标为25.6+1.4+(16.6+1.4)*3+88.6+(16.6+1.4)*(i7-6)，其中i7为第六排按键的序号，i7大于等于6小于等于9，第10个按键左上顶点横坐标为25.6+88.6+1.4*9+16.6*7，第六排按键左上顶点纵坐标为84.4；

g.鼠标区域计算

鼠标区域计算只需要给出鼠标区域四个顶点的世界坐标即可，按照鼠标区域左上顶点世界坐标为(270,0)，右上顶点世界坐标为(357,0)，左下顶点世界坐标为(270,101)，右下顶点世界坐标为(357,101)。

其他步骤和参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式步骤1中所述的识别摄像头是120度广角摄像头。

其他步骤和参数与具体实施方式一至三之一相同。

具体实施方式五：

本实施方式步骤1中计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程所述的畸变模型为Brown畸变模型。

其他步骤和参数与具体实施方式一至四之一相同。

具体实施方式六：

本实施方式步骤1中所述的计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程采用张正友标定算法实现，即采用张正友标定算法计算识别摄像头的内参数矩阵和畸变模型的畸变系数，即完成摄像头标定。

其他步骤和参数与具体实施方式一至五之一相同。

具体实施方式七：

本实施方式步骤3中根据畸变模型计算标定基准点在相机坐标系下校正后的坐标所述的畸变模型为Brown畸变模型。由于识别摄像头是120度广角摄像头，存在畸变，所以根据Brown畸变模型计算标定基准点在相机坐标系下校正后的坐标。

其他步骤和参数与具体实施方式一至六之一相同。

具体实施方式八：

本实施方式步骤3中所述的最后解出方程中的未知系数即得到投影变换矩阵的过程是利用牛顿法实现的。

其他步骤和参数与具体实施方式一至七之一相同。

具体实施方式九：

本实施方式所述识别摄像头装有滤光片，滤波片的作用是只能使特定波长范围内的光线可以被捕获到，可以滤除环境光的干扰；所述红外激光器发射的光线波长与滤光片的通过波长相一致。

其他步骤和参数与具体实施方式一至八之一相同。

具体实施方式十：

本实施方式所述的LED小灯板上的小灯共8行23列，灯与灯之间的水平间距和垂直间距均为15mm。

其他步骤和参数与具体实施方式一至九之一相同。

Claims (10)

1.一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，包括：

步骤1、摄像头标定：

摄像头标定为识别摄像头的标定，识别摄像头与投影键盘的投射装置是一体的，用于进行指尖区域识别与定位；

标定采用定制的分布尺寸已知的LED小灯板作为LED标定板，利用识别摄像头拍摄一张LED标定板的图片，利用阈值分割算法检测LED标定板上的每个灯点，计算灯点的质心作为标定点在图像中的坐标，即标定点的图像坐标；同时由于LED标定板的尺寸已知，LED标定板上的每个灯点的世界坐标已知；根据已知的LED标定板上标定点的图像坐标和世界坐标，计算识别摄像头的内参数矩阵和畸变模型的畸变系数，即完成摄像头标定；

步骤2、标定基准点选取：

手动选取投影键盘的标定基准点，将手指依次按照左上、右上、左下、右下的顺序按在投影键盘的四个顶点位置，识别摄像头分别拍摄四张图片，利用阈值分割算法提取出指尖的光斑区域，并计算光斑区域的最小外接矩形的中心，作为指尖区域在图像中的坐标，即标定基准点的图像坐标；

步骤3、待标定键盘计算：

投影键盘整体尺寸和各个按键尺寸已知，投影键盘长x0，宽y0；在计算识别摄像头与投影键盘相对位置关系时，规定投影键盘左上顶点世界坐标为(x，y，z)，右上顶点世界坐标(x+x0，y，z)，左下顶点世界坐标(x，y+y0，z)，右下顶点世界坐标(x+x0，y+y0，z)，并以此四个坐标作为步骤2中四个标定基准点的世界坐标；

将步骤2中标定基准点的图像坐标与步骤1中识别摄像头的内参数矩阵相乘得到标定基准点在相机坐标系中的坐标，根据畸变模型计算标定基准点在相机坐标系下校正后的坐标；摄像机坐标系下的标定基准点坐标与标定基准点世界坐标为投影变换关系，根据投影变换关系建立四个标定基准点从摄像机坐标到世界坐标系的变换方程，最后解出方程中的未知系数即得到投影变换矩阵，所述的投影变换矩阵用来描述识别摄像头与投影键盘之间的相对位置关系；

根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个按键的世界系坐标，生成的键盘表。

2.根据权利要求1所述的一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，还包括：

步骤4、坐标匹配：

通过指尖对投影键盘进行操作，在投影键盘的投射装置底部设有红外激光器，用于对指尖进行光补偿；

在识别摄像头捕获到的图像中指尖反光区域亮度高于周围区域，采用阈值分割算法从识别摄像头所拍摄的图像中分割出指尖的反光区域，并计算指尖反光区域的质心的图像坐标；最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标，采用畸变模型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正，将校正后的指尖反光区域的质心摄像机坐标系下的坐标再乘以步骤1中标定的识别摄像头外参数矩阵得到指尖反光区质心的世界坐标，完成指尖区域的定位；

在步骤3生成的键盘表中进行查表，将按键坐标与指尖反光区质心的世界坐标进行匹配，实现投影键盘和鼠标的响应。

3.根据权利要求1或2所述的一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，步骤3所述的根据投影键盘整体尺寸、各个按键尺寸以及四个标定基准点的世界坐标系计算各个按键的世界系坐标的过程包括以下步骤：

投影键盘包括6排按键和所有按键右侧的鼠标区域；设投影键盘的6排按键分别设有n1、n2、n3、n4、n5和n6个按键，采用如下方式计算按键坐标：

第一排按键坐标计算：

第一排n1按键中的每个按键的宽度为x1，按键高度为h1，按键水平之间的间隙为d1，投影键盘左上顶点的世界坐标为(x，y，z)，第一排按键的左上顶点横坐标为(x1+d1)*(i1-1)，其中i1表示第一排按键的序号，第一排按键的左上顶点纵坐标均为0；第一排按键与第二排按键的距离为s1；

第二排按键坐标计算：

第二排前n2-1按键的宽度为x1，最后一个按键的宽度为x2＝，第二排所有按键的高度为h2，按键水平之间的间隙为d2；第二排按键左上顶点横坐标为(x1+d2)*(i2-1),其中i2表示第二排按键的序号，第二排按键的左上顶点纵坐标均为(h1+s1)；

根据第三排至第六排每个按键设计的长和宽，结合第二排按键坐标计算方案计算每个按键的世界坐标；

鼠标区域计算：

按照鼠标区域四个顶点的世界坐标计算鼠标区域。

4.根据权利要求3所述的一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，步骤1中所述的识别摄像头是广角摄像头。

5.根据权利要求4所述的一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，步骤1中计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程所述的畸变模型为Brown畸变模型。

6.根据权利要求5所述的一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，步骤1中所述的计算识别摄像头的内参数矩阵和畸变模型的畸变系数的过程采用张正友标定算法实现。

7.根据权利要求6所述的一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，步骤3中根据畸变模型计算标定基准点在相机坐标系下校正后的坐标所述的畸变模型为Brown畸变模型。

8.根据权利要求7所述的一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，步骤3中所述的最后解出方程中的未知系数即得到投影变换矩阵的过程是利用牛顿法实现的。

9.根据权利要求8所述的一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，所述识别摄像头装有滤光片；所述红外激光器发射的光线波长与滤光片的通过波长相一致。

10.根据权利要求9所述的一种利用手动选取四点的投影键盘的自动化标定方法，其特征在于，所述的LED小灯板上的小灯共8行23列，灯与灯之间的水平间距和垂直间距均为15mm。