CN107657642B - 一种利用外部摄像头进行投影键盘的自动化标定方法 - Google Patents
一种利用外部摄像头进行投影键盘的自动化标定方法 Download PDFInfo
- Publication number
- CN107657642B CN107657642B CN201710750911.XA CN201710750911A CN107657642B CN 107657642 B CN107657642 B CN 107657642B CN 201710750911 A CN201710750911 A CN 201710750911A CN 107657642 B CN107657642 B CN 107657642B
- Authority
- CN
- China
- Prior art keywords
- keyboard
- button
- camera
- coordinate
- datum mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
一种利用外部摄像头进行投影键盘的自动化标定方法，涉及一种投影键盘的自动化标定方法。为了解决目前的标定方法存在费时费力的问题，同时存在较大的标定误差的问题。本发明通过治具顶部摄像头和识别摄像头拍摄LED标定板的图片，计算摄像头的内参数矩阵、外参数矩阵和畸变系数；利用治具顶部摄像头拍摄一幅参考键盘图像，根据参考键盘及待标定投影键盘得到仿射变换关系得到待标定键盘上基准点的图像坐标，根据摄像头的内参数矩阵计算待标定键盘基准点在相机坐标系下的坐标并根据摄像头畸变模型得到校正坐标，然后计算得到待标定键盘基准点的世界坐标并根据待标定键盘每个基准点的世界坐标计算对应的按键坐标。本发明适用于投影键盘的自动化标定。
Description
技术领域
本发明涉及一种投影键盘的自动化标定方法。
背景技术
输入设备(键盘、鼠标)是计算机设备或者其他智能设备的人机交互的重要工具，随着计算机设备或者可穿戴智能设备的微型化，诸多电子领域的产品将输入设备做到小型化甚至微型化，但是输入设备越小给人们造成输入不方便的麻烦，但是仍然不能满足移动、便携的需求，目前已经有一些计算机设备或者可穿戴智能设备采用了投影键盘作为输入设备。
但是投影键盘的标定工作任然存在诸多问题，目前对于投影键盘的标定基本上都是采用人工手动标定，实际标定过程中，由于识别摄像头和投影键盘模组的安装和物料的一致性问题，使得对于每一个投影键盘都要进行标定，因此在标定过程中需要投入大量的人力成本和时间成本；同时由于采用人工手动标定，不同的人员进行标定必定会使标定结果不同，带来误差，使得键盘标定的准确性受到影响。例如，每个人的手指大小不同，会导致指尖坐标提取的不一致，会导致标定结果的准确性下降。
发明内容
本发明为了解决目前的标定方法存在费时费力的问题，同时存在较大的标定误差的问题。
一种利用外部摄像头进行投影键盘的自动化标定方法，包括：
步骤1、摄像头标定：
摄像头标定共分为两个部分，分别是治具顶部摄像头标定和识别摄像头标定，其中治具顶部摄像头是投影键盘标定治具自带的，用于测量投影键盘尺寸；识别摄像头与投影键盘的投射装置是一体的，用于进行指尖区域识别与定位；
标定采用分布尺寸已知的LED小灯板作为LED标定板，利用LED标定板进行治具顶部摄像头的内外参数及畸变系数标定；识别摄像头标定也采用所述的LED标定板；且识别摄像头的世界坐标与治具顶部摄像头的世界坐标为同一个世界坐标系；
利用治具顶部摄像头和识别摄像头分别拍摄一张LED标定板的图片，利用阈值分割算法检测LED标定板上的每个灯点，计算灯点的质心作为标定点在图像中的坐标，即标定点的图像坐标；根据已知的LED标定板上标定点的图像坐标和世界坐标，计算治具顶部摄像头和识别摄像头的内参数矩阵、外参数矩阵和Brown畸变模型的畸变系数，即完成摄像头标定；
步骤2、参考键盘的计算：
选取一台参考样机的投影键盘作为参考键盘，利用治具顶部摄像头拍摄一幅参考键盘图像，手动点取投影键盘的基准点，所述基准点包括每个按键的左上角顶点、最后一行每个按键的左下角顶点、最后一列每个按键的右上角顶点、最后一行按键最后一个按键的的右下角顶点，及鼠标区域的右上角和右下角顶点，同时记录基准点的图像坐标；
步骤3、仿射变换点选取：
利用治具顶部摄像头拍摄一张待标定投影键盘图像，利用canny算子进行边缘检测，检测出图像中投影键盘的边缘，在二值图像中采用逐行扫描的方式找到投影键盘的四个顶点的图像坐标；
步骤4、仿射变换矩阵计算：
根据步骤2中参考键盘的整个键盘四个角对应的四个顶点的图像坐标及步骤3中自动化检测出的待标定投影键盘的四个顶点的图像坐标列出仿射变换关系方程，解仿射变换关系方程得到仿射变换关系矩阵，即能够得到待标定键盘相对于参考键盘的位置变化关系；
步骤5、待标定键盘计算：
将步骤2中的参考键盘基准点的图像坐标与步骤4中的仿射变换矩阵依次相乘得到待标定键盘上所对应的基准点的图像坐标，记为待标定键盘基准点的图像坐标；
将待标定键盘基准点的图像坐标与步骤1中治具顶部摄像头的内参数矩阵相乘得到待标定键盘基准点的摄像机坐标系坐标，由于此时的待标定键盘基准点在摄像机坐标系下的坐标为畸变的，根据摄像头畸变的Brown畸变模型计算得到待标定键盘基准点在摄像机坐标系下的校正坐标，最后将待标定键盘基准点在摄像机坐标系下的校正坐标乘以摄像头的外参数矩阵得到待标定键盘基准点的世界坐标；
根据待标定键盘每个基准点的世界坐标计算对应的按键坐标，生成的键盘表。
步骤6、坐标匹配：
通过指尖对投影键盘进行操作，在投影键盘的投射装置底部设有红外激光器，用于对指尖进行光补偿；
在识别摄像头捕获到的图像中指尖反光区域亮度高于周围区域，采用阈值分割算法从识别摄像头所拍摄的图像中分割出指尖的反光区域，并计算指尖反光区域的质心的图像坐标；最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标，采用Brown畸变模型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正，将校正后的指尖反光区域的质心摄像机坐标系下的坐标再乘以步骤1中标定的识别摄像头外参数矩阵得到指尖反光区质心的世界坐标，完成指尖区域的定位；
在步骤5生成的键盘表中进行查表，将按键坐标与指尖反光区质心的世界坐标进行匹配，实现投影键盘和鼠标的响应。
优选地，步骤5中所述的根据待标定键盘每个基准点的世界坐标计算对应的按键坐标的具体过程包括以下步骤：
根据待标定键盘基准点对应投影键盘按键，投影键盘按键坐标描述以每个按键左上角顶点的世界坐标为基准，根据按键的宽度和长度，得到投影键盘按键坐标。
优选地，，步骤5中所述的以每个按键左上角顶点的世界坐标为基准，根据按键的宽度和长度得到投影键盘按键坐标包括以下步骤：
获得待标定键盘基准点的世界坐标后，投影键盘包括6排按键和所有按键右侧的鼠标区域；设投影键盘的6排按键分别设有n1、n2、n3、n4、n5和n6个按键，采用如下方式计算按键坐标：
第一排按键坐标计算：
第一排前n1-1个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去右侧相邻按键左上角顶点对应基准点的世界坐标横坐标得到，第n1个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去该按键右上角顶点对应基准点的世界坐标横坐标得到；
第一排第i个按键的高度由第二排按键中距离该按键最近的按键左上角顶点对应基准点的世界坐标纵坐标减去第一排该按键左上角顶点对应基准点的世界坐标纵坐标得到， i＝1，2，3，…，n1-1；第一排最后一个按键的高度由第二排第最后一个按键右上角顶点对应基准点的世界坐标纵坐标减去第一排最后一个按键的右上角顶点对应基准点的世界坐标纵坐标得到；
第二排至第五排按键坐标计算与第一排按键坐标计算方法相同；
第六排按键坐标计算：
第六排前n6-1个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去相邻右侧按键左上角顶点对应基准点的世界坐标横坐标得到，第n6个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去该按键右上角顶点对应基准点的世界坐标横坐标得到；第六排按键的高度由第六排每个按键左下角顶点对应基准点的世界坐标纵坐标减去第六排按键左上角顶点对应基准点的世界坐标纵坐标得到；
鼠标区域按键坐标计算：
鼠标区域按键坐标计算通过描述该鼠标区域的四个角的顶点对应基准点的世界坐标坐标实现。
优选地，步骤1中所述 的计算治具顶部摄像头和识别摄像头的内参数矩阵、外参数矩阵和Brown畸变模型的畸变系数的过程采用张正友标定算法实现。
优选地，步骤4中所述解仿射变换关系方程得到仿射变换关系矩阵的过程采用牛顿法实现。
优选地，所述的识别摄像头为广角摄像头。
优选地，所述识别摄像头装有滤光片；所述红外激光器发射的光线波长与滤光片的通过波长相一致。
优选地，所述的LED小灯板上的小灯共8行23列，灯与灯之间的水平间距和垂直间距均为15mm。
本发明具有以下有益效果：
利用本发明进行投影键盘的自动标定，嫩够避免98％以上的人工操作，不但节省了人力成本，同时也提高了标定效率，而且标定过程排除了人员不同导致的标定结果不同的问题，几乎百分之百的避免了人工标定带来的误差。所有投影键盘的标准一致，使带有投影键盘的装置参数等标准一致，有利于设备的自动化安装和校正，进一步保证了设备一致性和合格率。
附图说明
图1为治具顶部摄像头拍摄的LED标定板图像；
图2为识别摄像头所拍摄的LED标定板图像；
图3为参考键盘基准点选取示意图；
图4为标定过程示意图。
具体实施方式
具体实施方式一：结合图4说明本实施方式，
一种利用外部摄像头进行投影键盘的自动化标定方法，包括：
步骤1、摄像头标定：
摄像头标定共分为两个部分，分别是治具顶部摄像头标定和识别摄像头标定，其中治具顶部摄像头是投影键盘标定治具自带的，用于测量投影键盘尺寸；识别摄像头与投影键盘的投射装置是一体的，用于进行指尖区域识别与定位；
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板，利用LED标定板进行治具顶部摄像头的内外参数及畸变系数标定，用于后期的投影键盘的计算；识别摄像头标定也采用所述的LED标定板；且识别摄像头的世界坐标与治具顶部摄像头的世界坐标为同一个世界坐标系，方便后续的键盘坐标与指尖坐标的匹配；
利用治具顶部摄像头和识别摄像头分别拍摄一张LED标定板的图片，分别如图1和图2所示，利用阈值分割算法检测LED标定板上的每个灯点，计算灯点的质心作为标定点在图像中的坐标，即标定点的图像坐标；同时由于LED标定板的尺寸已知，LED标定板上的每个灯点的世界坐标已知；根据已知的LED标定板上标定点的图像坐标和世界坐标，计算治具顶部摄像头和识别摄像头的内参数矩阵、外参数矩阵和Brown畸变模型的畸变系数，即完成摄像头标定；
步骤2、参考键盘的计算：
选取一台参考样机的投影键盘作为参考键盘，利用治具顶部摄像头拍摄一幅参考键盘图像，手动点取投影键盘的基准点，所述基准点包括每个按键的左上角顶点、最后一行每个按键的左下角顶点、最后一列每个按键的右上角顶点、最后一行按键最后一个按键的(右方向键)的右下角顶点，及鼠标区域的右上角和右下角顶点，如图3所示，同时记录基准点的图像坐标(基准点的在图像中的坐标)；
步骤3、仿射变换点选取：
利用治具顶部摄像头拍摄一张待标定投影键盘图像，利用canny算子进行边缘检测，检测出图像中投影键盘的边缘，在二值图像中采用逐行扫描的方式找到投影键盘的四个顶点的图像坐标；
步骤4、仿射变换矩阵计算：
根据步骤2中参考键盘的整个键盘四个角对应的四个顶点的图像坐标及步骤3中自动化检测出的待标定投影键盘的四个顶点的图像坐标列出仿射变换关系方程，解仿射变换关系方程得到仿射变换关系矩阵，即能够得到待标定键盘相对于参考键盘的位置变化关系；
步骤5、待标定键盘计算：
仿射变换矩阵是根据参考键盘四个顶点和待标定投影键盘四个顶点的图像坐标计算得到的，因此该仿射变换关系对于参考键盘其他基准点的图像坐标同样适用，将步骤2中的参考键盘基准点的图像坐标与步骤4中的仿射变换矩阵依次相乘得到待标定键盘上所对应的基准点的图像坐标，记为待标定键盘基准点的图像坐标；
将待标定键盘基准点的图像坐标与步骤1中治具顶部摄像头的内参数矩阵相乘得到待标定键盘基准点的摄像机坐标系坐标，由于此时的待标定键盘基准点在摄像机坐标系下的坐标为畸变的，根据摄像头畸变的Brown畸变模型计算得到待标定键盘基准点在摄像机坐标系下的校正坐标，最后将待标定键盘基准点在摄像机坐标系下的校正坐标乘以摄像头的外参数矩阵得到待标定键盘基准点的世界坐标；
根据待标定键盘每个基准点的世界坐标计算对应的按键坐标，生成的键盘表。
具体实施方式二：
一种利用外部摄像头进行投影键盘的自动化标定方法，包括：
步骤1、摄像头标定：
摄像头标定共分为两个部分，分别是治具顶部摄像头标定和识别摄像头标定，其中治具顶部摄像头是投影键盘标定治具自带的，用于测量投影键盘尺寸；识别摄像头与投影键盘的投射装置是一体的，用于进行指尖区域识别与定位；
标定采用定制的分布尺寸已知的LED小灯板作为LED标定板，利用LED标定板进行治具顶部摄像头的内外参数及畸变系数标定，用于后期的投影键盘的计算；识别摄像头标定也采用所述的LED标定板；且识别摄像头的世界坐标与治具顶部摄像头的世界坐标为同一个世界坐标系，方便后续的键盘坐标与指尖坐标的匹配；
利用治具顶部摄像头和识别摄像头分别拍摄一张LED标定板的图片，分别如图1和图2所示，利用阈值分割算法检测LED标定板上的每个灯点，计算灯点的质心作为标定点在图像中的坐标，即标定点的图像坐标；同时由于LED标定板的尺寸已知，LED标定板上的每个灯点的世界坐标已知；根据已知的LED标定板上标定点的图像坐标和世界坐标，计算治具顶部摄像头和识别摄像头的内参数矩阵、外参数矩阵和Brown畸变模型的畸变系数，即完成摄像头标定；
步骤2、参考键盘的计算：
选取一台参考样机的投影键盘作为参考键盘，利用治具顶部摄像头拍摄一幅参考键盘图像，手动点取投影键盘的基准点，所述基准点包括每个按键的左上角顶点、最后一行每个按键的左下角顶点、最后一列每个按键的右上角顶点、最后一行按键最后一个按键的(右方向键)的右下角顶点，及鼠标区域的右上角和右下角顶点，如图3所示，同时记录基准点的图像坐标(基准点的在图像中的坐标)；
步骤3、仿射变换点选取：
利用治具顶部摄像头拍摄一张待标定投影键盘图像，利用canny算子进行边缘检测，检测出图像中投影键盘的边缘，在二值图像中采用逐行扫描的方式找到投影键盘的四个顶点的图像坐标；
步骤4、仿射变换矩阵计算：
根据步骤2中参考键盘的整个键盘四个角对应的四个顶点的图像坐标及步骤3中自动化检测出的待标定投影键盘的四个顶点的图像坐标列出仿射变换关系方程，解仿射变换关系方程得到仿射变换关系矩阵，即能够得到待标定键盘相对于参考键盘的位置变化关系；
步骤5、待标定键盘计算：
仿射变换矩阵是根据参考键盘四个顶点和待标定投影键盘四个顶点的图像坐标计算得到的，因此该仿射变换关系对于参考键盘其他基准点的图像坐标同样适用，将步骤2中的参考键盘基准点的图像坐标与步骤4中的仿射变换矩阵依次相乘得到待标定键盘上所对应的基准点的图像坐标，记为待标定键盘基准点的图像坐标；
将待标定键盘基准点的图像坐标与步骤1中治具顶部摄像头的内参数矩阵相乘得到待标定键盘基准点的摄像机坐标系坐标，由于此时的待标定键盘基准点在摄像机坐标系下的坐标为畸变的，根据摄像头畸变的Brown畸变模型计算得到待标定键盘基准点在摄像机坐标系下的校正坐标，最后将待标定键盘基准点在摄像机坐标系下的校正坐标乘以摄像头的外参数矩阵得到待标定键盘基准点的世界坐标；
根据待标定键盘每个基准点的世界坐标计算对应的按键坐标，生成的键盘表。
步骤6、坐标匹配：
通过指尖对投影键盘进行操作，在投影键盘的投射装置底部设有红外激光器，用于对指尖进行光补偿，使得指尖在识别摄像头中的成像更加清晰；
在识别摄像头捕获到的图像中指尖反光区域亮度会明显高于周围区域，采用阈值分割算法从识别摄像头所拍摄的图像中分割出指尖的反光区域，并计算指尖反光区域的质心的图像坐标；最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标，由于识别摄像头为广角摄像头，采用Brown畸变模型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正，将校正后的指尖反光区域的质心摄像机坐标系下的坐标再乘以步骤1中标定的识别摄像头外参数矩阵得到指尖反光区质心的世界坐标，完成指尖区域的定位；
在步骤5生成的键盘表中进行查表，将按键坐标与指尖反光区质心的世界坐标进行匹配，实现投影键盘和鼠标的响应。
具体实施方式三：
本实施方式步骤5中所述的根据待标定键盘每个基准点的世界坐标计算对应的按键坐标的具体过程包括以下步骤：
根据待标定键盘基准点对应投影键盘按键，投影键盘按键坐标描述以每个按键左上角顶点(对应待标定键盘基准点)的世界坐标为基准，根据按键的宽度和长度，得到投影键盘按键坐标。
其他步骤和参数与具体实施方式一或二相同。
具体实施方式四：
本实施方式步骤5中所述的以每个按键左上角顶点的世界坐标为基准，根据按键的宽度和长度得到投影键盘按键坐标包括以下步骤：
获得待标定键盘基准点的世界坐标后，投影键盘包括6排按键和所有按键右侧的鼠标区域；设投影键盘的6排按键分别设有n1、n2、n3、n4、n5和n6个按键，采用如下方式计算按键坐标：
第一排按键坐标计算：
第一排前n1-1个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去右侧相邻按键左上角顶点对应基准点的世界坐标横坐标得到，第n1个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去该按键右上角顶点对应基准点的世界坐标横坐标得到；
第一排第i个按键的高度由第二排按键中距离该按键最近的按键左上角顶点对应基准点的世界坐标纵坐标减去第一排该按键左上角顶点对应基准点的世界坐标纵坐标得到， i＝1，2，3，…，n1-1；第一排最后一个按键的高度由第二排第最后一个按键右上角顶点对应基准点的世界坐标纵坐标减去第一排最后一个按键的右上角顶点对应基准点的世界坐标纵坐标得到；
第二排至第五排按键坐标计算与第一排按键坐标计算方法相同；
第六排按键坐标计算：
第六排前n6-1个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去相邻右侧按键左上角顶点对应基准点的世界坐标横坐标得到，第n6个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去该按键右上角顶点对应基准点的世界坐标横坐标得到；第六排按键的高度由第六排每个按键左下角顶点对应基准点的世界坐标纵坐标减去第六排按键左上角顶点对应基准点的世界坐标纵坐标得到；
鼠标区域按键坐标计算：
鼠标区域按键坐标计算通过描述该鼠标区域的四个角的顶点对应基准点的世界坐标坐标实现。
例如图3中的投影键盘，第一排有15个按键，第二排有14个按键，第三排有14个按键，第四排有13个按键，第五排有13个按键，第六排有10个按键；
(1)第一排按键坐标计算：
第一排前14个按键的宽度由该按键左上角顶点横坐标减去右侧相邻按键左上角顶点横坐标得到，第15个按键的宽度由该按键左上角顶点横坐标减去该按键右上角顶点横坐标得到；第一排前14个按键的高度由第二排按键左上角顶点纵坐标减去第一排前14个按键左上角顶点纵坐标得到，第15个按键的高度由第二排第14个按键右上角顶点纵坐标减去第一排第15个按键的左上角顶点纵坐标得到；
(2)第二排按键坐标计算
第二排前13个按键的宽度由该按键左上角顶点横坐标减去相邻右侧相邻按键左上角顶点横坐标得到，第14个按键的宽度由该按键左上角顶点横坐标减去该按键右上角顶点横坐标得到；第二排按键的高度由第三排按键左上角顶点纵坐标减去第二排按键左上角顶点纵坐标得到；
(3)第三排按键坐标计算
第三排前13个按键的宽度由该按键左上角顶点横坐标减去相邻右侧按键左上角顶点横坐标得到，第14个按键的宽度由该按键左上角顶点横坐标减去该按键右上角顶点横坐标得到；第三排前13个按键的高度由第四排按键左上角顶点纵坐标减去第三排按键左上角顶点纵坐标得到，第14个按键的高度由第四排第13个按键右上角顶点纵坐标减去该按键左上角顶点纵坐标得到；
(4)第四排按键坐标计算
第四排前12个按键的宽度由该按键左上角顶点横坐标减去相邻右侧按键左上角顶点横坐标得到，第13个按键的宽度由该按键左上角顶点横坐标减去该按键右上角顶点横坐标得到；第四排按键的高度由第五排按键左上角顶点纵坐标减去第四排按键左上角顶点纵坐标得到；
(5)第五排按键坐标计算
第五排前12个按键的宽度由该按键左上角顶点横坐标减去相邻右侧按键左上角顶点横坐标得到，第13个按键的宽度由该按键左上角顶点横坐标减去该按键右上角顶点横坐标得到；第五排前5个按键的高度由第六排前5个按键的左上角顶点纵坐标减去第五排前五个按键左上角顶点纵坐标得到，第6个按键的高度由第六排第5个按键左上角顶点纵坐标减去第五排第6个按键左上角顶点纵坐标得到，第7个按键的高度由第六排第6个按键左上角顶点纵坐标减去第五排第7个按键左上角顶点纵坐标得到，第8个按键的高度由第六排第6个按键左上角顶点纵坐标减去第五排第8个按键左上角顶点纵坐标得到，第9 到第13个按键的高度由第六排第6个按键到第10个按键左上角顶点纵坐标减去第五排第 9到第13个按键的左上角顶点纵坐标得到；
(6)第六排按键坐标计算
第六排前9个按键的宽度由该按键左上角顶点横坐标减去相邻右侧按键左上角顶点横坐标得到，第10个按键的宽度由该按键左上角顶点横坐标减去该按键右上角顶点横坐标得到；第六排按键的高度由第六排按键左下角顶点纵坐标减去第六排按键左上角顶点纵坐标得到；
(7)鼠标区域的计算
鼠标区域的计算只需要计算出可以描述该区域的四个顶点的坐标即可，其中鼠标右上角顶点和右下角顶点坐标在选取基准点时已经标注，左上角顶点坐标采用第一排第15个按键右上角顶点坐标，左下角顶点坐标采用第六排第10个按键右下角顶点坐标。
其他步骤和参数与具体实施方式一至三之一相同。
具体实施方式五：
本实施方式步骤1中所述 的计算治具顶部摄像头和识别摄像头的内参数矩阵、外参数矩阵和Brown畸变模型的畸变系数的过程采用张正友标定算法实现，即采用张正友标定算法计算治具顶部摄像头和识别摄像头的内参数矩阵、外参数矩阵和Brown畸变模型的畸变系数，即完成摄像头标定。
其他步骤和参数与具体实施方式一至四之一相同。
具体实施方式六：
本实施方式步骤4中所述解仿射变换关系方程得到仿射变换关系矩阵的过程采用牛顿法实现，即采用牛顿法解仿射变换关系方程得到仿射变换关系矩阵，即能够得到待标定键盘相对于参考键盘的位置变化关系。
其他步骤和参数与具体实施方式一至五之一相同。
具体实施方式七：
本实施方式所述的识别摄像头为120°广角摄像头。
其他步骤和参数与具体实施方式一至六之一相同。
具体实施方式八：
本实施方式所述识别摄像头装有滤光片，滤波片的作用是只能使特定波长范围内的光线可以被捕获到，可以滤除环境光的干扰；所述红外激光器发射的光线波长与滤光片的通过波长相一致。
其他步骤和参数与具体实施方式一至七之一相同。
具体实施方式九：
本实施方式所述的LED小灯板上的小灯共8行23列，灯与灯之间的水平间距和垂直间距均为15mm。
其他步骤和参数与具体实施方式一至八之一相同。
Claims (8)
1.一种利用外部摄像头进行投影键盘的自动化标定方法，其特征在于，包括：
步骤1、摄像头标定：
摄像头标定共分为两个部分，分别是治具顶部摄像头标定和识别摄像头标定，其中治具顶部摄像头是投影键盘标定治具自带的，用于测量投影键盘尺寸；识别摄像头与投影键盘的投射装置是一体的，用于进行指尖区域识别与定位；
标定采用分布尺寸已知的LED小灯板作为LED标定板，利用LED标定板进行治具顶部摄像头的内外参数及畸变系数标定；识别摄像头标定也采用所述的LED标定板；且识别摄像头的世界坐标与治具顶部摄像头的世界坐标为同一个世界坐标系；
利用治具顶部摄像头和识别摄像头分别拍摄一张LED标定板的图片，利用阈值分割算法检测LED标定板上的每个灯点，计算灯点的质心作为标定点在图像中的坐标，即标定点的图像坐标；根据已知的LED标定板上标定点的图像坐标和世界坐标，计算治具顶部摄像头和识别摄像头的内参数矩阵、外参数矩阵和Brown畸变模型的畸变系数，即完成摄像头标定；
步骤2、参考键盘的计算：
选取一台参考样机的投影键盘作为参考键盘，利用治具顶部摄像头拍摄一幅参考键盘图像，手动点取投影键盘的基准点，所述基准点包括每个按键的左上角顶点、最后一行每个按键的左下角顶点、最后一列每个按键的右上角顶点、最后一行按键最后一个按键的的右下角顶点，及鼠标区域的右上角和右下角顶点，同时记录基准点的图像坐标；
步骤3、仿射变换点选取：
利用治具顶部摄像头拍摄一张待标定投影键盘图像，利用canny算子进行边缘检测，检测出图像中投影键盘的边缘，在二值图像中采用逐行扫描的方式找到投影键盘的四个顶点的图像坐标；
步骤4、仿射变换矩阵计算：
根据步骤2中参考键盘的整个键盘四个角对应的四个顶点的图像坐标及步骤3中自动化检测出的待标定投影键盘的四个顶点的图像坐标列出仿射变换关系方程，解仿射变换关系方程得到仿射变换关系矩阵，即能够得到待标定键盘相对于参考键盘的位置变化关系；
步骤5、待标定键盘计算：
将步骤2中的参考键盘基准点的图像坐标与步骤4中的仿射变换矩阵依次相乘得到待标定键盘上所对应的基准点的图像坐标，记为待标定键盘基准点的图像坐标；
将待标定键盘基准点的图像坐标与步骤1中治具顶部摄像头的内参数矩阵相乘得到待标定键盘基准点的摄像机坐标系坐标，由于此时的待标定键盘基准点在摄像机坐标系下的坐标为畸变的，根据摄像头畸变的Brown畸变模型计算得到待标定键盘基准点在摄像机坐标系下的校正坐标，最后将待标定键盘基准点在摄像机坐标系下的校正坐标乘以摄像头的外参数矩阵得到待标定键盘基准点的世界坐标；
根据待标定键盘每个基准点的世界坐标计算对应的按键坐标，生成的键盘表；
步骤6、坐标匹配：
通过指尖对投影键盘进行操作，在投影键盘的投射装置底部设有红外激光器，用于对指尖进行光补偿；
在识别摄像头捕获到的图像中指尖反光区域亮度高于周围区域，采用阈值分割算法从识别摄像头所拍摄的图像中分割出指尖的反光区域，并计算指尖反光区域的质心的图像坐标；最后将指尖反光区域质心的图像坐标与步骤1中标定的识别摄像头内参数矩阵相乘得到指尖反光区域的质心在识别摄像机坐标系下的坐标，采用Brown畸变模型对指尖反光区域的质心的摄像机坐标系下的坐标进行校正，将校正后的指尖反光区域的质心摄像机坐标系下的坐标再乘以步骤1中标定的识别摄像头外参数矩阵得到指尖反光区质心的世界坐标，完成指尖区域的定位；
在步骤5生成的键盘表中进行查表，将按键坐标与指尖反光区质心的世界坐标进行匹配，实现投影键盘和鼠标的响应。
2.根据权利要求1所述的一种利用外部摄像头进行投影键盘的自动化标定方法，其特征在于，步骤5中所述的根据待标定键盘每个基准点的世界坐标计算对应的按键坐标的具体过程包括以下步骤：
根据待标定键盘基准点对应投影键盘按键，投影键盘按键坐标描述以每个按键左上角顶点的世界坐标为基准，根据按键的宽度和长度，得到投影键盘按键坐标。
3.根据权利要求2所述的一种利用外部摄像头进行投影键盘的自动化标定方法，其特征在于，步骤5中所述的以每个按键左上角顶点的世界坐标为基准，根据按键的宽度和长度得到投影键盘按键坐标包括以下步骤：
获得待标定键盘基准点的世界坐标后，投影键盘包括6排按键和所有按键右侧的鼠标区域；设投影键盘的6排按键分别设有n1、n2、n3、n4、n5和n6个按键，采用如下方式计算按键坐标：
第一排按键坐标计算：
第一排前n1-1个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去右侧相邻按键左上角顶点对应基准点的世界坐标横坐标得到，第n1个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去该按键右上角顶点对应基准点的世界坐标横坐标得到；
第一排第i个按键的高度由第二排按键中距离该按键最近的按键左上角顶点对应基准点的世界坐标纵坐标减去第一排该按键左上角顶点对应基准点的世界坐标纵坐标得到，i＝1，2，3，…，n1-1；第一排最后一个按键的高度由第二排第最后一个按键右上角顶点对应基准点的世界坐标纵坐标减去第一排最后一个按键的右上角顶点对应基准点的世界坐标纵坐标得到；
第二排至第五排按键坐标计算与第一排按键坐标计算方法相同；
第六排按键坐标计算：
第六排前n6-1个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去相邻右侧按键左上角顶点对应基准点的世界坐标横坐标得到，第n6个按键的宽度由该按键左上角顶点对应基准点的世界坐标横坐标减去该按键右上角顶点对应基准点的世界坐标横坐标得到；第六排按键的高度由第六排每个按键左下角顶点对应基准点的世界坐标纵坐标减去第六排按键左上角顶点对应基准点的世界坐标纵坐标得到；
鼠标区域按键坐标计算：
鼠标区域按键坐标计算通过描述该鼠标区域的四个角的顶点对应基准点的世界坐标实现。
4.根据权利要求3所述的一种利用外部摄像头进行投影键盘的自动化标定方法，其特征在于，步骤1中所述 的计算治具顶部摄像头和识别摄像头的内参数矩阵、外参数矩阵和Brown畸变模型的畸变系数的过程采用张正友标定算法实现。
5.根据权利要求4所述的一种利用外部摄像头进行投影键盘的自动化标定方法，其特征在于，步骤4中所述解仿射变换关系方程得到仿射变换关系矩阵的过程采用牛顿法实现。
6.根据权利要求1至5之一所述的一种利用外部摄像头进行投影键盘的自动化标定方法，其特征在于，所述的识别摄像头为广角摄像头。
7.根据权利要求6所述的一种利用外部摄像头进行投影键盘的自动化标定方法，其特征在于，所述识别摄像头装有滤光片；所述红外激光器发射的光线波长与滤光片的通过波长相一致。
8.根据权利要求7所述的一种利用外部摄像头进行投影键盘的自动化标定方法，其特征在于，所述的LED小灯板上的小灯共8行23列，灯与灯之间的水平间距和垂直间距均为15mm。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710750911.XA CN107657642B (zh) | 2017-08-28 | 2017-08-28 | 一种利用外部摄像头进行投影键盘的自动化标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710750911.XA CN107657642B (zh) | 2017-08-28 | 2017-08-28 | 一种利用外部摄像头进行投影键盘的自动化标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107657642A CN107657642A (zh) | 2018-02-02 |
| CN107657642B true CN107657642B (zh) | 2018-09-11 |
Family
ID=61128841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710750911.XA Active CN107657642B (zh) | 2017-08-28 | 2017-08-28 | 一种利用外部摄像头进行投影键盘的自动化标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107657642B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636858B (zh) * | 2018-10-30 | 2024-01-12 | 超音速人工智能科技股份有限公司 | 锂电池涂布图像采集标定方法、系统、设备及存储介质 |
| CN109978958B (zh) * | 2019-03-27 | 2020-05-22 | 哈尔滨拓博科技有限公司 | 一种互动投影系统标定误差补偿方法 |
| CN110310332A (zh) * | 2019-06-26 | 2019-10-08 | 珠海格力智能装备有限公司 | 按键的标定方法及装置 |
| CN111340891B (zh) * | 2020-02-25 | 2021-02-19 | 卡莱特（深圳）云科技有限公司 | 一种利用led屏幕进行相机标定的方法及系统 |
| CN112991282B (zh) * | 2021-03-04 | 2024-04-02 | 南京航空航天大学 | 一种基于机器人的键盘输入设备自动化测试方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770314A (zh) * | 2009-01-01 | 2010-07-07 | 张海云 | 红外一字激光多点触摸屏装置及触摸定位方法 |
| CN101776952B (zh) * | 2010-01-29 | 2013-01-02 | 联动天下科技（大连）有限公司 | 一种新型互动投影系统 |
| US9445079B2 (en) * | 2013-02-21 | 2016-09-13 | Infineon Technologies Ag | Calibration of a 3D camera |
| CN106802745B (zh) * | 2017-03-23 | 2018-04-06 | 哈尔滨拓博科技有限公司 | 用于标定光投影键盘的装置及其使用方法 |
-
2017
- 2017-08-28 CN CN201710750911.XA patent/CN107657642B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107657642A (zh) | 2018-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107657642B (zh) | 一种利用外部摄像头进行投影键盘的自动化标定方法 | |
| CN107507247B (zh) | 一种投影键盘的实时动态自动化标定方法 | |
| CN107656637B (zh) | 一种利用手动选取四点的投影键盘的自动化标定方法 | |
| CN100590577C (zh) | 触摸屏定位装置及其定位方法 | |
| CN111339951A (zh) | 体温测量方法、装置及系统 | |
| US20130222427A1 (en) | System and method for implementing interactive augmented reality | |
| US20230186680A1 (en) | Information processing device and recognition support method | |
| JP4581927B2 (ja) | 表示装置のぎらつき測定方法およびぎらつき測定装置 | |
| CN110400315A (zh) | 一种缺陷检测方法、装置及系统 | |
| CN105763870B (zh) | 一种十字线立体测试标版及其形成方法 | |
| CN104423569A (zh) | 指向位置侦测装置、方法及计算机可读取纪录媒体 | |
| CN108874187A (zh) | 一种投影仪笔记系统 | |
| JP2013243515A (ja) | 画像調整装置、画像調整システム及び画像調整方法 | |
| WO2008111550A1 (ja) | 画像解析システム、及び画像解析プログラム | |
| US9996932B2 (en) | Method and system for multi-lens module alignment | |
| CN105653017A (zh) | 电子装置及电子装置的重力感测校正方法 | |
| CN111399634A (zh) | 一种手势引导物体识别的方法及装置 | |
| TW201445458A (zh) | 一種攝像設備的檢測裝置及方法 | |
| CN104793458A (zh) | 一种基于近红外环境下的多摄像头模组调焦方法及其系统 | |
| CN110088828A (zh) | 校正系统 | |
| JP6030890B2 (ja) | 画像処理ユニット、画像処理方法、およびスタンド型スキャナ | |
| US20140111482A1 (en) | Exposure mechanism of optical touch system and optical touch system using the same | |
| Bhasker et al. | Geometric modeling and calibration of planar multi-projector displays using rational bezier patches | |
| TWI646307B (zh) | Optical path detecting device and detecting method thereof | |
| WO2018132981A1 (zh) | 一种用于矩阵排列芯片的不良品标记识别装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |