CN103324292B - 一种凸透镜主光轴指向目标实时定位的方法及装置 - Google Patents

Abstract

本发明公开了一种凸透镜主光轴指向目标实时定位的方法及装置，涉及人机交互方法技术领域，具体涉及一种利用图像校正算法实时定位捕捉指向点的人机交互方法。其实现过程主要包括电磁波过滤、单应矩阵计算、凸透镜成像特征应用，本发明不需要发射激光或携带陀螺仪。当凸透镜成像设备位置或姿态发生任意变化导致凸透镜主光轴与其指向目标平面交点发生变化时，该装置能实时报告凸透镜主光轴与其指向目标平面的交点在目标坐标系的坐标。利用本发明，能以极低的成本制造兼备位置指向功能和角度指向功能的新型遥控器、鼠标、游戏控制器等人机交互设备。

Description

一种凸透镜主光轴指向目标实时定位的方法及装置

技术领域

本发明涉及人机交互方法技术领域，具体涉及一种利用图像校正算法实时定位指向点的人机交互方法。

背景技术

随着计算机技术应用的日益广泛，人与计算机系统的互动需求越来越多。常用的人机交互方式一般采用鼠标或触摸屏取点，利用激光、红外或机械方式实现定位，当用户需要选取显示设备上的目标时，只需移动相应的取点设备产生相对物理位移，即可使光标在显示设备上移动。但在某些环境下使用传统鼠标、触摸屏不能给人们带来理想的直观操作感受。为了适应这种需求，目前有专门的指向控制器以技术或产品的形式问世，其原理多利用发射激光或是红外定位结合使用陀螺仪来实现。对于发射激光的方案，安全性不能保证的同时能耗和使用寿命也不理想；对于红外定位结合使用陀螺仪来实现的方案，整体实现效果基本得到了认可，如日本游戏厂商推出的wii游戏控制器，但因其需要处理红外感应图像位移值和陀螺仪偏转值两个来源的数据，而造成处理器计算压力大，导致信息更新频率受到局限、实现成本相对较高、角度指向误差偏大。此外，由于指向目标要求快速实时定位，因此取点设备的嵌入程序运算量非常大，设备要求和制作成本高也是目前该类技术和产品没有广泛普及的重要原因。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种设备结构简单，定位程序运算量小，定位精度高的凸透镜主光轴指向目标实时定位的方法及装置。

本发明解决其技术问题所采用的技术方案是：该凸透镜主光轴指向目标实时定位的方法，其特征在于，包括如下步骤：

（1）在目标平面建立目标坐标系，在目标平面预定位置设置多个呈矩阵排列的标志点，将标志点的位置坐标值建立标志点坐标矩阵M1；

（2）通过滤波装置对非标志点发出的电磁波进行过滤；对凸透镜成像设备实时获取的图像进行图像二值化处理并模糊去噪，获得标志点在感应平面生成的无噪像点，建立感应平面的感应坐标系，获取标志点在感应坐标系的像点坐标值；

（3）对像点坐标值排序，建立与标志点坐标矩阵M1相对应的像点坐标矩阵M2；

（4）通过标志点坐标矩阵M1和像点坐标矩阵M2计算目标平面与感应平面的单应矩阵H；

（5）通过凸透镜主光轴与感应平面的交点O的坐标值和此时对应的单应矩阵H计算指向目标P在目标平面的绝对坐标值；

（6）判断指向目标P在目标平面的绝对坐标值是否符合约束条件；如符合约束条件则输出指向目标P的绝对坐标值；

（7）循环执行上述步骤（1）~（6）实现实时定位。

上述步骤（2）中，所述对凸透镜成像设备获取的图像进行图像二值化处理的方法具体为：

（1）阈值自适应计算：（a）设阈值j初始值为255，使用阈值j对凸透镜成像设备获得的图像二值化，获得带有白色斑点的黑白效果图像；（b）判断黑白效果图像中白色斑点数量是否等于标志点数量；（c）若白色斑点数量小于标志点数量，则令阈值j=j-1，返回步骤（a）；（d）重复步骤（a）~（c）至黑白效果图像中白色斑点数量等于标志点数量，记录此时的阈值i并输出；

（2）图像二值化并输出：使用阈值i，对凸透镜成像设备获得的实时图像二值化并输出。

通过滤波装置过滤后的图像中标志点亮度明显（阈值差距通常为30以上），基本不会因为阈值以1间隔下调而同时捕捉到噪声点和标志点的情况。

所述标志点为向凸透镜成像设备发出呈矩阵排列的标志信号的装置，所述标志点至少为4个，嵌入目标平面或独立设置在目标平面上。标志点呈矩阵排列，以配合单应矩阵H的应用。

优选的，所述标志点为能够发出波长范围为800nm-1000nm的红外线LED灯。

所述凸透镜成像设备包括单个凸透镜镜片或多个凸透镜镜片组合而成的具有特定光学、机械性能的成像镜头和感应平面，所述成像镜头与感应平面的相对位置固定。

所述滤波装置为设置在凸透镜成像设备与目标平面之间的一片或多片只对特定波长或强度电磁波高透的滤波片。

本发明还提供了一种凸透镜主光轴指向目标实时定位的装置，用于实现上述方法，其特征在于：包括

标志单元，用于将在目标平面预定位置设置的多个呈矩阵排列标志点的位置坐标值建立标志点坐标矩阵M1；

凸透镜成像单元，用于在滤波装置对非标志点发出的电磁波进行过滤后，通过凸透镜成像设备获取目标平面上标志点在感应平面生成的图像；

图像处理单元，用于对凸透镜成像设备实时获取的图像进行图像二值化处理并模糊去噪，获得标志点在感应平面生成的无噪像点，建立感应平面的感应坐标系，获取标志点在感应坐标系的像点坐标值；

像点单元，用于对像点坐标值排序，建立与标志点坐标矩阵M1相对应的像点坐标矩阵M2；

数据计算单元，用于通过标志点坐标矩阵M1和像点坐标矩阵M2计算目标平面与感应平面的单应矩阵H；通过单应矩阵H和像点O坐标值计算指向目标P在目标平面的绝对坐标值；

数据输出单元，判断指向目标P在目标平面的绝对坐标值是否符合约束条件；如符合约束条件则输出指向目标P的绝对坐标值。

所述图像处理单元具体包括：

阈值自适应计算单元，用于执行步骤（a）~（d）并输出阈值i：（a）设阈值j初始值为255，使用阈值j对凸透镜成像设备获得的图像二值化，获得带有白色斑点的黑白效果图像；（b）判断黑白效果图像中白色斑点数量是否等于标志点数量；（c）若白色斑点数量小于标志点数量，则令阈值j=j-1，返回步骤（a）；（d）重复步骤（a）~（c）至黑白效果图像中白色斑点数量等于标志点数量，记录此时的阈值i并输出；

图像二值化单元，使用阈值i对凸透镜成像设备获得的实时图像二值化并输出。

其中，所述标志点为向凸透镜成像设备发出呈矩阵排列的标志信号的装置，所述标志点至少为4个，嵌入目标平面或独立设置在目标平面上。标志点排列呈矩阵便于配合单应矩阵H的应用。

优选的，所述标志点为能够发出波长范围为800nm-1000nm的红外线LED灯。

所述滤波装置为设置在凸透镜成像设备与目标平面之间的一片或多片只对特定波长或强度电磁波高透的滤波片。

所述凸透镜成像设备包括单个凸透镜镜片或多个凸透镜镜片组合而成的具有特定光学、机械性能的成像镜头和感应平面，所述成像镜头与感应平面的相对位置固定。

所述凸透镜成像设备具体可以通过以下两种方法得到：

方法一：在普通凸透镜成像设备镜头前或感应器前加装一片或多片只对特定波长或强度电磁波高透的滤波片改装而来。

方法二：使用搭载只对特定波长或强度电磁波敏感的感应器的专门凸透镜成像设备。

所述的凸透镜成像设备可以设置于手持设备上，通过有线或无线通信装置将指向目标输出到目标平面上，手持设备上设有控制按键，用于对指向目标所指命令进行操作。

与现有技术相比，本发明的凸透镜主光轴指向目标实时定位的方法及系统所具有的有益效果是：本发明主要利用了一系列光学特征、光学器件、计算机软件技术，数据来源单一，工作过程更为直接，使用安全。为指向式人际交互过程的实时性开拓了空间，位置指向功能和角度指向功能兼备，能有效提升用户体验，而整体的实现成本却有明显下降。

附图说明

图1是本发明装置成像原理结构示意图。

图2是本发明装置结构框图。

图3是本发明图像处理单元结构框图。

图4是本发明实时定位方法流程框图。

图5是阈值自适应计算方法流程图。

图6是目标平面与成像平面对应成像对比图。

其中：1、目标平面2、标志点3、滤波装置4、成像镜头5、感应平面6、凸透镜成像设备。

图1~6是本发明凸透镜主光轴指向目标实时定位的方法及系统的最佳实施例，下面结合附图1~6对本发明做进一步说明。

具体实施方式

参照附图1~2：本发明所述的凸透镜主光轴指向目标实时定位的装置，包括用于将在目标平面1预定位置设置的多个呈矩阵排列标志点2的位置坐标值建立标志点坐标矩阵M1的标志单元；用于对非标志点发出的电磁波进行过滤的滤波装置3；用于获取目标平面标志点2在感应平面5生成的图像的凸透镜成像单元；用于对凸透镜成像设备6实时获取的图像进行二值化处理并模糊去噪，获得标志点2在感应平面5生成的无噪像点，建立感应平面5的感应坐标系，获取标志点2在感应坐标系的像点坐标值的图像处理单元；用于对像点坐标值排序，建立与标志点坐标矩阵M1相对应的像点坐标矩阵M2的像点单元；用于通过标志点坐标矩阵M1和像点坐标矩阵M2计算目标平面1与感应平面5的单应矩阵H；通过单应矩阵H和像点O坐标值计算指向目标P在目标平面1的绝对坐标值的数据计算单元；以及用于判断指向目标P在目标平面1的绝对坐标值是否符合约束条件，如符合约束条件则输出指向目标P的绝对坐标值的数据输出单元。

参照附图3，其中，图像处理单元又包括：

阈值自适应计算单元，用于执行步骤（a）~（d）并输出阈值i：（a）设阈值j初始值为255，使用阈值j对凸透镜成像设备获得的图像二值化，获得带有白色斑点的黑白效果图像；（b）判断黑白效果图像中白色斑点数量是否等于标志点数量；（c）若白色斑点数量小于标志点数量，则令阈值j=j-1，返回步骤（a）；（d）重复步骤（a）~（c）至黑白效果图像中白色斑点数量等于标志点数量，记录此时的阈值i并输出；

图像二值化单元，使用阈值i对凸透镜成像设备获得的实时图像二值化并输出。

阈值i可以通过上述自适应计算获得，也可以通过手动调节或设置获得。

标志点2用于向凸透镜成像设备6发出呈矩阵排列的标志信号，4个标志点2分别分布在目标平面1的四个矩形顶角上。具体使用时，可将凸透镜成像设备6内置在一个手持设备，如指向笔、游戏手柄、游戏手枪内，手持设备上设置控制按键，通过有线或无线通信装置与处理器通信，执行指向目标P的坐标所对应的命令，实现对指向目标的操作。标志点2优选能够发出波长范围为800nm-1000nm的红外线LED灯。

此外，由于可以对四个标志点外围定位，所以标志点2的设置不限于目标平面1的四个矩形顶角上，为了便于捕捉，也可以直接嵌于显示区域内，红外线不会被肉眼觉察，不会影响目标平面的视觉效果。

目标平面1可以为显示器、投影仪或其他显示设备。

滤波装置3为设置在凸透镜成像设备6与目标平面1之间的一片只对特定波长或强度电磁波高透的滤波片。

凸透镜成像设备6由单片凸透镜镜片的成像镜头4和感应平面5组成，成像镜头4与感应平面5的相对位置固定。

参照附图4~6：

本发明所述的凸透镜主光轴指向目标实时定位的方法，具体为：

（1）首先在目标平面的预定位置设置能发出或反射特定波长或特定强度电磁波标志点，分别命名为M11、M12、M13、M14，在目标平面建立目标坐标系，根据标志点的坐标值建立标志点坐标矩阵M1并存储。

（2）通过滤波装置对即将被透镜成像设备采集到的电磁波进行过滤，大幅降低显示设备和背景发出的可见光的强度。通过凸透镜成像设备接收标志点发出或反射的特定波长或特定强度电磁波获取图像。

（3）对凸透镜成像设备实时获取的图像进行处理，获得标志点明显的成像于感应平面的无噪像点：（a）设阈值为j，将凸透镜成像设备获得的图像二值化并适当模糊去噪，获得带有白色斑点的黑白效果图像，j初值为255；（b）判断黑白效果图像中白色斑点数量是否等于标志点数量；（c）若白色斑点数量小于标志点数量，则令阈值j=j-1，返回步骤（a）；（d）重复步骤（a）~（c）至黑白效果图像中白色斑点数量等于标志点数量，记录此时的阈值到i并输出。（e）在实时循环执行中，固定使用i值，对凸透镜成像设备获得的图像二值化并适当模糊去噪，获得标志点在凸透镜成像设备的感应平面生成的像点。将像点坐标值存入数组M2c。

（4）通过凸透镜成像设备直接获得的坐标值顺序是不确定的，对像点坐标值排序，排列成与位置数据M1数据内容对应的顺序，并将排序后的数据放入M2。这里提供一种排序方法：

计算出四个坐标值的平均坐标值M2avg（图3），横坐标小于横坐标平均值且纵坐标大于纵坐标平均值的数据是与M11对应的位于M2avg左上角的M21的数据，同理排列其他的坐标值，建立像点坐标矩阵M2。

当标志点数量多于四个时，求出所有点的平均坐标值，以平均坐标值为原点水平垂直建立坐标系，判断每个点处于该坐标系四个象限中的哪一个；若某个象限中存在的坐标点的数量大于1，则继续求该象限中多个坐标点的平均坐标值，建立坐标系，通过判断每个点所处的象限判断其空间位置。

（5）通过标志点坐标矩阵M和像点坐标矩阵M2计算目标平面与感应平面的单应矩阵H。

（6）鉴于凸透镜的成像特征，凸透镜一侧主光轴上的点必定还是成像在凸透镜的主光轴上，如图1所示。用计算机调取凸透镜主光轴与感应器平面相交的点在感应器坐标系的坐标O，结合已经得到的目标坐标系所在平面与感应器坐标系所在平面的单应矩阵H，计算出凸透镜主光轴与目标平面相交的点在目标坐标系的绝对坐标P，如图6所示。

（7）判断指向目标P在目标平面的绝对坐标值是否符合约束条件，如符合约束条件则输出指向目标P的绝对坐标值。

循环执行步骤（1）~（7），每秒多次执行，实现实时定位。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (8)

1.一种凸透镜主光轴指向目标实时定位的方法，其特征在于，包括如下步骤：

（1）在目标平面建立目标坐标系，在目标平面预定位置设置多个呈矩阵排列的标志点，将标志点的位置坐标值建立标志点坐标矩阵M1；

（2）通过滤波装置对非标志点发出的电磁波进行过滤；对凸透镜成像设备实时获取的图像进行图像二值化处理并模糊去噪，获得标志点在感应平面生成的无噪像点，建立感应平面的感应坐标系，获取标志点在感应坐标系的像点坐标值；

（3）对像点坐标值排序，建立与标志点坐标矩阵M1相对应的像点坐标矩阵M2；

（4）通过标志点坐标矩阵M1和像点坐标矩阵M2计算目标平面与感应平面的单应矩阵H；

（5）通过凸透镜主光轴与感应平面的交点O的坐标值和此时对应的单应矩阵H计算指向目标P在目标平面的绝对坐标值；

（6）判断指向目标P在目标平面的绝对坐标值是否符合约束条件；如符合约束条件则输出指向目标P的绝对坐标值；

其中，步骤（2）所述对凸透镜成像设备获取的图像进行图像二值化处理的方法具体为：

1）阈值自适应计算：（a）设阈值j初始值为255，使用阈值j对凸透镜成像设备获得的图像二值化，获得带有白色斑点的黑白效果图像；（b）判断黑白效果图像中白色斑点数量是否等于标志点数量；（c）若白色斑点数量小于标志点数量，则令阈值j=j-1，返回步骤（a）；（d）重复步骤（a）~（c）至黑白效果图像中白色斑点数量等于标志点数量，记录此时的阈值i并输出；

2）图像二值化：使用阈值i，对凸透镜成像设备获得的实时图像二值化并输出。

2.根据权利要求1所述的凸透镜主光轴指向目标实时定位的方法，其特征在于：所述标志点为向凸透镜成像设备发出标志信号的装置，所述标志点至少为4个，嵌入目标平面或独立设置在目标平面上。

3.根据权利要求1所述的凸透镜主光轴指向目标实时定位的方法，其特征在于：所述凸透镜成像设备包括单个凸透镜镜片或多个凸透镜镜片组合而成的具有特定光学、机械性能的成像镜头和感应平面，所述成像镜头与感应平面的相对位置固定。

4.根据权利要求1所述的凸透镜主光轴指向目标实时定位的方法，其特征在于：所述滤波装置为设置在凸透镜成像设备与目标平面之间的一片或多片只对特定波长或强度电磁波高透的滤波片。

5.一种凸透镜主光轴指向目标实时定位的装置，其特征在于：包括

标志单元，用于将在目标平面预定位置设置的多个呈矩阵排列标志点的位置坐标值建立标志点坐标矩阵M1；

凸透镜成像单元，用于在滤波装置对非标志点发出的电磁波进行过滤后，通过凸透镜成像设备获取目标平面上标志点在感应平面生成的图像；

图像处理单元，用于对凸透镜成像设备实时获取的图像进行图像二值化处理并模糊去噪，获得标志点在感应平面生成的无噪像点，建立感应平面的感应坐标系，获取标志点在感应坐标系的像点坐标值；

像点单元，用于对像点坐标值排序，建立与标志点坐标矩阵M1相对应的像点坐标矩阵M2；

数据计算单元，用于通过标志点坐标矩阵M1和像点坐标矩阵M2计算目标平面与感应平面的单应矩阵H；通过单应矩阵H和像点O坐标值计算指向目标P在目标平面的绝对坐标值；

数据输出单元，判断指向目标P在目标平面的绝对坐标值是否符合约束条件；如符合约束条件则输出指向目标P的绝对坐标值；

其中，所述图像处理单元具体包括：

阈值自适应计算单元，用于执行步骤（a）~（d）并输出阈值i：（a）设阈值j初始值为255，使用阈值j对凸透镜成像设备获得的图像二值化，获得带有白色斑点的黑白效果图像；（b）判断黑白效果图像中白色斑点数量是否等于标志点数量；（c）若白色斑点数量小于标志点数量，则令阈值j=j-1，返回步骤（a）；（d）重复步骤（a）~（c）至黑白效果图像中白色斑点数量等于标志点数量，记录此时的阈值i并输出；

图像二值化单元，使用阈值i对凸透镜成像设备获得的实时图像二值化并输出。

6.根据权利要求5所述的凸透镜主光轴指向目标实时定位的装置，其特征在于：所述标志点为向凸透镜成像设备发出的标志信号的装置，所述标志点至少为4个，嵌入目标平面或独立设置在目标平面上。

7.根据权利要求5所述的凸透镜主光轴指向目标实时定位的装置，其特征在于：所述凸透镜成像设备包括单个凸透镜镜片或多个凸透镜镜片组合而成的具有特定光学、机械性能的成像镜头和感应平面，所述成像镜头与感应平面的相对位置固定。

8.根据权利要求5所述的凸透镜主光轴指向目标实时定位的装置，其特征在于：所述滤波装置为设置在凸透镜成像设备与目标平面之间的一片或多片只对特定波长或强度电磁波高透的滤波片。