CN103124949A

CN103124949A - 利用单目摄像机标定技术的视觉指向型鼠标输入方法、输入系统和输入装置

Info

Publication number: CN103124949A
Application number: CN2010800682689A
Authority: CN
Inventors: 许洪; 许涛
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-08-13
Filing date: 2010-08-13
Publication date: 2013-05-29
Anticipated expiration: 2030-08-13
Also published as: CN103124949B; WO2012019322A1

Abstract

一种视觉指向型鼠标输入方法及输入系统，用于非接触精确指示显示屏的显示内容，该鼠标输入系统包括：计算机主机，和与该计算机主机相连的显示屏（18）；包含特征靶点的平面靶标；单目图像传感器（100）；控制功能部件（102）；处理电路（104）；信息接收处理装置。该方法包括：该单目图像传感器（100）指向该靶标区域采集图像；该控制功能部件（102）产生各种控制功能信号；该处理电路（104）进行图像信息处理，利用单目摄像机标定技术解算出单目摄像机成像参数，进而计算出光标的显示坐标，并将坐标信息和控制功能信号传递给信息接收处理装置；该信息接收处理装置接收由处理电路（104）传递的光标显示坐标及控制功能信号，并通知计算机操作系统将光标或其他图像目标显示在显示屏（18）上的显示坐标处。

Description

说明书

利用单目摄像机标定技术的视觉指向型鼠标输入方法、输入系统和输入装置发明领域

本发明有关计算机外围输入技术与设备，是一种利用单目摄像机标定技术，实现摄像机视觉精确定位并驱动鼠标光标或其他显示目标的方法和装置，特别可以实现一种以单目图像成像器件为指向输入装置的视觉指向型鼠标设备。背景技术

伴随着计算机技术的发展，图形用户界面的输入技术与设备经历了不断的发展。最初，用于驱动图形用户界面中的光标运动的鼠标装置是机械鼠标，一般具有轨迹球或方向键部件，利用轨迹球相对于鼠标垫的运动或按压方向键来控制光标的移动。随后，光电鼠标逐渐取代了机械鼠标，当它在工作平面上移动时，不断采集平面反射的图像，利用图像处理技术对序列图像进行处理，提取运动方向与位移量，从而驱动光标运动。机械鼠标和光电鼠标一般都需要在一定的工作平面上移动，限制了其使用的方便性。

随着电子技术的发展，触摸屏的使用已经越来越广泛，触摸屏可以利用触摸方式来定位输入位置，驱动光标，从而实现了图形用户界面的准确指向式输入。然而，触摸屏的使用需要指示物与屏幕的直接接触，使其应用受到一定制约，并且造价成本较高，在大面积屏幕的制造上具有难度。

目前，利用机器视觉技术来实现人机交互输入的技术越来越引起人们关注，已经有很多利用手势、眼球、头部等身体部位或其他控制物的空间运动来产生计算机输入命令的技术与设备。这种技术一般利用设置好的数码相机釆集目标的连续视频图像，利用图像处理技术提取出位置、方向、位移等参量，再利用这些控制参量来驱动鼠标光标等显示目标，或执行某些特定控制动作。利用这种技术可以实现指向型输入驱动鼠标光标，如专利 CN2609054Y、 CN2602419Y、 CN101236468A所述，一般要事先放置并标定好若干数码摄像头等图像采集装置，其采集视场同时包括计算机显示屏和指示棒或手指等指示装置，这样就能根据指示点在显示屏中的相对位置来确定出鼠标光标的显示坐标。这种方法需要占据一定空间，并且经常需要使用一些辅助装置，如激光指示器、选择性反射膜、滤光偏振片等等，导致整个系统十分复杂。

另外，值得注意的一种视觉指向型输入技术是将数码摄像头绑定在手指或指示棒的指示端，当其指向显示屏时，摄像头采集局部范围的显示屏图像内容，然后将其输入计算机主机，与正在显示的屏幕内容逐区扫描，找到指向区域在显示屏中的位置；或者利用指示端的移动引起的采集图像内容的相对位移来控制光标的运动。这种方法虽然有很大的便利性和可行性，但存在以下不足：首先，如果显示屏显示内容为同一种颜色，如空白，则导致无法进行图像匹配或位移提取；其次，由于摄像头的旋转、偏移、距离变化，引起所成图像的仿射投影变形，从而导致匹配困难；另外，由于摄像头旋转，导致摄像头图像坐标系与显示屏的显示坐标系方向不一致，使得图像相对位移的方向与指示平台的运动方向不一致，产生错误的鼠标光标输入方向，需要加入方向传感器来矫正；此外，由于摄像头距显示屏的成像距离变化，导致图像大小与实际屏幕图像尺寸成比例变化，因此在不同距离上的相同空间位移量产生的图像位移量并不相同，也需要加以校正。因此，仅靠这种技术并不能精确驱动鼠标光标，往往还需要加入方向传感器和距离传感器的配合，导致结构复杂。

综上所述，以上技术在制造结构简单、简便易行、造价便宜的精确指向型鼠标输入设备上存在不足。为此，本专利提出了一种简便易行的利用机器视觉技术中的单目摄像机标定技术来精确提取光标指向点坐标的视觉指向型鼠标输入方法，可用于制造精确非接触视觉指向型鼠标设备。发明内容

本专利提出一种利用单目摄像机标定技术的视觉指向型鼠标输入方法，用于控制鼠标光标等图形目标准确跟随图像传感器的虚拟指示轴的指向运动，所述方法包括如下步骤：将单目图像传感器指向一平面靶标，该靶标内有确定的靶标坐标系，其中设定若干特征靶点，启动图像传感器工作，图像传感器通过有线或无线方式与计算机相连；图像传感器采集靶标指向区域包含的特征内容的图像，在图像中提取出特征靶点的图像坐标；利用采集的靶点图像坐标和靶点在靶标坐标系中的坐标，根据单目摄像机标定技术，解算出单目摄像机成像参数; 由图像传感器的成像面上的一固定像点的图像坐标，利用解算出的单目摄像机成像参数，计算出该像点对应的物点在靶标坐标系内的坐标，即指示点在靶标坐标系内的坐标，此时固定像点、镜头光心和指示物点构成一个虚拟指示轴；由指示点在靶标坐标系中的坐标计算出鼠标光标或其他图像目标在显示屏上的显示坐标，并由计算机将光标显示在显示屏上。在极短的时间间隔内，重复上述过程，使鼠标光标或其他图像目标跟随图像传感器的指向而运动。

本专利提出一种利用单目摄像机标定技术的视觉指向型鼠标输入方法，用于实现一种空间运动姿态的视觉输入方法，所述方法包括如下步骤：将单目图像传感器指向一平面靶标，该靶标内有确定的靶标坐标系，其中设定若干特征靶点，启动图像传感器工作，图像传感器通过有线或无线方式与计算机相连，启动图像传感器工作；图像传感器采集靶标指向区域包含的特征内容的图像，在图像中提取出特征靶点的图像坐标；利用采集的靶点图像坐标和靶点在靶标坐标系中的坐标，根据单目摄像机标定技术，解算出单目摄像机成像参数；进而利用计算出的摄像机成像参数，求出图像传感器在靶标坐标系中的空间方位坐标，空间方位坐标包括三轴旋转角 (α，β，γ)和原点坐标 (X。, Y。, Z。)。在极短的时间间隔内，随着图像传感器的指向运动，重复上述过程，求出图像传感器在不同位置时的空间方位坐标，将一系列图像成像器件的空间方位坐标连接起来，就得到了图像传感器相对于显示屏的空间运动姿态。

本专利提出的视觉指向型鼠标输入方法，其中所述将图像传感器指向一平面靶标，具体有不同方式：可以将图像传感器直接指向一个事先己经设定好的靶标，也就是说，已经存在一个靶标，然后再将图像传感器指向这个靶标；也可以先确定图像传感器指向的位置，然后在其指向区域再设置相应靶标，这种方式对于靶标可以设定在动态显示设备上的情况较为适用，例如，当图像传感器指向计算机显示屏时，首先由计算机判定图像传感器指向显示屏的大致区域，然后再由计算机在图像传感器的显示屏指向区域动态确定一个靶标。

当需要将靶标设置在显示屏等动态显示设备上时，本专利提出两种确定图像传感器指向显示屏的位置的方法。第一种方法包括如下步骤：将图像传感器指向显示屏的目标区域采集图像，该装置通过有线或无线通讯方式与计算机主机相连，显示屏与计算机主机相连接；启动图像传感器工作，通知计算机主机在极短的时间内在显示屏上输出由若干不同颜色或图形内容的特征块排列组成的编码图案，每种颜色或图形内容被编成不同号码，每个特征块附近的一定范围内的所有特征块组成的编码在整个编码图中是唯一的，整个编码图的所有特征块的区域编码构成一个定位査找表，特别的，可以在在显示屏上输出由若干不同颜色或图形内容的矩形特征块排列组成的编码图案，每个矩形特征块附近的 nX n范围内的特征块组成的编码在编码图中是唯一的；图像传感器采集所指向区域的编码图像，从中提取局部图案的编码，将其与编码图的空间位置査找表进行比对，确定图像传感器指向显示屏的大致位置。

本专利提出的第二种确定图像传感器指向显示屏的位置的方法，包括如下步骤：将图像传感器指向显示屏的目标区域采集图像，该装置通过有线或无线通讯方式与计算机主机相连，显示屏与计算机主机相连接；启动图像传感器工作，首先在显示屏上输出由若干不同颜色或图形内容的特征块排列组成的粗分辨率编码图案，每种颜色或图形内容被编成不同号码，图像传感器采集指向区域图像，判断自身所对的特征块位置；然后，计算机主机在已确定的大特征块范围内再次输出同样的编码图案，其大小为该特征块的大小，图像传感器采集指向区域图像，进一步判断自身所对的小特征块的位置；如此由大及小地快速循环执行此操作，最终确定出图像传感器所指向的显示屏的位置。

本专利提出的视觉指向型鼠标输入方法，其中所述的平面靶标，具体如下特征：靶标区域的大小确定，该区域内包含若干特征靶点，靶点具有特定的颜色、形状等特征，便于从图像中提取，并且已知靶点在该靶标区域的靶标坐标系中的坐标。

本专利提出的视觉指向型鼠标输入方法，其中所述的平面靶标，可以是一个固定的平面靶标，可以选取显示屏的边框作为靶标区域，特征靶点设置在边框上，各点之间的距离已知；可以选取显示屏周边的一个大小确定的平面作为靶标区域，特征靶点设置在该区域内，各点之间的距离己知；可以由计算机在显示屏上选取某局部固定区域作为靶标区域，其大小由该区域的计算机显示坐标确定，并且由计算机在显示屏靶标区域内确定若干特征点作为特征靶占。

本专利提出的视觉指向型鼠标输入方法，其中所述的平面靶标，可以是一个动态平面靶标，该靶标可由计算机在显示屏上动态生成，靶标的生成位置始终追随图像传感器的指向，靶标区域的范围可根据图像传感器的成像距离远近来调整，其大小由该区域的计算机显示坐标确定，并且由计算机在显示屏靶标区域内确定若干特征点作为特征靶点。

本专利提出的视觉指向型鼠标输入方法，所述的由计算机在显示屏靶标区域确定特征靶点，是指：计算机对显示屏上包含靶标区域的一定范围内的显示内容进行处理，利用颜色、边缘、角点、方位、周边环境信息等特征，从计算机的显示内容中选择出若干特征靶点，由这些特征靶点界定靶标区域范围，并记录其特征信息。

本专利提出的视觉指向型鼠标输入方法，所述的由计算机在显示屏靶标区域确定特征靶点，包括如下步骤：计算机对显示屏上包含靶标区域的一定范围内的显示内容颜色进行统计，选择显示内容中没有的、且与存在的颜色差异较大的颜色作为生成的特征靶点的颜色；由计算机在显示屏上的靶标区域内，以选择的颜色额外生成一定的显示内容，生成的显示内容中包含交叉点、角点、中心点等特征，可以根据这些特征选择出若干特征靶点，由这些特征靶点界定靶标区域范围。

本专利提出的视觉指向型鼠标输入方法，所述若干特征靶点，是指：对于使用事先没有标定出焦距、像元间隔等内部物理参量的图像传感器的视觉指向型鼠标输入方法，需要在显示屏上确定至少 4个特征靶点。

本专利提出的视觉指向型鼠标输入方法，所述若干特征靶点，是指：对于使用事先已经标定出焦距、像元间隔等内部物理参量的图像传感器的视觉指向型鼠标输入方法，需要在显示屏上确定至少 3个特征靶点。

本专利提出的视觉指向型鼠标输入方法，所述的解算单目摄像机成像参数，是指：利用采集的靶点图像坐标和靶点的靶标坐标系坐标，根据单目摄像机标定技术，解算出图像传感器的单目摄像机外部成像参数。

本专利提出的视觉指向型鼠标输入方法，所述的解算单目摄像机成像参数，是指：利用采集的靶点图像坐标和靶点的靶标坐标系坐标，根据单目摄像机标定技术，解算出图像传感器的单目摄像机内部成像参数和外部成像参数。

本专利提出的视觉指向型鼠标输入方法，所述的图像传感器成像面上的一固定像点，是指- 该像点可以是成像面上的任意一像点，该像点与成像镜头光心的连线构成一个虚拟指示轴，该像点对应的物点即为虚拟指示轴的指向点。

本专利提出的视觉指向型鼠标输入方法，所述的图像传感器成像面上的一固定像点，是指- 该像点可以是成像面上的中心像点，该像点与成像镜头光心的连线，即成像系统的光轴，构成一个虚拟指示轴，该中心像点对应的物点即为虚拟示轴的指向点。

本专利提出的视觉指向型鼠标输入方法，所述的由指示点在靶标坐标系中的坐标计算鼠标光标的显示坐标，是指：当靶标坐标系的单位长度与计算机显示屏的像元间隔尺寸相同时，则已经计算出的靶点在靶标坐标系中的坐标就是显示坐标；当靶标坐标系的单位长度与计算机显示屏的像元间隔尺寸不同时，则需要将已计算出的靶点在靶标坐标系中的坐标乘以一个比例系数，得到显示坐标，该比例系数由显示屏的像元间隔尺寸除以靶标坐标系的单位长度获得。

本专利提出一种利用单目摄像机标定技术的视觉指向型鼠标输入系统，其包括：计算机主机，和与之相连的显示屏；包含若干特征靶点的平面靶标，各靶点之间的距离已知，各靶点具有确定的特征，便于从图像中提取靶点；单目图像传感器，通过处理电路与计算机主机相连，单目图像传感器被用作指向装置，将其指向显示屏的目标区域采集图像，以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴；控制功能部件，布置各种控制功能按键，用于产生系统触发、左键、右键、翻页、移动等控制功能，通过处理电路与计算机主机相连；系统处理电路，与图像传感器和控制功能部件相连，同时通过有线或无线的方式与计算机主机相连；视觉指向型鼠标信息接收处理装置，安插在计算机主机中，与计算机操作系统和处理电路通讯交互。系统的处理电路的功能包括：对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能；产生系统触发、左键、右键、翻页、移动等控制功能信号；与计算机主机通过有线或无线的方式进行通讯交互，传递图像、特征信息、运算结果、控制信号等信息。系统的信息接收处理装置的功能包括：接收由处理电路发送的图像、运算结果等信息；对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能；接收由处理电路产生的系统触发、左键、右键、翻页、移动等控制功能信号；向视觉指向型鼠标输入系统处理电路发送靶点的特征信息、坐标信息；向计算机操作系统输出计算得到的光标坐标信息。本专利提出一种利用单目摄像机标定技术的视觉指向型鼠标输入系统，其包括：计算机主机，和与之相连的显示屏；包含若干特征靶点的平面靶标，各靶点之间的距离已知，各靶点具有确定的特征，便于从图像中提取靶点；单目图像传感器，通过信息接收处理装置与计算机主机相连，单目图像传感器被用作指向装置，将其指向显示屏的目标区域采集图像，以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴；控制功能部件，布置各种控制功能按键，用于产生系统触发、左键、右键、翻页、移动等控制功能，通过信息接收处理装置与计算机主机相连；视觉指向型鼠标信息接收处理装置，安插在计算机主机中，与计算机操作系统和图像传感器及控制功能部件进行通讯交互，其功能包括：接收单目图像传感器发送的图像信息；接收由控制功能部件产生的系统触发、左键、右键、翻页、移动等控制功能信号；对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能；向计算机操作系统输出计算得到的光标坐标信息。

本专利提出一种手套式视觉指向型鼠标输入装置，其包括：计算机主机，和与之相连的显示屏；包含若干特征靶点的平面靶标，各靶点之间的距离已知，各靶点具有确定的特征，便于从图像中提取靶点；安装有单目图像传感器的指向指套，用于指向显示屏的目标区域采集图像，通过处理电路与计算机主机相连，以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴；控制功能键指套，包括若干按键、触摸键或压力开关，由拇指来控制，用于产生系统触发、左键、右键、翻页、移动等控制信号，通过处理电路与计算机主机相连；辅助功能键指套，可以包含翻页等功能控制键，通过弯曲手指，由手指自身触发开关控制，通过处理电路与计算机主机相连，该辅助功能键指套根据使用情况选用；处理电路，与图像传感器和控制功能部件相连，同时通过有线或无线的方式与计算机主机相连；视觉指向型鼠标信息接收处理装置，安插在计算机主机中，与计算机操作系统和处理电路通讯交互。视觉指向型鼠标输入装置的处理电路的功能包括：对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能；产生系统触发、左键、右键、翻页、移动等控制功能信号；与计算机主机通过有线或无线的方式进行通讯交互，传递图像、特征信息、运算结果、控制信号等信息。视觉指向型鼠标输入装置的信息接收处理装置的功能包括：接收由处理电路发送的图像、运算结果等信息；对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能；接收由处理电路产生的系统触发、左键、右键、翻页、移动等控制功能信号；向视觉指向型鼠标输入系统处理电路发送靶点的特征信息、坐标信息；向计算机操作系统输出计算得到的光标坐标信息。

本专利提出一种手套式视觉指向型鼠标输入装置，其包括：计算机主机，和与之相连的显示屏；包含若干特征靶点的平面靶标，各靶点之间的距离已知，各靶点具有确定的特征，便于从图像中提取靶点；安装有单目图像传感器的指向指套，用于指向显示屏的目标区域采集图像，与计算机主机相连，以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴；控制功能键指套，包括若干按键、触摸键或压力开关，由拇指来控制，用于产生系统触发、左键、右键、翻页、移动等控制信号，与计算机主机相连；辅助功能键指套，可以包含翻页等功能控制键，通过弯曲手指，由手指自身触发开关控制，与计算机主机相连，该辅助功能键指套根据使用情况选用；视觉指向型鼠标信息接收处理装置，安插在计算机主机中，与计算机操作系统和图像传感器及控制功能部件进行通讯交互，其功能包括：接收图像传感器发送的图像信息；接收由控制功能部件产生的系统触发、左键、右键、翻页、移动等控制功能信号；对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能；向计算机操作系统输出计算得到的光标坐标信息。

本专利提出一种指套式视觉指向型鼠标输入装置，其包括：计算机主机，和与之相连的显示屏；包含若干特征靶点的平面靶标，各靶点之间的距离已知，各靶点具有确定的特征，便于从图像中提取靶点；视觉指向型鼠标输入指套，将单目图像传感器、处理电路、控制功能键集成在一个指套上，戴于食指或其他手指上，由拇指实现功能控制，使用时将位于指套前端的图像传感器指向显示屏的目标区域采集图像，图像传感器通过处理电路以有线或无线方式与计算机主机相连，图像传感器以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴，指套的控制功能键包括若干按键、触摸键或压力开关，由拇指来控制，用于产生系统触发、左键、右键、翻页、移动等控制功能信号，通过处理电路与计算机主机相连；信息接收处理装置，安插在计算机主机中，与计算机操作系统和鼠标输入装置的处理电路通讯交互。鼠标输入指套中的处理电路与图像传感器和控制功能部件相连，同时通过有线或无线的方式与计算机主机相连，其功能包括：对釆集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能；产生系统触发、左键、右键、翻页、移动等控制功能信号；与计算机主机通过有线或无线的方式进行通讯交互，传递图像、特征信息、运算结果、控制信号等信息。鼠标输入装置的信息接收处理装置的功能包括：接收由鼠标输入装置的处理电路发送的图像、运算结果等信息；接收由处理电路产生的系统触发、左键、右键、翻页、移动等控制功能信号；对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能；向处理电路发送靶点的特征信息、坐标信息；向计算机操作系统输出计算得到的光标坐标信息。

本专利提出一种指套式视觉指向型鼠标输入装置，其包括：计算机主机，和与之相连的显示屏；包含若干特征靶点的平面靶标，各靶点之间的距离已知，各靶点具有确定的特征，便于从图像中提取靶点；视觉指向型鼠标输入指套，将单目图像传感器、控制功能键集成在一个指套上，戴于食指或其他手指上，由拇指实现功能控制，使用时将位于指套前端的图像传感器指向显示屏的目标区域采集图像，图像传感器以有线或无线方式与计算机主机相连，以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴，指套的控制功能键包括若千按键、触摸键或压力开关，由拇指来控制，用于产生系统触发、左键、右键、翻页、移动等控制功能信号，以有线或无线方式与计算机主机相连；信息接收处理装置，安插在计算机主机中，与计算机操作系统和图像传感器及控制功能部件进行通讯交互，其功能包括- 接收图像传感器发送的图像信息，接收由控制功能部件产生的系统触发、左键、右键、翻页、移动等控制功能信号，对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能，向计算机操作系统输出计算得到的光标坐标信息。

本专利提出一种视觉指向型鼠标应用程序，驻留在计算机主机中，与计算机操作系统和视觉指向型鼠标输入系统进行通讯交互，包括如下功能：控制功能程序，接收由视觉指向型鼠标输入系统的控制功能部件产生的系统触发、左键、右键、翻页、移动等控制功能信号；图像接收处理程序，接收由视觉指向型鼠标输入系统的图像传感器发送的图像信息；图像传感器定位程序，确定图像传感器指向显示屏的位置：在接到视觉指向型鼠标输入系统的工作触发信号后，通知计算机在极短的时间内，在显示屏上输出确定图像传感器指向位置的定位编码图案，对图像传感器采集的指向区域的图像进行处理，从局部区域的图像中提取出包含的图案编码，将其与定位编码图案的空间位置查找表进行比对，确定图像传感器指向显示屏的大致位置；特征靶点产生程序，在显示屏上确定特征靶点：在显示屏上的靶点显示区域，根据显示内容选择若干分布在图像传感器的图像采集区域内的特征靶点，或者生成若干分布在图像传感器的图像采集区域内的特征靶点；靶点提取程序，对图像传感器采集的含有特征靶点的指向区域图像进行处理，根据靶点特征在图像中提取靶点的图像坐标；摄像机成像参数计算程序，利用采集的靶点的图像坐标和其计算机显示坐标，根据单目摄像机标定技术，解算出单目摄像机成像参数；显示坐标计算程序，以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴，由该固定点的图像坐标，即虚拟指示轴与成像面的交点的图像坐标，利用解算出的单目摄像机成像参数，计算出其对应的在计算机显示屏上的交点的显示坐标；光标显示程序，通知计算机将鼠标光标或其他图像目标显示在虚拟指示轴在显示屏上的指向点处，并以显示光标为中心重新确定显示屏指向区域，在指向区域内重新确定特征靶点。附图说明

图 1所示是利用单目摄像机标定技术的视觉指向型鼠标的第一种实施方式的概视图；图 2A所示是单目摄像机成像的针孔模型示意图；

图 2B所示是利用单目摄像机标定技术对显示屏平面进行标定的示意图；

图 3A所示是由不同颜色构成的编码定位示意图；

图 3B所示是根据显示屏局部区域编码来进行指向定位的示意图；

图 3C所示是由不同颜色构成的粗分辨率编码定位示意图；

图 3D所示是第一次定位图像传感器指向位置的示意图；

图 3E所示是第二次定位图像传感器指向位置的示意图；

图 4所示是利用显示内容中的颜色、边缘、角点等特征选择特征靶点的示意图；图 5A所示是色彩空间中靶点设置区域中的显示点颜色分布和靶点颜色选择区域示意图；图 5B所示是生成正四方排列的四个十字靶点的示意图；

图 6所示是利用单目摄像机标定技术的视觉指向型鼠标的第一种实施方式的工作流程图；

图 7所示是利用单目摄像机标定技术的视觉指向型鼠标输入系统的基本系统原理框图；图 8A—图 8C所示是手套式视觉指向输入装置的穿戴方法和使用方法示意图；图 8D所示是单目图像传感器指示部件示意图；

图 8E所示是主控制功能部件示意图；

图 8F所示是辅助控制功能部件示意图；

图 9A所示是将所有部件整合于一体的指套式视觉指向输入装置示意图；

图 9B所示是笔式视觉指向输入装置示意图；图 10所示是利用单目摄像机标定技术的视觉指向型鼠标的第二种实施方式的工作流程图；

图 11A至图 11C所示是利用单目摄像机标定技术的视觉指向型鼠标的第三种实施方式示意图；

图 12所示是利用单目摄像机标定技术的视觉指向型鼠标的第三种实施方式的工作流程图。

图 13所示是利用单目摄像机标定技术的视觉指向型鼠标的第四种实施方式示意图。

图 14所示是利用单目摄像机标定技术的视觉指向型鼠标的第四种实施方式的工作流程图。具体实施方式

本发明将结合附图，对利用单目摄像机标定技术的视觉指向型鼠标实施方式进行详细描述，各附图中的相同部件使用相同标号。

[实施方式 1]

图 1至图 9B描述的是利用单目摄像机标定技术的视觉指向型鼠标的第一种实施方式。第一种实施方式涉及一种控制鼠标光标等图形目标准确显示在一个图像传感器的虚拟指示轴指向计算机显示屏的交点处的视觉指向输入方法，在这种方法中，显示屏等动态显示设备作为靶标的设置区域，首先由计算机采用特定方法定位图像传感器指向显示屏的位置，然后再由计算机将特征靶点设置在显示屏上，从而界定靶标区域，并且靶标区域可以随着图像传感器的指向而运动，始终保持靶标区域在图像传感器的指向成像区域。

图 1所示是第一种实施方式的概视图，图中的视觉指向输入装置 10以手套形式穿戴在手上，其核心工作部件是穿在食指上的小型单目图像传感器 100，用于指向靶标区域采集图像，在第一种实施方式中靶标区域由计算机设置在显示屏上，图像传感器可以根据成像距离自动变焦，以得到清晰图像（当成像距离远大于图像传感器焦距时，使用定焦图像传感器就可以始终得到较清晰的图像)；输入装置还包括穿戴在中指或其他手指上的控制功能部件 102，上面布置控制功能键，通过拇指控制，用来实现系统触发、左键、右键和页面滚动等功能；以及处理电路 104，在图 1中其被放置于手背上，也可以整合进图像传感器 100或控制功能部件 102中，处理电路与图像传感器 100和控制功能部件 102相连，并且通过有线或无线的方式与计算机主机相连。处理电路 104的功能主要包括：对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、成像模型的参数计算、光标指向点的显示坐标计算等功能; 产生系统触发、左键、右键、页面滚动等控制功能信号；与计算机主机通过有线或无线的方式进行通讯交互，传递图像、特征信息、运算结果、控制信号等信息。该视觉指向输入装置 10的具体结构还将在后面进一步阐述。

如图 1中所示，当穿在食指上的图像传感器 100对准显示屏 18的某一区域拍摄时，计算机首先运用某种定位技术确定图像传感器所对应显示屏的大致位置，关于这种定位技术的介绍将在后面进行阐述。然后，计算机在该区域根据显示内容的颜色、边缘、角点等特征，在其中选择若干特征靶点，或者在该区域生成若干特征靶点 12，这些特征靶点构成靶标区域，所需靶点的数目与采用的具体标定技术有关。同时，计算机将这些靶点的特征信息通过有线或无线通讯方式传送给处理电路 104，使输入装置可以凭这些特征从采集的图像中提取出特征靶点。进而可以根据这些特征靶点的计算机显示坐标和其图像坐标，利用单目摄像机标定技术计算出成像模型的有关成像参数，然后再利用这些成像参数计算出虚拟指示轴 14与显示屏的交点 16相对于靶点的相对坐标。最后，根据特征靶点在显示屏上的显示坐标，计算出交点 16在显示屏上的实际显示坐标，从而能够精确显示鼠标光标或其他图形目标。在极短的时间内，不断重复以上过程，就可以实现光标精确跟随图像传感器的指向而运动，例如，对于帧频为 15 S的图像传感器，两幅图像之间的时间间隔约为 67ms，而对于帧频为 30 S的图像传感器，两幅图像之间的时间间隔约为 33ms，帧频越高则时间间隔越短。图 1中显示了计算机对使用一个指向输入装置进行处理的情况，它还可以满足同时使用多个类似指向输入装置的情况。

为了更好地理解本专利提出的单目指向型视觉鼠标输入技术如何精确获取虚拟指示轴指向显示屏的指示点的显示坐标，下面对所用到的单目摄像机标定技术进行图解说明。

图 2A所示是单目摄像机成像的针孔模型，显示了对空间任意一个物点成像的示意图，物点 20a经过成像透镜 22的中心投影在像平面 24上成为像点 20b，成像器件可以是 CCD器件、 CMOS器件，或其他数字成像器件。在成像过程的描述中，涉及到物点所在的世界坐标系 O_w-X_wY_wZ_w、摄像机坐标系 O_c-X_cY_cZ_c和像平面所在的图像坐标系 U-0-V三个坐标系，图中分别为 200、 202、 204。整个成像模型关系，即物点在世界坐标系中的坐标 (X_w， Y_w, Z_w)与其在像平面上的像点的图像坐标系坐标 V)之间的表达关系，可以由世界坐标系 O_w-X_wY_wZ_w 在摄像机坐标系 Oe-XcYcZc中的三轴旋转角 (α, β, γ)和其原点在摄像机坐标系中的坐标 (Χο, Υ。, Ζ。)等 6个外部物理参量，以及摄像机焦距成像器件横向像元间隔 d_x、纵向像元间隔 d_y等 3个内部物理参量，共 9个物理参量决定的参数矩阵来描述：

0 1

f 0 "o 0

0 f

v₀ 0

0 0 1 0 则

式中是由世界坐标系在摄像机坐标系中的三轴旋转角 (a, β, γ)和原点坐标 (Χο, Υ。， Ζ₀ 的外部参数矩阵， M₂是由摄像机的内部物理参量：焦距 f、横向像元间隔 d_x、纵向像元间隔 d_y决定的内部参数矩阵，（uo, vo)是摄像机光轴与成像面的交点在图像坐标系中的坐标。将 Z_c 消去，可以得到两个只包含世界坐标系中的点坐标 (X_W，Y_W, Z_W)和像平面坐标 (u, v)的方程。根据摄像机标定理论，在一般情况下，如果已知 6个空间点的世界坐标系坐标和其图像坐标系坐标，就可以解算出参数矩阵 Mi、 M₂的所有参数，从而可以由任意物点的世界坐标系坐标 (X_w, Y_w, Z_w)计算出其在图像坐标系中的坐标 (u, v),也可以由任意像点坐标 (u, V)反算出其在世界坐标系中的坐标 (X_w, Yw, Z_w)。

本专利应用于计算机显示屏的视觉指向性输入，所有目标点都位于一个显示屏平面上，因此可以用显示屏平面作为世界坐标系的 X_wO_wY_w平面，取显示屏的像元间隔作为世界坐标系 X_wO_wY_w平面的坐标单位长度，即 X_wO_wY_w平面坐标与计算机显示坐标单位一致，同时取与平面垂直的方向为 Z_w轴，如图 2B所示，图中 18为位于 X_wO_wY_w平面上的显示屏， 16a、 16b 即为摄像机光轴与显示屏的交点和对应的成像面上的中心像点。由于用显示屏平面作为 X_wO_wY_w平面，因此显示屏上所有点的∑ =0，此时计算工作得到简化。并且由于已知特征靶点的显示屏显示坐标，因此只需求出指示轴指示点相对于靶点的相对坐标，就可以根据靶点的显示坐标进而求出指示点在显示屏中的显示坐标。针对以上特定的应用条件，使得所需的标定工作相应简化，根据摄像机标定理论，即使在未知图像传感器的内部物理参数情况下，只需解算由显示平面上的四个靶点的物空间显示坐标和像空间图像坐标确定的成像方程组，就可以解算出满足要求的外部参数矩阵。进而由标定得到的所需成像参数，可以求出由成像面上的某固定点与透镜中心连线决定的虚拟指示轴与计算机显示屏交点的显示坐标，从而精确定位鼠标光标或其他显示目标，在实际应用中，为了方便起见可以把图像传感器光轴作为指示轴。在图 2B中， 12a为在显示屏中设定的特征靶点， 12b为其在成像面中的像点，根据它们的显示坐标和图像坐标，可以标定出所需的成像参数，进而可以由光轴与成像面的交点 16b的图像坐标计算出其对应的显示屏中的交点 16a相对于靶点的坐标，最终可以得到其准确的计算机显示坐标。

以上所述的应用方式，可以在未知图像传感器的内部物理参数情况下直接使用。更进一步，如果在使用前己经事先标定出图像传感器的焦距、像元间距等内部物理参数，根据摄像机标定理论，只需解算由三个靶点的物空间显示坐标和像空间图像坐标确定的成像方程组，就可以解算出满足要求的外部参数矩阵。另外，在求出外部参数矩阵后，还可以进一步求出决定这些外部参数的外部物理参量，即世界坐标系在摄像机坐标系中的三轴旋转角 (α， β, γ) 和原点坐标 (Χ。， Υ。， Ζ。)，从而还可以确定图像传感器相对于显示屏的空间姿态，这种应用在后面的第四种实施方式中会用到。

如前所述，在专利的第一种实施方式中，开发了图像传感器定位技术来确定图像传感器所指向显示屏的大致位置。这种定位技术的作用在于，当启动视觉指向输入装置工作时，如果摄像机距离显示屏比较近，只能对局部区域成像，需要先判断出摄像机所对应的显示屏局部区域位置，然后才能通知计算机处理器在该区域产生特征靶点。本专利提出了两种粗判定图像传感器位置的定位方法，下面分别进行介绍。图 3Α、图 3Β描述的是第一种定位方法，当启动输入装置 10工作时，向计算机发出同步信号，计算机向显示屏 18输出一幅经过特殊设计的彩色编码图案，这是一幅由若干颜色方块排列成的方格图，每个方块周围 ηχη的方块区的颜色编码是唯一的，例如图 3Α所示中的编码图 30， 30是一幅由 300、 302、 304、 306 四种颜色排列成的方格图，每种颜色被赋予不同编码， 30中每个方块周围 3x3的方块区的颜色编码是唯一的，这样整幅编码图案就对应一个编码査找表，于是，就可以根据从采集图像中提取的区域色彩编码判断出摄像机所对的显示屏大致位置。如图 3B所示，图像传感器 100 从采集的局部区域图像 32中提取出编码 023302010，这样就可以从査找表中找到该编码对应的大致位置，从而进一步可以在该区域生成特征靶点。编码图案可以采用多种形式，除了可以按颜色编码外，还可以由方块中的几何内容来编码；当然也可以设计成其他几何形状编码图，如环形编码图。彩色编码图案可以半透明融合在原来的显示内容上，也可以在极短时间内完全显示，由图像传感器采集后，再显示原来内容。

另外一种判定图像传感器位置的方法如图 3C、图 3D、图 3E所示，不同于前一种一次性输出编码图的方式，这种方法可以在极短时间内连续输出序列编码图案，由粗及精地逐步确定图像传感器位置。举例来说，图 3C所示的 34为 300、 302、 304、 306四种颜色的粗分辨率编码图案，首先，计算机在显示器全屏输出一幅粗分辨率的编码图案 34，大致确定出图像传感器所在区域，如图 3D所示；然后，在确定的局部区域再输出同样编码图案 34，进一步确定图像传感器所在位置，如图 3E所示；如此快速循环几次，就可以比较精确地确定出图像传感器所在位置。

由以上图像传感器定位方法确定了其所处区域后，就需要计算机在该区域设定若干靶点，供图像传感器釆集标定使用，为此本专利提出了两种方法来设定特征靶点。第一种方法如图 4所示，计算机对已确定的图像采集区域中的显示内容进行处理，利用颜色、边缘、角点、方位、周边环境信息等特征，从计算机显示内容中选择出若干特征靶点，并记录其特征信息。当在该区域难以或不能选择出适当的特征靶点，如对于空白区域或同色区域，如图 1中所示，则可以采用第二种特征靶点设定方法来工作，即在该区域由计算机动态生成若干特征靶点，图 5A、图 5B对该方法进行说明，为了便于识别提取靶点，可以在其颜色和形状上赋予一定特征，本专利提出如下技术生成便于识别提取的靶点：首先，动态生成的靶点颜色可以选择该图像区域中没有的颜色，如图 5A所示，把该区域中所有的显示点按色彩坐标分布在 RGB 色彩坐标系中，图中 50区域是图像色点集中的区域，当选择靶点颜色时，为了便于区分，要选择坐标体中远离已有色彩点的空白区域，如 52区域的色彩作为标靶点的色彩，这样就可以从彩色图像传感器采集的图像中很容易地提取出特征靶点；其次，靶点的形状可以选为正十字交叉点或斜十字交叉点，或者其他便于识别的形式，图 5B 中生成了正四方排列的四个十字靶点 12，当然也可以生成满足需要的任何形状的靶点图样。此外，还可以采取在短时间内连续变化生成的靶点颜色的方法，进一步提高靶点提取的速度和准确性。在有些场合下，可能还需要赋予特征靶点不同的颜色或形状特征，便于判定靶点的方向顺序。

综上所述，利用单目摄像机标定技术的视觉指向型鼠标的第一种实施方式包括如下步骤：将单目图像传感器指向显示屏上任意位置，启动图像传感器工作，图像传感器通过有线或无线方式与计算机相连；确定图像传感器指向显示屏的位置：由计算机在极短的时间内，在显示屏上输出确定图像传感器指向位置的定位编码图案，图像传感器采集所指向区域的图像，从局部区域的图像中提取出包含的图案编码，将其与定位编码图案的空间位置査找表进行比对，确定图像传感器指向显示屏的大致位置；在已定位的显示屏指向区域上确定特征靶点：由计算机在已定位的显示屏指向区域上，根据显示内容选择若干分布在图像传感器的图像采集区域内的特征靶点，或者生成若干分布在图像传感器的图像釆集区域内的特征靶点；图像传感器采集含有特征靶点的指向区域图像，根据靶点特征在图像中提取靶点的图像坐标；利用采集的靶点的图像坐标和其计算机显示坐标，根据单目摄像机标定技术，解算出单目摄像机成像参数；以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴，由该固定点的图像坐标，即虚拟指示轴与成像面的交点的图像坐标，利用解算出的单目摄像机成像参数，计算出其对应的在计算机显示屏上的交点的显示坐标；由计算机将鼠标光标或其他图像目标显示在虚拟指示轴在显示屏上的指向点处，计算机以显示光标为中心重新确定显示屏指向区域，在指向区域内重新确定特征靶点；在极短的时间间隔内，随着图像传感器的指向运动，重复上述步骤，使鼠标光标或其他图像目标跟随虚拟指示轴在显示屏上的指向点运动。

根据上述步骤，设计第一种实施方式的工作流程如图 6所示，包括如下环节：启动指向输入装置后，在 600步骤，通知计算机中央处理器向屏幕发送定位编码图案；在 602步骤，由输入装置的图像传感器采集图像，由图像处理电路从中提取图像编码；在 604步骤，判断图像编码是否与编码图査找表匹配，找到图像传感器对应的大概位置，然后转入下一步，否则继续重复 600、 602步骤；在 606a步骤，通知计算机在此区域找出或生成特征靶点；在 608 步骤，由图像传感器采集图像，根据靶点特征从采集的图像中提取出各个靶点坐标；在 610 步骤，判断是否正确提取出各靶点坐标，否则重复 608步骤；在 612步骤，利用靶点的显示坐标和提取出的图像坐标计算出成像模型的外部参数；在 614a步骤，再利用计算出的外部参数，由中心像点的坐标计算出对应的光轴与显示屏交点的显示坐标；在 616步骤，由计算机将鼠标光标或其他目标显示在光轴指向点坐标位置上；在 618步骤，重新设置特征靶点，将其显示在以光轴指向点为中心的区域；在 620步骤，判断输入装置是否仍然处于工作状态，如果仍在工作则继续对拍摄的连续图像进行同样的操作处理，否则终止系统工作。通过以上工作流程，就可以保证光标准确跟随图像传感器光轴指向点运动。

图 7所示是本专利提出的利用单目摄像机标定技术的视觉指向型鼠标输入系统的基本系统原理框图， 10、 30、 18分别为系统的三个主要设备：视觉指向输入装置、计算机主机和显示屏的功能结构框图，其具体细节图中并未体现。完整的视觉指向输入装置包括由操作者指向操作的外部输入装置 10和安插在计算机主机中的信息接收处理装置 702。用于视觉指向的外部输入装置 10又包括图像传感器 100、控制功能部件 102和处理电路 104三个主要功能部件，其处理电路 104又包含通讯功能模块 704、图像处理模块 706和控制功能模块 708等功能模块；信息接收处理装置 702负责和输入装置 10及计算机操作系统 700进行通讯交互，以软件或硬件的形式安插在计算机主机中。如图 7中所示，当输入装置 10启动工作后，由通讯模块 704激活信息接收处理装置 702， 702与主机操作系统程序 700交互，告知操作系统程序 700在显示图像内容的何处、以何种方式产生特征靶点，同时将靶点的特征信息和坐标信息告知输入装置。输入装置的图像处理模块 706从图像传感器 100采集的图像中提取靶点，进行运算操作，并将指向点的解算坐标由通讯模块 704传递给信息接收处理装置 702，由其通知计算机操作系统 700，在指向点的位置显示鼠标光标等图像目标。控制功能部件 102驱动控制模块电路 708产生的控制信号，也由通讯模块 704传递给信息接收处理装置 702，由其通知计算机操作系统，产生相应的控制操作。在实际应用中，图像信息处理等运算功能可以灵活配置在处理电路 104中，也可以配置在安插于计算机中的信息接收处理装置 702里面。

如图 1中所示，根据本专利提出的利用单目摄像机标定技术的视觉指向输入技术，设计了一种手套式视觉指向型输入装置，图 8A至图 8C显示了各部分的穿戴方法和使用方法，图 8D至图 8F显示了各部分的基本机构，下面结合示意图进一步详细介绍。如图 8A所示，该手套式视觉指向型输入装置主要包括图像传感器指示部件 100、主控制功能部件 102、处理电路 104和辅助控制功能部件 106。这些部件固定在用尼龙或塑料等柔性材质制作的手套上，在手套的关节弯曲部位可以适当开孔，各部件布置在手指上的适当位置，可以不影响手指的弯曲动作，从而仍然可以保证打字等手部操作的便利性。图像传感器指示部件 100用于指向显示屏等目标，对于利用单目摄像机标定技术的视觉指向输入技术，只使用一个图像传感器，其基本结构如图 8D中所示，图像传感器 80包装在机械外套之中，可以夹持或绑定在手指上。主控制功能部件 102—侧有功能控制键，方便用拇指实现鼠标的激活、左键、右键、翻页等功能，其工作示意图见图 8B所示，功能控制键可以有多种形式，可以是按压键 82a，也可以是触摸键 82b，如图 8E中所示，也可以是二者的组合，例如当拇指接触功能键激发输入装置工作，当拇指下按时发出左键功能。辅助控制功能部件 106上有挤压开关或触摸开关 84，如图 8F所示，通过弯曲小指来触发工作，其工作示意图参见图 8C，可以将右键功能和翻页功能放置在主控部件上，也可以放置在辅助控制部件上。处理电路 104可以灵活布置在手背或其他位置，其中有利用 DSP、 FPGA等数字处理芯片实现的进行图像处理和数据解算的信息处理模块，负责同计算机进行通讯的有线或无线通讯模块，以及数据存储器等。此外，也可以把图像信息处理等运算功能配置在安插于计算机中的信息接收处理装置里面。上述各部件可以根据需要灵活地设计外观和进行增减，也可以用各种可能的方式进行操作。

以上介绍了一种手套式视觉指向输入装置，实际上，利用本专利提供的视觉指向输入技术，可以根据使用需求，设计出多种多样的应用装置。例如，对上述手套式视觉指向输入装置，可以将信处理电路集成到其他部件中。当然，也可以经过良好设计，将所有部件整合于一体，构成一个指套，穿戴在食指上工作，如图 9A所示。也可以根据使用平台不同，设计成笔形或枪形等各种结构样式，图 9B所示就是一个笔式视觉输入装置，所有部件都组装在一个笔式外壳之中。另外，还可以把这种视觉指向型输入装置固定在头部，通过头部的运动来驱动光标运动。总之，在保留主要功能部件的前提下，可以根据需要设计出各种各样结构的视觉指向输入装置，以及各种不同的使用方式。

[实施方式 2]

图 10描述的是利用单目摄像机标定技术的视觉指向型鼠标的第二种实施方式。第二种实施方式与第一种实施方式类似，同样涉及一种控制鼠标光标等图形目标准确显示在一个图像传感器的虚拟指示轴指向计算机显示屏的交点处的视觉指向输入方法，在这种方法中，仍然以显示屏等动态显示设备作为靶标的设置区域，但第二种方法并不定位图像传感器的指向位置，而是由计算机在显示屏的某区域直接设定特征靶点图，确定靶点区域，由操作者主动将摄像头等图像传感器指向该区域，获取靶点图像，定位鼠标光标。在第二种方法中，仍然使靶标区域跟随图像传感器的指向而运动，始终保持靶标区域在图像传感器的指向成像区域。

第二种实施方式与第一种实施方式相比，只是缺少了图像传感器定位的环节，因此，第二种实施方式包括如下步骤：启动图像传感器工作，图像传感器通过有线或无线方式与计算机相连；在显示屏上确定特征靶点：由计算机在显示屏上某区域，根据显示内容选择若干分布在图像传感器的图像采集区域内的特征靶点，或者生成若千分布在图像传感器的图像采集区域内的特征靶点；将单目图像传感器指向显示屏上的特征靶点区域，采集含有特征靶点的指向区域图像，根据靶点特征在图像中提取靶点的图像坐标；利用采集的靶点的图像坐标和其计算机显示坐标，根据单目摄像机标定技术，解算出单目摄像机成像参数；以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴，由该固定点的图像坐标，即虚拟指示轴与成像面的交点的图像坐标，利用解算出的单目摄像机成像参数，计算出其对应的在计算机显示屏上的交点的显示坐标；由计算机将鼠标光标或其他图像目标显示在虚拟指示轴在显示屏上的指向点处，计算机以显示光标为中心重新确定显示屏指向区域，在指向区域内重新确定特征靶点；在极短的时间间隔内，随着图像传感器的指向运动，重复上述步骤，使鼠标光标或其他图像目标跟随虚拟指示轴在显示屏上的指向点运动。

根据上述步骤，设计第二种实施方式的工作流程见图 10所示，包括如下环节：启动指向输入装置后，直接进入 606b步骤，通知计算机在此区域找出或生成特征靶点；在 608步骤，由图像传感器采集图像，从采集的图像中提取出各个靶点坐标；在 610步骤，判断是否正确提取出各靶点坐标，否则重复 608步骤；在 612步骤，利用靶点的显示坐标和提取出的图像坐标计算出成像模型的成像参数；在 614a步骤，再利用计算出的成像参数，由中心像点的坐标计算出对应的光轴与显示屏交点的显示坐标；在 616步骤，由计算机将鼠标光标或其他目标显示在光轴指向点坐标位置上；在 618步骤，重新设置特征靶点，将其显示在以光轴指向点为中心的区域；在 620步骤，判断输入装置是否仍然处于工作状态，如果仍在工作则继续对拍摄的连续图像进行同样的操作处理，否则终止系统工作。通过以上工作流程，就可以保证光标准确跟随图像传感器光轴指向点运动。

[实施方式 3]

图 11A至图 11C描述的是利用单目摄像机标定技术的视觉指向型鼠标的第三种实施方式。第三种实施方式有关一种控制鼠标光标等图形目标准确跟随一个图像传感器的虚拟指示轴在靶标区域的运动的视觉指向输入方法。在这种方法中，使用一个固定的平面靶标，靶标区域的大小确定，其中设置一个平面靶标坐标系，靶标区域内包含若干特征靶点，靶点具有特定的颜色、形状等特征，便于从图像中提取，并且已知靶点在靶标坐标系中的坐标。操作时，将图像传感器指向该区域，获取靶点图像，首先利用单目摄像机标定技术定位图像传感器的虚拟指示轴在靶标区域的指向点在靶标坐标系内的坐标，然后再根据靶标坐标系和显示屏坐标系的单位比例关系求出对应的鼠标光标显示坐标。

第三种实施方式的主要特征是：预先在某固定靶标区域设置若干特征靶点，靶点在该区域内的坐标已知，如图 11A至图 11C所示，该区域可以是计算机显示屏上的某局部固定区域 (图 11A), 也可以是显示屏的边框（图 11B), 或者是显示屏周边的靶面（图 11C)。靶点的设置可以有各种选择，既可以是由计算机在显示屏上生成的具有特定颜色和形状的显示点；也可以是设置在显示屏边框等实物上的实物点装置，如 LED光源、有色反光贴片等。

第三种实施方式包括如下步骤：选取某固定靶标区域作为采集图像的指向区域，该区域的大小确定，在该区域内设置若干特征靶点，并且己知靶点在该区域中的坐标；将单目图像传感器指向该靶标区域，图像传感器通过有线或无线方式与计算机主机相连，启动图像传感器工作；采集含有特征靶点的指向区域图像，根据靶点特征在图像中提取靶点的图像坐标；利用采集的靶点的图像坐标和其在该固定区域中的坐标，根据单目摄像机标定技术，解算出单目摄像机成像参数；以图像传感器成像面上的某固定点和镜头中心的连线作为虚拟指示轴，由该固定点的图像坐标，即虚拟指示轴与成像面的交点的图像坐标，利用解算出的单目摄像机成像参数，计算出其对应的在靶标区域内的交点的坐标；将计算出的指示轴交点在靶标坐标系中的坐标乘以一个比例系数，该比例系数由显示屏的实际尺寸除以对应的靶标区域的实际尺寸而得到，求出光标在显示屏上的显示坐标；由计算机将鼠标光标或其他图像目标根据已计算出的显示坐标，显示在显示屏上；在极短的时间间隔内，随着图像传感器的指向运动，重复上述步骤，使鼠标光标或其他图像目标跟随虚拟指示轴在靶标区域的指向而运动。

图 12所示是第三种实施方式的工作流程图，包括如下环节：启动指向输入装置后，在 606c步骤，将图像传感器对准事先设定的固定靶标区域；在 608步骤，由图像传感器采集图像，从采集的图像中提取出各个靶点坐标；在 610步骤，判断是否正确提取出各靶点坐标，否则重复 608步骤；在 612步骤，利用靶点的显示坐标和提取出的图像坐标计算出成像模型的成像参数；在 614b步骤，再利用计算出的成像参数，由中心像点的坐标计算出对应的指示轴与靶标区域交点在其中的坐标；在 622步骤，将计算出的交点坐标乘以一个比例系数，得到光标在显示屏上的显示坐标；在 616步骤，由计算机将鼠标光标或其他目标显示在光轴指向点坐标位置上；在 620步骤，判断输入装置是否仍然处于工作状态，如果仍在工作则继续对拍摄的连续图像进行同样的操作处理，否则终止系统工作。通过以上工作流程，就可以保证光标准确跟随图像传感器光轴指向点运动。

[实施方式 4]

图 13描述的是利用单目摄像机标定技术的视觉指向型鼠标的第四种实施方式。第四种实施方式是一种利用单目摄像机标定技术实现的空间运动姿态视觉输入方法，它利用预先标定出焦距及横向、纵向像元间隔等内部物理参量的图像传感器，对显示屏上或其他预设靶标区域中的已知相互间距离的固定特征靶点进行连续图像采集，提取出靶点的图像坐标，根据单目摄像机标定理论求出外部成像参数后，进一步求出决定这些外部参数的外部物理参量，即显示屏所在的世界坐标系在图像传感器的摄像机坐标系中的三轴旋转角 (α, β， γ)和原点坐标 (Χο, Υ。， Ζ₀), 从而可以确定图像传感器相对于显示屏的空间方位坐标。这样，对图像传感器采集的序列图像进行处理，就可以得到图像传感器相对于显示屏的空间姿态和运动轨迹，利用这种提取的空间运动可以实现某些特定操作。

在这种应用模式下，还可以对多个运动物体同时采用多个视觉输入装置，同时解算出每个成像器件的空间方位，从而可以组成一个包含多部分运动的整体运动。例如，可以在每个手指上都安置一个小型摄像头，对准屏幕上同一组靶点进行运动，可以根据解算出的各个成像器件的空间姿态和运动轨迹，辨识出手的活动内容，如抓握、旋转、平移等，从而进行相应的控制操作。

如图 13所示，输入装置最初位于 90位置处，此时采集显示屏中某固定区域内的特征靶点 12的图像，由靶点的图像坐标、显示坐标和己知的内部参数，计算出外部成像参数的数值，进而求出输入装置在该处相对于靶点的方位关系，即 (α, β， γ; Χο， Υ。, Ζ。：)等参量；当输入装置移至 92位置处，进行同样操作，计算出输入装置在此处相对于靶点的方位参量，根据两个位置的方位关系的差值，即可得到输入装置的空间姿态和运动轨迹。

第四种实施方式包括如下步骤：选取某固定靶标区域作为采集图像的指向区域，在该区域内设置若干特征靶点，并且已知靶点在该区域中的坐标；将已经标定出焦距、像元间隔等内部物理参量的单目图像传感器指向靶点区域，图像传感器通过有线或无线方式与计算机相连，启动图像传感器工作，采集含有特征靶点的指向区域图像，根据靶点特征在图像中提取靶点的图像坐标；利用采集的靶点的图像坐标和其在该固定区域中的坐标，根据单目摄像机标定技术，解算出单目摄像机成像参数；进而利用计算出的成像模型的成像参数，求出图像传感器在特征靶点所在的坐标系中的空间方位坐标；在极短的时间间隔内，随着图像传感器的指向运动，重复上述步骤，求出图像传感器在不同位置时处于特征靶点所在的坐标系中的空间方位坐标，将一系列图像成像器件的空间方位坐标连接起来，就得到了图像传感器相对于显示屏的空间运动姿态。

图 14所示是第四种实施方式的工作流程图，包括如下环节：启动指向输入装置后，在 606c步骤，将图像传感器对准事先设定的固定靶点区域；在 608步骤，由图像传感器采集图像，从采集的图像中提取出各个靶点坐标；在 610步骤，判断是否正确提取出各靶点坐标，否则重复 608步骤；在 612步骤，利用靶点的显示坐标和提取出的图像坐标计算出成像模型的成像参数；在 624步骤，利用计算出的成像参数，进一步求出图像传感器的空间方位坐标；在 620步骤，判断输入装置是否仍然处于工作状态，如果仍在工作则继续对拍摄的连续图像进行同样的操作处理，否则终止系统工作。通过以上工作流程，就可以保证光标准确跟随图像传感器光轴指向点运动。

以上具体实施方式仅用于说明本专利，而非用于限定本专利，根据本发明的技术方案和技术构思做出的其他各种改变和变形都应属于本专利权利要求的保护范围。

Claims

权利要求书

1. 一种利用单目摄像机标定技术的视觉指向型鼠标输入方法，所述方法包括如下步骤: ^

( i)将单目图像传感器指向一靶标，启动图像传感器工作；

( ii)图像传感器采集靶标指向区域包含的特征内容的图像，在图像中提取出特征靶点的图像坐标；

(m)利用采集的靶点图像坐标和靶点在靶标坐标系中的坐标，根据单目摄像机标定技术，解算出单目摄像机成像参数；

( iv)由图像传感器的成像面上的一固定像点的图像坐标，利用解算出的单目摄像机成像参数，计算出该像点对应的物点在靶标坐标系中的坐标，即指示点在靶标坐标系中的坐标；

(v)由指示点在靶标坐标系中的坐标计算出鼠标光标或其他图像目标在显示屏上的显示坐标，并由计算机将光标显示在显示屏上；

在极短的时间间隔内，重复 ii到 V步骤，使鼠标光标或其他图像目标跟随图像传感器的指向而运动。
2. 一种利用单目摄像机标定技术的视觉指向型鼠标输入方法，所述方法包括如下步骤：

( i)将单目图像传感器指向一靶标，启动图像传感器工作；

(ii )图像传感器釆集靶标指向区域包含的特征内容的图像，在图像中提取出特征靶点的图像坐标；

( iii )利用采集的靶点图像坐标和靶点在靶标坐标系中的坐标，根据单目摄像机标定技术，解算出单目摄像机成像参数；

(iv)进而利用计算出的摄像机成像参数，求出图像传感器在靶标坐标系中的空间方位坐标；

在极短的时间间隔内，随着图像传感器的指向运动，重复 ii到 iv步骤，求出图像传感器在不同位置时的空间方位坐标，将一系列图像成像器件的空间方位坐标连接起来，就得到了图像传感器相对于显示屏的空间运动姿态。
3. 如权利要求 1、 2所述的方法，其特征在于，所述将图像传感器指向一靶标，是指：将图像传感器指向一个事先己经设定好的靶标。
4. 如权利要求 1、 2所述的方法，其特征在于，所述将图像传感器指向一靶标，是指：当图像传感器指向计算机显示屏时，首先由计算机判定图像传感器指向显示屏的大致区域，然后在图像传感器的显示屏指向区域动态确定一个靶标。
5. 如权利要求 4所述的方法，其特征在于，所述的判定图像传感器指向显示屏的大致区域，包括如下步骤：

( 1 )将图像传感器指向显示屏的某一区域采集图像，图像传感器通过有线或无线通讯方式与计算机相连，显示屏与计算机相连接；

(2)启动图像传感器工作，通知计算机在极短的时间内在显示屏上输出由若干不同颜色或图形内容的特征块排列组成的编码图案，每种颜色或图形内容被编成不同号码，每个特征

' 7 块附近的一定范围内的特征块组成的编码在整个编码图中是唯一的，整个编码图的所有特征块的区域编码构成一个定位査找表；

(3 )图像传感器采集所指向区域的编码图像，从中提取局部图案的编码，将其与编码图的空间位置査找表进行比对，确定图像传感器指向显示屏的大致位置。
6. 如权利要求 5所述的方法，其特征在于，所述特征块编码图案，是指：在显示屏上输出由若干不同颜色或图形内容的矩形特征块排列组成的编码图案，每种颜色或图形内容被编成不同号码，每个矩形特征块附近的 nXn范围内的所有特征块组成的编码在整个编码图中是唯一的，整个编码图的所有特征块的区域编码构成一个定位查找表。
7. 如权利要求 4所述的方法，其特征在于，所述的判定图像传感器指向显示屏的大致区域，包括如下步骤：

( 1 )将图像传感器指向显示屏的某一区域采集图像，图像传感器通过有线或无线通讯方式与计算机相连，显示屏与计算机相连接；

(2)启动图像传感器工作，首先在显示屏上输出由若干不同颜色或图形内容的特征块排列组成的粗分辨率编码图案，每种颜色或图形内容被编成不同号码，图像传感器采集指向区域图像，判断自身所指向的特征块位置；

(3 )然后，计算机在已确定的大特征块范围内再次输出编码图案，其范围为该特征块的大小，图像传感器采集指向区域图像，进一步判断自身所对的小特征块的位置；

(4) 由大及小地快速循环执行此操作，最终确定出图像传感器所指向的显示屏的位置。
8. 如权利要求 1、 2所述的方法，其特征在于，所述靶标，是指：一个固定平面靶标，靶标区域的大小确定，该区域内包含若干特征靶点，靶点具有特定的颜色、形状等特征，便于从图像中提取，并且已知靶点在该区域的靶标坐标系中的坐标。
9. 如权利要求 8所述的方法，其特征在于，所述的固定平面靶标，是指：选取显示屏的边框作为靶标区域，特征靶点设置在边框上，各点之间的距离已知。
10. 如权利要求 8所述的方法，其特征在于，所述的固定平面靶标，是指：选取显示屏周边的一个大小确定的平面作为靶标区域，特征靶点设置在该区域内，各点之间的距离已知。
11. 如权利要求 8所述的方法，其特征在于，所述的固定平面靶标，是指：由计算机在显示屏上选取某局部固定区域作为靶标区域，其大小由该区域的计算机显示坐标确定，并且由计算机在显示屏靶标区域内确定若干特征点作为特征靶点。
12. 如权利要求 1、 2所述的方法，其特征在于，所述靶标，是指：一个动态平面靶标，该靶标可由计算机在显示屏上动态生成，靶标的生成位置始终追随图像传感器的指向，靶标区域的范围可根据图像传感器的成像距离调整，其大小由该区域的计算机显示坐标确定，并且由计算机在显示屏靶标区域内确定若干特征点作为特征靶点。
13. 如权利要求 11、 12所述的方法，其特征在于，所述的由计算机在显示屏靶标区域确定特征靶点，是指：计算机对显示屏上包含靶标区域的一定范围内的显示内容进行处理，利用颜色、边缘、角点、方位、周边环境信息等特征，从计算机的显示内容中选择出若干特征靶点，由这些特征靶点界定靶标区域范围，并记录其特征信息。
14. 如权利要求 11、 12所述的方法，其特征在于，所述的由计算机在显示屏靶标区域确定特征靶点，包括如下步骤：

( 1 )计算机对显示屏上包含靶标区域的一定范围内的显示内容颜色进行统计，选择显示内容中没有的、且与存在的颜色差异较大的颜色作为生成的特征靶点的颜色；

(2)由计算机在显示屏上的靶标区域内，以选择的颜色额外生成一定的显示内容，生成的显示内容中包含交叉点、角点、中心点等特征，可以根据这些特征选择出若干特征靶点，由这些特征靶点界定靶标区域范围。
15. 如权利要求 8所述的方法，其特征在于，所述若干特征靶点，是指：对于使用事先没有标定出焦距、像元间隔等内部物理参量的图像传感器的方法，需要在显示屏上确定至少 4个特征靶点。
16. 如权利要求 8所述的方法，其特征在于，所述若干特征靶点，是指：对于使用事先已经标定出焦距、像元间隔等内部物理参量的图像传感器的方法，需要在显示屏上确定至少 3个特征靶点。
17. 如权利要求 1、 2所述的方法，其特征在于，所述的解算单目摄像机成像参数，是指：利用采集的靶点图像坐标和靶点的靶标坐标系坐标，根据单目摄像机标定技术，解算出图像传感器的单目摄像机外部成像参数。
18. 如权利要求 1、 2所述的方法，其特征在于，所述的解算单目摄像机成像参数，是指：利用采集的靶点图像坐标和靶点的靶标坐标系坐标，根据单目摄像机标定技术，解算出图像传感器的单目摄像机内部成像参数和外部成像参数。
19. 如权利要求 1所述的方法，其特征在于，所述的图像传感器成像面上的一固定像点，是指：该像点可以是成像面上的任意一像点，该像点与成像镜头光心的连线构成一个虚拟指示轴，该像点对应的物点即为虚拟指示轴的指向点。
20. 如权利要求. 1所述的方法，其特征在于，所述的图像传感器成像面上的一固定像点，是指：该像点可以是成像面上的中心像点，该像点与成像镜头光心的连线，即成像系统的光轴，构成一个虚拟指示轴，该中心像点对应的物点即为虚拟指示轴的指向点。
21. 如权利要求 1所述的方法，其特征在于，所述的由指示点在靶标坐标系中的坐标计算鼠

( 标光标的显示坐标，是指：当靶标坐标系的单位长度与计算机显示屏的像元间隔尺寸相同时，则已经计算出的靶点在靶标坐标系中的坐标就是显示坐标；当靶标坐标系的单位长度与计算机显示屏的像元间隔尺寸不同时，则需要将已计算出的靶点在靶标坐标系中的坐标乘以一个比例系数，得到显示坐标，该比例系数由显示屏的像元间隔尺寸除以靶标坐标系的单位长度获得。
22. 如权利要求 2所述的方法，其特征在于，所述的图像传感器在靶标坐标系中的空间方位坐标，是指：空间方位坐标包括三轴旋转角((!^^)和原点坐标(^，¥。，2。)。
23. 一种利用单目摄像机标定技术的视觉指向型鼠标输入系统，其包括：

(i)计算机主机，和与之相连的显示屏；

(ii)靶标，用于标定图像传感器的摄像机成像参数；

(Hi) 单目图像传感器，用于采集特征靶标区域的图像，通过处理电路与计算机主机相连；

(iv)控制功能部件，产生所需控制功能信号，通过处理电路与计算机主机相连；

(V)处理电路，实现图像信息处理和通讯功能，与图像传感器和控制功能部件相连，同时通过有线或无线的方式与计算机主机相连；

(vi)信息接收处理装置，安插在计算机主机中，与处理电路通过有线或无线方式相连，同时与计算机操作系统通讯交互。
24. 如权利要求 23所述的系统，其特征在于，所述处理电路，包括图像采集模块、数据处理模块、控制信号模块、数据接口模块，具有如下功能：接收图像传感器传递的图像信息和控制功能部件产生的控制功能信号；对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像参数计算、光标指向点的显示坐标计算等功能；产生系统触发、左键、右键、翻页、滚动等控制功能信号；与信息接收处理装置通过有线或无线的方式进行通讯交互，传递图像、特征信息、运算结果、控制功能信号等信息。
25. 如权利要求 23所述的系统，其特征在于，所述信息接收处理装置，包括数据接口模块、数据处理模块、数据通讯模块，具有如下功能：接收由处理电路发送的图像、运算结果等信息；接收由处理电路产生的系统触发、左键、右键、翻页、滚动等控制功能信号；向处理电路发送靶点的特征信息、坐标信息；向计算机操作系统输出计算得到的光标坐标信息。
26. 一种利用单目摄像机标定技术的视觉指向型鼠标输入系统，其包括-

(i)计算机主机，和与之相连的显示屏；

(ii)靶标，用于标定图像传感器的摄像机成像参数；

(iii) 单目图像传感器，用于采集特征靶标区域的图像，通过信息接收处理装置与计算机主机相连；

(iv)控制功能部件，产生所需控制功能信号，通过信息接收处理装置与计算机主机相连；

0 (v)信息接收处理装置，安插在计算机主机中，实现图像信息处理和通讯功能，并且与计算机操作系统通讯交互。
27. 如权利要求 23、 26所述的系统，其特征在于，所述控制功能部件：布置若干控制功能按键，用于产生系统触发、左键、右键、翻页、滚动等控制功能信号。
28. 如权利要求 26所述的系统，其特征在于，所述信息接收处理装置，包括图像采集模块、数据处理模块、控制信号模块、数据接口模块、数据通讯模块，具有如下功能：接收图像传感器传递的图像信息和控制功能部件产生的控制功能信号；对采集的图像进行处理，完成图像传感器的指向定位、特征靶点提取、单目摄像机成像模型的参数计算、光标指向点的显示坐标计算等功能；产生系统触发、左键、右键、翻页、滚动等控制功能信号；通知计算机操作系统将鼠标光标或其他图像目标显示在显示屏上的显示坐标处。
29. 一种手套式视觉指向型鼠标输入装置，其包括：

(i)计算机主机，和与之相连的显示屏；

(ii)靶标，用于标定图像传感器的摄像机成像参数；

(iii) 安装有单目图像传感器的指向指套，用于指向靶标区域采集图像，通过处理电路与计算机主机相连；

(iv)控制功能键指套，包括若干按键、触摸键或压力开关，用于产生所需控制功能信号，通过处理电路与计算机主机相连；

(V)辅助功能键指套，通过弯曲手指，由手指自身触发开关控制，通过处理电路与计算机主机相连，该辅助功能键指套根据使用情况选用；

(vi) 处理电路，实现图像信息处理和通讯功能，与图像传感器和控制功能部件相连，同时通过有线或无线的方式与计算机主机相连；

(vii)信息接收处理装置，安插在计算机主机中，与处理电路通过有线或无线方式相连，同时与计算机操作系统通讯交互。
30. 一种手套式视觉指向型鼠标输入装置，其包括：

(i)计算机主机，和与之相连的显示屏；

(ii)靶标，用于标定图像传感器的摄像机成像参数；

(iii) 安装有单目图像传感器的指向指套，用于指向靶标区域采集图像，通过处理电路与计算机主机相连；

(iv)控制功能键指套，包括若干按键、触摸键或压力开关，用于产生所需控制功能信号，通过处理电路与计算机主机相连；

(v) 辅助功能键指套，通过弯曲手指，由手指自身触发开关控制，与计算机主机相连，该辅助功能键指套根据使用情况选用；

(vi)信息接收处理装置，安插在计算机主机中，实现图像信息处理和通讯功能，并且与计算机操作系统通讯交互。
31 . 一种指套式视觉指向型鼠标输入装置，其包括：

( i ) 计算机主机，和与之相连的显示屏；

(ii )靶标，用于标定图像传感器的摄像机成像参数；

( iii )视觉指向型鼠标输入指套，将单目图像传感器、处理电路、控制功能键集成在一个指套上，可穿戴于一个手指上，以有线或无线方式与计算机主机相连；

( iv)信息接收处理装置，安插在计算机主机中，实现图像信息处理和通讯功能，并且与计算机操作系统通讯交互。
32. 一种指套式视觉指向型鼠标输入装置，其包括：

( i)计算机主机，和与之相连的显示屏；

(ii )靶标，用于标定图像传感器的摄像机成像参数；

( iii)视觉指向型鼠标输入指套，将单目图像传感器、控制功能键集成在一个指套上，可穿戴于一个手指上，以有线或无线方式与计算机主机相连；

( iv) 信息接收处理装置，安插在计算机主机中，实现图像信息处理和通讯功能，并且与计算机操作系统通讯交互。
33. 一种视觉指向型鼠标应用程序，驻留在计算机主机中，与计算机操作系统和视觉指向型鼠标输入系统进行通讯交互，包括如下内容-

(i )图像接收处理程序，接收由视觉指向型鼠标输入系统的图像传感器发送的图像信息;

( ii) 图像传感器定位程序，确定图像传感器指向显示屏的位置；

(iii)特征靶点产生程序，在显示屏上确定所需特征靶点；

(iv)靶点提取程序，根据靶点特征在图像中提取靶点的图像坐标；

(v)成像参数计算程序，根据单目摄像机标定技术，解算出单目摄像机成像参数；

(vi )显示坐标计算程序，计算出指示轴指向点对应的光标显示坐标；

( vii)光标显示程序，通知计算机将鼠标光标或其他图像目标显示在显示屏上，并以显示光标为中心重新确定显示屏指向区域，在指向区域内重新确定特征靶点；

(viii )控制功能程序，产生系统触发、左键、右键、翻页、移动等控制功能信号。