CN1357862A - 视窗的光标视觉点选方法及装置 - Google Patents

Abstract

一种视窗的光标视觉点选方法及装置,该装置包含有一影像摄取装置以及一电脑,通过一接口与该影像摄取装置沟通;该方法包含有取得使用者的瞳孔相对于使用者外型的相对移动信息以及根据该使用者瞳孔的相对移动信息,而动态调整该光标与电脑视窗间的相对位置关系。本发明能够让电脑使用者无须移动鼠标即可任意地操作光标移动,因此可避免手来回在鼠标与键盘间操作的不便。

Description

视窗的光标视觉点选方法及装置

本发明涉及一种电脑光标的移动方法及装置，且特别是涉及一种依据使用者眼球的移动而决定电脑光标位置的视觉点选方法及装置。

早期电脑的基本输入装置为键盘(Keyboard)，无论是打字或者是指令的输入均在键盘上完成，但是使用键盘有一小小的缺点，那就是光标位置无法随心所欲地快速移动，因此后来随着视窗图形接口系统的盛行，而产生鼠标(Mouse)这种指向输入装置，使用者借助移动鼠标而可以将光标(或者称为游标)快速地移向电脑显示屏上的任一图标或选项，因此目前鼠标这种输入装置变得非常重要，并且与键盘一样均为电脑的基本配备。

虽然应用鼠标作为指向装置已是一件很方便的事，但是，鼠标主要被设计用来作为光标的指向与简单指令的输入，若欲打字或使用快捷键(Hot Key)则非使用键盘不可，因此，使用者慢慢地发觉在使用电脑的过程中，手常常须在键盘与鼠标之间移动，觉得很不方便。在目前信息化的时代里，视窗图形接口已成为时势所趋，因此若能一方面快速地将光标指向特定的位置，另一方面可以让使用者专心于键盘的操作，则必将能够节省操作输入装置的时间，而大幅地增加电脑使用的效率。

有鉴于此，本发明的目的在于提供一种视窗的光标视觉点选方法及装置，为解决电脑使用者有时用鼠标定位、有时用键盘输入的不便，使得电脑光标的定位方式更为简便，以克服现有技术中所存在的上述缺陷。

本发明的上述第一目的是这样实现的：一种视窗的光标视觉点选方法，是利用眼球的移动信息控制电脑光标的移动，其特征在于包含有：取得使用者的瞳孔相对于使用者外型的相对移动信息；以及根据该使用者瞳孔的相对移动信息，而动态调整该光标与电脑视窗间的相对位置关系。

本发明所述的视窗的光标视觉点选方法，其特征在于该使用者瞳孔的相对移动信息，是通过一影像摄取装置摄取的使用者的脸部外型、眼睛外型与瞳孔的相对位置而取得。

本发明所述的视窗的光标视觉点选方法，其特征在于该影像摄取装置是为一数码相机(Digital Camera)或者为一安装在眼架上的电荷耦合元件(Charge Couple Device，CCD)。

本发明所述的视窗的光标视觉点选方法，其特征在于该影像摄取装置是以该脸部外型或者眼睛外型为依据而订定出一定位框。

本发明所述的视窗的光标视觉点选方法，其特征在于是以使用者的瞳孔与定位框间相对位置的变化量，作为该使用者瞳孔的相对移动信息。

本发明所述的视窗的光标视觉点选方法，其特征在于是以座标换算的方式，将该使用者的瞳孔与定位框间相对位置的变化量，对应到光标与电脑视窗间的相对位置关系。

本发明所述的视窗的光标视觉点选方法，其特征在于是以向量换算的方式，将该使用者的瞳孔与定位框间相对位置的变化量，对应到光标与电脑视穿间的相对位置关系。

本发明所述的视窗的光标视觉点选方法，其特征在于还包括有一取得输入指令的步骤。

本发明所述的视窗的光标视觉点选方法，其特征在于该输入指令的方法是为将使用者闭合眼睛的信息转换为一指定的操作指令。

本发明的上述另一目的是这样实现的：一种视窗的光标视觉点选装置，是利用眼球的移动作为操作电脑光标移动的依据，其特征在于包含有：一影像摄取装置，对使用者的外型进行定位辨识而取得使用者的瞳孔的位置，并且订定一参考用的定位框，同时输出该瞳孔与该定位框的相对位置的信息；以及一电脑，通过一接口与该影像摄取装置沟通，依据该瞳孔与该定位框间的相对位置变化量，而动态调整该光标与电脑视窗间的相对位置。

本发明所述的视窗的光标视觉点选装置，其特征在于该影像摄取装置是为一数码相机或者为一安装在眼镜架上的电荷耦合元件。

本发明所述的视窗的光标视觉点选装置，其特征在于该数码相机所摄取的使用者外型为脸部外型、眼外型与瞳孔位置，或者该电荷耦合元件所摄取的使用者外型为眼睛外型与瞳孔位置。

本发明所述的视窗的光标视觉点选装置，其特征在于是以该脸部外型或者该眼睛外型为依据而订定出该定位框。

由此可见，本发明公开了一种视窗的光标视觉点选方法及装置，是借助一影像摄取装置对使用者的外型做定位辨识，根据其定位辨识的结果，取得使用者瞳孔与其定位框的数值，依据瞳孔与定位框间的相对位置变化量，且通过一沟通接口将其变化量的电信号传递给电脑，而动态调整电脑光标与电脑视窗间的相对位置关系，因此电脑使用者不须移动鼠标即可任意地操作光标移动，这样就可避免来回在鼠标与键盘间操作的不便。

下面结合实施例所示附图，对本发明的上述和其他目的、特征、和优点作进一步详细说明。

图1A为本发明装置的第一实施例；

图1B为本发明装置的第二实施例；

图2为本发明方法的主流程图；

图3为本发明方法第一实施例的流程图；

图4为本发明方法第二实施例的流程图；

图5A为第一实施例中影像摄取装置所摄取描绘的使用者外型与定位框示意图；

图5B为第一实施例中定位并计算瞳孔与定位框间的相对位置示意图；

图5C为第一实施例中瞳孔与定位框间的相对位置的变化情形示意图；

图6A为第二实施例中影像摄取装置所摄取描绘的使用者外型示意图；

图6B为第二实施例中定位并计算瞳孔与定位框间的相对位置示意图；

图6C为第二实施例中瞳孔与定位框间的相对位置的变化情形示意图；

图7A为本发明所使用的数据结构的范例；以及

图7B为将图7A中的范例简化后的二元矩阵。

请参照图1A与图1B，其分别为本发明装置的第一实施例与第二实施例，由于本发明所公开的技术是利用眼睛的转动作为光标移动的依据，因此需要一影像摄取装置对眼睛部份的变化予以定位辨识。此一影像摄取装置在第一实施例中为一数码相机20(如图1A所示)，在第二实施例中则为电荷耦合元件30(Charge Couple Device，CCD)(如图1B所示)。若是使用CCD 30作为影像摄取装置，则须将其装设在一眼镜架31上让使用者配戴，且其传输电信号的方式以无线傅输较为方便；若是使用数码相机20作为影像摄取装置，则因该摄影机可置于桌上或电脑10上再将镜头对着使用者摄取影像，所以可用有线的方式与电脑10传输电信号。

请参照图2，其为本发明方法的主流程图，其流程与一般电脑启动与结束的过程类似，首先将电脑开机、进入视窗作业系统(步骤201)，然后载入上述影像摄取装置(数码相机20或CCD 30)的驱动程序，以启动本发明相关硬件设备(步骤202)。在第一实施例中，由于各厂牌的数码相机20均会提供其产品的驱动程序与应用编程接口(Application ProgramInterface，API)，因此使用者只要直接利用产品所提供的驱动程序与应用编程接口，即可通过数码相机20取得影像数据；但是，若是以CCD 30作为影像摄取装置，则须另外自行撰写其软硬件接口程序与驱动程序。另外须注意的是，无论是以上哪一种实施例，均须将摄取影像装置的接口程序设定为常驻程序，就如同目前使用鼠标的情形一样，如此其接口程序才能随时动态地摄取影像数据并作为光标位置移动的依据(步骤203)。最后，当使用者不再需要使用视窗系统时，可象一般的方式关闭视窗(步骤204)，并离开该视窗系统(步骤205)。

请参照图3与图4，其分别为本发明方法第一实施例与第二实施例的个别流程图，其间流程大同小异，只是因为所使用的影像摄取装置不同而有小小的差别。首先须驱动并设定前述的影像摄取装置(步骤301或步骤401)，使其软硬件均就绪以摄取使用者的影像数据(步骤302或步骤402)，其所摄取使用者影像数据的内容，在第一实施例中包括脸部外型、眼睛外型与瞳孔位置，并且对人形外框定位、眼睛部位定位(步骤303)，若是在第二实施例中则包括眼睛外型与瞳孔位置，同时也对眼睛部位定位(步骤403)，当定位完成后，判断是否是第一次启动本发明或者有重新启动(步骤304或步骤404)？若是则先执行定位调整程序(步骤306或步骤406)，再依瞳孔的偏移量来移动视窗上的光标(步骤305或步骤405)，否则即直接动态地依照瞳孔的偏移量来移动视窗上的光标(步骤305或步骤405)。以上所述的动态检测过程一直反复进行，直到使用者想要关机(步骤307或步骤407)而结束。

以下便针对个别实施例的具体实施内容予以介绍：

第一实施例(使用数码相机20作为影像摄取装置)

1.请参照图5A，将所摄取到使用者的影像以描边的方式定出其外形，包括脸部外型51、眼睛外型52与瞳孔521位置，并依照其脸部外型51而决定一第一定位框41。

2.请参照图5B，将眼睛的部位定出，并计算瞳孔521与第一定位框41的相对位置座标(Xa，Ya)，以便程序计算。

3.请参照图5C，当眼睛转动的时候，瞳孔521与第一定位框41间的相对位置座标将有所改变(Xb，Yb)，依先后移动的向量变化，而作为映射至视窗显示屏中光标的位置移动量。其计算的内容如下：

(1)首先将(Xa，Ya)定为视窗的中心点，若以800×600解析度的视窗为例，即(Xa，Ya)相当于视窗上(400，300)的座标位置；

(2)瞳孔的偏移量以向量表示

ΔM＝(ΔX，ΔY)＝(Xb，Yb)-(Xa，Ya)＝(Xb-Xa，Yb-Ya)；

(3)将定位调整所计算出相对于视窗显示屏X-Y座标轴的比值α、β代入计算：

移动后的光标位置＝中心点座标+移动向量，

而鼠标的移动向量＝(αΔX，βΔY)，若以800×600解析度的视窗为例，则移动后的光标位置＝(400，300)+(αΔX，βΔY)；(4)依计算出的位置移动视窗显示屏上的光标。第二实施例(使用CCD 30作为影像摄取装置)

1.请参照图6A，将所摄取到使用者的影像以描边的方式定出其外形，包括眼外型52与瞳孔521位置，并依照其眼睛外型52而决定一第二定位框42。

2.请参照图6B，将眼睛的部位定出，并计算瞳孔521与第二定位框42的相对位置座标(Xa，Ya)，以便程序计算。

3.请参照图6C，当眼睛转动的时候，瞳孔521与第二定位框42间的相对位置座标将有所改变(Xb，Yb)，依先后移动的向量变化，而作为映射至视窗显示屏中光标的位置移动量。其计算的内容如下：

(1)首先将(Xa，Ya)定为视窗的中心点，若以800×600解析度的视窗为例，即(Xa，Ya)相当于视窗上(400，300)的座标位置；

(2)瞳孔的偏移量以向量表示

ΔM＝(ΔX，ΔY)＝(Xb，Yb)-(Xa，Ya)＝(Xb-Xa，Yb-Ya)；

(3)将定位调整所计算出相对于视窗显示屏X-Y座标轴的比值α、β代入计算：

移动后的光标位置＝中心点座标+移动向量，

而鼠标的移动向量＝(αΔX，βΔY)，若以800×600解析度的视窗为例，则移动后的光标位置＝(400，300)+(αΔX，βΔY)；

(4)依计算出的位置移动视窗显示屏上的光标。

其中以上所述定位调整的部份，即是计算瞳孔上下左右移动的范围与视窗解析度间的相对关系。以第二实施例举例说明之，假设上述所定出的第二定位框是以100×100的像素(Pixel)所组成，则(Xa，Ya)＝(50，50)，该点对应于视窗显示屏上的(Xa’，Ya’)＝(400，300)，且

α＝X方向显示屏解析度/瞳孔于X方向最大移动量

  ＝800/100＝8(假设第二定位框X方向的距离刚好是瞳孔X方向最大移动量)

β＝Y方向显示屏解析度/瞳孔于Y方向最大移动量

  ＝600/100＝6(假设第二定位框y方向的距离刚好是瞳孔y方向最大移动量)

若瞳孔移动后的座标(Xb，Yb)＝(10，60)则

(ΔX，ΔY)＝(Xb-Xa，Yb-Ya)＝(10-50，60-50)＝(-40，10)

所以此时光标会移动到(Xb’，Yb’)的位置：

(Xb’，Yb’)＝(400，300)+(8×-40，6×10)＝(80，360)

以上所述的计算方式，是以座标位置为基准来计算，另外，还可以利用向量的方式计算视窗上光标的移动位置。向量包含了“方向”与“大小”二个量，我们可以瞳孔与定位框间的相对位置关系作为“方向”的依据，而眼球的移动速度则作为“大小”的考量点，也就是说，若眼球的移动速度快，则在同一方向上，在电脑视窗就会造成较大的光标移动量，同理，若是眼球的移动速缓慢，虽然眼球移动的距离与前者相同，但是换算于电脑视窗的光标移动量就会较小。

当光标到达视窗上的一定点后，可再加入如鼠标左、右键一般输入指令的功能，指令的输入方式可利用眼睛闭合的方式、声音辨识辅助的方式、或者是按下鼠标或键盘上按键的方式。

本发明所使用的数据结构方面，为了易于数据的记录，因此使用矩阵来记录由影像摄取装置所取得的影像数据，如图7A所表示的范例，由图中可以发现矩阵中元素的数值可区分出两极化的数据(极大或极小)，因此我们可以简化该矩阵：

令g(x，y)＝0    若f(x，y)≤128

  g(x，y)＝1    若f(x，y)＞128

由以上代换的结果，可得到一如图7B所示的二元矩阵，这样可大幅降低储存数据所需的记意空间：1像素由1byte降至为1bit，因此可加快数据读取、传递的速度。同样，由计算g(x，y)的改变量，而对应至显示屏上相应的点，以作为光标移动至相对位置的依据。其中，关于矩阵的大小可自行定义，通常是由影像摄取装置摄取眼球涵盖的像素来作为矩阵的大小，一般而言约为100像素以内。

在辨识技术方面，可将影像摄取所获得的数据，配合模糊演算法(Fuzzy Algorithm)与类神经网络演算法(Neural Network Algorithm)组成一具快速平行处理与学习能力的辨识系统，使得光标位置的自动校正功能更为精确。

本发明所公开的方法是利用影像辨识的方式做电脑光标的定位，可以更简便地操作光标移动，因此使用者可避免因使用鼠标定位而来回使用鼠标与键盘的不便。

虽然本发明已以数个较佳实施例公开如上，但其并非用以限定本发明，任何本专业领域内的普通技术人员，在不脱离本发明的构思和范围内，当可作适当的更动与润饰，因此本发明的保护范围当视权利要求所界定的保护范围为准。

Claims (24)

1、一种视窗的光标视觉点选方法，是利用眼球的移动信息控制电脑光标的移动，其特征在于包含有：

取得使用者的瞳孔相对于使用者外型的相对移动信息；以及

根据该使用者瞳孔的相对移动信息，而动态调整该光标与电脑视窗间的相对位置关系。

2、如权利要求1所述的视窗的光标视觉点选方法，其特征在于该使用者瞳孔的相对移动信息，是通过一影像摄取装置摄取的使用者的脸部外型、眼睛外型与瞳孔的相对位置而取得。

3、如权利要求2所述的视窗的光标视觉点选方法，其特征在于该影像摄取装置是为一数码相机(Digital Camera)。

4、如权利要求3所述的视窗的光标视觉点选方法，其特征在于该数码相机还以该脸部外型为依据而订定出一定位框。

5、如权利要求4所述的视窗的光标视觉点选方法，其特征在于是以使用者的瞳孔与定位框间相对位置的变化量，作为该使用者瞳孔的相对移动信息。

6、如权利要求5所述的视窗的光标视觉点选方法，其特征在于是以座标换算的方式，将该使用者的瞳孔与定位框间相对位置的变化量，对应到光标与电脑视窗间的相对位置关系。

7、如权利要求5所述的视窗的光标视觉点选方法，其特征在于是以向量换算的方式，将该使用者的瞳孔与定位框间相对位置的变化量，对应到光标与电脑视穿间的相对位置关系。

8、如权利要求2所述的视窗的光标视觉点选方法，其特征在于该影像摄取装置是为一安装在眼架上的电荷耦合元件(Charge CoupleDevice，CCD)。

9、如权利要求8所述的视窗的光标视觉点选方法，其特征在于该电荷耦合元件所摄取的使用者外型为眼睛外型与瞳孔位置。

10、如权利要求9所述的视窗的光标视觉点选方法，其特征在于该电荷耦合元件还以该眼睛外型为依据而订定出一定位框。

11、如权利要求10所述的视窗的光标视觉点选方法，其特征在于是以使用者的瞳孔与定位框间相对位置的变化量，作为该使用者瞳孔的相对移动信息。

12、如权利要求11所述的视窗的光标视觉点选方法，其特征在于是以座标换算的方式，将该使用者的瞳孔与定位框间相对位置的变化量，对应到光标与电脑视窗间的相对位置关系。

13、如权利要求11所述的视窗的光标视觉点选方法，其特征在于是以向量换算的方法，将该使用者的瞳孔与定位框间相对位置的变化量，对应到光标与电脑视窗间的相对位置关系。

14、如权利要求1所述的视窗的光标视觉点选方法，其特征在于还包括有一取得输入指令的步骤。

15、如权利要求14所述的视窗的光标视觉点选方法，其特征在于该输入指令的方法是为将使用者闭合眼睛的信息转换为一指定的操作指令。

16、一种视窗的光标视觉点选装置，是利用眼球的移动作为操作电脑光标移动的依据，其特征在于包含有：

一影像摄取装置，对使用者的外型进行定位辨识而取得使用者的瞳孔的位置，并且订定一参考用的定位框，同时输出该瞳孔与该定位框的相对位置的信息；以及

一电脑，通过一接口与该影像摄取装置沟通，依据该瞳孔与该定位框间的相对位置变化量，而动态调整该光标与电脑视窗间的相对位置。

17、如权利要求16所述的视窗的光标视觉点选装置，其特征在于该影像摄取装置是为一数码相机。

18、如权利要求17所述的视窗的光标视觉点选装置，其特征在于该数码相机所摄取的使用者外型为脸部外型、眼外型与瞳孔位置。

19、如权利要求18所述的视窗的光标视觉点选装置，其特征在于是以该脸部外型为依据而订定出该定位框。

20、如权利要求16所述的视窗的光标视觉点选装置，其特征在于该影像摄取装置是为一安装在眼镜架上的电荷耦合元件。

21、如权利要求20所述的视窗的光标视觉点选装置，其特征在于该电荷耦合元件所摄取的使用者外型为眼睛外型与瞳孔位置。

22、如权利要求21所述的视窗的光标视觉点选装置，其特征在于是以该眼睛外型为依据而订定出该定位框。

23、如权利要求16所述的视窗的光标视觉点选装置，其特征在于还包括有一取得输入指令的步骤。

24、如权利要求23所述的视窗的光标视觉点选装置，其特征在于该输入指令的方法是为将使用者闭合眼睛的信息转换为一指定的操作指令。

Images