CN106618479A - 瞳孔追踪系统及其方法 - Google Patents

Abstract

一种瞳孔追踪系统及其方法，该方法包含：(a)利用一摄影单元取得一眼部影像；(b)定位所述眼部影像上的一瞳孔位置；(c)依据该瞳孔位置，将所述眼部影像中的一巩膜划分成若干个巩膜区域；(d)依据所述巩膜区域的面积比例，获得一原始坐标位置；(e)将所述原始坐标位置转换成对应于一荧幕坐标上的目标位置。本发明实施例可由划分巩膜的区域，精确判断瞳孔与巩膜间的相对位置关系，由此对应计算出使用者的注视方向；同时本发明由瞳孔与巩膜间高反差的特性，可透过简易的配备即可判断使用者的注视方向，于实施上可降低硬体设备可能产生的成本。

Description

瞳孔追踪系统及其方法

技术领域

本发明关于一种瞳孔追踪系统，尤指一种以巩膜比例取得使用者注视方向的瞳孔追踪系统。

背景技术

人眼追踪(Eye tracking)技术常见应用于操控电脑，可发展作为渐冻人或肢体不便的人士透过电脑与外界沟通的辅具，或是心理研究的工具。此外，眼动追踪技术亦大幅应用于各种领域，例如神经科学、心理学、工业工程、人因工程、行销广告、电脑科学等。

此技术是指追踪眼球的移动，得到眼球位置坐标或移动轨迹，并据以对电脑产生某种预设的控制指令。因此这方面技术首先必须能精准地侦测到眼球的移动，接着另一重点是必须能准确地转换成电脑产生控制指令所需的资料，例如将眼球位置转换对应成电脑显示荧幕上的游标位置，否则将导致下错控制指令。

目前人眼追踪(Eye tracking)技术以是否与人眼接触区分为接触式及非接触式，接触式人眼追踪技术可区分为搜寻线圈法及眼电图法，非接触式人眼追踪技术主要是以视觉辨识为基础(Vision based)，可区分为头戴式(Head－mount)或免头戴式(Free－head)。

在接触式人眼追踪技术方面，搜寻线圈法(Search coil)是让使用者配戴具有感应线圈的软式镜片，当使用者转动眼球进而带动镜片时，感应线圈会因为磁通量变化产生感应电动势，此电动势大小即代表眼球偏转的角度，但是此方法的缺点在于容易受到使用者眼球状况的影响，如眼部的分泌物等，且软式镜片是双层结构，会影响使用者的视力；至于眼电图(EOG)法，则是在眼部周围贴附复数电极，并利用该等电极侦测眼球转动所产生的电压差来判断其上下左右的角度，缺点是脸部贴附电极的皮肤电阻容易因为角质分泌使得取得的电讯号不稳定，且仅能记录眼球的巨转向而无法记录较微小的角度变化。

在头戴式人眼追踪技术方面，使用者必须配戴一附有小型摄影机之眼镜，由于眼部及摄影机的相对距离固定，如此就不会因为脸部偏移或眼部的相对距离变化导致判断不准确，因而在使用者使用时就必须将眼镜固定于头部，由此固定小型摄影机与眼睛的相对位置，对使用者而言不但不方便也不舒适。

免头戴式人眼追踪技术方面，国外有配合荧幕及双CCD摄影机的眼部追踪器(Eye trackers)，国内较有名的则有林宸生等人的相关研究。然而，目前所知的免头戴式人眼追踪技术系采用较复杂的运算，且免头戴式人眼追踪技术须克服使用者头部移动造成误差的问题。另外，双CCD摄影机的眼部追踪器虽然可以对指标精确定位，但是造价十分昂贵，且需采用两个CCD摄影机。

由前述可知，无论接触式或非接触式的眼控技术在实施时，都需要精准的定位才具有实用性；然而，精准的定位还需搭配昂贵的软硬体设备，如此一来，使眼控技术无法普及化让一般大众也能使用。

发明内容

为了满足上述需求，本发明的揭露内容提供以下实施例。

在本发明的一或更多实施例中，提供一种瞳孔追踪方法，该方法包含：(a)利用一摄影单元取得一眼部影像；(b)定位该眼部影像上的一瞳孔位置；(c)依据该瞳孔位置，将该眼部影像中的巩膜划分成若干个巩膜区域；(d)依据若干个该巩膜区域的面积比例，获得一原始坐标位置；(e)将该原始坐标位置转换成对应于一荧幕坐标上的一目标位置。

在本发明的一或更多实施例中，其中步骤(a)依据以下方式由该摄影单元取得该眼部影像：搜寻一影像中符合脸部特征的一脸部影像；经由该脸部影像撷取出一鼻孔特征，并定义该鼻孔特征的一鼻孔位置；以该鼻孔位置为基础，依据一五官比例，建立一眼部搜寻框；以及于该眼部搜寻框内撷取出该眼部影像。

在本发明的一或更多实施例中，其中步骤(c)依据该瞳孔位置作为基准，定义至少两个基准轴，由该基准轴将该巩膜分为至少四个该巩膜区域。

在本发明的一或更多实施例中，其中步骤(d)依据至少四个该巩膜的面积比例关系，定义该原始坐标位置。

在本发明的一或更多实施例中，其中步骤(c)依据该瞳孔位置作为基准，定义一水平轴及一垂直轴，依据该水平轴将该巩膜分为一上巩膜区域与一下巩膜区域，并依据该垂直轴将该巩膜分为一左巩膜区域与一右巩膜区域。

在本发明的一或更多实施例中，其中步骤(d)经由该上巩膜区域与该下巩膜区域之间的比例，取得一第一坐标参数，并经由该左巩膜区域与该右巩膜区域间的比例取得一第二坐标参数，并将该第一坐标参数及该第二坐标参数所对应的该原始坐标位置，标记于一平面坐标图上。

在本发明的一或更多实施例中，其中步骤(e)将该平面坐标图上的该原始坐标位置，由仿射转换法转换成对应至该荧幕坐标上的该目标位置。

在本发明的一或更多实施例中，提供一种瞳孔追踪系统，包含有一摄影单元以及一连接该摄影单元的处理单元。该摄影单元用以取得一眼部影像。该处理单元定位该眼部影像上的一瞳孔位置，并依据该瞳孔位置，将该眼部影像上的一巩膜划分成复数个巩膜区域，由若干个该巩膜区域的面积比例，获得一原始坐标位置，并将该原始坐标位置转换成一荧幕坐标上的一目标位置，由此计算使用者的注视方向。

在本发明的一或更多实施例中，其中该处理单元系配置成用以载入并执行下述程式，该程式包含：影像分析模组，配置成定位该眼部影像中的该瞳孔位置；区域划分模组，配置成依据该影像分析模组所定位的该瞳孔位置，将该巩膜划分成至少四个该巩膜区域；面积处理模组，配置成经由该眼部影像计算至少四个该巩膜区域的面积大小；图像处理模组，配置成由至少四个该巩膜区域的面积比例关系，定义该原始坐标位置；以及坐标转换模组，配置成将该原始坐标位置转换成对应于该荧幕坐标上的目标位置。

在本发明的一或更多实施例中，其中该区域划分模组依据该影像分析模组所定位的该瞳孔位置作为基准定义一水平轴及一垂直轴，并依据该水平轴将该巩膜分为一上巩膜区域与一下巩膜区域，并依据该垂直轴将该巩膜分为一左巩膜区域与一右巩膜区域。

在本发明的一或更多实施例中，其中该图像处理模组经由该上巩膜区域与该下巩膜区域间的比例，取得一第一坐标参数，并经由该左巩膜区域与该右巩膜区域间的比例取得一第二坐标参数，并将该第一坐标参数及该第二坐标参数所对应的该原始坐标位置标记于一平面坐标图上。

在本发明的一或更多实施例中，其中该坐标转换模组将该平面坐标图上的该原始坐标位置由仿射转换法转换成对应至该荧幕坐标上的目标位置。

在本发明的一或更多实施例中，其中该处理单元配置成用以载入并执行下述程式，该程式包含：影像分析模组，配置成定位该眼部影像中的瞳孔位置；区域划分模组，配置成依据该影像分析模组所定位的该瞳孔，将巩膜划分成至少四个巩膜区域；面积处理模组，配置成经由该眼部影像计算至少四个该巩膜区域的面积大小；转换模组，配置成由至少四个该巩膜区域的面积大小，界定出该瞳孔相对于该巩膜的相对位置，并将该瞳孔的相对位置转换成该瞳孔对应于荧幕坐标上的目标位置，由此计算使用者的注视方向。

在本发明的一或更多实施例中，其中该区域划分模组依据该影像分析模组所定位的该瞳孔位置作为基准定义至少两个相互间具有相同夹角的基准轴，由该基准轴将该巩膜分为至少四个该巩膜区域。

在本发明的一或更多实施例中，其中该转换模组依据至少四个该巩膜区域面积间的比例关系，定义该瞳孔与该巩膜间的该瞳孔相对位置。

在本发明的一或更多实施例中，提供一种电脑可读取记录媒体，当电脑载入该媒体并执行后，可执行以下的方法：(a)利用一摄影单元取得一眼部影像；(b)定位该眼部影像上的一瞳孔位置；(c)依据该瞳孔位置，将该眼部影像中的巩膜划分成若干个巩膜区域；(d)依据若干个该巩膜区域的面积比例，获得一原始坐标位置；(e)将该原始坐标位置转换成对应于一荧幕坐标上的一目标位置。

在本发明的一或更多实施例中，其中步骤(a)依据以下方式由该摄影单元取得该眼部影像：搜寻一影像中符合脸部特征的一脸部影像；经由该脸部影像撷取出一鼻孔特征，并定义该鼻孔特征的一鼻孔位置；以该鼻孔位置为基础，依据一五官比例，建立一眼部搜寻框；以及于该眼部搜寻框内撷取出该眼部影像。

在本发明的一或更多实施例中，其中步骤(c)依据该瞳孔位置作为基准，定义至少两个基准轴，由该基准轴将该巩膜分为至少四个巩膜区域。

在本发明的一或更多实施例中，其中步骤(d)依据至少四个该巩膜的面积比例关系，定义该原始坐标位置。

在本发明的一或更多实施例中，其中步骤(c)依据该瞳孔位置作为基准，定义一水平轴及一垂直轴，依据该水平轴将该巩膜分为一上巩膜区域与一下巩膜区域，并依据该垂直轴将该巩膜分为一左巩膜区域与一右巩膜区域。

在本发明的一或更多实施例中，其中步骤(d)经由该上巩膜区域与该下巩膜区域之间的比例，取得一第一坐标参数，并经由该左巩膜区域与该右巩膜区域间的比例取得一第二坐标参数，并将该第一坐标参数及该第二坐标参数所对应的该原始坐标位置，标记于一平面坐标图上。

在本发明的一或更多实施例中，其中步骤(e)将该平面坐标图上的该原始坐标位置，由仿射转换法转换成对应至该荧幕坐标上的该目标位置。

在本发明的一或更多实施例中，提供一种电脑程式产品，该电脑程式产品被载入一电脑中执行，可完成以下的方法：(a)利用一摄影单元取得一眼部影像；(b)定位该眼部影像上的一瞳孔位置；(c)依据该瞳孔位置，将该眼部影像中的巩膜划分成若干个巩膜区域；(d)依据若干个该巩膜区域的面积比例，获得一原始坐标位置；(e)将该原始坐标位置转换成对应于一荧幕坐标上的一目标位置。

在本发明的一或更多实施例中，其中步骤(a)依据以下方式由该摄影单元取得该眼部影像：搜寻一影像中符合脸部特征的一脸部影像；经由该脸部影像撷取出一鼻孔特征，并定义该鼻孔特征的一鼻孔位置；以该鼻孔位置为基础，依据一五官比例，建立一眼部搜寻框；以及于该眼部搜寻框内撷取出该眼部影像。

在本发明的一或更多实施例中，其中步骤(c)依据该瞳孔位置作为基准，定义至少二个基准轴，由该基准轴将该巩膜分为至少四个巩膜区域。

在本发明的一或更多实施例中，其中步骤(d)依据至少四个该巩膜的面积比例关系，定义该原始坐标位置。

在本发明的一或更多实施例中，其中步骤(c)依据该瞳孔位置作为基准，定义一水平轴及一垂直轴，依据该水平轴将该巩膜分为一上巩膜区域与一下巩膜区域，并依据该垂直轴将该巩膜分为一左巩膜区域与一右巩膜区域。

在本发明的一或更多实施例中，其中步骤(d)经由该上巩膜区域与该下巩膜区域的间的比例，取得一第一坐标参数，并经由该左巩膜区域与该右巩膜区域间的比例取得一第二坐标参数，并将该第一坐标参数及该第二坐标参数所对应的该原始坐标位置，标记于一平面坐标图上。

在本发明的一或更多实施例中，其中步骤(e)将该平面坐标图上的该原始坐标位置，由仿射转换法转换成对应至该萤幕坐标上的该目标位置。

在本发明的一或更多实施例中，其中步骤(e)将该平面坐标图上的该坐标由仿射转换法转换成对应至该荧幕坐标上的目标位置。

是以，本发明系相较于先前技术具有以下的优异功效：

1.本发明实施例可由划分巩膜的区域，精确判断瞳孔与巩膜间的相对位置关系，由此对应计算出使用者的注视方向。

2.本发明由瞳孔与巩膜间高反差的特性，可透过简易的配备即可判断使用者的注视方向，于实施上可降低硬体设备可能产生的成本。

附图说明

图1，本发明瞳孔追踪系统的方块示意图。

图2，本发明瞳孔追踪方法的流程示意图。

图3，本发明第一实施例的方块示意图。

图4，显示使用者的脸部影像。

图5，本发明建立眼部搜寻框的流程示意图。

图6，显示使用者的眼部影像的水平轴与垂直轴的划分图。

图7，本发明仿射转换法的示意图。

图8，本发明训练程序的流程示意图。

图9，本发明第二实施例的方块示意图。

图10，本发明眼部动作与荧幕映射的转换示意图。

图11，本发明应用于接目装置的操作示意图。

图12，本发明接目装置的剖面示意图。

图13，本发明应用于眼控电脑的方块示意图。

图14，本发明应用于眼控电脑的操作示意图。

附图标记：

10 瞳孔追踪系统

100 输入单元

200 输出单元

300 处理单元

400 摄影单元

500 储存单元

20 瞳孔追踪系统

502 训练模组

51 标记控制器

52 取像控制器

53 运算器

504 影像分析模组

505 区域划分模组

506 面积处理模组

508 坐标转换模组

509 图像处理模组

510 眼部搜索模组

6 影像

61 脸部影像

62 鼻孔位置

D 鼻孔间距

R1 眼部搜寻框

R2 眼部搜寻框

Hr 第一水平轴

Vl 第一垂直轴

B1 上巩膜区域

B2 下巩膜区域

C1 左巩膜区域

C2 右巩膜区域

30 瞳孔追踪系统

602 影像分析模组

604 区域划分模组

606 面积处理模组

608 转换模组

H2 第二水平轴

V2 第二垂直轴

A1 第一巩膜区域

A2 第二巩膜区域

A3 第三巩膜区域

A4 第四巩膜区域

80 密码输入装置

81 手持式眼控装置

82 处理主机

811 外壳

812 窗口

813 摄影单元

816 第一荧幕

817 反射镜

90 眼控电脑

91 摄影单元

92 第二荧幕

921 密码选单

922 游标

93 处理主机

具体实施方式

就本案的结构特征暨操作方式，并配合图示说明，谨述于后，俾提供审查参阅。再者，本发明中的图式，为说明方便，其比例未必按实际比例绘制，而有夸大的情况，该等图式及其比例非用以限制本发明的范围。此外，在本发明被详细描述之前，要注意的是，在以下的说明内容中，类似的元件是以相同的编号来表示。

请参阅「图1」，为本发明瞳孔追踪系统的方块示意图，如图所示：瞳孔追踪系统10可包含输入单元100、输出单元200、处理单元300、摄影单元400、及储存单元500。输入单元100可配置成将特定指令输入至处理单元300中，以便进行处理。输出单元200可配置成接收处理单元300的指令，以便将指令转换成使用者可接收处理的资讯形式。处理单元300可配置成经由输入单元100、储存单元500、或摄影单元400接收资料、或指令等，将该等资料或指令处理后，再将处理过的资料或指令传送至输出单元200、或再发出指令以便自储存单元500获得所需资料或指令。摄影单元400可配置成将所撷取的影像资料传送至处理单元300。较佳而言，摄影单元400可用以拍摄使用者的脸部，以产生多张连续影像并或可将之暂存于储存单元500。储存单元500可配置成储存可驱动瞳孔追踪系统10的各种程式码、指令、或资料，以便于适当时将该等程式码、指令或资料传送至处理单元300。

在一或更多实施例中，输入单元100可为键盘、麦克风、或触控面板等各种可将使用者的指令传送至处理单元300的装置。在若干实施例中，输入单元100亦可用以撷取影像资料。此外，在一或更多实施例中，输出单元200可为显示幕、荧幕、扬声器、或任何可将指令转换成通常生物可接收处理的资讯形式的装置。在较佳实施例中，输出单元200为荧幕，以显示一指标与使用者的瞳孔注视位置相配合。

在本实施例中，处理单元300以及储存单元500可共同构成一电脑或处理器，例如是个人电脑、工作站、主机电脑或其他型式的电脑或处理器，在此并不限制其种类。

在本实施例中，处理单元300可耦接于储存单元500。处理单元300例如是中央处理单元(Central Processing Unit；CPU)，或是其他可程式化的一般用途或特殊用途的微处理器(Microprocessor)、数位讯号处理器(Digital Signal Processor；DSP)、可程式化控制器、特殊应用积体电路(Application Specific Integrated Circuits；ASIC)、可程式化逻辑装置(Programmable Logic Device；PLD)或其他类似装置或这些装置的组合。在本实施例中，处理单元300可用以实现本发明实施例所提出的瞳孔追踪方法。

储存单元500可以是任何型态的固定或可移动随机存取记忆体(random access memory；RAM)、唯读记忆体(read-only memory；ROM)、快闪记忆体(flash memory)或类似元件或上述元件的组合。储存单元500亦可由一或更多个可存取的非挥发性记忆构件所构成。具体而言，其可为硬碟、记忆卡，亦可为积体电路或韧体。在一或更多实施例中，储存单元500可用以记录摄影单元400取得的包括瞳孔的影像及统计资讯。

在本实施例中，摄影单元400可作为影像撷取装置的一实施例，用以撷取上述包括瞳孔的影像并将影像储存于储存单元500中。摄影单元400可以是任何具有电荷耦合元件(Charge coupled device；CCD)镜头、互补式金氧半电晶体(Complementary metal oxide semiconductor transistors；CMOS)镜头，或红外线镜头的摄影机，亦可以是可取得深度资讯的影像撷取设备，例如是深度摄影机(depth camera)或立体摄影机。在其他实施例中，摄影单元400可与处理单元300以及储存单元500所构成的电脑透过通用串列汇流排(Universal Serial Bus；USB)等实体线路连接，或透过有线网路或是蓝芽、无线保真(Wireless Fidelity；WiFi)等无线传输介面连接。本发明实施例对于摄影单元400的种类并不限制。

针对本发明的主要操作流程，请一并参阅「图2」，本发明的瞳孔追踪系统10，依据以下的方法将使用者的注视方向对应至荧幕上的位置：

首先，先利用摄影单元400取得眼部影像，即步骤S201，接续，处理单元300执行以下步骤，以将使用者的注视方向转换至荧幕上的对应位置。首先，处理单元300于取得眼部影像后定位该眼部影像上的一瞳孔位置，即步骤S202。接续，该处理单元300依据所定位的该瞳孔位置，将该眼部影像中的巩膜划分成若干个巩膜区域，即步骤S203，由该若干个巩膜区域的面积比例，获得一原始坐标位置，即步骤S204，最后，将该原始坐标位置转换成对应于一荧幕坐标上的一目标位置，即步骤S205。

随着所需配置不同，本发明的一或更多实施例中的瞳孔追踪系统10自所撷取的影像中搜寻眼睛、甚或瞳孔的方法亦有差异。以下详述于若干实施例中，本发明的一或更多实施例中的瞳孔追踪系统10搜寻眼睛或瞳孔的特定系统配置及其搜寻方法。

为实现上述的步骤，本发明分举两个不同实施例，以详述处理单元的具体运作方式。

请参阅「图3」，揭示本发明一较佳实施例的方块示意图。于本实施例中，处理单元300主要配置成用以载入以下的程式，以侦测使用者的瞳孔注视方向，所述的程式包含有：

影像分析模组504：

影像分析模组504用以将由摄影单元400所取得的使用者影像，撷取出使用者的眼部区域，即眼部影像，以确认使用者的瞳孔位置。影像分析模组504用以针对所取得的使用者影像进行影像分析、处理、及部分特征的撷取，更具体而言，该影像分析模组504可针对所撷取到的图像进行如杂讯抑制、对比调整、锐利度调整、或针对部分图像特征进行上色等程序。于撷取使用者瞳孔位置时，较精准的方式系针对眼部区域进行二值化处理，以分离虹膜区域与虹膜以外的其他眼部区域，由撷取虹膜的中心点，会再对该虹膜区域作一次二值化处理，可取得瞳孔位置。较佳的方式由该瞳孔中心位置作为基准参考点，即瞳孔位置，可减少误判的可能性。

眼部搜索模组510：

眼部搜索模组510用以由使用者的脸部影像中，由脸部特征搜寻使用者的眼部影像。请一并参阅「图4」及「图5」，显示使用者的脸部影像61以及建立眼部搜寻框R1/R2的流程示意图。首先，该摄影单元400先经由拍摄以取得使用者的影像6。该处理单元300在载入眼部搜索模组510的功能后，针对影像6上定位眼部特征位置，并由该影像6中搜寻影像中符合脸部特征的脸部影像61，即步骤S20，于此步骤中，可经由撷取使用者的轮廓边界，以判断使用者脸部的位置，以分辨出使用者的脸部影像61。该处理单元300接续经由该脸部影像61中撷取出鼻孔特征，并计算该鼻孔位置62的中心，定义该鼻孔特征的鼻孔位置62，即步骤S21，由于鼻孔特征相较于脸部影像61中的其他区域具有较明显的对比，相对于脸部影像61中的其他区域为较容易辨识的参考点。接续，将该两鼻孔位置62进行连线，以取得鼻孔间距D，此时，依据脸部的比例进行运算，可依据五官比例由鼻孔位置62向上一段距离建立一眼部搜寻框R1(R2)，即步骤S22，利用眼部统计特征由眼部搜寻框R1(R2)内撷取出该眼部影像(步骤S23)。有关于眼部搜寻框R1(R2)的建立，以下以具体的计算流程进行说明，惟本发明并不欲限制于以下的实施例，在此先行叙明：于取得两个鼻孔的位置62后，计算取得两个鼻孔间距D，并以两个鼻孔的中心位置作为起算点坐标A(x1,y1)。接续，于眼部搜寻框R1建立于右眼的情况，根据使用者的脸部比例，计算取得一第一基准点坐标B(x2,y2)，其中，x2＝x1+k1×D，y2＝y1+k2×D，k1＝1.6～1.8，k2＝1.6～1.8，该第一基准点坐标B(x2,y2)即大略落于右眼的位置，依该第一基准点坐标B(x2,y2)为中心可建立右眼的眼部搜寻框R1。于眼部搜寻框R1建立于左眼的情况，根据使用者的脸部比例，计算取得一第二基准点坐标C(x3,y3)，其中，x3＝x1-k1×D，y3＝y1+k2×D，k1＝1.6～1.8，k2＝1.6～1.8，该第二基准点坐标C(x3,y3)即大略落于左眼的位置，依该第二基准点坐标C(x3,y3)为中心可建立左眼的眼部搜寻框R2。

区域划分模组505及面积处理模组506：

区域划分模组505配置成依据该影像分析模组504所定位的该瞳孔位置，于眼部影像中将巩膜划分成若干个巩膜区域。请一并参阅「图6」，显示第一实施例中使用者眼部影像的示意图。于取得眼部影像后，该区域划分模组505将依据该影像分析模组504所定位该瞳孔位置作为基准定义一水平轴及一垂直轴，如图3所示第一水平轴Hr和如第一垂直轴Vl，该第一水平轴Hr将该巩膜分为上巩膜区域B1、下巩膜区域B2、依据该第一垂直轴Vl将该巩膜分为左巩膜区域C1、右巩膜区域C2。

面积处理模组506配置成用以计算该所感个巩膜区域的面积数值，以便后续界定出该瞳孔相对于该巩膜的相对位置。眼部影像经由该第一垂直轴Vl及该第一水平轴Hr分割后，该面积处理模组506分别计算该上巩膜区域B1、下巩膜区域B2、左巩膜区域C1、右巩膜区域C2的面积，以取得分别对应于B1、B2、C1、C2的面积参数。

图像处理模组509及坐标转换模组508：

图像处理模组509经由该左巩膜区域C1、右巩膜区域C2间的比例取得一第一坐标参数xn＝C2/C1，并经由该上巩膜区域B1、下巩膜区域B2的比例取得一第二坐标参数yn＝B2/B1，并将该第一坐标参数xn及该第二坐标参数yn所对应的坐标标记于平面坐标图上，以此可得到于该平面坐标图上的原始坐标位置D(xn,yn)。

坐标转换模组508利用坐标系统转换方法将平面坐标图上的原始坐标位置D(xn,yn)映射至荧幕上的像元矩阵(u,v)上。于本实施例中，该坐标转换模组508可采仿射转换法将原始坐标对应地映射至荧幕上。由此，可将使用者的注视方向转移至荧幕上。

训练模组502：

请参阅「图7」及「图8」，本系统于初始使用时，必须先由捕捉使用者眼部影像所取得的训练参数建立资料库，以透过训练的方式记录使用者的眼动资讯，以便使用者的注视方向与荧幕间能有更为精确的对应。该训练模组502包含有标记控制器51、取像控制器52、以及运算器53，其训练的流程详述如下：

于训练程序开始时，该标记控制器51于该荧幕上显示第P个影像节点(于本实施例中，N＝1～16)，由该影像节点引导使用者注视相对应于荧幕上的对应位置(即像元矩阵上的位置)，即步骤S31。

当对应第P个影像节点被突显时，该取像控制器52分别传递拍摄指令至该摄影单元400，指示该摄影单元400对使用者进行拍摄，即步骤S32，接续由影像分析模组504、区域划分模组505、面积处理模组506、图像处理模组509将相对应的第P个使用者注视位置的参考坐标标注于平面坐标图上，即步骤S33，返回执行上述的步骤，直到P＝N(n＝16)均被执行完毕时，于该平面坐标图上亦同时显示有N个参考坐标，所述的参考坐标即为训练参数。

最后，该运算器53接收标注于平面坐标图上的所有参考坐标，并确认该参考坐标的分布范围。所述的分布范围将近趋于矩形，此时，可由仿射转换法(affine transformation)将平面坐标图上的该参考坐标映射至荧幕上相对的位置，以取得对应的仿射转换系数，该仿射转换系数储存于该储存单元500，于坐标转换模组将原始坐标位置D(xn,yn)转换至荧幕上的像元矩阵(u,v)时，存取该仿射转换系数以将该原始坐标位置D(xn,yn)代入对应的仿射公式。(步骤S34)

接续，请参阅「图9」，本发明第二实施例的方块示意图。于第二实施例中，瞳孔追踪系统30的处理单元300主要配置成用以载入以下的程式，以侦测使用者的瞳孔注视方向，所述的程式包含有：

影像分析模组602：

与第一实施例中的影像分析模组504大致相同，用以将由摄影单元400所取得的使用者影像，撷取出使用者的眼部区域(即眼部影像)，以确认使用者的瞳孔位置，具有影像分析、处理、及部分特征的撷取的功能，可针对所撷取到的图像进行如杂讯抑制、对比调整、锐利度调整、或针对部分图像特征进行上色等程序。

区域划分模组604及面积处理模组606：

区域划分模组604配置成依据该影像分析模组602所定位的该瞳孔位置，于眼部影像中将巩膜划分成至少四个巩膜区域。请一并参阅「图10」，显示第二实施例中使用者眼部影像的示意图。于取得眼部影像后，该区域划分模组604将依据该影像分析模组602所定位的该瞳孔位置作为基准，定义至少两个相互间具有相同夹角的基准轴，由该基准轴将该巩膜分为至少四个巩膜区域。所述的基准轴以两个为佳，相互垂直地将巩膜划分为四个区域，依同样的逻辑推导方式可将巩膜分为五、六、七甚至以上的区域，于本发明中并不欲限定于将巩膜划分为四个区域的态样。

于本实施例中，所述的基准轴有两个，为一水平轴以及一垂直轴，如图9所示，第二水平轴H2和第二垂直轴V2。该第二水平轴H2及该第二垂直轴V2交会于瞳孔绝对位置上，由此将巩膜划分为四个巩膜区域，如图9所示，第一巩膜区域A1、第二巩膜区域A2、第三巩膜区域A3、第四巩膜区域A4。

面积处理模组606配置成计算该巩膜区域的面积，以便后续界定出该瞳孔相对于该巩膜的相对位置。眼部影像经由该第二垂直轴V2及该第二水平轴H2分割后，该面积处理模组系分别计算经划分后的四个巩膜区域第一巩膜区域A1、第二巩膜区域A2、第三巩膜区域A3、第四巩膜区域A4的面积，以取得分别对应于第一巩膜区域A1、第二巩膜区域A2、第三巩膜区域A3、第四巩膜区域A4的面积参数。

转换模组608：

转换模组608，配置成将该瞳孔的相对位置转换成该瞳孔对应于荧幕上的坐标位置。该转换模组608可由划分过后的巩膜的四个巩膜区域第一巩膜区域A1、第二巩膜区域A2、第三巩膜区域A3、第四巩膜区域A4间的相对面积，取得瞳孔的注视方向，以及位于荧幕上的相对应位置。

请参阅「图10」，依据使用者瞳孔绝对位置的不同，以下表列四个巩膜区域第一巩膜区域A1、第二巩膜区域A2、第三巩膜区域A3、第四巩膜区域A4与荧幕位置间的对应关系：

表一、A1、A2、A3、A4相对面积比例与萤幕位置的对应关系

瞳孔绝对位置	萤幕位置	区域面积间的对应关系
			(a1)	(b1)	A1<<A4
(a2)	(b2)	A1≒A2<A3≒A4
			(a3)	(b3)	A2<<A3
(a4)	(b4)	A1≒A3<A2≒A4
			(a5)	(b5)	A1≒A2≒A3≒A4
(a6)	(b6)	A2≒A4<A1≒A3
			(a7)	(b7)	A3<<A2
(a8)	(b8)	A3≒A4<A1≒A2
			(a9)	(b9)	A4<<A1

依据上述的表格对应关系再计算面积比例，即可准确地判断眼部注视位置相对于荧幕上的对应位置，无须经由校正及训练程序。该转换模组608经由以下的演算方法取得眼部注视方向相对于荧幕上的对应位置：首先，该转换模组608取得区域面积和(A1+A3)与区域面积和(A2+A4)间的比例，并由该比例取得相对于眼球中心位置的一水平位移参数Hn；同时，取得区域面积和(A1+A2)与区域面积和(A3+A4)间的比例，并由该比例取得相对于眼球中心位置的一垂直位移参数Vn，由此，该四巩膜区域面积间的比例可组成一二维向量V(Hn,Vn)。所取得的二维向量V(Hn,Vn)经由矩阵(通过训练或是大量实验数据)转换后将取得真实空间向量。计算该真实空间向量分别除以荧幕像元矩阵单一像元水平方向的宽Hu，以及荧幕像元矩阵单一像元垂直方向的长Vu对应至单一像元的长，即可计算出像元矩阵上所对应的像素。

请一并参阅「图11」及「图12」，显示本发明应用于手持式眼控装置81上的实施例。本发明系可应用于一具备手持式眼控装置81的密码输入装置80上。该密码输入装置80主要包含有一手持式眼控装置81，以及一讯号连接至手持式眼控装置81以及保全设备的处理主机82。该手持式眼控装置81可供使用者手持使用并覆盖于使用者眼部，以进行密码输入程序。该手持式眼控装置81主要包含有一显示密码选单的荧幕，如图12的第一荧幕816，以及一拍摄该使用者眼部以取得眼部影像的摄影单元813。处理主机82用以接收并分析摄影单元813所取得的眼部影像，以获得该使用者透过眼部动作所输入的一输入密码串，并比对该输入密码串与一预设的安全密码。当处理主机82比对该输入密码串及该预设的安全密码，确认两者相符时，产生一验证成功指令并传送至该保全设备以开启保险柜。

有关于接目装置的内部结构，请参阅「图13」，该手持式眼控装置81的结构主要包含有一外壳811、一反射镜817、以及设置于外壳811内的前述第一荧幕816及摄影单元813。该外壳811具有一窗口812，供该使用者注视，使用者于手持该外壳811时可透过该窗口812进行密码输入程序，反射镜817设置于第一萤幕816及窗口812之间，可透过反射镜817将第一荧幕816上的密码选单反射至该窗口812，以供该使用者注视。该摄影单元813设置于该窗口812附近，当该使用者透过该窗口812注视该密码选单时，该摄影单元813拍摄该使用者眼部，以取得眼部影像。

请一并参阅「图13」及「图14」，显示本发明应用于眼控电脑90上的实施例。本发明可应用于眼控电脑90上，用以连结于保全设备，以管控门禁系统。该眼控电脑90主要包含有一荧幕，如图14所示的第二荧幕92，一摄影单元91，以及一讯号连接至该第二荧幕92、该摄影单元91、及该保全设备的处理主机93。该第二荧幕92主要用于显示密码选单921，以供使用者输入相应的密码。该摄影单元91连续拍摄使用者的影像。该处理主机93用以接收并分析摄像单元91所取得的影像，并由该影像中撷取出使用者的眼部影像，可判断使用者的眼部动作以控制第二荧幕92上的游标922，以获得该使用者所输入之一输入密码串，并比对该输入密码串与一预设的安全密码。当处理主机93比对该输入密码串及该预设之安全密码，确认两者相符时，产生一验证成功指令并传送至该保全设备以开启门锁。

综上所述，本发明实施例可由划分巩膜的区域，精确判断瞳孔与巩膜间的相对位置关系，由此对应计算出使用者的注视方向。再者，本发明由瞳孔与巩膜间高反差的特性，可透过简易的配备即可判断使用者的注视方向，于实施上可降低硬体设备可能产生的成本。

以上所述，仅为本发明之较佳实施例而已，当不能以此限定本发明实施的范围，即大凡依本发明申请专利范围及发明说明内容所作的简单的等效变化与修饰，皆仍属本发明专利涵盖的范围内。

Claims (15)

1.一种瞳孔追踪方法，包含：

步骤(a)利用一摄影单元取得一眼部影像；

步骤(b)定位所述眼部影像上的一瞳孔位置；

步骤(c)依据所述瞳孔位置，将所述眼部影像中的一巩膜划分成若干个巩膜区域；

步骤(d)依据若干个所述巩膜区域的面积比例，获得一原始坐标位置；以及

步骤(e)将所述原始坐标位置转换成对应于一荧幕坐标上的一目标位置。

2.根据权利要求1所述的瞳孔追踪方法，其特征在于，其中所述步骤(a)依据以下方式由所述摄影单元取得所述眼部影像：

搜寻一影像中符合脸部特征的一脸部影像；

经由所述脸部影像撷取出一鼻孔特征，并定义所述鼻孔特征的一鼻孔位置；

以所述鼻孔位置为基础，依据一五官比例，建立一眼部搜寻框；以及

于所述眼部搜寻框的内部撷取出所述眼部影像。

3.根据权利要求1所述的瞳孔追踪方法，其特征在于，其中所述步骤(c)依据所述瞳孔位置作为基准，定义至少两个基准轴，由所述基准轴将所述巩膜分为至少四个所述巩膜区域。

4.根据权利要求1所述的瞳孔追踪方法，其特征在于，其中所述步骤(d)依据至少四个所述巩膜区域的面积比例关系，定义所述原始坐标位置。

5.根据权利要求1所述的瞳孔追踪方法，其特征在于，其中所述步骤(c)依据所述瞳孔位置作为基准，定义一水平轴及一垂直轴，依据该水平轴将所述巩膜分为一上巩膜区域与一下巩膜区域，并依据所述垂直轴将所述巩膜分为一左巩膜区域与一右巩膜区域。

6.根据权利要求5所述的瞳孔追踪方法，其特征在于，其中所述步骤(d)经由所述上巩膜区域与所述下巩膜区域之间的比例，取得一第一坐标参数，并经由所述左巩膜区域与所述右巩膜区域间的比例取得一第二坐标参数，并将所述第一坐标参数及所述第二坐标参数所对应的所述原始坐标位置，标记于一平面坐标图上。

7.根据权利要求6所述的瞳孔追踪方法，其特征在于，其中所述步骤(e)将所述平面坐标图上的所述原始坐标位置，由仿射转换法转换成对应至所述荧幕坐标上的所述目标位置。

8.一种瞳孔追踪系统，其特征在于，包含：

一摄影单元，用以取得一眼部影像；以及

一处理单元，连接于所述摄影单元，所述处理单元定位所述眼部影像上的一瞳孔位置，并依据所述瞳孔位置，将所述眼部影像上的一巩膜划分成若干个巩膜区域，由若干个所述巩膜区域的面积比例，获得一原始坐标位置，并将所述原始坐标位置转换成一荧幕坐标上的一目标位置，计算使用者的注视方向。

9.根据权利要求8所述的瞳孔追踪系统，其特征在于，其中所述处理单元配置成用以载入并执行下述程式，所述程式包含：

影像分析模组，配置成定位所述眼部影像中的该瞳孔位置；

区域划分模组，配置成依据所述影像分析模组所定位的该瞳孔位置，将所述巩膜划分成至少四个所述巩膜区域；

面积处理模组，配置成经由所述眼部影像计算至少四个所述巩膜区域的面积大小；

图像处理模组，配置成由至少四个所述巩膜区域的面积比例关系，定义所述原始坐标位置；以及

坐标转换模组，配置成将所述原始坐标位置转换成对应于所述荧幕坐标上的目标位置。

10.根据权利要求9所述的瞳孔追踪系统，其特征在于，其中所述区域划分模组依据该影像分析模组所定位的该瞳孔位置作为基准定义一水平轴及一垂直轴，并依据所述水平轴将所述巩膜分为一上巩膜区域与一下巩膜区域，并依据所述垂直轴将所述巩膜分为一左巩膜区域以及一右巩膜区域。

11.根据权利要求10所述的瞳孔追踪系统，其特征在于，其中所述图像处理模组经由所述上巩膜区域与所述下巩膜区域间的比例，取得一第一坐标参数，并经由所述左巩膜区域与所述右巩膜区域间的比例取得一第二坐标参数，并将所述第一坐标参数及所述第二坐标参数所对应的所述原始坐标位置标记于一平面坐标图上。

12.根据权利要求11所述瞳孔追踪系统，其特征在于，其中所述坐标转换模组将所述平面坐标图上的所述原始坐标位置由仿射转换法转换成对应至所述荧幕坐标上的目标位置。

13.根据权利要求8所述之瞳孔追踪系统，其特征在于，其中所述处理单元配置成用以载入并执行下述程式，所述程式包含：

影像分析模组，配置成定位所述眼部影像中的瞳孔位置；

区域划分模组，配置成依据该影像分析模组所定位的所述瞳孔位置，将所述巩膜划分成至少四个所述巩膜区域；

面积处理模组，配置成经由所述眼部影像计算至少四个所述巩膜区域的面积大小；

转换模组，配置成由至少四个所述巩膜区域的面积大小，界定出所述瞳孔相对于所述巩膜的相对位置，并将该瞳孔的相对位置转换成所述瞳孔对应于所述荧幕坐标上的目标位置，计算使用者的注视方向。

14.根据权利要求13所述瞳孔追踪系统，其特征在于，其中所述区域划分模组依据所述影像分析模组所定位的所述瞳孔位置作为基准定义至少两个相互间具有相同夹角的基准轴，由所述基准轴将所述巩膜分为至少四个所述巩膜区域。

15.根据权利要求13所述瞳孔追踪系统，其特征在于，其中所述转换模组依据至少四个所述巩膜区域面积间的比例关系，定义所述瞳孔与所述巩膜间的所述瞳孔相对位置。