CN101393602B - 应用于人员监控的眼睛辨识追踪方法 - Google Patents

Abstract

一种应用于人员监控的眼睛辨识追踪方法与装置，应用于人员监控的眼睛辨识追踪方法，包括：撷取影像步骤；影像序列步骤；搜寻候选区域步骤；分析候选区域步骤；眼睛区域追踪步骤；追踪判定步骤；其应用于人员监控的眼睛辨识追踪装置，包括一红外线投光器、一摄影机、一处理单元，该红外线投光器用以提供红外线光源，而该摄影机上则设有滤片并与处理单元连接，用以撷取红外线影像供处理单元做辨识与追踪用，以达到眼睛追踪以及提高准确的功效。本发明可全天候使用，并防止由使用者所配带的眼镜、墨镜造成影响，较节省硬件资源，亦可加快处理速度，追踪模式流程则是在追踪成功时可跳过侦测模式流程，如此亦有利于处理单元做处理。

Description

应用于人员监控的眼睛辨识追踪方法

技术领域

本发明涉及一种应用于人员监控的眼睛辨识追踪方法。

背景技术

利用处理单元对一连续的影像各项特征与细节做分析比对，借由预设的流程与分析方式，进而由该影像上获取所需数据，以用做自动控制等流程的一环，其中对于人体脸部影像的处理判断方式，因具有较广的应用范畴，遂成一热门且重要的技术；人体脸部影像的处理判断方式，主要可应用在驾驶人员的眼睛追踪与警示，防止疲劳开车所造成的危害，当然并不仅限于此，其它各式人员的监控与警示，亦可配合此一技术而收到自动化成效，由此可知影像追踪的重要性与实用性。

现有技术如中国台湾专利公开号436436号，“持续监控车辆驾驶者的方法及装置”一案，其技术在于使用视讯同质二连续视讯的移动图素分析，侦测驾驶者水平移动，令驾驶者面部置放于视讯持续对应视框内，由同质视讯二连续视框间移动图素分析，侦测驾驶者轻置中的面部垂直位移，以找出眼睛位置；

现有技术中另一中国台湾专利公开号531402号，“眼部追踪方法”一案，其技术为预先撷取虹膜信息后与所撷取的虹膜信息卷积，找出虹膜位置；

而现有技术中的中国台湾专利公证书号I225222号，“实时影像串的稳健脸部侦测算法”第三案，其技术在于接收面部影像的YCbCR色彩空间的影像数据，合并运动进行分析判别眼睛可能位置；

现有技术中的中国台湾专利公开号200719247号，“控制显示装置的眼睛侦测系统”第四案，其技术在于撷取后的脸部影像与数据库中预设脸部数据比对，借以辨识眼睛位置；

现有技术中的中国台湾专利公开号200719871号，“适用于复杂背影的实时人脸侦测方法”第五案，其技术在于接收面部影像的YCbCR色彩空间的影像数据，合并支持向量演算进行分析判别眼睛可能位置。

由上述各现有技术的各案可知，对于人体脸部而言，眼睛似成为一最主要的辨识目标，然而现有技术中各案的辨识方法仍流于繁琐，或有需要撷取脸部影像、虹膜信息等，或有需要配合YCbCr技术等，各现有技术皆未能提供出一简单快速的眼睛追踪方式，如此不仅需要较高昂的硬设备方可配合现有技术，或是需要先撷取用户自身的影像才可使用，相对而言，其便利性与适用性皆不佳。

再加上现有技术其追踪眼睛的方式，容易受限于气候、环境亮度以及使用者身上配带物(如眼镜、墨镜等)，难以有效达到追踪的成效与准确度，因此就整体而言，其实用性差，仍有加以改良的必要。

发明内容

本发明所要解决的主要技术问题在于，克服现有技术存在的上述缺陷，而提供一种应用于人员监控的眼睛辨识追踪方法与装置，本发明以红外线影像做为视讯来源，而可全天候使用，并防止由使用者所配带的眼镜、墨镜造成影响，且侦测模式流程是针对单一画面做处理，故较节省硬件资源，亦可加快处理速度，追踪模式流程则是在追踪成功时可跳过侦测模式流程，如此亦有利于处理单元做处理。

本发明应用于人员监控的眼睛辨识追踪方法是：

一种应用于人员监控的眼睛辨识追踪方法，其特征在于，包括下列步骤：撷取影像步骤：配合红外线光源而撷取视讯；影像序列步骤：将所撷取的视讯拆解成数张实时画面以做后续处理；搜寻候选区域步骤：将上述所撷取的画面与样版比较挑选出可能为眼睛的候选区域；分析候选区域步骤：由候选区域中利用群组性与几何关系确认眼睛区域；眼睛区域追踪步骤：利用对象追踪方式追踪眼睛区域；追踪判定步骤：若所选择的眼睛区域无法被追踪，则由撷取影像步骤重新开始；若所选择的眼睛区域可被追踪，则跳过搜寻候选区域步骤以及分析候选区域步骤，并持续对所读入的画面进行追踪处理；借由上述步骤而可有效达到眼睛追踪以及提高准确性的功效。

前述的应用于人员监控的眼睛辨识追踪方法，其中各步骤依其属性是分为前置处理流程、侦测模式流程与追踪模式流程；所述前置处理流程包括撷取影像步骤与影像序列步骤；所述侦测模式流程包括搜寻候选区域步骤与分析候选区域步骤；所述追踪模式流程包括眼睛区域追踪步骤与追踪判定步骤。

前述的应用于人员监控的眼睛辨识追踪方法，其中侦测模式流程在分析候选区域步骤后更包括有一确认眼睛区域步骤，其是利用真实眼睛样版做比对，以提高准确性。

前述的应用于人员监控的眼睛辨识追踪方法，其中分析候选区域步骤是以连通组件算法利用群组性与几何关系做处理，该群组性与几何关系是指包括大小、形状、相对位置的至少一种。

前述的应用于人员监控的眼睛辨识追踪方法，其中撷取影像步骤是以红外线投光器配合设有滤片的摄影机完成。

前述的应用于人员监控的眼睛辨识追踪方法，其中影像序列步骤是以影像处理单元完成。

前述的应用于人员监控的眼睛辨识追踪方法，其中搜寻候选区域步骤、分析候选区域步骤、眼睛区域追踪步骤、追踪判定步骤是以影像辨识单元完成。

前述的应用于人员监控的眼睛辨识追踪方法，其中确认眼睛区域步骤是以影像辨识单元完成。

由上所述的方法可知，本发明以红外线影像做为视讯来源，而可全天候使用，并防止由使用者所配带的眼镜、墨镜造成影响，且侦测模式流程是针对单一画面做处理，故较节省硬件资源，亦可加快处理速度，追踪模式流程则是在追踪成功时可跳过侦测模式流程，如此亦有利于处理单元做处理。因此，本发明具有新颖性、突出的创造性和实用性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的流程步骤图。

图2、图3是本发明模拟样版的说明示意图。

图4至图6是本发明候选区域与眼睛区域说明的示意图。

图中标号说明：

10---眼睛11---瞳孔

12---虹膜

13---中心格14---周围格

20---脸部

21---眼睛211--第一候选区域

22---鼻部

221--第二候选区域

具体实施方式

本发明是有关于一种应用于人员监控的眼睛辨识追踪方法与装置，其中该装置包括红外线投光器、摄影机、滤片、处理单元，该红外线投光器可发出红外线光源，而该摄影机上则设有滤片并与处理单元连接，其可滤掉红外线以外的光源，撷取红外线影像做为视讯以供处理单元做处理，该处理单元则可分为影像处理单元与影像辨识单元，以便将视讯拆解为单一画面，进而做后续的辨识、追踪流程。

再请参阅图1所示，这种应用于人员监控的眼睛辨识追踪方法包括A.前置处理流程、B.侦测模式流程，与C.追踪模式流程，而各流程的意义与详细步骤则如后述。

A.前置处理流程：主要是配合红外线投光器以及设有滤片的摄影机来完成，利用红外线投光器提供红外线光源，并由摄影机捕捉反射而来的红外线光源产生红外线影像，其包括a.撷取影像步骤与b.影像序列步骤；

a.撷取影像步骤：配合红外线投光器的红外线光源，而利用设有滤片的摄影机来撷取红外线影像，以红外线投光器而克服环境明暗度的变化，以及眼镜、墨镜的遮挡所造成的准确性问题，而再借由滤片将红外线以外的光源滤掉，进而提高影像的真实性；其中该红外线投光器与摄影机可设置于任意处，以车上使用为例，则可设置于冷气孔、仪表板、后照镜、遮阳板及定位柱等位置附近，但并不以此为限。

b.影像序列步骤：本步骤主要是由红外线影像而来的视讯拆解成数张实时画面，任选出其中一张实时画面，再以该张做为后续步骤的基准画面，以画面做为处理的标的，以节省系统需求与资源；其中该影像序列步骤是以一处理单元的影像处理单元做整理。

B.侦测模式流程：主要是通过处理单元的影像辨识单元对影像序列步骤中所得的画面做处理，利用c.搜寻候选区域步骤、d.分析候选区域步骤、e.确认眼睛区域步骤，由该画面中确认出正确的眼睛区域位置；

c.搜寻候选区域步骤：利用处理单元进行样版辨识(PatternRecognition)，其主要是将上述所选的画面与模拟样版做比较，初步挑选出较可能为眼睛的候选区域；其中该模拟样版的说明请参阅图2及图3所示，该模拟样版的建置，主要是利用人体眼睛10的瞳孔11与虹膜12特征，如图2所示为一正常的眼睛10，其中在瞳孔11部分会呈现深色，而在虹膜12部分则呈相比瞳孔11浅的颜色，借由此一特征建置出样版则如图3所示，该样版主要是以深色处为中心，建立一中心区13，而该中心区周围则为较浅色的周围区14，该中心区13与周围区14排列则概呈十字形；因此，处理单元在进行样版辨识时，是以中心区13与周围区14的态样，寻找该画面上各个符合中心深色且周围浅色条件的区域，并将所选出的各个区域皆列为候选区域，其中该中心区13与周围区14的排列组合方式并不以十字形或五个区块为限。

d.分析候选区域步骤：处理单元先经过上一步骤而初步列出数个可能是眼睛的候选区域，本步骤则是要进一步分析各候选区域为眼睛的可能性，并挑选出最可能为眼睛的区域；其主要是利用连通组件算法(ConnectedComponentLabeling)，并搭配群组性与几何关系分析来进行，该连通组件算法的原理，主要是将上述所选出的各个候选区域，利用其群组性与几何关系，诸如大小、形状、相对位置等条件，筛选出可能性最高的候选区域，以图4至图6为例，其中图4是一正常人脸部20示意图，该脸部20上包括有眼睛21、鼻部22，而通过上一步骤则可初步选出中心深色周围浅色，较可能为眼睛的候选区域，如图5所示，其分别为第一候选区域211以及第二候选区域221，然而，通过连通组件算法以群组性与几何关系做分析，该第一候选区域211的大小较符合眼睛的大小故可能性较高、第二候选区域221则较小而可能性较低，该第一、第二候选区211、221的形状上皆略符合眼睛的形状，该第一候选区211的相对位置适中故可能性较高、第二候选区域221的相对位置过窄而可能性较低，通过上述的条件分析，如此，则可判定出该第一候选区域211为眼睛区域21，并将该眼睛区域定位如图6所示。

e.确认眼睛区域步骤：本步骤主要是做一进一步的确认动作，亦可将本步骤省略以加速进行；确认眼睛区域步骤其是利用真实眼睛样版做比对，以提高准确性，相较于模拟样版，该真实眼睛样版是指一般正常人的眼睛所制成的样版，但并不需限定使用者的眼睛，故可在提高准确性的同时，兼顾其适用性。

C.追踪模式流程：当侦测模式流程利用处理单元将眼睛区域，由所选取的画面中分析与确认完成后，便会进入追踪模式流程，其是由处理单元的影像辨识单元做处理，以持续追踪该眼睛区域，且直到追踪模式流程无法成功追踪眼睛区域为止，无需再进入侦测模式流程，亦即在成功的确认眼睛区域的情况下，前置处理流程选取完画面之后，将直接进入追踪模式流程，以节省系统资源的利用，故本流程包括有f.眼睛区域追踪步骤与g.追踪判定步骤；

f.眼睛区域追踪步骤：当上一流程由所撷取画面中确认出眼睛区域后，本步骤是利用处理单元以对象追踪(ObjectTracking)方式进行追踪，该对象追踪方式众多，本实施例以追踪算法(CamShift)为主，但并不以此为限，该追踪算法过程如下：

I.计算整张影像中像素分布信息。

II.选定一初始区域(本实施例中即眼睛区域)，以稍大于此区域的区块当作搜寻窗口(SearchWindow)，并计算其中的像素分布。

III.执行移动平均法(MeanShift)计算，找出搜寻窗口的中心位置并定义为中心点，并重新定义中心点与更新零阶动差(Zero-Moment)的信息。

IV.根据III的结果重新定义搜寻窗口的中心，并根据零阶动差重新定义窗口大小，之后重新进行II。

借由追踪算法对眼睛区域追踪，每次追踪完成后则进行下一步骤。

g.追踪判定步骤：根据上一步骤判定是否追踪成功，若追踪失败，则表示眼睛区域已有相当程度的位移，亦有可能是人员已离开或已闭眼的情况，故需再回到A.前置处理流程，重新建立眼睛区域，若持续无法建立眼睛区域，则亦可搭配现有技术的警示机构，做人员已离开或已闭眼的警示；若追踪成功，则回到A.前置处理流程，并跳过B.侦测模式流程，持续进行追踪。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

综上所述，本发明在结构设计、使用实用性及成本效益上，完全符合产业发展所需，且所揭示的结构亦是具有前所未有的创新构造，具有新颖性、创造性、实用性，符合有关发明专利要件的规定，故依法提起申请。

Claims (8)

1.一种应用于人员监控的眼睛辨识追踪方法，其特征在于，包括下列步骤：

撷取影像步骤：配合红外线光源而撷取视讯；

影像序列步骤：将所撷取的视讯拆解成数张实时画面以做后续处理；

搜寻候选区域步骤：将上述所撷取的画面与样版比较挑选出可能为眼睛的候选区域，所述样版以深色处为中心，建立一中心区，而所述中心区周围为较浅色的周围区，所述中心区与所述周围区排列为十字形；

分析候选区域步骤：由候选区域中利用群组性与几何关系确认眼睛区域；该群组性与几何关系是指包括大小、形状、相对位置的至少一种；

眼睛区域追踪步骤：利用对象追踪方式追踪眼睛区域，所述眼睛区域追踪步骤是包括以下步骤：

I.计算整张影像中像素分布信息；

II.选定一初始区域，以稍大于此区域的区块当作搜寻窗口，并计算其中的像素分布；

III.执行移动平均法计算，找出搜寻窗口的中心位置并定义为中心点，并重新定义中心点与更新零阶动差的信息；

IV.根据III的结果重新定义搜寻窗口的中心，并根据零阶动差重新定义窗口大小，之后重新进行II；

追踪判定步骤：若所选择的眼睛区域无法被追踪，则由撷取影像步骤重新开始；若所选择的眼睛区域可被追踪，则跳过搜寻候选区域步骤以及分析候选区域步骤，并持续对所读入的画面进行追踪处理。

2.根据权利要求1所述的应用于人员监控的眼睛辨识追踪方法，其特征在于所述各步骤依其属性是分为前置处理流程、侦测模式流程与追踪模式流程；

所述前置处理流程包括撷取影像步骤与影像序列步骤；

所述侦测模式流程包括搜寻候选区域步骤与分析候选区域步骤；

所述追踪模式流程包括眼睛区域追踪步骤与追踪判定步骤。

3.根据权利要求2所述的应用于人员监控的眼睛辨识追踪方法，其特征在于所述侦测模式流程在分析候选区域步骤后更包括有一确认眼睛区域步骤，其是利用真实眼睛样版做比对，以提高准确性。

4.根据权利要求1至3中任一项所述的应用于人员监控的眼睛辨识追踪方法，其特征在于所述分析候选区域步骤是以连通组件算法利用群组性与几何关系做处理。

5.根据权利要求1至3中任一项所述的应用于人员监控的眼睛辨识追踪方法，其特征在于所述撷取影像步骤是以红外线投光器配合设有滤片的摄影机完成。

6.根据权利要求1至3中任一项所述的应用于人员监控的眼睛辨识追踪方法，其特征在于所述影像序列步骤是以影像处理单元完成。

7.根据权利要求1至3中任一项所述的应用于人员监控的眼睛辨识追踪方法，其特征在于所述搜寻候选区域步骤、分析候选区域步骤、眼睛区域追踪步骤、追踪判定步骤是以影像辨识单元完成。

8.根据权利要求3所述的应用于人员监控的眼睛辨识追踪方法，其特征在于所述确认眼睛区域步骤是以影像辨识单元完成。