CN110222674B - 眼睛状态侦测方法以及眼睛状态侦测系统 - Google Patents

Abstract

本发明是公开一种眼睛状态侦测方法，施行在包含一影像感测器的电子装置上，包含：(a)以使用者眼睛的可能所在位置为基准，决定出一侦测范围，其中该侦测范围小于该电子装置所能侦测的最大可侦测范围；(b)以该侦测范围撷取一侦测影像；以及(c)根据该侦测影像的亮度判断该使用者眼睛为开眼状态或是闭眼状态。本发明亦揭露了以较小判断范围来判断使用者眼睛为开眼状态或是闭眼状态的方法。

Description

眼睛状态侦测方法以及眼睛状态侦测系统

本申请是201610421188.6的分案申请，母案申请的申请日2016年6月14日、申请号201610421188.6和发明创造名称为眼睛状态侦测方法以及眼睛状态侦测系统。

技术领域

本发明有关于眼睛状态侦测方法以及眼睛状态侦测系统，特别有关于可利用低分辨率影像以及较小的判断范围来判断眼睛状态的侦测方法以及侦测系统。

背景技术

越来越多电子装置具有侦测开眼和闭眼的功能 (例如智能型手机或智能型穿戴装置)，此功能除了提醒使用者其呈现闭眼状态，以避免使用者在不适当的时间点 (例如拍照时) 闭眼，亦可以让使用者以开眼和闭眼的动作来控制行动装置。此类电子装置需要以一侦测装置来侦测使用者是开眼或闭眼，常见的侦测方法为利用一影像感测器来撷取影像，并根据整张影像的特征来判断使用者是开眼或闭眼。

然而，若要正确判断影像的特征，则需要较高分辨率的影像感测器或者较大的判断范围，电子装置的成本因而增加或是需要较多的运算量而有较大的耗电量。但若使用低分辨率的影像感测器，则其撷取的影像特征不明显，难以判断使用者是开眼或闭眼。

发明内容

本发明一目的为提供一种可利用低分辨率影像来判断眼睛状态的侦测方法。

本发明另一目的为提供一种可利用低分辨率影像来判断眼睛状态的侦测系统。

本发明一实施例揭露了一种眼睛状态侦测方法，施行在包含一影像感测器的电子装置上，包含：(a)以使用者眼睛的可能所在位置为基准，决定出一侦测范围，其中该侦测范围小于该电子装置所能侦测的最大可侦测范围；(b)以该侦测范围撷取一侦测影像；以及(c)根据该侦测影像的亮度判断该使用者眼睛为开眼状态或是闭眼状态。

本发明一实施例揭露了施行前述方法的眼睛状态侦测系统，包含：一控制单元：一影像感测器，其中该控制单元控制该影像感测器以一侦测范围撷取一侦测影像，其中该侦测范围以使用者眼睛的可能所在位置为基准来决定，且小于该眼睛状态侦测系统所能侦测的最大可侦测范围；以及一计算单元，计算该侦测影像的亮度，并根据该侦测影像的亮度判断该使用者眼睛为开眼状态或是闭眼状态。

本发明另一实施例揭露了一种眼睛状态侦测方法，包含：(a) 撷取一侦测影像；(b) 计算该侦测影像最暗处周边的亮度变化趋势；以及(c) 根据该亮度变化趋势判断该使用者眼睛为开眼状态或是闭眼状态。

本发明另一实施例揭露了施行前述方法的眼睛状态侦测系统，包含：一控制单元：一影像感测器，其中该控制单元控制该影像感测器以一侦测范围撷取一侦测影像；以及一计算单元，用以计算该侦测影像最暗处周边的亮度变化趋势，并根据该亮度变化趋势判断该使用者眼睛为开眼状态或是闭眼状态。

本发明另一实施例揭露了一种眼睛状态侦测方法，施行在包含一影像感测器的电子装置上，包含：(a) 以该影像感测器撷取一侦测影像；(b)在该侦测影像中定义出一脸部范围；(c) 在该脸部范围中定义出一判断范围；以及(d) 判断该判断范围中是否包含开眼影像或闭眼影像。

本发明另一实施例揭露了施行前述方法的眼睛状态侦测系统，包含：一控制单元：一影像感测器，其中该控制单元控制该影像感测器撷取一侦测影像；以及一计算单元，用以在该侦测影像中定义出一脸部范围，在该脸部范围中定义出一判断范围，以及判断该判断范围中是否包含开眼影像或闭眼影像。

根据前述实施例，不须影像的详细特征以及大范围的影像便可判断使用者的眼睛状态，因此可改善习知技术中须利用高分辨率影像才能判断使用者眼睛状态的问题以及运算量大导致耗电的问题。

附图说明

图1绘示了根据本发明一实施例的眼睛状态侦测方法的示意图。

图2绘示了智能型眼镜施行图1中所示的眼睛状态侦测方法的示意图。

图3绘示了施行图1中所示的眼睛状态侦测方法之亮度变化与习知技术的亮度变化之示意图。

图4绘示了图1所示实施例的眼睛状态侦测方法的流程图。

图5绘示了根据本发明另一实施例的眼睛状态侦测方法的示意图。

图6绘示了图5所示实施例的眼睛状态侦测方法的流程图。

图7绘示了根据本发明一实施例的影像侦测装置的方块图。

图8绘示了根据本发明另一实施例的眼睛状态侦测方法的示意图。

图9绘示了图8所示的实施例之详细步骤的示意图。

图10绘示了简示本发明所提供的眼睛状态侦测方法之流程图。

附图标号说明：

DR 侦测范围

MDR最大侦测范围

401-407 步骤

601-611 步骤

701 控制单元

703 影像感测器

705 计算单元

SI 侦测影像

CL 判断器

Fr 脸部范围

CR 判断范围

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下将以不同实施例来说明本发明的内容。请留意，以下实施例中所提及的元件，例如单元、模组、系统等，均可以硬体(例如电路)或是硬体加轫体 (例如微处理器中写入程序)来实现。

图1绘示了根据本发明一实施例的眼睛状态侦测方法的示意图。如图1所示，本发明所提供的眼睛状态侦测方法会以一侦测范围DR来撷取一侦测影像，并根据此侦测影像的亮度判断使用者眼睛为开眼状态或是闭眼状态。在一实施例中，是以平均亮度来判断使用者眼睛为开眼状态或是闭眼状态。当使用者开眼时，侦测影像中包含了眼球的影像，其平均亮度会较暗。而当使用者闭眼时，侦测影像中大多是皮肤的影像，其平均亮度会较亮。因此可藉由平均亮度来判断使用者眼睛为开眼状态或是闭眼状态。

在此实施例中，侦测范围DR小于最大可侦测范围MDR且其位置是预先设定的。在一实施例中，是预先设定使用者眼睛的可能所在位置，并以此可能所在位置为基准，决定出侦测范围DR。图2绘示了智能型眼镜施行图1中所示的眼睛状态侦测方法的示意图。以图2为例，最大可侦测范围MDR是镜片所涵盖的位置。而当使用者戴上智能型眼镜时，眼睛大多数都在中央位置，因此可以中央位置为基准来决定出侦测范围DR。然请留意，图1中所示的实施例不限制于施行在图2所示的智能型眼镜，其亦可施行在其他装置上，例如头戴式的穿戴式装置，或是包含了摄影机的显示装置或是行动装置等。

在图1实施例中，如果不是以侦测范围DR而是以最大可侦测范围MDR来撷取侦测影像，则不仅运算量会较大，且使用者开眼时，其眼球的影像只占整体侦测影像的一小部份，其平均亮度跟使用者闭眼时差异不大，因此会有难以判断的问题。如图3所示，若使用最大侦测范围MDR来撷取侦测影像，则侦测影像的平均亮度在使用者开眼和闭眼时其差异并不明显，而若使用缩小后的侦测范围DR，则开眼和闭眼的侦测影像的平均亮度会有较大的差异。

图4绘示了图1所示实施例的眼睛状态侦测方法的流程图，其包含下列步骤：

步骤401

以使用者眼睛的可能所在位置为基准，决定出一侦测范围。以图2为例，使用者眼睛可能在智能型眼镜的中央位置，因此会以智能型眼镜的中央位置为基准决定出一侦测范围。

步骤403

以步骤401中的侦测范围撷取一侦测影像。

步骤405

根据侦测影像的亮度判断使用者眼睛为开眼状态或是闭眼状态。

以下将说明本发明所提供的另一实施例，此实施例是以侦测影像的亮度趋势来判断使用者眼睛为开眼状态或是闭眼状态。其判断的主要依据是，当使用者开眼时，侦测影像最暗处通常是眼球其中一处，而最暗处影像周边通常亦是眼球，亦呈现较暗的影像，因此使用者开眼时，侦测影像最暗处周边的影像亮度变化趋势较平缓。相反的，当使用者闭眼时，侦测影像最暗处通常是非皮肤的部份 (例如睫毛)，而最暗处影像周边通常是皮肤，会呈现较亮的影像，因此使用者闭眼时，侦测影像最暗处周边的影像亮度变化趋势会较急剧。然请留意，以下实施例可与前述图1至图4的实施例一同实施，也就是利用缩减过的侦测范围来撷取侦测影像。但亦可利用最大可侦测范围来撷取侦测影像，或者利用其他方式所产生的侦测范围来撷取侦测影像。

图5绘示了根据本发明另一实施例的眼睛状态侦测方法的示意图。在此实施例中，是将侦测影像中每一影像列(row)的亮度加总，然后找出侦测影像中最暗的一影像列。以图5为例，当使用者开眼时，亮度最暗的一列是第7列，而当使用者闭眼时，亮度最暗的一列是第12列，由图5可看出，使用者开眼时每一影像列亮度总和的变化会较平缓，而闭眼时每一影像列亮度总和的变化会较急剧。许多种方式可用以找出亮度变化趋势，在一实施例中，会将最暗的影像列做为基准影像列，并计算出基准影像列的亮度总和与至少两个影像列的亮度总和的亮度总和差异值，并根据这些亮度总和差异值计算出亮度变化趋势。

在一实施例中，基准影像列是侦测影像中第N列影像，此状况下会计算基准影像排的亮度总和与侦测影像中第N+1列影像至第N+K列中每一影像列的亮度总和的亮度总和差异值，并计算基准影像列的亮度总和与侦测影像中第N-1列影像至第N-K列中每一影像列的亮度总和的亮度总和差异值。其中K为大于或等于1的正整数。

以下将以例子来说明此实施例。

	开眼	闭眼
			a9	4035	4188
a10	3514	4258
			a11	2813	4311
a12	2542	4035
			a13	2669	3772
a14	2645	3226
			a15	2835	2703
a16	3154	2643
			a17	3564	2878
a18	3888	3365
			a19	4142	3745

列表1

前述列表1绘示了开眼和闭眼时不同像素列的亮度总和，ax表示其为第x列像素列的亮度总和，举例来说，a9表示第9列像素列的亮度总和，a15表示第15列像素列的亮度总和。在此例中，开眼时最暗的像素列为第12列，其亮度总和为2542 (a12)，若前述的K值取为3，则第12列像素列的亮度总和会跟第9列至第11列每一像素列的像素列亮度总和以及第13列至第15列的每一像素列亮度总和做相减，如公式(1)所示。

公式(1)：开眼状态

亮度总和差异值=(a9-a12)+(a10-a12)+(a11-a12)+(a13-a12)+(a14-a12)+(a15-a12)

同样的，闭眼时最暗的像素列为第16列，其亮度总和为2643 (a16)，若前述的K值取为3，则第16列像素列的亮度总和是跟第13列至第15列每一像素列的像素列亮度总和以及第17列至第19列的每一像素列亮度总和做相减，如公式(2)所示。

公式(2)：闭眼状态

亮度总和差异值=(a13-a16)+(a14-a16)+(a15-a16)+(a17-a16)+(a18-a16)+(a19-a16)

依据公式(1) 可得开眼时的亮度总和差异值为(4035-2542)+(3514-2542)+(2813-2542)+(2669-2542)+(2645-2542)+(2835-2542)=3259

而依据公式(2) 可得闭眼时的亮度总和差异值为

(3772-2643)+(3226-2643)+(2703-2643)+(2878-2643)+(3365-2643)+(3745-2643)=3831

前述公式(1)和公式(2) 可视为成本函数 (cost function)。前述公式(1)和公式(2)亦可加上绝对值的概念衍伸出新的成本函数，而分别形成公式(3)和公式(4)

公式(3)：开眼状态

亮度总和差异值=|a9-a10|+|a10-a11|+|a11-a12|+|a13-a12|+|a14-a13|+|a15-a14|

公式(4)：闭眼状态

亮度总和差异值=|a13-a14|+|a14-a15|+|a15-a16|+|a17-a16|+|a18-a17|+|a19-a18|

依据公式(3) 可得开眼时的亮度总和差异值为

|4035-3514|+|3514-2813|+|2813-2542|+|2669-2542|+|2669-2645|+|2835-2645|=1834

依据公式(4) 可得闭眼时的亮度总和差异值为

|3772-3226|+|3226-2703|+|2703-2643|+|2878-2643|+|3365-2878|+|3745-3365|=2231

由前述例子可知，无论采用何种的成本函数，闭眼状态时的亮度总和差异值均大于开眼状态时的亮度总和差异值，也就是闭眼状态时，侦测影像的最暗处影像周边的亮度变化要比开眼状态时的最暗处影像周边的亮度变化急剧，因此可藉由侦测影像的最暗处影像周边的亮度变化来判断使用者是开眼状态还是闭眼状态。

请留意图5的实施例虽然是以像素列来说明，但因应不同需求亦可以像素行(column) 来计算亮度变化趋势。因此，根据图5的实施例，可得到一眼睛状态侦测方法，其包含图6中所示的步骤：

步骤601

撷取一侦测影像。此步骤可套用图1所示的侦测范围来撷取影像，但不限定。

步骤603

计算该侦测影像于一特定方向上的多个影像排的亮度总和。例如像素列或像素行。

步骤605

以影像排中具有最低亮度总和的影像排做为一基准影像排。

步骤607

计算基准影像排与至少两个影像排的亮度总和差异值。

步骤609

根据亮度总和差异值决定一亮度变化趋势。

步骤611

以该亮度变化趋势判断使用者眼睛为开眼状态或是闭眼状态。

其中步骤603-609可视为“计算侦测影像最暗处周边的亮度变化趋势”，然请留意，此计算侦测影像最暗处周边的亮度变化趋势不限于步骤603-609，其亦可包含其他步骤。

图7绘示了根据本发明一实施例的眼睛状态侦测系统的方块图。如图7所示，眼睛状态侦测系统700包含控制单元701、影像感测器703以及计算单元705。控制单元701以及计算单元705可整合成同一元件。若眼睛状态侦测系统700施行图1所示的实施例，控制单元701控制影像感测器703以一侦测范围撷取一侦测影像SI，其中侦测范围是以使用者眼睛的可能所在位置为基准来决定，且小于眼睛状态侦测系统所能侦测的最大可侦测范围。计算单元705计算侦测影像SI的亮度，并根据侦测影像SI的亮度判断使用者眼睛为开眼状态或是闭眼状态。

若眼睛状态侦测系统700施行图5所示的实施例，控制单元701控制影像感测器703以一侦测范围撷取一侦测影像SI。计算单元705用以计算侦测影像SI最暗处周边的亮度变化趋势，并根据亮度变化趋势判断使用者眼睛为开眼状态或是闭眼状态。

眼睛状态侦测系统700的其他动作均已描述在前述实施例中，故在此不再赘述。

前述实施例是先以使用者眼睛的可能所在位置决定出侦测范围后，再以影像的亮度变化趋势来判断使用者眼睛为开眼状态或是闭眼状态。而在以下实施例中，会先判断出脸部范围后，再于脸部范围内决定出一判断范围，然后再以判断范围内的影像判断使用者是开眼状态还是闭眼状态。详细内容将于底下详述。

请参阅图8，其绘示了根据本发明另一实施例的眼睛状态侦测方法的示意图。如图8所示，会以一判断器CL (或称为分类器)来处理影像感测器所撷取的侦测影像SI。此判断器CL会以预先建立好的脸部影像特征模组来判断侦测影像SI中是否具有脸部影像，若有的话会在侦测影像SI中定义出一脸部范围Fr。然后会在脸部范围Fr中定义出一判断范围CR。于一实施例中，此判断范围CR小于脸部范围Fr (但亦可等于脸部范围Fr)。接着，再以判断器CL根据开眼影像特征模组或是闭眼影像特征模组来计算判断范围CR中是否包含开眼影像或闭眼影像。

前述实施例中因为使用了较小的判断范围CR，不须整张影像都进行运算，因此可降低运算量。于一实施例中，若判断出侦测影像SI中不具有脸部影像时，便不进行后续定义出判断范围CR以及计算判断范围CR中是否包含开眼影像或闭眼影像的步骤，如此可以更为减少运算量。许多方法可用以定义出判断范围CR，于一实施例中，可先根据影像判断出眼睛可能的所在位置后，以此位置定义出判断范围CR，但不限定于此方法。

图9绘示了图8所示的实施例之详细步骤的示意图。在步骤901中，会藉由模组建立资料来产生判断模组。举例来说，可输入至少一包含脸部影像的影像来建立脸部影像特征模组做为判断模组。或者，可输入至少一包含开眼影像的影像来建立开眼影像特征模组做为判断模组。同样的，可输入至少一包含闭眼影像的影像来建立闭眼影像特征模组做为判断模组。步骤903会对模组建立资料进行预处理，例如调整其亮度、对比度等让后续的步骤更容易进行，但不一定需要此步骤。

步骤905会对模组建立资料进行萃取特征的动作，而步骤907会对应步骤905萃取的特征来建立模组。举例来说，步骤901中输入至少一包含脸部影像的影像。步骤905会萃取到脸部影像的特征，步骤907会对应步骤905萃取到的脸部影像特征来建立脸部影像特征模组。如此便可知道当一影像具有脸部影像时，会具有那些特征。而在步骤907中，会输入欲判断的侦测影像。步骤911是与步骤903类似的预处理。步骤913中会对输入影像进行萃取特征的动作。步骤915会判断侦测影像的特征吻合那些判断模组，然后便可得知输入影像是否包含脸部影像、开眼影像或闭眼影像。

多种习知的算法可用以执行步骤905或913来萃取影像的特征。举例来说，gabor或harr算法。同样的，多种习知的算法可用以判断输入影像吻合那一判断模组 (即对输入影像进行分类)，例如adaboost算法。然请留意，本发明并不限定以前述算法来实施。

图8和图9的实施例可以图7所示的眼睛状态侦测系统700来施行。如前所述，眼睛状态侦测系统700包含控制单元701、影像感测器703以及计算单元705。控制单元701以及计算单元705可整合成同一元件。若眼睛状态侦测系统700施行图8、图9所示的实施例，控制单元701控制影像感测器703撷取一侦测影像SI。计算单元705以图8或图9的实施例来决定侦测影像SI中的判断范围 (例如图8的CR)，并以判断范围CR中的影像来判断侦测影像SI是否包含开眼影像或闭眼影像，进而判断使用者是处于开眼状态或是闭眼状态。

根据前述图8和图9实施例，本发明所提供的眼睛状态侦测方法之流程图可简示如图10，其包含下列步骤：

步骤1001

以影像感测器撷取一侦测影像(如图8中的SI)。

步骤1003

在侦测影像中定义出一脸部范围 (如图8中的Fr)。

步骤1005

在脸部范围中定义出一判断范围(如图8中的CR)。

步骤1007

判断范围中是否包含开眼影像或闭眼影像。

于一实施例中，图8至图10所示的方法是使用在非穿载式的电子装置上，例如手持式的行动装置 (如手机、平板计算机)或是可放置于平面上的电子装置 (例如笔记型计算机)，但不限定。

根据前述实施例，不须影像的详细特征以及大范围影像便可判断使用者的眼睛状态，因此可改善习知技术中须利用高分辨率影像才能判断使用者眼睛状态的问题以及运算量大导致耗电的问题。

以上所述仅为本发明之较佳实施例，凡依本发明申请专利范围所做之均等变化与修饰，皆应属本发明之涵盖范围。

Claims (6)

1.一种眼睛状态侦测方法，其特征在于，包含：

(a) 撷取一侦测影像；

(b) 计算所述侦测影像最暗处周边的亮度变化趋势；以及

(c) 根据所述亮度变化趋势判断使用者眼睛为开眼状态或是闭眼状态；其中步骤(b)包含

(b1) 计算所述侦测影像于一特定方向上的多个影像排的亮度总和；

(b2) 以多个所述影像排中具有最低亮度的所述影像排作为一基准影像排；

(b3) 计算所述基准影像排与至少两个所述影像排的亮度总和差异值；以及

(b4) 根据所述亮度总和差异值决定所述亮度变化趋势。

2.如权利要求1所述的眼睛状态侦测方法，其特征在于，其中多个所述影像排为影像列。

3.如权利要求1所述的眼睛状态侦测方法，其特征在于，

其中所述基准影像排是所述侦测影像中第N排影像；

其中步骤(b3)计算所述基准影像排与所述侦测影像中第N+1排影像至第N+K排中每一所述影像排的所述亮度总和差异值，并计算所述基准影像排与所述侦测影像中第N-1排影像至第N-K排中每一所述影像排的所述亮度总和差异值；

其中K的值为大于或等于1的正整数。

4.一种眼睛状态侦测系统，其特征在于，包含：

一控制单元：

一影像感测器，其中所述控制单元控制所述影像感测器以一侦测范围撷取一侦测影像；以及

一计算单元，用以计算所述侦测影像最暗处周边的亮度变化趋势，并根据所述亮度变化趋势判断使用者眼睛为开眼状态或是闭眼状态；

其中所述计算单元更执行下列步骤来决定所述亮度变化趋势：

计算所述侦测影像于一特定方向上的多个影像排的亮度总和；

以多个所述影像排中具有最低亮度的所述影像排做为一基准影像排；

计算所述基准影像排与至少两个所述影像排的亮度总和差异值；以及

根据所述亮度总和差异值决定所述亮度变化趋势。

5.如权利要求4所述的眼睛状态侦测系统，其特征在于，其中多个所述影像排为影像列。

6.如权利要求4所述的眼睛状态侦测系统，其特征在于，

其中所述基准影像排是所述侦测影像中第N排影像；

其中所述计算单元计算所述基准影像排与所述侦测影像中第N+1排影像至第N+K排中每一所述影像排的所述亮度总和差异值，并计算所述基准影像排与所述侦测影像中第N-1排影像至第N-K排中每一所述影像排的所述亮度总和差异值；

其中K的值为大于或等于1的正整数。

Images