CN105469025A - 注意力侦测装置及其侦测方法 - Google Patents

Abstract

一种注意力侦测装置及方法，其包含：连续拍摄使用者的脸部影像；依据该脸部影像的五官比例特征定义一嘴部搜寻框；对该脸部影像的多数个图帧分别进行影像处理，并决定该嘴部搜寻框内的感兴趣区域；以及计算该感兴趣区域于前后图帧间的变化量，并于所述变化量大于预设条件时判定该使用者为注意力不集中状态。

Description

注意力侦测装置及其侦测方法

技术领域

本发明有关于一种注意力侦测装置及其侦测方法，尤指一种藉由侦测使用者的嘴部影像以判断使用者注意力状态的注意力侦测装置及其侦测方法。

背景技术

依据研究显示，在驾驶的同时使用无线通讯设备(例如，移动电话)或是与邻座交谈，均有可能导致驾驶者注意力不集中，进而增加肇事的机率。

依据科学家的研究，人脑运算的速度在各方面其实均远胜于计算机，人脑可以处理相对于计算机复杂度更高的指令及动作，并经由不停的变化及配适，藉由训练激发内部的潜能。但，相较于计算机，人脑却有一个美中不足的缺失，即人脑并不适合进行多任务处理，这类缺失，肇生于人脑中关于“适应性执行控制”(adaptiveexecutivecontrol)的一种机制(DavidE.Meyer,1995,Adaptiveexecutivecontrol:Flexiblemultiple-taskperformancewithoutpervasiveimmutableresponse-selectionbottlenecks)。于DavidE.Meyer的研究中指出，人脑虽然具有多任务处理的功能，然而由于人脑实时处理的能力有限，在处理事情时仅有足够的能力接受一种刺激，因此，在同时处理多件事情时，人脑会自动地为每件事情安排优先级，被排在优先级较低的事件将被配给较低的注意力。

原则上，驾驶员在开车时，注意力集中于开车这个事件上，对于一个驾驶新手而言，由于驾驶经验的不足将迫使驾驶者集中大部分的注意力于开车这个事件上，与邻座交谈时，注意力亦不容易因与其它人对话而分心。然而就一个长时间驾驶的驾驶者而言，对于车况、路况具有相当的熟悉程度，于开车对话时，对话这个事件的优先级反而会高于驾驶，使驾驶车辆反而成为注意力集中度较低的任务，造成行车危险。

在许多国家的法律规定中，明确指示驾驶者不应在驾驶的同时使用移动电话，于某些国家则允许驾驶者使用免持式听筒进行通话。然而，不管是使用移动电话、使用免持式听筒、甚或是与邻座交谈，均有可能导致驾驶者注意力不集中提高行车危险，进而造成不可挽回的憾事。

发明内容

本发明主要目的，在于解决驾驶者于开车时因注意力不集中而导致行车危险的问题。

为达到上述目的，本发明提供一种注意力侦测装置，其包含：一影像撷取单元，用于连续拍摄使用者的脸部影像；以及一处理单元，配置成执行以下模块，所述的模块包含有：一搜寻框定义模块，依据该脸部影像的五官比例特征定义一嘴部搜寻框；一影像处理模块，决定该嘴部搜寻框内的感兴趣区域，并对该脸部影像的多数个图帧分别进行影像处理；以及一计算模块，计算该感兴趣区域于前后图帧间的变化量，并于所述变化量大于预设条件时产生一指定讯号。

进一步地，该注意力侦测装置更进一步包含有一连续拍摄环境影像的第二影像撷取单元，该处理单元配置成执行以下模块，该模块包含有：一人数统计模块，藉由该第二影像撷取单元拍摄该多数个环境影像，并于该环境影像中设定多数个辨识区块，将前后的环境影像进行差分处理以取得每一辨识区块内的变动量，当相对该辨识区块内的变动量大于一阈值时，判定该辨识区块内有人，并统计侦测到辨识区块的数量以产生一人数统计信息。

进一步地，该注意力侦测装置更进一步包含有一发出警示讯息的警示单元，该处理单元配置成执行以下模块，该模块包含有：一面向侦测模块，藉由面向侦测手段取得该使用者的脸部摆动频率；以及一决策模块，藉由该指定讯号于该脸部摆动频率大于预设数值、且该人数统计信息大于预设人数时输出一控制讯号至该警示单元。

本发明另一目的，在于提供一种注意力侦测方法，用于一电子装置。该方法包含：连续拍摄使用者的脸部影像；依据该脸部影像的五官比例特征定义一嘴部搜寻框；决定该嘴部搜寻框内的感兴趣区域，并对该脸部影像的多数个图帧分别进行影像处理；以及计算该感兴趣区域于前后图帧间的变化量，并于所述变化量大于预设条件时产生一指定讯号。

进一步地，依据该脸部影像的五官比例特征于脸颊二侧分别定义一手机搜寻框；藉由该指定讯号启动一于该手机搜寻框内检测到预设对象时输出一控制讯号的决策程序。

进一步地，依据该脸部影像的五官比例特征定义该手机搜寻框的步骤包含：取得该脸部影像后侦测该脸部影像中的鼻孔区域以获得二鼻孔中心位置；以及以该二鼻孔中心位置间的距离作为参考值分别由二侧方向延伸，以定义该手机搜寻框。

进一步地，藉由面向侦测手段判断该使用者的脸部摆动频率；藉由该指定讯号启动一于该脸部摆动频率大于预设数值时输出一控制讯号的决策程序。

进一步地，该面向侦测手段包含：取得该脸部影像后侦测该脸部影像中的鼻孔区域以获得第一鼻孔位置以及第二鼻孔位置；依据该第一鼻孔位置及该第二鼻孔位置沿水平方向延伸，取得一第一边界位置以及一第二边界位置；计算该第一边界位置及该第二边界位置的中心点，并将该中心点作为一基准参考点；比较该基准参考点与该第一鼻孔位置，以判断脸部是否向第一方向转动；以及比较该基准参考点与该第二鼻孔位置，以判断脸部是否向第二方向转动。

进一步地，该面向侦测手段包含：取得该脸部影像后侦测该脸部影像中的鼻孔区域以获得第一鼻孔位置以及第二鼻孔位置；依据该第一鼻孔位置及该第二鼻孔位置沿水平方向延伸，取得一第一边界位置以及一第二边界位置；计算该第一边界位置及该第二边界位置的中心点，并将该中心点作为一基准参考点；依据该第一鼻孔位置与该第二鼻孔位置所形成的一直线以及一基准线，获得一转动角度；当该第一鼻孔位置位于该基准参考点于第一方向的一侧，且该转动角度大于一预设阈值时，判断脸部向第一方向转动；以及当该第二鼻孔位置位于该基准参考点于第二方向的一侧，且该转动角度大于一预设阈值时，判断脸部向第二方向转动。

进一步地，该注意力侦测方法更进一步包含有一用以计算车上人数信息的人数统计模块，藉由该指定讯号启动一于该脸部摆动频率大于该预设数值、且该人数统计模块侦测到其它乘客时输出一控制讯号的决策程序。

进一步地，该人数统计模块包含：连续拍摄多数个环境影像；于该环境影像中设定多数个辨识区块；将前后环境影像进行差分处理以取得每一该辨识区块内的变动量；当相对应该辨识区块内的变动量大于一阈值时，判定该辨识区块内有人；统计侦测到人的该辨识区块的数量以产生一人数信息。

进一步地，依据该脸部影像的五官比例特征定义该嘴部搜寻框的步骤包含：取得该脸部影像后，侦测该脸部影像中的鼻孔区域以获得二鼻孔中心位置；以及由该二鼻孔中心位置间的距离为参考值，定义该嘴部搜寻框。

进一步地，决定该嘴部搜寻框内的该感兴趣区域的步骤包含：由色彩或强度值找到影像中上唇及下唇区域；定义该上唇区域及该下唇区域间所界定的区域为该感兴趣区域。

进一步地，对该脸部影像的多数个图帧分别进行影像处理的步骤包含：对图帧进行灰阶处理以取得一灰阶影像；调整灰阶影像的对比度以取得一强化影像；利用顶帽转换法取得一均匀影像。

进一步地，计算该感兴趣区域于前后图帧间的变化量的步骤包含：对经所述影像处理过后的图帧进行二值化处理；以及计算前后图帧中上唇及下唇之间破碎影像的像素数量，并计算该像素数量的变化量。

因此，本发明相较于前述已知技术具有以下优异效果：

1.本发明可藉由侦测使用者的嘴部影像，判断使用者的注意力状态。

2.本发明可藉由侦测使用者的嘴部影像、以及侦测使用者是否使用移动装置，判断使用者的注意力状态。

3.本发明可借由侦测使用者的嘴部影像、以及侦测使用者的脸部方向，判断使用者的注意力状态。

附图说明

图1为本发明注意力侦测装置的方块示意图。

图2为本发明注意力侦测装置的使用状态示意图。

图3揭示使用者的脸部影像。

图4A揭示使用者的正面脸部影像。

图4B揭示使用者脸部朝第一方向转动时的脸部影像。

图4C揭示使用者脸部朝第二方向转动时的脸部影像。

图5（a）揭示使用者脸部朝第一方向转动时鼻孔区域的示意图。

图5（b）揭示使用者脸部朝第一方向转动时鼻孔区域的示意图。

图6揭示车内环境影像的示意图。

图7揭示本发明第一实施态样的流程示意图（一）。

图8揭示本发明第一实施态样的流程示意图（二）。

图9揭示本发明第一实施态样的流程示意图（三）。

图10揭示本发明第一实施态样的流程示意图（四）。

图11揭示本发明第二实施态样的流程示意图（一）。

图12揭示本发明第二实施态样的流程示意图（二）。

图13揭示本发明第三实施态样的流程示意图（一）。

图14揭示本发明第三实施态样的流程示意图（二）。

图15揭示本发明第三实施态样的流程示意图（三）。

具体实施方式

有关本发明详细说明及技术内容，现就配合图式说明如下。再者，本发明中的图式，为说明方便，其比例未必按实际比例绘制，而有夸大情况，这些图式及其比例并非用以限制本发明范围。

本发明提供一种注意力侦测装置及其方法，以下举多个实施例分别说明之：

注意力侦测装置：

请参阅图1及图2，为本发明注意力侦测装置的方块示意图及使用状态示意图，如图所示：

本实施态样的注意力侦测装置100，主要包含有一影像撷取单元10，一第二影像撷取单元20，一连结于该影像撷取单元10以及第二影像撷取单元20的处理单元30，一用以储存或暂存数据的储存单元40，以及一连结于该处理单元30的警示单元50。

所述的影像撷取单元10用以连续拍摄使用者的脸部影像，所述的第二影像撷取单元20用以拍摄车内的环境影像，所拍摄到的脸部影像及环境影像储存于该储存单元40中。该影像撷取单元10及第二影像撷取单元20可以是任何具有电荷耦合组件（Chargecoupleddevice,CCD）镜头、互补式金属氧化物半导体（ComplementaryMetalOxideSemiconductorTransistors,CMOS）镜头、或红外线镜头的摄影机，亦可以是可取得深度信息的影像撷取设备，例如是深度摄影机（DepthCamera）或立体摄影机。

所述的处理单元30以及该储存单元40可共同构成一计算机或处理器，例如是个人计算机、工作站、主机计算机或其它型式的计算机或处理器，在此并不限制其种类。

于本实施态样中，该处理单元30耦接于该储存单元40。该处理单元30可为中央处理器（CentralProcessingUnit,CPU），或是其它可程序化并具有一般用途或特殊用途的微处理器（Microprocessor）、数字讯号处理器（DigitalSignalProcessor,DSP）、可程序化控制器、特殊应用集成电路（ApplicationSpecificIntegratedCircuits,ASIC）、可程序化逻辑装置（ProgrammableLogicDevice,PLD）或其它类似装置或这些装置的组合。

所述的储存单元40可以是任何型态的固定或可移动随机存取内存（RandomAccessMemory,RAM）、只读存储器（Read-OnlyMemory,ROM）、闪存（FlashMemory）或类似组件或上述组件的组合。该储存单元40亦可由一或更多个可存取的非挥发性记忆构件所构成。具体而言，其可为硬盘、记忆卡，亦可为集成电路或韧体。

所述的警示单元50可为扬声器、灯号、显示装置或是任何其它可提示警示讯息予使用者（驾驶者）的输出设备，于本发明中并不欲予以限定该警示单元的种类。

所述的处理单元30可加载并执行以下程序，所述的程序依其任务不同，包含有一搜寻框定义模块F1、一手机侦测模块F2、一影像处理模块F3、一计算模块F4、一面向侦测模块F5、一人数统计模块F6以及一决策模块F7。以下系分别针对搜寻框定义模块F1、手机侦测模块F2、影像处理模块F3、计算模块F4、面向侦测模块F5、人数统计模块F6、以及决策模块F7所进行并处理的任务分别进行说明：

搜寻框定义模块

搜寻框定义模块F1依据该脸部影像的五官比例特征定义一嘴部搜寻框R以及一手机搜寻框R1、R2。

请一并参阅图3所示，有关于嘴部搜寻框R的建立，其具体的演算方法如下，在此须注意影像中的原点(0,0)位于影像中左上角的位置：

该搜寻框定义模块F1由影像撷取单元10所取得的影像中搜寻符合脸部特征的脸部影像，于此步骤中，可经由撷取使用者的轮廓边界，以判断使用者脸部的位置，藉以分辨出使用者的脸部影像。该搜寻框定义模块F1经由该脸部影像中撷取出鼻孔特征，并定位二鼻孔中心位置的坐标D1(x1,y1)、D2(x2,y2)。接续，将二鼻孔中心位置D1、D2连线，藉以取得鼻孔间距D，该鼻孔间距D作为参考值用于定义该脸部影像中的五官比例特征。接续，计算二鼻孔中心位置D1、D2间连线的中心位置M((x1+x2)/2,(y1+y2)/2)，并代入该鼻孔间距D，使该中心位置向下一段距离kD，取得一坐标位置F((x1+x2)/2,{(y1+y2)/2}+kD)，将该坐标位置F设定为搜寻框中心即可依据五官比例建立一嘴部搜寻框R。

有关于手机搜寻框R1、R2的建立，其具体的演算方法如下：

该搜寻框定义模块F1由影像撷取单元10所取得的影像中搜寻符合脸部特征的脸部影像，并撷取出使用者的轮廓边界。经由该脸部影像中撷取出鼻孔特征，并定位二鼻孔中心位置的坐标D1(x1,y1)、D2(x2,y2)。接续，将二鼻孔中心位置D1、D2进行连线，藉以取得鼻孔间距D，该鼻孔间距D作为参考值用于定义该脸部影像中的五官比例特征。接续，将二鼻孔中心位置D1、D2分别向左右两侧延伸，直至接触二侧轮廓边界，藉以取得二边界点Z1、Z2，藉由该边界点Z1、Z2、以及参考值（鼻孔间距D）建立一手机搜寻框R1、以及手机搜寻框R2，再经由一手机侦测模块F2判断该手机搜寻框R1、R2内是否有对应的对象以确认使用者是否使用手机。

所述手机侦测模块F2藉由手机搜寻框R1、R2判断使用者是否使用手机的算法有两种。其一可藉由影像分析的方式判断是否正在使用手机，举例而言，处理单元30可计算于手机搜寻框R1、R2内是否有大面积的肤色连通集合（ConnectedSet），判断使用者的手是否位于该手机搜寻框R1、R2，若是，则可判定使用者为正在使用手机的状态。另一种方式则可藉由深度摄影机计算该手机搜寻框R1、R2的位置是否有相对应的预设物品存在，若是，则可判定该使用者正在使用手机。

影像处理模块

影像处理模块F3决定该嘴部搜寻框R内的感兴趣区域，并对该脸部影像的多数个图帧分别进行影像处理(ImageProcessing)。所述的影像处理步骤具有以下几项主要的任务：

藉由像素性质（色彩或是影像强度），先于嘴部搜寻框R中搜寻出上唇及下唇区域，并定义该上唇及下唇区域间所界定（包围）的区域为感兴趣区域（RegionofInterest），藉以将该感兴趣区域分割出来。所取得的感兴趣区域将用于计算影像中的变动量。

有关于影像处理的部分包含有以下几项任务：

将彩色影像转换为仅包含有影像强度及像素坐标成分的灰阶影像(GrayScale)，以便后端针对变化量的部分进行计算；

将前述的灰阶影像(GrayScale)进行对比调整(ContrastAdjustment)藉以取得强化影像。此步骤用于增加影像中最高与最低强度准位之间的差，以便后端针对变化量的部分进行计算；

进行顶帽转换(Top-HatTransformation)修正该强化影像，进而取得一均匀影像，避免后续影像经二值化处理(Thresholding)时分割错误。有关于顶帽转换的演算公式如下：

That（f）=f-（f。b）

其中，That（f）为经顶帽转换处理后的影像，f为原灰阶影像，b指结构元素，（f。b）指灰阶影像f被结构元素b所断开(opening)。其算法的意义为原灰阶影像f减去经断开(opening)处理过后的灰阶影像，经阴影修正(ShadingCorrection)后的灰阶影像背景影像强度将更显均匀。

最后对该均匀影像进行二值化处理(Thresholding)，设定门槛值以取得感兴趣区域中的亮部位或暗部位，以便后续计算变化量。

计算模块

计算模块F4用于计算该感兴趣区域于前后图帧间的变化量，并于所述变化量大于预设条件时触发一指定讯号（判定使用者正在说话）。于本实施态样中，所述的感兴趣区域指上唇及下唇间所界定的区域，所述的变化量指经由二值化处理后的前后影像间，于该感兴趣区域中破碎图形的像素变化量。所取得的二值化(门槛化)影像，将可清晰的分类出影像中破碎图形的像素数量，藉由前后影像中像素数量的差异，将可计算出破碎图形对应的变化量。当所述变化量大于预设条件时，该处理单元30将产生一指定讯号，所述的指定讯号依实施例不同，可直接输出至该警示单元50警示驾驶者、或作为条件因素以便于决策程序中进行驾驶注意力判断的条件，于本发明中并不予以限定。

所述的前后影像可于多数张影像中的每一区间内撷取一张，举例而言，以20fps的影像撷取单元为例，若设定每10张撷取一张用以比对的图像，则相当于每0.5秒进行一次比对。

面向侦测模块

该面向侦测模块F5依据脸部影像中的五官做为参考特征，藉由面向侦测手段计算出使用者的脸部方向，并于一预设时间内计算脸部摆动频率。以下揭示一种可行的实施态样，用以计算使用者的面部方向。

请一并参阅图4A、图4B、及图4C所示，该面向侦测模块F5先侦测该脸部影像中的鼻孔区域以获得第一鼻孔位置的坐标D1（鼻孔中心位置D1）及第二鼻孔位置的坐标D2。依据第一鼻孔位置D1与第二鼻孔位置D2向二侧水平方向延伸，可找出相应于脸部轮廓的第一边界位置Z1（边界点Z1）与第二边界位置Z2（边界点Z2）。于获得该第一边界位置Z1与第二边界位置Z2之后，面向侦测模块F5计算该第一边界位置Z1与第二边界位置Z2的中心点，并将该中心点作为一基准参考点N。如图4B所示，比较该基准参考点N与该第一鼻孔位置D1，以判断脸部是否向第一方向a1转动，在第一鼻孔位置D1位于基准参考点N的第一方向a1的一侧时，判定脸部向第一方向a1转动。如图4C所示，比较该基准参考点N与该第二鼻孔位置D2，以判断脸部是否向第二方向a2转动，在第一鼻孔位置D1位于基准参考点N的第二方向a2的一侧时，判定脸部向第二方向a2转动。

上述的脸部方向判断步骤，可再辅以以下的演算流程，使脸部方向的判断更为精确。请一并参阅图5所示，将第一鼻孔位置D1与第二鼻孔位置D2的连线设定为直线SL，并设定一基准线BL做为参考特征，取得该直线SL及基准线BL间的转动角度θ。接续，预先设定一临界角度Ag（预设阈值），当第一鼻孔位置D1位于基准参考点N的第一方向a1的一侧，且该转动角度θ大于该临界角度Ag时，判断脸部向第一方向a1转动；当第二鼻孔位置D2位于基准参考点N的第二方向a2的一侧，且转动角度θ大于该临界角度Ag时，判断脸部向第二方向a2转动。

最后，于一预设时间（单位时间）内计算该脸部的转动次数，即可计算取得脸部摆动频率。

人数统计模块

该人数统计模块F6用于侦测车上的人数，以判断除驾驶者外车上是否包含有其它乘客（用于判定驾驶者是否与乘客交谈）。

请一并参阅图6，所述的人数统计程序藉由第二影像撷取单元20（如图2所示）拍摄多数个车内的环境影像，并于该环境影像中设定多数个辨识区块P，所述的辨识区块P经由预先设定而分别对应至车上的每一个座位，并计算每一对应辨识区块P的变动量。所述的变动量经由将车上的前后环境影像进行差分处理（Difference）后取得。当相对应辨识区块P内的变动量大于一阈值（预设）时，判定该辨识区块P内有人。经由统计侦测到人的辨识区块P的数量，可取得车上的实际人数（人数信息）。

决策模块

决策模块F7于上述的参数及变因（如说话侦测结果、脸部摆动频率、人数统计信息）决定后，基于不同的情境产生不同的决策结果。原则上，侦测到驾驶在说话时，大致均发生于以下的三种情境。

情境一、驾驶者与邻座交谈：

一般情况，驾驶者与邻座交谈时，通常会将其注意力转移至邻座的乘客上，此时驾驶者的脸部方向将自然地朝乘客的方向转动。针对上述情境，于本实施态样中的决策程序于侦测到使用者谈话时（即收到指定讯号时），同时分析使用者的脸部摆动频率、以及车上的人数统计信息。于该脸部摆动频率大于预设数值，且判定该人数统计信息大于预设人数时，将输出一控制讯号至该警示单元50。

情境二、驾驶者使用手机：

另一种情境是驾驶者正在使用手机的情况，当驾驶者正在使用手机交谈时，将会空出一支手用以接听手机。针对上述的情境，于本实施态样中的决策程序于侦测到使用者谈话时（即收到指定讯号时），同时分析手机搜寻框（脸颊两侧）是否有侦测到对应的预设对象。于侦测到对应的预设对象时将输出一控制讯号至该警示单元50。

情境三、驾驶者使用免持听筒：

除使用手机的情况下，驾驶者亦有可能使用免持听筒，此时仅能侦测到使用者是否说话。于本情境下当侦测到驾驶正在谈话时，产生的指定讯号将直接传送至该警示单元50，藉以触发警示讯息。

以上已针对本发明硬件部分及所相对应执行的任务进行详细说明，接续，将针对本发明方法步骤进一步进行说明。

注意力侦测方法：

第一实施态样

请一并参阅图7，本发明第一实施态样的流程示意图，如图所示：

本实施态样提供一注意力侦测方法，该方法可配合用于一电子装置(如前述的注意力侦测装置100)，藉以检测使用者的注意力状态。所述的步骤如下：

首先，启动注意力侦测装置100，该注意力侦测装置100藉由该影像撷取单元10连续拍摄多数个影像，并将所取得的影像储存至该储存单元40(步骤S1)。接续，该处理单元30搜寻影像中的脸部影像(步骤S2)，并于侦测到脸部影像时继续执行下一步骤；反之，若于影像中检索不到脸部影像时，该处理单元30持续执行侦测使用者脸部影像的任务，直至侦测到脸部影像或是装置关闭。所述人脸辨识的任务可利用AdaBoost算法或其它现有的人脸辨识算法（如，利用Haar-like特征来进行人脸辨识动作）来获得各影像中的脸部影像。

于侦测到使用者的脸部影像时，该处理单元30启动一说话侦测程序，判断使用者是否处于交谈的状态（步骤S3）。

其中，所述说话侦测程序包含有以下的演算步骤，请一并参阅图8。首先，该处理单元30于该储存单元40内取得所述多数个包含有脸部特征的影像（即脸部影像），并依据该脸部影像的五官比例特征定义一嘴部搜寻框R（步骤S31），该嘴部搜寻框R于影像中被定义时便可藉由色彩或灰度（GreyLevel）决定影像中上唇及下唇间的感兴趣区域（RegionofInterest）（步骤S32）。接续，该处理单元30对该脸部影像中的多数个图帧分别进行影像处理（步骤S33）。于影像处理程序中先搜寻出影像中上唇、下唇区域，并定义该上唇、下唇区域间所界定的区域为感兴趣区域。同时执行以下任务：对该图帧进行灰阶处理以取得一灰阶影像（GrayScale）；调整该灰阶影像的对比度以取得一强化影像；利用顶帽转换法（Top-HatTransformation）取得一均匀影像。经由上述影像处理程序后将取得一处理后影像，此时，处理单元30计算该感兴趣区域于前后图帧间的变化量，并于所述变化量大于预设条件时判定该使用者正在交谈，并输出判定结果（步骤S34）。

完成上述步骤并取得该判定结果后执行一决策程序判定使用者是否处于注意力不集中状态（步骤S4）。于决策程序中，如判定使用者为注意力不集中状态时，该处理单元30产生一指定讯号，并将该指定讯号传递至该警示单元50，警示使用者专心驾驶（步骤S5）；反之，则回到步骤S1，重复上述的循环。

请一并参阅图9，于步骤S31中，所述的嘴部搜寻框依据以下步骤取得：

该处理单元30侦测该脸部影像中鼻孔区域，以获得二鼻孔中心位置的坐标D1(x1,y1)、D2(x2,y2)（步骤S311）。接续，由该二鼻孔中心位置间的距离为参考值向下一段距离定义该嘴部搜寻框R（步骤S312）。具体的方式如下，该处理单元将二鼻孔中心位置D1、D2进行连线，藉以取得鼻孔间距D，该鼻孔间距D作为参考值用于定义该脸部影像中的五官比例特征。接续，计算二鼻孔中心位置D1、D2间连线的中心位置M((x1+x2)/2,(y1+y2)/2)，并代入该鼻孔间距D，使该中心位置M向下一段距离kD（常数k为一般嘴部中心至鼻孔间距以及二鼻孔中心位置间距的比值），取得一坐标位置F((x1+x2)/2,{(y1+y2)/2}+kD)，将该坐标位置F设定为搜寻框中心即可依据五官比例建立一嘴部搜寻框R。

请一并参阅图10，于步骤S34中，所述变化量依据以下步骤取得：

对前述的处理后影像（均匀影像）进行二值化处理(Thresholding)，以取得感兴趣区域中的亮部位或暗部位（步骤S341），计算前后图帧中该上唇及该下唇之间（感兴趣区域）破碎影像（亮部位或暗部位）的像素数量（步骤S342），接续，计算该像素数量的增减以取得变化量（步骤S343）。其中，于步骤S34中，所述变化量指经由二值化处理后的前后影像间，于该感兴趣区域中破碎图形的像素变化量。具体的方法，可藉由像素性质的分布进行分割，例如经由前述的影像处理步骤(imageprocessing)所取得的二值化（门槛化）影像，将可清晰的分类出影像中破碎图形的像素数量，藉由前后影像中像素数量的增减，将可计算出破碎图形对应的变化量。

第二实施态样

本实施态样与第一实施态样的差异在于增加影像中的手机搜寻功能作为辅佐判断因素，藉以判断使用者的注意力状态。有关于本实施态样与第一实施态样，以下不再予以赘述。

请一并参阅图11，本发明第二实施态样的流程示意图，如图所示：

首先，启动注意力侦测装置100，该注意力侦测装置100藉由该影像撷取单元10连续拍摄多数个影像，并将所取得的影像储存至该储存单元40(步骤S1)。接续，该处理单元30依据指令搜寻影像中的脸部影像(步骤S2)，于侦测到脸部影像时继续执行下一步骤；反之，若于影像中检索不到脸部影像时，该处理单元30持续执行侦测使用者脸部影像的任务，直至侦测到脸部影像或是装置关闭。

于侦测到使用者的脸部影像时，该处理单元30启动一说话侦测程序，判断使用者是否处于交谈的状态，并输出一判定结果（步骤S3）。启动说话侦测程序的同时，该处理单元30启动手机侦测程序，于使用者的脸颊二侧分别定义一手机搜寻框，侦测该手机搜寻框内是否检测到预设对象，判断使用者是否正在使用手机，并输出一判定结果（步骤S6）。

请一并参阅图12，于步骤S6中所述的手机侦测程序包含有以下步骤：

该处理单元30由影像撷取单元10所取得的影像中搜寻符合脸部特征的脸部影像，并撷取出使用者的轮廓边界（步骤S61）。侦测该脸部影像中的鼻孔区域，以获得二鼻孔中心位置的坐标D1(x1,y1)、D2(x2,y2)（步骤S62）。接续，将二该鼻孔中心位置D1、D2进行连线，藉以取得鼻孔间距D，该鼻孔间距D作为参考值用于定义该脸部影像中的五官比例特征（步骤S63）。接续，将二鼻孔中心位置D1、D2作为参考点分别向两侧方向水平延伸，直至接触二侧轮廓边界，藉以取得二边界点Z1、Z2（步骤S64），藉由该边界点Z1、Z2、以及参考值（鼻孔间距D）建立一手机搜寻框R1、以及手机搜寻框R2（步骤S65）。侦测手机搜寻框内是否有预设对象，若侦测到预设对象时，输出一判定结果（步骤S66）。

接续，藉由该指定讯号启动一决策程序（步骤S7）。于决策程序中同时符合使用者正在谈话并且正在使用手机（于手机搜寻框内侦测到预设对象）时，判定使用者处于注意力不集中状态。于决策程序中，如判定使用者为注意力不集中状态时，该处理单元30触发一控制讯号，将该控制讯号传递至该警示单元50，警示使用者专心驾驶（步骤S8）；反之，则回到步骤S1，重复上述的循环。

第三实施态样

本实施态样与第一实施态样的差异在于增加面向侦测手段、以及乘客数量侦测手段作为辅佐判断因素，藉以判断使用者的注意力状态。有关于本实施态样与第一实施态样，以下不再予以赘述。

请一并参阅图13，本发明第二实施态样的流程示意图，如图所示：

首先，启动注意力侦测装置100，该注意力侦测装置100藉由该影像撷取单元10连续拍摄多数个影像，并将所取得的影像储存至该储存单元40（步骤S1）。接续，该处理单元30依据指令搜寻影像中的脸部影像（步骤S2），于侦测到脸部影像时继续执行下一步骤；反之，若于影像中检索不到脸部影像时，该处理单元30持续执行侦测使用者脸部影像的任务，直至侦测到脸部影像或是装置关闭。

于透过该影像撷取单元10拍摄使用者影像的同时，启动该第二影像撷取单元20（步骤S9），并启动一人数侦测程序，藉由该第二影像撷取单元20，拍摄驾驶环境以取得多数个环境影像，并计算车上的人数（步骤S10）。

于步骤S10所述的车上人数，可依据以下步骤取得，请一并参阅图14。首先，于该环境影像中设定多数个辨识区块（步骤S101）。接续，将车上的前后环境影像进行差分处理（Difference）以取得影像变动量（步骤S102）。计算每一辨识区块内的变动量，当相对应辨识区块内的影像变动量大于一阈值时，判定该辨识区块内有人（步骤S103），最后统计侦测到人的辨识区块的数量，以统计人数，并输出一人数信息（步骤S104）。

于侦测到使用者的脸部影像时，该处理单元30启动一说话侦测程序，判断使用者是否处于交谈的状态，并输出一判定结果（步骤S3）。启动说话侦测程序的同时，该处理单元30启动面向侦测程序，判断使用者的脸部方向，并取得使用者(驾驶)的脸部摆动频率，以输出一判定结果（步骤S11）。

请一并参阅图15，于步骤S11中所述的面向侦测手段包含有以下步骤：

首先，侦测该脸部影像中的鼻孔区域以获得第一鼻孔位置的坐标D1(x1,y1)（鼻孔中心位置D1）、及第二鼻孔位置的坐标D2(x2,y2)（步骤S111）（鼻孔中心位置D2）。依据第一鼻孔位置D1与第二鼻孔位置D2向二侧水平方向延伸，藉以找出相应于脸部轮廓的第一边界位置Z1（边界点Z1）与第二边界位置Z2（边界点Z2）（步骤S112）。于获得该第一边界位置Z1与第二边界位置Z2之后，处理单元30计算该第一边界位置Z1与第二边界位置Z2的中心点，并将该中心点作为一基准参考点N（步骤S113）。接着，比较该基准参考点N与第一鼻孔位置D1，以判断脸部是否向第一方向a1转动。另一方面同时，比较基准参考点N与第二鼻孔位置D2，以判断脸部是否向第二方向a2转动（步骤S114）。例如，在鼻孔中心位置D1位于参考点R的第一方向a1的一侧时，判定脸部向第一方向a1转动。而在鼻孔中心位置D2位于基准参考点N的第二方向a2的一侧时，判定脸部向第二方向a2转动。

上述的脸部方向判断步骤中，于步骤S114中可再辅以以下的演算流程，使脸部方向的判断更为精确。将第一鼻孔位置D1与第二鼻孔位置D2的连线设定为直线SL，并设定一基准线BL做为参考特征，取得该直线SL及基准线BL间的转动角度θ。预先设定一临界角度Ag（预设阈值），做为辅助判断参数，当第一鼻孔位置D1位于基准参考点N的第一方向a1的一侧，且该转动角度θ大于该临界角度Ag时，判断脸部向第一方向a1转动；当第二鼻孔位置D2位于基准参考点N的第二方向a2的一侧，且转动角度θ大于该临界角度Ag时，判断脸部向第二方向a2转动。

最后，于一预设时间内计算该脸部方向的转动次数，藉以取得脸部摆动频率（步骤S115）。

取得该说话侦测程序的判定结果、该面向侦测程序以及车上人数的判定结果后执行一决策程序（步骤S12），决策程序中判断车上有其它乘客，且同时符合使用者谈话、及脸部的摆动频率大于一预设数值时，判定使用者处于注意力不集中状态。于决策程序中，如判定使用者为注意力不集中状态时，该处理单元30触发一指定讯号，将该指定讯号传递至该警示单元50，警示使用者专心驾驶（步骤S13）；反之，则回到步骤S1，重复上述的循环。

本发明方法步骤亦可作为一种软件程序实施，用以储存于光盘片、硬盘、半导体记忆装置等计算机可读取记录媒体，并藉由该计算机可读取记录媒体载置于电子装置上为该电子装置所存取使用。具体而言，该电子装置可以为小型的可携式电子装置、行车纪录装置、行车安全辅助装置、车辆系统的ODB（On-boarddiagnostics）、计算机设备、或类似的电子装置等。

综上所述，本发明可藉由侦测使用者的嘴部影像，判断使用者的注意力状态。其次，本发明可藉由侦测使用者的嘴部影像、以及侦测使用者是否使用行动装置，判断使用者的注意力状态。再者，本发明可借由侦测使用者的嘴部影像、以及侦测使用者的脸部方向，判断使用者的注意力状态。

以上已将本发明做一详细说明，惟以上所述，仅为本发明一较佳实施例而已，当不能以此限定本发明实施范围，即凡依本发明权利要求书所作的均等变化与修饰，皆应仍属本发明专利涵盖范围内。

Claims (15)

1.一种注意力侦测装置，其特征在于包含：

一影像撷取单元，用于连续拍摄使用者的脸部影像；以及

一处理单元，配置成执行以下模块，所述的模块包含有：

一搜寻框定义模块，依据该脸部影像的五官比例特征定义一嘴部搜寻框；

一影像处理模块，决定该嘴部搜寻框内的感兴趣区域，并对该脸部影像的多数个图帧分别进行影像处理；以及

一计算模块，计算该感兴趣区域于前后图帧间的变化量，并于所述变化量大于预设条件时产生一指定讯号。

2.如权利要求1所述的注意力侦测装置，其特征在于更进一步包含有一连续拍摄环境影像的第二影像撷取单元，该处理单元配置成执行以下模块，该模块包含有：

一人数统计模块，藉由该第二影像撷取单元拍摄该多数个环境影像，并于该环境影像中设定多数个辨识区块，将前后的环境影像进行差分处理以取得每一辨识区块内的变动量，当相对该辨识区块内的变动量大于一阈值时，判定该辨识区块内有人，并统计侦测到辨识区块的数量以产生一人数统计信息。

3.如权利要求2所述的注意力侦测装置，其特征在于更进一步包含有一发出警示讯息的警示单元，该处理单元配置成执行以下模块，该模块包含有：

一面向侦测模块，藉由面向侦测手段取得该使用者的脸部摆动频率；以及

一决策模块，藉由该指定讯号于该脸部摆动频率大于预设数值、且该人数统计信息大于预设人数时输出一控制讯号至该警示单元。

4.一种注意力侦测方法，用于一电子装置，其特征在于该方法包含：

连续拍摄使用者的脸部影像；

依据该脸部影像的五官比例特征定义一嘴部搜寻框；

决定该嘴部搜寻框内的感兴趣区域，并对该脸部影像的多数个图帧分别进行影像处理；以及

计算该感兴趣区域于前后图帧间的变化量，并于所述变化量大于预设条件时产生一指定讯号。

5.如权利要求4所述的注意力侦测方法，其特征在于，依据该脸部影像的五官比例特征于脸颊二侧分别定义一手机搜寻框；

藉由该指定讯号启动一于该手机搜寻框内检测到预设对象时输出一控制讯号的决策程序。

6.如权利要求5所述的注意力侦测方法，其特征在于，依据该脸部影像的五官比例特征定义该手机搜寻框的步骤包含：

取得该脸部影像后侦测该脸部影像中的鼻孔区域以获得二鼻孔中心位置；以及

以该二鼻孔中心位置间的距离作为参考值分别由二侧方向延伸，以定义该手机搜寻框。

7.如权利要求4所述的注意力侦测方法，其特征在于，藉由面向侦测手段判断该使用者的脸部摆动频率；

藉由该指定讯号启动一于该脸部摆动频率大于预设数值时输出一控制讯号的决策程序。

8.如权利要求7所述的注意力侦测方法，其特征在于，该面向侦测手段包含：

取得该脸部影像后侦测该脸部影像中的鼻孔区域以获得第一鼻孔位置以及第二鼻孔位置；

依据该第一鼻孔位置及该第二鼻孔位置沿水平方向延伸，取得一第一边界位置以及一第二边界位置；

计算该第一边界位置及该第二边界位置的中心点，并将该中心点作为一基准参考点；

比较该基准参考点与该第一鼻孔位置，以判断脸部是否向第一方向转动；以及

比较该基准参考点与该第二鼻孔位置，以判断脸部是否向第二方向转动。

9.如权利要求7所述的注意力侦测方法，其特征在于，该面向侦测手段包含：

取得该脸部影像后侦测该脸部影像中的鼻孔区域以获得第一鼻孔位置以及第二鼻孔位置；

依据该第一鼻孔位置及该第二鼻孔位置沿水平方向延伸，取得一第一边界位置以及一第二边界位置；

计算该第一边界位置及该第二边界位置的中心点，并将该中心点作为一基准参考点；

依据该第一鼻孔位置与该第二鼻孔位置所形成的一直线以及一基准线，获得一转动角度；

当该第一鼻孔位置位于该基准参考点于第一方向的一侧，且该转动角度大于一预设阈值时，判断脸部向第一方向转动；以及

当该第二鼻孔位置位于该基准参考点于第二方向的一侧，且该转动角度大于一预设阈值时，判断脸部向第二方向转动。

10.如权利要求7所述的注意力侦测方法，其特征在于更进一步包含有一用以计算车上人数信息的人数统计模块，藉由该指定讯号启动一于该脸部摆动频率大于该预设数值、且该人数统计模块侦测到其它乘客时输出一控制讯号的决策程序。

11.如权利要求10所述的注意力侦测方法，其特征在于，该人数统计模块包含：

连续拍摄多数个环境影像；

于该环境影像中设定多数个辨识区块；

将前后环境影像进行差分处理以取得每一该辨识区块内的变动量；

当相对应该辨识区块内的变动量大于一阈值时，判定该辨识区块内有人；

统计侦测到人的该辨识区块的数量以产生一人数信息。

12.如权利要求4至11任一项所述的注意力侦测方法，其特征在于，依据该脸部影像的五官比例特征定义该嘴部搜寻框的步骤包含：

取得该脸部影像后，侦测该脸部影像中的鼻孔区域以获得二鼻孔中心位置；以及

由该二鼻孔中心位置间的距离为参考值，定义该嘴部搜寻框。

13.如权利要求4至11任一项所述的注意力侦测方法，其特征在于，决定该嘴部搜寻框内的该感兴趣区域的步骤包含：

由色彩或强度值找到影像中上唇及下唇区域；

定义该上唇区域及该下唇区域间所界定的区域为该感兴趣区域。

14.如权利要求4至11任一项所述的注意力侦测方法，其特征在于，对该脸部影像的多数个图帧分别进行影像处理的步骤包含：

对图帧进行灰阶处理以取得一灰阶影像；

调整灰阶影像的对比度以取得一强化影像；

利用顶帽转换法取得一均匀影像。

15.如权利要求4至11任一项所述的注意力侦测方法，其特征在于，计算该感兴趣区域于前后图帧间的变化量的步骤包含：

对经所述影像处理过后的图帧进行二值化处理；以及

计算前后图帧中上唇及下唇之间破碎影像的像素数量，并计算该像素数量的变化量。