CN104238733B - 触发信号的方法及车用电子装置 - Google Patents

触发信号的方法及车用电子装置 Download PDF

Info

Publication number
CN104238733B
CN104238733B CN201310314413.2A CN201310314413A CN104238733B CN 104238733 B CN104238733 B CN 104238733B CN 201310314413 A CN201310314413 A CN 201310314413A CN 104238733 B CN104238733 B CN 104238733B
Authority
CN
China
Prior art keywords
face
information
point
eye
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310314413.2A
Other languages
English (en)
Other versions
CN104238733A (zh
Inventor
邹嘉骏
方志恒
林伯聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN104238733A publication Critical patent/CN104238733A/zh
Application granted granted Critical
Publication of CN104238733B publication Critical patent/CN104238733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种触发信号的方法及车用电子装置。在此,利用图像获取装置连续获取驾驶者的多张图像,以通过这些图像来检测驾驶者的脸部摆动或眼部开闭,而获得脸部摆动信息或眼部开闭信息。并且,在脸部摆动信息或眼部开闭信息符合门槛信息时,触发指定信号而传送至指定装置。

Description

触发信号的方法及车用电子装置
技术领域
本发明是有关于一种图像处理技术,且特别是有关于一种利用人脸识别技术来触发信号的方法及车用电子装置。
背景技术
人脸部识别技术在图像识别技术中占有重要的角色,也是目前各大科技研究中心致力研发的技术之一。而人脸识别技术一般应用于人机界面(human computerinterface)、家庭视频保全(home video surveillance)、生物检测的脸部识别或是海关出入境的安全检查、公共监视器、个人电脑甚至是银行金库等安全监控。
近年来,由于科技的进步以及技术的普及,人脸识别的技术也逐渐地开始应用于一般的数码相机或摄影机中。另外,由于具有相机的电子装置越来越普及,因此将人脸识别技术应用于生活中的各种状况,亦显得重要。
然而,在进行人脸识别时,由于人脸上的器官较多,因此若要针对单一部位进行检测,容易造成识别率低下与误判。据此,如何改善人脸识别的误判率则为目前研究课题上重要的一环。
发明内容
本发明提供一种触发信号的方法及车用电子装置,判断驾驶者的动作是否符合门槛信息,以决定是否触发指定信号。
本发明的一种车用电子装置,包括图像获取单元及耦接至图像获取单元的运算装置。上述图像获取单元用来获取驾驶者的多张图像。并且,运算装置在接收上述图像后,对各图像执行图像识别程序,藉以检测驾驶者的脸部摆动或眼部开闭,而获得脸部摆动信息或眼部开闭信息,并且,在脸部摆动信息或眼部开闭信息符合门槛信息时,触发求救信号而传送至无线通信单元。
在本发明的一实施例中,上述图像获取单元可设置于车辆的驾驶座前方,以获取驾驶者的图像。另,图像获取单元还具有照明元件,藉以通过照明元件进行补光动作。而上述运算装置对各图像执行图像识别程序,藉以检测各图像的脸部的鼻孔位置信息,并且基于鼻孔位置信息来获得脸部摆动信息或眼部开闭信息。上述脸部摆动信息包括驾驶者的转头次数、点头次数及绕圈次数,而上述眼部开闭信息包括驾驶者的闭眼次数。
本发明的一种触发信号的方法,用于车用电子装置。此方法包括:连续获取多张图像,其中各图像包括一脸部;检测脸部的鼻孔区域,而获得鼻孔位置信息;基于鼻孔位置信息来判断脸部是否转动,藉此而获得脸部摆动信息;比对脸部摆动信息与门槛信息;以及当脸部摆动信息符合门槛信息时,触发一指定信号。
在本发明的一实施例中,上述的鼻孔位置信息包括两个鼻孔的第一中心点与第二中心点。上述基于鼻孔位置信息来判断脸部是否转动的步骤包括:依据第一中心点与第二中心点执行水平方向测量,藉以找出脸部的第一边界点与第二边界点;计算第一边界点与第二边界点的中心点,而以此中心点作为参考点;比较参考点与第一中心点,以判断脸部是否向第一方向转动;比较参考点与第二中心点,以判断脸部是否向第二方向转动;以及计算在预设时间内脸部向第一方向转动的次数以及向第二方向转动的次数,藉以获得脸部摆动信息。
在本发明的一实施例中,上述基于鼻孔位置信息来判断脸部是否转动的步骤还包括:依据由第一中心点与第二中心点所形成的直线以及一基准线,获得转动角度;比较转动角度与第一预设角度,以判断脸部是否向第一方向转动;比较转动角度与第二预设角度,以判断脸部是否向第二方向转动;以及计算在预设时间内脸部向第一方向转动的次数以及向第二方向转动的次数,藉以获得脸部摆动信息。
在本发明的一实施例中,在上述获得该鼻孔位置信息的步骤之后,还包括:依据鼻孔位置信息来预估眼部搜索框,以在眼部搜索框内检测眼部目标;基于眼部目标的尺寸来判断眼部目标是否闭上,藉此而获得眼部开闭信息;将脸部摆动信息与眼部开闭信息与门槛信息进行比对;以及当脸部摆动信息与眼部开闭信息符合门槛信息时,触发指定信号。
在本发明的一实施例中,上述基于眼部目标的尺寸来判断眼部目标是否闭上的步骤包括:当眼部目标的高度小于高度门槛值,且眼部目标的宽度大于宽度门槛值时,判定眼部目标为闭上;以及计算在预设时间内该眼部目标的闭眼次数,藉此而获得眼部开闭信息。
在本发明的一实施例中,在上述触发指定信号的步骤之后,还可通过无线通信单元传送指定信号至指定装置。
本发明的另一种触发信号的方法,用于车用电子装置。此方法包括:连续获取多张图像,其中各图像包括一脸部;检测脸部的鼻孔区域,而获得鼻孔位置信息;依据鼻孔位置信息来预估眼部搜索框,以在眼部搜索框内检测眼部目标;基于眼部目标的尺寸来判断眼部目标是否闭上,藉此而获得眼部开闭信息;比对眼部开闭信息与一门槛信息;以及当眼部开闭信息符合门槛信息时,触发指定信号。
本发明的又一种触发信号的方法,用于车用电子装置。此方法包括:连续获取多张图像,其中各图像包括一脸部;检测脸部的鼻孔区域,而获得鼻孔位置信息;基于鼻孔位置信息来判断脸部是否转动,藉此而获得脸部摆动信息;依据鼻孔位置信息来预估眼部搜索框,以在眼部搜索框内检测眼部目标;基于眼部目标的尺寸来判断眼部目标是否闭上,藉此而获得眼部开闭信息;将脸部摆动信息及眼部开闭信息与门槛信息进行比对;以及当脸部摆动信息与眼部开闭信息符合门槛信息时,触发指定信号。
基于上述,依据鼻孔位置信息来判断驾驶者的动作是否符合一门槛信息以决定要触发一指定信号。由于利用鼻孔的特征信息,可减少计算量并降低误判率。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1是依照本发明第一实施例的车用电子装置的示意图;
图2是依照本发明第一实施例的触发信号的方法流程图;
图3是依照本发明第一实施例的具有正面脸部图像的示意图;
图4A及图4B是依照本发明第一实施例的脸部转动图像的示意图;
图5A及图5B是依照本发明第一实施例的鼻孔区域的示意图;
图6是依照本发明第二实施例的触发信号的方法流程图;
图7是依照本发明第二实施例的预估眼部搜索框的示意图;
图8A及图8B是依照本发明第二实施例的眼部图像区域的示意图;
图9是依照本发明第三实施例的触发信号的方法流程图。
附图标记说明:
10:运算装置;
100:车用电子装置;
110:图像获取单元;
120:处理单元;
130:存储单元;
140:无线通信单元;
300、410、420:图像;
71、73:中心点
710、730:眼部搜索框;
720、740:眼部图像区域;
810:眼部目标;
B1:第一边界点;
B2:第二边界点;
d1:第一方向;
d2:第二方向;
N1:第一中心点;
N2:第二中心点;
R:参考点;
θ:转动角度;
NL:直线;
RL:基准线;
D:距离;
k1:第一估计值;
k2:第二估计值;
w:宽度;
h:高度;
S205~S225:第一实施例的触发信号的方法各步骤;
S605~S630:第二实施例的触发信号的方法各步骤;
S905~S935:第三实施例的触发信号的方法各步骤。
具体实施方式
第一实施例
图1是依照本发明第一实施例的车用电子装置的示意图。请参照图1,在本实施例中,车用电子装置100包括图像获取单元110及运算装置10。图像获取单元110耦接至运算装置10。在本实施例中,运算装置10包括:处理单元120、存储单元130及无线通信单元140。处理单元120分别耦接至图像获取单元110、存储单元130及无线通信单元140。上述图像获取单元110用来获取驾驶者的多张图像。在此,图像获取单元110例如是采用电荷耦合元件(Charge coupled device,CCD)镜头、互补式金氧半电晶体(Complementary metal oxidesemiconductor transistors,CMOS)镜头、或红外线镜头的摄影机、照相机。
而图像获取单元110例如设置于车辆的驾驶座前方,以获取驾驶者的图像,之后将所获取的图像传送给运算装置10,而由运算装置10对各图像执行图像识别程序,藉以检测驾驶者的脸部摆动或眼部开闭,而获得脸部摆动信息或眼部开闭信息。上述脸部摆动信息包括驾驶者的转头次数、点头次数及绕圈次数,而上述眼部开闭信息包括驾驶者的闭眼次数。并且,在脸部摆动信息或眼部开闭信息符合门槛信息时,运算装置10触发求救信号并传送至无线通信单元140。例如,处理单元120触发求救信号并传送至无线通信单元140,再通过无线通信单元140将求救信号传送至指定装置。上述指定装置例如为社区守望相互会的任一会员的电子设备(例如为手机、电脑等)、或是车辆管控中心的电子设备。
另外,图像获取单元110还具备一可转动镜头(未示出),以调整拍摄方向及角度。在此,将镜头调整为朝向驾驶者脸部的状态,使得所拍摄的每张图像中皆包括驾驶者的脸部。由于人脸中鼻孔为呈现黑色而易于被正确地识别出来,之后便可利用鼻孔的特征来获得脸部其他的特征。而为了清楚拍摄到驾驶者的鼻孔,还可进一步使图像获取单元110的镜头以仰角45度的角度朝向驾驶者脸部。如此,图像获取单元110所拍摄到的每一张图像中的鼻孔都会被清楚地显示出来,据此可提升鼻孔的识别度而有助于随后鼻孔的检测。又,在其他实施例中,图像获取单元110还具有一照明元件,用以在光线不足时适时进行补光动作,以确保其所拍摄到的图像的清晰度。
据此,利用运算装置10来检测驾驶者的动作,并在动作符合门槛信息触发指定信号并传送至指定装置。门槛信息为驾驶者的转头次数N1次、点头次数N2次、绕圈次数N3次及闭眼次数N4次至少其中之一或其组合者。例如,门槛信息为在预设时间(例如3-7秒)内向右摆头2次后,再向左摆头2次;或者为在预设时间(例如3秒)内眨眼3次;又或者为在预设时间(例如3-7秒)内眨眼3次加向右摆头2次后,再向左摆头2次。然,上述门槛信息仅为举例说明,并不以此为限。
上述处理单元120例如为中央处理单元(Central Processing Unit,CPU)或微处理器(microprocessor)等。存储单元130例如为非挥发性存储器(Non-volatile memory)、随机存取存储器(Random Access Memory,RAM)或硬盘等。无线通信单元140例如为第三代(third Generation,3G)移动通信模块、通用分组无线服务技术(General Packet RadioService,GPRS)模块或Wi-Fi模块等。上述仅为举例说明,并不以此为限。
本实施例是以程序代码来实现。例如,存储单元130中存储有多个程序代码片段,上述程序代码片段在被安装后,会由处理单元120来执行。例如,存储单元130中包括多个模块,通过这些模块来分别执行多个功能,而各模块是由一或多个程序代码片段所组成。上述模块包括图像处理模块、判断模块以及信号触发模块。图像处理模块用以对图像执行图像识别程序,藉以检测驾驶者的脸部摆动或眼部开闭,而获得脸部摆动信息或眼部开闭信息。判断模块用以判断脸部摆动信息或眼部开闭信息是否符合门槛信息。信号触发模块用以在脸部摆动信息或眼部开闭信息符合门槛信息时,触发指定信号而传送至指定装置。这些程序代码片段包括多个指令,处理单元120通过这些指令来执行触发信号的方法的多个步骤。在本实施例中,车用电子装置100仅包括一个处理单元120,而在其他实施例中,车用电子装置100亦可包括多个处理单元,而由这些处理单元来执行被安装的程序代码片段。
底下即搭配上述车用电子装置100来详细说明触发信号的方法各步骤。图2是依照本发明第一实施例的触发信号的方法流程图。请同时参照图1及图2,在步骤S205中,通过图像获取单元110连续获取多张图像,其中每一张图像皆包括一脸部。在此,可事先于车用电子装置100中设定一取样频率,使得图像获取单元110持续地依照此一取样频率来获取多张图像。另外,在其他实施例中,可于车用电子装置100中设置一启动钮(可以是实体按钮或虚拟按钮),当启动钮被致能(enable)时,便会启动图像获取单元110以开始获取图像并进行后续处理。
在步骤S210中,处理单元120会于所获取的图像中检测脸部的鼻孔区域,而获得鼻孔位置信息。具体而言,图像获取单元110将这些图像传送至处理单元120,而由处理单元120来逐张进行人脸识别的处理。在此,可利用AdaBoost算法或其他现有的人脸识别算法(如,利用Haar-like特征来进行人脸识别动作)来获得各图像中的脸部。在检测到脸部之后,处理单元120便可在脸部中搜索鼻孔区域,即,两个鼻孔的所在位置。鼻孔位置信息例如为两个鼻孔的第一中心点与第二中心点。举例来说,图3是依照本发明第一实施例的具有正面脸部图像的示意图。在图3所示图像300中,以被拍摄者的方向而言,将右鼻孔的中心点视为第一中心点N1,将左鼻孔的中心点视为第二中心点N2。
然后,在步骤S215中,处理单元120基于鼻孔位置信息来判断脸部是否转动,藉此而获得脸部摆动信息。利用第一中心点N1与第二中心点N2来判断图像中的脸部是否向第一方向d1转动或向第二方向d2转动。在此,以被拍摄者的方向而言,将向右方向视为第一方向d1,将向左方向视为第二方向d2,如图3所示。例如,将第一中心点N1与第二中心点N2与一参考点进行比对,通过第一中心点N1与参考点之间的位置关系以及第二中心点N2与参考点之间的位置关系,判断脸部往哪一方向转动。
举例来说,处理单元120在获得鼻孔位置信息之后,依据第一中心点N1与第二中心点N2执行水平方向测量(gauge),藉以找出脸部的第一边界点B1与第二边界点B2。具体而言,以第一中心点N1与第二中心点N2两者的中心点为基准,往上及往下于X轴(水平轴)上共取2~10条(即,共4~20条)像素列。以各取5条为例,第一中心点N1与第二中心点N2两者的中心点的Y座标为240,则往上取241、242、243…与往下取239、238、237…共10个Y座标在X轴的像素列。分别在各像素列上找出左右脸颊的边界(例如为由黑到白的像素),并将在10条像素列所找的结果平均,而获得第一边界点B1与第二边界点B2。
在获得两边脸颊的边界(即第一边界点B1与第二边界点B2)之后,处理单元120计算第一边界点B1与第二边界点B2的中心点,而以此中心点作为参考点R。也就是说,假设第一边界点B1的座标为(B_x1,B_y1),第二边界点B2的座标为(B_x2,B_y2),则参考点R的X座标为(B_x1+B_x2)/2,Y座标为(B_y1+B_y2)/2。
接着,比较参考点R与第一中心点N1,以判断脸部是否向第一方向d1转动。并且,比较参考点R与第二中心点N2,以判断脸部是否向第二方向d2转动。例如,在第一中心点N1位于参考点R的第一方向d1的一侧时,判定脸部向第一方向d1转动。而在第二中心点N2位于参考点R的第二方向d2的一侧时,判定脸部向第二方向d2转动。另外,如图3所示,当参考点R位于第一中心点N1与第二中心点N2两点之间时,则判定脸部为朝向正面并未转动。
之后,处理单元120会计算在预设时间(例如10秒)内脸部向第一方向d1转动的次数以及向第二方向d2转动的次数,藉以获得脸部摆动信息。而上述脸部摆动信息例如可记录为(d1,d1,d2,d2),其表示脸部先向第一方向d1转动2次之后,再向第二方向d2转动两次。然,上述仅为其中一种实施方式的说明,并不以此为限。
之后,在步骤S220中,处理单元120比对脸部摆动信息与门槛信息。举例来说,上述门槛信息包括两个门槛值,其中之一代表脸部向第一方向d1转动的门槛值,其中另一代表脸部向第二方向d2转动的门槛值。另外,门槛信息中还定义了向第一方向d1转动与向第二方向d2转动的顺序。
而在步骤S225中,当脸部摆动信息符合门槛信息时,触发一指定信号。在处理单元120触发对应的指定信号之后,还可进一步通过无线通信单元140将指定信号传送至指定装置。例如,此指定信号为求救信号,指定装置例如为社区守望相互会的任一会员,或是车辆管控中心的如手机、电脑等电子设备。或者,在车用电子装置100以手机实施的情况下,驾驶者可事先设定好一电话号码,在处理单元120触发对应的指定信号之后,由此指定信号来致能拨号功能,而由车用电子装置100发话至设定好的电话号码所使用的指定装置。
另外,底下再列举实施方式来说明如何判断脸部是否转动。图4A及图4B是依照本发明第一实施例的脸部转动图像的示意图。其中,图4A所示为脸部向第一方向d1转动的图像410,图4B所示为脸部向第二方向d2转动的图像420。
请参照图4A及图4B,在此以图像410、420的最左下方的点作为原点,并且假设两个鼻孔的第一中心点N1的座标为(N1_x,N1_y),第二中心点N2的座标为(N2_x,N2_y),为第一边界点B1与第二边界点B2的中心点的参考点R的座标为(R_x,R_y)。
当参考点R的X座标R_x大于第一中心点N1的X座标N1_x,判定脸部向第一方向d1转动,如图4A所示。另外,当参考点R的X座标R_x小于第二中心点N2的X座标N2_x时,判定脸部向第二方向d2转动。
另外,为了使得脸部转向的判断更为准确,还可进一步搭配一转动角度来进行判断。举例来说,图5A及图5B是依照本发明第一实施例的鼻孔区域的示意图。图5A为脸部向第一方向d1转动的鼻孔区域示意图。图5B为脸部向第二方向d2转动的鼻孔区域的示意图。在本例中,依据由第一中心点N1与第二中心点N2所形成的直线NL以及基准线RL,获得转动角度θ。即,以第一中心点N1为顶点,直线NL与基准线RL所相夹的角度。在此,基准线RL为第一中心点N1为基准的水平轴,并以基准线RL作为0°。
请参照图4A及图5A,当第一中心点N1位于参考点R的第一方向d1的一侧,且转动角度θ符合一第一预设角度时,判断脸部向第一方向d1转动。例如,当参考点R的X座标R_x大于第一中心点N1的X座标N1_x,同时转动角度θ大于或等于A°(A的范围介于2~5)时,则判定脸部向第一方向d1转动(即,脸部向右转动)。
请参照图4B及图5B,当第二中心点N2位于参考点R的第二方向d2的一侧,且转动角度θ符合第二预设角度时,判断脸部向第二方向d2转动。例如,当参考点R的X座标R_x小于第二中心点N2的X座标N2_x,同时转动角度θ小于或等于-A°时,则判定脸部向第二方向d2转动(即,脸部向左转动)。
而在判定脸部向第一方向d1或向第二方向d2转动之后,处理单元120便可进一步计算在预设时间内脸部向第一方向d1转动的次数以及向第二方向d2转动的次数,藉以获得脸部摆动信息。
另外,在其他实施例中亦可以第二中心点N2的水平轴作为基准线,或是以正面脸部的第一中心点N1与第二中心点N2两点连线作为基准线,并且可依据需求来适当调整第一预设角度与第二预设角度,在此并不限制。
此外,亦可仅以旋转角度来进行判断。即,依据由第一中心点N1与第二中心点N2所形成的直线NL以及基准线RL,获得转动角度θ。之后,比较转动角度θ与第一预设角度,以判断脸部是否向第一方向d1转动,并且,比较转动角度θ与第二预设角度,以判断脸部是否向第二方向d2转动。例如,当转动角度θ大于或等于A°(A的范围介于2~5)时,则判定脸部向第一方向d1转动(即,脸部向右转动)。当转动角度θ小于或等于-A°时,则判定脸部向第二方向d2转动(即,脸部向左转动)。
本实施例利用鼻孔位置信息来判断脸部是否转动,并在转动的方向与次数符合门槛信息时,触发指定信号。据此,可避免使用眼睛的特征信息,减少计算量并降低误判率。
第二实施例
图6是依照本发明第二实施例的触发信号的方法流程图。底下亦搭配图1的车用电子装置100来进行说明。
在步骤S605中,通过图像获取单元110连续获取多张图像,其中每一张图像皆包括一脸部。接着,在步骤S610中,处理单元120检测脸部的鼻孔区域,而获得鼻孔位置信息。在此,步骤S605及步骤S610的详细说明可参照上述步骤S205及步骤S210,在此不再赘述。
之后,在步骤S615中,依据鼻孔位置信息来预估眼部搜索框,以在眼部搜索框内检测眼部目标。也就是说,相较于眼睛,鼻孔在图像中更容易识别,因此,先找出鼻孔之后,在往上估算出一眼部搜索框,以在眼部搜索框内找出眼部目标,藉此缩小搜索范围。
举例来说,图7是依照本发明第二实施例的预估眼部搜索框的示意图。处理单元120在找到两个鼻孔的第一中心点N1与第二中心点N2之后,计算出第一中心点N1与第二中心点N2之间的距离D。接着,依据距离D来估测眼部搜索框的中心点及长宽距离。
具体而言,以第二中心点N2(N2_x,N2_y)作为起算点,将X轴座标往第二方向d2加上第一估计值k1,将Y轴座标往上方加上第二估计值k2,藉此获得一中心点71。即,中心点71的X座标C_x=N2_x+k1,Y座标C_y=N2_y+k2。k1与k2的设定例如可以为:k1=D×e1,k2=D×e2,其中1.3<e1<2.0,而1.5<e2<2.2,可视需求来进行调整,在此并不限制。在获得中心点71之后,依据事先定义的宽度w及高度h而获得眼部搜索框710,其中宽度w大于高度h。例如,宽度w为2×22个像素,高度h为2×42个像素。
又,与上述方法类似,以第一中心点N1(N1_x,N1_y)作为起算点,将X轴座标往第一方向d1减去第一估计值k1,将Y轴座标往上方加上第二估计值k2,来获得另一中心点73。并在获得中心点71之后,依据事先定义的宽度w及高度h而获得另一眼部搜索框730。另外,在其他实施例中,起算点亦可以为第一中心点N1与第二中心点N2之间的中间点,在此并不限制。
在获得眼部搜索框710、730之后,处理单元120进一步在眼部搜索框710、730中而获得更为精准的眼部图像区域720、740。以被拍摄者的左眼为例,底下再举一实施例说明。
图8A及图8B是依照本发明第二实施例的眼部图像区域的示意图。在此,图8A例如为图7的眼部图像区域720的闭眼状态。在自眼部搜索框710取出眼部图像区域720之后,调整眼部图像区域720的对比,而获得加强图像。即,调整眼部图像区域720的增益(gain)值与偏移(offset)值。举例来说,统计眼部图像区域720的所有像素灰阶值的平均值avg。倘若平均值avg小于150,则将偏移值设为平均值avg的负值,即-avg,并且将增益值设为G1,其中3.2<G1<2.1。倘若平均值avg不小于150,则将偏移值设为平均值avg的负值,即-avg,并且将增益值设为G2,其中1.9<G2<2.5。
之后,对加强图像进行去杂点处理,而获得去杂点图像。例如,利用值皆为1的3×3矩阵来进行去杂点处理。然后,对去杂点图像进行边缘锐利化处理,而获得锐化图像。例如,利用改良的Soble遮罩(mask),其值为(1,0,0,0,-1)来进行边缘锐利化处理。接着,对锐化图像进行二值化处理,而获得二值化图像。而后再次对二值化图像进行边缘锐利化处理,如图8B所示,而获得眼部目标810。
返回图6,在检测到眼部目标810后,在步骤S620中,处理单元120基于眼部目标810的尺寸来判断眼部目标是否闭上,藉此而获得眼部开闭信息。例如,当眼部目标810的高度小于高度门槛值(例如,高度门槛值的范围界于5~7个像素),且眼部目标810的宽度大于宽度门槛值(例如,宽度门槛值的范围界于60~80个像素)时,判定眼部目标810为闭上。若不符合上述条件,则一律判定为张开。而后,处理单元120会计算在预设时间内眼部目标的闭眼次数,藉此而获得眼部开闭信息。
接着,在步骤S625中,比对眼部开闭信息与门槛信息。上述门槛信息包括一眨眼门槛值(如,3次)。而在步骤S630中,当眼部开闭信息符合门槛信息时,触发一指定信号。在处理单元120触发对应的指定信号之后,还可进一步通过无线通信单元140将指定信号传送至指定装置。
本实施例利用鼻孔位置信息来找出眼部目标,以判断是否眨眼。并在眨眼的次数符合门槛值时,触发指定信号。利用容易识别的鼻孔的特征信息来获得适当的眼部搜索框,再于眼部搜索框中获得眼部图像区域,以仅在眼部图像区域中检测眼部目标。据此,大幅降低识别的复杂度,并且提高识别速度。
第三实施例
本实施例是结合了脸部摆动信息及眼部开闭信息来判断是否要触发一指定信号。图9是依照本发明第三实施例的触发信号的方法流程图。同样搭配图1来进行说明。在步骤S905中,通过图像获取单元110连续获取多张图像,其中每一张图像皆包括一脸部。接着,在步骤S910中,处理单元120检测脸部的鼻孔区域,而获得鼻孔位置信息。在此,步骤S905及步骤S910的详细说明可参照上述步骤S205及步骤S210,在此不再赘述。
在获得鼻孔位置信息之后,便可利用鼻孔位置信息来判断脸部是否转动,以及利用鼻孔位置信息来找到眼部目标,以检测眼部目标是否闭上(眨眼)。在本实施例中判断脸部是否转动与检测眼部目标是否闭上的顺序仅为方便说明,并不以此为限。
在步骤S915中,处理单元120基于鼻孔位置信息来判断脸部是否转动,藉此而获得脸部摆动信息。关于步骤S915的详细说明可参照第一实施例的步骤S215,在此不再赘述。
接着,在步骤S920中,依据鼻孔位置信息来预估眼部搜索框,以在眼部搜索框内检测眼部目标。并且,在步骤S925中,处理单元120基于眼部目标的尺寸来判断眼部目标是否闭上,藉此而获得眼部开闭信息。在此,关于步骤S920与步骤S925的详细说明可参照第二实施例的步骤S615与步骤S620,在此不再赘述。
而在获得脸部摆动信息与眼部开闭信息之后,在步骤S930中,将脸部摆动信息及眼部开闭信息与门槛信息进行比对。在此,门槛信息包括三个门槛值,即,眨眼门槛值、脸部向第一方向转动的门槛值及脸部向第二方向转动的门槛值。另外,门槛信息中还定义了向第一方向转动与向第二方向转动的顺序。
最后,在步骤S935中,当脸部摆动信息及眼部开闭信息符合门槛信息时,触发一指定信号。在处理单元120触发对应的指定信号之后,还可进一步通过无线通信单元140将指定信号传送至指定装置。
综上所述,在人机互动界面中,可通过上述实施例可在不惊动、不打扰旁人的情况下来获取驾驶者的动作,在驾驶者的动作符合指定条件(即,门槛信息)时,即可触发指定消息。在上述实施例中,先找出脸部中的鼻孔区域以获得鼻孔位置信息,之后再依据鼻孔位置信息来判断驾驶者的动作是否符合一门槛信息以决定要触发一指定信号。例如,在驾驶者遇到无法出声呼救的突发事件的当下,可利用转头及/或眨眼来触发指定讯息,藉此可确保驾驶者自身的安全。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种车用电子装置,其特征在于,包括:
图像获取单元,获取驾驶者的多张图像;以及
运算装置,耦接至所述图像获取单元,接收所述图像,并对每一所述图像执行图像识别程序,藉以检测所述驾驶者的脸部摆动或眼部开闭,而获得基于鼻孔位置信息来判断所述脸部是否转动的脸部摆动信息或眼部开闭信息,所述鼻孔位置信息包括两个鼻孔的第一中心点与第二中心点,并且,在所述脸部摆动信息或所述眼部开闭信息符合门槛信息时,触发求救信号而传送至无线通信单元,
其中,基于所述鼻孔位置信息来判断所述脸部是否转动的步骤包括:依据由所述第一中心点与所述第二中心点所形成的直线以及基准线,获得转动角度。
2.根据权利要求1所述的车用电子装置,其特征在于,所述图像获取单元设置于车辆的驾驶座前方,以获取所述驾驶者的所述图像;
其中,所述图像获取单元具有照明元件,通过所述照明元件进行补光动作。
3.根据权利要求1所述的车用电子装置,其特征在于,所述脸部摆动信息包括所述驾驶者的转头次数、点头次数及绕圈次数;所述眼部开闭信息包括所述驾驶者的闭眼次数。
4.一种触发信号的方法,用于车用电子装置,其特征在于,所述方法包括:
连续获取多张图像,其中每一所述图像包括脸部;
检测所述脸部的鼻孔区域,而获得鼻孔位置信息,所述鼻孔位置信息包括两个鼻孔的第一中心点与第二中心点;
基于所述鼻孔位置信息来判断所述脸部是否转动,藉此而获得脸部摆动信息;
比对所述脸部摆动信息与门槛信息;以及
当所述脸部摆动信息符合所述门槛信息时,触发指定信号,
其中,基于所述鼻孔位置信息来判断所述脸部是否转动的步骤包括:依据由所述第一中心点与所述第二中心点所形成的直线以及基准线,获得转动角度。
5.根据权利要求4所述的方法,其特征在于,基于所述鼻孔位置信息来判断所述脸部是否转动的步骤包括:
依据所述第一中心点与所述第二中心点执行水平方向测量,藉以找出所述脸部的第一边界点与第二边界点;
计算所述第一边界点与所述第二边界点的中心点,而以所述中心点作为参考点;
比较所述参考点与所述第一中心点,以判断所述脸部是否向第一方向转动;
比较所述参考点与所述第二中心点,以判断所述脸部是否向第二方向转动;以及
计算在预设时间内所述脸部向所述第一方向转动的次数以及向所述第二方向转动的次数,藉以获得所述脸部摆动信息。
6.根据权利要求5所述的方法,其特征在于,基于所述鼻孔位置信息来判断所述脸部是否转动的步骤包括:
当所述第一中心点位于所述参考点的所述第一方向的一侧,且所述转动角度符合第一预设角度时,判断所述脸部向所述第一方向转动;以及
当所述第二中心点位于所述参考点的所述第二方向的一侧,且所述转动角度符合第二预设角度时,判断所述脸部向所述第二方向转动。
7.根据权利要求4所述的方法,其特征在于,基于所述鼻孔位置信息来判断所述脸部是否转动的步骤包括:
比较所述转动角度与第一预设角度,以判断所述脸部是否向第一方向转动;
比较所述转动角度与第二预设角度,以判断所述脸部是否向第二方向转动;以及
计算在预设时间内所述脸部向所述第一方向转动的次数以及向所述第二方向转动的次数,藉以获得所述脸部摆动信息。
8.根据权利要求4所述的方法,其特征在于,在触发所述指定信号的步骤之后,还包括:
通过无线通信单元传送所述指定信号至指定装置。
9.一种触发信号的方法,用于车用电子装置,其特征在于,所述方法包括:
连续获取多张图像,其中每一所述图像包括脸部;
检测所述脸部的鼻孔区域,而获得鼻孔位置信息,所述鼻孔位置信息包括两个鼻孔的第一中心点与第二中心点;
基于所述鼻孔位置信息来判断所述脸部是否转动,藉此而获得脸部摆动信息;
依据所述鼻孔位置信息来预估眼部搜索框,以在所述眼部搜索框内检测眼部目标;
基于所述眼部目标的尺寸来判断所述眼部目标是否闭上,藉此而获得眼部开闭信息;
将所述脸部摆动信息及所述眼部开闭信息与门槛信息进行比对;以及
当所述脸部摆动信息与所述眼部开闭信息符合所述门槛信息时,触发指定信号,
其中,基于所述鼻孔位置信息来判断所述脸部是否转动的步骤包括:依据由所述第一中心点与所述第二中心点所形成的直线以及基准线,获得转动角度。
10.根据权利要求9所述的方法,其特征在于,基于所述鼻孔位置信息来判断所述脸部是否转动的步骤包括:
依据所述第一中心点与所述第二中心点执行水平方向测量,藉以找出所述脸部的第一边界点与第二边界点;
计算所述第一边界点与所述第二边界点的中心点,而以所述中心点作为参考点;
比较所述参考点与所述第一中心点,以判断所述脸部是否向第一方向转动;
比较所述参考点与所述第二中心点,以判断所述脸部是否向第二方向转动;以及
计算在预设时间内所述脸部向所述第一方向转动的次数以及向所述第二方向转动的次数,藉以获得所述脸部摆动信息。
11.根据权利要求10所述的方法,其特征在于,基于所述鼻孔位置信息来判断所述脸部是否转动的步骤包括:
当所述第一中心点位于所述参考点的所述第一方向的一侧,且所述转动角度符合第一预设角度时,判断所述脸部向所述第一方向转动;以及
当所述第二中心点位于所述参考点的所述第二方向的一侧,且所述转动角度符合第二预设角度时,判断所述脸部向所述第二方向转动。
12.根据权利要求9所述的方法,其特征在于,在所述眼部搜索框内检测所述眼部目标的步骤包括:
在所述眼部搜索框取出眼部图像区域;
调整所述眼部图像区域的对比,而获得加强图像;
对所述加强图像进行去杂点处理,而获得去杂点图像;
对所述去杂点图像进行边缘锐利化处理,而获得锐化图像;
对所述锐化图像进行二值化处理,而获得二值化图像;以及
再次对所述二值化图像进行所述边缘锐利化处理,而获得所述眼部目标。
13.根据权利要求9所述的方法,其特征在于,基于所述眼部目标的尺寸来判断所述眼部目标是否闭上的步骤包括:
当所述眼部目标的高度小于高度门槛值,且所述眼部目标的宽度大于宽度门槛值时,判定所述眼部目标为闭上;以及
计算在预设时间内所述眼部目标的闭眼次数,藉此而获得所述眼部开闭信息。
14.根据权利要求9所述的方法,其特征在于,在触发所述指定信号的步骤之后,还包括:
通过无线通信单元传送所述指定信号至指定装置。
CN201310314413.2A 2013-06-14 2013-07-24 触发信号的方法及车用电子装置 Active CN104238733B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102121160 2013-06-14
TW102121160A TWI492193B (zh) 2013-06-14 2013-06-14 觸發訊號的方法及車用電子裝置

Publications (2)

Publication Number Publication Date
CN104238733A CN104238733A (zh) 2014-12-24
CN104238733B true CN104238733B (zh) 2017-11-24

Family

ID=52019254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310314413.2A Active CN104238733B (zh) 2013-06-14 2013-07-24 触发信号的方法及车用电子装置

Country Status (3)

Country Link
US (1) US20140369553A1 (zh)
CN (1) CN104238733B (zh)
TW (1) TWI492193B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9408076B2 (en) * 2014-05-14 2016-08-02 The Regents Of The University Of California Sensor-assisted biometric authentication for smartphones
US9323984B2 (en) * 2014-06-06 2016-04-26 Wipro Limited System and methods of adaptive sampling for emotional state determination
CN104924907B (zh) * 2015-06-19 2018-09-14 宇龙计算机通信科技(深圳)有限公司 一种调节车速的方法及装置
JP7074432B2 (ja) * 2017-06-26 2022-05-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US10970571B2 (en) * 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
US10915769B2 (en) * 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
US11195301B1 (en) * 2020-07-26 2021-12-07 Nec Corporation Of America Estimation of head yaw in an image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916496A (zh) * 2010-08-11 2010-12-15 无锡中星微电子有限公司 一种司机驾驶姿势检测的系统和方法
CN101950355A (zh) * 2010-09-08 2011-01-19 中国人民解放军国防科学技术大学 基于数字视频的驾驶员疲劳状态检测方法
CN102034334A (zh) * 2009-09-28 2011-04-27 财团法人车辆研究测试中心 驾驶人监控方法及其监控系统
CN102324166A (zh) * 2011-09-19 2012-01-18 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测方法及装置
CN102982316A (zh) * 2012-11-05 2013-03-20 安维思电子科技(广州)有限公司 一种对驾驶员非正常驾驶行为的识别装置和方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130617A (en) * 1999-06-09 2000-10-10 Hyundai Motor Company Driver's eye detection method of drowsy driving warning system
JP2001010368A (ja) * 1999-06-17 2001-01-16 Hyundai Motor Co Ltd 居眠り運転警報システムの居眠り運転判断方法
HK1053239A2 (en) * 2002-10-09 2003-09-26 Titanium Tech Ltd Apparatus and method for recognizing images
US7202792B2 (en) * 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
KR100617777B1 (ko) * 2004-01-26 2006-08-28 삼성전자주식회사 졸음운전 경고 장치에서 운전자의 눈 영상 검출 장치 및 방법
US7746235B2 (en) * 2005-03-10 2010-06-29 Delphi Technologies, Inc. System and method of detecting eye closure based on line angles
US7689008B2 (en) * 2005-06-10 2010-03-30 Delphi Technologies, Inc. System and method for detecting an eye
JP3962803B2 (ja) * 2005-12-16 2007-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 頭部検出装置、頭部検出方法および頭部検出プログラム
JP2007207009A (ja) * 2006-02-02 2007-08-16 Fujitsu Ltd 画像処理方法及び画像処理装置
JP4640404B2 (ja) * 2007-11-22 2011-03-02 トヨタ自動車株式会社 車両運転者状態検出装置
JP4728432B2 (ja) * 2008-01-16 2011-07-20 旭化成株式会社 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム
JP4888838B2 (ja) * 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
KR101030613B1 (ko) * 2008-10-08 2011-04-20 아이리텍 잉크 아이이미지에서 관심영역정보 및 인식적 정보획득방법
US8547435B2 (en) * 2009-09-20 2013-10-01 Selka Elektronik ve Internet Urunleri San.ve Tic.A.S Mobile security audio-video recorder with local storage and continuous recording loop
TWI488149B (zh) * 2009-09-22 2015-06-11 Automotive Res & Testing Ct Driver monitoring method and its monitoring system
TWI418478B (zh) * 2010-12-03 2013-12-11 Automotive Res & Testing Ct And a method and system for detecting the driving state of the driver in the vehicle
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
TWM426839U (en) * 2011-11-24 2012-04-11 Utechzone Co Ltd Anti-doze apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034334A (zh) * 2009-09-28 2011-04-27 财团法人车辆研究测试中心 驾驶人监控方法及其监控系统
CN101916496A (zh) * 2010-08-11 2010-12-15 无锡中星微电子有限公司 一种司机驾驶姿势检测的系统和方法
CN101950355A (zh) * 2010-09-08 2011-01-19 中国人民解放军国防科学技术大学 基于数字视频的驾驶员疲劳状态检测方法
CN102324166A (zh) * 2011-09-19 2012-01-18 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测方法及装置
CN102982316A (zh) * 2012-11-05 2013-03-20 安维思电子科技(广州)有限公司 一种对驾驶员非正常驾驶行为的识别装置和方法

Also Published As

Publication number Publication date
CN104238733A (zh) 2014-12-24
TWI492193B (zh) 2015-07-11
US20140369553A1 (en) 2014-12-18
TW201447827A (zh) 2014-12-16

Similar Documents

Publication Publication Date Title
CN104238733B (zh) 触发信号的方法及车用电子装置
US11436846B1 (en) Image analysis technologies for identifying abnormal vehicle conditions
CN105844128B (zh) 身份识别方法和装置
EP3647129A1 (en) Vehicle, vehicle door unlocking control method and apparatus, and vehicle door unlocking system
US20190366981A1 (en) Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems
CN105488957B (zh) 疲劳驾驶检测方法及装置
CN104238732B (zh) 侦测脸部动作以产生讯号的装置、方法以及计算机可读取纪录媒体
CN109584507A (zh) 驾驶行为监测方法、装置、系统、交通工具和存储介质
WO2021218180A1 (zh) 控制车门解锁的方法、装置、车辆、设备、介质及程序
CN110930547A (zh) 车门解锁方法及装置、系统、车、电子设备和存储介质
WO2021098657A1 (zh) 视频检测方法、装置、终端设备及可读存储介质
JP6148064B2 (ja) 顔認証システム
WO2021004499A1 (zh) 一种人脸识别的方法和装置
CN104573622B (zh) 人脸检测装置、方法
CN113752983B (zh) 一种基于人脸识别/人眼识别的车辆解锁控制系统和方法
US10489929B2 (en) Information processing apparatus, information processing method, and information processing system
WO2022161139A1 (zh) 行驶朝向检测方法、装置、计算机设备及存储介质
WO2013008305A1 (ja) 瞼検出装置
CN112754498B (zh) 驾驶员的疲劳检测方法、装置、设备及存储介质
CN104239847B (zh) 行车警示方法及车用电子装置
KR20120074820A (ko) 얼굴 인식 기능을 이용한 차량 제어 시스템
CN113284274A (zh) 一种尾随识别方法及计算机可读存储介质
JP2008090452A (ja) 検出装置、方法およびプログラム
US9878660B1 (en) System and method for monitoring a former convict of an intoxication-related offense
JP2017182459A (ja) 顔画像認証装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant