CN106034217A - 远距离脸部监控系统及其方法 - Google Patents

远距离脸部监控系统及其方法 Download PDF

Info

Publication number
CN106034217A
CN106034217A CN201510103291.1A CN201510103291A CN106034217A CN 106034217 A CN106034217 A CN 106034217A CN 201510103291 A CN201510103291 A CN 201510103291A CN 106034217 A CN106034217 A CN 106034217A
Authority
CN
China
Prior art keywords
face
information
face characteristic
focusing
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510103291.1A
Other languages
English (en)
Inventor
邹嘉骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN106034217A publication Critical patent/CN106034217A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种远距离脸部监控系统及方法,其包含有一对焦式摄影机,以及一连接至该对焦式摄影机的处理单元。该对焦式摄影机用以拍摄一预设环境。该处理单元用以加载并执行以下程序:一人脸侦测模块由该预设环境的影像,侦测影像中的人脸特征,并经一预设时间内,触发一控制指令;以及一脸部动作辨识模块,于接受到该控制指令时连续撷取该人脸特征的特定动作信息,并于该特定动作信息符合一预设信息时触发一求救讯号传送至后台中心。

Description

远距离脸部监控系统及其方法
技术领域
本发明系有关于一种远距离脸部监控系统及其方法,尤指一种适用于办公室、会议室或室外的远距离脸部监控系统及其方法。
背景技术
为减少社会上的治安死角,许多国家陆续进行各种监视器的相关建置计划,以便在重要路口、国家机关等公共场所广设监视器,使监视器遍及我们生活周遭。这类监视器主要基于预防或吓阻犯罪等维护治安的功能,于犯罪事件发生时,可藉由后台中心(例如警察局、保全中心)所记录的影像还原事件发生的情况、或藉由保全人员进行实时性的监控。
除上述设置于公共区域的监视器外,监视器亦常见于一般销售据点、金融机构、货物仓管等,其目的不仅只在于避免宵小、剪柳出入,于犯罪行为发生后亦可透过后台中心所记录的影像还原现场,协助厘清事件始末。同时,另一方面具有警示的效果,可达到防微杜渐的目的。然而,上述监视器多半用于厘清事实而较少能达到预防的目的,遇到紧急情况时,监视器常常不能适时地回报后台中心所发生的情况,例如保全人员临时不在位置上、亦或是当事人当下收到挟持时,未能由监视器中看出任何异状。
针对上述紧急情况,目前解决的方案大多是藉由有线或无线警报器连接至后台中心,当事人藉由警报器上的紧急按钮提示后台中心有状况发生,使后台中心的保全人员(警察)得以警觉并进行应对。如中国台湾第M472265号专利,其揭示一种销售点装置,包括一处理单元、一通讯单元与一保全单元,通讯单元耦接至处理单元与外部的一传讯装置之间,保全单元耦接处理单元,具有一组保全键。这组保全键根据一触压模式被触压时,保全单元产生一保全讯号,处理单元将保全讯号经由通讯单元输出至管制装置。
一般的警报装置通常在定点的位置设置,遇到紧急情况时,便于操作者紧急应变。然而,许多紧急状况操作者并不见得能来得及去启动保全键、又或是在部分特殊环境时并未配置所述的保全键(例如会议室、交谊厅、办公室等),这类情况操作者不见得能接触到保全键。若将保全键广泛地于室内空间中进行配置,不仅增加误触的机率,过度的配置亦难免有矫枉过正的疑虑,并不是聪明的做法。若遇到挟持事件发生时,操作者甚至不能靠近保全键。是以,要如何在不动声色的情况下启动所述保全系统,为本案发明人所欲达到的技术目标。
发明内容
本发明目的在于提供一种远距离脸部监控系统及其方法,以便于在当事人遭到歹徒挟持时得以不动声色的启动警报器。
为达到上述目的,本发明提供一种远距离脸部监控系统,其包含有一对焦式摄影机,以及一连接至该对焦式摄影机的处理单元。该对焦式摄影机,用以拍摄一预设环境。该处理单元,系用以加载并执行以下程序:一人脸侦测模块,由该预设环境之影像,侦测影像中的人脸特征,并经一预设时间内,触发一控制指令;以及一脸部动作辨识模块,于接受到该控制指令时连续撷取该人脸特征的特定动作信息,并于该特定动作信息符合一预设信息时触发一求救讯号传送至后台中心。
进一步地,该处理单元用以加载并执行以下程序:一人脸对焦模块,由该预设环境的影像中搜寻人脸特征,并基于该人脸特征的位置控制该对焦式摄影机对焦至该人脸特征并设定脸部搜寻框持续追踪。
进一步地,该处理单元用以加载并执行以下程序:一焦段调整模块,由该预设环境的影像中搜寻人脸特征,并基于该人脸特征的位置控制该对焦式摄影机的焦段至一适当距离,藉以局部放大影像中的该人脸特征。
进一步地,所述远距离脸部监控系统更进一步包含有一乘载该对焦式摄影机的多轴旋转机构,用以控制该对焦式摄影机至少朝旋转轴及倾斜轴的方向转动,该处理单元用以加载并执行以下程序:一人脸追踪模块,由该预设环境的影像中搜寻人脸特征,并于接收到该控制指令时启动一人脸追踪程序,用以控制该多轴旋转机构使对焦式摄影机的摄像方向对正至该人脸特征。
进一步地,所述的脸部动作辨识模块包含有:一脸部摆动侦测次模块,用以侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息,并基于该鼻孔位置信息来判断该脸部是否转动,藉此而获得一脸部摆动信息;以及一代码比对模块,比对该脸部摆动信息与一第一预设信息,并于该脸部摆动信息符合该第一预设信息时,触发该求救讯号。
进一步地,所述的脸部动作辨识模块包含有:一眼部动作侦测次模块,用以侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息,基于该鼻孔位置信息预估一眼部搜寻框,以在该眼部搜寻框内侦测眼部对象的动作,藉此而获得一眼部动作信息;以及一代码比对模块,比对该眼部动作信息与一第二预设信息,并于该眼部动作信息符合该第二预设信息时,触发该求救讯号。
进一步地,所述的脸部动作辨识模块包含有:一嘴部动作侦测次模块,用以侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息,基于该鼻孔位置信息预估一嘴部搜寻框,以在该嘴部搜寻框内侦测嘴部对象的动作,藉此而获得一嘴部动作信息;以及一代码比对模块,比对该嘴部动作信息与一第三预设信息,并于该嘴部动作信息符合该第三预设信息时,触发该求救讯号。
本发明另一目的,在于提供一种远距离脸部监控方法,包含有:拍摄一预设环境的影像;由该预设环境的影像,侦测影像中的人脸特征,并经一预设时间内,触发一控制指令;藉由该控制指令触发并连续撷取该人脸特征的特定动作信息;以及比对该特定动作信息以及一预设信息,并于该特定动作信息符合该预设信息时触发一求救讯号传送至后台中心。
进一步地,于接收到该控制指令时启动一人脸追踪程序,用以控制该多轴旋转机构使对焦式摄影机的摄像方向对正至该人脸特征。
进一步地,于接收到该控制指令时基于该人脸特征的位置控制该对焦式摄影机的焦段至一适当距离,藉以局部放大影像中的该人脸特征。
进一步地,于接收到该控制指令时基于该人脸特征的位置控制该对焦式摄影机对焦至该人脸特征并设定对应该人脸特征设定脸部搜寻框持续追踪。
进一步地,该人脸特征的特定动作信息依据以下步骤取得:侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息;以及基于该鼻孔位置信息来判断该脸部是否转动,藉此而获得一脸部摆动信息。
进一步地,该人脸特征的特定动作信息依据以下步骤取得:侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息;基于该鼻孔位置信息预估一眼部搜寻框,藉以在该眼部搜寻框内侦测眼部对象的动作,藉此而获得一眼部动作信息。
进一步地,该人脸特征的特定动作信息依据以下步骤取得:侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息;基于该鼻孔位置信息预估一嘴部搜寻框,藉以在该嘴部搜寻框内侦测嘴部对象的动作,藉此而获得一嘴部动作信息。
本发明的更一目的,在于提供一种计算机可读取纪录媒体,其上记录一程序,当电子装置加载该程序并执行后,可完成以下方法:拍摄一预设环境的影像;由该预设环境的影像,侦测影像中的人脸特征,并经一预设时间内,触发一控制指令;藉由该控制指令触发并连续撷取该人脸特征的特定动作信息;以及比对该特定动作信息以及一预设信息,并于该特定动作信息符合该预设信息时触发一求救讯号传送至后台中心。
是以,本发明比起已知技术具有以下优势功效:
1. 本发明可藉由摄影机主动抓取使用者的脸部,藉由捕捉脸部的特定动作判断使用者的状况,得以在不被察觉的情况下输入紧急救援讯息。
2. 本发明无须配置实体保全键,可省去多余的配线或传输单元,此外,本发明亦可结合于室内或户外的监视器,可更广泛地配置于生活周遭,减少治安死角。
附图说明
图1,本发明远距离脸部监控系统的方块示意图。
图2,对焦式摄影机的设置示意图。
图3A,对正、焦段调整、对焦示意图(一)。
图3B,对正、焦段调整、对焦示意图(二)。
图3C,对正、焦段调整、对焦示意图(三)。
图4,搜寻框定义示意图。
图5A,脸部摆动信息侦测示意图(一)。
图5B,脸部摆动信息侦测示意图(二)。
图5C,脸部摆动信息侦测示意图(三)。
图6,脸部摆动信息侦测示意图。
图7A,眼部动作信息侦测示意图(一)。
图7B,眼部动作信息侦测示意图(二)。
图7C,眼部动作信息侦测示意图(三)。
图7D,眼部动作信息侦测示意图(四)。
图8,眨眼动作侦测示意图。
图9,嘴部张闭动作侦测示意图。
图10,本发明远距离脸部监控方法的流程示意图。
图11A,撷取特定动作信息的流程示意图(一)。
图11B,撷取特定动作信息的流程示意图(二)。
图11C,撷取特定动作信息的流程示意图(三)。
标号说明:
10 对焦式摄影机; 20 处理单元;
30 多轴旋转机构; 40 储存单元;
50 后台中心; F1 人脸侦测模块;
F2 焦段调整模块; F3 人脸对焦模块;
F4 脸部动作辨识模块; F41 搜寻框定义模块;
F42 脸部摆动侦测次模块; F43 眼部动作侦测次模块;
F44 嘴部动作侦测次模块; F45 代码比对模块;
D1 第一鼻孔位置; D2 第二鼻孔位置;
Z1 第一边界位置; Z2 第二边界位置;
N 基准参考点; SL 直线;
BL 基准线; θ 转动角度;
Hz 横向偏移值; Vt 纵向偏移值;
Ct 参考点; t1 边界位置;
t2 边界位置; t3 边界位置;
t4 边界位置; Ic 影像中心位置;
R1 眼部搜寻框; R2 嘴部搜寻框;
B 第一基准点坐标; C 第二基准点坐标;
D 间距; M 坐标位置;
PP 虹膜; E1 上眼睑;
E2 下眼睑; d1 边界点;
d2 边界点; d3 边界点;
d4 边界点; S1 中间点;
SL1 线段; SL2 线段;
PA1 相交点; C1 第一圆;
S2 中间点; SL3 线段;
SL4 线段; PA2 相交点;
C2 第二圆; u2 上方;
u3 下方; m1 左方;
m2 右方; u1 左上方;
d1 左下方; u3 右上方;
d3 右下方; WD 宽度;
HD 高度; K1 左侧嘴角;
K2 右侧嘴角; MH 间隙;
步骤S21~S29; 步骤S217A~S272A;
步骤S217B~S272B; 步骤S217C~S272C。
具体实施方式
有关本发明详细说明及技术内容,现配合图式说明如下:
请参阅图1,为本发明远距离脸部监控系统的方块示意图,如图所示:
本发明提供一种远距离脸部监控系统,其可配合保全系统或后台中心50设置,于紧急状况发生时,使用者可透过与摄影机间的互动,将求救讯息传递至保全系统或后台中心50。本发明的远距离脸部监控系统主要至少包含有一对焦式摄影机10,以及一连接于该对焦式摄影机10的处理单元20。
如图2所示,所述的对焦式摄影机10可设置于一开放式空间中,用以针对一预设环境拍摄多数个影像。所取得的影像回传至该处理单元20以进行影像分析。所述的对焦式摄影机可以是任何具有电荷耦合组件(Charge coupled device, CCD)镜头、互补式金氧半晶体管(Complementary Metal Oxide Semiconductor Transistors, CMOS)镜头、或具备红外线镜头的摄影机等,于本发明中并不予以限制。该对焦式摄影机10可对应设置有一乘载该对焦式摄影机10的多轴旋转机构30,用以控制该对焦式摄影机10至少朝旋转轴及倾斜轴二种方向转动。于一较佳实施例中该对焦式摄影机10搭配有变焦镜头,所述的变焦镜头的焦段为连续可变,可由广角端移动至长焦端以变更至所需的焦段以调整缩放值,并具有微型驱动装置及传感器,可控制镜头自动进行对焦。于另一较佳实施例中,该对焦式摄影机可透过光学变焦、电动变焦、数码变焦的方式变更焦段,藉以缩放所拍摄到目标物的影像。
透过上述的变焦镜头、多轴旋转机构,可藉由处理单元20调整该对焦式摄影机的转动角度(pan)、倾斜角度(tile)、及缩放值(zoom),藉以对正至影像中被摄者的脸部并将被摄者的人脸特征局部放大,进而撷取被摄者人脸特征的特定动作信息。
所述的处理单元20可与储存单元40共同构成一计算机或处理器,例如是个人计算机、工作站、主机计算机或其它型式计算机或处理器,在此并不限制其种类。于一较佳的实施态样中,所述的处理单元20及储存单元40内建于该对焦式摄影机或其主机上。于另一较佳的实施态样中,所述的处理单元20及储存单元40可设置于后台中心50的主机上。
于本实施态样中,该处理单元20耦接于该储存单元40。该处理单元20可为中央处理器(Central Processing Unit, CPU),或是其它可程序化并具有一般用途或特殊用途的微处理器(Microprocessor)、数字讯号处理器(Digital Signal Processor, DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits, ASIC)、可程序化逻辑装置(Programmable Logic Device, PLD)或其它类似装置或这些装置的组合。
所述的储存单元40可以是任何型态的固定或可移动随机存取内存(Random Access Memory, RAM)、只读存储器(Read-Only Memory, ROM)、闪存(Flash Memory)或类似组件或上述组件的组合。该储存单元40亦可由一或更多个可存取的非挥发性记忆构件所构成。具体而言,其可为硬盘、记忆卡,亦可为集成电路或韧体。
所述的处理单元20用以加载并执行以下的程序,所述的程序可预先写入上述的储存单元40。该程序包含有人脸侦测模块F1、焦段调整模块F2、人脸对焦模块F3、以及脸部动作辨识模块F4。
人脸侦测模块
于对焦式摄影机10启动并撷取该预设环境中的影像时,所述的人脸侦测模块F1由该预设环境的影像中搜寻人脸特征并持续追踪,于追踪到正面朝向该对焦式摄影机10的人脸特征后经过一预设时间触发一控制指令。具体而言,可藉由Adaboost算法以训练的方式由影像中搜寻出面向对焦式摄影的人脸特征,又或是以形状与密度信息来得到候选的人脸区块,藉由脸部的比例、或对称性判定被摄者是否面向该对焦式摄影机。
人脸追踪模块
请一并参阅图3A至图3B,该人脸追踪模块于接收到该控制指令时,启动一人脸追踪程序,用以控制该多轴旋转机构30使对焦式摄影机10的摄像方向对正至该人脸特征。
该对正程序的演算流程大致如下:
于所述预设环境的影像中藉由AdaBoost算法透过样本数取得被摄者的脸部(亦可利用Haar-like特征来进行人脸辨识动作)。于取得被摄者的脸部后,定义该脸部四个边界位置t1~t4,并将该四个边界位置t1~t4所围成的方框的中心位置设定为参考点Ct。如图3A所示,计算该参考点与影像中心位置Ic间的横向偏移值Hz及纵向偏移值Vt,藉由该横向偏移值Hz及纵向偏移值Vt控制该多轴旋转机构转动角度(pan)、倾斜角度(tile),使被摄者的脸部影像得以对正至影像中的中间位置,如图3B所示。
焦段调整模块
请一并参阅图3C,于上述被摄者的人脸影像对正至影像的中间位置时,所述的焦段调整模块F2基于该人脸特征的位置及大小控制该对焦式摄影机30的焦段至一适当距离,藉以局部放大影像中的该人脸特征。
所述的焦段调整模块F2藉由所取得的人脸特征推算所应放大的倍率,并由该倍率换算出所应调整的焦段。于预设模式中,眼部影像较佳需放大至占去影像中有效像素30-40 pixel以上的范围,始可进行较精准的判断。为使人脸特征所占去的有效像素能够达到相应数值,可藉由处理单元20计算人脸特征于调整焦段前所占去的像素值与对应的焦段,推算出所应调整的焦段。由于调整的焦段与放大的比例相互间呈正比,因此,于预设的有效像素数值输入后,仅需撷取所拍摄到的人脸特征的有效像素值及当下变焦镜头的焦段,即可依据比值合理计算出所欲调整的焦段距离。该焦段调整模块F2于推算出所应调整的焦段距离后传递一调整指令至该变焦镜头,控制该变焦镜头的焦段。
人脸对焦模块
所述的人脸对焦模块F3基于该人脸特征的位置控制该对焦式摄影机10对焦至该人脸特征,并进一步设定脸部搜寻框持续追踪。
该人脸对焦模块F3可传递指令控制该变焦镜头的微型驱动装置及传感器,进而控制镜头自动进行对焦。所述的传感器可内建于该对焦式摄影机10上,藉由拍摄到的影像找到感兴趣的目标物(人脸特征或预设定的位置)后测量目标物的深度,并将该深度回传至处理单元20重新运算后控制该微型马达将镜头的焦点锁定至该目标物。于其中一较佳的实施例中,所述的焦点可直接锁定至影像的中心位置。于另一较佳的实施例中,所述的焦点可藉由智能捕捉人脸特征后,自动锁定焦点至影像中的人脸位置。
脸部动作辨识模块
所述的脸部动作辨识模块F4连续撷取该人脸特征的特定动作信息,并于该特定动作信息符合一预设信息时触发一求救讯号传送至后台中心50。所述的特定动作信息可为人脸特征中的脸部摆动动作、眼部动作、嘴部动作亦或是上述动作间的组合。于本实施例中,所述的脸部动作辨识模块F4包含有搜寻框定义模块F41、脸部摆动侦测次模块F42、眼部动作侦测次模块F43、嘴部动作侦测次模块F44、以及代码比对模块F45。以下针对各次模块的功能分别说明:
(一)搜寻框定义模块
为便于针对部分人脸特征进行重点式侦测,所述的搜寻框定义模块F41将针对被摄者的脸部划分预定义的搜寻框,藉以分别撷取出所需要的感兴趣区域(Region of Interest)。所述的搜寻框经由以下的方式分别被定义:
请一并参阅图4,有关于眼部搜寻框R1及嘴部搜寻框R2的建立,其具体的演算方法如下,在此须注意影像中的原点(0, 0)位于影像中左上角的位置:
1. 眼部搜寻框:
于取得二鼻孔的位置后,取得二鼻孔的中心位置间的间距D,并以二鼻孔位置(第一鼻孔位置D1、第二鼻孔位置D2)的中心位置作为起算点坐标A(x1,y1)。例如将眼部搜寻框R1建立于被摄者的右眼时,该搜寻框定义模块根据使用者的脸部比例,计算取得一第一基准点坐标B(x2,y2),其中,x2= x1+k1×D,y2=y1+k2×D,k1=1.6~1.8,k2=1.6~1.8,该第一基准点坐标B(x2,y2)即大略落于右眼的位置,依该第一基准点坐标B(x2,y2)为中心可建立用于追踪右眼的眼部搜寻框R1。将眼部搜寻框R1建立于被摄者的左眼时,根据使用者的脸部比例,计算取得一第二基准点坐标C(x3,y3),其中,x3= x1-k1×D,y3=y1+k2×D,k1=1.6~1.8,k2=1.6~1.8,该第二基准点坐标C(x3,y3)即大略落于左眼的位置,依该第二基准点坐标C(x3,y3)为中心可建立用于追踪左眼的眼部搜寻框R2。
2. 嘴部搜寻框:
于取得二鼻孔的位置后,取得二鼻孔的中心位置间的间距D,并以二鼻孔位置(第一鼻孔位置D1、第二鼻孔位置D2)的中心位置作为起算点坐标A(x1,y1)。该鼻孔间距D作为参考值用于定义该脸部影像中的五官比例特征。接续,代入该鼻孔间距D,使该中心位置向下一段距离kD,取得一坐标位置M(x1, y1+kD),将该坐标位置M设定为搜寻框中心即可依据使用者的脸部比例建立一嘴部搜寻框R2。
藉由搜寻框定义模块可将脸部的感兴趣区域划分出来,并透过影像分析及影像处理手段取得影像中的变化量,以判断被摄者脸部的特定动作信息。
(二)脸部摆动侦测次模块
所述的脸部摆动侦测次模块F42用以基于该鼻孔位置信息来判断该脸部是否转动,藉此而获得一脸部摆动信息。所述的脸部摆动信息具体可为该人脸特征的一转头次数、一点头次数或一绕圈次数等。
请一并参阅图5A至图5C,以下举一用以判断被摄者的脸部摆动信息的具体实施例人脸侦测模块:
于上述的对焦式摄影机的焦段调整至定位、并正确对焦后,所述的脸部摆动侦测次模块F42先侦测该人脸影像中的鼻孔区域以获得第一鼻孔位置的坐标D1、及第二鼻孔位置的坐标D2。依据第一鼻孔位置D1与第二鼻孔位置D2向二侧水平方向延伸,可找出相应于脸部轮廓的第一边界位置Z1与第二边界位置Z2。于获得该第一边界位置Z1与第二边界位置Z2之后,人脸侦测模块计算该第一边界位置Z1与第二边界位置Z2的中心点,并将该中心点作为一基准参考点N。如图5B所示,比较该基准参考点N与该第一鼻孔位置D1,以判断脸部是否向第一方向a1转动,在第一鼻孔位置D1位于基准参考点N的第一方向a1的一侧时,判定脸部向第一方向a1转动。如图5C』所示,比较该基准参考点N与该第二鼻孔位置D2,以判断脸部是否向第二方向a2转动,在第二鼻孔位置D2位于基准参考点N的第二方向a2的一侧时,判定脸部向第二方向a2转动。
上述的脸部方向判断步骤,可再辅以以下的演算流程,使脸部方向的判断更为精确。请一并参阅图6所示,将第一鼻孔位置D1与第二鼻孔位置D2的连线设定为直线SL,并设定一基准线BL做为参考特征,取得该直线SL及基准线BL间的转动角度θ。接续,预先设定一临界角度Ag(预设阈值),当第一鼻孔位置D1位于基准参考点N的第一方向a1的一侧,且该转动角度θ大于该临界角度Ag时,判断脸部向第一方向a1转动;当第二鼻孔位置D2位于基准参考点N的第二方向a2的一侧,且转动角度θ大于该临界角度Ag时,判断脸部向第二方向a2转动。
于取得判断该人脸的摆动方向时,可藉由代码比对模块F45将摆动方向储存为可供辨识的代码,例如脸部向第一方向转动二次、接着向第二方向转动二次,代码则为(a1, a1, a2, a2),所取得的代码将可藉由代码比对模块与预设的代码(第一预设信息)进行比对,并于该所取得的代码(脸部摆动信息)符合该预设的代码(第一预设信息)时,触发一求救讯号传送至后台中心50。
(三)眼部动作侦测次模块
藉由设定前述的眼部搜寻框R1,所述的眼部动作侦测次模块F43可持续追踪被摄者的眼部并捕捉被摄者眼部对象(眼白、虹膜、瞳孔)的动作,藉此而获得一眼部动作信息。该眼部动作信息包括该眼部对象的一眨眼次数、一注视方向、一转动次数及一绕圈次数。
请一并参阅图7A至图7D,以下举一具体实施例用以计算使用者的眼部动作信息:
请先参阅图7A,眼部对象包括一虹膜PP、一上眼睑E1及一下眼睑E2,藉由二值化处理或边缘化等影像处理方式,可取得虹膜PP与上眼睑E1、下眼睑E2之间的边界点d1、d3及d2、d4。
以下有关于上侧、下侧、左侧、右侧等方向的说明,系对应至图面上、下、左、右的方向。所述的虹膜PP右侧与上眼睑E1及下眼睑E2间的交界处分别设定一边界点d1及一边界点d2,并于该虹膜右侧边缘介于边界点及边界点中间设定一中间点S1。接续,将边界点d1与中间点S1进行连线取得线段SL1,将边界点d2与中间点S1进行连线取得线段SL2,并针对该线段SL1及线段SL2分别取得中垂线,并藉由二中垂线及求得一相交点PA1,以该相交点PA1作为一圆心,相交点PA1至中间点S1的长度为一半径,藉此定义一第一圆C1作为第一比对特征。
接续,请一并参阅图7B,于所述的虹膜PP左侧与上眼睑E1及下眼睑E2间的交界处分别设定一边界点d3及一边界点d4,并于该虹膜PP左侧边缘介于边界点d3及边界点d4中间设定一中间点S2。接续,将边界点d3与中间点S2进行连线取得线段SL3,将边界点d4与中间点S2进行连线取得线段SL4,并针对该线段SL3及线段SL4分别取得中垂线,并藉由二中垂线及求得一相交点PA2,以该相交点PA2作为一圆心,相交点至中间点的长度为一半径,藉此定义一第二圆C2作为第二比对特征。
请一并参阅图7C,如图示中,透过连续撷取被摄者的眼部影像,藉由比较第一圆C1及第二圆C2的差异即可判断出人眼移动方向。如图中所示,被摄者的眼部瞳孔PP渐渐朝向左侧移动,透过图形化所转换的第一圆C1及第二圆C2的比对结果,可发现第二圆C2的面积(或半径)随着虹膜移动逐渐大于第一圆C1,且愈偏向左侧移动其差异愈明显。
请一并参阅图7D,依据前述原理,透过上述方式可藉由侦测多个人眼移动方向建立数据库,并藉由训练的方式来进行多个方向的判断,例如被摄者的瞳孔朝上方u2、下方u3、左方m1、右方m2、左上方u1、左下方d1、右上方u3及右下方d3移动。
以下揭示一取得被摄者的眨眼次数的较佳实施例,请一并参阅图8,首先,眼部动作侦测次模块于侦测到所述的眼部对象后计算出眼部对象的尺寸,并藉由所述的尺寸(例如面积、宽度WD)依据比例设定一阈值,藉由所述的阈值,处理单元可将眼部对象的高度HD(或面积)分别与一阈值进行比对,藉此判断该眼部对象是否为眨眼状态。例如,当所述的眼部对象的高度HD(或面积)小于该阈值时,判定该眼部对象系为紧闭的状态,反之,于该眼部对象的高度大于该阈值时,判定该眼部对象为睁开的状态。
于取得上述的人眼移动方向及眨眼次数或频率后,可藉由代码比对模块F45将该人眼移动方向及或眨眼次数储存为可供辨识的代码,例如眨眼二次后、眼部朝左上及右下方向移动,代码则为(c, c, u1, d3),所取得的代码将可用于与预设的代码(第二预设信息)进行比对,并于该所取得的代码(眼部动作信息)符合该预设的代码(第二预设信息)时,触发一求救讯号传送至后台中心50。
(四)嘴部动作侦测次模块
藉由设定前述的嘴部搜寻框R2,嘴部动作侦测次模块F44可持续追踪被摄者的嘴部并捕捉被摄者嘴部对象的动作,藉此而获得一嘴部动作信息。该嘴部动作信息包括该嘴部对象的一张阖次数、一张阖频率及一对应唇语的口型变化。
请一并参阅图9,判断被摄者的嘴部动作为张开或闭阖的算法,可藉由左侧嘴角K1及右侧嘴角K2间的连线大致分辨被摄者的上唇的下侧边界及下唇的上侧边界,藉由该上唇的下侧边界及下唇的上侧边界间的间隙MH判断使用者的嘴部是张开或是闭阖。当该上唇及下唇间的间隙MH大于一阈值时判定使用者的嘴部是张开的,于该上唇及下唇间的间隙MH小于阈值时判定使用者的嘴部是闭阖的,藉以判断使用者的嘴部动作信息。
于另一较佳实施态样中,可藉由结合彩度色彩空间(chromaticity color space)与K-means算法(K-means algorithm)撷取出人脸影像中的唇形特征。所取得的唇形特征可与训练过的大量数据库进行比对,以找到其个别唇形所对应的代码。
于取得上述的嘴部动作信息后,可藉由代码比对模块F45将该嘴部开阖动作及唇形特征转换为可供辨识的代码。于一较佳实施例中,可藉由点、线、及停顿的方式记录代码,于另一较佳实施例可藉由摩斯代码纪录使用者所欲传达的求救讯号,例如被摄者欲传达求救讯息SOS,被摄者可快速张闭嘴唇三次、长时张开嘴唇三次、再快速张闭嘴唇三次(…(S), ---(O), …(S))。于另一较佳实施例中,可直接由简单的唇形动作与数据库预存的唇形数据(第三预设信息)进行比对,取得对应的唇形所欲输入的信息,例如help是由嘴唇上扬-嘴略噘起-弹唇三种嘴形所组成。所取得的代码将可用于与预设的代码(第三预设信息)进行比对,并于该所取得的代码(嘴部动作信息)符合该预设的代码(第三预设信息)时,触发一求救讯号传送至后台中心50。
于其中一较佳的实施例,该代码比对模块F45亦可将所述的脸部摆动信息、眼部动作信息、嘴部动作信息亦可共同组成混成代码,将所取得的混成代码与预设信息进行比对,藉此确认被摄者是否向后台中心求救,以决定是否触发一求救讯号并传送至后台中心50。
以下针对本发明远距离脸部监控方法进行说明,请一并参阅图10,系本发明远距离脸部监控方法的流程示意图,如图所示:
本发明提供一种远距离脸部监控方法,其包含以下步骤:
于起始时,于保全设备开始运作时,透过对焦式摄影机拍摄预设环境的影像,并将该影像储存至储存单元以供后续处理(步骤S21)。
接续,利用Adaboost(或Harr-like)算法由该影像中搜寻人脸特征(步骤S22)。
于搜寻到该人脸特征后,判断被摄者的面向方向是否朝向摄影机经过一预设时间,若是的话触发一控制指令,若不是的话则回到步骤S22持续追踪该被摄者的脸部。(步骤S23)
于接收到该控制指令时,启动一人脸追踪程序,用以控制该多轴旋转机构使对焦式摄影机的摄像方向对正至该人脸特征。(步骤S24)
于对正至该人脸特征后,基于该人脸特征的位置控制该对焦式摄影机的焦段至一适当距离,藉以局部放大影像中的该人脸特征。(步骤S25)
基于该人脸特征的位置控制该对焦式摄影机对焦至该人脸特征并设定对应该人脸特征设定脸部搜寻框持续追踪。(步骤S26)
藉由该控制指令触发并连续撷取该人脸特征的特定动作信息。(步骤S27)
其中,步骤S27所述藉由该控制指令触发并连续撷取该人脸特征的特定动作信息可包含有以下几种具体实施方式。
如图11A所示,可藉由侦测人脸特征的脸部摆动信息藉以与第一预设信息进行比对:
首先,侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息(步骤S271A);基于该鼻孔位置信息来判断该脸部是否转动,藉此而获得一脸部摆动信息。(步骤S272A)
如图11B所示,可藉由侦测人脸特征的眼部动作信息藉以与第二预设信息进行比对:
侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息;(步骤S271B)基于该鼻孔位置信息预估一眼部搜寻框,藉以在该眼部搜寻框内侦测眼部对象的动作,藉此而获得一眼部动作信息。(步骤S272B)
如图11C所示,可藉由侦测人脸特征的嘴部动作信息藉以与第三预设信息进行比对:
侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息;(步骤S271C)基于该鼻孔位置信息预估一嘴部搜寻框,藉以在该嘴部搜寻框内侦测嘴部对象的动作,藉此而获得一嘴部动作信息。(步骤S272C)
于获得该特定动作信息或藉由该特定动作信息所组成的代码后,将该特定动作信息与一预设信息(如前述的第一预设信息、第二预设信息、第三预设信息)进行比对,确认该特定动作信息是否符合该预设信息。(步骤S28)
于确认该特定动作信息符合该预设信息时触发一求救讯号传送至后台中心,藉此提示后台中心被摄者发出一求救讯息(步骤S29),若不符合,则回到步骤S27重复撷取该人脸特征的特定动作信息,直至该被摄者面向其它方向或是离开对焦式摄影机的可视范围。
本发明中所述方法步骤亦可作为一种软件程序实施,用以储存于光盘片、硬盘、半导体记忆装置等计算机可读取记录媒体,并藉由该计算机可读取记录媒体载置于电子装置上为该电子装置或电子设备所存取使用。具体而言,该电子装置、电子设备可以为监视器、保全系统、中央控制系统、后台中心系统等。
综上所述,本发明可藉由摄影机主动抓取使用者的脸部,藉由捕捉脸部的特定动作判断使用者的状况,得以在不被察觉的情况下输入紧急救援讯息。再者,本发明无须配置实体保全键,可省去多余的配线或传输单元,此外,本发明亦可结合于室内或户外的监视器,可更广泛地配置于生活周遭,减少治安死角。
以上已将本发明做一详细说明,但以上所述,仅为本发明一较佳实施例而已,当不能以此限定本发明实施范围,即凡依本发明权利要求书所作均等变化与修饰,皆应仍属本发明专利涵盖范围内。

Claims (14)

1.一种远距离脸部监控系统,其特征在于包含有:
一对焦式摄影机,用以拍摄一预设环境;
一处理单元,用以加载并执行以下程序:
一人脸侦测模块,由该预设环境的影像,侦测影像中的人脸特征,并经一预设时间内,触发一控制指令;以及
一脸部动作辨识模块,于接受到该控制指令时连续撷取该人脸特征的特定动作信息,并于该特定动作信息符合一预设信息时触发一求救讯号传送至后台中心。
2.根据权利要求1所述的远距离脸部监控系统,其特征在于,该处理单元用以加载并执行以下程序:
一人脸对焦模块,由该预设环境的影像中搜寻人脸特征,并基于该人脸特征的位置控制该对焦式摄影机对焦至该人脸特征并设定脸部搜寻框持续追踪。
3.根据权利要求1所述的远距离脸部监控系统,其特征在于,该处理单元用以加载并执行以下程序:
一焦段调整模块,由该预设环境的影像中搜寻人脸特征,并基于该人脸特征的位置控制该对焦式摄影机的焦段至一适当距离,藉以局部放大影像中的该人脸特征。
4.根据权利要求1所述的远距离脸部监控系统,其特征在于,更进一步包含有一乘载该对焦式摄影机的多轴旋转机构,用以控制该对焦式摄影机至少朝旋转轴及倾斜轴的方向转动,该处理单元用以加载并执行以下程序:
一人脸追踪模块,由该预设环境的影像中搜寻人脸特征,并于接收到该控制指令时启动一人脸追踪程序,用以控制该多轴旋转机构使对焦式摄影机的摄像方向对正至该人脸特征。
5.根据权利要求1至4中任一项所述的远距离脸部监控系统,其特征在于,所述脸部动作辨识模块包含有:
一脸部摆动侦测次模块,用以侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息,并基于该鼻孔位置信息来判断该脸部是否转动,藉此而获得一脸部摆动信息;以及
一代码比对模块,比对该脸部摆动信息与一第一预设信息,并于该脸部摆动信息符合该第一预设信息时,触发该求救讯号。
6.根据权利要求1至4中任一项所述的远距离脸部监控系统,其特征在于,所述脸部动作辨识模块包含有:
一眼部动作侦测次模块,用以侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息,基于该鼻孔位置信息预估一眼部搜寻框,以在该眼部搜寻框内侦测眼部对象的动作,藉此而获得一眼部动作信息;以及
一代码比对模块,比对该眼部动作信息与一第二预设信息,并于该眼部动作信息符合该第二预设信息时,触发该求救讯号。
7.根据权利要求1至4中任一项所述的远距离脸部监控系统,其特征在于,所述的脸部动作辨识模块包含有:
一嘴部动作侦测次模块,用以侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息,基于该鼻孔位置信息预估一嘴部搜寻框,以在该嘴部搜寻框内侦测嘴部对象的动作,藉此而获得一嘴部动作信息;以及
一代码比对模块,比对该嘴部动作信息与一第三预设信息,并于该嘴部动作信息符合该第三预设信息时,触发该求救讯号;
其中该嘴部动作信息包括该嘴部对象的一张阖次数、一张阖频率及一对应唇语的口型变化。
8.一种远距离脸部监控方法,其特征在于包含有:
拍摄一预设环境的影像;
由该预设环境的影像,侦测影像中的人脸特征,并经一预设时间内,触发一控制指令;
藉由该控制指令触发并连续撷取该人脸特征的特定动作信息;以及
比对该特定动作信息以及一预设信息,并于该特定动作信息符合该预设信息时触发一求救讯号传送至后台中心。
9.根据权利要求8所述的远距离脸部监控方法,其特征在于,于接收到该控制指令时启动一人脸追踪程序,用以控制该多轴旋转机构使对焦式摄影机的摄像方向对正至该人脸特征。
10.根据权利要求8所述的远距离脸部监控方法,其特征在于,于接收到该控制指令时系基于该人脸特征的位置控制该对焦式摄影机的焦段至一适当距离,藉以局部放大该影像中的该人脸特征。
11.根据权利要求8所述的远距离脸部监控方法,其特征在于,于接收到该控制指令时系基于该人脸特征的位置控制该对焦式摄影机对焦至该人脸特征并设定对应该人脸特征设定脸部搜寻框持续追踪。
12.根据权利要求8所述的远距离脸部监控方法,其特征在于,该人脸特征的特定动作信息依据以下步骤取得:
侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息;以及
基于该鼻孔位置信息来判断该脸部是否转动,藉此而获得一脸部摆动信息。
13.根据权利要求8所述的远距离脸部监控方法,其特征在于,该人脸特征的特定动作信息依据以下步骤取得:
侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息;
基于该鼻孔位置信息预估一眼部搜寻框,藉以在该眼部搜寻框内侦测眼部对象的动作,藉此而获得一眼部动作信息。
14.根据权利要求8所述的远距离脸部监控方法,其特征在于,,该人脸特征的特定动作信息系依据以下步骤取得:
侦测该人脸特征的鼻孔区域,而获得一鼻孔位置信息;
基于该鼻孔位置信息预估一嘴部搜寻框,藉以在该嘴部搜寻框内侦测嘴部对象的动作,藉此而获得一嘴部动作信息。
CN201510103291.1A 2014-12-12 2015-03-10 远距离脸部监控系统及其方法 Pending CN106034217A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103143499A TWI533239B (zh) 2014-12-12 2014-12-12 遠距臉部監控系統及其方法、電腦可讀取紀錄媒體、及電腦程式產品
TW103143499 2014-12-12

Publications (1)

Publication Number Publication Date
CN106034217A true CN106034217A (zh) 2016-10-19

Family

ID=56509272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510103291.1A Pending CN106034217A (zh) 2014-12-12 2015-03-10 远距离脸部监控系统及其方法

Country Status (2)

Country Link
CN (1) CN106034217A (zh)
TW (1) TWI533239B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412523A (zh) * 2016-11-04 2017-02-15 四川诚品电子商务有限公司 法院旋转对焦监控系统
CN106407957A (zh) * 2016-11-04 2017-02-15 四川诚品电子商务有限公司 法院影像采集警报装置
CN106507044A (zh) * 2016-11-04 2017-03-15 四川诚品电子商务有限公司 法院内部监控系统
CN106507043A (zh) * 2016-11-04 2017-03-15 四川诚品电子商务有限公司 法院视频监控装置
CN106572334A (zh) * 2016-11-04 2017-04-19 四川诚品电子商务有限公司 法院视频采集警报系统
CN106778463A (zh) * 2016-11-04 2017-05-31 四川诚品电子商务有限公司 法院指纹采集旋转对焦监控系统
CN110555331A (zh) * 2018-05-30 2019-12-10 苏州乐轩科技有限公司 脸部辨识系统与方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168565B (zh) * 2017-01-23 2024-01-05 高通股份有限公司 低功率虹膜扫描初始化

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102097003A (zh) * 2010-12-31 2011-06-15 北京星河易达科技有限公司 基于人况识别的智能交通安全系统
CN202472863U (zh) * 2010-12-31 2012-10-03 北京星河易达科技有限公司 基于图像信息综合评判的驾驶员疲劳监测网络系统
CN102929903A (zh) * 2012-07-04 2013-02-13 北京中盾安全技术开发公司 一种基于视频信息分层结构化描述的快速视频检索方法
CN203630821U (zh) * 2013-12-23 2014-06-04 中国人民解放军国防科学技术大学 基于物联网的老人关怀系统
CN104238732A (zh) * 2013-06-24 2014-12-24 由田新技股份有限公司 侦测脸部动作以产生讯号的装置、方法以及计算机可读取纪录媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102097003A (zh) * 2010-12-31 2011-06-15 北京星河易达科技有限公司 基于人况识别的智能交通安全系统
CN202472863U (zh) * 2010-12-31 2012-10-03 北京星河易达科技有限公司 基于图像信息综合评判的驾驶员疲劳监测网络系统
CN102929903A (zh) * 2012-07-04 2013-02-13 北京中盾安全技术开发公司 一种基于视频信息分层结构化描述的快速视频检索方法
CN104238732A (zh) * 2013-06-24 2014-12-24 由田新技股份有限公司 侦测脸部动作以产生讯号的装置、方法以及计算机可读取纪录媒体
CN203630821U (zh) * 2013-12-23 2014-06-04 中国人民解放军国防科学技术大学 基于物联网的老人关怀系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412523A (zh) * 2016-11-04 2017-02-15 四川诚品电子商务有限公司 法院旋转对焦监控系统
CN106407957A (zh) * 2016-11-04 2017-02-15 四川诚品电子商务有限公司 法院影像采集警报装置
CN106507044A (zh) * 2016-11-04 2017-03-15 四川诚品电子商务有限公司 法院内部监控系统
CN106507043A (zh) * 2016-11-04 2017-03-15 四川诚品电子商务有限公司 法院视频监控装置
CN106572334A (zh) * 2016-11-04 2017-04-19 四川诚品电子商务有限公司 法院视频采集警报系统
CN106778463A (zh) * 2016-11-04 2017-05-31 四川诚品电子商务有限公司 法院指纹采集旋转对焦监控系统
CN110555331A (zh) * 2018-05-30 2019-12-10 苏州乐轩科技有限公司 脸部辨识系统与方法
CN110555331B (zh) * 2018-05-30 2022-04-15 苏州乐轩科技有限公司 脸部辨识系统与方法

Also Published As

Publication number Publication date
TW201621759A (zh) 2016-06-16
TWI533239B (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN106034217A (zh) 远距离脸部监控系统及其方法
US8036425B2 (en) Neural network-controlled automatic tracking and recognizing system and method
CN101465033B (zh) 一种自动追踪识别系统及方法
US8754945B2 (en) Image capturing device and motion tracking method
US20220406065A1 (en) Tracking system capable of tracking a movement path of an object
KR101164228B1 (ko) 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법
US11798306B2 (en) Devices, methods, and systems for occupancy detection
CN101635834A (zh) 类神经控制自动追踪识别系统
CN107645652A (zh) 一种基于视频监控的非法越界报警系统
KR101858396B1 (ko) 지능형 침입 탐지 시스템
CN101689325A (zh) 监视系统及监视方法
CN102196240B (zh) 摄像装置及利用其动态侦测监控对象的方法
US10719717B2 (en) Scan face of video feed
KR102580434B1 (ko) 위험 상황 감지 장치 및 위험 상황 감지 방법
RU2268497C2 (ru) Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций
CN205356524U (zh) 基于身份识别的智能电子猫眼系统
US20230040456A1 (en) Authentication system, authentication method, and storage medium
JP2019219721A (ja) 入退室認証システムおよび入退室認証方法
KR20230051848A (ko) 위험 영역의 안전사고 예방을 위한 시스템 및 시스템의 동작 방법
CN201698506U (zh) 基于人像生物识别技术的考生人像身份验证系统
TWI631480B (zh) 具備臉部辨識之門禁系統
KR20230051851A (ko) 안전사고 예방을 위한 관제 시스템 및 시스템의 동작 방법
KR102647328B1 (ko) 엣지형 감시카메라 ai 이상상황 탐지제어장치 및 방법
CN106572324A (zh) 一种节能型智能监控装置
JP2009140407A (ja) 通過者監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161019