CN108268825A - 基于移动云台的三维人脸跟踪及表情识别系统 - Google Patents

基于移动云台的三维人脸跟踪及表情识别系统 Download PDF

Info

Publication number
CN108268825A
CN108268825A CN201611267241.8A CN201611267241A CN108268825A CN 108268825 A CN108268825 A CN 108268825A CN 201611267241 A CN201611267241 A CN 201611267241A CN 108268825 A CN108268825 A CN 108268825A
Authority
CN
China
Prior art keywords
module
face
image
expression recognition
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611267241.8A
Other languages
English (en)
Inventor
钟鸿飞
覃争鸣
杨旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Original Assignee
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou filed Critical Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority to CN201611267241.8A priority Critical patent/CN108268825A/zh
Publication of CN108268825A publication Critical patent/CN108268825A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明提出一种基于移动云台的三维人脸跟踪及表情识别系统，系统包括：数据采集模块、电机伺服控制系统和软件功能模块。所述数据采集模块包括两个摄像头、图像采集卡；所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块。本发明方案采用两个摄像头捕获左右图像，使用人脸检测、特征匹配实现对人脸区域的三维世界坐标准确定位，从而计算出云台舵机需要移动的角度，保证了全方位无死角的人脸跟踪和表情识别。

Description

基于移动云台的三维人脸跟踪及表情识别系统
技术领域
本发明涉及人机交互领域，具体涉及一种基于移动云台的三维人脸跟踪及表情识别系统。
背景技术
人脸表情不仅在人与人的交流中发挥着重要的作用，而且是使计算机能够更准确地理解人类表情所表达的意图，实现人机交互的一个重要研究内容。
现有的人脸跟踪及表情识别系统大多是针对固定摄像头的视频，使用人脸检测技术和表情识别技术进行人脸跟踪和识别，然而这种类型的系统受限于摄像头的角度和位置，无法获取到正面的人脸表情图像或视频，从而导致识别错误。此外，人脸检测系统往往采用单摄像头进行跟踪，单摄像头难以实现人脸区域的三维位置定位，只能在二维平面内实现定位，对于远处走来的人往往容易丢失跟踪区域。
发明内容
本发明目的在于克服现有技术的不足，尤其解决现有人脸跟踪及表情识别系统中，受限于摄像头的角度和位置，无法获取到正面的人脸表情图像或视频，从而导致识别错误；以及采用单摄像头进行跟踪，单摄像头难以实现人脸区域的三维位置定位，只能在二维平面内实现定位，对于远处走来的人往往容易丢失跟踪区域的问题。
为解决上述技术问题，本发明提出一种基于移动云台的三维人脸跟踪及表情识别系统，系统包括：数据采集模块、电机伺服控制系统和软件功能模块，其中：
所述数据采集模块包括两个摄像头、图像采集卡；所述摄像头连接于图像采集卡，用于捕获行人视频；所述图像采集卡用于发送指令至摄像头，用于开启、关闭摄像头以及设置摄像头参数，并将捕获视频传输至软件功能模块；
所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述舵机云台连接于步进电机，用于实现摄像头的旋转；所述摄像头位于舵机云台上；所述步进电机连接于运动控制卡，所述运动控制卡连接于软件功能模块，用于控制步进电机动作从而实现云台运动；
所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块；所述图像预处理模块接收来自数据采集模块的视频数据，经过处理后发送至人脸检测模块；所述人脸检测模块使用注意力选择算法快速检测人脸，并将人脸区域发送至人脸跟踪模块和表情识别模块；所述表情识别模块使用分类器对人脸区域的表情特征进行分类，得到表情类别；所述人脸跟踪模块使用特征匹配方法计算左右摄像头图像的视差，计算出人脸的三维坐标，将人脸区域始终定位到左图像的中心，从而计算得到云台需要转动的角度，实现人脸区域的跟踪。
进一步地，所述左侧摄像头位于左侧舵机云台上，右侧摄像头位于右侧舵机云台上；
进一步地，所述图像预处理模块包括：图像灰度化、图像均衡化、图像二值化操作；
进一步地，所述人脸跟踪模块，使用SIFT特征计算左右摄像头图像的视差。
本发明与现有技术相比具有以下的有益效果：
本发明方案采用两个摄像头捕获左右图像，使用人脸检测、特征匹配实现对人脸区域的三维世界坐标准确定位，从而计算出云台舵机需要移动的角度，保证了全方位无死角的人脸跟踪和表情识别。
附图说明
图1为本发明基于移动云台的三维人脸跟踪及表情识别系统的一个实施例的结构图。
图2为本发明实施例的云台运动角度的示意图。
具体实施方式
下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。
参见图1，一种基于移动云台的三维人脸跟踪及表情识别系统，系统包括：数据采集模块、电机伺服控制系统和软件功能模块，其中：
所述数据采集模块包括两个摄像头、图像采集卡；所述摄像头连接于图像采集卡，用于捕获行人视频；所述图像采集卡用于发送指令至摄像头，用于开启、关闭摄像头以及设置摄像头参数，并将捕获视频传输至软件功能模块；
所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述舵机云台连接于步进电机，用于实现摄像头的旋转；所述摄像头位于舵机云台上；所述步进电机连接于运动控制卡，所述运动控制卡连接于软件功能模块，用于控制步进电机动作从而实现云台运动；
所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块；所述图像预处理模块接收来自数据采集模块的视频数据，经过处理后发送至人脸检测模块；所述人脸检测模块使用注意力选择算法快速检测人脸，并将人脸区域发送至人脸跟踪模块和表情识别模块；所述表情识别模块使用分类器对人脸区域的表情特征进行分类，得到表情类别；所述人脸跟踪模块使用特征匹配方法计算左右摄像头图像的视差，计算出人脸的三维坐标，将人脸区域始终定位到左图像的中心，从而计算得到云台需要转动的角度，实现人脸区域的跟踪。其中：
所述图像预处理模块首先对获取得到左右图像先做图像灰度化操作，该操作是将彩色图像转换为只有一个灰度信息的灰度图像；然后将图像进行均衡化，其目的在于拉伸灰度图像的对比度，使得人脸图像对比明显；最后将图像进行二值化操作，则图像中只存在黑白两色，大大减少了颜色信息，提升计算性能。
所述人脸检测模块在注意力选择算法给定的区域下进行人脸检测，在每一帧视频图像中检测是否存在人脸，以及一共包含人脸的个数和人脸中心区域坐标，用人脸检测算法得到人脸目标直接来指导注意力，减少对下一帧图像的检测时间；在使用人脸检测分类器之前需要先使用大量的人脸样本图片和非人脸样本图片进行分类器训练。
所述表情识别模块是在人脸区域图像经过图像预处理模块处理后动态实时完成表情识别并输出识别结果，人脸表情特征提取算法的优劣直接关系系统的性能，所以特征提取算法的选择非常重要。为了使系统能够达到所用特征提取算法的最佳性能，在分类器与特征提取算法之间建立一个反馈联系，这样通过分类器的输出结果所产生的参数调整信息就可以反馈给特征提取模块以调整算法参数。不同的算法通过表情识别模块将训练出不同的表情分类器，本实施例中表情识别模块采用小波变换提取人脸表情特征。
所述人脸跟踪模块首先提取出左右图像的SIFT特征，然后通过特征匹配得到左右图像的对准点，计算出左右图像的视差，再计算出人脸三维位置P(x,y,z)。
参见图2，所述云台跟踪模块得到人脸三维位置P(x,y,z)以及原人脸三维位置P(x1,y1,z1)，根据下式计算出云台的俯角Tilt，云台水平运动的角度Pan以及两个摄像头与目标之间的夹角称为Vergence：
其中，B为两个摄像头间的距离长度。

Claims (4)

1.一种基于移动云台的三维人脸跟踪及表情识别系统，其特征在于，系统包括：数据采集模块、电机伺服控制系统和软件功能模块，其中：
所述数据采集模块包括两个摄像头、图像采集卡；所述摄像头连接于图像采集卡，用于捕获行人视频；所述图像采集卡用于发送指令至摄像头，用于开启、关闭摄像头以及设置摄像头参数，并将捕获视频传输至软件功能模块；
所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述舵机云台连接于步进电机，用于实现摄像头的旋转；所述摄像头位于舵机云台上；所述步进电机连接于运动控制卡，所述运动控制卡连接于软件功能模块，用于控制步进电机动作从而实现云台运动；
所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块；所述图像预处理模块接收来自数据采集模块的视频数据，经过处理后发送至人脸检测模块；所述人脸检测模块使用注意力选择算法快速检测人脸，并将人脸区域发送至人脸跟踪模块和表情识别模块；所述表情识别模块使用分类器对人脸区域的表情特征进行分类，得到表情类别；所述人脸跟踪模块使用特征匹配方法计算左右摄像头图像的视差，计算出人脸的三维坐标，将人脸区域始终定位到左图像的中心，从而计算得到云台需要转动的角度，实现人脸区域的跟踪。
2.根据权利要求1所述的一种基于移动云台的三维人脸跟踪及表情识别系统，其特征在于，所述左侧摄像头位于左侧舵机云台上，右侧摄像头位于右侧舵机云台上。
3.根据权利要求1所述的一种基于移动云台的三维人脸跟踪及表情识别系统，所述所述图像预处理模块包括：图像灰度化、图像均衡化、图像二值化操作。
4.根据权利要求1所述的一种基于移动云台的三维人脸跟踪及表情识别系统，其特征在于，所述人脸跟踪模块，使用SIFT特征计算左右摄像头图像的视差。
CN201611267241.8A 2016-12-31 2016-12-31 基于移动云台的三维人脸跟踪及表情识别系统 Pending CN108268825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611267241.8A CN108268825A (zh) 2016-12-31 2016-12-31 基于移动云台的三维人脸跟踪及表情识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611267241.8A CN108268825A (zh) 2016-12-31 2016-12-31 基于移动云台的三维人脸跟踪及表情识别系统

Publications (1)

Publication Number Publication Date
CN108268825A true CN108268825A (zh) 2018-07-10

Family

ID=62771071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611267241.8A Pending CN108268825A (zh) 2016-12-31 2016-12-31 基于移动云台的三维人脸跟踪及表情识别系统

Country Status (1)

Country Link
CN (1) CN108268825A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461169A (zh) * 2018-10-22 2019-03-12 同济大学 一种用于人脸追踪和人体定位的系统及方法
CN110096057A (zh) * 2019-04-10 2019-08-06 广东工业大学 一种智能搬运小车控制系统
CN110099254A (zh) * 2019-05-21 2019-08-06 浙江师范大学 一种驾驶员人脸跟踪装置及方法
CN110244775A (zh) * 2019-04-29 2019-09-17 广州市景沃电子有限公司 基于移动设备夹持云台的自动跟踪方法及装置
CN110414314A (zh) * 2019-06-11 2019-11-05 汉腾汽车有限公司 一种可进行人脸跟踪识别的摄像头结构及系统
CN111385530A (zh) * 2018-12-29 2020-07-07 杭州登虹科技有限公司 一种智能摄像机组合加密方法及系统
CN112869742A (zh) * 2021-01-11 2021-06-01 金纪高科智能科技(北京)有限公司 一种基于视频算法的实时监测预警系统及方法
CN113076915A (zh) * 2021-04-19 2021-07-06 北京交通大学 一种机器学习的人脸识别装置
CN114257742A (zh) * 2021-12-15 2022-03-29 惠州视维新技术有限公司 云台摄像头的控制方法、存储介质及云台摄像头
CN114257742B (zh) * 2021-12-15 2024-05-03 惠州视维新技术有限公司 云台摄像头的控制方法、存储介质及云台摄像头

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461169A (zh) * 2018-10-22 2019-03-12 同济大学 一种用于人脸追踪和人体定位的系统及方法
CN111385530B (zh) * 2018-12-29 2022-02-18 杭州登虹科技有限公司 一种智能摄像机组合加密方法及系统
CN111385530A (zh) * 2018-12-29 2020-07-07 杭州登虹科技有限公司 一种智能摄像机组合加密方法及系统
CN110096057A (zh) * 2019-04-10 2019-08-06 广东工业大学 一种智能搬运小车控制系统
CN110244775A (zh) * 2019-04-29 2019-09-17 广州市景沃电子有限公司 基于移动设备夹持云台的自动跟踪方法及装置
CN110099254A (zh) * 2019-05-21 2019-08-06 浙江师范大学 一种驾驶员人脸跟踪装置及方法
CN110099254B (zh) * 2019-05-21 2023-08-25 浙江师范大学 一种驾驶员人脸跟踪装置及方法
CN110414314A (zh) * 2019-06-11 2019-11-05 汉腾汽车有限公司 一种可进行人脸跟踪识别的摄像头结构及系统
CN112869742A (zh) * 2021-01-11 2021-06-01 金纪高科智能科技(北京)有限公司 一种基于视频算法的实时监测预警系统及方法
CN113076915A (zh) * 2021-04-19 2021-07-06 北京交通大学 一种机器学习的人脸识别装置
CN113076915B (zh) * 2021-04-19 2024-02-02 北京交通大学 一种机器学习的人脸识别装置
CN114257742A (zh) * 2021-12-15 2022-03-29 惠州视维新技术有限公司 云台摄像头的控制方法、存储介质及云台摄像头
CN114257742B (zh) * 2021-12-15 2024-05-03 惠州视维新技术有限公司 云台摄像头的控制方法、存储介质及云台摄像头

Similar Documents

Publication Publication Date Title
CN108268825A (zh) 基于移动云台的三维人脸跟踪及表情识别系统
CN108229362B (zh) 一种基于门禁系统的双目人脸识别活体检测方法
Shao et al. Deep convolutional dynamic texture learning with adaptive channel-discriminability for 3D mask face anti-spoofing
CN107403168B (zh) 一种面部识别系统
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
CN105574518B (zh) 人脸活体检测的方法和装置
CN108764058B (zh) 一种基于热成像效应的双摄像头人脸活体检测方法
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
WO2019056988A1 (zh) 人脸识别方法及装置、计算机设备
CN108111818A (zh) 基于多摄像机协同的运动目标主动感知方法和装置
Li et al. Yawning detection for monitoring driver fatigue based on two cameras
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
CN103577815A (zh) 一种人脸对齐方法和系统
CN104317385A (zh) 一种手势识别方法和系统
CN111967319B (zh) 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN110647782A (zh) 三维人脸重建与多姿态人脸识别方法及装置
JP2014116716A (ja) 追尾装置
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
CN106682591B (zh) 人脸识别方法及装置
Li et al. An efficient face normalization algorithm based on eyes detection
Chen et al. 3d face mask anti-spoofing via deep fusion of dynamic texture and shape clues
Chen et al. Face deduplication in video surveillance
Ma et al. Personal identification based on finger vein and contour point clouds matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180710

WD01 Invention patent application deemed withdrawn after publication