CN105590106A - 一种新型人脸3d表情动作识别系统 - Google Patents

一种新型人脸3d表情动作识别系统 Download PDF

Info

Publication number
CN105590106A
CN105590106A CN201610040871.5A CN201610040871A CN105590106A CN 105590106 A CN105590106 A CN 105590106A CN 201610040871 A CN201610040871 A CN 201610040871A CN 105590106 A CN105590106 A CN 105590106A
Authority
CN
China
Prior art keywords
video camera
camera
recognition system
face
motion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610040871.5A
Other languages
English (en)
Other versions
CN105590106B (zh
Inventor
吕盼稂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEFEI JUNDA HI-TECH INFORMATION TECHNOLOGY Co Ltd
Original Assignee
HEFEI JUNDA HI-TECH INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HEFEI JUNDA HI-TECH INFORMATION TECHNOLOGY Co Ltd filed Critical HEFEI JUNDA HI-TECH INFORMATION TECHNOLOGY Co Ltd
Priority to CN201610040871.5A priority Critical patent/CN105590106B/zh
Publication of CN105590106A publication Critical patent/CN105590106A/zh
Application granted granted Critical
Publication of CN105590106B publication Critical patent/CN105590106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for recognising patterns
    • G06K9/62Methods or arrangements for pattern recognition using electronic means
    • G06K9/6288Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements

Abstract

一种新型人脸3D表情动作识别系统,包括有用于投影网格的高频投影仪,用于记录网格投影在人脸上时形变的摄像机,用于记录网格形变信息的信息存储模块以及用于将形变信息进行比对的比对模块;摄像机分别连接比对模块与信息存储模块,比对模块与信息存储模块连接。本发明的人脸识别系统就可以免除对光线的要求,即使在暗黑环境下也可使用;当关闭投影仪时,可以通过高速摄像机连接的显示终端观察拍摄到的人脸高清图像,观察人脸的微表情,可以达到充当测谎仪的目的。

Description

一种新型人脸3D表情动作识别系统
技术领域
[0001]本发明涉及人脸表情动作识别领域,尤其是一种识别准确率高、可以识别三维动作的人脸3D表情动作识别系统。
背景技术
[0002]表情识别技术有诸多的应用,例如应用在人机交互技术中。
[0003]人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等,人通过输入设备给机器输入有关信息及提示请示等,人通过输入设备给机器输入有关信息,回答问题等。
[0004]将表情识别技术应用在人机交互技术中,机器可以得到人更丰富多彩的信息,例如判断人的喜怒哀乐等,进而反馈更多的信息给人。
[0005]表情识别技术在测谎领域也有非常大的应用,通过识别出人脸的微表情,通过微表情的细微变化,可判断出人是否在撒谎。
发明内容
[0006]本发明主要解决的技术问题在于提供一种尤其是一种识别高效、快捷以及准确率尚的人脸识别系统。
[0007]本发明为解决上述技术问题采用的技术方案为:
[0008] —种新型人脸3D表情动作识别系统,
[0009]包括有用于投影网格的高频投影仪,用于记录网格投影在人脸上时形变的摄像机,用于记录网格形变信息的信息存储模块以及用于将形变信息进行比对的比对模块;
[0010]所述摄像机分别连接比对模块与信息存储模块,所述比对模块与信息存储模块连接。
[0011]进一步地,所述摄像机包括第一摄像机、第二摄像机以及第三摄像机;
[0012]所述投影仪垂直方向设置有第二摄像机,所述第二摄像机摄像头方向与投影仪投影方向相同;
[0013]所述第一摄像机摄像头方向与第二摄像机摄像头方向之间的角度、第三摄像机摄像头方向与第二摄像机摄像头方向之间的角度均为45°。
[0014]进一步地,所述识别系统还包括有用于照明的高频LED灯。
[0015]进一步地,所述高频投影仪的开关频率与LED灯的开关频率相等;所述高频投影仪的开关频率大于200Hz。
[0016]进一步地,所述第一摄像机、第二摄像机以及第三摄像机均为高速摄像机,所述高速摄像机拍摄频率为高频LED灯开关频率的2倍。
[0017]进一步地,所述投影仪为红外投影仪。
[0018]进一步地,所述第一摄像机、第二摄像机以及第三摄像机均连接有显示终端。
[0019]进一步地,所述信息存储模块为数据库服务器。
[0020]本发明的有益效果为:
[0021]高频LED灯与所述高频投影仪交替开关,并且LED灯开通的时间至少是投影仪开通的5倍;在投影仪打开的期间,摄像机的快门打开一次,摄像机拍摄一帧图像;在LED灯打开的期间,摄像机的快门打开一次,摄像拍摄一帧图像。
[0022]摄像机以400帧/秒的速度交替拍摄红外投影仪透射的网格和LED灯照明时普通人脸图像,从网格图像中,可以获取准确的三维模型;从普通人脸图像获得颜色的变化,将两方面的信息融合得到具有三维变形以及颜色变化的人脸表情的完整信息。
附图说明
[0023]图1为本发明的一种具体实施方式的主视图。
[0024]图2为本发明的一种具体实施方式的俯视图。
[0025]图3为本发明的一种具体实施方式的连接图。
[0026]图4为本发明的一种具体实施方式的时序图。
[0027]图中:I为红外投影仪,21为第一摄像机,22为第二摄像机,23为第三摄像机,3为数据库服务器,4为比对模块。
具体实施方式
[0028]请同时参阅图1、图2以及图3,为本发明的一种具体实施方式。
[0029] —种新型人脸识别系统,包括有用于投影网格的投影仪,投影仪为红外投影仪I,投影仪旁设置有摄像机,摄像机分别连接比对模块4与数据库服务器3,比对模块与信息存储模块连接。
[0030]摄像机包括第一摄像机21、第二摄像机22以及第三摄像机23,所述第一摄像机摄像头方向与第二摄像机摄像头方向之间的角度、第三摄像机摄像头方向与第二摄像机摄像头方向之间的角度均为45°,第一摄像机、第二摄像机以及第三摄像机均为高速摄像机,第一摄像机、第二摄像机以及第三摄像机均设置有红外摄像头,第一摄像机、第二摄像机以及第三摄像机均连接有显示终端。
[0031 ]还包括有用于照明的高频LED灯,高频LED灯与投影仪紧挨着放置。
[0032]通过红外投影仪的投影的网格,当这些网格投影到人脸表面时,因为人脸表面器官以及面部的凹凸不平,网格会发生相应的扭曲形变,而且因为人脸的不同,相应的网格扭曲形变的程度也不相同,再通过三个镜头方向分别成45°放置的高速摄像机的拍摄,记录这些在人脸上变化的网格,再取实现存储在数据库服务器中的事先记录的每个人的网格数据通过比对模块进行比对,就可相应的确定人的身份,完成人脸识别。
[0033]通过采用红外投影仪,再通过带有红外摄像头的高速摄像机,本发明的人脸识别系统就可以免除对光线的要求,即使在暗黑环境下也可使用。
[0034]请参阅图4,为高频LED灯、高频投影仪以及摄像机快门的时序图,高频LED灯与所述高频投影仪交替开关,并且LED灯开通的时间至少是投影仪开通的5倍;在投影仪打开的期间,摄像机的快门打开一次,摄像机拍摄一帧图像;在LED灯打开的期间,摄像机的快门打开一次,摄像拍摄一帧图像。
[0035]摄像机以400帧/秒的速度交替拍摄红外投影仪透射的网格和LED灯照明时普通人脸图像,从网格图像中,可以获取准确的三维模型;从普通人脸图像获得颜色的变化,将两方面的信息融合得到具有三维变形以及颜色变化的人脸表情的完整信息。
[0036]表情变化的3D视频可以慢速回放,供分析人员从中获取人脸的细微变化,识别被测试对象是否有说谎。

Claims (8)

1.一种新型人脸3D表情动作识别系统,其特征在于: 包括有用于投影网格的高频投影仪,用于记录网格投影在人脸上时形变的摄像机,用于记录网格形变信息的信息存储模块以及用于将形变信息进行比对的比对模块; 所述摄像机分别连接比对模块与信息存储模块,所述比对模块与信息存储模块连接。
2.根据权利要求1所述的新型人脸3D表情动作识别系统,其特征在于: 所述摄像机包括第一摄像机、第二摄像机以及第三摄像机; 所述投影仪垂直方向设置有第二摄像机,所述第二摄像机摄像头方向与投影仪投影方向相同; 所述第一摄像机摄像头方向与第二摄像机摄像头方向之间的角度、第三摄像机摄像头方向与第二摄像机摄像头方向之间的角度均为45°。
3.根据权利要求1所述的新型人脸3D表情动作识别系统,其特征在于:所述识别系统还包括有用于照明的高频LED灯。
4.根据权利要求1所述的新型人脸3D表情动作识别系统,其特征在于: 所述高频投影仪的开关频率与LED灯的开关频率相等;所述高频投影仪的开关频率大于200Hz0
5.根据权利要求2所述的新型人脸3D表情动作识别系统,其特征在于:所述第一摄像机、第二摄像机以及第三摄像机均为高速摄像机,所述高速摄像机拍摄频率为高频LED灯开关频率的2倍。
6.根据权利要求1所述的新型人脸3D表情动作识别系统,其特征在于:所述投影仪为红外投影仪。
7.根据权利要求1所述的新型人脸3D表情动作识别系统,其特征在于:所述第一摄像机、第二摄像机以及第三摄像机均连接有显示终端。
8.根据权利要求1所述的新型人脸3D表情动作识别系统,其特征在于:所述信息存储模块为数据库服务器。
CN201610040871.5A 2016-01-21 2016-01-21 一种新型人脸3d表情动作识别系统 Active CN105590106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610040871.5A CN105590106B (zh) 2016-01-21 2016-01-21 一种新型人脸3d表情动作识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610040871.5A CN105590106B (zh) 2016-01-21 2016-01-21 一种新型人脸3d表情动作识别系统

Publications (2)

Publication Number Publication Date
CN105590106A true CN105590106A (zh) 2016-05-18
CN105590106B CN105590106B (zh) 2019-04-30

Family

ID=55929676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610040871.5A Active CN105590106B (zh) 2016-01-21 2016-01-21 一种新型人脸3d表情动作识别系统

Country Status (1)

Country Link
CN (1) CN105590106B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127122A (zh) * 2016-06-16 2016-11-16 厦门道拓科技有限公司 基于面部动作识别的头像检测方法、系统及智能终端
CN108646920A (zh) * 2018-05-16 2018-10-12 Oppo广东移动通信有限公司 识别交互方法、装置、存储介质及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1627317A (zh) * 2003-12-12 2005-06-15 北京阳光奥森科技有限公司 利用主动光源获取人脸图像的方法
CN1967564A (zh) * 2005-11-17 2007-05-23 中华电信股份有限公司 应用于设定环境下人脸侦测及辨识之方法与装置
CN101814130A (zh) * 2009-02-19 2010-08-25 中国科学院自动化研究所 用摄像机阵列的虹膜识别装置和多模态生物特征识别方法
US20120281874A1 (en) * 2011-05-05 2012-11-08 Lure Yuan-Ming F Method, material, and apparatus to improve acquisition of human frontal face images using image template
CN103971131A (zh) * 2014-05-13 2014-08-06 华为技术有限公司 一种预设表情识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1627317A (zh) * 2003-12-12 2005-06-15 北京阳光奥森科技有限公司 利用主动光源获取人脸图像的方法
CN1967564A (zh) * 2005-11-17 2007-05-23 中华电信股份有限公司 应用于设定环境下人脸侦测及辨识之方法与装置
CN101814130A (zh) * 2009-02-19 2010-08-25 中国科学院自动化研究所 用摄像机阵列的虹膜识别装置和多模态生物特征识别方法
US20120281874A1 (en) * 2011-05-05 2012-11-08 Lure Yuan-Ming F Method, material, and apparatus to improve acquisition of human frontal face images using image template
CN103971131A (zh) * 2014-05-13 2014-08-06 华为技术有限公司 一种预设表情识别方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127122A (zh) * 2016-06-16 2016-11-16 厦门道拓科技有限公司 基于面部动作识别的头像检测方法、系统及智能终端
CN108646920A (zh) * 2018-05-16 2018-10-12 Oppo广东移动通信有限公司 识别交互方法、装置、存储介质及终端设备

Also Published As

Publication number Publication date
CN105590106B (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
US10536661B2 (en) Tracking object of interest in an omnidirectional video
CN109345556B (zh) 用于混合现实的神经网络前景分离
CN105765964A (zh) 基于发言人位置移动摄像机聚焦
US20170134714A1 (en) Device and method for creating videoclips from omnidirectional video
US20170054972A1 (en) Method and apparatus for presenting 3d scene
US20190129174A1 (en) Multi-perspective eye-tracking for vr/ar systems
DE112016006066T5 (de) Analyse von umgebungslicht zur blickverfolgung
WO2019019403A1 (zh) 一种用于k12阶段的互动情景教学系统
CN110113526A (zh) 处理方法、处理装置和电子设备
CN110674664A (zh) 视觉注意力的识别方法及系统、存储介质、处理器
CN105590106A (zh) 一种新型人脸3d表情动作识别系统
CN102117007A (zh) 获得3d信息的装置、驱动其光源的方法、和获得3d信息的系统
CN111954024A (zh) 录课直播方法及系统
CN111144356B (zh) 一种远程教学的教师视线跟随方法及装置
CN205486164U (zh) 一种新型人脸3d表情动作识别系统
CN102740029A (zh) Led显示模组、led电视及led电视系统
Reimat et al. CWIPC-SXR: Point Cloud dynamic human dataset for Social XR
CN104506827B (zh) 具有人体跟踪功能的互动视觉拍摄装置
KR101554574B1 (ko) 투명 칠판을 이용한 강의 동영상의 녹화 시스템 및 방법
TWI622901B (zh) 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體
Sato et al. Sensing and controlling human gaze in daily living space for human-harmonized information environments
Ozeki et al. Human behavior recognition for an intelligent video production system
US20220246113A1 (en) Systems and Methods for Improved Production and Presentation of Video Content
CN113141502B (zh) 头戴式显示设备的摄像控制方法、装置及头戴式显示设备
US11375179B1 (en) Integrated display rendering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 230088 Room 107, Building 3, Tiandao 10 Software Park, Hefei High-tech Zone, Anhui Province

Applicant after: Hefei Fuhuang Junda high tech Information Technology Co Ltd

Address before: 230088 Room 334, Building 1, International Student Park, No. 1 Tianyuan Road, Hefei High-tech Zone, Anhui Province

Applicant before: Hefei Junda Hi-Tech Information Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant