CN105590106B - 一种新型人脸3d表情动作识别系统 - Google Patents

一种新型人脸3d表情动作识别系统 Download PDF

Info

Publication number
CN105590106B
CN105590106B CN201610040871.5A CN201610040871A CN105590106B CN 105590106 B CN105590106 B CN 105590106B CN 201610040871 A CN201610040871 A CN 201610040871A CN 105590106 B CN105590106 B CN 105590106B
Authority
CN
China
Prior art keywords
video camera
camera
projector
face
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610040871.5A
Other languages
English (en)
Other versions
CN105590106A (zh
Inventor
吕盼稂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Junda Vision Technology Co ltd
Original Assignee
Hefei Fuhuang Junda High Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Fuhuang Junda High Tech Information Technology Co Ltd filed Critical Hefei Fuhuang Junda High Tech Information Technology Co Ltd
Priority to CN201610040871.5A priority Critical patent/CN105590106B/zh
Publication of CN105590106A publication Critical patent/CN105590106A/zh
Application granted granted Critical
Publication of CN105590106B publication Critical patent/CN105590106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Abstract

一种新型人脸3D表情动作识别系统，包括有用于投影网格的高频投影仪，用于记录网格投影在人脸上时形变的摄像机，用于记录网格形变信息的信息存储模块以及用于将形变信息进行比对的比对模块；摄像机分别连接比对模块与信息存储模块，比对模块与信息存储模块连接。本发明的人脸识别系统就可以免除对光线的要求，即使在暗黑环境下也可使用；当关闭投影仪时，可以通过高速摄像机连接的显示终端观察拍摄到的人脸高清图像，观察人脸的微表情，可以达到充当测谎仪的目的。

Description

一种新型人脸3D表情动作识别系统
技术领域
本发明涉及人脸表情动作识别领域，尤其是一种识别准确率高、可以识别三维动作的人脸3D表情动作识别系统。
背景技术
表情识别技术有诸多的应用，例如应用在人机交互技术中。
人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题等。
将表情识别技术应用在人机交互技术中，机器可以得到人更丰富多彩的信息，例如判断人的喜怒哀乐等，进而反馈更多的信息给人。
表情识别技术在测谎领域也有非常大的应用，通过识别出人脸的微表情，通过微表情的细微变化，可判断出人是否在撒谎。
发明内容
本发明主要解决的技术问题在于提供一种尤其是一种识别高效、快捷以及准确率高的人脸识别系统。
本发明为解决上述技术问题采用的技术方案为：
一种新型人脸3D表情动作识别系统，
包括有用于投影网格的高频投影仪，用于记录网格投影在人脸上时形变的摄像机，用于记录网格形变信息的信息存储模块以及用于将形变信息进行比对的比对模块；
所述摄像机分别连接比对模块与信息存储模块，所述比对模块与信息存储模块连接。
进一步地，所述摄像机包括第一摄像机、第二摄像机以及第三摄像机；
所述投影仪垂直方向设置有第二摄像机，所述第二摄像机摄像头方向与投影仪投影方向相同；
所述第一摄像机摄像头方向与第二摄像机摄像头方向之间的角度、第三摄像机摄像头方向与第二摄像机摄像头方向之间的角度均为45°。
进一步地，所述识别系统还包括有用于照明的高频LED灯。
进一步地，所述高频投影仪的开关频率与LED灯的开关频率相等；所述高频投影仪的开关频率大于200Hz。
进一步地，所述第一摄像机、第二摄像机以及第三摄像机均为高速摄像机,所述高速摄像机拍摄频率为高频LED灯开关频率的2倍。
进一步地，所述投影仪为红外投影仪。
进一步地，所述第一摄像机、第二摄像机以及第三摄像机均连接有显示终端。
进一步地，所述信息存储模块为数据库服务器。
本发明的有益效果为：
高频LED灯与所述高频投影仪交替开关，并且LED灯开通的时间至少是投影仪开通的5倍；在投影仪打开的期间，摄像机的快门打开一次,摄像机拍摄一帧图像；在LED灯打开的期间，摄像机的快门打开一次，摄像拍摄一帧图像。
摄像机以400帧/秒的速度交替拍摄红外投影仪透射的网格和LED灯照明时普通人脸图像，从网格图像中，可以获取准确的三维模型；从普通人脸图像获得颜色的变化，将两方面的信息融合得到具有三维变形以及颜色变化的人脸表情的完整信息。
附图说明
图1为本发明的一种具体实施方式的主视图。
图2为本发明的一种具体实施方式的俯视图。
图3为本发明的一种具体实施方式的连接图。
图4为本发明的一种具体实施方式的时序图。
图中：1为红外投影仪，21为第一摄像机，22为第二摄像机，23为第三摄像机，3为数据库服务器，4为比对模块。
具体实施方式
请同时参阅图1、图2以及图3，为本发明的一种具体实施方式。
一种新型人脸识别系统，包括有用于投影网格的投影仪，投影仪为红外投影仪1，投影仪旁设置有摄像机，摄像机分别连接比对模块4与数据库服务器3，比对模块与信息存储模块连接。
摄像机包括第一摄像机21、第二摄像机22以及第三摄像机23，所述第一摄像机摄像头方向与第二摄像机摄像头方向之间的角度、第三摄像机摄像头方向与第二摄像机摄像头方向之间的角度均为45°，第一摄像机、第二摄像机以及第三摄像机均为高速摄像机，第一摄像机、第二摄像机以及第三摄像机均设置有红外摄像头，第一摄像机、第二摄像机以及第三摄像机均连接有显示终端。
还包括有用于照明的高频LED灯，高频LED灯与投影仪紧挨着放置。
通过红外投影仪的投影的网格，当这些网格投影到人脸表面时，因为人脸表面器官以及面部的凹凸不平，网格会发生相应的扭曲形变，而且因为人脸的不同，相应的网格扭曲形变的程度也不相同，再通过三个镜头方向分别成45°放置的高速摄像机的拍摄，记录这些在人脸上变化的网格，再取实现存储在数据库服务器中的事先记录的每个人的网格数据通过比对模块进行比对，就可相应的确定人的身份，完成人脸识别。
通过采用红外投影仪，再通过带有红外摄像头的高速摄像机，本发明的人脸识别系统就可以免除对光线的要求，即使在暗黑环境下也可使用。
请参阅图4，为高频LED灯、高频投影仪以及摄像机快门的时序图，高频LED灯与所述高频投影仪交替开关，并且LED灯开通的时间至少是投影仪开通的5倍；在投影仪打开的期间，摄像机的快门打开一次,摄像机拍摄一帧图像；在LED灯打开的期间，摄像机的快门打开一次，摄像拍摄一帧图像。
摄像机以400帧/秒的速度交替拍摄红外投影仪透射的网格和LED灯照明时普通人脸图像，从网格图像中，可以获取准确的三维模型；从普通人脸图像获得颜色的变化，将两方面的信息融合得到具有三维变形以及颜色变化的人脸表情的完整信息。
表情变化的3D视频可以慢速回放，供分析人员从中获取人脸的细微变化，识别被测试对象是否有说谎。

Claims (4)

1.一种新型人脸3D表情动作识别系统，其特征在于：
包括有用于投影网格的高频投影仪，用于记录网格投影在人脸上时形变的摄像机，用于记录网格形变信息的信息存储模块以及用于将形变信息进行比对的比对模块；
所述摄像机分别连接比对模块与信息存储模块，所述比对模块与信息存储模块连接；
所述摄像机包括第一摄像机、第二摄像机以及第三摄像机；
所述投影仪垂直方向设置有第二摄像机，所述第二摄像机摄像头方向与投影仪投影方向相同；
所述第一摄像机摄像头方向与第二摄像机摄像头方向之间的角度、第三摄像机摄像头方向与第二摄像机摄像头方向之间的角度均为45°；
所述识别系统还包括有用于照明的高频LED灯，高频投影仪的开关频率与LED灯的开关频率相等；所述高频投影仪的开关频率大于200Hz；
所述第一摄像机、第二摄像机以及第三摄像机均为高速摄像机，所述高速摄像机拍摄频率为高频LED灯开关频率的2倍。
2.根据权利要求1所述的新型人脸3D表情动作识别系统，其特征在于：所述投影仪为红外投影仪。
3.根据权利要求1所述的新型人脸3D表情动作识别系统，其特征在于：所述第一摄像机、第二摄像机以及第三摄像机均连接有显示终端。
4.根据权利要求1所述的新型人脸3D表情动作识别系统，其特征在于：所述信息存储模块为数据库服务器。
CN201610040871.5A 2016-01-21 2016-01-21 一种新型人脸3d表情动作识别系统 Active CN105590106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610040871.5A CN105590106B (zh) 2016-01-21 2016-01-21 一种新型人脸3d表情动作识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610040871.5A CN105590106B (zh) 2016-01-21 2016-01-21 一种新型人脸3d表情动作识别系统

Publications (2)

Publication Number Publication Date
CN105590106A CN105590106A (zh) 2016-05-18
CN105590106B true CN105590106B (zh) 2019-04-30

Family

ID=55929676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610040871.5A Active CN105590106B (zh) 2016-01-21 2016-01-21 一种新型人脸3d表情动作识别系统

Country Status (1)

Country Link
CN (1) CN105590106B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127122A (zh) * 2016-06-16 2016-11-16 厦门道拓科技有限公司 基于面部动作识别的头像检测方法、系统及智能终端
CN108646920A (zh) * 2018-05-16 2018-10-12 Oppo广东移动通信有限公司 识别交互方法、装置、存储介质及终端设备
CN112084823A (zh) * 2019-06-14 2020-12-15 湖北佳狮盾智能技术有限公司 一种基于fpga的三摄像头人脸识别装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1627317A (zh) * 2003-12-12 2005-06-15 北京阳光奥森科技有限公司 利用主动光源获取人脸图像的方法
CN1967564A (zh) * 2005-11-17 2007-05-23 中华电信股份有限公司 应用于设定环境下人脸侦测及辨识之方法与装置
CN101814130A (zh) * 2009-02-19 2010-08-25 中国科学院自动化研究所 用摄像机阵列的虹膜识别装置和多模态生物特征识别方法
CN103971131A (zh) * 2014-05-13 2014-08-06 华为技术有限公司 一种预设表情识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281874A1 (en) * 2011-05-05 2012-11-08 Lure Yuan-Ming F Method, material, and apparatus to improve acquisition of human frontal face images using image template

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1627317A (zh) * 2003-12-12 2005-06-15 北京阳光奥森科技有限公司 利用主动光源获取人脸图像的方法
CN1967564A (zh) * 2005-11-17 2007-05-23 中华电信股份有限公司 应用于设定环境下人脸侦测及辨识之方法与装置
CN101814130A (zh) * 2009-02-19 2010-08-25 中国科学院自动化研究所 用摄像机阵列的虹膜识别装置和多模态生物特征识别方法
CN103971131A (zh) * 2014-05-13 2014-08-06 华为技术有限公司 一种预设表情识别方法和装置

Also Published As

Publication number Publication date
CN105590106A (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
US20240005726A1 (en) System for counting quantity of game tokens
CN105590106B (zh) 一种新型人脸3d表情动作识别系统
JP4996404B2 (ja) 人物行動検索装置
US20140003674A1 (en) Skin-Based User Recognition
CN103286081A (zh) 基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置
WO2021047185A1 (zh) 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN101409826A (zh) 信息处理装置和远程指示系统
Zaletelj Estimation of students' attention in the classroom from kinect features
Salter et al. The tower game dataset: A multimodal dataset for analyzing social interaction predicates
CN111259757B (zh) 一种基于图像的活体识别方法、装置及设备
Liu et al. Holoscopic 3D micro-gesture database for wearable device interaction
CN106162222B (zh) 一种视频镜头切分的方法及装置
CN109272829B (zh) 一种大学数学教学概率事件趣味智能交互设备
CN205486164U (zh) 一种新型人脸3d表情动作识别系统
CN206161545U (zh) 桥梁病害检测智能眼镜
Hu et al. RFAU: A database for facial action unit analysis in real classrooms
Jha et al. FI-CAP: Robust framework to benchmark head pose estimation in challenging environments
CN107346224B (zh) 拼接显示设备的显示窗口控制方法、系统和装置
CN105898269A (zh) 一种视频播放方法及装置
US20220335246A1 (en) System And Method For Video Processing
CN101382995A (zh) 多摄像头立体综合识别系统
CN108280802A (zh) 基于3d成像的图像获取方法及装置
JP2024050882A (ja) 遊戯用代用貨幣の枚数計測システム
TWI697871B (zh) 影像中含有馬賽克之檢查系統及其方法
CN203965794U (zh) 一种立体拍摄装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 230088 Room 107, Building 3, Tiandao 10 Software Park, Hefei High-tech Zone, Anhui Province

Applicant after: HEFEI FUHUANG JUNDA HIGH-TECH INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 230088 Room 334, Building 1, International Student Park, No. 1 Tianyuan Road, Hefei High-tech Zone, Anhui Province

Applicant before: HEFEI JUNDA HI-TECH INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Fuhuang New Vision Building, No. 77 Wutaishan Road, Baohe Economic Development Zone, Hefei City, Anhui Province, 230051

Patentee after: Hefei Zhongke Junda Vision Technology Co.,Ltd.

Address before: 230088 Room 107, Building 3, Tiandao 10 Software Park, Hefei High-tech Zone, Anhui Province

Patentee before: HEFEI FUHUANG JUNDA HIGH-TECH INFORMATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address