CN110188699A - 一种双目摄像头的人脸识别方法及系统 - Google Patents

一种双目摄像头的人脸识别方法及系统 Download PDF

Info

Publication number
CN110188699A
CN110188699A CN201910470226.0A CN201910470226A CN110188699A CN 110188699 A CN110188699 A CN 110188699A CN 201910470226 A CN201910470226 A CN 201910470226A CN 110188699 A CN110188699 A CN 110188699A
Authority
CN
China
Prior art keywords
camera
binocular camera
face
processor
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910470226.0A
Other languages
English (en)
Inventor
张�杰
杨少军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Bailuo Intelligent Technology Co Ltd
Original Assignee
Anhui Bailuo Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Bailuo Intelligent Technology Co Ltd filed Critical Anhui Bailuo Intelligent Technology Co Ltd
Priority to CN201910470226.0A priority Critical patent/CN110188699A/zh
Publication of CN110188699A publication Critical patent/CN110188699A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种双目摄像头的人脸识别方法及系统，涉及人脸特征识别领域。本发明包括如下步骤：目摄像机的左、右摄像头同时完成人脸二维图像采集；步骤S02：利用处理器中的主动形状模型技术对二维图像进行二维特征；步骤S03：结合摄像机标定参数得出特征点的三维坐标；步骤S04：将标定的三维坐标发送至比对数据平台；步骤S05：利用数据平台神经网络进行识别；步骤S06：将识别结果反馈至处理器；步骤S07：处理器控制设备执行相关操作。本发明通过双目摄像头中左右两摄像头采集不同的人脸图像，进行二维特征点标定，利用标定的参数构造三维特征输入至神经网络进行识别，相较于现有的二维识别提高了识别的准确率，避免了使用照片进行欺骗的情况发生。

Description

一种双目摄像头的人脸识别方法及系统
技术领域
本发明属于人脸特征识别领域，特别是涉及一种双目摄像头的人脸识别方法，及一种双目摄像头的人脸识别系统。
背景技术
目前人脸识别技术在电视及各种电子显示产品中的应用相当广泛。由于其便捷而独特的生物识别性能，使得其在未来电视功能中的应用具有不可或缺的一席之地。特别如其中的电视等作为一种家用电器，其所面对的家庭成员具有一些普通人脸识别应用环境所不同的地方，即家庭成员之间极容易获得相互的个人资料，比如脸部的照片，从而可以通过有效的照片进行人脸识别的欺骗，使得人脸识别在这些产品上的应用出现缺陷。
现有的人脸识别技术在电视及各种电子显示产品上的应用，容易通过照片进行欺骗，从而使得识别的功能缺乏有效性；本申请文件通过双目摄像头采集人脸图像信息，利用三维重建人脸识别算法有效解决上述问题。
发明内容
本发明的目的在于提供一种双目摄像头的人脸识别方法及系统，通过双目摄像头中左右两摄像头采集不同的人脸图像，进行二维特征点标定，利用标定的参数构造三维特征输入至神经网络进行识别，解决了现有的人脸识别采用二维识别、容易通过照片进行欺骗，识别精准度不足的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种双目摄像头的人脸识别方法，包括双目摄像头、位于双目摄像头内部的处理器以及比对数据平台，所述双目摄像头上设置有一左摄像头和一右摄像头；所述左摄像头和右摄像头处于同一水平线上；所述人脸识别方法包括如下步骤：
步骤S01：双目摄像机的左、右摄像头同时完成人脸二维图像采集；
步骤S02：利用处理器中的主动形状模型技术对二维图像进行二维特征点自动定位；
步骤S03：结合摄像机标定参数得出特征点的三维坐标；
步骤S04：将标定的三维坐标发送至比对数据平台；
步骤S05：利用数据平台神经网络进行识别；
步骤S06：将识别结果反馈至处理器；
步骤S07：处理器控制设备执行相关操作。
优选地，所述步骤S01中，左、右摄像头采集完人脸二维图像时，需要先根据肤色信息对左、右人脸图像进行人脸特征提取，并利用极线变化对图像进行校正，将校正完成后的图片发送至步骤S02中进行特征点定位。
优选地，所述步骤S02中，利用主动形状模型技术分别从左、右人脸图像上提取若干特征点，确定好的人脸区域作为初始位置，标注出每个特征点对应的坐标并将所得的特征点用线段连接起来。
优选地，所述步骤S03中，每个特征点三维坐标根据三角测量原理和左右摄像头可得：
其中，b为左右摄像机光心c1和c2之间的距离，f是摄像机的焦距，特征点P(X，Y，Z)对应在左右摄像机坐标系中的坐标分别为(x1,y1,z1)和(x2,y2,z2)，对应在左右平面上的像素坐标为(u1,v1)和(u2,v2)；则特征点P的空间坐标表示为：
优选地，所述步骤S04中，每个标定的三维坐标发送至比对数据平台后，根据标定点的几何特征，将形成若干几何向量用于神经网络进行识别；其中，几何特征包括：直线距离特征、角度特征、人脸比例特征、周长特征、曲线特征、体积特征以及表面积特征。
本发明为一种双目摄像头的人脸识别系统，包括双目摄像头和比对数据平台，所述双目摄像头内部设置有处理器、MCU控制器、左摄像头、右摄像头LED液晶显示屏和GSM模块；所述处理器分别与MCU控制器、左摄像头、右摄像头和GSM模块连接；所述MUC控制器与多种外设连接；所述GSM模块用于将左摄像头和右摄像头拍摄图像数据通过GSM网络发送至对比数据平台；
所述比对数据平台包括广告推送模块和数据对比模块；所述广告推送模块用于将广告数据推送至双目摄像头的LED显示屏展示；所述数据对比模块用于将左摄像头和右摄像头拍摄的图像数据进行对比识别并将结果反馈至处理器
优选地，所述外设包括闸机、按键、蜂鸣器、指示灯和USB接口中的一种或多种。
本发明具有以下有益效果：
本发明通过双目摄像头中左右两摄像头采集不同的人脸图像，进行二维特征点标定，利用标定的参数构造三维特征输入至神经网络进行识别，相较于现有的二维识别提高了识别的准确率，避免了使用照片进行欺骗的情况发生。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种双目摄像头的人脸识别方法步骤图；
图2为本发明的一种双目摄像头的人脸识别系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种双目摄像头的人脸识别方法及系统，包括双目摄像头、位于双目摄像头内部的处理器以及比对数据平台，双目摄像头上设置有一左摄像头和一右摄像头；左摄像头和右摄像头处于同一水平线上；人脸识别方法包括如下步骤：
步骤S01：双目摄像机的左、右摄像头同时完成人脸二维图像采集；
步骤S02：利用处理器中的主动形状模型技术对二维图像进行二维特征点自动定位；
步骤S03：结合摄像机标定参数得出特征点的三维坐标；
步骤S04：将标定的三维坐标发送至比对数据平台；
步骤S05：利用数据平台神经网络进行识别；
步骤S06：将识别结果反馈至处理器；
步骤S07：处理器控制设备执行相关操作。
其中，步骤S01中，左、右摄像头采集完人脸二维图像时，需要先根据肤色信息对左、右人脸图像进行人脸特征提取，并利用极线变化对图像进行校正，将校正完成后的图片发送至步骤S02中进行特征点定位。
其中，步骤S02中，利用主动形状模型技术分别从左、右人脸图像上提取若干特征点，确定好的人脸区域作为初始位置，标注出每个特征点对应的坐标并将所得的特征点用线段连接起来。
其中，步骤S03中，每个特征点三维坐标根据三角测量原理和左右摄像头可得：
其中，b为左右摄像机光心c1和c2之间的距离，f是摄像机的焦距，特征点P(X，Y，Z)对应在左右摄像机坐标系中的坐标分别为(x1,y1,z1)和(x2,y2,z2)，对应在左右平面上的像素坐标为(u1,v1)和(u2,v2)；则特征点P的空间坐标表示为：
其中，步骤S04中，每个标定的三维坐标发送至比对数据平台后，根据标定点的几何特征，将形成若干几何向量用于神经网络进行识别；其中，几何特征包括：直线距离特征、角度特征、人脸比例特征、周长特征、曲线特征、体积特征以及表面积特征。
请参阅图2所示，本发明为一种双目摄像头的人脸识别系统，包括双目摄像头和比对数据平台，双目摄像头内部设置有处理器、MCU控制器、左摄像头、右摄像头LED液晶显示屏和GSM模块；处理器分别与MCU控制器、左摄像头、右摄像头和GSM模块连接；MUC控制器与多种外设连接；GSM模块用于将左摄像头和右摄像头拍摄图像数据通过GSM网络发送至对比数据平台；
比对数据平台包括广告推送模块和数据对比模块；广告推送模块用于将广告数据推送至双目摄像头的LED显示屏展示，双目摄像头上设置有21寸液晶显示器，当摄像头前没有人员通过时，可以通过液晶显示器播放广告，招收广告费来提高物业人员的收入来源；数据对比模块用于将左摄像头和右摄像头拍摄的图像数据进行对比识别并将结果反馈至处理器。
其中，外设包括闸机、按键、蜂鸣器、指示灯和USB接口中的一种或多种，USB接口能够方便用户向双目摄像机内安装系统软件也可从双目摄像机拷贝文件至U盘中。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种双目摄像头的人脸识别方法，包括双目摄像头、位于双目摄像头内部的处理器以及比对数据平台，所述双目摄像头上设置有一左摄像头和一右摄像头；所述左摄像头和右摄像头处于同一水平线上，其特征在于：所述人脸识别方法包括如下步骤：
步骤S01：双目摄像机的左、右摄像头同时完成人脸二维图像采集；
步骤S02：利用处理器中的主动形状模型技术对二维图像进行二维特征点自动定位；
步骤S03：结合摄像机标定参数得出特征点的三维坐标；
步骤S04：将标定的三维坐标发送至比对数据平台；
步骤S05：利用数据平台神经网络进行识别；
步骤S06：将识别结果反馈至处理器；
步骤S07：处理器控制设备执行相关操作。
2.根据权利要求1所述的一种双目摄像头的人脸识别方法，其特征在于，所述步骤S01中，左、右摄像头采集完人脸二维图像时，需要先根据肤色信息对左、右人脸图像进行人脸特征提取，并利用极线变化对图像进行校正，将校正完成后的图片发送至步骤S02中进行特征点定位。
3.根据权利要求1所述的一种双目摄像头的人脸识别方法及系统，其特征在于，所述步骤S02中，利用主动形状模型技术分别从左、右人脸图像上提取若干特征点，确定好的人脸区域作为初始位置，标注出每个特征点对应的坐标并将所得的特征点用线段连接起来。
4.根据权利要求1所述的一种双目摄像头的人脸识别方法，其特征在于，所述步骤S03中，每个特征点三维坐标根据三角测量原理和左右摄像头可得：
其中，b为左右摄像机光心c1和c2之间的距离，f是摄像机的焦距，特征点P(X，Y，Z)对应在左右摄像机坐标系中的坐标分别为(x1,y1,z1)和(x2,y2,z2)，对应在左右平面上的像素坐标为(u1,v1)和(u2,v2)；则特征点P的空间坐标表示为：
5.根据权利要求1所述的一种双目摄像头的人脸识别方法，其特征在于，所述步骤S04中，每个标定的三维坐标发送至比对数据平台后，根据标定点的几何特征，将形成若干几何向量用于神经网络进行识别；其中，几何特征包括：直线距离特征、角度特征、人脸比例特征、周长特征、曲线特征、体积特征以及表面积特征。
6.一种双目摄像头的人脸识别系统，包括双目摄像头和比对数据平台，其特征在于：
所述双目摄像头内部设置有处理器、MCU控制器、左摄像头、右摄像头LED液晶显示屏和GSM模块；所述处理器分别与MCU控制器、左摄像头、右摄像头和GSM模块连接；所述MUC控制器与多种外设连接；所述GSM模块用于将左摄像头和右摄像头拍摄图像数据通过GSM网络发送至对比数据平台；
所述比对数据平台包括广告推送模块和数据对比模块；所述广告推送模块用于将广告数据推送至双目摄像头的LED显示屏展示；所述数据对比模块用于将左摄像头和右摄像头拍摄的图像数据进行对比识别并将结果反馈至处理器。
7.根据权利要求6所述的一种双目摄像头的人脸识别系统，其特征在于，所述外设包括闸机、按键、蜂鸣器、指示灯和USB接口中的一种或多种。
CN201910470226.0A 2019-05-31 2019-05-31 一种双目摄像头的人脸识别方法及系统 Withdrawn CN110188699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910470226.0A CN110188699A (zh) 2019-05-31 2019-05-31 一种双目摄像头的人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910470226.0A CN110188699A (zh) 2019-05-31 2019-05-31 一种双目摄像头的人脸识别方法及系统

Publications (1)

Publication Number Publication Date
CN110188699A true CN110188699A (zh) 2019-08-30

Family

ID=67719524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910470226.0A Withdrawn CN110188699A (zh) 2019-05-31 2019-05-31 一种双目摄像头的人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN110188699A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881841A (zh) * 2020-07-30 2020-11-03 河海大学常州校区 一种基于双目视觉的人脸检测识别方法
WO2023030036A1 (zh) * 2021-08-30 2023-03-09 中科尚易健康科技(北京)有限公司 基于多摄像头的人体经络识别方法和装置及人体经络调理设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881841A (zh) * 2020-07-30 2020-11-03 河海大学常州校区 一种基于双目视觉的人脸检测识别方法
CN111881841B (zh) * 2020-07-30 2022-09-13 河海大学常州校区 一种基于双目视觉的人脸检测识别方法
WO2023030036A1 (zh) * 2021-08-30 2023-03-09 中科尚易健康科技(北京)有限公司 基于多摄像头的人体经络识别方法和装置及人体经络调理设备

Similar Documents

Publication Publication Date Title
CN106056092B (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN107169405B (zh) 基于双目摄像机活体识别的方法及装置
CN110335343B (zh) 基于rgbd单视角图像人体三维重建方法及装置
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
USRE47925E1 (en) Method and multi-camera portable device for producing stereo images
CN104599284B (zh) 基于多视角手机自拍图像的三维人脸重建方法
CN109670390A (zh) 活体面部识别方法与系统
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
JP2001008235A (ja) ３次元データの再構成のための画像入力方法及び多眼式データ入力装置
WO2019105411A1 (zh) 信息推荐方法、智能镜子及计算机可读存储介质
US20060001839A1 (en) Projector-camera system with laser pointers
WO2019011091A1 (zh) 拍照提醒方法、装置、终端和计算机存储介质
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN109409147A (zh) 一种条码识别方法和装置
CN109697749A (zh) 一种用于三维建模的方法和装置
WO2019157989A1 (zh) 生物特征3d数据采集方法和生物特征3d数据识别方法
CN110188699A (zh) 一种双目摄像头的人脸识别方法及系统
JP5103682B2 (ja) インタラクティブ看板システム
CN109214350A (zh) 一种光照参数的确定方法、装置、设备及存储介质
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
Nitschke et al. I see what you see: point of gaze estimation from corneal images
CN109726613A (zh) 一种用于检测的方法和装置
Gava et al. Dense scene reconstruction from spherical light fields
CN107592520A (zh) Ar设备的成像装置及成像方法
CN110288680A (zh) 影像生成方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190830

WW01 Invention patent application withdrawn after publication