CN111160278B - 基于单个图像传感器的人脸纹理结构数据采集方法 - Google Patents

基于单个图像传感器的人脸纹理结构数据采集方法 Download PDF

Info

Publication number
CN111160278B
CN111160278B CN201911407515.2A CN201911407515A CN111160278B CN 111160278 B CN111160278 B CN 111160278B CN 201911407515 A CN201911407515 A CN 201911407515A CN 111160278 B CN111160278 B CN 111160278B
Authority
CN
China
Prior art keywords
data
face
image sensor
acquisition method
single image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911407515.2A
Other languages
English (en)
Other versions
CN111160278A (zh
Inventor
侯宗庆
李慧斌
马可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Xitu Digital Technology Co ltd
Original Assignee
Shaanxi Xitu Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Xitu Digital Technology Co ltd filed Critical Shaanxi Xitu Digital Technology Co ltd
Priority to CN201911407515.2A priority Critical patent/CN111160278B/zh
Publication of CN111160278A publication Critical patent/CN111160278A/zh
Application granted granted Critical
Publication of CN111160278B publication Critical patent/CN111160278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于单个图像传感器的人脸纹理结构数据采集方法，包括以下步骤：S1：获取图像数据和深度数据；S2：点云数据预处理，将三维数据处理成可应用的数据类型；S3：人脸检测与表情识别，裁切出人脸区域；S4：采集人员索引，输入采集人脸的个体标识；S5：根据不同的距离、人员、表情存储原始数据和裁切出的数据。本发明的数据采集方法能够解决采集人脸数据类型不完全，采集设备要求高、成本昂贵，采集环境要求高等问题，能够降低采集成本，同时可以在包括室外的开放环境的多种场景中方便使用，并能够保证多种采集数据类型的采集，避免数据缺失。

Description

基于单个图像传感器的人脸纹理结构数据采集方法
技术领域
本发明涉及图像处理技术领域，具体涉及基于单个图像传感器的人脸纹理结构数据采集方法。
背景技术
现有的大部分人脸数据采集系统多用于采集图像纹理，被采集人员在固定场景通过图像传感器采集人脸数据，存在如下缺点：1、数据类型不完整，局限于三维或是二维单个数据类型。2、对采集设备、采集环境要求高，流程复杂，不适用与开放环境。这些方法如：基于图像传感器阵列的三维人脸数据采集系统（201511016389.X），人脸采集系统和人脸采集方法（201610096506.6），人脸图像采集系统及方法（201710600829.9）。
发明内容
本发明的目的是为解决上述技术问题的不足，提供基于单个图像传感器的人脸纹理结构数据采集方法。
本发明为解决上述技术问题的不足，所采用的技术方案是：基于单个图像传感器的人脸纹理结构数据采集方法，包括以下步骤：
S1：获取图像数据和深度数据；
S2：点云数据预处理，将三维数据处理成可应用的数据类型；
S3：人脸检测与表情识别，裁切出人脸区域；
S4：采集人员索引，输入采集人脸的个体标识；
S5：根据不同的距离、人员、表情存储原始数据和裁切出的数据。
作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述步骤S1具体为：通过采集设备获取附带颜色信息的三维点云数据P、红外图像数据IR以及RGB图像数据I。
作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述采集设备为结构光、TOF或双目等深度相机。
作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述步骤S2具体为：通过下述公式将三维点云数据P投影到像素坐标系上，得到投影后的深度图D和点云投影RGB数据I’；
；
公式中的u、v为像素坐标系中的坐标，x、y为世界坐标系中的坐标，u0、v0、dx和dy为相机内部参数，最后通过下述双线性差值公式补全投影后的数据D和I’；
；
公式中的x和y为图像坐标系坐标，f为坐标为（x，y）上的数据，深度图D上为原点云数据P的z轴信息，点云投影RGB数据I’包含的数据为点云附带的R、G、B三通道的像素值。
作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述步骤S3具体为：将投影后的数据I’作为输入，通过全卷积网络N1生成人脸候选窗和对应的分数，将所有检出的人脸候选窗根据分数做降序排列得到一个降序的列表L，从列表L中开始，计算人脸候选窗与其他人脸候选窗的IoU，若IoU大于阈值T，则剔除该人脸候选窗，对剩余的人脸候选窗，重复上述迭代操作，直至列表L中所有人脸候选窗都完成筛选，再使用一个全卷积网络输出最终的人脸候选窗和5个关键点位置，得到数据I’上人脸的5个关键点的坐标（（x1，y1）、（x2，y2）、（x3，y3）、（x4，y4）以及（x5，y5））后，通过5个关键点坐标裁剪投影后的红外数据IR、RGB数据I’和深度数据D和出人脸数据IRf，If，Df，将If作为输入，通过一个全卷积网络N2得到输入数据If的人脸表情类型E。
作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述全卷积网络N1为MTCNN结构的全卷积网络，全卷积网络N2为resnet50结构的全卷积网络。
作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述阈值=0.6。
作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：所述5个关键点位置分别为左眼中心点，右眼中心点，鼻尖点，左嘴角和右嘴角。
作为本发明一种基于单个图像传感器的人脸纹理结构数据采集方法的进一步优化：步骤S5具体为：根据点云数据P的深度信息Z、采集人员索引ID以及人脸表情E，按ID/Z/E的规则生成对应的文件夹，在文件夹中存储采集到的原始数据P、I、R和裁切后的数据IRf，If，Df。
有益效果
一、本发明的数据采集方法能够解决采集人脸数据类型不完全，采集设备要求高、成本昂贵，采集环境要求高等问题，能够降低采集成本，同时可以在包括室外的开放环境的多种场景中方便使用，并能够保证多种采集数据类型的采集，避免数据缺失；
二、本发明的采集流程根据检测算法、表情识别算法创建存储数据地址，因此无需人员参与，降低了采集过程中的因为人为因素导致的数据缺失。
附图说明
图1为本发明数据采集方法的基本原理框图；
图2为本发明数据采集方法中将三维点云数据P投影到像素坐标系上得到投影后的深度图D。
具体实施方式
以下结合具体实施方式进一步对本发明的技术方案进行阐述。
如图1所示：基于单个图像传感器的人脸纹理结构数据采集方法，包括以下步骤：
S1：获取图像数据和深度数据；
通过采集设备获取附带颜色信息的三维点云数据P、红外图像数据IR以及RGB图像数据I，采集设备为结构光、TOF或双目等深度相机。
S2：点云数据预处理，将三维数据处理成可应用的数据类型；
通过下述公式将三维点云数据P投影到像素坐标系上，得到投影后的深度图D和点云投影RGB数据I’；
；
公式中的u、v为像素坐标系中的坐标，x、y为世界坐标系中的坐标，u0、v0、dx和dy为相机内部参数，最后通过下述双线性差值公式补全投影后的数据D和I’；
；
公式中的x和y为图像坐标系坐标，f为坐标为（x，y）上的数据，深度图D上为原点云数据P的z轴信息，点云投影RGB数据I’包含的数据为点云附带的R、G、B三通道的像素值。因为捕捉点云数据与红外数据IR使用同一采集设备，因此投影后的RGB数据I’、深度数据D和红外数据IR数据坐标一一对应。
S3：人脸检测与表情识别，裁切出人脸区域；
将投影后的数据I’作为输入，通过全卷积网络N1（全卷积网络N1为MTCNN结构的全卷积网络）生成人脸候选窗和对应的分数，将所有检出的人脸候选窗根据分数做降序排列得到一个降序的列表L，从列表L中开始，计算人脸候选窗与其他人脸候选窗的IoU（交并比，人脸候选窗和真实的边框的交集和并集的比值），若IoU大于阈值T（阈值T根据确定根据经验和实际场景设定，一般为0.6），则剔除该人脸候选窗，对剩余的人脸候选窗，重复上述迭代操作，直至列表L中所有人脸候选窗都完成筛选，再使用一个全卷积网络输出最终的人脸候选窗和5个关键点位置，得到数据I’上人脸的5个关键点的坐标（（x1，y1）、（x2，y2）、（x3，y3）、（x4，y4）以及（x5，y5））后，通过5个关键点坐标裁剪投影后的红外数据IR、RGB数据I’和深度数据D和出人脸数据IRf，If，Df，将If作为输入，通过一个全卷积网络N2（全卷积网络N2为resnet50结构的全卷积网络）得到输入数据If的人脸表情类型E。
S4：采集人员索引，输入采集人脸的个体标识；
S5：根据不同的距离、人员、表情存储原始数据和裁切出的数据；
根据点云数据P的深度信息Z、采集人员索引ID以及人脸表情E，按ID/Z/E的规则生成对应的文件夹，在文件夹中存储采集到的原始数据P、I、R和裁切后的数据IRf，If，Df。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：包括以下步骤：
S1：获取图像数据和深度数据；
S2：点云数据预处理，将三维数据处理成可应用的数据类型，具体地：
通过下述公式将三维点云数据P投影到像素坐标系上，得到投影后的深度图D和点云投影RGB数据I’；
Figure FDA0004083449920000011
公式中的u、v为像素坐标系中的坐标，x、y为世界坐标系中的坐标，u0、v0、dx和dy为相机内部参数，最后通过下述双线性差值公式补全投影后的数据D和I’；
Figure FDA0004083449920000012
Figure FDA0004083449920000013
公式中的x和y为图像坐标系坐标，f为坐标为(x，y)上的数据，深度图D上为原点云数据P的z轴信息，点云投影RGB数据I’包含的数据为点云附带的R、G、B三通道的像素值；
S3：人脸检测与表情识别，裁切出人脸区域，具体地：
将投影后的数据I’作为输入，通过全卷积网络N1生成人脸候选窗和对应的分数，将所有检出的人脸候选窗根据分数做降序排列得到一个降序的列表L，从列表L中开始，计算人脸候选窗与其他人脸候选窗的IoU，若IoU大于阈值T，则剔除该人脸候选窗，对剩余的人脸候选窗，重复上述迭代操作，直至列表L中所有人脸候选窗都完成筛选，再使用一个全卷积网络输出最终的人脸候选窗和5个关键点位置，得到数据I’上人脸的5个关键点的坐标((x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)以及(x5，y5))后，通过5个关键点坐标裁剪投影后的红外数据IR、RGB数据I’和深度数据D和出人脸数据IRf，If，Df，将If作为输入，通过一个全卷积网络N2得到输入数据If的人脸表情类型E；
S4：采集人员索引，输入采集人脸的个体标识；
S5：根据不同的距离、人员、表情存储原始数据和裁切出的数据。
2.如权利要求1所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：所述步骤S1具体为：通过采集设备获取附带颜色信息的三维点云数据P、红外图像数据IR以及RGB图像数据I。
3.如权利要求2所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：所述采集设备为结构光、TOF或双目等深度相机。
4.如权利要求1所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：所述全卷积网络N1为MTCNN结构的全卷积网络，全卷积网络N2为resnet50结构的全卷积网络。
5.如权利要求1所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：所述阈值＝0.6。
6.如权利要求1所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：所述5个关键点位置分别为左眼中心点，右眼中心点，鼻尖点，左嘴角和右嘴角。
7.如权利要求1所述基于单个图像传感器的人脸纹理结构数据采集方法，其特征在于：步骤S5具体为：根据点云数据P的深度信息Z、采集人员索引ID以及人脸表情E，按ID/Z/E的规则生成对应的文件夹，在文件夹中存储采集到的原始数据P、I、R和裁切后的数据IRf，If，Df。
CN201911407515.2A 2019-12-31 2019-12-31 基于单个图像传感器的人脸纹理结构数据采集方法 Active CN111160278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911407515.2A CN111160278B (zh) 2019-12-31 2019-12-31 基于单个图像传感器的人脸纹理结构数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911407515.2A CN111160278B (zh) 2019-12-31 2019-12-31 基于单个图像传感器的人脸纹理结构数据采集方法

Publications (2)

Publication Number Publication Date
CN111160278A CN111160278A (zh) 2020-05-15
CN111160278B true CN111160278B (zh) 2023-04-07

Family

ID=70559866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911407515.2A Active CN111160278B (zh) 2019-12-31 2019-12-31 基于单个图像传感器的人脸纹理结构数据采集方法

Country Status (1)

Country Link
CN (1) CN111160278B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766061A (zh) * 2020-12-30 2021-05-07 罗普特科技集团股份有限公司 一种多模态无监督的行人像素级语义标注方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017219391A1 (zh) * 2016-06-24 2017-12-28 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN108427871A (zh) * 2018-01-30 2018-08-21 深圳奥比中光科技有限公司 3d人脸快速身份认证方法与装置
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN109697688A (zh) * 2017-10-20 2019-04-30 虹软科技股份有限公司 一种用于图像处理的方法和装置
WO2019080579A1 (zh) * 2017-10-26 2019-05-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN110059537A (zh) * 2019-02-27 2019-07-26 视缘(上海)智能科技有限公司 一种基于Kinect传感器的三维人脸数据获取方法及装置
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN110443885A (zh) * 2019-07-18 2019-11-12 西北工业大学 基于随机人脸图像的三维人头脸模型重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017219391A1 (zh) * 2016-06-24 2017-12-28 深圳市唯特视科技有限公司 一种基于三维数据的人脸识别系统
CN109697688A (zh) * 2017-10-20 2019-04-30 虹软科技股份有限公司 一种用于图像处理的方法和装置
WO2019080579A1 (zh) * 2017-10-26 2019-05-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN108427871A (zh) * 2018-01-30 2018-08-21 深圳奥比中光科技有限公司 3d人脸快速身份认证方法与装置
WO2019196308A1 (zh) * 2018-04-09 2019-10-17 平安科技（深圳）有限公司 人脸识别模型的生成装置、方法及计算机可读存储介质
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN110059537A (zh) * 2019-02-27 2019-07-26 视缘(上海)智能科技有限公司 一种基于Kinect传感器的三维人脸数据获取方法及装置
CN110443885A (zh) * 2019-07-18 2019-11-12 西北工业大学 基于随机人脸图像的三维人头脸模型重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨善友 ; 蓝新波 ; 赵志俊 ; .基于KINECT传感器采集三维点云的高效鲁棒人脸识别.计算机应用与软件.2015,(03),全文. *
董瑞霞 ; .三维人脸数据的预处理及深度图像获取.福建电脑.2017,(02),全文. *

Also Published As

Publication number Publication date
CN111160278A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
CN109598242B (zh) 一种活体检测方法
CN108564041B (zh) 一种基于rgbd相机的人脸检测和修复方法
CN108388882B (zh) 基于全局-局部rgb-d多模态的手势识别方法
CN107545302B (zh) 一种人眼左右眼图像联合的视线方向计算方法
CN106548165A (zh) 一种基于图像分块加权的卷积神经网络的人脸识别方法
CN111680588A (zh) 一种基于可见光和红外光的人脸闸机活体检测方法
EP3905104B1 (en) Living body detection method and device
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN108830215B (zh) 基于人员骨架信息的危险行为识别方法
CN112818925B (zh) 一种城市建筑和树冠识别方法
JP6912215B2 (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN109325995B (zh) 基于人手参数模型的低分辨率多视角手部重建方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN115272271A (zh) 一种基于双目立体视觉的管道缺陷检测与定位测距系统
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN111028271A (zh) 基于人体骨架检测的多摄像机人员三维定位跟踪系统
CN103034330A (zh) 一种用于视频会议的眼神交互方法及系统
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN114894337B (zh) 一种用于室外人脸识别测温方法及装置
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111160278B (zh) 基于单个图像传感器的人脸纹理结构数据采集方法
CN110348344B (zh) 一种基于二维和三维融合的特殊人脸表情识别的方法
CN111127556A (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211210

Address after: 712000 room 10201, building 4a, West Yungu phase II, Fengxi new town, Xixian new area, Xianyang City, Shaanxi Province

Applicant after: Shaanxi Xitu Digital Technology Co.,Ltd.

Address before: 471000 Room 201, building 1, Chuangzhi Plaza, No. 32, changxiamen street, Luolong District, Luoyang City, Henan Province

Applicant before: Henan Zhongyuan big data Research Institute Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant