CN108764024B - 人脸识别模型的生成装置、方法及计算机可读存储介质 - Google Patents

人脸识别模型的生成装置、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN108764024B
CN108764024B CN201810311642.1A CN201810311642A CN108764024B CN 108764024 B CN108764024 B CN 108764024B CN 201810311642 A CN201810311642 A CN 201810311642A CN 108764024 B CN108764024 B CN 108764024B
Authority
CN
China
Prior art keywords
feature point
point pairs
matched
face
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810311642.1A
Other languages
English (en)
Other versions
CN108764024A (zh
Inventor
王义文
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810311642.1A priority Critical patent/CN108764024B/zh
Priority to PCT/CN2018/102401 priority patent/WO2019196308A1/zh
Publication of CN108764024A publication Critical patent/CN108764024A/zh
Application granted granted Critical
Publication of CN108764024B publication Critical patent/CN108764024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸识别模型的生成装置，包括存储器和处理器，存储器上存储有可在处理器上运行的模型生成程序，该程序被处理器执行时实现如下步骤：采集从多个视角拍摄的用户的多张脸部图像并获取相机参数；将多张脸部图像两两匹配，获取匹配的特征点对，对特征点对筛选，获取匹配正确的特征点对的二维坐标。计算特征点对的三维坐标并构建用户脸部的三维点云数据；将三维点云数据转换为深度图像；获取预设数量的用户的深度图像和颜色图像，作为双通道卷积神经网络模型的输入，训练模型以确定模型参数。本发明还提出一种人脸识别模型的生成方法以及一种计算机可读存储介质。本发明提高了人脸识别的准确度。

Description

人脸识别模型的生成装置、方法及计算机可读存储介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸识别模型的生成装置、方法及计算机可读存储介质。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别的一系列相关技术。现有技术中人脸识别技术均为二维人脸识别，二维人脸识别通常是利用摄像机或摄像头采集含有人脸的二维图像，并对该二维图像中检测和跟踪人脸，进而对该检测到的人脸进行识别。但是采集二维的人脸图像进行识别时，很容易受到姿态、表情、光照以及脸部化妆等非几何外观变化的影响，导致人脸识别的准确度低。
发明内容
本发明提供一种人脸识别模型的生成装置、方法及计算机可读存储介质，其主要目的在于提高人脸识别的准确度。
为实现上述目的，本发明提供一种人脸识别模型的生成装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的模型生成程序，所述模型生成程序被所述处理器执行时实现如下步骤：
A1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
A2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
A3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据；
A4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
A5、重复执行步骤A1至步骤A4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
可选地，所述步骤A2包括：
根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；
若否，则继续根据所述特征匹配算法获取匹配的特征点对，并根据所述特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
可选地，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
若统计的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第二预设阈值，则判定该特征点为匹配正确的特征点对。
可选地，所述根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标的步骤包括：
根据所述相机参数计算相机的之间的空间转换矩阵；
根据所述空间转换矩阵和所述二维坐标计算匹配正确的特征点对对应的三维坐标。
可选地，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
此外，为实现上述目的，本发明还提供一种人脸识别模型的生成方法，该方法包括：
B1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
B2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
B3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据；
B4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
B5、重复执行步骤B1至步骤B4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
可选地，所述步骤B2包括：
根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；
若否，则继续根据所述特征匹配算法获取匹配的特征点对，并根据所述特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
可选地，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
若统计的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第二预设阈值，则判定该特征点为匹配正确的特征点对。
可选地，所述根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标的步骤包括：
根据所述相机参数计算相机的之间的空间转换矩阵；
根据所述空间转换矩阵和所述二维坐标计算匹配正确的特征点对对应的三维坐标。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有模型生成程序，所述模型生成程序可被一个或者多个处理器执行，以实现如上所述的人脸识别模型的生成方法的步骤。
本发明提出的人脸识别模型的生成装置、方法及计算机可读存储介质，采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄多张脸部图像的相机参数，根据预设的特征匹配算法对获取到的脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，保留正确的特征点对，提高后续步骤中获取脸部的深度图像的准确度，然后，获取匹配正确的特征点对在脸部图像上的二维坐标，根据二维坐标和相机参数计算匹配正确的特征点对对应的三维坐标，根据计算得到的三维坐标构建用户的脸部的三维点云数据，将三维点云数据转换为深度图像，构建一个双通道卷积神经网络模型，两个通道分别用于输入深度图像和颜色图像，将按照上述过程采集的多个用户的深度图像和颜色图像输入到该双通道卷积神经网络模型中进行训练，获取模型参数，本发明中采用深度图像作为模型的输入特征，体现出面部特征的三维特性，相较于传统的二维人脸特征的识别，这种识别方式不容易受到姿态、表情、光照等非几何外观变化的影响，提高了人脸识别的准确度。
附图说明
图1为本发明人脸识别模型的生成装置较佳实施例的示意图；
图2为本发明人脸识别模型的生成方法较佳实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种人脸识别模型的生成装置。参照图1所示，为本发明人脸识别模型的生成装置较佳实施例的示意图。
在本实施例中，人脸识别模型的生成装置1可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。
该人脸识别模型的生成装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是人脸识别模型的生成装置1的内部存储单元，例如该人脸识别模型的生成装置1的硬盘。存储器11在另一些实施例中也可以是人脸识别模型的生成装置1的外部存储设备，例如人脸识别模型的生成装置1上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括人脸识别模型的生成装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于人脸识别模型的生成装置1的应用软件及各类数据，例如模型生成程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行模型生成程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
图1仅示出了具有组件11-14以及模型生成程序01的人脸识别模型的生成装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在人脸识别模型的生成装置1中处理的信息以及用于显示可视化的用户界面。
在图1所示的装置实施例中，存储器11中存储有模型生成程序01；处理器12执行存储器11中存储的模型生成程序01时实现如下步骤：
A1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数。
A2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标。
以下实施例中，为了便于对方案进行说明，设定有两台设置在不同视角的相机采集用户的脸部图像，得到两张不同角度的脸部图像。同时，这两台相机之间的相对位置关系，和相机的有效焦距均为已知。
按照预设的特征匹配算法对两张脸部图像进行特征点匹配，其中，预设的特征匹配算法可以是ORB(Oriented FAST and Rotated BRIEF)算法，ORB算法是一种快速特征点提取和描述的算法，能够对上述两张脸部图像进行特征点的检测和匹配，找出两张图像中匹配的特征点对。或者，在其他的实施例中，也可以采用SIFT(Scale-invariant featuretransform，尺度不变特征变换)算法进行特征对的计算。但是，现有这些特征匹配算法匹配到的特征点对的数量都较少，且其中可能存在一定量的匹配错误的特征点。因此，在完成特征匹配后，需要对获取到的特征点对进行筛选，以删除那些匹配错误的特征点对，提高人脸识别的准确度。具体地，步骤A2可以包括如下细化步骤：
根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；若否，则继续根据所述特征匹配算法获取匹配的特征点对，并根据所述特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
其中，预设的特征点筛选算法具体如下，将获取的脸部图像分割为K×K个网格区域，其中，K值的大小可以根据采集的脸部图像的像素来确定，例如，照片的尺寸为1600×1600，则K值可以设置为80，则每一个网格区域中有20×20个像素点，其中，一个特征点对应于一个像素点，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量，优选地，在一实施例中，L＝3，则一网格区域的邻域为其周围相邻的其他8个网格区域。基于运动平滑性原理，匹配的特征点的邻域内必然有较多匹配的特征点，也就是说，如果有一对特征点是匹配的，那么在这个特征点的邻域内，必然存在一定数量的其他相匹配的特征点对，反之，若某一特征点匹配错误，那么在这个特征点的邻域内，匹配到的特征点的数量必然会非常少，甚至不存在其他匹配的特征点对。基于这样的原理，对按照预设的特征匹配算法匹配到的特征点对进行统计，以判断匹配结果是否正确。若在一特征点的邻域内，统计的特征点对的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若在一特征点的邻域内，统计的特征点对的数量大于或者小于第二预设阈值，则判定该特征点为匹配正确的特征点对。其中，第二预设阈值可以根据实际情况设置一个合理的值。
此外，为了得到足够多的正确匹配的特征点对，在每一次匹配和筛选之后，确定筛选后匹配正确的特征点对的数量，并判断是否大于第一预设阈值。若小于第一预设阈值，则再次按照上述预设的特征匹配算法进行特征匹配，并再次对匹配结果进行筛选。按照这个过程不断地迭代计算，直至匹配正确的特征点对的数量大于第一预设阈值。或者，在其他实施例中，可以预先设置迭代计算的次数，在实际计算过程中，对迭代计算的次数进行统计，当迭代的次数达到预设的次数，则停止迭代，完整特征点对的匹配和筛选。
A3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据。
A4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像。
在获取到匹配正确的特征点对之后，获取特征点对分别在两张脸部图像上的坐标。根据相机参数计算相机的之间的空间转换矩阵；根据空间转换矩阵和二维坐标计算匹配正确的特征点对对应的三维坐标。
具体地，在本实施例中，假设左相机位于世界坐标系O-xyz，并且没有发生旋转，左相机拍摄的图像的坐标系定义为Ol-XlYl，左相机的有效焦距为fl；定义右相机的坐标系为Or-xryrzr，则右相机拍摄的图像的坐标系定义为Or-XrYr，左相机的有效焦距为fr。则根据摄像机的投射模型可以得到如下关系式：
关系式1：
Figure GDA0002336478970000091
关系式2：
Figure GDA0002336478970000092
其中，s1、sr为比例系数。
根据相机参数计算相机的之间的空间转换矩阵M：
Figure GDA0002336478970000093
其中，r1＝cosγcosβ+sin2γsinβ，r2＝-sinγcosα，r3＝sinβsinγ-sin2γcosβ，r4＝sinγcosβ+sinαsinβcosγ，r5＝cos2γ，r6＝sinγsinβ-sinαcosγsinβ，r7＝-sinβcosα，r8＝sinα，r9＝cosαcosβ。α、β、γ分别第二台相机相对于第一台相机在三个方向上的角度变换。tx、ty、tz分别为第二台相机相对于第一台相机在三个方向上的平移量。α、β、γ、tx、ty、tz体现了两台相机之间的空间关系。
而O-xyz坐标系与Or-xryrzr坐标系之间的位置关系可通过空间转换矩阵M表示为：
关系式3：
Figure GDA0002336478970000094
将关系式2代入到关系式3可以得到如下关系式4，即对于O-xyz坐标系中的空间点，两个摄像机面点之间的对应关系可以表示为关系式4。
关系式4：
Figure GDA0002336478970000101
在上述步骤A2中计算得到的匹配正确的特征点在两张图像上的坐标分别为(X1，Y1)、(Xr，Yr)，相机焦距fl和fr为已知数，通过相机之间的位置关系可以计算出空间转换矩阵M，因此，通过上述关系式1可计算出x和y的值，根据上述关系式4可以计算出z的值。即得到与(X1，Y1)、(Xr，Yr)对应的三维空间点的坐标(x，y，z)。
按照上述方法计算出每一个匹配的特征点对应的三维坐标，这些三维坐标对应的空间点构成形成脸部的三维点云。按照三维点云与深度图像之间的转换关系，将得到的三维点云转换为深度图像，将对应的多张两部图像中的任意一张作为该用户的颜色图像。
A5、重复执行步骤A1至步骤A4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
构建一个双通道卷积神经网络模型，该模型不需要对输出进行分类，将全连接层的结果作为输出，输出结果为一个特征向量。该模型的一个通道的输入为颜色图像，另一个通道的输入为深度图像。按照上述过程获取多个用户的深度图像和颜色图像作为样本数据，将所有的样本数据按照预设比例分为训练样本和测试样本，对上述模型进行训练和验证，得到模型参数。将确定了模型参数的双通道卷积神经网络模型作为人脸识别模型。
该人脸识别模型在应用时对人脸识别的过程如下：
人脸注册过程：获取待注册用户的多视人脸图像，根据多视人脸图像获取待注册用户的脸部的深度图像和颜色图像，将深度图像和颜色图像输入到训练好的人脸识别模型中，得到该用户的人脸图像对应的特征向量。
人脸识别过程：获取待识别用户的多视人脸图像，根据多视人脸图像获取待注册用户的脸部的深度图像和颜色图像，将获取的深度图像和颜色图像输入到训练好的人脸识别模型中，得到待识别用户的人脸图像对应的特征向量；计算待识别用户的特征向量与注册用户的特征向量之间的欧氏距离，若计算得到的欧式距离小于预设阈值，则判定待识别用户与已注册的用户为同一个人，否则，则判定待识别用户与已注册的用户不是同一个人。
可以理解的是，在其他实施例中，也可以设置三台或者三台以上的相机采集更多视角的用户的脸部图像。在进行特征匹配时，进行两两匹配，得到多组三维点云数据，将多组三维点云数据融合为一组完整的点云数据。
本实施例提出的人脸识别模型的生成装置，采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄多张脸部图像的相机参数，根据预设的特征匹配算法对获取到的脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，保留正确的特征点对，提高后续步骤中获取脸部的深度图像的准确度，然后，获取匹配正确的特征点对在脸部图像上的二维坐标，根据二维坐标和相机参数计算匹配正确的特征点对对应的三维坐标，根据计算得到的三维坐标构建用户的脸部的三维点云数据，将三维点云数据转换为深度图像，构建一个双通道卷积神经网络模型，两个通道分别用于输入深度图像和颜色图像，将按照上述过程采集的多个用户的深度图像和颜色图像输入到该双通道卷积神经网络模型中进行训练，获取模型参数，本发明中采用深度图像作为模型的输入特征，体现出面部特征的三维特性，相较于传统的二维人脸特征的识别，这种识别方式不容易受到姿态、表情、光照等非几何外观变化的影响，提高了人脸识别的准确度。
此外，本发明还提供一种人脸识别模型的生成方法。参照图2所示，为本发明人脸识别模型的生成方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，人脸识别模型的生成方法包括：
步骤S10，采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数。
步骤S20，根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标。
以下实施例中，为了便于对方案进行说明，设定有两台设置在不同视角的相机采集用户的脸部图像，得到两张不同角度的脸部图像。同时，这两台相机之间的相对位置关系，和相机的有效焦距均为已知。
按照预设的特征匹配算法对两张脸部图像进行特征点匹配，其中，预设的特征匹配算法可以是ORB(Oriented FAST and Rotated BRIEF)算法，ORB算法是一种快速特征点提取和描述的算法，能够对上述两张脸部图像进行特征点的检测和匹配，找出两张图像中匹配的特征点对。或者，在其他的实施例中，也可以采用SIFT(Scale-invariant featuretransform，尺度不变特征变换)算法进行特征对的计算。但是，现有这些特征匹配算法匹配到的特征点对的数量都较少，且其中可能存在一定量的匹配错误的特征点。因此，在完成特征匹配后，需要对获取到的特征点对进行筛选，以删除那些匹配错误的特征点对，提高人脸识别的准确度。具体地，步骤S20可以包括如下细化步骤：
根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；若否，则继续根据所述特征匹配算法获取匹配的特征点对，并根据所述特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
其中，预设的特征点筛选算法具体如下，将获取的脸部图像分割为K×K个网格区域，其中，K值的大小可以根据采集的脸部图像的像素来确定，例如，照片的尺寸为1600×1600，则K值可以设置为80，则每一个网格区域中有20×20个像素点，其中，一个特征点对应于一个像素点，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量，优选地，在一实施例中，L＝3，则一网格区域的邻域为其周围相邻的其他8个网格区域。基于运动平滑性原理，匹配的特征点的邻域内必然有较多匹配的特征点，也就是说，如果有一对特征点是匹配的，那么在这个特征点的邻域内，必然存在一定数量的其他相匹配的特征点对，反之，若某一特征点匹配错误，那么在这个特征点的邻域内，匹配到的特征点的数量必然会非常少，甚至不存在其他匹配的特征点对。基于这样的原理，对按照预设的特征匹配算法匹配到的特征点对进行统计，以判断匹配结果是否正确。若在一特征点的邻域内，统计的特征点对的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若在一特征点的邻域内，统计的特征点对的数量大于或者小于第二预设阈值，则判定该特征点为匹配正确的特征点对。其中，第二预设阈值可以根据实际情况设置一个合理的值。
此外，为了得到足够多的正确匹配的特征点对，在每一次匹配和筛选之后，确定筛选后匹配正确的特征点对的数量，并判断是否大于第一预设阈值。若小于第一预设阈值，则再次按照上述预设的特征匹配算法进行特征匹配，并再次对匹配结果进行筛选。按照这个过程不断地迭代计算，直至匹配正确的特征点对的数量大于第一预设阈值。或者，在其他实施例中，可以预先设置迭代计算的次数，在实际计算过程中，对迭代计算的次数进行统计，当迭代的次数达到预设的次数，则停止迭代，完整特征点对的匹配和筛选。
步骤S30，根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据。
步骤S40，将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像。
在获取到匹配正确的特征点对之后，获取特征点对分别在两张脸部图像上的坐标。根据相机参数计算相机的之间的空间转换矩阵；根据空间转换矩阵和二维坐标计算匹配正确的特征点对对应的三维坐标。
具体地，在本实施例中，假设左相机位于世界坐标系O-xyz，并且没有发生旋转，左相机拍摄的图像的坐标系定义为Ol-XlYl，左相机的有效焦距为fl；定义右相机的坐标系为Or-xryrzr，则右相机拍摄的图像的坐标系定义为Or-XrYr，左相机的有效焦距为fr。则根据摄像机的投射模型可以得到如下关系式：
关系式1：
Figure GDA0002336478970000141
关系式2：
Figure GDA0002336478970000142
其中，s1、sr为比例系数。
根据相机参数计算相机的之间的空间转换矩阵M：
Figure GDA0002336478970000143
其中，r1＝cosγcosβ+sin2γsinβ，r2＝-sinγcosα，r3＝sinβsinγ-sin2γcosβ，r4＝sinγcosβ+sinαsinβcosγ，r5＝cos2γ，r6＝sinγsinβ-sinαcosγsinβ，r7＝-sinβcosα，r8＝sinα，r9＝cosαcosβ。α、β、γ分别第二台相机相对于第一台相机在三个方向上的角度变换。tx、ty、tz分别为第二台相机相对于第一台相机在三个方向上的平移量。α、β、γ、tx、ty、tz体现了两台相机之间的空间关系。
而O-xyz坐标系与Or-xryrzr坐标系之间的位置关系可通过空间转换矩阵M表示为：
关系式3：
Figure GDA0002336478970000144
将关系式2代入到关系式3可以得到如下关系式4，对于O-xyz坐标系中的空间点，两个摄像机面点之间的对应关系可以表示为关系式4。
关系式4：
Figure GDA0002336478970000151
在上述步骤S20中计算得到的匹配正确的特征点在两张图像上的坐标分别为(X1，Y1)、(Xr，Yr)，相机焦距fl和fr为已知数，通过相机之间的位置关系可以计算出空间转换矩阵M，因此，通过上述关系式1可计算出x和y的值，根据上述关系式4可以计算出z的值。即得到与(X1，Y1)、(Xr，Yr)对应的三维空间点的坐标(x，y，z)。
按照上述方法计算出每一个匹配的特征点对应的三维坐标，这些三维坐标对应的空间点构成形成脸部的三维点云。按照三维点云与深度图像之间的转换关系，将得到的三维点云转换为深度图像，将对应的多张两部图像中的任意一张作为该用户的颜色图像。
步骤S50，重复执行步骤S10至步骤S40，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
构建一个双通道卷积神经网络模型，该模型不需要对输出进行分类，将全连接层的结果作为输出，输出结果为一个特征向量。该模型的一个通道的输入为颜色图像，另一个通道的输入为深度图像。按照上述过程获取多个用户的深度图像和颜色图像作为样本数据，将所有的样本数据按照预设比例分为训练样本和测试样本，对上述模型进行训练和验证，得到模型参数。将确定了模型参数的双通道卷积神经网络模型作为人脸识别模型。
该人脸识别模型在应用时对人脸识别的过程如下：
人脸注册过程：获取待注册用户的多视人脸图像，根据多视人脸图像获取待注册用户的脸部的深度图像和颜色图像，将深度图像和颜色图像输入到训练好的人脸识别模型中，得到该用户的人脸图像对应的特征向量。
人脸识别过程：获取待识别用户的多视人脸图像，根据多视人脸图像获取待注册用户的脸部的深度图像和颜色图像，将获取的深度图像和颜色图像输入到训练好的人脸识别模型中，得到待识别用户的人脸图像对应的特征向量；计算待识别用户的特征向量与注册用户的特征向量之间的欧氏距离，若计算得到的欧式距离小于预设阈值，则判定待识别用户与已注册的用户为同一个人，否则，则判定待识别用户与已注册的用户不是同一个人。
可以理解的是，在其他实施例中，也可以设置三台或者三台以上的相机采集更多视角的用户的脸部图像。在进行特征匹配时，进行两两匹配，得到多组三维点云数据，将多组三维点云数据融合为一组完整的点云数据。
本实施例提出的人脸识别模型的生成方法，采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄多张脸部图像的相机参数，根据预设的特征匹配算法对获取到的脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，保留正确的特征点对，提高后续步骤中获取脸部的深度图像的准确度，然后，获取匹配正确的特征点对在脸部图像上的二维坐标，根据二维坐标和相机参数计算匹配正确的特征点对对应的三维坐标，根据计算得到的三维坐标构建用户的脸部的三维点云数据，将三维点云数据转换为深度图像，构建一个双通道卷积神经网络模型，两个通道分别用于输入深度图像和颜色图像，将按照上述过程采集的多个用户的深度图像和颜色图像输入到该双通道卷积神经网络模型中进行训练，获取模型参数，本发明中采用深度图像作为模型的输入特征，体现出面部特征的三维特性，相较于传统的二维人脸特征的识别，这种识别方式不容易受到姿态、表情、光照等非几何外观变化的影响，提高了人脸识别的准确度。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有模型生成程序01，所述模型生成程序01可被一个或多个处理器执行，以实现如下操作：
本发明计算机可读存储介质具体实施方式与上述人脸识别模型的生成装置和方法各实施例基本相同，在此不作累述。
B1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
B2、根据预设的特征匹配算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
B3、根据所述二维坐标和所述相机参数计算匹配正确的特征点对对应的三维坐标，并根据计算得到的三维坐标构建所述用户脸部的三维点云数据；
B4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
B5、重复执行步骤B1至步骤B4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层的结果作为输出。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸识别模型的生成装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的模型生成程序，所述模型生成程序被所述处理器执行时实现如下步骤：
A1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
A2、根据ORB算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
A3、将拍摄所述匹配正确的特征点对对应的图像的相机分别作为左相机和右相机，将所述左相机所在的坐标系作为世界坐标系，将所述右相机所在的坐标系作为右相机坐标系，根据所述左相机和所述右相机的相机参数计算所述左相机与所述右相机之间的空间转换矩阵，根据所述空间转换矩阵及摄像机的投射模型确定所述世界坐标系与所述右相机坐标系的关系式，根据所述关系式及所述二维坐标计算所述匹配正确的特征点对在世界坐标系中对应的三维坐标，并根据计算得到的三维坐标构建用户脸部的三维点云数据；
A4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
A5、重复执行步骤A1至步骤A4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层输出的特征向量作为所述双通道卷积神经网络模型的输出。
2.如权利要求1所述的人脸识别模型的生成装置，其特征在于，所述步骤A2包括：
根据ORB算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；
若否，则继续根据所述ORB算法获取匹配的特征点对，并根据所述特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
3.如权利要求2所述的人脸识别模型的生成装置，其特征在于，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
若统计的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第二预设阈值，则判定该特征点为匹配正确的特征点对。
4.如权利要求1至3中任一项所述的人脸识别模型的生成装置，其特征在于，所述左相机与所述右相机之间的空间转换矩阵为：
Figure FDA0002336478960000021
其中，r1＝cosγcosβ+sin2γsinβ，r2＝-sinγcosα，r3＝sinβsinγ-sin2γcosβ，r4＝sinγcosβ+sinαsinβcosγ，r5＝cos2γ，r6＝sinγsinβ-sinαcosγsinβ，r7＝-sinβcosα，r8＝sinα，r9＝cosαcosβ，α、β、γ分别为所述右相机相对于所述左相机在x、y、z三个方向上的角度变化，tx、ty、tz分别为所述右相机相对于所述左相机在x、y、z三个方向上的平移量。
5.如权利要求1至3中任一项所述的人脸识别模型的生成装置，其特征在于，所述相机参数包括用于从多个视角拍摄照片的多台相机的相对位置关系，以及相机的有效焦距。
6.一种人脸识别模型的生成方法，其特征在于，所述方法包括：
B1、采集从多个视角拍摄的用户的多张脸部图像，并获取用于拍摄所述多张脸部图像的相机参数；
B2、根据ORB算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对，通过预设的特征点筛选算法对匹配到的特征点对进行筛选，以删除匹配错误的特征点对，并获取匹配正确的特征点对在脸部图像上的二维坐标；
B3、将拍摄所述匹配正确的特征点对对应的图像的相机分别作为左相机和右相机，将所述左相机所在的坐标系作为世界坐标系，将所述右相机所在的坐标系作为右相机坐标系，根据所述左相机和所述右相机的相机参数计算所述左相机与所述右相机之间的空间转换矩阵，根据所述空间转换矩阵及摄像机的投射模型确定所述世界坐标系与所述右相机坐标系的关系式，根据所述关系式及所述二维坐标计算所述匹配正确的特征点对在世界坐标系中对应的三维坐标，并根据计算得到的三维坐标构建用户脸部的三维点云数据；
B4、将所述三维点云数据转换为深度图像，将所述多张脸部图像中的任意一张作为所述用户脸部的颜色图像；
B5、重复执行步骤B1至步骤B4，以获取预设数量的用户的深度图像和颜色图像，将所述深度图像和颜色图像作为预设的双通道卷积神经网络模型的输入，训练所述双通道卷积神经网络模型以确定模型参数，将确定模型参数的双通道卷积神经网络模型作为人脸识别模型，其中，所述双通道卷积神经网络模型将全连接层输出的特征向量作为所述双通道卷积神经网络模型的输出。
7.如权利要求6所述的人脸识别模型的生成方法，其特征在于，所述步骤B2包括：
根据ORB算法对获取到的多张脸部图像两两匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第一预设阈值；
若是，则停止筛选，并获取匹配正确的特征点对在脸部图像上的二维坐标；
若否，则继续根据所述ORB算法获取匹配的特征点对，并根据所述特征点筛选算法对匹配到的特征点对进行筛选，直至匹配正确的特征点对的数量大于所述第一预设阈值。
8.如权利要求7所述的人脸识别模型的生成方法，其特征在于，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
若统计的数量小于第二预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第二预设阈值，则判定该特征点为匹配正确的特征点对。
9.如权利要求6至8中任一项所述的人脸识别模型的生成方法，其特征在于，所述左相机与所述右相机之间的空间转换矩阵为：
Figure FDA0002336478960000041
其中，r1＝cosγcosβ+sin2γsinβ，r2＝-sinγcosα，r3＝sinβsinγ-sin2γcosβ，r4＝sinγcosβ+sinαsinβcosγ，r5＝cos2γ，r6＝sinγsinβ-sinαcosγsinβ，r7＝-sinβcosα，r8＝sinα，r9＝cosαcosβ，α、β、γ分别为所述右相机相对于所述左相机在x、y、z三个方向上的角度变化，tx、ty、tz分别为所述右相机相对于所述左相机在x、y、z三个方向上的平移量。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有模型生成程序，所述模型生成程序可被一个或者多个处理器执行，以实现如权利要求6至9中任一项所述的人脸识别模型的生成方法的步骤。
CN201810311642.1A 2018-04-09 2018-04-09 人脸识别模型的生成装置、方法及计算机可读存储介质 Active CN108764024B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810311642.1A CN108764024B (zh) 2018-04-09 2018-04-09 人脸识别模型的生成装置、方法及计算机可读存储介质
PCT/CN2018/102401 WO2019196308A1 (zh) 2018-04-09 2018-08-27 人脸识别模型的生成装置、方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810311642.1A CN108764024B (zh) 2018-04-09 2018-04-09 人脸识别模型的生成装置、方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108764024A CN108764024A (zh) 2018-11-06
CN108764024B true CN108764024B (zh) 2020-03-24

Family

ID=63981561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810311642.1A Active CN108764024B (zh) 2018-04-09 2018-04-09 人脸识别模型的生成装置、方法及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108764024B (zh)
WO (1) WO2019196308A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685713B (zh) * 2018-11-13 2024-05-10 平安科技（深圳）有限公司 化妆模拟控制方法、装置、计算机设备及存储介质
CN110163064B (zh) * 2018-11-30 2022-04-05 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
WO2020122513A1 (ko) 2018-12-10 2020-06-18 삼성전자주식회사 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스
RU2703327C1 (ru) * 2018-12-10 2019-10-16 Самсунг Электроникс Ко., Лтд. Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
CN111325059A (zh) * 2018-12-14 2020-06-23 技嘉科技股份有限公司 脸部识别方法、装置及计算机可读取媒体
CN109753885B (zh) * 2018-12-14 2020-10-16 中国科学院深圳先进技术研究院 一种目标检测方法、装置以及行人检测方法、系统
CN109685839B (zh) * 2018-12-20 2023-04-18 广州华多网络科技有限公司 图像对齐方法、移动终端以及计算机存储介质
CN109635770A (zh) * 2018-12-20 2019-04-16 上海瑾盛通信科技有限公司 活体检测方法、装置、存储介质及电子设备
CN109508701B (zh) * 2018-12-28 2020-09-22 北京亿幕信息技术有限公司 一种人脸识别和追踪方法
CN109740511B (zh) * 2018-12-29 2022-11-22 广州方硅信息技术有限公司 一种人脸表情匹配方法、装置、设备及存储介质
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备
WO2020215250A1 (zh) * 2019-04-24 2020-10-29 深圳市汇顶科技股份有限公司 人脸注册方法、人脸识别装置、识别设备和可存储介质
CN110210322A (zh) * 2019-05-06 2019-09-06 深圳市华芯技研科技有限公司 一种通过3d原理进行人脸识别的方法
CN110222573B (zh) * 2019-05-07 2024-05-28 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN110287776B (zh) * 2019-05-15 2020-06-26 北京邮电大学 一种人脸识别的方法、装置以及计算机可读存储介质
CN111986246B (zh) * 2019-05-24 2024-04-30 北京四维图新科技股份有限公司 基于图像处理的三维模型重建方法、装置和存储介质
CN110472494A (zh) * 2019-06-21 2019-11-19 深圳壹账通智能科技有限公司 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN110414358B (zh) * 2019-06-28 2022-11-25 平安科技（深圳）有限公司 基于人脸智能识别的信息输出方法、装置及存储介质
CN110969085B (zh) * 2019-10-30 2024-03-19 维沃移动通信有限公司 脸部特征点定位方法及电子设备
CN112816949B (zh) * 2019-11-18 2024-04-16 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
CN111161395B (zh) * 2019-11-19 2023-12-08 深圳市三维人工智能科技有限公司 一种人脸表情的跟踪方法、装置及电子设备
CN112639390A (zh) * 2019-11-21 2021-04-09 北京机电研究所有限公司 用于三维尺寸的动态测量装置及其测量方法
CN113095116B (zh) * 2019-12-23 2024-03-22 深圳云天励飞技术有限公司 身份识别方法及相关产品
CN111047703B (zh) * 2019-12-23 2023-09-26 杭州电力设备制造有限公司 一种用户高压配电设备识别与空间重建方法
CN113034345B (zh) * 2019-12-25 2023-02-28 广东奥博信息产业股份有限公司 一种基于sfm重建的人脸识别方法及系统
CN111160232B (zh) * 2019-12-25 2021-03-12 上海骏聿数码科技有限公司 正面人脸重建方法、装置及系统
CN111144483B (zh) * 2019-12-26 2023-10-17 歌尔股份有限公司 一种图像特征点过滤方法以及终端
CN111160278B (zh) * 2019-12-31 2023-04-07 陕西西图数联科技有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111488856B (zh) * 2020-04-28 2023-04-18 江西吉为科技有限公司 一种基于正交引导学习的多模态2d及3d人脸表情识别方法
CN111696196B (zh) * 2020-05-25 2023-12-08 合肥的卢深视科技有限公司 一种三维人脸模型重建方法及装置
CN111667570B (zh) * 2020-06-05 2023-06-02 深圳市瑞立视多媒体科技有限公司 Marker点的三维重建方法、装置、设备及存储介质
CN111796299A (zh) * 2020-06-10 2020-10-20 东风汽车集团有限公司 一种障碍物的感知方法、感知装置和无人驾驶清扫车
CN111651954B (zh) * 2020-06-10 2023-08-18 嘉兴市像景智能装备有限公司 基于深度学习对smt电子元件三维重建的方法
CN111815698A (zh) * 2020-07-20 2020-10-23 广西安良科技有限公司 人工智能单目3d点云生成方法、装置、终端及存储介质
CN112052730B (zh) * 2020-07-30 2024-03-29 广州市标准化研究院 一种3d动态人像识别监控设备及方法
CN111898680A (zh) * 2020-07-31 2020-11-06 陈艳 一种基于检材多视角形态图像和深度学习的生物鉴别方法
CN112017225B (zh) * 2020-08-04 2023-06-09 华东师范大学 一种基于点云配准的深度图像匹配方法
CN114170640B (zh) * 2020-08-19 2024-02-02 腾讯科技（深圳）有限公司 人脸图像的处理方法、装置、计算机可读介质及设备
CN112308912B (zh) * 2020-11-03 2023-09-15 长安大学 一种路面病害同源多特征图像获取系统、装置及方法
CN112348957A (zh) * 2020-11-05 2021-02-09 上海影创信息科技有限公司 一种基于多视角深度相机的三维人像实时重建及渲染方法
CN112562083A (zh) * 2020-12-10 2021-03-26 上海影创信息科技有限公司 基于深度相机的静态人像三维重建与动态人脸融合方法
CN112614166A (zh) * 2020-12-11 2021-04-06 北京影谱科技股份有限公司 基于cnn-knn的点云匹配方法和装置
CN112580583B (zh) * 2020-12-28 2024-03-15 深圳市普汇智联科技有限公司 一种台球花色识别参数自动校准方法及系统
CN112699795A (zh) * 2020-12-30 2021-04-23 珠海格力电器股份有限公司 一种人脸识别方法、装置、电子设备和存储介质
CN112767484B (zh) * 2021-01-25 2023-09-05 脸萌有限公司 定位模型的融合方法、定位方法、电子装置
CN112883920A (zh) * 2021-03-22 2021-06-01 清华大学 基于点云深度学习的三维人脸扫描特征点检测方法和装置
CN113591602B (zh) * 2021-07-08 2024-04-30 娄浩哲 一种基于单视角的人脸三维轮廓特征重建装置及重建方法
CN113807217B (zh) * 2021-09-02 2023-11-21 浙江师范大学 人脸表情识别模型训练、识别方法、系统、装置及介质
CN113688784B (zh) * 2021-09-10 2024-05-14 平安医疗健康管理股份有限公司 基于人脸识别的医保卡盗用风险识别方法及其相关设备
CN114049675B (zh) * 2021-11-29 2024-02-13 合肥工业大学 基于轻量双通道神经网络的人脸表情识别方法
CN114494389B (zh) * 2022-04-01 2022-07-15 深圳数字视界科技有限公司 基于特征点识别连接的多段扫描的空间物体三维构建系统
CN115641359B (zh) * 2022-10-17 2023-10-31 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN116524569A (zh) * 2023-05-10 2023-08-01 深圳大器时代科技有限公司 一种基于归类算法的多并发人脸识别系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201023092A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua 3D face model construction method
KR101643573B1 (ko) * 2014-11-21 2016-07-29 한국과학기술연구원 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN106600686B (zh) * 2016-12-06 2020-05-22 西安电子科技大学 一种基于多幅未标定图像的三维点云重建方法
CN107274483A (zh) * 2017-06-14 2017-10-20 广东工业大学 一种物体三维模型构建方法
CN107491726B (zh) * 2017-07-04 2020-08-04 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法

Also Published As

Publication number Publication date
WO2019196308A1 (zh) 2019-10-17
CN108764024A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108764024B (zh) 人脸识别模型的生成装置、方法及计算机可读存储介质
US9818023B2 (en) Enhanced face detection using depth information
US10334168B2 (en) Threshold determination in a RANSAC algorithm
US9858472B2 (en) Three-dimensional facial recognition method and system
US11928800B2 (en) Image coordinate system transformation method and apparatus, device, and storage medium
CN109815843B (zh) 图像处理方法及相关产品
CN104246793A (zh) 移动设备的三维脸部识别
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
Tang et al. Cross-camera knowledge transfer for multiview people counting
CN103425964B (zh) 图像处理设备和图像处理方法
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN105934757B (zh) 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置
CN104156998A (zh) 一种基于图片虚拟内容融合真实场景的实现方法及系统
CN108428224B (zh) 基于卷积神经网的动物体表温度检测方法及装置
CN104765440B (zh) 手检测方法和设备
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
EP3185212A1 (en) Dynamic particle filter parameterization
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
JP5704909B2 (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
US20150254527A1 (en) Methods for 3d object recognition and registration
CN113569594A (zh) 一种人脸关键点的标注方法及装置
JP7270304B2 (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別することにより当該ユーザのｉｄを検証するための方法、及び当該方法を実施するためのモバイル装置
CN105095849B (zh) 对象识别方法与装置
CN112016495A (zh) 人脸识别的方法、装置和电子设备
Yamao et al. A sequential online 3d reconstruction system using dense stereo matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant