CN108229293A - 人脸图像处理方法、装置和电子设备 - Google Patents

人脸图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN108229293A
CN108229293A CN201710677556.8A CN201710677556A CN108229293A CN 108229293 A CN108229293 A CN 108229293A CN 201710677556 A CN201710677556 A CN 201710677556A CN 108229293 A CN108229293 A CN 108229293A
Authority
CN
China
Prior art keywords
key point
face
information
image
lip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710677556.8A
Other languages
English (en)
Inventor
钱晨
王权
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710677556.8A priority Critical patent/CN108229293A/zh
Priority to CN202110473985.XA priority patent/CN113128449A/zh
Priority to CN202110475720.3A priority patent/CN113205040A/zh
Publication of CN108229293A publication Critical patent/CN108229293A/zh
Priority to PCT/CN2018/098999 priority patent/WO2019029486A1/zh
Priority to US16/456,738 priority patent/US11227147B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施方式公开了一种人脸图像处理方法、装置、电子设备以及计算机可读介质，其中的方法主要包括：切割待处理图像中的人脸的至少一个器官图像块；将所述至少一个器官图像块分别输入到至少一个第一神经网络，其中，至少两个不同类别的器官对应不同的第一神经网络；经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息。

Description

人脸图像处理方法、装置和电子设备
技术领域
本申请涉及计算机视觉技术，尤其是涉及一种人脸图像处理方法、介质、人脸图像处理装置以及电子设备。
背景技术
人脸关键点是人脸识别等诸多应用中不可或缺的一部分。准确的确定出人脸关键点，不仅有利于对人脸的相关位置进行矫正，而且有利于增强人脸的语义信息。
发明内容
本申请实施方式提供一种人脸图像处理技术方案。
根据本申请实施方式其中一个方面，提供了一种人脸图像处理方法，该方法主要包括：切割待处理图像中的人脸的至少一个器官图像块；将所述至少一个器官图像块分别输入到至少一个第一神经网络，其中，至少两个不同类别的器官对应不同的第一神经网络；经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息。
在本发明一个实施方式中，所述方法还包括：获取所述待处理图像的初始人脸关键点信息；整合所述初始人脸关键点信息和所述各相应器官的关键点信息，获得所述待处理图像的人脸关键点信息。
在本发明又一个实施方式中，所述切割待处理图像中的人脸的至少一个器官图像块包括：获取所述待处理图像的初始人脸关键点信息；根据所述初始人脸关键点信息切割所述待处理图像中的人脸的至少一个器官图像块。
在本发明再一个实施方式中，所述获取所述待处理图像的初始人脸关键点信息，包括：将所述待处理图像输入第二神经网络；经所述第二神经网络提取所述待处理图像的人脸关键点信息，得到所述初始人脸关键点信息。
在本发明再一个实施方式中，所述整合所述初始人脸关键点信息和所述各相应器官的关键点信息，获得所述待处理图像的人脸关键点信息包括：采用所述各相应器官的关键点信息替换所述初始人脸关键点中的相同器官的至少部分关键点信息，获得所述待处理图像的人脸关键点信息。
在本发明再一个实施方式中，所述整合所述初始人脸关键点信息和所述各相应器官的关键点信息，获得所述待处理图像的人脸关键点信息包括：将所述各相应器官的关键点信息在相应器官图像块中的位置和编号，分别转换为所述各相应器官的关键点信息在待处理图像中的位置和编号。
在本发明再一个实施方式中，所述人脸关键点信息包括的关键点总数量，大于所述初始人脸关键点信息包括的关键点总数量；和/或所述人脸关键点信息包括的经第一神经网络提取的一器官图像块的器官关键点的数量，大于所述初始人脸关键点信息包括的对应器官图像块的器官关键点的数量。
在本发明再一个实施方式中，所述经第一神经网络提取的一器官图像块的各器官关键点拟合而得的器官曲线的误差度，为经所述初始人脸关键点信息中包括的对应所述器官图像块的各器官关键点拟合而得的器官曲线的误差度的1/5—1/10。
在本发明再一个实施方式中，所述至少一个器官图像块包括以下至少之一：至少一眼部图像块、至少一嘴部图像块。
在本发明再一个实施方式中，所述各相应器官的关键点信息包括以下至少之一：眼睑线信息、嘴唇线信息。
在本发明再一个实施方式中，所述眼睑线信息包括：由单眼上眼睑或下眼睑处的10-15个关键点表示的轨迹信息或拟合线；和/或，所述唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
在本发明再一个实施方式中，所述将所述至少一个器官图像块分别输入到至少一个第一神经网络之前，还包括：基于样本数据集训练所述第一神经网络，其中，所述样本数据集包括：人脸的器官图像的关键点标注数据。
在本发明再一个实施方式中，所述基于样本数据集训练所述第一神经网络之前，所述方法还包括采用以下步骤获取所述人脸的器官图像的关键点标注数据：确定人脸的器官的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述关键点标注数据。
在本发明再一个实施方式中，经所述插入的点拟合形成的第二曲线相对所述人脸的器官曲线的误差度，为所述第一曲线相对所述人脸的器官曲线的误差度的1/5—1/10。
在本发明再一个实施方式中，所述初始关键点信息中包括的关键点的数量小于或等于106点，人脸关键点信息中包括的关键点的数量大于106点。
在本发明再一个实施方式中，所述人脸关键点信息中包括的关键点的数量为186、240、220或274点。
在本发明再一个实施方式中，所述人脸关键点信息包括：用于定位眼睛位置的4-24个关键点、眼睑线信息包括的44-48个关键点；用于定位嘴巴位置的0-20个关键点，唇线包括的60-64个关键点；眉毛区域包括的26-58个关键点；鼻子区域包括的15-27个关键点；脸部轮廓的33-37个关键点。
在本发明再一个实施方式中，所述方法还包括：根据得到的人脸的相应器官的关键点信息进行以下至少之一处理：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
根据本申请实施方式其中一个方面，提供了一种人脸图像处理方法，该方法主要包括：获取包括人脸至少部分区域的待处理图像；基于神经网络从所述待处理图像中提取眼睑线信息，所述眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中，所述待处理图像为单眼图像或者双眼图像；或者，所述待处理图像包括人脸图像，所述获取包括人脸至少部分区域的待处理图像，包括：切割待处理图像中的人脸的单眼图像块或双眼图像块，所述单眼图像块或双眼图像块为所述包括人脸至少部分区域的待处理图像。
在本发明又一个实施方式中，所述基于神经网络从所述待处理图像中提取眼睑线信息之前，还包括：基于样本数据集训练所述神经网络，其中，所述样本数据集包括：眼部关键点标注数据。
在本发明再一个实施方式中，所述眼部关键点标注数据采用以下步骤获取：确定眼睑线的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述眼部关键点标注数据。
在本发明再一个实施方式中，经所述插入的点拟合形成的第二曲线相对眼睑线的误差度，为所述第一曲线相对眼睑线的误差度的1/5—1/10。
根据本申请实施方式其中一个方面，提供了一种人脸图像处理方法，该方法主要包括：获取包括人脸至少部分区域的待处理图像；基于神经网络从所述待处理图像中提取唇线信息，所述唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中，所述待处理图像为单唇图像或者双唇图像；或者，所述待处理图像包括人脸图像，所述获取包括人脸至少部分区域的待处理图像，包括：切割待处理图像中的人脸的单唇图像块或双唇图像块，所述单唇图像块或双唇图像块为所述包括人脸至少部分区域的待处理图像。
在本发明又一个实施方式中，所述基于神经网络从所述待处理图像中提取唇线信息之前，还包括：基于样本数据集训练所述神经网络，其中，所述样本数据集包括：嘴唇部关键点标注数据。
在本发明再一个实施方式中，所述嘴唇部关键点标注数据采用以下步骤获取：确定唇线的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述嘴唇部关键点标注数据。
在本发明再一个实施方式中，经所述插入的点拟合形成的第二曲线相对唇线的误差度，为所述第一曲线相对唇线的误差度的1/5—1/10。
根据本申请实施方式的其中另一个方面，提供了一种人脸图像处理装置，该装置包括：切割模块，用于切割待处理图像中的人脸的至少一个器官图像块；输入模块，用于将所述至少一个器官图像块分别输入到至少一个第一神经网络，其中，至少两个不同类别的器官对应不同的第一神经网络；提取器官关键点模块，用于经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息。
在本发明一个实施方式中，所述装置还包括：第一获取模块，用于获取所述待处理图像的初始人脸关键点信息；整合模块，用于整合所述初始人脸关键点信息和所述各相应器官的关键点信息，获得所述待处理图像的人脸关键点信息。
在本发明又一个实施方式中，所述装置还包括：第一训练模块，用于基于样本数据集训练所述第一神经网络，其中，所述样本数据集包括：人脸的器官图像的关键点标注数据。
在本发明再一个实施方式中，所述装置还包括：用于获取所述人脸的器官图像的关键点标注数据的第一标注模块，所述第一标注模块具体用于：确定人脸的器官的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述关键点标注数据。
在本发明再一个实施方式中，所述装置还包括：应用处理模块，用于根据得到的人脸的相应器官的关键点信息进行以下至少之一处理：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
根据本申请实施方式的其中另一个方面，提供了一种人脸图像处理装置，该装置包括：第二获取模块，用于获取包括人脸至少部分区域的待处理图像；提取眼睑线模块，用于基于神经网络从所述待处理图像中提取眼睑线信息，所述眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中，所述装置还包括：第二训练模块，用于基于样本数据集训练所述神经网络，其中，所述样本数据集包括：眼部关键点标注数据。
在本发明又一个实施方式中，所述装置还包括：用于获取所述眼部关键点标注数据的第二标注模块，所述第二标注模块具体用于：确定眼睑线的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述眼部关键点标注数据。
根据本申请实施方式的其中另一个方面，提供了一种人脸图像处理装置，该装置包括：第二获取模块，用于获取包括人脸至少部分区域的待处理图像；提取唇线模块，用于基于神经网络从所述待处理图像中提取唇线信息，所述唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中，所述装置还包括：第三训练模块，用于基于样本数据集训练所述神经网络，其中，所述样本数据集包括：嘴唇部关键点标注数据。
在本发明又一个实施方式中，所述装置还包括：用于获取所述嘴唇部关键点标注数据的第三标注模块，所述第三标注模块具体用于：确定唇线的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述嘴唇部关键点标注数据。
根据本申请实施方式的再一个方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：用于切割待处理图像中的人脸的至少一个器官图像块的指令；用于将所述至少一个器官图像块分别输入到至少一个第一神经网络的指令，其中，至少两个不同类别的器官对应不同的第一神经网络；用于经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息的指令。
在本发明一个实施方式中，所述被运行的指令还包括：用于获取所述待处理图像的初始人脸关键点信息的指令；用于整合所述初始人脸关键点信息和所述各相应器官的关键点信息，获得所述待处理图像的人脸关键点信息的指令。
在本发明一个实施方式中，所述被运行的指令还包括：用于基于样本数据集训练所述第一神经网络的指令，其中，所述样本数据集包括：人脸的器官图像的关键点标注数据。
在本发明一个实施方式中，所述被运行的指令还包括：用于获取所述人脸的器官图像的关键点标注数据的指令，所述用于获取所述人脸的器官图像的关键点标注数据的指令具体包括：用于确定人脸的器官的曲线控制点的指令；用于根据所述曲线控制点形成第一曲线的指令；用于采用插值方式在所述第一曲线中插入多个点的指令，所述插入的点的信息为所述关键点标注数据。
在本发明一个实施方式中，所述被运行的指令还包括：用于根据得到的人脸的相应器官的关键点信息进行以下至少之一处理的指令：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
根据本申请实施方式的再一个方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：用于获取包括人脸至少部分区域的待处理图像的指令；用于基于神经网络从所述待处理图像中提取眼睑线信息的指令，所述眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中，所述被运行的指令还包括：用于基于样本数据集训练所述神经网络的指令，其中，所述样本数据集包括：眼部关键点标注数据。
在本发明一个实施方式中，所述被运行的指令还包括：用于获取所述眼部关键点标注数据的指令，所述用于获取所述眼部关键点标注数据的指令具体包括：用于确定眼睑线的曲线控制点的指令；用于根据所述曲线控制点形成第一曲线的指令；用于采用插值方式在所述第一曲线中插入多个点的指令，所述插入的点的信息为所述眼部关键点标注数据。
根据本申请实施方式的再一个方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：用于获取包括人脸至少部分区域的待处理图像的指令；用于基于神经网络从所述待处理图像中提取唇线信息的指令，所述唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
在本发明一个实施方式中，所述被运行的指令还包括：用于基于样本数据集训练所述神经网络的指令，其中，所述样本数据集包括：嘴唇部关键点标注数据。
在本发明一个实施方式中，所述被运行的指令还包括：用于获取所述嘴唇部关键点标注数据的指令，所述用于获取所述嘴唇部关键点标注数据的指令具体包括：用于确定唇线的曲线控制点的指令；用于根据所述曲线控制点形成第一曲线的指令；用于采用插值方式在所述第一曲线中插入多个点的指令，所述插入的点的信息为所述嘴唇部关键点标注数据。
根据本申请实施方式的再一个方面，提供的一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行本申请方法实施方式中的各步骤，
例如，切割待处理图像中的人脸的至少一个器官图像块；将所述至少一个器官图像块分别输入到至少一个第一神经网络，其中，至少两个不同类别的器官对应不同的第一神经网络；经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息。
再例如，获取包括人脸至少部分区域的待处理图像；基于神经网络从所述待处理图像中提取眼睑线信息，所述眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
再例如，获取包括人脸至少部分区域的待处理图像；基于神经网络从所述待处理图像中提取唇线信息，所述唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
基于本申请提供的人脸图像处理方法、人脸图像处理装置、电子设备以及计算机存储介质，本申请通过从待处理图像中抽取出人脸的至少一个器官图像块，并将其提供给至少一个第一神经网络，由于本申请中的第一神经网络可以针对输入的器官图像块确定出位置准确且能够满足准确表达器官形状要求的器官关键点，因此，本申请利用第一神经网络所获得的器官关键点具有位置精准的特点。
下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请方法一个实施方式的流程图；
图2为本申请的眼睑线的关键点示意图；
图3为本申请的上嘴唇上唇线和上嘴唇下唇线的关键点示意图；
图4为本申请的下嘴唇上唇线和下嘴唇下唇线的关键点示意图；
图5为本申请的待处理图像中的双眼的眼睑线的关键点示意图；
图6为本申请方法一个实施方式的流程图；
图7为本申请初始人脸关键点中的初始眼睛关键点示意图；
图8为本申请方法一个实施方式的流程图；
图9为本申请方法一个实施方式的流程图；
图10为本申请装置一个实施方式的结构示意图；
图11为本申请装置一个实施方式的结构示意图；
图12为本申请装置一个实施方式的结构示意图；
图13为实现本申请实施方式的一示例性设备的框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性实施例
图1为本申请方法一个实施例的流程图。如图1所示，该实施例方法包括：步骤S100、步骤S110以及步骤S120。
S100、切割待处理图像中的人脸的至少一个器官图像块。
在一个可选示例中，本申请中的待处理图像可以为呈现静态的图片或者照片等图像，也可以为呈现动态的视频中的视频帧等。该待处理图像应为包含有人脸的图像，且该待处理图像中的人脸可以为正脸，也可能会存在一定角度的偏转；另外，该待处理图像中的人脸的清晰程度可以非常好，也可以存在一定程度的欠缺。
在一个可选示例中，本申请可以从待处理图像中切割出一个或者两个或者更多数量的器官图像块，且本申请切割出的器官图像块可以包括：眼睛图像块、眉毛图像块以及嘴巴图像块中的至少一个。本申请中的眼睛图像块可以具体为左眼图像块、右眼图像块或者双眼图像块。本申请中的眉毛图像块可以具体为左眉图像块、右眉图像块或者双眉图像块。本申请中的嘴巴图像块可以具体为上嘴唇图像块、下嘴唇图像块或者包含有上嘴唇和下嘴唇的图像块。
在一个可选示例中，本申请可以以待处理图像的初始人脸关键点信息为依据，对待处理图像进行切割处理，以获得待处理图像中的人脸的至少一个器官图像块；例如，本申请可以根据待处理图像的初始人脸关键点信息中的眼睛关键点(为区别描述，下述称为初始眼睛关键点)确定出左眼/右眼/双眼所在的区域，并根据该区域对待处理图像进行切割处理，从而获得眼睛图像块；再例如，本申请可以根据待处理图像的初始人脸关键点信息中的眉毛关键点(为区别描述，下述称为初始眉毛关键点)确定出左眉/右眉/双眉所在的区域，并根据该区域对待处理图像进行切割处理，从而获得眉毛图像块；再例如，本申请根据待处理图像的初始人脸关键点信息中的嘴巴关键点(为区别描述，下述称为初始嘴巴关键点)确定出上嘴唇/下嘴唇/整个嘴巴所在的区域，并根据该区域对待处理图像进行切割处理，从而获得嘴巴图像块。可选的，本申请可以对切割出的器官图像块进行放大或者缩小调整(如需要)，以便于使切割出的器官图像块具有预定大小，且器官图像块所具有的预定大小可以根据其输入的第一神经网络对输入的图像块的要求来决定。
在一个可选示例中，本申请可以从待处理图像中切割出左眼图像块、右眼图像块以及嘴巴图像块。
在一个可选示例中，本申请的待处理图像的初始人脸关键点信息可以包括：各初始人脸关键点的编号信息以及各初始人脸关键点在待处理图像中的坐标信息等。可选的，本申请中的初始人脸关键点信息所包括的初始人脸关键点的数量通常小于或者等于某一设定值，例如，初始人脸关键点信息包括21或者68或者106个初始人脸关键点等。
在一个可选示例中，本申请可以利用现有的神经网络(即第二神经网络)来提取待处理图像的初始人脸关键点，获得初始人脸关键点信息。在一个可选的例子中，上述第二神经网络可以包括：用于检测人脸位置的人脸检测深度神经网络以及用于检测人脸关键点的人脸关键点深度神经网络，本申请可以先将待处理图像输入至人脸检测深度神经网络中，由人脸检测深度神经网络输出待处理图像的人脸位置信息(如人脸外接框信息)，然后，本申请可以将待处理图像以及人脸位置信息输入至人脸关键点深度神经网络中，由人脸关键点深度神经网络可以根据人脸位置信息确定出待处理图像中需要检测的区域，并针对需要检测的区域的图像进行人脸关键点检测，从而人脸关键点深度神经网络会针对待处理图像输出人脸关键点信息，该人脸关键点信息即初始人脸关键点信息。
S110、将上述至少一个器官图像块分别输入到至少一个第一神经网络。
在一个可选示例中，本申请设置有一个或者两个或者更多数量的第一神经网络，且各第一神经网络分别用于从其输入图像块中提取出相应的器官关键点；可选的，不同类别的器官对应不同的第一神经网络，也就是说，如果两个器官图像块中的器官的类别不相同(如眼睛和嘴巴的类别不相同)，则这两个器官图像块应提供给不相同的两个第一神经网络，如果两个器官图像块中的器官的类别相同(如左眼和右眼的类别相同)，则这两个器官图像块可以提供给同一个第一神经网络。第一神经网络是针对人脸某器官的关键点信息定位任务采用监督、半监督或无监督等方式预先训练完成的神经网络，训练的具体方式本申请实施例并不限定。在一个可选示例中，第一神经网络可采用监督方式预先训练完成，如采用人脸某器官的标注数据预先训练所述第一神经网络。所述第一神经网络的网络结构可根据关键点信息定位任务的需要灵活设计，本申请实施例并不限制。例如，所述第一神经网络可包括但不限于卷积层、非线性Relu层、池化层、全连接层等，网络层数越多，网络越深；又例如所述第一神经网络的网络结构可采用但不限于ALexNet、深度残差网络(DeepResidual Network，ResNet)或VGGnet(Visual Geometry Group Network)等网络的结构。
在一个可选示例中，本申请针对眼睛图像块设置有用于眼部关键点信息定位的第一神经网络，该第一神经网络也可以称为眼部关键点信息定位深度神经网络，可针对眼部关键点信息定位任务采用监督、半监督或无监督等方式预先训练完成，例如，在一个可选示例中，可采用眼睛关键点信息和/或眼睑线相关的标注数据预先训练该第一神经网络。本申请针对嘴巴图像块设置于用于唇线定位的第一神经网络，该第一神经网络也可以称为嘴部关键点信息定位深度神经网络，可针对嘴唇关键点信息定位任务采用监督、半监督或无监督等方式预先训练完成，例如，在一个可选示例中，可采用唇线相关的标注数据预先训练该第一神经网络。一个可选的例子，从待处理图像中切割出的左眼图像块和右眼图像块被分别输入到眼部关键点信息定位深度神经网络中。一个可选的例子，从待处理图像中切割出的左眼图像块或者右眼图像块或者双眼图像块被输入到眼部关键点信息定位深度神经网络中。一个可选的例子，从待处理图像中切割出的嘴巴图像块被输入到嘴部关键点信息定位深度神经网络中。
可以理解，本申请从待处理图像中还可切割出左眉图像块、右眉图像块、鼻子图像块等人脸其他器官的图像块，对这些图像块经预先采用眉毛标注数据或鼻子标注数据训练过的神经网络分别进行关键点信息的提取，不再赘述。
S120、经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息。
在一个可选示例中，眼部关键点信息定位深度神经网络从眼睛图像块中提取出的器官的关键点信息包括：眼睛关键点信息和/或眼睑线信息。所述眼睛关键点信息例如眼角、眼睛中心等关键点信息。所述眼睑线信息由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。例如，上眼睑线信息和/或下眼睑线信息。
在实际应用过程中，并非关键点数量越多系统性能就越优越。例如，关键点数量一定程度上有利于提高描述眼睛的形状的准确度，但也带来很大的计算开销、降低运算速度。在对眼部关键点信息定位深度神经网络的效率以及描述眼睛的形状的准确度等因素进行综合考虑后，可将单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线表示为眼睑线信息，使用眼睑线信息所描述出的眼睛的形状的准确度能够满足目前对眼睛形状有精准要求的多种应用的需求，还有利于检测眼部状态，如睁眼状态、闭眼状态等检测。
需要特别说明的是，本申请中的上眼睑线和下眼睑线在内眼角处的交汇点为内眼角关键点，上眼睑线和下眼睑线在外眼角处的交汇点为外眼角关键点，内眼角关键点可以被划归为上眼睑线的关键点，也可以被划归为下眼睑线的关键点。外眼角关键点可以被划归为上眼睑线的关键点，也可以被划归为下眼睑线的关键点。当然，内眼角关键点和外眼角关键点也可以既不属于上眼睑线的关键点，也不属于下眼睑线的关键点，而独立存在。另外，眼眼部关键点信息定位深度神经网络从左眼图像块提取出的器官关键点的数量与从右眼图像块中提取出的器官关键点的数量可以相同。
在一个可选的示例中，如图2，编号为10的关键点可称为内眼角关键点，编号为11的关键点可称为外眼角关键点，上眼睑线信息为由编号为11-12-13-14-15-16-17-18-19-20-21-10的关键点表示的轨迹信息或拟合线，下眼睑线信息为编号为11-0-1-2-3-4-5-6-7-8-9-10的关键点表示的轨迹信息或拟合线。
本申请通过眼部关键点信息定位深度神经网络提取出的眼睑线信息中包括的关键点的数量大于初始人脸关键点信息所包含的位于眼睛位置处的关键点的数量。本申请通过眼部关键点信息定位深度神经网络提取出的用于表示眼睑线的各关键点可以拟合出表示眼睛形状的曲线A，如可以拟合出上眼睑线曲线或下眼睑线曲线，不妨表示为曲线A；通过106个初始人脸关键点信息中的位于眼睛位置处的关键点可以拟合出表示眼睑的曲线B，通过实际计算检测，本申请中的曲线A与实际眼睑线形状的曲线的误差度，为曲线B与实际眼睑线形状的曲线的误差度的1/5—1/10。由此可知，本申请通过针对眼睛图像块单独提取眼睑线信息，可以有效提高利用提取出的关键点信息描述眼睛的形状的准确度。在通常情况下，由于眼睛会随着人的面部的变化(如表情变化)而发生较为明显的变化，因此，本申请技术方案有利于提高眼部关键点信息提取的精度和准确度，提高后续基于这些关键点信息应用的准确性，例如在确定人的面部表情时，可以将眼睑线信息作为一个重要的参考因素，有利于提高确定人的面部表情的准确性；又例如在进行图像渲染时，可基于眼睑线并采用计算机绘图方式在图像的眼部绘制如贴纸等渲染信息，提高渲染信息绘制的准确性；再例如，可基于眼睑线对图像进行美颜或美妆等处理，提高美颜或美妆效果。
在一个可选示例中，嘴部关键点信息定位深度神经网络从嘴巴图像块中提取出的器官关键点通常包括：嘴唇线的关键点，例如，上嘴唇线的关键点和下嘴唇线的关键点。可选的，上嘴唇线的关键点可以包括：上嘴唇上唇线的关键点，也可以包括：上嘴唇上唇线的关键点和上嘴唇下唇线的关键点。下嘴唇线的关键点可以包括：下嘴唇上唇线的关键点，也可以包括：下嘴唇上唇线的关键点和下嘴唇下唇线的关键点。
本申请中所述唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。例如，上嘴唇的唇线由上嘴唇上轮廓处的16-21个关键点以及上嘴唇下轮廓处的16-21个关键点一起表示的轨迹信息或拟合线，可选示例如图3所示。又例如，下嘴唇的唇线由下嘴唇上轮廓处的16-21个关键点以及下嘴唇下轮廓处的16-21个关键点一起表示的轨迹信息或拟合线，可选示例如图4所示。
在实际应用过程中，并非关键点数量越多系统性能就越优越。例如，关键点数量一定程度上有利于提高描述嘴唇的形状的准确度，但也带来很大的计算开销、降低运算速度。在对深度神经网络的效率以及描述嘴唇的形状的准确度等因素进行综合考虑后，可将单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线表示为唇线信息，使用唇线信息所描述出的嘴唇的形状的准确度能够满足目前对嘴唇形状或嘴巴状态检测有精准要求的多种应用的需求，还有利于对嘴巴张合状态，如张嘴状态、哈欠状态、闭嘴状态等检测。
需要特别说明的是，本申请中的上嘴唇上唇线、上嘴唇下唇线、下嘴唇上唇线以及下嘴唇下唇线在两侧嘴角处的交汇点为两个嘴角关键点，任一嘴角关键点可以被划归为上嘴唇上唇线、上嘴唇下唇线、下嘴唇上唇线或者下嘴唇下唇线。当然，两个嘴角关键点也可以既不属于上嘴唇上唇线和上嘴唇下唇线，也不属于下嘴唇上唇线和下嘴唇下唇线，而独立存在。
本申请通过嘴部关键点信息定位深度神经网络提取出的嘴唇线的关键点的数量大于初始人脸关键点信息所包含的位于嘴巴位置处的关键点的数量。本申请通过嘴部关键点信息定位深度神经网络提取出的嘴唇线的关键点可以拟合出表示上嘴唇形状的曲线C，如可以拟合出上嘴唇上唇线曲线和上嘴唇下唇线曲线，这二条曲线形成曲线C；通过106个初始人脸关键点信息中的位于嘴巴位置处的关键点可以拟合出表示上嘴唇形状的曲线D，通过实际计算，本申请中的曲线C与实际上嘴唇形状的曲线的误差度，为曲线D与实际上嘴唇形状的曲线的误差度的1/5—1/10。由此可知，本申请通过针对嘴巴图像块单独提取唇线的关键点，可以有效提高利用提取出的关键点描述嘴唇的形状的准确度。通常情况下，由于嘴巴会随着人的面部表情的变化而发生较为明显的变化，因此，本申请技术方案有利于提高唇部关键点信息提取的精度和准确度，提高后续基于这些关键点信息应用的准确性，例如在确定人的面部表情时，可以将唇线作为一个重要的参考因素，有利于提高确定人的面部表情的准确性；又例如在进行图像渲染时，可基于唇线并采用计算机绘图方式在图像的唇部绘制如贴纸等渲染信息，提高渲染信息绘制的准确性；再例如，可基于唇线进行图像的美颜或美妆处理，提高美颜或美妆效果。
除了上述眼睑线信息、唇线信息之外，器官的关键点信息还可以包括鼻子关键点信息、眉毛关键点、眼睛中心等。在一个可选示例中，本申请获得的人脸的器官的关键点信息可以用于人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测以及人脸属性(如男/女、年龄或者民族等属性)检测等应用，本申请不限制获得的器官的关键点信息的具体应用范围。
图6为本申请方法一个实施例的流程图。如图6所示，该实施例方法包括：步骤S600、步骤S610、步骤S620以及步骤S630。
S600、切割待处理图像中的人脸的至少一个器官图像块。本步骤的具体内容可以参见图1中针对步骤S100的描述，在此不再详细说明。
S610、将至少一个器官图像块分别输入到至少一个第一神经网络。本步骤的具体内容可以参见图1中针对步骤S610的描述，在此不再详细说明。
S620、经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息。本步骤的具体内容可以参见图1中针对步骤S620的描述，在此不再详细说明。
S630、整合待处理图像的初始人脸关键点信息和上述获得的各相应器官的关键点信息，获得待处理图像的人脸关键点信息。
本申请可以通过多种整合方式对初始人脸关键点信息和各相应器官的关键点信息进行整合处理，下面简单介绍两种整合方式：
第一个可选的例子、基于并集的整合方式；
首先，获取第二神经网络提取出的待处理图像的初始人脸关键点，如获取到的初始人脸关键点可以为21或者68或者106个初始人脸关键点。
其次，对眼睑线的关键点、嘴唇线的关键点和眉毛线的关键点分别进行编号以及位置信息的转换，可选的，眼部关键点信息定位深度神经网络输出的眼睑线的关键点信息通常包括：针对眼睑线的关键点的预定排列顺序所设置的编号(如图2中的编号0至编号21)以及眼睑线的关键点在眼睛图像块中的坐标信息，本申请可以按照预先设定的人脸关键点的排列顺序进行编号转换处理，如将图2中的编号0-21转换为图5中的编号132-153；本申请中的位置信息的转换通常为：将眼睑线的关键点在眼睛图像块中的坐标信息映射到眼睑线的关键点在预处理图像中的坐标信息。对嘴唇线的关键点和眉毛线的关键点进行编号以及位置信息的转换可以参照上述对眼睑线的关键点进行编号以及位置信息的转换描述，在此不再详细说明。另外，本申请通常也会对部分或者全部初始人脸关键点的编号进行转换处理。
最后，将编号以及位置信息转换处理后的眼睑线的关键点信息、嘴唇线的关键点信息和眉毛线的关键点信息与编号转换处理后的初始人脸关键点信息合并在一起，形成待处理图像的人脸关键点信息，例如，形成186，240，220或274等数量的人脸关键点信息。
第二个可选的例子、基于部分替换或者全部替换的整合方式；
首先，获取第二神经网络提取出的待处理图像的初始人脸关键点，如获取到的初始人脸关键点可以为21或者68或者106个初始人脸关键点。
其次，对眼睑线的关键点、嘴唇线的关键点和眉毛线的关键点分别进行编号以及位置信息的转换，对部分或者全部初始人脸关键点的编号进行转换处理，具体如上述第一个可选的例子中的描述，在此不再详细说明。
最后，利用编号以及位置信息转换处理后的眼睑线的关键点信息替换初始人脸关键点信息中的位于眼睛位置处的部分关键点信息，例如，利用图5中编号为132-153的眼睑线的关键点信息替换图7中初始人脸关键点信息中的位于眼睛位置处的编号为52-57、72和73的关键点信息；当然，本申请也可以利用编号以及位置信息转换处理后的眼睑线的关键点信息替换初始人脸关键点信息中的位于眼睛位置处的所有关键点信息，例如，利用图5中编号为132-153的眼睑线的关键点信息替换图7中编号为52-57、72-74以及104的关键点信息。本申请还应利用编号以及位置信息转换处理后的嘴唇线的关键点信息和眉毛线的关键点信息替换编号转换处理后的初始人脸关键点信息中的位于嘴唇位置处和眉毛位置处的所有关键点信息，形成待处理图像的人脸关键点信息。可以理解，图7中编号为52-57、72-74以及104的关键点信息也可保留，用来定位眼睛位置，如用来定位眼睛区域。
一个可选的示例中，从图像中提取的最终的人脸关键点信息可为大于106的某一数量的关键点，如可根据业务应用的需要提取186、240、220或274点关键点。一个可选的示例中，所述人脸关键点信息包括：
1、眼部关键点信息(48-72)个，包括：用于定位眼睛位置(包括用来定位眼睛区域的关键点和眼球位置的关键点)(4-24)个关键点、眼睑线信息包括的(44-48)个关键点(如双眼对应的四条眼睑线)；
2、嘴部关键点信息(60-84)个，包括：用于定位嘴巴位置的(0-20)个关键点，唇线包括的(60-64)个关键点(如双唇对应的两条唇线)；
3、眉毛区域包括的(26-58)个关键点；
4、鼻子区域包括的(15-27)个关键点；
5、脸部轮廓的(33-37)个关键点。
采用上述数量和比例的人脸关键点信息可在计算开销、定位精度和准确度方便很好地权衡，满足多数业务应用的精准要求。
在一个可选示例中，本申请的第一神经网络通常包括输入层、多个用于提取特征的卷积层、至少一个用于确定器官关键点在器官图像块中的坐标信息的全连接层以及输出层。用于训练第一神经网络的样本数据集通常包括多个图像样本。每一个图像样本中均包含有人脸图像。每一个图像样本都标注有人脸关键点标注数据，例如，每一个图像样本都标注有多于106个关键点的编号以及各关键点在图像样本中的坐标信息。在训练第一神经网络时，先从样本数据集中选取一个图像样本，并将图像样本输入给第一神经网络，第一神经网络的输入层根据图像样本的标注数据将图像样本剪切出眼睛图像块或者眉毛图像块或者嘴巴图像块等器官图像块，并调整剪切出的器官图像块的大小，之后，输入层对器官图像块中的各关键点的编号以及坐标信息进行转换处理，使标注数据中的相应器官关键点在整个图像样本中的所有关键点中的编号以及相应器官关键点在图样本中的坐标信息转换为在器官图像块中的所有关键点中的编号以及在器官图像块中的坐标信息；剪切并调整大小后的器官图像块提供给用于提取特征的卷积层，由卷积层提取器官图像块的图像特征，之后，用于确定器官关键点在器官图像块中的坐标信息的全连接层根据提取出的图像特征确定器官图像块中的各关键点的编号以及各关键点的坐标信息，并通过第一神经网络的输出层输出多组数据，每一组数据均包括一个关键点的编号以及该关键点的坐标信息。本申请可以利用输入层转换处理后的关键点的编号以及关键点的坐标信息对第一神经网络的输出层输出的多组数据进行监督学习；重复上述训练过程，在第一神经网络输出的各关键点的坐标信息的误差满足预定误差要求时，第一神经网络训练成功。
在一个可选示例中，本申请中的图像样本中的各器官关键点标注数据是通过下述过程标注的：首先，确定人脸的相应器官的曲线控制点(如眼睛的上/下眼睑线控制点、嘴巴的上/下嘴唇上/下唇线控制点等)；其次，根据上述曲线控制点形成一曲线；再次，采用插值方式(如均匀插值方式或者非均匀插值方式)在该曲线中插入多个点，例如，如果该曲线为单眼上眼睑线或下眼睑线，则插入10-15(如11)个点；再例如，如果该曲线为嘴巴的上嘴唇上/下唇线，则插入16-21(如17)个点；再例如，如果该曲线为嘴巴的下嘴唇上/下唇线，则插入16-21(如16)个点。在曲线中插入的点在图像样本中的坐标信息即为相应器官关键点标注数据中的坐标信息，在曲线中插入的点的顺序编号会被转换为图像样本中的相应器官关键点标注数据中的编号。
需要特别说明的是，本申请中针对一条曲线所插入的点的数量可以根据实际需求确定，但是，针对一条曲线所插入的点的数量应保证：经插入的点所拟合形成的曲线相对人脸的实际器官曲线的误差度，为由曲线控制点形成的曲线相对人脸的实际器官曲线的误差度的1/5—1/10。由此可知，本申请为图像样本所形成的器官关键点标注数据所表达出的形状，能够更接近实际的器官形状，从而更有利于训练第一神经网络。
图8为本申请方法一个实施例的流程图。如图8所示，该实施例方法包括：步骤S800以及步骤S810。
S800、获取包括人脸至少部分区域的待处理图像。
在一个可选示例中，本申请的包括人脸至少部分区域的待处理图像可以为左眼图像或者右眼图像或者双眼图像，本申请的包括人脸至少部分区域的待处理图像也可以为包括多个不同类型的人脸器官的图像。
在一个可选示例中，本申请可以以待处理图像的初始人脸关键点信息为依据，对待处理图像进行切割处理，以获得单眼图像块或双眼图像块，获得的单眼图像块或双眼图像块成为输入给神经网络的待处理图像。另外，本申请可以调整获得的单眼图像块或双眼图像块的大小，调整大小后的单眼图像块或双眼图像块成为输入给神经网络的待处理图像。
S810、基于神经网络从待处理图像中提取眼睑线信息。
在一个可选示例中，本申请的眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
在一个可选示例中，本申请的神经网络(即上述方法实施例中描述的第一神经网络)是基于样本数据集训练获得的神经网络。用于训练神经网络的样本数据集包括：眼部关键点标注数据。可选的，眼部关键点标注数据的设置方式可以包括：首先，确定眼睑线的曲线控制点；其次，根据曲线控制点形成第一曲线；最后，采用插值方式在该第一曲线中插入多个点，插入的点的信息即为眼部关键点标注数据。经插入的点拟合形成的第二曲线相对真实的眼睑线的误差度，为第一曲线相对真实的眼睑线的误差度的1/5—1/10。
本实施例中的眼睑线信息以及神经网络的训练过程等相关内容的具体描述可以参见上述方法实施例中的描述，在此不再详细说明。
图9为本申请方法一个实施例的流程图。如图9所示，该实施例方法包括：步骤S900以及步骤S910。
S900、获取包括人脸至少部分区域的待处理图像。
在一个可选示例中，本申请的包括人脸至少部分区域的待处理图像可以为上嘴唇图像或者下嘴唇图像或者包含上嘴唇和下嘴唇的嘴巴图像，本申请的包括人脸至少部分区域的待处理图像也可以为包括多个不同类型的人脸器官的图像。
在一个可选示例中，本申请可以以待处理图像的初始人脸关键点信息为依据，对待处理图像进行切割处理，以获得上嘴唇图像块或下嘴唇图像块或者双唇图像块(即包括有上嘴唇和下嘴唇的嘴巴图像块)，获得的上嘴唇图像块或下嘴唇图像块或者双唇图像块成为输入给神经网络的待处理图像。另外，本申请可以调整获得的上嘴唇图像块或下嘴唇图像块或者双唇图像块的大小，调整大小后的上嘴唇图像块或下嘴唇图像块或者嘴巴图像块成为输入给神经网络的待处理图像。
S910、基于神经网络从待处理图像中提取唇线信息。
在一个可选示例中，本申请的唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
在一个可选示例中，本申请的神经网络(即上述方法实施例中描述的第一神经网络)是基于样本数据集训练获得的神经网络。用于训练神经网络的样本数据集包括：嘴唇部关键点标注数据。可选的，嘴唇部关键点标注数据的设置方式可以包括：首先，确定唇线的曲线控制点；其次，根据曲线控制点形成第一曲线；最后，采用插值方式在该第一曲线中插入多个点，插入的点的信息即为嘴唇部关键点标注数据。经插入的点拟合形成的第二曲线相对真实的唇线的误差度，为第一曲线相对真实的唇线的误差度的1/5—1/10。
本实施例中的唇线信息以及神经网络的训练过程等相关内容的具体描述可以参见上述方法实施例中的描述，在此不再详细说明。
图10为本申请装置一个实施例的结构示意图。如图10所示，该实施例的装置主要包括：切割模块1000、输入模块1010以及提取器官关键点模块1020。可选的，该实施例的装置还可以包括：第一获取模块1030、整合模块1040、第一训练模块1050、第一标注模块1060以及应用处理模块1070。
切割模块1000主要用于切割待处理图像中的人脸的至少一个器官图像块。
输入模块1010主要用于将至少一个器官图像块分别输入到至少一个第一神经网络。其中，至少两个不同类别的器官对应不同的第一神经网络。
提取器官关键点模块1020主要用于经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息。
第一获取模块1030主要用于获取待处理图像的初始人脸关键点信息。
整合模块1040主要用于整合初始人脸关键点信息和各相应器官的关键点信息，获得待处理图像的人脸关键点信息。
第一训练模块1050主要用于基于样本数据集训练第一神经网络。其中的样本数据集包括：人脸的器官图像的关键点标注数据。
第一标注模块1060主要用于获取人脸的器官图像的关键点标注数据。第一标注模块1060具体执行的操作包括：确定人脸的器官的曲线控制点；根据曲线控制点形成第一曲线；采用插值方式在第一曲线中插入多个点，其中插入的点的信息为关键点标注数据。
应用处理模块1070主要用于根据得到的人脸的相应器官的关键点信息进行以下至少之一处理：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
图11为本申请装置一个实施例的结构示意图。如图11所示，该实施例的装置主要包括：第二获取模块1100和提取眼睑线模块1110。可选的，该装置还可以包括：第二训练模块1120以及第二标注模块1130。
第二获取模块1100主要用于获取包括人脸至少部分区域的待处理图像。
提取眼睑线模块1110主要用于基于神经网络从待处理图像中提取眼睑线信息，其中的眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
第二训练模块1120主要用于基于样本数据集训练神经网络，其中的样本数据集包括：眼部关键点标注数据。
第二标注模块1130主要用于获取眼部关键点标注数据，第二标注模块1130所执行的操作具体包括：确定眼睑线的曲线控制点；根据曲线控制点形成第一曲线；采用插值方式在第一曲线中插入多个点，其中插入的点的信息为眼部关键点标注数据。
图12为本申请装置一个实施例的结构示意图。如图12所示，该实施例的装置主要包括：第二获取模块1100以及提取唇线模块1200。可选的，该装置还可以包括：第三训练模块1210以及第三标注模块1220。
第二获取模块1100主要用于获取包括人脸至少部分区域的待处理图像。
提取唇线模块1200主要用于基于神经网络从待处理图像中提取唇线信息，其中的唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
第三训练模块1210主要用于基于样本数据集训练神经网络，其中的样本数据集包括：嘴唇部关键点标注数据。
第三标注模块1220主要用于获取嘴唇部关键点标注数据，第三标注模块1220具体执行的操作包括：确定唇线的曲线控制点；根据曲线控制点形成第一曲线；采用插值方式在第一曲线中插入多个点，其中插入的点的信息为嘴唇部关键点标注数据。
上述各模块所执行的操作可以参见上述方法实施例中的相关描述，在此不再详细说明。
示例性设备
图13示出了适于实现本申请的示例性设备1300，设备1300可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图13中，设备1300包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)1301，和/或，一个或者多个图像处理器(GPU)1313等，处理器可以根据存储在只读存储器(ROM)1302中的可执行指令或者从存储部分1308加载到随机访问存储器(RAM)1303中的可执行指令而执行各种适当的动作和处理。通信部1312可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器1302和/或随机访问存储器1330中通信以执行可执行指令，通过总线1304与通信部1312相连、并经通信部1312与其他目标设备通信，从而完成本申请中的相应步骤。
在一个可选的示例中，处理器所执行的指令包括：用于切割待处理图像中的人脸的至少一个器官图像块的指令；用于将至少一个器官图像块分别输入到至少一个第一神经网络的指令，其中，至少两个不同类别的器官对应不同的第一神经网络；用于经至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息的指令。处理器所执行的指令还可以可选的包括：用于获取待处理图像的初始人脸关键点信息的指令；用于整合初始人脸关键点信息和各相应器官的关键点信息，获得待处理图像的人脸关键点信息的指令；用于基于样本数据集训练所述第一神经网络的指令，其中的样本数据集包括：人脸的器官图像的关键点标注数据；用于获取人脸的器官图像的关键点标注数据的指令，用于获取人脸的器官图像的关键点标注数据的指令具体包括：用于确定人脸的器官的曲线控制点的指令；用于根据曲线控制点形成第一曲线的指令；以及用于采用插值方式在第一曲线中插入多个点的指令，插入的点的信息为关键点标注数据。用于根据得到的人脸的相应器官的关键点信息进行以下至少之一处理的指令：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、属性检测。
在一个可选的示例中，处理器所执行的指令包括：用于获取包括人脸至少部分区域的待处理图像的指令；用于基于神经网络从待处理图像中提取眼睑线信息的指令，其中的眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。处理器所执行的指令还可以可选的包括：用于基于样本数据集训练神经网络的指令，其中的样本数据集包括：眼部关键点标注数据。用于获取眼部关键点标注数据的指令，用于获取眼部关键点标注数据的指令具体包括：用于确定眼睑线的曲线控制点的指令；用于根据曲线控制点形成第一曲线的指令；以及用于采用插值方式在所述第一曲线中插入多个点的指令，其中插入的点的信息为眼部关键点标注数据。
在一个可选的示例中，处理器所执行的指令包括：用于获取包括人脸至少部分区域的待处理图像的指令；用于基于神经网络从待处理图像中提取唇线信息的指令，其中的唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。处理器所执行的指令还可以可选的包括：用于基于样本数据集训练神经网络的指令，其中的样本数据集包括：嘴唇部关键点标注数据。用于获取嘴唇部关键点标注数据的指令，用于获取嘴唇部关键点标注数据的指令具体包括：用于确定唇线的曲线控制点的指令；用于根据曲线控制点形成第一曲线的指令；以及用于采用插值方式述第一曲线中插入多个点的指令，其中插入的点的信息为嘴唇部关键点标注数据。
上述各指令所执行的操作可以参见上述方法实施例中的相关描述，在此不再详细说明。
此外，在RAM 1303中，还可以存储有装置操作所需的各种程序以及数据。CPU1301、ROM1302以及RAM1303通过总线1304彼此相连。在有RAM1303的情况下，ROM1302为可选模块。RAM1303存储可执行指令，或在运行时向ROM1302中写入可执行指令，可执行指令使中央处理单元1301执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口1305也连接至总线1304。通信部1312可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。
以下部件连接至I/O接口1305：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装在存储部分1308中。
需要特别说明的是，如图13所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图13的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU和CPU可分离设置，再如理，可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。
特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本申请提供的步骤对应的指令，例如，。
在这样的实施方式中，该计算机程序可以通过通信部分1309从网络上被下载及安装，和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时，执行本申请中记载的上述指令。
可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施方式是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种人脸图像处理方法，其特征在于，包括：
切割待处理图像中的人脸的至少一个器官图像块；
将所述至少一个器官图像块分别输入到至少一个第一神经网络，其中，至少两个不同类别的器官对应不同的第一神经网络；
经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息。
2.一种人脸图像处理方法，其特征在于，包括：
获取包括人脸至少部分区域的待处理图像；
基于神经网络从所述待处理图像中提取眼睑线信息，所述眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
3.一种人脸图像处理方法，其特征在于，包括：
获取包括人脸至少部分区域的待处理图像；
基于神经网络从所述待处理图像中提取唇线信息，所述唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
4.一种人脸图像处理装置，其特征在于，包括：
切割模块，用于切割待处理图像中的人脸的至少一个器官图像块；
输入模块，用于将所述至少一个器官图像块分别输入到至少一个第一神经网络，其中，至少两个不同类别的器官对应不同的第一神经网络；
提取器官关键点模块，用于经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息。
5.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：
用于切割待处理图像中的人脸的至少一个器官图像块的指令；
用于将所述至少一个器官图像块分别输入到至少一个第一神经网络的指令，其中，至少两个不同类别的器官对应不同的第一神经网络；
用于经所述至少一个第一神经网络分别提取各自输入的器官图像块的器官的关键点信息，分别得到人脸的各相应器官的关键点信息的指令。
6.一种人脸图像处理装置，其特征在于，包括：
第二获取模块，用于获取包括人脸至少部分区域的待处理图像；
提取眼睑线模块，用于基于神经网络从所述待处理图像中提取眼睑线信息，所述眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
7.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：
用于获取包括人脸至少部分区域的待处理图像的指令；
用于基于神经网络从所述待处理图像中提取眼睑线信息的指令，所述眼睑线信息包括：由单眼上眼睑处或下眼睑处的10-15个关键点表示的轨迹信息或拟合线。
8.一种人脸图像处理装置，其特征在于，包括：
第二获取模块，用于获取包括人脸至少部分区域的待处理图像；
提取唇线模块，用于基于神经网络从所述待处理图像中提取唇线信息，所述唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
9.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：
用于获取包括人脸至少部分区域的待处理图像的指令；
用于基于神经网络从所述待处理图像中提取唇线信息的指令，所述唇线信息包括：由单唇上下轮廓处各自的16-21个关键点表示的轨迹信息或拟合线。
10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述权利要求1所述的方法。
CN201710677556.8A 2017-08-09 2017-08-09 人脸图像处理方法、装置和电子设备 Pending CN108229293A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710677556.8A CN108229293A (zh) 2017-08-09 2017-08-09 人脸图像处理方法、装置和电子设备
CN202110473985.XA CN113128449A (zh) 2017-08-09 2017-08-09 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置
CN202110475720.3A CN113205040A (zh) 2017-08-09 2017-08-09 人脸图像处理方法、装置和电子设备
PCT/CN2018/098999 WO2019029486A1 (zh) 2017-08-09 2018-08-06 人脸图像处理方法、装置和电子设备
US16/456,738 US11227147B2 (en) 2017-08-09 2019-06-28 Face image processing methods and apparatuses, and electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710677556.8A CN108229293A (zh) 2017-08-09 2017-08-09 人脸图像处理方法、装置和电子设备

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202110475720.3A Division CN113205040A (zh) 2017-08-09 2017-08-09 人脸图像处理方法、装置和电子设备
CN202110473985.XA Division CN113128449A (zh) 2017-08-09 2017-08-09 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN108229293A true CN108229293A (zh) 2018-06-29

Family

ID=62654894

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110473985.XA Pending CN113128449A (zh) 2017-08-09 2017-08-09 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置
CN201710677556.8A Pending CN108229293A (zh) 2017-08-09 2017-08-09 人脸图像处理方法、装置和电子设备
CN202110475720.3A Pending CN113205040A (zh) 2017-08-09 2017-08-09 人脸图像处理方法、装置和电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110473985.XA Pending CN113128449A (zh) 2017-08-09 2017-08-09 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110475720.3A Pending CN113205040A (zh) 2017-08-09 2017-08-09 人脸图像处理方法、装置和电子设备

Country Status (3)

Country Link
US (1) US11227147B2 (zh)
CN (3) CN113128449A (zh)
WO (1) WO2019029486A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165571A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
WO2019029486A1 (zh) * 2017-08-09 2019-02-14 北京市商汤科技开发有限公司 人脸图像处理方法、装置和电子设备
CN109522863A (zh) * 2018-11-28 2019-03-26 北京达佳互联信息技术有限公司 耳部关键点检测方法、装置及存储介质
CN110110695A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110706203A (zh) * 2019-09-06 2020-01-17 成都玻尔兹曼智贝科技有限公司 基于深度学习的头颅侧位片关键点自动侦测方法及系统
CN110826372A (zh) * 2018-08-10 2020-02-21 浙江宇视科技有限公司 人脸特征点检测方法及装置
CN111209873A (zh) * 2020-01-09 2020-05-29 杭州趣维科技有限公司 一种基于深度学习的高精度人脸关键点定位方法及系统
CN111309138A (zh) * 2018-12-12 2020-06-19 简韶逸 降低眼球追踪运算的方法和其眼动追踪装置
CN111476151A (zh) * 2020-04-03 2020-07-31 广州市百果园信息技术有限公司 眼球检测方法、装置、设备及存储介质
CN112101257A (zh) * 2020-09-21 2020-12-18 北京字节跳动网络技术有限公司 训练样本生成方法、图像处理方法、装置、设备和介质
CN112560555A (zh) * 2019-09-25 2021-03-26 北京中关村科金技术有限公司 扩充关键点的方法、装置以及存储介质
CN112597944A (zh) * 2020-12-29 2021-04-02 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN112613447A (zh) * 2020-12-29 2021-04-06 上海商汤智能科技有限公司 关键点检测方法及装置、电子设备和存储介质
WO2021196718A1 (zh) * 2020-03-30 2021-10-07 北京市商汤科技开发有限公司 关键点检测的方法和装置、电子设备、存储介质及计算机程序
WO2022188547A1 (zh) * 2021-03-09 2022-09-15 杭州朝厚信息科技有限公司 X线头影图像的关键点检测方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
CN110188613A (zh) * 2019-04-28 2019-08-30 上海鹰瞳医疗科技有限公司 图像分类方法及设备
CN110322416B (zh) * 2019-07-09 2022-11-18 腾讯科技（深圳）有限公司 图像数据处理方法、装置以及计算机可读存储介质
CN110580680B (zh) * 2019-09-09 2022-07-05 武汉工程大学 基于组合学习的人脸超分辨率方法及装置
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN115699130A (zh) 2020-03-31 2023-02-03 斯纳普公司 增强现实美容产品教程
AU2021289204A1 (en) * 2020-06-09 2022-06-09 Oral Tech Ai Pty Ltd Computer-implemented detection and processing of oral features
CN113221698B (zh) * 2021-04-29 2023-08-15 北京科技大学 一种基于深度学习和表情识别的面部关键点定位方法
CN113837067B (zh) * 2021-09-18 2023-06-02 成都数字天空科技有限公司 器官轮廓检测方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268591A (zh) * 2014-09-19 2015-01-07 海信集团有限公司 一种面部关键点检测方法及装置
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及系统
CN105981041A (zh) * 2014-05-29 2016-09-28 北京旷视科技有限公司 使用粗到细级联神经网络的面部关键点定位

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050272517A1 (en) * 2001-06-11 2005-12-08 Recognition Insight, Llc Swing position recognition and reinforcement
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
DE602005022718D1 (de) * 2004-06-21 2010-09-16 Google Inc Einzelbildbasiertes multi-biometrisches system und verfahren
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
JP2010041604A (ja) * 2008-08-07 2010-02-18 Fujitsu Ltd ネットワーク管理方法
WO2012126135A1 (en) * 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
EP2915101A4 (en) * 2012-11-02 2017-01-11 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
WO2014194439A1 (en) * 2013-06-04 2014-12-11 Intel Corporation Avatar-based video encoding
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
CN106909870A (zh) * 2015-12-22 2017-06-30 中兴通讯股份有限公司 人脸图像的检索方法及装置
CN105469081B (zh) * 2016-01-15 2019-03-22 成都品果科技有限公司 一种用于美颜的人脸关键点定位方法及系统
US10055880B2 (en) * 2016-12-06 2018-08-21 Activision Publishing, Inc. Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
CN113128449A (zh) * 2017-08-09 2021-07-16 北京市商汤科技开发有限公司 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981041A (zh) * 2014-05-29 2016-09-28 北京旷视科技有限公司 使用粗到细级联神经网络的面部关键点定位
CN104268591A (zh) * 2014-09-19 2015-01-07 海信集团有限公司 一种面部关键点检测方法及装置
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XI CHEN等: "Delving Deep into Coarse-to-fine Framework for Facial Landmark Localization", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
白莉欣: "基于唇部特征的讲话人身份识别算法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *
赵宁: "人脸特征点自动标注及表情生成", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019029486A1 (zh) * 2017-08-09 2019-02-14 北京市商汤科技开发有限公司 人脸图像处理方法、装置和电子设备
US11227147B2 (en) 2017-08-09 2022-01-18 Beijing Sensetime Technology Development Co., Ltd Face image processing methods and apparatuses, and electronic devices
CN109165571A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
US11205290B2 (en) 2018-08-03 2021-12-21 Beijing Bytedance Network Technology Co., Ltd. Method and device for inserting an image into a determined region of a target eye image
US11475708B2 (en) 2018-08-10 2022-10-18 Zhejiang Uniview Technologies Co., Ltd. Face feature point detection method and device, equipment and storage medium
CN110826372A (zh) * 2018-08-10 2020-02-21 浙江宇视科技有限公司 人脸特征点检测方法及装置
CN110826372B (zh) * 2018-08-10 2024-04-09 浙江宇视科技有限公司 人脸特征点检测方法及装置
EP3836006A4 (en) * 2018-08-10 2022-05-04 Zhejiang Uniview Technologies Co., Ltd. METHOD AND DEVICE FOR HUMAN FACE FEATURE POINT DETECTION, EQUIPMENT AND INFORMATION MEDIA
CN109522863A (zh) * 2018-11-28 2019-03-26 北京达佳互联信息技术有限公司 耳部关键点检测方法、装置及存储介质
CN111309138A (zh) * 2018-12-12 2020-06-19 简韶逸 降低眼球追踪运算的方法和其眼动追踪装置
CN110110695A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110110695B (zh) * 2019-05-17 2021-03-19 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110706203A (zh) * 2019-09-06 2020-01-17 成都玻尔兹曼智贝科技有限公司 基于深度学习的头颅侧位片关键点自动侦测方法及系统
CN112560555A (zh) * 2019-09-25 2021-03-26 北京中关村科金技术有限公司 扩充关键点的方法、装置以及存储介质
CN111209873A (zh) * 2020-01-09 2020-05-29 杭州趣维科技有限公司 一种基于深度学习的高精度人脸关键点定位方法及系统
WO2021196718A1 (zh) * 2020-03-30 2021-10-07 北京市商汤科技开发有限公司 关键点检测的方法和装置、电子设备、存储介质及计算机程序
WO2021197466A1 (zh) * 2020-04-03 2021-10-07 百果园技术(新加坡)有限公司 眼球检测方法、装置、设备及存储介质
CN111476151B (zh) * 2020-04-03 2023-02-03 广州市百果园信息技术有限公司 眼球检测方法、装置、设备及存储介质
CN111476151A (zh) * 2020-04-03 2020-07-31 广州市百果园信息技术有限公司 眼球检测方法、装置、设备及存储介质
CN112101257B (zh) * 2020-09-21 2022-05-31 北京字节跳动网络技术有限公司 训练样本生成方法、图像处理方法、装置、设备和介质
CN112101257A (zh) * 2020-09-21 2020-12-18 北京字节跳动网络技术有限公司 训练样本生成方法、图像处理方法、装置、设备和介质
CN112613447A (zh) * 2020-12-29 2021-04-06 上海商汤智能科技有限公司 关键点检测方法及装置、电子设备和存储介质
CN112597944A (zh) * 2020-12-29 2021-04-02 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
WO2022142298A1 (zh) * 2020-12-29 2022-07-07 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
WO2022188547A1 (zh) * 2021-03-09 2022-09-15 杭州朝厚信息科技有限公司 X线头影图像的关键点检测方法

Also Published As

Publication number Publication date
CN113128449A (zh) 2021-07-16
CN113205040A (zh) 2021-08-03
WO2019029486A1 (zh) 2019-02-14
US20190325200A1 (en) 2019-10-24
US11227147B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
CN108229293A (zh) 人脸图像处理方法、装置和电子设备
CN107679522B (zh) 基于多流lstm的动作识别方法
CN101159064B (zh) 画像生成系统以及按照图像生成画像的方法
CN108830288A (zh) 图像处理方法、神经网络的训练方法、装置、设备及介质
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN110796031A (zh) 基于人工智能的表格识别方法、装置及电子设备
CN108229268A (zh) 表情识别及卷积神经网络模型训练方法、装置和电子设备
US20220157017A1 (en) Method and apparatus for reconstructing 3d model from 2d image, device and storage medium
CN107239725A (zh) 一种信息展示方法、装置及系统
WO2022161234A1 (zh) 图像处理方法及装置、电子设备、存储介质
CN110082135A (zh) 设备故障识别方法、装置和终端设备
CN109034099A (zh) 一种表情识别方法及装置
CN110058699A (zh) 一种基于智能移动设备传感器的用户行为识别方法
CN105760361B (zh) 一种语言模型建立方法及装置
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
WO2019127102A1 (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN108509833A (zh) 一种基于结构化分析字典的人脸识别方法、装置及设备
CN108734078A (zh) 图像处理方法、装置、电子设备、存储介质及程序
CN111985532B (zh) 一种场景级上下文感知的情感识别深度网络方法
CN108319888A (zh) 视频类型的识别方法及装置、计算机终端
CN107066979A (zh) 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
CN110489747A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN115393872B (zh) 一种训练文本分类模型的方法、装置、设备及存储介质
CN108491812A (zh) 人脸识别模型的生成方法和装置
CN110427915A (zh) 用于输出信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629