CN110826372B - 人脸特征点检测方法及装置 - Google Patents

人脸特征点检测方法及装置 Download PDF

Info

Publication number
CN110826372B
CN110826372B CN201810909381.3A CN201810909381A CN110826372B CN 110826372 B CN110826372 B CN 110826372B CN 201810909381 A CN201810909381 A CN 201810909381A CN 110826372 B CN110826372 B CN 110826372B
Authority
CN
China
Prior art keywords
feature
face
feature point
target
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810909381.3A
Other languages
English (en)
Other versions
CN110826372A (zh
Inventor
刘大维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201810909381.3A priority Critical patent/CN110826372B/zh
Priority to PCT/CN2019/075801 priority patent/WO2020029572A1/zh
Priority to US17/266,958 priority patent/US11475708B2/en
Priority to EP19848008.9A priority patent/EP3836006A4/en
Publication of CN110826372A publication Critical patent/CN110826372A/zh
Application granted granted Critical
Publication of CN110826372B publication Critical patent/CN110826372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸特征点检测方法及装置，应用于图像处理设备，所述图像处理设备中存储有特征区检测模型及特征点检测模型，所述方法包括：对待检测人脸图像进行预处理，得到预处理后的目标人脸图像；根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标；对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标。所述人脸特征点检测方法既能对姿态正常的人脸进行精准的特征点定位，也能对姿态异常的人脸进行精准的特征点定位，确保人脸特征点检测效果。

Description

人脸特征点检测方法及装置
技术领域
本发明涉及人脸特征点检测技术领域，具体而言，涉及一种人脸特征点检测方法及装置。
背景技术
随着科学技术的不断发展，人脸特征点检测技术逐步走向成熟，被广泛应用于人工智能交互、视频会议、身份鉴别等领域。人脸特征点检测技术能够利用人脸特征部位附近的信息与各特征点之间的位置关系，对人脸图像中的眉毛、眼睛、鼻子、嘴巴等部位进行精准定位，因此对人脸特征点检测技术而言，如何确保其人脸特征点检测的准确性便是一个极为重要的问题。
目前，业界主流的人脸特征点检测方法均是在默认人脸图像中的人脸姿态正常即人脸图像中人脸区域无遮挡、无缺失的情况下进行的，并无针对人脸姿态异常(例如，人脸区域出现遮挡或缺失)时的特征点检测策略。如果使用这类人脸特征点检测方法对存在姿态异常人脸的人脸图像进行人脸特征点检测的话，所检测到的人脸特征点坐标会出现较大程度的错误，整体的人脸特征点检测效果不佳。
发明内容
为了克服现有技术中的上述不足，本发明的目的在于提供一种人脸特征点检测方法及装置，所述人脸特征点检测方法既能对姿态正常的人脸进行精准的特征点定位，也能对姿态异常的人脸进行精准的特征点定位，确保人脸特征点检测效果。
就方法而言，本发明实施例提供一种人脸特征点检测方法，应用于图像处理设备，所述图像处理设备中存储有用于检测人脸特征区的特征区检测模型，及用于检测人脸特征点的特征点检测模型，所述方法包括：
对待检测人脸图像进行预处理，得到预处理后的目标人脸图像；
根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标；
对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标。其中所述方法通过所述特征区检测模型提取出目标人脸图像中可提取的人脸特征区，通过所述特征点检测模型提取出目标人脸图像中可提取的位于人脸特征区内的目标特征点坐标，然后基于得到的目标特征点坐标得到待检测人脸图像中各人脸特征点的坐标信息，从而实现对存在姿态正常人脸的人脸图像或存在姿态异常人脸的人脸图像进行精准的人脸特征点定位，确保人脸特征点检测效果。
就装置而言，本发明实施例提供一种人脸特征点检测装置，应用于图像处理设备，所述图像处理设备中存储有用于检测人脸特征区的特征区检测模型，及用于检测人脸特征点的特征点检测模型，所述装置包括：
图像预处理模块，用于对待检测人脸图像进行预处理，得到预处理后的目标人脸图像；
目标特征获取模块，用于根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标；
特征点坐标转换模块，用于对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标。
相对于现有技术而言，本发明实施例提供的人脸特征点检测方法及装置具有以下有益效果：所述人脸特征点检测方法既能对姿态正常的人脸进行精准的特征点定位，也能对姿态异常的人脸进行精准的特征点定位，确保人脸特征点检测效果。所述方法应用于图像处理设备，所述图像处理设备中存储有用于检测人脸特征区的特征区检测模型，及用于检测人脸特征点的特征点检测模型。首先，所述方法对待检测人脸图像进行预处理，得到预处理后的目标人脸图像。然后，所述方法根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标。最后，所述方法对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标。其中，所述方法通过所述特征区检测模型提取出存在姿态正常人脸或存在姿态异常人脸的目标人脸图像中可提取的人脸特征区，通过所述特征点检测模型提取出目标人脸图像中可提取的位于人脸特征区内的目标特征点坐标，然后基于得到的目标特征点坐标得到待检测人脸图像中各人脸特征点的坐标信息，从而确保所述方法能够对姿态正常的人脸或姿态异常的人脸进行精准的特征点定位，确保人脸特征点检测效果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明权利要求保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的图像处理设备的一种方框示意图。
图2为本发明实施例提供的人脸特征点检测方法的流程示意图。
图3为图2中所示的步骤S220包括的子步骤的流程示意图之一。
图4为图2中所示的步骤S220包括的子步骤的流程示意图之二。
图5为本发明实施例提供的人脸特征点检测装置的方框示意图。
图6为图5中所示的目标特征获取模块的方框示意图之一。
图7为图5中所示的目标特征获取模块的方框示意图之二。
图标：10-图像处理设备；11-存储器；12-处理器；13-通信单元；100-人脸特征点检测装置；110-图像预处理模块；120-目标特征获取模块；130-特征点坐标转换模块；121-特征点提取子模块；122-特征区提取子模块；123-特征点筛选子模块；125-目标图像获取子模块；126-图像特征获取子模块；127-图像特征转换子模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，是本发明实施例提供的图像处理设备10的一种方框示意图。在本发明实施例中，所述图像处理设备10用于对人脸图像进行人脸特征点检测，所述图像处理设备10包括人脸特征点检测装置100、存储器11、处理器12及通信单元13。所述存储器11、处理器12及通信单元13各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人脸特征点检测装置100包括至少一个能够以软件或固件(firmware)的形式存储于所述存储器11中的软件功能模块，所述处理器12通过运行存储在存储器11内的所述人脸特征点检测装置100对应的软件功能模块，从而执行各种功能应用以及数据处理。
在本实施例中，所述存储器11可用于存储特征区检测模型及特征点检测模型，其中所述特征区检测模型用于检测人脸图像中人脸特征区，所述特征点检测模型用于检测人脸图像中人脸特征点，所述人脸特征区可以包括毛区域、右眉毛区域、左眼睛区域、右眼睛区域、鼻部区域和嘴部区域中的至少一个，所述人脸特征点可以包括每个眉毛的两个角点及其中心点、每个眼睛的两个角点、上下眼皮中心点以及眼睛中心点、鼻尖点、鼻顶点、两个鼻翼点、鼻中隔点、嘴巴的两个角点、嘴巴中心点、上嘴唇的最上点及下嘴唇的最下点中的至少一个。所述特征区检测模型能够从一张人脸图像中检测出该人脸图像中实际存在的所有人脸特征区，针对该人脸图像中人脸姿态异常时所不存在的人脸特征区(被遮挡或缺失)，通过所述特征区检测模型也将无法检测出所述不存在的人脸特征区。所述特征点检测模型能够从一张人脸图像中检测出该人脸图像中实际存在的所有人脸特征点，但不能直接保证检测出的人脸特征点的位置是否正确。
在本实施例中，所述特征区检测模型为基于卷积神经网络采用人工标定人脸特征区的训练样本人脸图像训练得到的检测模型，所述特征点检测模型为基于卷积神经网络采用人工标定人脸特征点的训练样本人脸图像训练得到的检测模型。所述特征区检测模型与所述特征点检测模型可由所述图像处理设备10自身通过训练得到，也可从外部设备获取并存储在所述存储器11内。其中，所述存储器11可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。存储器11还可以用于存储各种应用程序，所述处理器12在接收到执行指令后，执行所述应用程序。进一步地，上述存储器11内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
在本实施例中，所述处理器12可以是一种具有信号处理能力的集成电路芯片。其中所述处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本实施例中，所述通信单元13用于通过网络建立所述图像处理设备10与其他外部设备之间的通信连接，并通过所述网络进行数据传输。
在本实施例中，所述图像处理设备10通过存储在所述存储器11中的人脸特征点检测装置100确保所述图像处理设备10既能对姿态正常的人脸进行精准的特征点定位，也能对姿态异常的人脸进行精准的特征点定位，确保人脸特征点检测效果。
可以理解的是，图1所示的结构仅为图像处理设备10的一种结构示意图，所述图像处理设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，是本发明实施例提供的人脸特征点检测方法的流程示意图。在本发明实施例中，所述人脸特征点检测方法应用于上述的图像处理设备10，所述图像处理设备10中存储有用于检测人脸特征区的特征区检测模型，及用于检测人脸特征点的特征点检测模型。下面对图2所示的人脸特征点检测方法的具体流程和步骤进行详细阐述。
步骤S210，对待检测人脸图像进行预处理，得到预处理后的目标人脸图像。
在本实施例中，所述图像处理设备10在获得一张待检测人脸图像时，可通过对所述待检测人脸图像进行尺寸缩小、尺寸放大等预处理，以将所述待检测人脸图像的尺寸调整为与所述特征区检测模型及所述特征点检测模型匹配的尺寸，从而得到与该待检测人脸图像对应的目标人脸图像，此时所述待检测人脸图像与所述目标人脸图像之间存在映射关系。
步骤S220，根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标。
在本实施例中，所述图像处理设备10通过所述特征区检测模型及所述特征点检测模型可从所述目标人脸图像中获取到位于该目标人脸图像上实际存在的人脸特征区内的目标特征点的相关坐标，以通过所述目标人脸图像中的所有目标特征点坐标得到所述待检测人脸图像上对应的人脸特征点的坐标。
可选地，请参照图3，是图2中所示的步骤S220包括的子步骤的流程示意图之一。在本实施例的一种实施方式中，所述步骤S220可以包括子步骤S221、子步骤S222及子步骤S223。
子步骤S221，基于所述特征点检测模型从所述目标人脸图像中提取出所有的特征点坐标。
在本实施例中，所述图像处理设备10可通过所述特征点检测模型从所述目标人脸图像中提取出该目标人脸图像中存在的所有特征点坐标。
子步骤S222，基于所述特征区检测模型从所述目标人脸图像中提取出所有人脸特征区的特征区坐标。
在本实施例中，所述图像处理设备10可通过所述特征点检测模型从所述目标人脸图像中提取出该目标人脸图像中存在的所有人脸特征区，及每个人脸特征区对应的特征区坐标。
子步骤S223，根据得到的所述特征区坐标从所有特征点坐标中筛选出位于所述特征区坐标对应人脸特征区内的目标特征点坐标。
在本实施例中，所述图像处理设备10通过获取到的所有人脸特征区的特征区坐标，对获取到的所有特征点坐标进行坐标筛选，得到所述目标人脸图像中位于所述人脸特征区内的目标特征点坐标。
可选地，所述根据得到的所述特征区坐标从所有特征点坐标中筛选出位于所述特征区坐标对应人脸特征区内的目标特征点坐标的步骤包括：
将每个特征点坐标与每个人脸特征区域所对应的特征区坐标进行比对，并根据比对结果判断各特征点坐标是否位于某个人脸特征区内；
若存在特征点坐标位于某个人脸特征区内，以所述特征点坐标作为所述目标人脸图像的一个目标特征点坐标。
请参照图4，是图2中所示的步骤S220包括的子步骤的流程示意图之二。在本实施例的另一种实施方式中，所述特征点检测模型的数目为至少一个，每个所述特征点检测模型对应所述特征区检测模型提取出的一个人脸特征区，例如当所述特征区检测模型能够从一张人脸姿态正常的人脸图像提取出6个人脸特征区时，每个人脸特征区将对应一个特征点检测模型，每个人脸特征区对应的特征点检测模型仅用于检测所述人脸图像在该人脸特征区对应的部分图像上所存在的特征点。此时，所述步骤S220可以包括子步骤S225、子步骤S226及子步骤S227。
子步骤S225，根据所述特征区检测模型从所述目标人脸图像中提取出所有人脸特征区在所述目标人脸图像处对应的目标图像。
在本实施例中，所述图像处理设备10通过所述特征区检测模型从所述目标人脸图像中，提取出所述目标人脸图像上存在的所有人脸特征区的特征区坐标，并基于各特征区坐标从所述目标人脸图像中分割出各人脸特征区所对应的目标图像。
子步骤S226，根据人脸特征区与特征点检测模型之间的对应关系，选取匹配的特征点检测模型对每个人脸特征区对应的目标图像进行特征点提取，得到每个目标图像的图像特征点坐标。
在本实施例中，所述图像处理设备10将根据人脸特征区与特征点检测模型之间的对应关系，选取与所述目标人脸图像中各人脸特征区对应的特征点检测模型，分别对每个人脸特征区对应的目标图像进行特征点提取，得到每个目标图像的图像特征点坐标。例如，若一张目标人脸图像上存在的人脸特征区分别是特征区A、特征区B及特征区C，这三个人脸特征区在所述目标人脸图像处对应的目标图像分别为图像A1、图像B1及图像C1，其中特征区A所对应的特征点检测模型为模型1，特征区B所对应的特征点检测模型为模型2，特征区C所对应的特征点检测模型为模型3，则所述图像处理设备10会先将图像A1、图像B1及图像C1各自的尺寸分别调整为模型1、模型2及模型3匹配的尺寸，并以模型1、模型2及模型3分别对调整后的图像A1、图像B1及图像C1进行一对一地特征点提取，得到调整后的图像A1、图像B1及图像C1每张图像上的图像特征点坐标。
步骤S227，根据所述目标人脸图像与各目标图像之间的映射关系，对每个图像特征点坐标进行坐标转换，得到所述目标人脸图像的目标特征点坐标。
在本实施例中，所述图像处理设备10在从所述目标人脸图像中分离出各目标图像时，将得到各目标图像在所述目标人脸图像中各自对应的位置映射关系。所述图像处理设备10在得到每张目标图像上的图像特征点坐标后，将根据所述目标人脸图像与各目标图像之间的映射关系，对每个图像特征点坐标进行坐标转换，得到所述目标人脸图像的目标特征点坐标。
请再次参照图2，步骤S230，对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标。
在本实施例中，所述对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标的步骤包括：
根据所述待检测人脸图像与所述目标人脸图像之间的映射关系，对所述目标人脸图像中的每个所述目标特征点坐标进行坐标转换，得到对应的人脸特征点坐标。
在本实施例中，所述图像处理设备10通过所述特征区检测模型限定了待检测人脸图像中有效特征点的分布情况，即有效特征点应当位于对应的人脸特征区内，并通过所述特征点检测模型获得位于人脸特征区内的人脸特征点坐标，从而通过有效的所述位于人脸特征区内的人脸特征点坐标确保人脸特征点检测效果。所述人脸特征点检测方法即可针对姿态正常的人脸进行精准的特征点定位，也能对姿态异常的人脸进行精准的特征点定位。
请参照图5，是本发明实施例提供的人脸特征点检测装置100的方框示意图。在本发明实施例中，所述人脸特征点检测装置100应用于上述的图像处理设备10，所述图像处理设备10中存储有用于检测人脸特征区的特征区检测模型，及用于检测人脸特征点的特征点检测模型。所述人脸特征点检测装置100包括图像预处理模块110、目标特征获取模块120及特征点坐标转换模块130。
所述图像预处理模块110，用于对待检测人脸图像进行预处理，得到预处理后的目标人脸图像。
在本实施例中，所述图像预处理模块110可以执行图2中所示的步骤S210，具体的执行过程可以参照上文中对步骤S210的详细描述。
所述目标特征获取模块120，用于根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标。
可选地，请参照图6，是图5中所示的目标特征获取模块120的方框示意图之一。在本实施例的一种实施方式中，所述目标特征获取模块120包括特征点提取子模块121、特征区提取子模块122及特征点筛选子模块123。
所述特征点提取子模块121，用于基于所述特征点检测模型从所述目标人脸图像中提取出所有的特征点坐标。
所述特征区提取子模块122，用于基于所述特征区检测模型从所述目标人脸图像中提取出所有人脸特征区的特征区坐标。
所述特征点筛选子模块123，用于根据得到的所述特征区坐标从所有特征点坐标中筛选出位于所述特征区坐标对应人脸特征区内的目标特征点坐标。
在本实施例中，所述特征点提取子模块121、所述特征区提取子模块122及所述特征点筛选子模块123可以分别执行图3中所示的子步骤S221、子步骤S222及子步骤S223，具体的执行过程可以参照上文中对子步骤S221、子步骤S222及子步骤S223的详细描述。
请参照图7，是图5中所示的目标特征获取模块120的方框示意图之二。在本实施例的一种实施方式中，特征点检测模型的数目为至少一个，每个所述特征点检测模型对应所述特征区检测模型提取出的一个人脸特征区，所述目标特征获取模块120包括目标图像获取子模块125、图像特征获取子模块126及图像特征转换子模块127。
所述目标图像获取子模块125，用于根据所述特征区检测模型从所述目标人脸图像中提取出所有人脸特征区在所述目标人脸图像处对应的目标图像。
所述图像特征获取子模块126，用于根据人脸特征区与特征点检测模型之间的对应关系，选取匹配的特征点检测模型对每个人脸特征区对应的目标图像进行特征点提取，得到每个目标图像的图像特征点坐标。
所述图像特征转换子模块127，用于根据所述目标人脸图像与各目标图像之间的映射关系，对每个图像特征点坐标进行坐标转换，得到所述目标人脸图像的目标特征点坐标。
在本实施例中，所述目标图像获取子模块125、所述图像特征获取子模块126及所述图像特征转换子模块127可以分别执行图4中所示的子步骤S225、子步骤S226及子步骤S227，具体的执行过程可以参照上文中对子步骤S225、子步骤S226及子步骤S227的详细描述。
请再次参照图5，所述特征点坐标转换模块130，用于对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标。
在本实施例中，所述特征点坐标转换模块130可以执行图2中所示的步骤S230，具体的执行过程可以参照上文中对步骤S230的详细描述。
综上所述，在本发明实施例提供的人脸特征点检测方法及装置中，所述人脸特征点检测方法既能对姿态正常的人脸进行精准的特征点定位，也能对姿态异常的人脸进行精准的特征点定位，确保人脸特征点检测效果。所述方法应用于图像处理设备，所述图像处理设备中存储有用于检测人脸特征区的特征区检测模型，及用于检测人脸特征点的特征点检测模型。首先，所述方法对待检测人脸图像进行预处理，得到预处理后的目标人脸图像。然后，所述方法根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标。最后，所述方法对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标。其中，所述方法通过所述特征区检测模型提取出存在姿态正常人脸或存在姿态异常人脸的目标人脸图像中可提取的人脸特征区，通过所述特征点检测模型提取出目标人脸图像中可提取的位于人脸特征区内的目标特征点坐标，然后基于得到的目标特征点坐标得到待检测人脸图像中各人脸特征点的坐标信息，从而确保所述方法能够对姿态正常的人脸图像或姿态异常的人脸进行精准的特征点定位，确保人脸特征点检测效果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种人脸特征点检测方法，其特征在于，应用于图像处理设备，所述图像处理设备中存储有用于检测人脸特征区的特征区检测模型，及用于检测人脸特征点的特征点检测模型，所述方法包括：
对待检测人脸图像进行预处理，得到预处理后的目标人脸图像；
根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标；
对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标；
其中，所述根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标的步骤包括：
基于所述特征点检测模型从所述目标人脸图像中提取出所有的特征点坐标：
基于所述特征区检测模型从所述目标人脸图像中提取出所有人脸特征区的特征区坐标；
根据得到的所述特征区坐标从所有特征点坐标中筛选出位于所述特征区坐标对应人脸特征区内的目标特征点坐标。
2.根据权利要求1所述的方法，其特征在于，所述根据得到的所述特征区坐标从所有特征点坐标中筛选出位于所述特征区坐标对应人脸特征区内的目标特征点坐标的步骤包括：
将每个特征点坐标与每个人脸特征区域所对应的特征区坐标进行比对，并根据比对结果判断各特征点坐标是否位于某个人脸特征区内；
若存在特征点坐标位于某个人脸特征区内，以所述特征点坐标作为所述目标人脸图像的一个目标特征点坐标。
3.根据权利要求1-2中任意一项所述的方法，其特征在于，所述对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标的步骤包括：
根据所述待检测人脸图像与所述目标人脸图像之间的映射关系，对所述目标人脸图像中的每个所述目标特征点坐标进行坐标转换，得到对应的人脸特征点坐标。
4.一种人脸特征点检测装置，其特征在于，应用于图像处理设备，所述图像处理设备中存储有用于检测人脸特征区的特征区检测模型，及用于检测人脸特征点的特征点检测模型，所述装置包括：
图像预处理模块，用于对待检测人脸图像进行预处理，得到预处理后的目标人脸图像；
目标特征获取模块，用于根据所述特征区检测模型及所述特征点检测模型对所述目标人脸图像进行特征点提取，得到所述目标人脸图像的位于人脸特征区内的目标特征点坐标；
特征点坐标转换模块，用于对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标；
其中，所述目标特征获取模块包括：
特征点提取子模块，用于基于所述特征点检测模型从所述目标人脸图像中提取出所有的特征点坐标：
特征区提取子模块，用于基于所述特征区检测模型从所述目标人脸图像中提取出所有人脸特征区的特征区坐标；
特征点筛选子模块，用于根据得到的所述特征区坐标从所有特征点坐标中筛选出位于所述特征区坐标对应人脸特征区内的目标特征点坐标。
5.根据权利要求4所述的装置，其特征在于，所述特征点筛选子模块根据得到的所述特征区坐标从所有特征点坐标中筛选出位于所述特征区坐标对应人脸特征区内的目标特征点坐标的方式包括：
将每个特征点坐标与每个人脸特征区域所对应的特征区坐标进行比对，并根据比对结果判断各特征点坐标是否位于某个人脸特征区内；
若存在特征点坐标位于某个人脸特征区内，以所述特征点坐标作为所述目标人脸图像的一个目标特征点坐标。
6.根据权利要求4-5中任意一项所述的装置，其特征在于，所述特征点坐标转换模块对得到的所述目标特征点坐标进行坐标转换，得到所述待检测人脸图像对应的人脸特征点坐标的方式包括：
根据所述待检测人脸图像与所述目标人脸图像之间的映射关系，对所述目标人脸图像中的每个所述目标特征点坐标进行坐标转换，得到对应的人脸特征点坐标。
CN201810909381.3A 2018-08-10 2018-08-10 人脸特征点检测方法及装置 Active CN110826372B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810909381.3A CN110826372B (zh) 2018-08-10 2018-08-10 人脸特征点检测方法及装置
PCT/CN2019/075801 WO2020029572A1 (zh) 2018-08-10 2019-02-22 人脸特征点检测方法及装置、设备及存储介质
US17/266,958 US11475708B2 (en) 2018-08-10 2019-02-22 Face feature point detection method and device, equipment and storage medium
EP19848008.9A EP3836006A4 (en) 2018-08-10 2019-02-22 METHOD AND DEVICE FOR HUMAN FACE FEATURE POINT DETECTION, EQUIPMENT AND INFORMATION MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810909381.3A CN110826372B (zh) 2018-08-10 2018-08-10 人脸特征点检测方法及装置

Publications (2)

Publication Number Publication Date
CN110826372A CN110826372A (zh) 2020-02-21
CN110826372B true CN110826372B (zh) 2024-04-09

Family

ID=69413254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810909381.3A Active CN110826372B (zh) 2018-08-10 2018-08-10 人脸特征点检测方法及装置

Country Status (4)

Country Link
US (1) US11475708B2 (zh)
EP (1) EP3836006A4 (zh)
CN (1) CN110826372B (zh)
WO (1) WO2020029572A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084838B (zh) * 2020-07-20 2022-07-29 河海大学 一种车间安全帽检测方法
CN112699826A (zh) * 2021-01-05 2021-04-23 风变科技（深圳）有限公司 人脸检测方法、装置、计算机设备和存储介质
CN113933293A (zh) * 2021-11-08 2022-01-14 中国联合网络通信集团有限公司 浓度检测方法及装置
CN113933294B (zh) * 2021-11-08 2023-07-18 中国联合网络通信集团有限公司 浓度检测方法及装置
CN114743252B (zh) * 2022-06-10 2022-09-16 中汽研汽车检验中心（天津）有限公司 用于头部模型的特征点筛选方法、设备和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统
CN101350063A (zh) * 2008-09-03 2009-01-21 北京中星微电子有限公司 人脸特征点定位方法及装置
CN103632672A (zh) * 2012-08-28 2014-03-12 腾讯科技（深圳）有限公司 一种变声系统、方法及人机交互系统及方法
CN105426867A (zh) * 2015-12-11 2016-03-23 小米科技有限责任公司 人脸识别验证方法及装置
CN105868767A (zh) * 2015-01-19 2016-08-17 阿里巴巴集团控股有限公司 人脸特征点定位方法和装置
CN106327801A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN106598221A (zh) * 2016-11-17 2017-04-26 电子科技大学 基于眼部关键点检测的3d视线方向估计方法
CN107122650A (zh) * 2017-05-08 2017-09-01 温州立地电子有限公司 一种多层次人脸识别身份认证系统
CN107506747A (zh) * 2017-09-11 2017-12-22 重庆大学 基于视频数据特征点的人脸识别系统及方法
CN107506693A (zh) * 2017-07-24 2017-12-22 深圳市智美达科技股份有限公司 畸变人脸图像校正方法、装置、计算机设备和存储介质
CN107948538A (zh) * 2017-11-14 2018-04-20 广东欧珀移动通信有限公司 成像方法、装置、移动终端和存储介质
CN108206941A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 目标跟踪方法、系统、终端设备及存储介质
CN108229293A (zh) * 2017-08-09 2018-06-29 北京市商汤科技开发有限公司 人脸图像处理方法、装置和电子设备
CN108259782A (zh) * 2016-12-28 2018-07-06 株式会社理光 图像处理装置、摄影系统、图像处理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539519B2 (ja) 2005-10-06 2010-09-08 コニカミノルタホールディングス株式会社 立体モデル生成装置および立体モデル生成方法
CN102054291A (zh) 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
JP2017033547A (ja) * 2015-08-05 2017-02-09 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
CN105139007B (zh) * 2015-09-30 2019-04-16 小米科技有限责任公司 人脸特征点定位方法和装置
KR102518243B1 (ko) * 2016-01-05 2023-04-06 한국전자통신연구원 관상학적 특징 정보를 이용한 얼굴인식 장치 및 방법
CN105574518B (zh) * 2016-01-25 2020-02-21 北京眼神智能科技有限公司 人脸活体检测的方法和装置
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof
CN107767335A (zh) 2017-11-14 2018-03-06 上海易络客网络技术有限公司 一种基于人脸识别特征点定位的图像融合方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统
CN101350063A (zh) * 2008-09-03 2009-01-21 北京中星微电子有限公司 人脸特征点定位方法及装置
CN103632672A (zh) * 2012-08-28 2014-03-12 腾讯科技（深圳）有限公司 一种变声系统、方法及人机交互系统及方法
CN105868767A (zh) * 2015-01-19 2016-08-17 阿里巴巴集团控股有限公司 人脸特征点定位方法和装置
CN106327801A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN105426867A (zh) * 2015-12-11 2016-03-23 小米科技有限责任公司 人脸识别验证方法及装置
CN106598221A (zh) * 2016-11-17 2017-04-26 电子科技大学 基于眼部关键点检测的3d视线方向估计方法
CN108259782A (zh) * 2016-12-28 2018-07-06 株式会社理光 图像处理装置、摄影系统、图像处理方法
CN107122650A (zh) * 2017-05-08 2017-09-01 温州立地电子有限公司 一种多层次人脸识别身份认证系统
CN107506693A (zh) * 2017-07-24 2017-12-22 深圳市智美达科技股份有限公司 畸变人脸图像校正方法、装置、计算机设备和存储介质
CN108229293A (zh) * 2017-08-09 2018-06-29 北京市商汤科技开发有限公司 人脸图像处理方法、装置和电子设备
CN107506747A (zh) * 2017-09-11 2017-12-22 重庆大学 基于视频数据特征点的人脸识别系统及方法
CN108206941A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 目标跟踪方法、系统、终端设备及存储介质
CN107948538A (zh) * 2017-11-14 2018-04-20 广东欧珀移动通信有限公司 成像方法、装置、移动终端和存储介质

Also Published As

Publication number Publication date
CN110826372A (zh) 2020-02-21
US11475708B2 (en) 2022-10-18
WO2020029572A1 (zh) 2020-02-13
EP3836006A4 (en) 2022-05-04
EP3836006A1 (en) 2021-06-16
US20210303827A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
CN110826372B (zh) 人脸特征点检测方法及装置
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
CN109389069B (zh) 注视点判断方法和装置、电子设备和计算机存储介质
US10318797B2 (en) Image processing apparatus and image processing method
KR102597377B1 (ko) 이미지 인식방법, 장치, 기기, 컴퓨터 저장매체 및 컴퓨터 프로그램
CN109635783B (zh) 视频监控方法、装置、终端和介质
CN108985159A (zh) 人眼模型训练方法、人眼识别方法、装置、设备及介质
US11455831B2 (en) Method and apparatus for face classification
KR20180109665A (ko) 객체 검출을 위한 영상 처리 방법 및 장치
CN108229297A (zh) 人脸识别方法和装置、电子设备、计算机存储介质
CN108491823B (zh) 用于生成人眼识别模型的方法和装置
CA3026968C (en) Method and device for identifying pupil in an image
CN108090908B (zh) 图像分割方法、装置、终端及存储介质
CN112348765A (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
CN113034354B (zh) 一种图像处理方法、装置、电子设备和可读存储介质
US20190073522A1 (en) Feature point detection method and apparatus, image processing system, and monitoring system
CN108090486A (zh) 一种台球比赛中的图像处理方法及装置
CN113392681A (zh) 人体跌倒检测方法、装置及终端设备
CN109144250B (zh) 一种位置调节的方法、装置、设备及存储介质
WO2019061659A1 (zh) 人脸图像眼镜去除方法、装置及存储介质
CN106778574A (zh) 用于人脸图像的检测方法和装置
CN111680546A (zh) 注意力检测方法、装置、电子设备及存储介质
CN112750162A (zh) 一种目标识别定位方法和装置
CN113688793A (zh) 人脸模型的训练方法及人脸识别系统
CN113780201B (zh) 手部图像的处理方法及装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant