CN109344742B - 特征点定位方法、装置、存储介质和计算机设备 - Google Patents

特征点定位方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN109344742B
CN109344742B CN201811073920.0A CN201811073920A CN109344742B CN 109344742 B CN109344742 B CN 109344742B CN 201811073920 A CN201811073920 A CN 201811073920A CN 109344742 B CN109344742 B CN 109344742B
Authority
CN
China
Prior art keywords
image
target
sample
difference
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811073920.0A
Other languages
English (en)
Other versions
CN109344742A (zh
Inventor
赵艳丹
晏轶超
曹玮剑
曹赟
葛彦昊
汪铖杰
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811073920.0A priority Critical patent/CN109344742B/zh
Publication of CN109344742A publication Critical patent/CN109344742A/zh
Priority to EP19860589.1A priority patent/EP3852003A4/en
Priority to PCT/CN2019/104241 priority patent/WO2020052476A1/zh
Priority to US17/089,435 priority patent/US11200404B2/en
Application granted granted Critical
Publication of CN109344742B publication Critical patent/CN109344742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明涉及一种特征点定位方法、装置、存储介质和计算机设备，该方法包括：在当前图像中定位目标区域；确定参考图像中目标区域和所述当前图像中目标区域的图像特征差异；所述参考图像为在所述当前图像之前处理的其中一帧包括目标区域的图像；通过特征点位置差异确定模型，并根据所述图像特征差异，确定所述参考图像中目标区域与所述当前图像中目标区域的目标特征点位置差异；根据所述参考图像中目标区域的目标特征点位置和所述目标特征点位置差异，在所述当前图像的目标区域中定位目标特征点。本申请提供的方案提高了特征点定位的准确性。

Description

特征点定位方法、装置、存储介质和计算机设备
技术领域
本发明涉及计算机技术领域，特别是涉及一种特征点定位方法、装置、存储介质和计算机设备。
背景技术
随着计算机技术和图像处理技术的飞速发展，越来越多的领域涉及到在图像处理时需要在图像中进行特征点定位，以根据定位的特征点进行后续应用。比如在人脸图像中定位的人脸特征点可以用于表情识别或者人脸识别等场景。
然而，在很多应用场景都可能出现目标区域被遮挡的情况，如人脸区域可能被头发或者手部遮挡等。传统的特征点定位技术在目标区域被遮挡时，会存在特征点位置定位不准确的问题。
发明内容
基于此，有必要针对目前特征点定位准确率较低的问题，提供一种特征点定位方法、装置、存储介质和计算机设备。
一种特征点定位方法，包括：
在当前图像中定位目标区域；
确定参考图像中目标区域和所述当前图像中目标区域的图像特征差异；所述参考图像为在所述当前图像之前处理的其中一帧包括目标区域的图像；
通过特征点位置差异确定模型，并根据所述图像特征差异，确定所述参考图像中目标区域与所述当前图像中目标区域的目标特征点位置差异；
根据所述参考图像中目标区域的目标特征点位置和所述目标特征点位置差异，在所述当前图像的目标区域中定位目标特征点。
一种特征点定位装置，包括：
目标区域定位模块，用于在当前图像中定位目标区域；
图像特征差异确定模块，用于确定参考图像中目标区域和所述当前图像中目标区域的图像特征差异；所述参考图像为在所述当前图像之前处理的其中一帧包括目标区域的图像；
位置差异确定模块，用于通过特征点位置差异确定模型，并根据所述图像特征差异，确定所述参考图像中目标区域与所述当前图像中目标区域的目标特征点位置差异；
目标特征点定位模块，用于根据所述参考图像中目标区域的目标特征点位置和所述目标特征点位置差异，在所述当前图像的目标区域中定位目标特征点。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
在当前图像中定位目标区域；
确定参考图像中目标区域和所述当前图像中目标区域的图像特征差异；所述参考图像为在所述当前图像之前处理的其中一帧包括目标区域的图像；
通过特征点位置差异确定模型，并根据所述图像特征差异，确定所述参考图像中目标区域与所述当前图像中目标区域的目标特征点位置差异；
根据所述参考图像中目标区域的目标特征点位置和所述目标特征点位置差异，在所述当前图像的目标区域中定位目标特征点。
一种计算机设备，包括存储器和处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
在当前图像中定位目标区域；
确定参考图像中目标区域和所述当前图像中目标区域的图像特征差异；所述参考图像为在所述当前图像之前处理的其中一帧包括目标区域的图像；
通过特征点位置差异确定模型，并根据所述图像特征差异，确定所述参考图像中目标区域与所述当前图像中目标区域的目标特征点位置差异；
根据所述参考图像中目标区域的目标特征点位置和所述目标特征点位置差异，在所述当前图像的目标区域中定位目标特征点。
上述特征点定位方法、装置、存储介质和计算机设备，在当前图像中定位目标区域后，即自动确定参考图像中目标区域和当前图像中目标区域的图像特征差异；这样即可通过特征点位置差异确定模型，并根据该图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异。由于参考图像为在当前图像之前处理的其中一帧图像，那么即可结合参考图像中目标区域的目标特征点位置和前述得到的目标特征点位置差异，在当前图像的目标区域中定位目标特征点。这样，在对当前图像定位目标特征点时，结合已处理图像的图像信息，根据图像之间的目标特征点差异，来定位最终的特征点定位，提高了特征点定位准确率；而且，相较于仅根据当前图像来定位特征点，通过重复利用已处理图像的图像信息，能够平滑不同帧图像间同一特征点的位置突变，极大程度上避免了特征点抖动现象的发生。
附图说明
图1为一个实施例中特征点定位方法的应用环境图；
图2为一个实施例中特征点定位方法的流程示意图；
图3为一个实施例中面部图像的面部特征点的示意图；
图4为一个实施例中在图像中添加附加元素的示意图；
图5为一个实施例中特征点定位方法中模型的连接示意图；
图6为另一个实施例中特征点定位方法中模型的连接示意图；
图7为一个实施例中特征点定位过程的流程示意图；
图8为一个实施例中特征点定位装置的模块结构图；
图9为另一个实施例中特征点定位装置的模块结构图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一个实施例中特征点定位方法的应用环境图。参照图1，该特征点定位方法应用于特征点定位系统。该特征点定位系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120具体可以是独立的服务器，也可以是多个独立的服务器组成的服务器集群。终端110和服务器120均可单独用于执行该特征点定位方法。
具体地，终端110或服务器120可将在当前图像中定位目标区域；终端110或服务器120确定参考图像中目标区域和当前图像中目标区域的图像特征差异；终端110或服务器120通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异；终端110或服务器120根据参考图像中目标区域的目标特征点位置和目标特征点位置差异，在当前图像的目标区域中定位目标特征点。
其中，参考图像为在当前图像之前处理的其中一帧包括目标区域的图像。当前图像可以是终端110通过内置或者外部连接的图像采集装置实时采集的图像。当前图像也可以是已有视频中的其中一帧视频帧。终端110在采集图像后，可在在本地执行该特征点定位方法；也可将采集的图像发送至服务器120，由服务器120执行该特征点定位方法。当然，对于已有视频中图像的处理，终端110可在本地执行，也可交由服务器120执行。
图2为一个实施例中特征点定位方法的流程示意图。本实施例主要以该特征点定位方法应用于计算机设备来举例说明。该计算机设备具体可以是图1所示的终端110或服务器120。参照图2，该特征点定位方法具体包括如下步骤：
S202，在当前图像中定位目标区域。
其中，当前图像是当前需要处理的图像，可以是实时采集的图像，也可以是视频包括的视频帧等。
在一个实施例中，在计算机设备为终端时，终端具体可按照固定或动态的帧率采集图像，获取采集得到的图像作为当前图像。其中，固定或动态的帧率能够使图像按照该固定或动态的帧率播放时形成连续的动态画面，或合成视频。
在一个实施例中，在计算机设备为终端时，终端可通过内置或者外部连接图像采集装置，在图像采集装置当前的视野下采集图像，获取采集得到的图像作为待处理的当前图像。其中，图像采集装置的视野可因终端的姿态和位置的变化而变化。终端的图像采集装置具体可以是前置摄像头或者后置摄像头。
在一个实施例中，在计算机设备为终端时，终端可接收另一终端发送的由另一终端采集的图像，获取接收的图像为当前图像。比如，多个终端间通过运行在各终端上的社交应用建立视频会话时，其中一个会话方所对应的终端接收其他会话方所对应的终端发送的采集的图像作为当前图像。
在一个实施例中，在计算机设备为服务器时，前述实施例中的终端在获取到图像后可上传至服务器，服务器从而获取到当前图像。
在另外的实施例中，计算机设备也可按照视频中包括的视频帧的顺序，获取视频中包括的视频帧作为当前图像。
其中，目标区域是图像中包括目标的区域。目标可以是静态目标，比如建筑物等。目标也可以是动态目标，比如自然人面部或者飞机等。那么，在不同的图像帧中，目标区域可以是静态区域，也可以是动态区域。目标区域具体可以是面部区域或者手部区域等区域。目标区域具体可以是矩形区域。
在一个实施例中，计算机设备可将当前图像输入目标检测模型，通过目标检测模型确定当前图像的目标区域。具体可以是通过目标检测模型(如SSD，RCNN等模型)确定目标区域的图像位置，也可以是通过目标检测模型(如Unet等模型)进行语义分割确定目标语义的像素点集，找出当前图像中的目标区域。
在一个实施例中，S202包括：查询当前图像的前一帧图像中目标区域的目标特征点位置；根据查询的目标特征点位置，在当前图像中确定目标预选区域；按照预设倍数在当前图像中扩大目标预选区域得到目标区域。
其中，目标特征点位置是目标特征点在图像中的位置信息，具体可以是表示特征点像素位置的坐标信息。目标特征点是目标区域中具有表征能力的关键点。比如，当目标区域为面部区域时，目标关键点为面部特征点，面部特征点可以是但不限于眼睛、鼻子、嘴巴、眉毛和脸部轮廓等的关键点。
图3示出了一个实施例中面部图像的面部特征点的示意图。面部特征点包含：面部轮廓关键点，即图中1到9号点，左右眼关键点，即图中10-14号点，15-19号点，鼻子关键点即图中20-26号点，嘴唇关键点即图中27-30号点，左右眉关键点即图中31-32号点，33-34号点等。可以理解，图3所示出的面部特征点仅用于举例说明，不对本发明实施例中特征点的数量进行限定，实际场景中具体定位的面部特征点可以包括比图3中所示更多或更少的面部特征点。
目标预选区域是为确定目标区域的预选区域。可以理解，一帧图像中目标特征点位置所在的区域可以看作该图像帧的目标区域；而在不同的图像帧中，目标区域可以是静态区域也可以是动态区域，且动态变化具有连续性。也就是说，可以将上一帧图像中的目标区域作为当前图像中的目标预选区域，再对目标预选区域进行扩展，以得到目标区域。
需要说明的是，本发明可以是应用于对一系列图像进行特征点定位的方案。那么，这一系列图像中的每帧图像在被处理时，均为待处理的当前图像。在当前图像之后可有多帧未处理的图像；在当前图像之前也可有多帧已处理的图像。这样，计算机设备可在每完成对一帧图像进行特定点定位后，保存在该图像中定位出的目标特征点位置以备后续使用。
具体地，计算机设备在获取待处理的当前图像后，可查询当前图像的前一帧图像中目标区域的目标特征点位置。这样，计算机设备即可根据查询的目标特征点位置，确定前一帧图像中目标区域，也就是在当前图像中的目标预选区域，再按照预设倍数在当前图像中扩大目标预选区域得到目标区域。其中，预设倍数具体可以是1.3倍。
可以理解，本实施例中的当前图像不是计算机设备处理的第一帧包括目标区域的图像。由于，在第一帧包括目标区域的图像前，不存在包括目标区域的图像，也就没有可参考的用于确定目标预选区域的图像，则需要根据另外的实施例从完整的图像中定位目标区域。
当然，本发明实施例中作为依据来确定目标区域的图像帧，不限于当前图像的前一帧图像，还可以是在当前图像之前的连续多帧图像中其中一帧图像，这连续多帧图像中包括当前图像的前一帧图像。
在本实施例中，依据运动连续性的先验知识，可以认为在较大概率上，当前图像中目标区域可以根据与该当前图像之前的连续多帧图像中其中一帧图像中目标区域的附近，尤其是当前图像的前一帧图像中目标区域的附近。也就是说，理论上，这连续多帧图像中的任一帧图像都可以作为依据来定位当前图像中的目标区域。那么，在当前图像中定位目标区域时，则不需要再从完整的图像中进行搜索，提高定位目标区域的效率。
S204，确定参考图像中目标区域和当前图像中目标区域的图像特征差异；参考图像为在当前图像之前处理的其中一帧包括目标区域的图像。
其中，参考图像是用作参考来在当前图像中定位特征点的图像。图像特征差异是两帧图像在图像特征上的差异。这里的图像特征具体可以是具有表征目标特性的数据。
具体地，计算机设备可分别提取参考图像中目标区域的图像像素信息，以及当前图像中目标区域的图像像素信息；再将提取的图像像素信息分别输入单帧图像特征提取模型，获取通过单帧图像特征提取模型输出的图像特征，也就是参考图像中目标区域的图像特征，以及当前图像中目标区域的图像特征。计算机设备可再对这两个图像特征求差，得到这两帧图像中目标区域的图像特征差异。单帧图像特征提取模型是事先训练好的、用于根据单帧图像中目标区域的图像像素信息进行图像特征提取的机器学习模型。
其中，图像像素信息具体可以是图像像素矩阵。图像可分为灰度图像和彩色图像。图像的图像像素矩阵可以是一个或者多个。灰度图像通常包括一个通道，那么灰度图像包括一个图像像素矩阵，即为灰度图像中像素点的灰度值按像素位置排列形成的矩阵。彩色图像通常包括三个通道，即R、G、B三个通道。那么彩色图像通常包括三个图像像素矩阵，即分别为彩色图像中像素点的每个通道值按像素位置排列形成的三个矩阵。
在一个实施例中，确定参考图像中目标区域和当前图像中目标区域的图像特征差异，包括：计算参考图像中目标区域和当前图像中目标区域的图像像素差异；将图像像素差异输入第二图像特征提取模型；获取第二图像特征提取模型输出的图像特征差异。
其中，第二图像特征提取模型是事先训练好的、用于根据两帧图像中目标区域的图像像素差异进行图像特征提取的机器学习模型。机器学习英文全称为MachineLearning，简称ML。机器学习模型可通过样本学习具备某种能力。机器学习模型可采用神经网络模型、支持向量机或者逻辑回归模型等。可以理解，这里的第二图像特征提取模型，与上述实施例中的单帧图像特征提取模型，均为图像特征提取模型，但是由于模型的输入数据不同，模型的参数也有所不同。
具体地，计算机设备可在分别提取参考图像中目标区域的图像像素信息，以及当前图像中目标区域的图像像素信息后，可先计算参考图像中目标区域和当前图像中目标区域的图像像素差异，再将图像像素差异输入第二图像特征提取模型，通过第二图像特征提取模型对输入的图像像素信息进行处理，再获取通过第二图像特征提取模型输出的图像特征差异。
其中，图像像素信息具体可以是图像像素矩阵，图像像素差异则具体可以是两帧图像中目标区域的图像像素矩阵的差。
在一个具体的实施例中，第二图像特征提取模型可以是由多层互相连接而形成的复杂网络模型。第二图像特征提取模型可包括多层特征转换层，每层特征转换层都有对应的模型参数，每层的模型参数可以是多个，每层特征转换层中一个模型参数对输入的数据进行线性或非线性变化，得到特征图作为运算结果。每个特征转换层接收前一层的运算结果，经过自身的运算，对下一层输出本层的运算结果。其中，模型参数是模型结构中的各个参数，能反应模型输出和输入的对应关系。特征转换层包括但不限于卷积层和全连接层等，卷积层或者全连接层的具体数量可根据实际需要进行设置。
上述实施例中，在获取到当前图像后，即自动计算参考图像中目标区域和当前图像中目标区域的图像像素差异，将该图像像素差异输入训练好的机器学习模型，根据机器学习模型得到图像特征差异，以机器学习模型强大的学习能力和计算能力来提高图像特征差异提取的准确率。
S206，通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异。
其中，特征点位置差异确定模型是事先训练好的、用于根据两帧图像中目标区域的图像特征差异确定特征点位置差异的机器学习模型。类似的，特征点位置差异确定模型也可以是由多层互相连接而形成的复杂网络模型，具体可参考前述实施例中的描述，在此不再赘述。
目标特征点位置差异，是两帧图像中目标区域的目标特征点在位置上的差异。目标区域可以包括一个或多个目标特征点。目标特征点位置差异是两帧图像中目标区域相应的目标特征点的位置差异的集合。
举例说明，目标区域为面部区域，假设面部特征点有N个，那么目标特征点位置差异包括N个位置差异，每个位置差异对应于一个面部特征点。位置差异是两帧图像中目标区域相应的目标特征点的位置差异。比如，参考图像中目标区域的i号特征点与当前图像中目标区域的i号特征点的位置差异。
可以理解，相同的目标所包括的目标特征点相同。通常情况下，在目标移动时目标特征点不会发生变化，目标特征点的位置则会有所差异。比如，目标为面部，在面部移动时，面部特征点基本不会发生变化，而面部特征点的位置则会有所差异。那么，可以在当前图像之前处理的其中一帧包括目标区域的图像作为参考图像，根据当前图像和参考图像的图像特征差异来得到当前图像和参考图像的目标特征点位置差异。
具体地，计算机设备可将参考图像中目标区域和当前图像中目标区域的图像特征差异，输入特征点位置差异确定模型，通过特征点位置差异确定模型对输入的图像特征差异进行处理，再获取通过特征点位置差异确定模型输出的目标特征点位置差异。
在一个实施例中，图像特征差异即为图像像素差异，第二图像特征提取模型和特征点位置差异确定模型可通过一个机器学习模型来实现。那么该机器学习模型的输入即为两帧图像中目标区域的图像像素差异，输出即为两帧图像中目标区域的目标特征点位置差异。
S208，根据参考图像中目标区域的目标特征点位置和目标特征点位置差异，在当前图像的目标区域中定位目标特征点。
其中，目标特征点位置是目标特征点在图像中的位置信息，具体可以是表示特征点像素位置的坐标信息。在目标特征点的数量为多个时，目标特征点位置具体可以是多个特征点像素位置的坐标信息集合。
举例说明，目标区域为面部区域且为二维区域，面部特征点有N个。那么面部区域的第i号特征点的位置信息可以为(Xi，Yi)，面部区域的面部特征点位置为{(X1，Y1)，(X2，Y2)，…，(Xi，Yi)，…，(XN，YN)}。当然，目标区域也可为三维区域，面部区域的第i号特征点的位置信息则可为(Xi，Yi，Zi)。
具体地，计算机设备可在得到参考图像中目标区域与当前图像中目标区域的目标特征点位置差异后，查询参考图像中目标区域的目标特征点位置，将参考图像中目标区域的目标特征点位置与得到的目标特征点位置差异想加或者相减，即可得到当前图像的目标区域的目标特征点位置，也就可在当前图像的目标区域中定位目标特征点。
可以理解，当得到目标特征点位置差异的图像特征差异，是由参考图像中目标区域的图像特征减去当前图像中目标区域的图像特征得到的；那么，目标特征点位置差异，也可认为是参考图像中目标区域的目标特征点位置减去当前图像中目标区域的目标特征点位置得到的，即将参考图像中目标区域的目标特征点位置减去目标特征点位置差异得到当前图像的目标区域的目标特征点位置。当得到目标特征点位置差异的图像特征差异，是由当前图像中目标区域的图像特征减去参考图像中目标区域的图像特征得到的；那么，目标特征点位置差异，也可认为是当前图像中目标区域的目标特征点位置减去参考图像中目标区域的目标特征点位置得到的，即将参考图像中目标区域的目标特征点位置与目标特征点位置差异想加得到当前图像的目标区域的目标特征点位置。
举例说明，参考图像中目标区域与当前图像中目标区域的目标特征点位置差异为{(x1，y1)，(x2，y2)，…，(xi，yi)，…，(xN，yN)}，参考图像中目标区域的目标特征点位置为{(X1，Y1)，(X2，Y2)，…，(Xi，Yi)，…，(XN，YN)}；那么，当前图像中目标区域的目标特征点位置为{(X1+/-x1，Y1+/-y1)，(X2+/-x2，Y2+/-y2)，…，(Xi+/-xi，Yi+/-yi)，…，(XN+/-xN，YN+/-yN)}。
在一个实施例中，该特征点定位方法还包括：根据在当前图像的目标区域中定位的目标特征点，在当前图像中添加附加元素。
具体地，在目标区域进行特征点定位后，可利用定位的特征点进行后续应用。比如，根据定位的特征点在图像中添加附加元素。再比如，面部区域的特征点定位可用于表情识别等。在表情识别后，还可在图像中添加与表情相应的附加元素。手部区域的特征点定位可用于手势识别等。在手势识别后，还可在图像中添加与手势相应的附加元素。
其中，附加元素是用于额外增加在图像帧中的数据。附加元素具体可以是装饰元素，比如挂件。装饰元素是能够以可视化形式展示的用于装饰的数据。附加元素比如在图像帧中显示来修饰图像内容的数据。附加元素比如面具、盔甲、彩带、蓝天或者白云等，本发明实施例中对附加元素的种类不进行限定。附加元素可以是动态数据，比如动态图片；也可以是静态数据，比如静态图片。
图4示出了一个实施例中在图像中添加附加元素的示意图。在本实施例中，目标区域为面部区域，目标特征点为面部五官关键点。计算机设备在当前图像中定位五官特征点后，可根据嘴唇关键点确定嘴唇位置，在该位置处添加胡须，具体可参考图4。
在本实施例中，在对图像中的目标特征点定位后，根据定位的特征点添加附加元素，丰富了图像内容，又提高了附加元素添加的准确性。
上述特征点定位方法，在当前图像中定位目标区域后，即自动确定参考图像中目标区域和当前图像中目标区域的图像特征差异；这样即可通过特征点位置差异确定模型，并根据该图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异。由于参考图像为在当前图像之前处理的其中一帧图像，那么即可结合参考图像中目标区域的目标特征点位置和前述得到的目标特征点位置差异，在当前图像的目标区域中定位目标特征点。这样，在对当前图像定位目标特征点时，结合已处理图像的图像信息，根据图像之间的目标特征点差异，来定位最终的特征点定位，提高了特征点定位准确率；而且，相较于仅根据当前图像来定位特征点，通过重复利用已处理图像的图像信息，能够平滑不同帧图像间同一特征点的位置突变，极大程度上避免了特征点抖动现象的发生。
在一个实施例中，目标区域为面部区域；目标特征点为面部特征点。该特征点定位方法还包括：按时序获取图像；在获取的图像中检测面部区域；当在获取的图像中检测到面部区域时，则将检测到面部区域的图像确定为参考图像；在确定参考图像后，将继续获取的图像作为当前图像。
其中，按时序获取图像，可以是按图像采集时序获取采集的图像；也可以是按照视频中包括的视频帧的先后次序获取视频中包括的视频帧。面部区域可以是自然人面部区域，或者虚拟对象面部区域，或者动物面部区域等。
具体地，计算机设备在每获取到一帧图像时，即在获取的图像中检测面部区域。若计算机设备未在该图像中检测到面部区域时，则结束对该图像的处理；继续获取下一帧图像进行面部区域检测。若计算机设备在该图像中检测到面部区域时，则将检测到面部区域的图像确定为参考图像，再按照预先设置的参考图像的处理方式对参考图像进行处理。其中，参考图像的处理方式在后续实施例中阐述。进一步地，计算机设备在确定参考图像后，将继续获取的图像作为当前图像，对当前图像执行前述实施例中S202至S208的步骤。
可以理解，在本发明实施例中，计算机设备在对一系列图像进行特征点定位时，首先对图像进行面部区域检测以确定参考图像，在未确定参考图像时，则不再对图像进行后续处理。在确定参考图像后，按照参考图像的处理方式对参考图像进行处理，对参考图像后获取的图像执行前述实施例中S202至S208的步骤。也就是说，计算机设备对参考图像和非参考图像分别按照不同的处理方式进行处理。
在本实施例中，参考图像为首帧包括面部区域的图像，这样对于每一帧当前图像，定位特征点所依据的图像特征差异都是当前图像与首帧包括面部区域的图像的特征差，可以避免引入误差累计，提高特征点定位的准确度。
在一个实施例中，该特征点定位方法还包括：查询参考图像更换条件；在将继续获取的图像作为当前图像时，将在参考图像更换条件满足时得到的当前图像更换为新的参考图像。
其中，参考图像更换条件是进行参考图像更换时需满足的约束条件。也就是说，在参考图像更换条件这一约束条件被满足时才会进行参考图像更换操作。参考图像更换条件具体可以是在图像处理中的处理时间的约束条件，也可以是在图像处理中处理的图像数量的约束条件等。
具体地，计算机设备可在确定首个参考图像后继续按时序获取图像，并检测当前节点是否达到预设节点。计算机设备在检测到当前节点达到预设节点时，则判定在当前节点处满足参考图像更换条件，继而将在参考图像更换条件满足时得到的当前图像更换为新的参考图像。
其中，预设节点是预先设置的图像处理过程中的节点。预设节点具体可以是图像处理过程中的时间节点、也可以是图像处理过程中的数量节点。比如：开始图像处理后的第N秒或者处理的第N帧图像等。预设节点可以是根据用户操作确定的节点，也可以是计算机设备统一设置的节点。预设节点可以是一个或多个。当预设节点为多个时，任意两个在顺序上相邻的两个预设节点之间的时间间隔或数量间隔可以是相同的，也可以是不同的。
在本实施例中，通过设置参考图像更换条件来灵活更换参考图像，可在处理的图像数量较大时，避免统一使用首帧包括面部区域的图像来计算图像特征差异可能带来的误差，既可以减少累计误差，又可以在训练数据有限的情况的增强模型的处理能力。
在一个实施例中，该特征点定位方法还包括：在参考图像中定位面部区域；按照参考图像中定位的面部区域截取参考面部图像；将参考面部图像输入第一图像特征提取模型；获取第一图像特征提取模型输出的参考图像特征；以参考图像特征作为特征点定位模型的输入，得到参考图像的面部特征点位置。
其中，第一图像特征提取模型是事先训练好的、用于根据单帧面部图像进行图像特征提取的机器学习模型。特征点定位模型是事先训练好的、用于根据单帧图像的图像特征定位特征点的机器学习模型。类似的，第一图像特征提取模型和特征点定位模型也可以是由多层互相连接而形成的复杂网络模型，具体可参考前述实施例中的描述，在此不再赘述。
可以理解，这里的第一图像特征提取模型可以与前述实施例中的单帧图像特征提取模型是相同的机器学习模型。该机器学习模型的输入可以直接是从图像中按照定位的面部区域截取出的面部图像，也可以是图像中面部区域的图像像素特征。模型使用时的输入数据的类型，与模型训练时选取的模型训练输入数据的类型相同。
在一个实施例中，该特征点定位方法还包括：通过第一目标判定模型，并根据参考图像特征，确定参考面部图像的第一置信度；当第一置信度达到预设置信度阈值时，则执行以参考图像特征作为特征点定位模型的输入，得到参考图像的面部特征点的步骤；当第一置信度未达到预设置信度阈值时，则结束面部特征点跟踪定位。
其中，第一目标判定模型是事先训练好的、用于根据图像特征进行面部图像判别的机器学习模型。类似的，第一目标判定模型也可以是由多层互相连接而形成的复杂网络模型，具体可参考前述实施例，在此不再赘述。另外，第一目标判定模型可还包括分类层，通过分类层输出分类判别结果和/或置信度。
置信度是表示输入图像是面部图像的可信程度。置信度越高，表示输入图像是面部图像的可能性越大。可以理解的是，这里的第一置信度和后续实施例中的第二置信度均是鉴别置信度，但是对应不同的目标判定模型、且不同的输入数据的条件下的置信度。
具体地，计算机设备在确定参考图像后，在参考图像中定位面部区域，按照参考图像中定位的面部区域截取参考面部图像。计算机设备继而将参考面部图像输入第一图像特征提取模型，获取第一图像特征提取模型输出的参考图像特征，再将第一图像特征提取模型输出的参考图像特征输入第一目标判定模型。当第一目标判定模型输出的第一置信度达到预设置信度阈值时，也就是说，进一步判定参考图像中包括面部区域，有必要进行面部特征点定位，则将第一图像特征提取模型输出的参考图像特征输入特征点定位模型，通过特征点定位模型输出参考面部图像的面部特征点位置。当第一目标判定模型输出的第一置信度未达到预设置信度阈值时，判定参考图像并未包括面部区域，没必要进行面部特征点定位，则结束面部特征点跟踪定位。预设置信度阈值具体可为0.5。
当然，第一图像特征提取模型输出的参考图像特征也可同时输入特征点定位模型和第一目标判定模型。此时，在第一目标判定模型输出的第一置信度达到预设置信度阈值时，也就是说，进一步判定参考图像中包括面部区域，可对后续获取的图像执行前述实施例中S202至S208的步骤。在第一目标判定模型输出的第一置信度未达到预设置信度阈值时，也就是说，判定参考图像中并未包括面部区域，则需要重新确定参考图像。
在一个实施例中，该该特征点定位方法还包括：训练第一图像特征提取模型、特征点定位模型和第一目标判定模型的步骤。
具体地，计算机设备可收集包括面部区域的图像样本，在图像样本中截取面部图像样本作为模型训练输入数据，在面部图像样本中标定面部特征点作为模型训练标签，训练第一图像特征提取模型和特征点定位模型。计算机设备再将面部图像样本作为正样本，非面部图像样本作为负样本，训练第一目标判定模型。在训练第一图像特征提取模型和特征点定位模型时，保持第一目标判定模型的模型参数不变；在训练第一目标判定模型时，保持第一图像特征提取模型和特征点定位模型的模型参数不变。
图5示出了一个实施例中特征点定位方法中模型的连接示意图。如图5所示，该示意图中包括第一图像特征提取模型、特征点定位模型和第一目标判定模型；特征点定位模型和第一目标判定模型分别与第一图像特征提取模型级联；该图中所示出的模型用于对参考图像进行处理。图5所示的模型的使用和训练过程具体可参照前述实施例中的描述。可以理解，图5所示出的模型内部结构仅用于举例说明，不对本发明实施例中模型内部结构进行限定，实际场景中具体的模型内部结构可以包括比图5中所示更多或更少的层。
上述实施例中，提出了专用于参考图像定位特征点的方式，由于参考图像不再有可以用来参考的图像，则无法再依据与用作参考的图像的图像特征差异来定位特征点，则通过另外的模型依据参考图像本身来定位特征点，以保证能够顺利地定位参考图像中的特征点。
在一个实施例中，该特征点定位方法还包括：通过第二目标判定模型，并根据图像特征差异，确定目标区域的第二置信度；当第二置信度达到预设置信度阈值时，则执行通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异的步骤；当第二置信度未达到预设置信度阈值时，则结束目标特征点跟踪定位。
其中，第二目标判定模型是事先训练好的、用于根据两帧图像的图像特征差异进行目标判别的机器学习模型。类似的，第二目标判定模型也可以是由多层互相连接而形成的复杂网络模型，具体可参考前述实施例，在此不再赘述。另外，第二目标判定模型可还包括分类层，通过分类层输出分类判别结果和/或置信度。
具体地，计算机设备在确定参考图像中目标区域和当前图像中目标区域的图像特征差异后，将图像特征差异输入第二目标判定模型。当第二目标判定模型输出的第二置信度达到预设置信度阈值时，也就是说，进一步判定当前图像中包括目标区域，有必要进行目标特征点定位，则将图像特征差异输入特征点位置差异确定模型，通过特征点位置差异确定模型输出目标特征点位置差异，以便后续在当前图像中定位目标特征点。当第二目标判定模型输出的第二置信度未达到预设置信度阈值时，判定当前图像并未包括目标区域，没必要进行目标特征点跟踪定位，则结束目标特征点跟踪定位。预设置信度阈值具体可为0.5。
其中，图像特征差异可以是通过第二图像特征提取模型得到。计算机设备可确定参考图像中目标区域和当前图像中目标区域的图像像素差异，将该图像像素差异输入第二图像特征提取模型中，以输出图像特征差异作为特征点位置差异确定模型和第二目标判定模型的输入。
图6示出了一个实施例中特征点定位方法中模型的连接示意图。如图6所示，该示意图中包括第二图像特征提取模型、特征点位置差异确定模型和第二目标判定模型；特征点位置差异确定模型和第二目标判定模型分别与第二图像特征提取模型级联；该图中所示出的模型用于对非参考图像进行处理。图6所示的模型的使用和训练过程具体可参照前述或后述实施例中的描述。可以理解，图6所示出的模型内部结构仅用于举例说明，不对本发明实施例中模型内部结构进行限定，实际场景中具体的模型内部结构可以包括比图6中所示更多或更少的层。
在本实施例中，在得到图像特征差异后，先通过第二目标判定模型再次判定当前图像中是否包括目标区域，只有在再次确定当前图像中包括目标区域时，才对目标区域进行目标特征点定位，以避免计算资源浪费。
图7示出一个实施例中特征点定位过程的流程示意图。在本实施例中，终端为终端，目标区域为面部区域，目标特征点为面部特征点。参考图7，终端通过内置或者外部连接的摄像头采集图像，并按照采集时序获取采集的图像。这样，终端在每获取一帧图像后，即在获取的图像中检测面部区域。若未在获取的图像中检测到面部区域，则继续获取下一帧图像进行面部检测。若在获取的图像中检测到面部区域，则将检测到面部区域的图像确定为参考图像。
终端在确定参考图像后，可在参考图像中定位面部区域，按照参考图像中定位的面部区域截取参考面部图像，将参考面部图像输入第一图像特征提取模型。终端可继续将该第一图像特征提取模型输出的参考图像特征输入第一目标判定模型，通过第一目标判定模型输出参考图像中包括面部区域的第一置信度。
当第一置信度达到预设置信度阈值时，则将第一图像特征提取模型输出的参考图像特征输入特征点定位模型，通过特征点定位模型输出参考图像的面部特征点位置并记录以备后续使用；当第一置信度未达到预设置信度阈值时，则结束面部特征点跟踪定位，并继续获取下一帧图像进行面部检测，以重新确定参考图像。
终端在确定参考图像后，继续获取下一帧图像作为当前图像，并查询当前图像的前一帧图像中面部区域的面部特征点位置；根据查询的面部特征点位置，在当前图像中确定面部预选区域；按照预设倍数在当前图像中扩大面部预选区域得到面部区域。终端继而计算参考图像中面部区域和当前图像中面部区域的图像像素差异，并将图像像素差异输入第二图像特征提取模型。
终端可再将第二图像特征提取模型输出的图像特征差异输入第二目标判定模型，通过第二目标判定模型输出当前图像中包括面部区域的第二置信度。当第二置信度达到预设置信度阈值时，将第二图像特征提取模型输出的图像特征差异输入特征点位置差异确定模型，通过特征点位置差异确定模型输出参考图像与当前图像的面部特征点位置差异；当第二置信度未达到预设置信度阈值时，则结束面部特征点跟踪定位，并继续获取下一帧图像进行面部检测，以重新确定参考图像。
终端在得到参考图像与当前图像的面部特征点位置差异后，查询事先记录的参考图像的面部特征点位置，即可在当前图像的面部区域中定位面部特征点。这样，终端即可根据在当前图像的面部区域中定位的面部特征点，在当前图像中添加附加元素，并继续获取下一帧图像作为当前图像，对当前图像进行处理。
其中，终端在继续获取图像作为当前图像，对当前图像进行处理时，可查询参考图像更换条件；将在参考图像更换条件满足时得到的当前图像更换为新的参考图像，重新记录新的参考图像的面部特征点位置，以备后续使用。
在一个实施例中，该特征点定位方法还包括：获取训练样本图像；在各训练样本图像中，定位样本目标区域；在各训练样本图像的样本目标区域中，确定样本目标特征点位置；确定训练样本图像两两之间的样本目标特征点位置差异；以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型。
其中，训练样本图像是模型训练数据所源自的图像。在图像中包括目标时，该图像即可被选为训练样本图像。样本目标区域是用作样本的目标区域。
具体地，计算机设备可收集多帧包括目标的图像作为训练样本图像，继而在这些训练样本图像中定位样本目标区域，并在训练样本图像的样本目标区域中确定样本目标特征点位置，用来确定训练样本图像两两之间的样本目标特征点位置差异。这样，计算机设备为了实现在定位特征点是考虑多帧图像的图像信息，即可将任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，将任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型。
在一个实施例中，样本目标特征点位置差异所源自的两帧训练样本图像中的目标属于同一对象。比如目标为面部，那么这两帧训练样本图像中的面部属于同一对象，如同一自然人。
其中，任意两帧训练样本图像中样本目标区域的样本图像特征差异，可以是通过机器学习模型得到，也可以是计算机设备通过特征提取算法分别从任意两帧训练样本图像中样本目标区域中提取样本图像特征后运算得到。比如，在目标区域为面部区域时，计算机设备可通过面部特征提取算法提取面部特征。面部特征如Haar特征等。
在一个实施例中，以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型，包括：将任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为第二图像特征提取模型的模型训练输入数据；以第二图像特征提取模型的输出作为特征点位置差异确定模型的输入；第二图像特征提取模型的输出，是任意两帧训练样本图像中样本目标区域的样本图像特征差异；以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练第二图像特征提取模型和特征点位置差异确定模型。
具体地，第二图像特征提取模型和特征点位置差异确定模型的训练是一起进行的，第二图像特征提取模型的输出即为特征点位置差异确定模型的输入。计算机设备为了实现在定位特征点是考虑多帧图像的图像信息，将任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为第二图像特征提取模型的输入；将该任意两种训练样本图像的样本目标特征点位置差异，作为特征点位置差异确定模型的期望输出。训练第二图像特征提取模型和特征点位置差异确定模型的过程，即是最小化特征点位置差异确定模型的实际输出与期望输出之间的差异的过程。
其中，在训练第二图像特征提取模型和特征点位置差异确定模型时，以L1为损失函数，L1具体可以是欧式损失函数(EuclideanLoss)，公式如下：
Figure BDA0001800278540000191
中，
Figure BDA0001800278540000192
表示期望输出(模型训练标签)，yi表示实际输出，N表示样本数量。损失函数的损失值越小，说明模型的输出结果准确性越高。训练第二图像特征提取模型和特征点位置差异确定模型，即为调整第二图像特征提取模型和特征点位置差异确定模型的模型参数，最小化L1。
在一个实施例中，该特征点定位方法还包括：以任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为正样本数据；以训练样本图像中样本目标区域与非目标区域样本图像的样本图像像素差异，作为负样本数据；根据正样本数据和负样本数据训练第二目标判定模型。
其中，非目标区域样本图像是不包括目标区域的样本图像。在本实施例中，以任意两帧训练样本图像中样本目标区域的样本图像像素差异为正样本数据，以训练样本图像中样本目标区域与非目标区域样本图像的样本图像像素差异为负样本数据，来训练第二目标判定模型。在训练第二目标判定模型时，固定第二图像特征提取模型和特征点位置差异确定模型的模型参数。同样，在训练第二图像特征提取模型和特征点位置差异确定模型时，也会固定第二目标判定模型的模型参数。
其中，在训练第二目标判定模型时，以L2为损失函数，L2具体可以是归一化对数损失函数(SoftmaxLoss)，公式如下：
Figure BDA0001800278540000201
其中，T表示预设预测分类的数量，sj表示属于第j个预设预测分类的概率值。损失函数的损失值越小，说明第二目标判定模型的输出结果准确性越高。在本实施例中，第二目标判定模型为二分类模型。训练第二目标判定模型，即为调整第二目标判定模型的模型参数，最小化L2。
在一个具体的实施例中，目标区域为面部区域，目标特征点为面部特征点。计算机设备可获取多个对象的多帧面部图像。在这些面部图像中标定面部关键点坐标。这样对于每个对象，计算机设备可得到多组数据
Figure BDA0001800278540000202
其中，
Figure BDA0001800278540000203
为第i个对象的第j帧面部图像的图像像素特征，
Figure BDA0001800278540000204
为第i个对象的第j帧面部图像的面部特征点位置。
计算机设备可对于每个对象的数据
Figure BDA0001800278540000205
随机配对生成图像像素差异
Figure BDA0001800278540000206
作为第二图像特征提取模型的模型输入数据，将
Figure BDA0001800278540000207
源自的两帧图像的面部特征点位置差异
Figure BDA0001800278540000208
作为特征点位置差异确定模型的期望输出，训练第二图像特征提取模型和特征点位置差异确定模型。此时，保持第二目标判定模型的模型参数不变。
进一步地，计算机设备再将随机配对生成图像像素差异
Figure BDA0001800278540000211
作为第二图像特征提取模型的正样本模型输入数据，将
Figure BDA0001800278540000212
作为第二图像特征提取模型的负样本模型输入数据，训练第二目标判定模型。其中，M为非面部区域的图像像素特征。此时，保持第二图像特征提取模型和特征点位置差异确定模型的模型参数不变.
上述实施例中，不再仅依据单帧图像进行模型训练，而是以两帧图像的图像像素差作为模型训练输出数据，以两帧图像的目标特征点位置差异作为训练目标，使得模型学习到从两帧图像的图像信息中获取意图得到的数据。这样在使用训练完成的模型对当前图像定位目标特征点时，结合已处理图像的图像信息，根据图像之间的目标特征点差异，来定位最终的特征点定位，提高了特征点定位准确率；而且，相较于仅根据当前图像来定位特征点，通过重复利用已处理图像的图像信息，能够平滑不同帧图像间同一特征点的位置突变，极大程度上避免了特征点抖动现象的发生。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图8所示，在一个实施例中，提供了一种特征点定位装置800。参照图8，该特征点定位装置800包括：目标区域定位模块801、图像特征差异确定模块802、位置差异确定模块803和目标特征点定位模块804。
目标区域定位模块801，用于在当前图像中定位目标区域。
图像特征差异确定模块802，用于确定参考图像中目标区域和当前图像中目标区域的图像特征差异；参考图像为在当前图像之前处理的其中一帧包括目标区域的图像。
位置差异确定模块803，用于通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异。
目标特征点定位模块804，用于根据参考图像中目标区域的目标特征点位置和目标特征点位置差异，在当前图像的目标区域中定位目标特征点。
在一个实施例中，目标区域为面部区域；目标特征点为面部特征点。特征点定位装置800还包括：参考图像处理模块805用于按时序获取图像；在获取的图像中检测面部区域；当在获取的图像中检测到面部区域时，则将检测到面部区域的图像确定为参考图像；在确定参考图像后，将继续获取的图像作为当前图像。
在一个实施例中，参考图像处理模块805还用于查询参考图像更换条件；在将继续获取的图像作为当前图像时，将在参考图像更换条件满足时得到的当前图像更换为新的参考图像。
在一个实施例中，参考图像处理模块805还用于在参考图像中定位面部区域；按照参考图像中定位的面部区域截取参考面部图像；将参考面部图像输入第一图像特征提取模型；获取第一图像特征提取模型输出的参考图像特征；以参考图像特征作为特征点定位模型的输入，得到参考图像的面部特征点位置。
在一个实施例中，参考图像处理模块805还用于通过第一目标判定模型，并根据参考图像特征，确定参考面部图像的第一置信度；当第一置信度达到预设置信度阈值时，则执行以参考图像特征作为特征点定位模型的输入，得到参考图像的面部特征点的步骤；当第一置信度未达到预设置信度阈值时，则结束面部特征点跟踪定位。
在一个实施例中，目标区域定位模块801还用于查询当前图像的前一帧图像中目标区域的目标特征点位置；根据查询的目标特征点位置，在当前图像中确定目标预选区域；按照预设倍数在当前图像中扩大目标预选区域得到目标区域。
在一个实施例中，图像特征差异确定模块802还用于计算参考图像中目标区域和当前图像中目标区域的图像像素差异；将图像像素差异输入第二图像特征提取模型；获取第二图像特征提取模型输出的图像特征差异。
在一个实施例中，位置差异确定模块803还用于通过第二目标判定模型，并根据图像特征差异，确定目标区域的第二置信度；当第二置信度达到预设置信度阈值时，则通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异；当第二置信度未达到预设置信度阈值时，则结束目标特征点跟踪定位。
如图9所示，在一个实施例中，特征点定位装置800还包括：参考图像处理模块805和模型训练模块806。
模型训练模块806，用于获取训练样本图像；在各训练样本图像中，定位样本目标区域；在各训练样本图像的样本目标区域中，确定样本目标特征点位置；确定训练样本图像两两之间的样本目标特征点位置差异；以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型。
在一个实施例中，模型训练模块806还用于将任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为第二图像特征提取模型的模型训练输入数据；以第二图像特征提取模型的输出作为特征点位置差异确定模型的输入；第二图像特征提取模型的输出，是任意两帧训练样本图像中样本目标区域的样本图像特征差异；以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练第二图像特征提取模型和特征点位置差异确定模型。
在一个实施例中，模型训练模块806还用于以任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为正样本数据；以训练样本图像中样本目标区域与非目标区域样本图像的样本图像像素差异，作为负样本数据；根据正样本数据和负样本数据训练第二目标判定模型。
在一个实施例中，目标特征点定位模块804还用于根据在当前图像的目标区域中定位的目标特征点，在当前图像中添加附加元素。
图10示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110或服务器120。如图10所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现特征点定位方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行特征点定位方法。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的特征点定位装置可以实现为一种计算机程序的形式，计算机程序可在如图10所示的计算机设备上运行，计算机设备的非易失性存储介质可存储组成该特征点定位装置的各个程序模块，比如，图8所示的目标区域定位模块801、图像特征差异确定模块802、位置差异确定模块803和目标特征点定位模块804等。各个程序模块组成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的特征点定位方法中的步骤。
例如，图10所示的计算机设备可以通过如图8所示的特征点定位装置800中的目标区域定位模块801在当前图像中定位目标区域。通过图像特征差异确定模块802确定参考图像中目标区域和当前图像中目标区域的图像特征差异；参考图像为在当前图像之前处理的其中一帧包括目标区域的图像。通过位置差异确定模块803通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异。通过目标特征点定位模块804根据参考图像中目标区域的目标特征点位置和目标特征点位置差异，在当前图像的目标区域中定位目标特征点。
在一个实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行以下步骤：在当前图像中定位目标区域；确定参考图像中目标区域和当前图像中目标区域的图像特征差异；参考图像为在当前图像之前处理的其中一帧包括目标区域的图像；通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异；根据参考图像中目标区域的目标特征点位置和目标特征点位置差异，在当前图像的目标区域中定位目标特征点。
在一个实施例中，目标区域为面部区域；目标特征点为面部特征点。该计算机程序还使得处理器执行以下步骤：按时序获取图像；在获取的图像中检测面部区域；当在获取的图像中检测到面部区域时，则将检测到面部区域的图像确定为参考图像；在确定参考图像后，将继续获取的图像作为当前图像。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：查询参考图像更换条件；在将继续获取的图像作为当前图像时，将在参考图像更换条件满足时得到的当前图像更换为新的参考图像。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：在参考图像中定位面部区域；按照参考图像中定位的面部区域截取参考面部图像；将参考面部图像输入第一图像特征提取模型；获取第一图像特征提取模型输出的参考图像特征；以参考图像特征作为特征点定位模型的输入，得到参考图像的面部特征点位置。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：通过第一目标判定模型，并根据参考图像特征，确定参考面部图像的第一置信度；当第一置信度达到预设置信度阈值时，则执行以参考图像特征作为特征点定位模型的输入，得到参考图像的面部特征点的步骤；当第一置信度未达到预设置信度阈值时，则结束面部特征点跟踪定位。
在一个实施例中，在当前图像中定位目标区域，包括：查询当前图像的前一帧图像中目标区域的目标特征点位置；根据查询的目标特征点位置，在当前图像中确定目标预选区域；按照预设倍数在当前图像中扩大目标预选区域得到目标区域。
在一个实施例中，确定参考图像中目标区域和当前图像中目标区域的图像特征差异，包括：计算参考图像中目标区域和当前图像中目标区域的图像像素差异；将图像像素差异输入第二图像特征提取模型；获取第二图像特征提取模型输出的图像特征差异。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：通过第二目标判定模型，并根据图像特征差异，确定目标区域的第二置信度；当第二置信度达到预设置信度阈值时，则执行通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异的步骤；当第二置信度未达到预设置信度阈值时，则结束目标特征点跟踪定位。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：获取训练样本图像；在各训练样本图像中，定位样本目标区域；在各训练样本图像的样本目标区域中，确定样本目标特征点位置；确定训练样本图像两两之间的样本目标特征点位置差异；以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型。
在一个实施例中，以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型，包括：将任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为第二图像特征提取模型的模型训练输入数据；以第二图像特征提取模型的输出作为特征点位置差异确定模型的输入；第二图像特征提取模型的输出，是任意两帧训练样本图像中样本目标区域的样本图像特征差异；以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练第二图像特征提取模型和特征点位置差异确定模型。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：以任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为正样本数据；以训练样本图像中样本目标区域与非目标区域样本图像的样本图像像素差异，作为负样本数据；根据正样本数据和负样本数据训练第二目标判定模型。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：根据在当前图像的目标区域中定位的目标特征点，在当前图像中添加附加元素。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：在当前图像中定位目标区域；确定参考图像中目标区域和当前图像中目标区域的图像特征差异；参考图像为在当前图像之前处理的其中一帧包括目标区域的图像；通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异；根据参考图像中目标区域的目标特征点位置和目标特征点位置差异，在当前图像的目标区域中定位目标特征点。
在一个实施例中，目标区域为面部区域；目标特征点为面部特征点。该计算机程序还使得处理器执行以下步骤：按时序获取图像；在获取的图像中检测面部区域；当在获取的图像中检测到面部区域时，则将检测到面部区域的图像确定为参考图像；在确定参考图像后，将继续获取的图像作为当前图像。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：查询参考图像更换条件；在将继续获取的图像作为当前图像时，将在参考图像更换条件满足时得到的当前图像更换为新的参考图像。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：在参考图像中定位面部区域；按照参考图像中定位的面部区域截取参考面部图像；将参考面部图像输入第一图像特征提取模型；获取第一图像特征提取模型输出的参考图像特征；以参考图像特征作为特征点定位模型的输入，得到参考图像的面部特征点位置。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：通过第一目标判定模型，并根据参考图像特征，确定参考面部图像的第一置信度；当第一置信度达到预设置信度阈值时，则执行以参考图像特征作为特征点定位模型的输入，得到参考图像的面部特征点的步骤；当第一置信度未达到预设置信度阈值时，则结束面部特征点跟踪定位。
在一个实施例中，在当前图像中定位目标区域，包括：查询当前图像的前一帧图像中目标区域的目标特征点位置；根据查询的目标特征点位置，在当前图像中确定目标预选区域；按照预设倍数在当前图像中扩大目标预选区域得到目标区域。
在一个实施例中，确定参考图像中目标区域和当前图像中目标区域的图像特征差异，包括：计算参考图像中目标区域和当前图像中目标区域的图像像素差异；将图像像素差异输入第二图像特征提取模型；获取第二图像特征提取模型输出的图像特征差异。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：通过第二目标判定模型，并根据图像特征差异，确定目标区域的第二置信度；当第二置信度达到预设置信度阈值时，则执行通过特征点位置差异确定模型，并根据图像特征差异，确定参考图像中目标区域与当前图像中目标区域的目标特征点位置差异的步骤；当第二置信度未达到预设置信度阈值时，则结束目标特征点跟踪定位。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：获取训练样本图像；在各训练样本图像中，定位样本目标区域；在各训练样本图像的样本目标区域中，确定样本目标特征点位置；确定训练样本图像两两之间的样本目标特征点位置差异；以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型。
在一个实施例中，以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型，包括：将任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为第二图像特征提取模型的模型训练输入数据；以第二图像特征提取模型的输出作为特征点位置差异确定模型的输入；第二图像特征提取模型的输出，是任意两帧训练样本图像中样本目标区域的样本图像特征差异；以任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练第二图像特征提取模型和特征点位置差异确定模型。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：以任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为正样本数据；以训练样本图像中样本目标区域与非目标区域样本图像的样本图像像素差异，作为负样本数据；根据正样本数据和负样本数据训练第二目标判定模型。
在一个实施例中，该计算机程序还使得处理器执行以下步骤：根据在当前图像的目标区域中定位的目标特征点，在当前图像中添加附加元素。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (26)

1.一种特征点定位方法，包括：
查询当前图像的前一帧图像中目标区域的目标特征点位置，根据查询的所述目标特征点位置，在所述当前图像中确定目标预选区域，按照预设倍数在所述当前图像中扩大所述目标预选区域得到目标区域；
分别提取参考图像中目标区域和所述当前图像中目标区域的图像像素信息，基于所述图像像素信息计算所述参考图像中目标区域和所述当前图像中目标区域的图像像素差异，将所述图像像素差异输入第二图像特征提取模型，获取所述第二图像特征提取模型输出的图像特征差异；所述参考图像为在所述当前图像之前处理的其中一帧包括目标区域的图像；所述图像像素信息为图像像素矩阵；
通过特征点位置差异确定模型，并根据所述图像特征差异，确定所述参考图像中目标区域与所述当前图像中目标区域的目标特征点位置差异；
根据所述参考图像中目标区域的目标特征点位置和所述目标特征点位置差异，在所述当前图像的目标区域中定位目标特征点。
2.根据权利要求1所述的方法，其特征在于，所述目标区域为面部区域；所述目标特征点为面部特征点；所述方法还包括：
按时序获取图像；
在获取的所述图像中检测面部区域；
当在获取的所述图像中检测到面部区域时，则
将检测到面部区域的所述图像确定为参考图像；
在确定参考图像后，将继续获取的图像作为当前图像。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
查询参考图像更换条件；
在将继续获取的图像作为当前图像时，将在所述参考图像更换条件满足时得到的当前图像更换为新的参考图像。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述参考图像中定位面部区域；
按照所述参考图像中定位的面部区域截取参考面部图像；
将所述参考面部图像输入第一图像特征提取模型；
获取所述第一图像特征提取模型输出的参考图像特征；
以所述参考图像特征作为特征点定位模型的输入，得到所述参考图像的面部特征点位置。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过第一目标判定模型，并根据所述参考图像特征，确定所述参考面部图像的第一置信度；
当所述第一置信度达到预设置信度阈值时，则执行所述以所述参考图像特征作为特征点定位模型的输入，得到所述参考图像的面部特征点的步骤；
当所述第一置信度未达到预设置信度阈值时，则结束面部特征点跟踪定位。
6.根据权利要求1所述的方法，其特征在于，所述根据查询的所述目标特征点的位置，在所述当前图像中确定目标预选区域，包括：
根据查询的所述目标特征点的位置，确定所述前一帧图像中的目标区域；
将所述当前图像中与所述前 一帧图像中的目标区域对应的区域确定为目标预选区域。
7.根据权利要求1所述的方法，其特征在于，所述第二图像特征提取模型包括多层特征转换层，每个所述特征转换层对应有模型参数。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
通过第二目标判定模型，并根据所述图像特征差异，确定所述目标区域的第二置信度；
当所述第二置信度达到预设置信度阈值时，则执行所述通过特征点位置差异确定模型，并根据所述图像特征差异，确定所述参考图像中目标区域与所述当前图像中目标区域的目标特征点位置差异的步骤；
当所述第二置信度未达到预设置信度阈值时，则结束目标特征点跟踪定位。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练样本图像；
在各所述训练样本图像中，定位样本目标区域；
在各所述训练样本图像的样本目标区域中，确定样本目标特征点位置；
确定所述训练样本图像两两之间的样本目标特征点位置差异；
以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以所述任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型。
10.根据权利要求9所述的方法，其特征在于，所述以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以所述任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型，包括：
将任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为第二图像特征提取模型的模型训练输入数据；
以所述第二图像特征提取模型的输出作为特征点位置差异确定模型的输入；所述第二图像特征提取模型的输出，是所述任意两帧训练样本图像中样本目标区域的样本图像特征差异；
以所述任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练所述第二图像特征提取模型和所述特征点位置差异确定模型。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
以所述任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为正样本数据；
以所述训练样本图像中样本目标区域与非目标区域样本图像的样本图像像素差异，作为负样本数据；
根据所述正样本数据和所述负样本数据训练第二目标判定模型。
12.根据权利要求1-11中任一项所述的方法，其特征在于，所述方法还包括：
根据在所述当前图像的目标区域中定位的目标特征点，在所述当前图像中添加附加元素。
13.一种特征点定位装置，包括：
目标区域定位模块，用于查询当前图像的前一帧图像中目标区域的目标特征点位置，根据查询的所述目标特征点位置，在所述当前图像中确定目标预选区域，按照预设倍数在所述当前图像中扩大所述目标预选区域得到目标区域；
图像特征差异确定模块，用于分别提取参考图像中目标区域和所述当前图像中目标区域的图像像素信息，基于所述图像像素信息计算所述参考图像中目标区域和所述当前图像中目标区域的图像像素差异，将所述图像像素差异输入第二图像特征提取模型，获取所述第二图像特征提取模型输出的图像特征差异；所述参考图像为在所述当前图像之前处理的其中一帧包括目标区域的图像；所述图像像素信息为图像像素矩阵；
位置差异确定模块，用于通过特征点位置差异确定模型，并根据所述图像特征差异，确定所述参考图像中目标区域与所述当前图像中目标区域的目标特征点位置差异；
目标特征点定位模块，用于根据所述参考图像中目标区域的目标特征点位置和所述目标特征点位置差异，在所述当前图像的目标区域中定位目标特征点。
14.根据权利要求13所述的装置，其特征在于，所述目标区域为面部区域；所述目标特征点为面部特征点；所述装置还包括：
参考图像处理模块，用于按时序获取图像；在获取的所述图像中检测面部区域；当在获取的所述图像中检测到面部区域时，则将检测到面部区域的所述图像确定为参考图像；在确定参考图像后，将继续获取的图像作为当前图像。
15.根据权利要求14所述的装置，其特征在于，所述参考图像处理模块还用于查询参考图像更换条件；在将继续获取的图像作为当前图像时，将在所述参考图像更换条件满足时得到的当前图像更换为新的参考图像。
16.根据权利要求14所述的装置，其特征在于，所述参考图像处理模块还用于在所述参考图像中定位面部区域；按照所述参考图像中定位的面部区域截取参考面部图像；将所述参考面部图像输入第一图像特征提取模型；获取所述第一图像特征提取模型输出的参考图像特征；以所述参考图像特征作为特征点定位模型的输入，得到所述参考图像的面部特征点位置。
17.根据权利要求16所述的装置，其特征在于，所述参考图像处理模块还用于通过第一目标判定模型，并根据所述参考图像特征，确定所述参考面部图像的第一置信度；当所述第一置信度达到预设置信度阈值时，则执行所述以所述参考图像特征作为特征点定位模型的输入，得到所述参考图像的面部特征点的步骤；当所述第一置信度未达到预设置信度阈值时，则结束面部特征点跟踪定位。
18.根据权利要求13所述的装置，其特征在于，所述目标区域定位模块还用于根据查询的所述目标特征点的位置，确定所述前一帧图像中的目标区域；将所述当前图像中与所述前 一帧图像中的目标区域对应的区域确定为目标预选区域。
19.根据权利要求13所述的装置，其特征在于，所述第二图像特征提取模型包括多层特征转换层，每个所述特征转换层对应有模型参数。
20.根据权利要求19所述的装置，其特征在于，所述位置差异确定模块还用于通过第二目标判定模型，并根据所述图像特征差异，确定所述目标区域的第二置信度；当所述第二置信度达到预设置信度阈值时，则执行所述通过特征点位置差异确定模型，并根据所述图像特征差异，确定所述参考图像中目标区域与所述当前图像中目标区域的目标特征点位置差异的步骤；当所述第二置信度未达到预设置信度阈值时，则结束目标特征点跟踪定位。
21.根据权利要求13所述的装置，其特征在于，所述装置还包括：
模型训练模块，用于获取训练样本图像；在各所述训练样本图像中，定位样本目标区域；在各所述训练样本图像的样本目标区域中，确定样本目标特征点位置；确定所述训练样本图像两两之间的样本目标特征点位置差异；以任意两帧训练样本图像中样本目标区域的样本图像特征差异作为模型训练输入数据，以所述任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练特征点位置差异确定模型。
22.根据权利要求21所述的装置，其特征在于，所述模型训练模块还用于将任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为第二图像特征提取模型的模型训练输入数据；以所述第二图像特征提取模型的输出作为特征点位置差异确定模型的输入；所述第二图像特征提取模型的输出，是所述任意两帧训练样本图像中样本目标区域的样本图像特征差异；以所述任意两帧训练样本图像的样本目标特征点位置差异作为训练标签，训练所述第二图像特征提取模型和所述特征点位置差异确定模型。
23.根据权利要求22所述的装置，其特征在于，所述模型训练模块还用于以所述任意两帧训练样本图像中样本目标区域的样本图像像素差异，作为正样本数据；以所述训练样本图像中样本目标区域与非目标区域样本图像的样本图像像素差异，作为负样本数据；根据所述正样本数据和所述负样本数据训练第二目标判定模型。
24.根据权利要求13-23中任一项所述的装置，其特征在于，所述目标特征点定位模块还用于根据在所述当前图像的目标区域中定位的目标特征点，在所述当前图像中添加附加元素。
25.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述的方法的步骤。
26.一种计算机设备，包括存储器和处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述的方法的步骤。
CN201811073920.0A 2018-09-14 2018-09-14 特征点定位方法、装置、存储介质和计算机设备 Active CN109344742B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811073920.0A CN109344742B (zh) 2018-09-14 2018-09-14 特征点定位方法、装置、存储介质和计算机设备
EP19860589.1A EP3852003A4 (en) 2018-09-14 2019-09-03 LOCALIZATION PROCEDURES FOR FEATURE POINT, STORAGE MEDIUM AND COMPUTER DEVICE
PCT/CN2019/104241 WO2020052476A1 (zh) 2018-09-14 2019-09-03 特征点定位方法、存储介质和计算机设备
US17/089,435 US11200404B2 (en) 2018-09-14 2020-11-04 Feature point positioning method, storage medium, and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811073920.0A CN109344742B (zh) 2018-09-14 2018-09-14 特征点定位方法、装置、存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN109344742A CN109344742A (zh) 2019-02-15
CN109344742B true CN109344742B (zh) 2021-03-16

Family

ID=65305643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811073920.0A Active CN109344742B (zh) 2018-09-14 2018-09-14 特征点定位方法、装置、存储介质和计算机设备

Country Status (4)

Country Link
US (1) US11200404B2 (zh)
EP (1) EP3852003A4 (zh)
CN (1) CN109344742B (zh)
WO (1) WO2020052476A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344742B (zh) 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备
US11300404B2 (en) 2018-10-21 2022-04-12 Shoreline Alignment & Vibration, LLC Alignment of rotational shafts
US20220172454A1 (en) * 2019-03-19 2022-06-02 Nec Corporation System, client apparatus, data processing method, computer program and recording medium
CN110097576B (zh) * 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 图像特征点的运动信息确定方法、任务执行方法和设备
CN110147836B (zh) * 2019-05-13 2021-07-02 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质
CN111222486B (zh) * 2020-01-15 2022-11-04 腾讯科技（深圳）有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN113221600B (zh) * 2020-01-21 2022-06-21 魔门塔(苏州)科技有限公司 一种图像特征点的标定方法及装置
CN111461211B (zh) * 2020-03-31 2023-07-21 中国科学院计算技术研究所 一种用于轻量级目标检测的特征提取方法及相应检测方法
CN112132804B (zh) * 2020-09-22 2023-10-31 苏州巨能图像检测技术有限公司 一种用于集卡轮毂的防吊起检测方法
CN112329546A (zh) * 2020-10-15 2021-02-05 杭州电子科技大学 一种基于深度学习的眼睛高度测量方法
CN112541963B (zh) * 2020-11-09 2023-12-26 北京百度网讯科技有限公司 三维虚拟形象生成方法、装置、电子设备和存储介质
CN113077513B (zh) * 2021-06-03 2021-10-29 深圳市优必选科技股份有限公司 视觉定位方法、装置和计算机设备
CN114708449B (zh) * 2022-06-02 2022-08-23 腾讯科技（深圳）有限公司 相似视频的确定方法、实例表征模型的训练方法及设备
CN117671216A (zh) * 2024-02-02 2024-03-08 腾讯科技（深圳）有限公司 一种显示方法和相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036240A (zh) * 2014-05-29 2014-09-10 小米科技有限责任公司 人脸特征点的定位方法和装置
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN108256479A (zh) * 2018-01-17 2018-07-06 百度在线网络技术（北京）有限公司 人脸跟踪方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3764364B2 (ja) * 2000-10-31 2006-04-05 株式会社東芝 画像特徴点検出方法、画像処理方法、及びプログラム
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
CN101477690B (zh) * 2008-12-30 2011-04-27 清华大学 一种视频帧序列中物体轮廓跟踪的方法和装置
CN105308621B (zh) * 2013-05-29 2019-05-21 王康怀 从活体内多相机胶囊重建影像
WO2015017796A2 (en) * 2013-08-02 2015-02-05 Digimarc Corporation Learning systems and methods
JP6704679B2 (ja) * 2015-05-01 2020-06-03 キヤノン株式会社 制御装置、光学機器、制御方法、プログラム、および、記憶媒体
EP3347789B1 (en) * 2015-09-11 2021-08-04 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects
CN106874826A (zh) * 2015-12-11 2017-06-20 腾讯科技（深圳）有限公司 人脸关键点跟踪方法和装置
CN105760826B (zh) * 2016-02-03 2020-11-13 歌尔股份有限公司 一种人脸跟踪方法、装置和智能终端
US10565713B2 (en) * 2016-11-15 2020-02-18 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN108509825A (zh) * 2017-02-27 2018-09-07 苏文电能科技有限公司 一种基于视频流的人脸跟踪识别方法
CN109344742B (zh) * 2018-09-14 2021-03-16 腾讯科技（深圳）有限公司 特征点定位方法、装置、存储介质和计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036240A (zh) * 2014-05-29 2014-09-10 小米科技有限责任公司 人脸特征点的定位方法和装置
CN106683110A (zh) * 2015-11-09 2017-05-17 展讯通信(天津)有限公司 用户终端及其目标跟踪方法及装置
CN108256479A (zh) * 2018-01-17 2018-07-06 百度在线网络技术（北京）有限公司 人脸跟踪方法和装置

Also Published As

Publication number Publication date
WO2020052476A1 (zh) 2020-03-19
EP3852003A4 (en) 2021-11-10
CN109344742A (zh) 2019-02-15
US11200404B2 (en) 2021-12-14
EP3852003A1 (en) 2021-07-21
US20210049347A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
CN109344742B (zh) 特征点定位方法、装置、存储介质和计算机设备
WO2020224424A1 (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
US20200380246A1 (en) Virtual avatar generation method and apparatus, and storage medium
CN108960167B (zh) 发型识别方法、装置、计算机可读存储介质和计算机设备
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN111178249A (zh) 人脸比对的方法、装置、计算机设备及存储介质
CN109063626B (zh) 动态人脸识别方法和装置
CN110110755B (zh) 基于ptgan区域差距与多重分支的行人重识别检测方法及装置
CN111062263B (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN110598638A (zh) 模型训练方法、人脸性别预测方法、设备及存储介质
US9460533B2 (en) Generating image compositions
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN113469092B (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN113505797B (zh) 模型训练方法、装置、计算机设备和存储介质
CN111968134A (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
WO2022194079A1 (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN111950419A (zh) 图像信息预测方法、装置、计算机设备和存储介质
CN114565955A (zh) 人脸属性识别模型训练、社区人员监控方法、装置、设备
CN110766077A (zh) 证据链图像中特写图筛选方法、装置和设备
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN111507289A (zh) 视频匹配方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant