CN113420721B

CN113420721B - 标注图像关键点的方法和装置

Info

Publication number: CN113420721B
Application number: CN202110823315.6A
Authority: CN
Inventors: 彭昊天
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2021-07-21
Filing date: 2021-07-21
Publication date: 2022-03-29
Anticipated expiration: 2041-07-21
Also published as: CN113420721A

Abstract

本公开公开了用于标注图像关键点的方法和装置，涉及图像处理领域，尤其涉及增强现实、深度学习等人工智能技术领域。所述用于标注图像关键点的方法包括：从第一图像中识别标注有多个第一关键点的第一对象的图像；在第一对象的图像中提取包括第二对象的第二图像，其中第二对象标注有用于粗略限定第二对象轮廓的多个第二关键点；基于多个第二关键点计算参考点；以及基于多个第二关键点和参考点，标注用于精细限定第二对象的多个第三关键点。

Description

标注图像关键点的方法和装置

技术领域

本公开涉及图像处理领域，尤其涉及增强现实、深度学习等人工智能技术领域，具体涉及一种标注图像关键点的方法、装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质、以及计算机程序产品。

背景技术

在计算机视觉中，关键点检测(例如，人脸关键点检测)对待被检测的图像进行理解，是实现语义解析的重要技术。以人脸关键点检测为例，其在给定人脸图像中定位出人脸面部的关键点位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。每一个关键点有一个语义名称，并且具备一个二维坐标值，表示它在人脸图像中的位置。

发明内容

本公开提供了一种标注图像关键点的方法、装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质、以及计算机程序产品。

根据本公开的一方面，提供了一种标注图像关键点的方法，包括：

从第一图像中识别标注有多个第一关键点的第一对象的图像；

在第一对象的图像中提取包括第二对象的第二图像，其中第二对象标注有用于粗略限定第二对象轮廓的多个第二关键点；

基于多个第二关键点计算参考点；以及

基于多个第二关键点和参考点，标注用于精细限定第二对象的多个第三关键点。

根据本公开的另一方面，提供了一种特征识别模型的训练方法，包括：

基于多个第二关键点计算参考点；

基于多个第二关键点和参考点，标注用于精细限定第二对象的多个第三关键点；以及

利用多个第三关键点训练特征识别模型。

根据本公开的另一方面，提供了一种识别特征的方法，包括：

将待识别图像输入到特征识别模型，得到待识别图像的特征；

其中，特征识别模型是利用上面所述的方法训练的。

根据本公开的另一方面，提供了一种标注图像关键点的装置，包括：

识别单元，被配置为从第一图像中识别标注有多个第一关键点的第一对象的图像；

提取单元，被配置为在第一对象的图像中提取包括第二对象的第二图像，其中第二对象标注有用于粗略限定第二对象轮廓的多个第二关键点；

计算单元，被配置为基于多个第二关键点计算参考点；以及

标注单元，被配置为基于多个第二关键点和参考点，标注用于精细限定第二对象的多个第三关键点。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述标注图像关键点的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述标注图像关键点的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述标注图像关键点的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的执行标注图像关键点的方法的系统架构的示意图；

图2是根据本公开实施例的标注图像关键点的方法的示意流程图；

图3是根据本公开实施例的标注图像关键点的另一实施例的示意流程图；

图4是根据本公开实施例的标注图像关键点的过程的示意图；

图5是根据本公开实施例的从第一图像的图像中提取包括第二对象的第二图像的方法的示意流程图；

图6是根据本公开实施例的基于多个第一关键点在第一坐标系下的多个第一位置确定第三图像的方法的示意流程图；

图7是根据本公开实施例的在第一对象的图像中提取包括第二对象的第二图像的方法的示意流程图；

图8是根据本公开实施例的基于多个第二关键点计算参考点的方法的示意图；

图9是根据本公开实施例的基于多个第二关键点和参考点标注用于精细地限定第二对象的多个第三关键点的方法的示意图；

图10是用来实现本公开实施例的执行标注图像关键点的方法的装置的框图；

图11是用来实现本公开实施例的更新产品列表的方法的电子设备的框图；以及

图12是用于示出利用根据本公开实施例实现的标注结果的图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“使、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“系、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

需要说明的是，本公开中涉及的人脸、人眼模型并不是针对某一特定用户的人脸、人眼模型，并不能反映出某一特定用户的个人信息。本公开中涉及的人脸、人眼图像可以来自于公开数据集，或者人脸、人眼图像的获取是经过了人脸、人眼图像对应的用户的授权。

本公开的实施例提供了一种标注图像关键点的方法以及能够实现该方法的装置。该方法可以包括：从第一图像中识别标注有多个第一关键点的第一对象的图像；在第一对象的图像中提取包括第二对象的第二图像，其中第二对象标注有用于粗略限定第二对象轮廓的多个第二关键点；基于多个第二关键点计算参考点；以及基于多个第二关键点和参考点，标注用于精细限定第二对象的多个第三关键点。根据本公开实施例的方法，能够更精确地标注图像关键点以提高识别精度。

以下将参考附图并结合具体实施例详细阐述本公开。

图1是根据本公开实施例的可以执行标注图像关键点的方法的系统架构100的示意图。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如用户反馈应用、企业办公软件、企业内通信软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器。服务器105可以是云服务器，又称为云计算服务器或云主机。服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。

需要说明的是，本公开实施例所提供的标注图像关键点的方法一般可以由服务器105执行。相应地，本公开实施例所提供的标注图像关键点的单元或模块可以设置于服务器105中。本公开实施例所提供的标注图像关键点的方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的标注图像关键点的单元或模块也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

本公开的实施例首先进行粗精度识别以获得粗精度关键点，然后利用粗精度关键点进一步标注细精度关键点，从而能够通过细精度关键点更精确地确定出图像特征，由此提高识别精度。

本领域技术人员可以理解，“粗精度关键点”是指将要被识别的图像输入到特征识别模型中初步识别出的关键点，“细精度关键点”是指在粗精度关键点的基础上利用根据本公开的技术构思得出的相比于粗精度关键点而言的更精确地限定特征(例如，人脸、眼部、鼻子、嘴巴等)的关键点。

为了便于描述并且使得本领域技术人员更容易理解，以下以在人脸图像中更精确地确定人眼为例进行描述。本领域技术人员应当理解，这仅是示例性地，而非限制性的。本公开的技术构思可以应用于图像处理领域中的各个方面。

已有的人脸关键点算法存在以下几个问题：

(1)训练数据难以标注

由于人脸图像清晰度往往有限，因此在人脸图像中进一步决定眼部关键点的标注位置存在较大难度，只能粗略标注眼部关键点。

(2)关键点检测能力弱

如上所述，由于难以精确标注眼部关键点，只能进行粗略标注，基于这样的粗略关键点训练的识别模型的关键点检测能力较弱，难以精确识别眼睛形状，针对不同人脸，识别出的眼睛形状基本一致。此外，目前的关键点检测能力仅能保证关键点大致在眼部轮廓/方向，但其具体位置存在歧义。例如，同样属于眼周的关键点，同样位置针对不同人有时定位到眼睑，有时定位到眼线，而眼睛内侧有时定位到眼角，有时定位到泪腺或眼白，由此进一步导致对眼型理解的歧义。

总体来说，目前的眼部关键点在标注和识别方面的精细度均不足。

为了解决这样的技术问题，本公开例如提供了能够更精细地标注眼部关键点进而更精确地确定眼部的技术方案。

图2是根据本公开实施例的标注图像关键点的方法的示意流程图200。

如图2所示，流程图200例如可以包括如下操作。

在操作S210中，从第一图像中识别标注有多个第一关键点的第一对象的图像。

在示例性实施例中，第一图像可以是包括人的头部的图像。

在示例性实施例中，人的头部的图像可以是正脸的图像、侧脸的图像或者是任意其它角度的图像。

在示例性实施例中，第一关键点可以是用于限定人脸、鼻子、眼睛、瞳孔、眉毛等面部特征的关键点。

在示例性实施例中，第一对象可以是人脸。

在示例性实施例中，第一对象的图像可以是人脸图像。

在操作S220中，在第一对象的图像中提取包括第二对象的第二图像，其中第二对象标注有用于粗略限定第二对象轮廓的多个第二关键点。

在示例性实施例中，第二对象可以是眼睛。

在示例性实施例中，包括第二对象的第二图像可以是包括眼睛的图像。

在示例性实施例中，包括眼睛的图像可以是仅包括眼睛的图像。

在示例性实施例中，第二关键点可以用于限定眼睛轮廓的关键点。

在操作S230中，基于多个第二关键点计算参考点。

在示例性实施例中，参考点可以是多个关键点的重心、质心、中心等。

在操作S240中，基于多个第二关键点和参考点，标注用于精细限定第二对象的多个第三关键点。

在示例性实施例中，第三关键点可以是相比于第二关键点而言用于更精细地限定眼睛轮廓的关键点。

例如，第三关键点是限定内眼周(例如，眼睛中的眼球边沿)的关键点，而第二关键点可以是将眼袋和/眼皮限定为眼睛的一部分的关键点。

本公开的实施例首先在待被识别的图像中识别人脸，然后从人脸图像中提取包括标识有用于粗略限定人眼的关键点的人眼的图像，然后基于粗略限定人眼的关键点进一步标注能够更精确地限定人眼的关键点，由此可以提高识别精度，使得针对不同的人，所识别出的人眼更具个性化。

图3是根据本公开实施例的标注图像关键点的另一实施例的示意流程图300。

在示例性实施例中，在第一对象的图像中提取包括第二对象的第二图像之前，可以执行例如图3所示的操作。

如图3所示，例如可以包括如下操作。

在操作S301中，从第一图像中提取包括第一对象的第三图像。

在示例性实施例中，包括第一对象的第三图像可以是小于待被识别的第一图像的包括人脸的图像。

例如，待被识别的第一图像可以是除了人脸以外还包括人的四肢的图像。包括人脸的图像可以是仅包括人脸而不包括四肢的图像。

在操作S302中，对第三图像进行仿射变换，得到第四图像，其中第四图像具有第一预定大小、形状和取向。

在示例性实施例中，第三图像可以是鼻尖和下巴尖的连线与水平线不垂直的人脸图像。

在示例性实施例中，鼻尖和下巴尖的连线与水平线之间的角度可以是20°至80°。

图4是根据本公开实施例的标注图像关键点的过程的示意图。

在图4的示例中，鼻尖与下巴尖之间的连线与水平线不垂直，因此头部是歪的。

在图4中，第二图像以附图标记420示出，并且第三图像以附图标记430示出。

根据本公开实施例，对第三图像进行仿射变换，得到第四图像，其中所述第四图像具有第一预定大小、形状和取向。在图4中，第四图像以附图标记440示出。

在示例性实施例中，例如，具有第一预定大小和形状可以是边长为S的正方形。

在示例性实施例中，S可以是根据需要设置的任何数值。

在示例性实施例中，第四图像的取向被配置为第四图像的上下两边的中点的连线与水平线垂直。

在本公开中，“歪斜”意指眼睛的瞳孔之间的连线不平行于水平线，或者鼻尖与下巴尖之间的连线与水平线不垂直。

在本公开中，“正向”或者“平直状态”意指眼睛的瞳孔之间的连线与水平线水平，或者鼻尖与下巴尖之间的连线与水平线垂直。

本公开的实施例通过将歪斜的人脸图像仿射变换为正向的人脸图像，能够使得眼睛处于正向或者平直状态，以防止歪斜的人眼给标注人员带来干扰。

图5是根据本公开实施例的从第一图像的图像中提取包括第二对象的第二图像的方法的示意流程图500。

如图5所示，流程图500例如可以包括如下操作。

在操作S510中，基于多个第一关键点中的至少4个第一关键点确定x轴和y轴，得到基于x轴和所述y轴的第一坐标系。

在示例性实施例中，至少4个第一关键点可以是标识两眼的瞳孔、鼻尖以及下巴尖的第一关键点。

在操作S520中，基于在多个第一关键点在第一坐标系下的多个第一位置，确定第三图像。

以下将进一步描述基于在多个第一关键点在第一坐标系下的多个第一位置确定第三图像的细节。

本公开的实施例基于特定关键点建立坐标系并且获得坐标系下的各个关键点位置，更有利于第三图像的大小的确定，由此，针对不同的图像，能够实现人脸与第三图像的比例一致。

图6是根据本公开实施例的基于多个第一关键点在第一坐标系下的多个第一位置确定第三图像的方法的示意流程图600。

如图6所示，流程图600例如可以包括如下操作。

在操作S610中，确定多个第一位置中在x轴方向上的最大值x_max和最小值x_min。

在示例性实施例中，多个第一位置中在x轴方向上的最大值和最小值可以处于与外眼角最近的脸部边缘处。

在示例性实施例中，可以对多个第一位置的x坐标进行逐一比较，以确定出最大值和最小值。

在示例性实施例中，可以通过寻找x坐标的最大绝对值来确定出最大值和最小值。

在操作S620中，确定多个第一位置中在y轴方向上的最大值y_max和最小值y_nin。

在示例性实施例中，多个第一位置中在y轴方向上的最大值可以是脸部最高点位置的y坐标，并且多个第一位置中在y轴方向上的最小值可以是脸部最低点位置的y坐标。

在操作S630中，基于在x轴方向上的最大值x_max和最小值x_min以及在y轴方向上的最大值y_max和最小值y_min，确定第三图像的第一中心以及第三图像的第一边长。

在示例性实施例中，第一中心的坐标可以为

在示例性实施例中，第一边长可以通过以下操作来确定：计算x_max-x_min以及y_max-y_min，以确定脸部图像的最高点与最低点之间的高度距离以及最左边的点与最右边的点之间的长度距离；以高度距离和长度距离中的最大值的3倍作为第一边长的值。

在操作S640中，基于第一中心和第一边长，确定第三图像。

本公开的实施例以特定坐标系下的最高点、最低点、最左边的点和最右边的点为基准来建立第三图像，能够使得针对不同的图像，人脸与第三图像的比例一致，并且第三图像能够以最小的空闲裕度包括人脸。

图7是根据本公开实施例的在第一对象的图像中提取包括第二对象的第二图像的方法的示意流程图700。

如图7所示，流程图700例如可以包括如下操作。

在操作S710中，将对第二对象中包括的第三对象加以标识的第四关键点确定为第二中心。

在示例性实施例中，第三对象可以是瞳孔。

在操作S720中，基于多个第二关键点中的相距最远的两个第二关键点之间的距离，确定第二图像的第二边长。

在示例性实施例中，第二关键点可以用于限定眼睛轮廓的关键点，并且多个第二关键点中的相距最远的两个第二关键点可以是同一眼睛的外眼角和内眼角的关键点。

在示例性实施例中，可以以同一眼睛的内眼角和外眼角之间的距离的0.75倍作为第二边长的值。

在操作S730中，基于第二中心和第二边长，确定第二图像。

本公开的实施例通过基于瞳孔、内眼角和外眼角来确定仅包括眼睛的第二图像，可以使得第二图像以最小的空闲裕度包括眼睛。

在示例性实施例中，在第一对象的图像中提取包括第二对象的第二图像之后，可以将第二图像(例如，图4中的420)变换为具有第二预定大小的第五图像(例如，图4中的450)。

在示例性实施例中，例如，第二预定大小可以与第一预定大小相同，其边长为S。

在示例性实施例中，S可以是根据需要设置的任何数值。

在示例性实施例中，第二预定大小可以与第一预定大小不同。

在示例性实施例中，将第二图像中粗略限定第二对象的轮廓的多个第二关键点(例如，420中的限定眼周的关键点)映射到所述第五图像，从而在所述第五图像上标注有多个第四关键点(例如，450中的限定眼周的关键点)。

在示例性实施例中，可以将具有第二预定大小的左眼图像和右眼图像拼接在一起，以形成完整的眼部图像。

图8是根据本公开实施例的基于多个第二关键点计算参考点的方法的示意图800。

如图8所示，流程图800例如可以包括如下操作。

在操作S810中，基于第五图像上映射的多个第四关键点，计算多个第四关键点的重心。

在示例性实施例中，重心位置可以与瞳孔位置重叠。

在示例性实施例中，重心位置可以不与瞳孔位置重叠。

在操作S820中，将重心确定为参考点。

图9是根据本公开实施例的基于多个第二关键点和参考点标注用于精细地限定第二对象的多个第三关键点的方法的示意图900。

如图9所示，流程图900例如可以包括如下操作。

在操作S910中，将重心与多个第四关键点中的每一个第四关键点进行连接，得到多条射线(如图4中的460中的多条射线)。

在操作S920中，将多条射线与第二对象中包括的第四对象(例如，眼球)的边缘之间的交点标注为多个第三关键点(例如，图4中的460中的限定内眼周的多个关键点)。

在示例性实施例中，可以将在第五图像中标注出的多个第三关键点反向映射到第一图像中。

在示例性实施例中，可以基于图像所处的坐标位置以及缩放比例来进行映射或者反向映射。

在示例性实施例中，可以使用所标注出的多个第三关键点对用于识别特征的特征识别模型进行训练，以不断提高特征识别模型的识别精度。

在示例性实施例中，在对新的图像进行识别时，将新的图像输入到经过训练的特征识别模型中，可以自动以高精度识别出眼部。

图10是用来实现本公开实施例的执行标注图像关键点的方法的装置1000的框图。

如图10所示，用于标注图像关键点的装置1000可以包括识别单元1010、提取单元1020、计算单元1030以及标注单元1040。

识别单元1010可以被配置为从第一图像中识别标注有多个第一关键点的第一对象的图像。

提取单元1020可以被配置为在第一对象的图像中提取包括第二对象的第二图像，其中第二对象标注有用于粗略限定第二对象轮廓的多个第二关键点。

计算单元1030可以被配置为基于多个第二关键点计算参考点。

标注单元1040可以被配置为基于多个第二关键点和参考点，标注用于精细限定第二对象的多个第三关键点。

除了以上识别单元1010、提取单元1020、计算单元1030以及标注单元1040之外，用于标注图像关键点的装置还可以包括其他单元、模块和子模块，用于对应地执行上述各种操作。

在此为了防止冗余，不再对用于执行上述各种操作的单元、模块和子模块进行重复描述。

根据本公开的实施例的模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，识别单元1010、提取单元1020、计算单元1030以及标注单元1040可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，识别单元1010、提取单元1020、计算单元1030以及标注单元1040中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，识别单元1010、提取单元1020、计算单元1030以及标注单元1040中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

需要说明的是，本公开的实施例中装置部分实施方式与本公开的实施例中方法部分实施方式对应相同或类似，装置部分实施方式的描述具体请参考方法部分实施方式的描述，在此不再赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法、处理和操作，例如方法200。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

图12中的(a)示出了粗精度关键点，图12中的(b)示出了基于粗精度关键点而标注出的细精度关键点。

显然地，相比于粗精度关键点而言，细精度关键点能够更精确地限定出人眼，更具体地，能够更精确地限定出人眼的内轮廓，由此能够使得人眼关键点针对不同的人更具区别性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims

1.一种标注图像关键点的方法，包括：

在所述第一对象的图像中提取包括第二对象的第二图像，其中所述第二对象标注有用于粗略限定第二对象轮廓的多个第二关键点；

基于所述多个第二关键点计算参考点；以及

将所述多个第二关键点中的每一个第二关键点和所述参考点进行连接，将连接每一个第二关键点和所述参考点所形成的线与第二对象轮廓相交的点标注为用于精细限定所述第二对象的多个第三关键点，

其中，所述参考点为用于标注第三关键点的一个点。

2.根据权利要求1所述的方法，还包括，在所述第一对象的图像中提取包括第二对象的第二图像之前：

从所述第一图像中提取包括所述第一对象的第三图像；以及

对所述第三图像进行仿射变换，得到第四图像，其中所述第四图像具有第一预定大小、形状和取向。

3.根据权利要求2所述的方法，其中，从所述第一图像中提取包括所述第一对象的第三图像包括：

基于所述多个第一关键点中的至少4个第一关键点确定x轴和y轴，得到基于所述x轴和所述y轴的第一坐标系；

基于所述多个第一关键点在所述第一坐标系下的多个第一位置，确定所述第三图像。

4.根据权利要求3所述的方法，其中，基于所述多个第一关键点在所述第一坐标系下的多个第一位置确定所述第三图像包括：

确定所述多个第一位置中在所述x轴方向上的最大值x_max和最小值x_min；

确定所述多个第一位置中在所述y轴方向上的最大值y_max和最小值y_min；

基于在所述x轴方向上的最大值x_max和最小值x_min以及在所述y轴方向上的最大值y_max和最小值y_min，确定所述第三图像的第一中心以及所述第三图像的第一边长；以及

基于所述第一中心和所述第一边长，确定所述第三图像。

5.根据权利要求1所述的方法，其中，在所述第一对象的图像中提取包括第二对象的第二图像包括：

将对所述第二对象中包括的第三对象加以标识的第四关键点确定为第二中心；

基于所述多个第二关键点中的相距最远的两个第二关键点之间的距离，确定所述第二图像的第二边长；以及

基于所述第二中心和所述第二边长，确定所述第二图像。

6.根据权利要求1所述的方法，还包括，在所述第一对象的图像中提取包括第二对象的第二图像之后：

将所述第二图像变换为具有第二预定大小的第五图像。

7.根据权利要求6所述的方法，其中，所述方法还包括：

将所述第二图像中粗略限定所述第二对象的轮廓的多个第二关键点映射到所述第五图像，从而在所述第五图像上标注有多个第四关键点。

8.根据权利要求7所述的方法，其中，基于所述多个第二关键点计算参考点包括：

基于所述第五图像上映射的所述多个第四关键点，计算所述多个第四关键点的重心；以及

将所述重心确定为所述参考点。

9.根据权利要求8所述的方法，其中，基于所述多个第二关键点和所述参考点标注用于精细地限定所述第二对象的多个第三关键点包括：

将所述重心与所述多个第四关键点中的每一个第四关键点进行连接，得到多条射线；

将所述多条射线与所述第二对象中包括的第四对象的边缘之间的交点标注为所述多个第三关键点。

10.一种特征识别模型的训练方法，包括：

基于所述多个第二关键点计算参考点；

将所述多个第二关键点中的每一个第二关键点和所述参考点进行连接，将连接每一个第二关键点和所述参考点所形成的线与第二对象轮廓相交的点标注为用于精细限定所述第二对象的多个第三关键点；以及

利用所述多个第三关键点训练所述特征识别模型，

其中，所述参考点为用于标注第三关键点的一个点。

11.一种识别特征的方法，包括：

将待识别图像输入到特征识别模型，得到所述待识别图像的特征；

其中，所述特征识别模型是利用根据权利要求10所述的方法训练的。

12.一种标注图像关键点的装置，包括：

提取单元，被配置为在所述第一对象的图像中提取包括第二对象的第二图像，其中所述第二对象标注有用于粗略限定第二对象轮廓的多个第二关键点；

计算单元，被配置为基于所述多个第二关键点计算参考点；以及

标注单元，被配置为将所述多个第二关键点中的每一个第二关键点和所述参考点进行连接，将连接每一个第二关键点和所述参考点所形成的线与第二对象轮廓相交的点标注为用于精细限定所述第二对象的多个第三关键点，

其中，所述参考点为用于标注第三关键点的一个点。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。