CN109543495B - 一种人脸关键点标注方法、装置、电子设备及存储介质 - Google Patents
一种人脸关键点标注方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109543495B CN109543495B CN201710868833.3A CN201710868833A CN109543495B CN 109543495 B CN109543495 B CN 109543495B CN 201710868833 A CN201710868833 A CN 201710868833A CN 109543495 B CN109543495 B CN 109543495B
- Authority
- CN
- China
- Prior art keywords
- key point
- coordinate system
- coordinate
- determining
- newly added
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种人脸关键点标注方法、装置、电子设备及存储介质，该方法包括：针对每个新增关键点，在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；针对每个新增关键点，根据该新增关键点对应的映射关系，及输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。在本发明实施例中减少了标注关键点的工作量。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸关键点标注方法、装置、电子设备及存储介质。
背景技术
人脸关键点定位技术在人脸识别以及人脸图像处理技术中有广泛的应用。在人脸识别技术中，电子设备根据模型训练后得到的人脸模型关键点信息，在人脸图像上定位出人脸模型关键点并进行人脸校正，以提高人脸识别的性能，另外，人脸模型关键点信息对表情识别以及人脸动画自动合成等技术都有非常重要的作用。例如在实际应用方面，电子设备通过人脸模型关键点信息，定位到人脸图像中的五官从而后续实现美颜效果，或者是定位人脸图像中的相应位置添加装饰物等。电子设备是根据训练集进行模型训练得到人脸模型关键点信息，人脸模型关键点信息中关键点的数量，决定了利用人脸关键点定位技术定位的关键点的数量。训练集中包括多张人脸图像及每张人脸图像的关键点位置信息文件，针对每张人脸图像，该人脸图像的关键点位置信息文件中包括该人脸图像对应的多个关键点的坐标。
现有技术中为了得到用于进行模型训练的训练集，通常是针对预先保存的多张人脸图像，标注人员人为地在每张人脸图像上标注设定数量个关键点，并确定标注的设定数量个关键点的坐标，从而确定每张人脸图像的关键点位置信息文件，得到训练集。训练集中每张人脸图像对应的关键点的数量，决定了人脸模型关键点信息中关键点的数量，并且通常当训练集中每张人脸图像的关键点的数量相同时，才能得到人脸模型关键点信息。
具体地，电子设备中预先保存有多张人脸图像，及每张人脸图像中设定数量个关键点的基本坐标，根据每张图像中设定数量个关键点的基本坐标，在每张人脸图像上初次标注设定数量个关键点，接收用户的操作指令对每张人脸图像中的设定数量个关键点，进行关键点的选择移动，并在每张人脸图像中再次标注选择移动后的设定数量个关键点，从而确定每张人脸图像上设定数量个关键点的坐标，完成人脸图像的标定。
因为现有技术中训练集中每张图像中关键点的数量是预先设定并且是固定，如果存在增加关键点的数量的需求时，例如每张图像需要标定的关键点数量从68个增加到106个，就需要标注人员人为在每张人脸图像上重新标注106个关键点，并且由于模型训练时使用的训练集中的人脸图像的数量通常比较多，因此就会导致标注关键点的工作量过大，资源浪费过多。
发明内容
本发明提供一种人脸关键点标注方法、装置、电子设备及存储介质，用以解决现有技术中存在标注关键点的工作量大和资源浪费多问题。
本发明提供了一种人脸关键点标注方法，应用于电子设备，该方法包括：
在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；
针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
进一步地，所述根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系包括：
连接所述两个关联关键点，将连接后的两个关联关键点所在的直线作为横轴，将所述两个关联关键点中的任一第一关联关键点作为原点；
根据所述原点和所述横轴，确定所述第一坐标系的纵轴；
根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度。
进一步地，所述根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度包括：
将所述第一关联关键点与所述第二关联关键点的距离，确定为第一坐标系的横轴的单位长度，及纵轴的单位长度；或
将所述第一关联关键点和所述第二关联关键点的第二坐标中横坐标的差值绝对值，确定为第一坐标系的横轴的单位长度；将所述第一关联关键点和所述第二关联关键点的第二坐标中纵坐标的差值绝对值，确定为第一坐标系的纵轴的单位长度。
进一步地，所述根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标后，所述方法还包括：
针对所述已标注完成的人脸图像，保存该新增关键点的第四坐标。
进一步地，所述根据所述第四坐标，对所述已标注完成的人脸图像进行更新后，所述方法还包括：
针对所述已标注完成的人脸图像，在确定接收到用户的关键点坐标调整指令时，对所述已标注完成的人脸图像进行调整。
进一步地，所述关键点坐标调整指令为移动指令、或放大指令、或缩小指令、或删除指令。
本发明提供了一种人脸关键点标注装置，应用于电子设备，该装置包括：
确定模块，在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；
标注模块，针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
本发明提供了一种电子设备，包括存储器、处理器；
所述处理器，用于读取所述存储器中的程序，执行下列过程：在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
进一步地，所述处理器，具体用于连接所述两个关联关键点，将连接后的两个关联关键点所在的直线作为横轴，将所述两个关联关键点中的任一第一关联关键点作为原点；根据所述原点和所述横轴，确定所述第一坐标系的纵轴；根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度。
进一步地，所述处理器，具体用于将所述第一关联关键点与所述第二关联关键点的距离，确定为第一坐标系的横轴的单位长度，及纵轴的单位长度；或将所述第一关联关键点和所述第二关联关键点的第二坐标中横坐标的差值绝对值，确定为第一坐标系的横轴的单位长度；将所述第一关联关键点和所述第二关联关键点的第二坐标中纵坐标的差值绝对值，确定为第一坐标系的纵轴的单位长度。
进一步地，所述处理器，还用于根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标后，针对所述已标注完成的人脸图像，保存该新增关键点的第四坐标。
进一步地，所述处理器，还用于根据所述第四坐标，对所述已标注完成的人脸图像进行更新后，针对所述已标注完成的人脸图像，在确定接收到用户的关键点坐标调整指令时，对所述已标注完成的人脸图像进行调整。
进一步地，所述处理器，具体用于接收用户的移动指令、或放大指令、或缩小指令、或删除指令。
本发明提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一所述方法的步骤。
本发明一种计算机可读存储介质，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行上述任一所述方法的步骤。
本发明提供一种人脸关键点标注方法、装置、电子设备及存储介质，该方法包括：在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。在本发明实施例中，确定新增关键点的两个关联关键点，并确定新增关键点对应的第一坐标系，根据两个关联关键点在第一坐标系中的第一坐标及第二坐标，确定第一坐标系与第二坐标系的映射关系，从而根据用户输入的新增关键点在第一坐标系中的第三坐标，确定新增关键点在第二坐标系中的第四坐标，根据第四坐标，对已标注完成的人脸图像进行更新，而不需要人为在人脸图像中重新标定包括新增关键点在内的所有关键点，因此减少了标注关键点的工作量，节省了资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种人脸关键点标注过程示意图；
图2为本发明实施例1提供的一种已标注完成的人脸图像的示意图；
图3为本发明实施例1提供的一种部分放大显示的人脸图像的示意图；
图4为本发明实施例2提供的一种第一坐标系与第二坐标系的示意图；
图5为本发明实施例3提供的一种关键点位置信息文件保存关键点的坐标的示意图；
图6为本发明实施例3提供的一种第二坐标系的示意图；
图7为本发明实施例3提供的一种已标注完成的人脸图像的示意图；
图8为本发明实施例4提供的一种未包含选中的关键点的人脸图像的示意图；
图9为本发明实施例4提供的一种包含选中的关键点的人脸图像的示意图；
图10为本发明实施例4提供的一种原始的人脸图像的示意图；
图11为本发明实施例4提供的一种放大后的人脸图像的示意图；
图12为本发明实施例5提供的一种电子设备的示意图；
图13为本发明实施例6提供的一种电子设备的示意图；
图14为本发明实施例提供的一种人脸关键点装置示意图。
具体实施方式
为了减少标注关键点的工作量和节省资源，本发明实施例提供了一种人脸关键点标注方法、装置、电子设备及存储介质。
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的一种人脸关键点标注过程示意图，该过程包括以下步骤：
S101：在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系。
本发明实施例提供的人脸关键点标注方法应用于电子设备，该电子设备可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)、网络侧设备等能够在人脸图像中标注关键点的电子设备。
电子设备中通常保存有多张人脸图像，及每张人脸图像的关键点位置信息文件，电子设备可以根据关键点位置信息文件中的每个关键点的坐标，及人脸图像所在的坐标系，对人脸图像进行标注，然后显示已标注完成的人脸图像。当用户存在增加关键点的需求时，用户会对已标注完成的人脸图像进行新增关键点的操作，具体地，用户新增关键点的操作可以是在已标注完成的人脸图像上的单击操作，或者双击操作。用户进行一次新增关键点的操作，新增的关键点的数量可以是一个，可以是多个。
用户针对每个新增关键点，会在已标注完成的人脸图像中选择该新增关键点的两个关联关键点，其中用户选择的关联关键点为已标注完成的关键点。用户在选择新增关键点的两个关联关键点，可以是通过预先保存的两个关联关键点的序号进行选择的，也可以是通过已标注完成的两个关联关键点的第二坐标进行选择的。较佳地，用户在选择新增关键点的两个关联关键点时，因为新增关键点的位置用户是知道的，而在已标注完成的人脸图像也会显示每个已标注完成的关键点，因此可以选择与新增关键点之间的距离较小且位置较为固定的两个关联关键点，可以使得新增关键点在人脸图像中的位置较为固定，通常情况下人脸的五官和脸部轮廓等不易发生改变，因此可以将人脸的五官和脸部轮廓的位置上的已标注完成的关键点作为较为固定的关联关键点。
第二坐标指位于第二坐标系上的坐标，具体的第二坐标系可以为根据人脸图像确定的坐标系。
针对每个新增关键点，电子设备可以根据该新增关键点的两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系。
因为电子设备是根据两个关联关键点确定的第一坐标系，则电子设备可以确定两个关联关键点在第一坐标系中的第一坐标，又由于电子设备中预先保存有两个关联关键点的第二坐标，因此电子设备可以根据两个关联关键点的第二坐标及在第一坐标系中的第一坐标，确定第一坐标与第二坐标所在的第二坐标系的映射关系。
确定了两个关联关键点在第一坐标系下的第一坐标，及在第二坐标系下的第二坐标，电子设备可以确定第一坐标系与第二坐标系的映射关系。具体地确定第一坐标系与第二坐标系的映射关系的过程属于现有技术，在本发明实施例中不做赘述。
电子设备针对每个新增关键点确定两个关联关键点，每个新增关键点对应的两个关联关键点可能不同，因此根据这两个关联关键点确定的映射关系也可能不同。
S102：针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
电子设备已经确定了每个新增关键点对应的映射关系，则电子设备可以针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标。
因为第一坐标系与第二坐标系的映射关系已经确定，因此当电子设备确定了新增关键点在第一坐标系中的第三坐标时，可以确定该新增关键点在第二坐标系中的第四坐标。
用户输入的新增关键点在第一坐标系中的第三坐标，可以是根据用户的经验估算得到的，用户可以在电子设备提供的配置文件模板中直接添加新增关键点的两个关联关键点的标识信息，及新增关键点在第一坐标系中的第三坐标。如果用户是通过预先保存的关联关键点的序号，选择的新增关键点的两个关联关键点的序号，则用户还可以在配置文件模板中添加新增关键点的序号，用户添加的新增关键点的序号只要不与已标注完成的关键点的序号重合即可。为了保证新增关键点标定的准确性，针对新增关键点，用户可以输入在第一坐标系中横纵坐标均为正值的第三坐标。
具体地，电子设备提供的配置文件模板如下所示：
<NewPoint No＝"17"start＝"1"end＝"3"xscale＝"0.5"yscale＝"0"/>
其中No表示新增关键点的序号，start和end表示两个关联关键点的序号，xscale和yscale表示新增关键点在第一坐标系中的第三坐标。
电子设备根据新增关键点的第四坐标，对已标注完成的人脸图像进行更新，具体地，电子设备在已标注完成的人脸图像中添加第四坐标对应的新增关键点，刷新显示标注新增关键点后的人脸图像。
图2为已标注完成的人脸图像的示意图，其中画框部分中存在新增关键点，图3为在图2的基础上画框部分放大显示的示意图，如图3所示，画框部分存在新增关键点的两个关联关键点start和end，并且显示有根据该两个关联关键点start和end确定的新增关键点new。
在本发明实施例中，确定新增关键点的两个关联关键点，并确定新增关键点对应的第一坐标系，根据两个关联关键点在第一坐标系中的第一坐标及第二坐标，确定第一坐标系与第二坐标系的映射关系，从而根据用户输入的新增关键点在第一坐标系中的第三坐标，确定新增关键点在第二坐标系中的第四坐标，根据第四坐标，对已标注完成的人脸图像进行更新，而不需要人为在人脸图像中重新标定包括新增关键点在内的所有关键点，因此减少了标注关键点的工作量，节省了资源。
实施例2：
在上述各实施例的基础上，本发明实施例中，所述根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系包括：
连接所述两个关联关键点，将连接后的两个关联关键点所在的直线作为横轴，将所述两个关联关键点中的任一第一关联关键点作为原点；
根据所述原点和所述横轴，确定所述第一坐标系的纵轴；
根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度。
电子设备针对每个新增关键点的两个关联关键点，连接该两个关联关键点，将连接后的两个关联关键点所在的直线作为横轴，横轴的正方向任意。具体地，可以在两个关联关键点中选取一个第一关联关键点作为起始点，另一个第二关联关键点作为结束点，将起始点和结束点所在的直线作为横轴，确定横轴的正方向时，由起始点指向结束点的方向即为横轴的正方向，也可以将由结束点指向起始点的方向作为横轴的正方向。电子设备可以将与第二坐标系的原点之间的距离最短的第一关联关键点，确定为起始点。
电子设备在两个关联关键点中选取任一第一关联关键点作为原点时，可以是与坐标轴的正方向保持一致，具体地，如果将由起始点指向结束点的方向作为横轴的正方向，则选取起始点作为原点；如果将由结束点指点起始点的方向作为纵轴的正方向，则选取结束点作为原点。
电子设备根据原点和横轴，确定第一坐标系的纵轴，具体地，以原点为旋转点，将横轴顺时针或逆时针旋转90度得到纵轴，纵轴的正方向可以与旋转后的横轴的正方向相同，也可以是与旋转后的横轴正方向相反。
电子设备还可以根据第一关联关键点与另一第二关联关键点的距离，确定第一坐标系的单位长度，具体地，所述根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度包括：
将所述第一关联关键点与所述第二关联关键点的距离，确定为第一坐标系的横轴的单位长度，及纵轴的单位长度；或
将所述第一关联关键点和所述第二关联关键点的第二坐标中横坐标的差值绝对值，确定为第一坐标系的横轴的单位长度；将所述第一关联关键点和所述第二关联关键点的第二坐标中纵坐标的差值绝对值，确定为第一坐标系的纵轴的单位长度。
如果电子设备是将第一关联关键点与第二关联关键点的距离，确定为第一坐标系的横轴的单位长度及纵轴的单位长度，则第一坐标系的横轴的单位长度及纵轴的单位长度相同，且横轴的单位长度与纵轴的单位长度均为，第一关联关键点与第二关联关键点的距离。第一关联关键点与第二关联关键点的距离，根据第一关联关键点与第二关联关键点横坐标的差及纵坐标的差确定，具体确定距离的过程属于现有技术，在本发明实施例中不再赘述。
如果将第一关联关键点和第二关联关键点的第二坐标中横坐标的差值绝对值，确定为第一坐标系的横轴的单位长度；将所述第一关联关键点和所述第二关联关键点的第二坐标中纵坐标的差值绝对值，确定为第一坐标系的纵轴的单位长度，则第一坐标系的横轴的单位长度及纵轴的单位长度可能相同，可能不同。
如图4所示为第一坐标系与第二坐标系的示意图，其中第二坐标系的原点为O点，在新增关键点new的两个关联关键点中，选取任一第一关联关键点为起始点start，另一第二关联关键点为结束点end，在第一坐标系中的原点为起始点start，将由起始点start指向结束点end的方向作为横轴的正方向，将横轴逆时针旋转后得到的纵轴，将旋转后的横轴的正方向作为纵轴的正方向，将起始点start与结束点end的距离，确定为第一坐标系的横轴的单位长度及纵轴的单位长度，并且新增关键点new在第一坐标系中的位置如图4所示。
电子设备根据确定的第一坐标系，及两个关联关键点的第二坐标所在的第二坐标系，确定第一坐标系与第二坐标系的映射关系，具体地，电子设备可以是根据第一坐标与第二坐标，确定第一坐标系中坐标与第二坐标系中坐标的矢量运算规则，将该矢量运算规则确定为第一坐标系与第二坐标系的映射关系，例如该矢量运算规则满足
其中
表示矢量OA的值，
表示矢量AN的值，
表示矢量ON的值，O点为第二坐标系的原点，A点为第一坐标系的原点，N点坐标为新增关键点。
则根据该第一坐标系与第二坐标系的映射关系，确定新增关键点在第二坐标系中的第四坐标，具体可以是假设存在新增关键点N，该新增关键点N对应的映射关系为
O点为第二坐标系的原点，在第二坐标系中的坐标为(0，0)，A点为第一坐标的原点，在第一坐标系中的坐标为(0，0)，在第二坐标系中的坐标为(ax，ay)，且用户输入的该新增关键点N在第一坐标系中的第三坐标(s.xscale，s.yscale)。则
可以表示A点在第二坐标系中的第二坐标即(ax，ay)，
可以表示新增关键点N在第一坐标系中的第三坐标即(s.xscale，s.yscale)，则根据矢量运算
可以表示N点在第二坐标系中的第四坐标即(ax+s.xscale，ay+s.yscale)。
由于本发明实施例中根据两个关联关键点的第二坐标，确定新增关键点对应的第一坐标系，并确定第一坐标系与第二坐标系的映射关系，从而根据用户输入的新增关键点在第一坐标系中的第三坐标，确定新增关键点在第二坐标系中的第四坐标，对已标注完成的人脸图像进行更新。
实施例3：
为了便于对人脸图像进行标注，在上述各实施例的基础上，本发明实施例中，所述根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标后，所述方法还包括：
针对所述已标注完成的人脸图像，保存该新增关键点的第四坐标。
电子设备针对已标注完成的人脸图像，保存新增关键点的第四坐标，便于根据第四坐标，在人脸图像中标注第四坐标对应的新增关键点。
通常情况下电子设备将关键点的坐标保存在关键点位置信息文件中，并且每个关键点位置信息文件对应一张人脸图像，其中关键点位置信息文件可以为txt格式或opt格式等，在本发明实施例中关键点位置信息文件的文件格式不做限定，只要能保存关键点的坐标即可。
如果关键点位置信息文件为txt格式，则关键点位置信息文件中保存的关键点的坐标的示意图如图5所示，关键点位置信息文件中每一行表示一个关键点的坐标，第一列表示关键点的横坐标，第二列表示关键点的纵坐标。此外用户在选择新增关键点的两个关联关键点时如果是通过序号选择的，则关键点的序号可以是与该关键点在关键点位置信息文件中保存的行号有关，例如可以是第一行的关键点对应的序号为1等。如图5所示，关键点位置信息文件中保存的关键点的坐标为(114.100，128.400)、(246.200，138.356)……。
如果关键点位置信息文件为opt格式，则关键点位置信息文件中保存的关键点的坐标的格式如下：
n_points:关键点的数量{
112.11 223.11
133.13 366.42
…
}
opt格式的关键点位置信息文件中保存有关键点的数量，及每个关键点的坐标，该opt格式的关键点位置信息文件中保存的关键点的坐标为(112.11，223.11)、(133.13，366.42)……。
电子设备读取关键点位置信息文件中关键点的坐标，在人脸图像上标定的过程属于现有技术，具体地电子设备可以调用网络上提供的公开免费的人脸关键点标定API接口进行标定。电子设备中通常保存有与人脸图像的文件名匹配的关键点位置信息文件，如待标定的图像文件名称为“face.jpg”，则在指定路径下，存在与人脸图像的文件名匹配的关键点位置信息文件“face.txt”文件，电子设备读取关键点位置信息文件即“face.txt”文件中关键点的坐标，第二坐标系的建立规则是以图像左上角为原点，图像宽方向向右为纵轴正方向，图像高度方向向下为横轴正方向如图6所示，x轴为横轴，y轴为纵轴。
其中关键点用浅蓝色正方形标出，矩形边长为2像素点，实际应用过程中标出关键点的颜色形状及边长可以根据需要进行调整，电子设备遍历关键点位置信息中每一行的坐标，每一行对应一个标注点/关键点，将坐标符合要求的每个关键点在人脸图像上进行标注。例如关键点位置信息中共有68行，则说明待标注的关键点为68个，人脸图像的大小为640像素*480像素，则说明人脸图像的宽为640像素，长为480像素，则说明关键点的横坐标应不小于0且不大于640，且纵坐标应不小于0且不大于480，当某一关键点的横坐标及纵坐标均满足上述对应的范围，该关键点的坐标符合要求，该关键点可以标注在人脸图像上，如果关键点位置信息中68个关键点的坐标均符合要求，则将这68个关键点标注在人脸图像上，已标注完成的人脸图像如图7所示。
由于电子设备针对已标注完成的人脸图像，保存新增关键点的第四坐标，便于根据第四坐标，在人脸图像中标注第四坐标对应的新增关键点。
实施例4：
为了保证关键点的位置和数量符合要求，在上述各实施例的基础上，本发明实施例中，所述根据所述第四坐标，对所述已标注完成的人脸图像进行更新后，所述方法还包括：
针对所述已标注完成的人脸图像，在确定接收到用户的关键点坐标调整指令时，对所述已标注完成的人脸图像进行调整。
其中所述关键点坐标调整指令包括移动指令、或放大指令、或缩小指令、或删除指令中的一种。
本发明实施例中电子设备可以根据用户的关键点坐标调整指令，对已标注完成的人脸图像进行调整，当人脸图像中标注的关键点的位置或数量不准确时，可以人工校正关键点的位置和数量，保证了关键点的位置和数量符合要求。
关键点坐标调整指令包括移动指令、放大指令、缩小指令和删除指令，因此对已标注完成的人脸图像进行调整包括关键点位置调整、人脸图像大小调整及关键点数量调整。
具体地，当所述关键点坐标调整指令为移动指令时，所述对所述已标注完成的人脸图像进行调整包括：
针对所述已标注完成的人脸图像，在确定接收到用户的移动指令时，根据所述移动指令中携带的关键点的标识信息，及所述关键点移动后在第二坐标系中的第五坐标，在所述已标注完成的人脸图像中移动所述标识信息的关键点，采用所述第五坐标对所述标识信息的关键点的坐标更新，其中所述移动指令包括键盘按键移动指令和/或鼠标拖动移动指令。
关键点的移动主要包含选中关键点和移动关键点两部分，因此用户的移动指令中携带有关键点的标识信息，及该关键点移动后在第二坐标系中的第五坐标。
电子设备根据关键点的标识信息，及移动后的第五坐标，在已标注完成的人脸图像中移动该标识信息的关键点，并采用第五坐标对该标识信息的关键点的坐标更新。
移动指令包括键盘按键移动指令和/或鼠标拖动移动指令，表示选择关键点可以通过两种方式进行，第一种方式为用户操作鼠标点击某一第一关键点，电子设备将该第一关键点修改为选中状态，第二种为用户操作键盘按住Ctrl+F，在弹出的输入框输入第一关键点的序号，点击回车，则该第一关键点将被修改为选中状态。人脸图像中未包含选中的关键点的示意图如图8所示，人脸图像中包含选中的关键点的示意图如图9所示，如图9所述，当关键点被选中后，电子设备将该选中的关键点修改为选中状态，选中状态表现为将关键点修改为套有选中框的关键点，具体地，选中框的颜色和形状不做限定。
移动关键点也可以通过两种方式进行，第一种方式为鼠标拖动某一第一关键点，将选中的第一关键点通过鼠标拖动到指定位置，用户在移动过程中需要注意的是：避免第一关键点与其他关键点重合，并且移动的范围不能超出人脸图像的大小范围，当移动范围超过人脸图像的大小范围时，电子设备给用户显示提示信息。第二种方式为用户通过键盘进行关键点移动，例如通过WSAD四个按键或上下左右键分别控制第一关键点的上移、下移、左移、右移等，每次按一次按键移动设定数量个像素点，设定数量个像素点可以为一个或多个。
进一步地，当关键点的位置信息发生变化时，电子设备会根据更新移动后的关键点的坐标，并根据更新后的关键点的坐标重新在人脸图像上标注关键点。当用户通过鼠标拖动移动关键点位置时，当用户松开鼠标按键，电子设备根据用户松开鼠标按键时关键点的位置进行人脸图像更新；当用户通过键盘按键移动关键点时，可以是用户每松开一次按键，电子设备就对人脸图像进行一次更新。
具体地，当所述关键坐标调整指令为放大指令时，所述对所述已标注完成的人脸图像进行调整包括：
放大所述已标注完成的人脸图像；
当所述关键坐标调整指令为缩小指令时，所述对所述已标注完成的人脸图像进行调整包括：
缩小所述已标注完成的人脸图像。
当关键点的数量较多时，需要将人脸图像放大便于精确移动关键点位置，用户可以通过鼠标滑轮上下滑动来进行人脸图像的放大或缩小，如鼠标滑轮上滑表示放大指令，鼠标滑轮下滑表示缩小指令；用户还可以通过键盘按键Pageup和Pagedown来进行人脸图像的放大或缩小，如Pageup表示放大指令，Pagedown表示缩小指令。滑轮的一次滚动或键盘按键的一次按下松开表示为一次放大或缩小指令，电子设备中可以保存有每次放大或缩小的步长，放大的步长和缩小的步长可以相同可以不同，例如放大的步长和缩小的步长可以为100像素。需要注意的是放大和缩小人脸图像时仅改变了图像的分辨率，并不修改图像中像素点个数，因此当第二坐标系中的横纵坐标是根据像素点确定的时，每个关键点在第二坐标系中的坐标不变。图10为原始的人脸图像的示意图，图11为放大后的人脸图像的示意图。
具体地，当所述关键坐标调整指令为删除指令时，所述对所述已标注完成的人脸图像进行调整包括：
针对所述已标注完成的人脸图像，当确定接收到用户的删除指令时，针对每个待删除关键点，确定该待删除关键点在所述第二坐标系中的第七坐标，其中所述删除指令中携带有待删除的关键点的标识信息；
针对每个待删除关键点，在所述已标注完成的人脸图像中删除该第七坐标的待删除关键点。
当电子设备接收到用户的删除指令时，可以识别删除指令中携带的待删除的关键点的标识信息，删除指令中可以携带有一个或多个关键点的标识信息，关键点的标识信息可以为关键点的序号，或关键点在第二坐标系中的第七坐标。
电子设备根据识别到的待删除的关键点的标识信息，确定待删除的关键点在第二坐标系中的第七坐标，并在已标注完成的人脸图像中删除第七坐标对应的待删除关键点。
当关键点的标识信息为关键点的序号时，则删除关键点的配置文件模板如下所示：
<Delete NO＝“16”/>
如果在关键点位置信息文件中当前待删除的关键点之后存在其他关键点，则删除该关键点后，将其他关键点的序号减1，对已标注完成的人脸图像进行更新。
由于本发明实施例中电子设备可以根据用户的关键点坐标调整指令，对已标注完成的人脸图像进行调整，当人脸图像中标注的关键点的位置或数量不准确时，可以人工校正关键点的位置和数量，保证了关键点的位置和数量符合要求。
实施例5：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备，如图12所示，包括存储器1201和处理器1202；
所述处理器1202，用于读取所述存储器1201中的程序，执行下列过程：读取所述存储器中的程序，执行下列过程：在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；
针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
基于同一发明构思，本发明实施例提供了一种电子设备，由于上述服务器解决问题的原理与人脸关键点标注方法相似，因此上述电子设备的实施可以参见方法的实施，重复指出不再赘述。
在图12中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1202代表的一个或多个处理器和存储器1102代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。处理器1202负责管理总线架构和通常的处理，存储器1201可以存储处理器1202在执行操作时所使用的数据。
可选的，处理器1202可以是CPU(中央处埋器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)。
所述处理器1202，具体用于连接所述两个关联关键点，将连接后的两个关联关键点所在的直线作为横轴，将所述两个关联关键点中的任一第一关联关键点作为原点；根据所述原点和所述横轴，确定所述第一坐标系的纵轴；根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度。
所述处理器1202，具体用于将所述第一关联关键点与所述第二关联关键点的距离，确定为第一坐标系的横轴的单位长度，及纵轴的单位长度；或将所述第一关联关键点和所述第二关联关键点的第二坐标中横坐标的差值绝对值，确定为第一坐标系的横轴的单位长度；将所述第一关联关键点和所述第二关联关键点的第二坐标中纵坐标的差值绝对值，确定为第一坐标系的纵轴的单位长度。
所述处理器1202，还用于根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标后，针对所述已标注完成的人脸图像，保存该新增关键点的第四坐标。
所述处理器1202，还用于根据所述第四坐标，对所述已标注完成的人脸图像进行更新后，针对所述已标注完成的人脸图像，在确定接收到用户的关键点坐标调整指令时，对所述已标注完成的人脸图像进行调整。
所述处理器，具体用于接收用户的移动指令、或放大指令、或缩小指令、或删除指令。
在本发明实施例中，处理器执行存储器上所存放的程序时，实现确定新增关键点的两个关联关键点，并确定新增关键点对应的第一坐标系，根据两个关联关键点在第一坐标系中的第一坐标及第二坐标，确定第一坐标系与第二坐标系的映射关系，从而根据用户输入的新增关键点在第一坐标系中的第三坐标，确定新增关键点在第二坐标系中的第四坐标，根据第四坐标，对已标注完成的人脸图像进行更新，而不需要人为在人脸图像中重新标定包括新增关键点在内的所有关键点，因此减少了标注关键点的工作量，节省了资源。
实施例6：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备，如图13所示，包括：处理器1301、通信接口1302、存储器1303和通信总线1304，其中，处理器1301，通信接口1302，存储器1303通过通信总线1304完成相互间的通信；
所述存储器1303中存储有计算机程序，当所述程序被所述处理器1301执行时，使得所述处理器1301执行如下步骤：
在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；
针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
本发明实施例提供的电子设备具体可以为桌面计算机、服务器、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中，处理器执行存储器上所存放的程序时，实现确定新增关键点的两个关联关键点，并确定新增关键点对应的第一坐标系，根据两个关联关键点在第一坐标系中的第一坐标及第二坐标，确定第一坐标系与第二坐标系的映射关系，从而根据用户输入的新增关键点在第一坐标系中的第三坐标，确定新增关键点在第二坐标系中的第四坐标，根据第四坐标，对已标注完成的人脸图像进行更新，而不需要人为在人脸图像中重新标定包括新增关键点在内的所有关键点，因此减少了标注关键点的工作量，节省了资源。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；
针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现确定新增关键点的两个关联关键点，并确定新增关键点对应的第一坐标系，根据两个关联关键点在第一坐标系中的第一坐标及第二坐标，确定第一坐标系与第二坐标系的映射关系，从而根据用户输入的新增关键点在第一坐标系中的第三坐标，确定新增关键点在第二坐标系中的第四坐标，根据第四坐标，对已标注完成的人脸图像进行更新，而不需要人为在人脸图像中重新标定包括新增关键点在内的所有关键点，因此减少了标注关键点的工作量，节省了资源。
图14为本发明实施例提供的一种人脸关键点装置示意图，该装置包括：
确定模块1401，在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；
标注模块1402，针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
所述确定模块1401，具体用于连接所述两个关联关键点，将连接后的两个关联关键点所在的直线作为横轴，将所述两个关联关键点中的任一第一关联关键点作为原点；根据所述原点和所述横轴，确定所述第一坐标系的纵轴；根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度。
所述确定模块1401，具体用于将所述第一关联关键点与所述第二关联关键点的距离，确定为第一坐标系的横轴的单位长度，及纵轴的单位长度；或将所述第一关联关键点和所述第二关联关键点的第二坐标中横坐标的差值绝对值，确定为第一坐标系的横轴的单位长度；将所述第一关联关键点和所述第二关联关键点的第二坐标中纵坐标的差值绝对值，确定为第一坐标系的纵轴的单位长度。
所述装置还包括：
保存模块，用于根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标后，针对所述已标注完成的人脸图像，保存该新增关键点的第四坐标。
所述装置还包括：
调整模块，用于针对所述已标注完成的人脸图像，在确定接收到用户的关键点坐标调整指令时，对所述已标注完成的人脸图像进行调整。
所述关键点坐标调整指令包括移动指令、或放大指令、或缩小指令、或删除指令。
所述调整模块，具体用于当所述关键点坐标调整指令为移动指令时，针对所述已标注完成的人脸图像，在确定接收到用户的移动指令时，根据所述移动指令中携带的关键点的标识信息，及所述关键点移动后在第二坐标系中的第五坐标，在所述已标注完成的人脸图像中移动所述关键点，采用所述第五坐标对所述关键点的坐标更新，其中所述移动指令包括键盘按键移动指令和/或鼠标拖动移动指令。
所述调整模块，具体用于当所述关键坐标调整指令为放大指令时，放大所述已标注完成的人脸图像；当所述关键坐标调整指令为缩小指令时，缩小所述已标注完成的人脸图像。
所述调整模块，具体用于当所述关键坐标调整指令为删除指令时，针对所述已标注完成的人脸图像，当确定接收到用户的删除指令时，针对每个待删除关键点，确定该待删除关键点在所述第二坐标系中的第七坐标，其中所述删除指令中携带有待删除的关键点的标识信息；针对每个待删除关键点，在所述已标注完成的人脸图像中删除该第七坐标的待删除关键点。
在本发明实施例中，确定新增关键点的两个关联关键点，并确定新增关键点对应的第一坐标系，根据两个关联关键点在第一坐标系中的第一坐标及第二坐标，确定第一坐标系与第二坐标系的映射关系，从而根据用户输入的新增关键点在第一坐标系中的第三坐标，确定新增关键点在第二坐标系中的第四坐标，根据第四坐标，对已标注完成的人脸图像进行更新，而不需要人为在人脸图像中重新标定包括新增关键点在内的所有关键点，因此减少了标注关键点的工作量，节省了资源。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种人脸关键点标注方法，其特征在于，应用于电子设备，该方法包括：
在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；
针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
2.如权利要求1所述的方法，其特征在于，所述根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系包括：
连接所述两个关联关键点，将连接后的两个关联关键点所在的直线作为横轴，将所述两个关联关键点中的任一第一关联关键点作为原点；
根据所述原点和所述横轴，确定所述第一坐标系的纵轴；
根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度。
3.如权利要求2所述的方法，其特征在于，所述根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度包括：
将所述第一关联关键点与所述第二关联关键点的距离，确定为第一坐标系的横轴的单位长度，及纵轴的单位长度；或
将所述第一关联关键点和所述第二关联关键点的第二坐标中横坐标的差值绝对值，确定为第一坐标系的横轴的单位长度；将所述第一关联关键点和所述第二关联关键点的第二坐标中纵坐标的差值绝对值，确定为第一坐标系的纵轴的单位长度。
4.如权利要求1所述的方法，其特征在于，所述根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标后，所述方法还包括：
针对所述已标注完成的人脸图像，保存该新增关键点的第四坐标。
5.如权利要求1-4任一项所述的方法，其特征在于，所述根据所述第四坐标，对所述已标注完成的人脸图像进行更新后，所述方法还包括：
针对所述已标注完成的人脸图像，在确定接收到用户的关键点坐标调整指令时，对所述已标注完成的人脸图像进行调整。
6.如权利要求5所述的方法，其特征在于，所述关键点坐标调整指令为移动指令、或放大指令、或缩小指令、或删除指令。
7.一种人脸关键点标注装置，其特征在于，应用于电子设备，该装置包括：
确定模块，在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；
标注模块，针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
8.一种电子设备，其特征在于，包括存储器、处理器；
所述处理器，用于读取所述存储器中的程序，执行下列过程：在确定用户对已标注完成的人脸图像进行新增关键点的操作时，针对每个新增关键点，根据用户的选择在所述已标注完成的人脸图像中，确定该新增关键点的两个关联关键点；根据所述两个关联关键点的第二坐标，确定该新增关键点对应的第一坐标系；并根据所述两个关联关键点的第二坐标及在所述第一坐标系中的第一坐标，确定所述第一坐标系与所述第二坐标所在的第二坐标系的映射关系；针对每个新增关键点，根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标；并根据所述第四坐标，对所述已标注完成的人脸图像进行更新。
9.如权利要求8所述的电子设备，其特征在于，所述处理器，具体用于连接所述两个关联关键点，将连接后的两个关联关键点所在的直线作为横轴，将所述两个关联关键点中的任一第一关联关键点作为原点；根据所述原点和所述横轴，确定所述第一坐标系的纵轴；根据所述第一关联关键点与另一第二关联关键点的距离，确定所述第一坐标系的单位长度。
10.如权利要求9所述的电子设备，其特征在于，所述处理器，具体用于将所述第一关联关键点与所述第二关联关键点的距离，确定为第一坐标系的横轴的单位长度，及纵轴的单位长度；或将所述第一关联关键点和所述第二关联关键点的第二坐标中横坐标的差值绝对值，确定为第一坐标系的横轴的单位长度；将所述第一关联关键点和所述第二关联关键点的第二坐标中纵坐标的差值绝对值，确定为第一坐标系的纵轴的单位长度。
11.如权利要求8所述的电子设备，其特征在于，所述处理器，还用于根据该新增关键点对应的映射关系，及用户输入的该新增关键点在所述第一坐标系中的第三坐标，确定该新增关键点在第二坐标系中的第四坐标后，针对所述已标注完成的人脸图像，保存该新增关键点的第四坐标。
12.如权利要求8-11任一项所述的电子设备，其特征在于，所述处理器，还用于根据所述第四坐标，对所述已标注完成的人脸图像进行更新后，针对所述已标注完成的人脸图像，在确定接收到用户的关键点坐标调整指令时，对所述已标注完成的人脸图像进行调整。
13.如权利要求12所述的电子设备，其特征在于，所述处理器，具体用于接收用户的移动指令、或放大指令、或缩小指令、或删除指令。
14.一种计算机可读存储介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行权利要求1～6任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710868833.3A CN109543495B (zh) | 2017-09-22 | 2017-09-22 | 一种人脸关键点标注方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710868833.3A CN109543495B (zh) | 2017-09-22 | 2017-09-22 | 一种人脸关键点标注方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109543495A CN109543495A (zh) | 2019-03-29 |
| CN109543495B true CN109543495B (zh) | 2021-03-16 |
Family
ID=65830679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710868833.3A Active CN109543495B (zh) | 2017-09-22 | 2017-09-22 | 一种人脸关键点标注方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109543495B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232667B (zh) * | 2019-06-17 | 2021-06-04 | 厦门美图之家科技有限公司 | 图像畸变修正方法、装置、电子设备及可读存储介质 |
| CN111626233B (zh) * | 2020-05-29 | 2021-07-13 | 江苏云从曦和人工智能有限公司 | 一种关键点标注方法、系统、机器可读介质及设备 |
| CN113723214B (zh) * | 2021-08-06 | 2023-10-13 | 武汉光庭信息技术股份有限公司 | 一种人脸关键点标注方法、系统、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184283A (zh) * | 2015-10-16 | 2015-12-23 | 天津中科智能识别产业技术研究院有限公司 | 一种人脸图片中关键点的标注方法及其标注系统 |
| CN106204625A (zh) * | 2016-07-27 | 2016-12-07 | 大连理工大学 | 一种可变焦距柔性化位姿视觉测量方法 |
| CN106340015A (zh) * | 2016-08-30 | 2017-01-18 | 沈阳东软医疗系统有限公司 | 一种关键点的定位方法和装置 |
| CN106875432A (zh) * | 2017-03-09 | 2017-06-20 | 南京医科大学附属口腔医院 | 颞下颌关节运动重建方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2518589B (en) * | 2013-07-30 | 2019-12-11 | Holition Ltd | Image processing |
| JP6325405B2 (ja) * | 2014-09-22 | 2018-05-16 | 株式会社東芝 | 特徴点検出装置、方法及びプログラム |
-
2017
- 2017-09-22 CN CN201710868833.3A patent/CN109543495B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184283A (zh) * | 2015-10-16 | 2015-12-23 | 天津中科智能识别产业技术研究院有限公司 | 一种人脸图片中关键点的标注方法及其标注系统 |
| CN106204625A (zh) * | 2016-07-27 | 2016-12-07 | 大连理工大学 | 一种可变焦距柔性化位姿视觉测量方法 |
| CN106340015A (zh) * | 2016-08-30 | 2017-01-18 | 沈阳东软医疗系统有限公司 | 一种关键点的定位方法和装置 |
| CN106875432A (zh) * | 2017-03-09 | 2017-06-20 | 南京医科大学附属口腔医院 | 颞下颌关节运动重建方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| Mining Weakly Labeled Web Facial Images For Search Based Face Annotation;Mr. Rohit D. Mane;《IOSR Journal of Computer Engineering》;20150831;第17卷(第4期);29-35 * |
| Robust Frontal Face Detection in Complex Environment;Quan YUAN 等;《Object recognition supported by user interaction for service robots》;20020815;1-4 * |
| 一种基于 ＳＩＦＴ算法的图像镜像变换识别方法;及莹，陆月明;《计算机应用研究》;20130331;第30卷(第3期);924-925、941 * |
| 二阶多面体网格中关键特征控制的表面重建技术;刘鹤丹、王成恩;《计算机科学》;20150131;第42卷(第1期);38-43 * |
| 基于非线性尺度空间的无标记注册方法;严玉若 等;《计算机工程与设计》;20160131;第37卷(第1期);206-210 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109543495A (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108415978B (zh) | 用户标签存储方法、用户画像计算方法及计算设备 | |
| CN109144647B (zh) | 一种表单设计方法与装置、终端设备以及存储介质 | |
| US9645782B2 (en) | Multiple displays for displaying workspaces | |
| US9507480B1 (en) | Interface optimization application | |
| CN109543495B (zh) | 一种人脸关键点标注方法、装置、电子设备及存储介质 | |
| CN104574454B (zh) | 图像的处理方法及装置 | |
| WO2017157104A1 (zh) | 信息复制系统、方法及电子设备和机器可读存储介质 | |
| CN106557237B (zh) | 一种选择复制文本信息的方法及终端 | |
| CN109145272B (zh) | 文本渲染和布局方法、装置、设备和存储介质 | |
| US9548042B2 (en) | Responsive document breakpoints systems and methods | |
| US8855428B2 (en) | Computing device and boundary line graph checking method | |
| CN109359582B (zh) | 信息搜索方法、信息搜索装置及移动终端 | |
| CN111596911A (zh) | 生成控件的方法、装置、计算机设备和存储介质 | |
| US8732655B2 (en) | Systems and methods for metamodel transformation | |
| US20160062601A1 (en) | Electronic device with touch screen and method for moving application functional interface | |
| WO2019019789A1 (zh) | 参数数值计算方法、装置、存储介质和计算机设备 | |
| US20140285528A1 (en) | Graph display control apparatus, graph display control method and non-transitory storage medium having stored thereon graph display control program | |
| US20180164988A1 (en) | Smart multi-touch layout control for mobile devices | |
| US20170017370A1 (en) | Device and method for processing data | |
| US8902252B2 (en) | Digital image selection in a surface computing device | |
| WO2022143337A1 (zh) | 显示控制方法、装置、电子设备和存储介质 | |
| CN114327395A (zh) | 网页设计方法、装置、计算机设备、存储介质和产品 | |
| WO2021082652A1 (zh) | 显示信息的方法、装置及计算机可读存储介质 | |
| US20070156775A1 (en) | Metadata transformation in copy and paste scenarios between heterogeneous applications | |
| KR20220032429A (ko) | 인공지능 기반의 브랜딩용 전자소개서 자동 디자인 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |