CN111626233B - 一种关键点标注方法、系统、机器可读介质及设备 - Google Patents

Abstract

本发明提供一种关键点标注方法，包括：创建索引关键点并确定所述索引关键点之间的关联关系；基于所述索引关键点之间的关联关系所形成的拓扑结构，确定所述索引关键点的特征；根据所述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理，完成对图片的标注。本发明利用关键点之间的拓扑连接结构，来自动识别关键点的特征，或自动给出类型推荐，不依赖菜单勾选，就可以快速完成标注，尤其在遮挡严重的情况下，优势更加明显。

Description

一种关键点标注方法、系统、机器可读介质及设备

技术领域

本发明涉及人工智能领域，具体涉及一种关键点标注方法、系统、机器可读介质及设备。

背景技术

人体关键点检测算法的应用场景很多，基于深度学习的人体关键点检测算法需要大量的样本标注。目前通用的关键点类别有12类，加上左右之分，有20个左右。关键点的类别越多，标注起来越困难。如果用快捷键的话，需要记住二十个左右的快捷键，如果用菜单勾选的方案，需要在20多个选项中找到正确的类别。不管是记的过程，还是找的过程，都极其消耗脑力和眼力，对标注速度和准确度非常不友好，也更容易产生疲劳。而且孤立的点出错后，排查过程也比较低效。不过目前常用的人体关键点标注方案基本无外乎以上两种方案。

当然，还有一种方案是将所有的关键点规定成一个固定的顺序，然后只按这个固定的顺序去标。这种方法固然速度快，但是对完整的人体尚可，对不完整的人体，就比较难操作。那些被遮挡的部分的关键点是标还是不标。不标的话，破坏了设定的顺序。标然后设为无效的话，也浪费了时间，在哪里标也是个问题。这种方案目前在人脸关键点标注中可能被使用，但在姿态变化很大的人体关键点中，基本不会被采用的。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种关键点标注方法、系统、机器可读介质及设备，用于解决现有技术存在的问题。

为实现上述目的及其他相关目的，本发明提供一种关键点标注方法，包括：

创建索引关键点并确定所述索引关键点之间的关联关系；

基于所述索引关键点之间的关联关系所形成的拓扑结构，确定所述索引关键点的特征；

根据所述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理，完成对图片的标注。

可选地，所述关键点的特征包括类型和方向。

可选地，通过所述拓扑结构对应的预设特征环，确定所述索引关键点的特征。

可选地，所述预设特征环的形状包括三角形、四边形和五边形。

可选地，所述预设特征环包括通过索引关键点形成的拓扑结构以及索引关键点的特征。

可选地，互为合法邻居的关键点具有预设的先后顺序。

可选地，该方法还包括：

接收针对图片的调整指令；

响应所述调整指令，对所述图片执行所述调整指令的相应操作。

可选地，所述调整指令包括以下至少之一：对图片缩放平移，调整图片亮度饱和度，添加、选择、删除关键点。

可选地，基于已创建的关键点确定图片中的标注对象的关键点外接矩形框。

可选地，该方法还包括：

创建轮廓点；

根据所述轮廓点和已创建的关键点确定标注框，使所述标注框包围所述标注对象。

为实现上述目的及其他相关目的，本发明提供一种关键点标注系统，包括：

关键点创建模块，用于创建索引关键点并确定所述索引关键点之间的关联关系；

特征确定模块，用于基于所述索引关键点之间的关联关系所形成的拓扑结构，确定所述索引关键点的特征；

关键点标注模块，用于根据所述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理，完成对图片的标注。

可选地，所述关键点的特征包括类型和方向。

可选地，通过所述拓扑结构对应的预设特征环，确定所述索引关键点的特征。

可选地，所述预设特征环的形状包括三角形、四边形和五边形。

可选地，所述预设特征环包括通过索引关键点形成的拓扑结构以及索引关键点的特征。

可选地，互为合法邻居的关键点具有预设的先后顺序。

可选地，该系统还包括：

指令接收模块，用于接收针对图片的调整指令；

指令执行模块，用于响应所述调整指令，对所述图片执行所述调整指令的相应操作。

可选地，所述调整指令包括以下至少之一：对图片缩放平移，调整图片亮度饱和度，添加、选择、删除关键点。

可选地，基于已创建的关键点确定图片中的标注对象的关键点外接矩形框。

可选地，该系统还包括：

轮廓点创建模块，用于创建轮廓点；

标注框确定模块，用于根据所述轮廓点和已创建的关键点确定标注框，使所述标注框包围所述标注对象。

为实现上述目的及其他相关目的，本发明提供一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。

为实现上述目的及其他相关目的，本发明提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。

如上所述，本发明提供的一种关键点标注方法、系统、机器可读介质及设备，具有以下有益效果：

本发明的一种关键点标注方法，包括：创建索引关键点并确定所述索引关键点之间的关联关系；基于所述索引关键点之间的关联关系所形成的拓扑结构，确定所述索引关键点的特征；根据所述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理，完成对图片的标注。本发明利用关键点之间的拓扑连接结构，来自动识别关键点的特征，或自动给出类型推荐，不依赖菜单勾选，就可以快速完成标注，尤其在遮挡严重的情况下，优势更加明显。又由于它同时记录了标注过程中的先后连接关系，有了拓扑结构的加持，使发生错误的概率明显降低，标错后也有可能被及时发现和快速纠正。

附图说明

图1为本发明一实施例提供的一种关键点标注方法的流程图；

图2为本发明一实施例拓扑结构创建过程示意图；

图3为本发明一实施例预设特征环的示意图；

图4为本发明一实施例特征点创建过程示意图；

图5为本发明一实施例通过轮廓点和特征点构建的人体框的示意图；

图6为本发明一实施例提供的一种关键点标注系统的硬件结构示意图；

图7为本发明一实施例提供的终端设备的硬件结构示意图；

图8为本发明另一实施例提供的终端设备的硬件结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明提供一种关键点标注方法，关键点可以是人体关键点、人脸关键点、手指关键点等等，如图1所示，关键点标注方法具体包括：

S11创建索引关键点并确定所述索引关键点之间的关联关系；

S12基于所述索引关键点之间的关联关系所形成的拓扑结构，确定所述索引关键点的特征；

S13根据所述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理，完成对图片的标注。

本发明利用关键点之间的拓扑连接结构，来自动识别关键点的特征，或自动给出类型推荐，不依赖菜单勾选，就可以快速完成标注，尤其在遮挡严重的情况下，优势更加明显。又由于它同时记录了标注过程中的先后连接关系，有了拓扑结构的加持，使发生错误的概率明显降低，标错后也有可能被及时发现和快速纠正。

在步骤S11中，在待标注的图片中创建一个新增关键点，这个新增关键点的位置可以是右眼位置。在具体实施的时候，如图2a，在右眼的位置创建完成第一个新增关键点，这个新增关键点可以被叫做点A，但这个新增关键点没有被命名或赋予相应的特征。创建完点A后，如图2b、2c，可以通过点A创建点B，即通过A创建B：以A点为起点，创建新的点B，鼠标在点A附近时按shift键，建立一条连线，然后拉到B点位置创建点B；建立从A到B之间的关联关系，就叫从A创建B，此时图像上会显示一条从A到B的虚线连接线。点B可以是左眼位置。相应地，可以采用同样的方法，由点B创建点C，点C的位置可以是鼻子的位置，如图2d上述点A、B、C可以被定义为索引关键点。在创建完索引关键点后，索引关键点之间的关联关系同时确定了。同时，将点A、B、C三个点按顺序连接起来，形成一个顺时针方向的三角形形状的拓扑结构，若将点C、B、A三个点按顺序连接起来，可以形成一个逆时针方向的三角形形状的拓扑结构。

在一实施例中，关键点的标注可以通过不同颜色、不同形状状来标注。关键点的颜色，例如采用绿色的圆来标注右眼与左眼，采用橙色的三角符号来标注鼻子。

在一实施例中，根据所述拓扑结构确定所述索引关键点的特征。首先需要设置预设特征环，所述预设特征环就是一些形状为三角形、四边形和五边形，可以是顺时针，例如A→B→C→A，也可以逆时针A→C→B→A，所述预设特征环包括通过索引关键点形成的拓扑结构以及索引关键点的特征，拓扑结构就是如上述的三角形、四边形或五边形。所述索引关键点的特征包括类型和方向，比如，眼、鼻则为特征的类型，左眼、右眼可以代表特征的方向。由于每一个拓扑结构都对应一个预设特征环，因此，通过创建的索引关键点可以确定相应的预设特征环，进一步可以确定索引关键点的特征，即通过预设特征环为关键点自动赋名,如图2e所示。

本实施例中定义了以下几种预设特征环，如图3a～3f(正面)右眼—>左眼—>鼻，(背面)右耳—>左耳—>颈，(侧面)右眼—>鼻—>颈—>右耳，(侧面)左眼—>鼻—>颈—>左耳，(正面或侧面)颈—>左肩—>左臀—>右臀—>右肩。跟实际情况一比对，可以发现，它们分别对应的是顺/逆时针的三角形、四边形和五边形，拓扑结构和关键点一一对应起来了。例如对于右眼->左眼->鼻的标注方法：先在右眼位置创建一个未命名的点A，再通过A在左眼位置创建新的点B，再通过B在鼻子位置创建新的点C，再创建从C到A的关联。于是一个环状的拓扑结构，然后根据它的顺时针特点，将A,B,C三个点自动赋名右眼、左眼、鼻。

在创建完索引关键点，可以通过索引关键点创建其他关键点，从而完成对图片的标注。

通过索引关键点创建其他关键点，具体地方法是根据的述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理。

合法邻居的确定不是任意的，需要符合人的自然标注习惯，需要具有潜在先后顺序的关键点之间才可以定义是合法的关联，即其中一个点才能是另一个点的合法邻居。具有合法关联的关键点对能相互成为合法邻居，即互为合法邻居的关键点具有预设的先后顺序。例如，左眼关键点的合法邻居按顺序应该是：右眼、鼻、左耳。在前述实施例中，已经创建了右眼和鼻子，因此当前默认左耳，因此默认先创建左耳这个关键点，如图4a所示。创建完头部的点，从鼻子创建颈部时，也是默认创建的。

又例如颈部定义的合法邻居按顺序是鼻子、左耳、右耳、左肩、右肩；以颈部为源点创建一个动态关联，会自动提示下一个创建的关键点，按优先级顺序应该默认是鼻子。需要说明的是，一个关键点的合法邻居可以有一个、两个或更多，那么在确定一个关键点的合法邻居的时候可以根据设置的优先级确定。由于在本实施例例中，鼻子、左耳、右耳都已经创建，所以默认的合法邻居是左肩，因此，会创建一个左肩。当然也可以先创建右肩，但如果想创建右肩，需要进行切换，创建完成的示意图如图4b所示。

如图4c，根据合法邻居的顺序定义，如果左肩、左肘、左腕已经创建，再创建左臀部时，从左肩、左肘、左腕创建都是默认的。但如果没有左腕，从左肘创建左臀(如图4d)，或没有左肘，从左肩创建左臀(如图4e)，此时左臀均不是第一默认的优先级，因此需要进行切换，最后从臀部创建膝、踝都是第一默认的合法邻居，无需切换。

在一实施例中，基于无向图创建所述预设特征环。当所有关键点都设置完毕，发现左右肩标反了，由于肩部以下的点都是通过肩部直接或间接创建的，所以肘、腕、臀、膝、踝的左右关系都标反了，此时并不需要修改所有的点。只需要在以上列举的这些关键点中任意修改一处，其他的点就会自动纠正过来。因为标注时是以点创建点的方式标的，点之间都具有合法关系，修改信息会沿着拓扑结构传播，将一些点置为相同方向，一些点置为相反方向。同样对于头部，如果修改耳、眼中的任意一处，比如修改左眼为右眼，那么其他三个点都会被纠正。

在一实施例中，该方法还包括：

接收针对图片的调整指令；

响应所述调整指令，对所述图片执行所述调整指令的相应操作。

所述调整指令包括以下至少之一：对图片缩放平移，调整图片亮度饱和度，添加、选择、删除关键点。

在一实施例中，在标注完所有的关键点后，就可以基于已标注的关键点确定待标注图片中的待标注对象的关键点外接矩形框。

进一步，由于关键点外接矩形框不能包住整个人体，因此可以过在周围再添加几个轮廓点，这些未命名的点起到支撑轮廓的作用，依然属于该人体。因此，该方法还包括：

创建轮廓点；根据所述轮廓点和已创建的关键点确定标注框(如图5a)，使所述标注框包围所述标注对象。

通过创建关键点，以及额外轮廓点来自动确定标注框，相比于传统拖矩形框标注矩形框(如图5b)的方式操作起来要更简单。

如图6所示，本发明提供一种关键点标注系统，包括：

关键点创建模块61，用于创建索引关键点并确定所述索引关键点之间的关联关系；

特征确定模块62，用于基于所述索引关键点之间的关联关系所形成的拓扑结构，确定所述索引关键点的特征；

关键点标注模块63，用于根据所述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理，完成对图片的标注。

本发明利用关键点之间的拓扑连接结构，来自动识别关键点的特征，或自动给出类型推荐，不依赖菜单勾选，就可以快速完成标注，尤其在遮挡严重的情况下，优势更加明显。又由于它同时记录了标注过程中的先后连接关系，有了拓扑结构的加持，使发生错误的概率明显降低，标错后也有可能被及时发现和快速纠正。

在待标注的图片中创建一个新增关键点，这个新增关键点的位置可以是右眼位置。在具体实施的时候，如图2a，在右眼的位置创建完成第一个新增关键点，这个新增关键点可以被叫做点A，但这个新增关键点没有被命名或赋予相应的特征。创建完点A后，如图2b、2c，可以通过点A创建点B，即通过A创建B：以A点为起点，创建新的点B，鼠标在点A附近时按shift键，建立一条连线，然后拉到B点位置创建点B；建立从A到B之间的关联关系，就叫从A创建B，此时图像上会显示一条从A到B的虚线连接线。点B可以是左眼位置。相应地，可以采用同样的方法，由点B创建点C，点C的位置可以是鼻子的位置，如图2d上述点A、B、C可以被定义为索引关键点。在创建完索引关键点后，索引关键点之间的关联关系同时确定了。同时，将点A、B、C三个点按顺序连接起来，形成一个顺时针方向的三角形形状的拓扑结构，若将点C、B、A三个点按顺序连接起来，可以形成一个逆时针方向的三角形形状的拓扑结构。

在一实施例中，关键点的标注可以通过不同颜色、不同形状状来标注。关键点的颜色，例如采用绿色的圆来标注右眼与左眼，采用橙色的三角符号来标注鼻子。

在一实施例中，根据所述拓扑结构确定所述索引关键点的特征。首先需要设置预设特征环，所述预设特征环就是一些形状为三角形、四边形和五边形，可以是顺时针，例如A→B→C→A，也可以逆时针A→C→B→A，所述预设特征环包括通过索引关键点形成的拓扑结构以及索引关键点的特征，拓扑结构就是如上述的三角形、四边形或五边形。所述索引关键点的特征包括类型和方向，比如，眼、鼻则为特征的类型，左眼、右眼可以代表特征的方向。由于每一个拓扑结构都对应一个预设特征环，因此，通过创建的索引关键点可以确定相应的预设特征环，进一步可以确定索引关键点的特征，即通过预设特征环为关键点自动赋名,如图2e所示。

本实施例中定义了以下几种预设特征环，如图3a～3f(正面)右眼—>左眼—>鼻，(背面)右耳—>左耳—>颈，(侧面)右眼—>鼻—>颈—>右耳，(侧面)左眼—>鼻—>颈—>左耳，(正面或侧面)颈—>左肩—>左臀—>右臀—>右肩。跟实际情况一比对，可以发现，它们分别对应的是顺/逆时针的三角形、四边形和五边形，拓扑结构和关键点一一对应起来了。例如对于右眼->左眼->鼻的标注方法：先在右眼位置创建一个未命名的点A，再通过A在左眼位置创建新的点B，再通过B在鼻子位置创建新的点C，再创建从C到A的关联。于是一个环状的拓扑结构，然后根据它的顺时针特点，将A,B,C三个点自动赋名右眼、左眼、鼻。

在创建完索引关键点，可以通过索引关键点创建其他关键点，从而完成对图片的标注。

通过索引关键点创建其他关键点，具体地方法是根据的述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理。

合法邻居的确定不是任意的，需要符合人的自然标注习惯，需要具有潜在先后顺序的关键点之间才可以定义是合法的关联，即其中一个点才能是另一个点的合法邻居。具有合法关联的关键点对能相互成为合法邻居，即互为合法邻居的关键点具有预设的先后顺序。例如，左眼关键点的合法邻居按顺序应该是：右眼、鼻、左耳。在前述实施例中，已经创建了右眼和鼻子，因此当前默认左耳，因此默认先创建左耳这个关键点，如图4a所示。创建完头部的点，从鼻子创建颈部时，也是默认创建的。

又例如颈部定义的合法邻居按顺序是鼻子、左耳、右耳、左肩、右肩；以颈部为源点创建一个动态关联，会自动提示下一个创建的关键点，按优先级顺序应该默认是鼻子。需要说明的是，一个关键点的合法邻居可以有一个、两个或更多，那么在确定一个关键点的合法邻居的时候可以根据设置的优先级确定。由于在本实施例例中，鼻子、左耳、右耳都已经创建，所以默认的合法邻居是左肩，因此，会创建一个左肩。当然也可以先创建右肩，但如果想创建右肩，需要进行切换，创建完成的示意图如图4b所示。

如图4c，根据合法邻居的顺序定义，如果左肩、左肘、左腕已经创建，再创建左臀部时，从左肩、左肘、左腕创建都是默认的。但如果没有左腕，从左肘创建左臀(如图4d)，或没有左肘，从左肩创建左臀(如图4e)，此时左臀均不是第一默认的优先级，因此需要进行切换，最后从臀部创建膝、踝都是第一默认的合法邻居，无需切换。

在一实施例中，基于无向图创建所述预设特征环。当所有关键点都设置完毕，发现左右肩标反了，由于肩部以下的点都是通过肩部直接或间接创建的，所以肘、腕、臀、膝、踝的左右关系都标反了，此时并不需要修改所有的点。只需要在以上列举的这些关键点中任意修改一处，其他的点就会自动纠正过来。因为标注时是以点创建点的方式标的，点之间都具有合法关系，修改信息会沿着拓扑结构传播，将一些点置为相同方向，一些点置为相反方向。同样对于头部，如果修改耳、眼中的任意一处，比如修改左眼为右眼，那么其他三个点都会被纠正。

在一实施例中，该方法还包括：

指令接收模块，用于接收针对图片的调整指令；

指令执行模块，用于响应所述调整指令，对所述图片执行所述调整指令的相应操作。

所述调整指令包括以下至少之一：对图片缩放平移，调整图片亮度饱和度，添加、选择、删除关键点。

在一实施例中，在标注完所有的关键点后，就可以基于已标注的关键点确定待标注图片中的待标注对象的关键点外接矩形框。

进一步，由于关键点外接矩形框不能包住整个人体，因此可以过在周围再添加几个轮廓点，这些未命名的点起到支撑轮廓的作用，依然属于该人体。因此，该系统还包括：

轮廓点创建模块，用于创建轮廓点；

标注框确定模块，用于根据所述轮廓点和已创建的关键点确定标注框(如图5a)，使所述标注框包围所述标注对象。

通过创建关键点，以及额外轮廓点来自动确定标注框，相比于传统拖矩形框标注矩形框(如图5b)的方式操作起来要更简单。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。

图7为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图8为本申请的一个实施例提供的终端设备的硬件结构示意图。图8是对图7在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图8实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图7实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种关键点标注方法，其特征在于，包括：

在待标注的图片中创建索引关键点并确定所述索引关键点之间的关联关系；

基于所述索引关键点之间的关联关系所形成的拓扑结构，通过所述拓扑结构对应的预设特征环，确定所述索引关键点的特征；所述关键点的特征包括类型和方向；所述预设特征环包括通过索引关键点形成的拓扑结构以及索引关键点的特征；

根据所述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理，完成对图片的标注，其中，互为合法邻居的关键点具有预设的先后顺序。

2.根据权利要求1所述的关键点标注方法，其特征在于，所述预设特征环的形状包括三角形、四边形和五边形。

3.根据权利要求1所述的关键点标注方法，其特征在于，该方法还包括：

接收针对图片的调整指令；

响应所述调整指令，对所述图片执行所述调整指令的相应操作。

4.根据权利要求3所述的关键点标注方法，其特征在于，所述调整指令包括以下至少之一：对图片缩放平移，调整图片亮度饱和度，添加、选择、删除关键点。

5.根据权利要求1所述的关键点标注方法，其特征在于，基于已创建的关键点确定图片中的标注对象的关键点外接矩形框。

6.根据权利要求5所述的关键点标注方法，其特征在于，该方法还包括：

创建轮廓点；

根据所述轮廓点和已创建的关键点确定标注框，使所述标注框包围所述标注对象。

7.一种关键点标注系统，其特征在于，包括：

关键点创建模块，用于在待标注的图片中创建索引关键点并确定所述索引关键点之间的关联关系；

特征确定模块，用于基于所述索引关键点之间的关联关系所形成的拓扑结构，通过所述拓扑结构对应的预设特征环，确定所述索引关键点的特征；所述关键点的特征包括类型和方向；所述预设特征环包括通过索引关键点形成的拓扑结构以及索引关键点的特征；

关键点标注模块，用于根据所述索引关键点的特征以及所述索引关键点的合法邻居，对所述合法邻居中未创建的关键点，进行创建并标注处理，完成对图片的标注，其中，互为合法邻居的关键点具有预设的先后顺序。

8.根据权利要求7所述的关键点标注系统，其特征在于，所述预设特征环的形状包括三角形、四边形和五边形。

9.根据权利要求7所述的关键点标注系统，其特征在于，该系统还包括：

指令接收模块，用于接收针对图片的调整指令；

指令执行模块，用于响应所述调整指令，对所述图片执行所述调整指令的相应操作。

10.根据权利要求9所述的关键点标注系统，其特征在于，所述调整指令包括以下至少之一：对图片缩放平移，调整图片亮度饱和度，添加、选择、删除关键点。

11.根据权利要求7所述的关键点标注系统，其特征在于，基于已创建的关键点确定图片中的标注对象的关键点外接矩形框。

12.根据权利要求11所述的关键点标注系统，其特征在于，该系统还包括：

轮廓点创建模块，用于创建轮廓点；

标注框确定模块，用于根据所述轮廓点和已创建的关键点确定标注框，使所述标注框包围所述标注对象。

13.一种关键点标注设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述关键点标注设备执行如权利要求1-6所述的一个或多个所述的方法。

14.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-6所述的一个或多个所述的方法。

Images