CN111696172A - 图像标注方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像标注方法、装置、设备及存储介质，其中该方法包括获取到人体图像；在所述人体图像上检测获得人体各部位上的关键点的位置；基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域；基于所述人体服饰的各部分在所述人体图像上的区域，对所述服饰的各部分进行标注。本申请实施例提供的方案，能够实现对图像上的服饰的自动标注，提高服饰标注的效率和准确性。

Description

图像标注方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像标注方法、装置、设备及存储介质。

背景技术

目前基于图像的服饰属性(例如，“衣领”、“上衣”、“下衣”、“衣袖”、“裤腿”、“袖长”、“裤长”等)标注主要还是依赖人工进行标注。该标注方法通过人工对服饰图像进行精细分类并在服饰的相应部分打上相应的属性标签。但是随着服饰图像数量的爆发式增长，该方法的缺点越来越显著。由于图像数量巨大，需要花费大量的人力物力进行人工标注，而且人工标注容易出现主观性偏差，并容易出现漏标以及错标的问题。

发明内容

本申请实施例提供一种图像标注方法、装置、设备及存储介质，用以对图像中的服饰进行自动标注，提高服饰标注的效率和准确性。

本申请实施例第一方面提供一种图像标注方法，包括：获取到人体图像；在所述人体图像上检测获得人体各部位上的关键点的位置；基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域；基于所述人体服饰的各部分在所述人体图像上的区域，对所述服饰的各部分进行标注。

在一种实施方式中，所述在所述人体图像上检测获得人体各部位上的关键点的位置，包括：

在所述人体图像上检测获得人体左肩、右肩、左髋、右髋、左脚踝、右脚踝、鼻子上的关键点的位置。

在一种实施方式中，所述基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域，包括：

将包括所述人体左肩、右肩、左髋、右髋上关键点的最小矩形区域确定为所述人体服饰的上衣所在的区域；

将包括所述左髋、右髋、左脚踝、右脚踝上关键点的最小矩形区域确定为所述人体服饰的下衣所在的区域；

确定所述左肩上的关键点和所述右肩上的关键点之间的第一连线的中点的位置，以及确定所述中点与所述鼻子上的关键点之间的第二连线的位置，将以所述第二连接线作为中轴线，高度为所述第二连接线的长度，宽度为所述第一连线长度的一半的矩形区域作为衣领所在的区域。

在一种实施方式中，所述在所述人体图像上检测获得人体各部位上的关键点的位置，还包括：

在所述人体图像上检测获得人体右肘、右腕、左肘、左腕、右膝、左膝上的关键点的位置。

在一种实施方式中，所述基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域，包括：

基于所述人体的四肢上的关键点的位置，确定所述人体的四肢所在的区域；

提取所述人体上鼻子的关键点所在的位置的皮肤颜色；

基于所述皮肤颜色从所述人体的上肢所在的区域中确定衣袖所在的区域，从所述人体的下肢所在的区域中确定裤腿所在的区域。

本申请实施例第二方面提供一种图像标注装置，包括：

获取模块，用于获取到人体图像。

检测模块，用于在所述人体图像上检测获得人体各部位上的关键点的位置。

确定模块，用于基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域。

标注模块，用于基于所述人体服饰的各部分在所述人体图像上的区域，对所述服饰的各部分进行标注。

在一种实施方式中，所述检测模块，包括：

第一检测子模块，用于在所述人体图像上检测获得人体左肩、右肩、左髋、右髋、左脚踝、右脚踝、鼻子上的关键点的位置。

在一种实施方式中，所述确定模块，包括：

第一确定子模块，用于将包括所述人体左肩、右肩、左髋、右髋上关键点的最小矩形区域确定为所述人体服饰的上衣所在的区域。

第二确定子模块，用于将包括所述左髋、右髋、左脚踝、右脚踝上关键点的最小矩形区域确定为所述人体服饰的下衣所在的区域。

第三确定子模块，用于确定所述左肩上的关键点和所述右肩上的关键点之间的第一连线的中点的位置，以及确定所述中点与所述鼻子上的关键点之间的第二连线的位置，将以所述第二连接线作为中轴线，高度为所述第二连接线的长度，宽度为所述第一连线长度的一半的矩形区域作为衣领所在的区域。

在一种实施方式中，所述检测模块，还包括：

第二检测子模块，用于在所述人体图像上检测获得人体右肘、右腕、左肘、左腕、右膝、左膝上的关键点的位置。

在一种实施方式中，所述确定模块，包括：

第四确定子模块，用于基于所述人体的四肢上的关键点的位置，确定所述人体的四肢所在的区域。

提取子模块，用于提取所述人体上鼻子的关键点所在的位置的皮肤颜色。

第五确定子模块，用于基于所述皮肤颜色从所述人体的上肢所在的区域中确定衣袖所在的区域，从所述人体的下肢所在的区域中确定裤腿所在的区域。

本申请实施例第三方面提供一种计算机设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所述的方法。

本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

基于以上各方面，本申请实施例通过计算机设备对图像中的服饰进行标注，当获取到人体图像时，通过检测人体图像上人体各部位的关键点的位置，并根据检测获得的各部位上关键点的位置，确定人体服饰的各部分在人体图像上的区域，从而在人体服饰各部分在人体图像上的区域，对服饰的各部分进行标注。由于整个标注过程均由计算机设备完成，不需要人工参与，因而相较于现有的人工标注方式，能够降低人力成本，提升标注效率和准确性。

应当理解，上述发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本公申请的其它特征将通过以下的描述变得容易理解。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的部分为类似的部分，附图不构成比例限制，并且其中：

图1是本申请实施例提供的一种图像标注方法的流程图；

图2是本申请实施例提供的一种人体关键点的示意图；

图3是本申请实施例提供的一种图像标注方法的流程图；

图4是本申请实施例提供的一种图像标注装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本申请实施例提供的一种图像标注方法的流程图，该方法可以由一种计算机设备来执行。如图1所示，该方法包括如下步骤：

步骤101、获取到人体图像。

本实施例中涉及的人体图像，可以是在计算机设备中存储的图像，也可以是计算机设备通过其自身搭载的摄像头实时拍摄获得的图像。

另外，本实施例中所称的人体图像可以是未经过任何处理的原始图像，也可以是基于原始图像进行预处理(比如，压缩、旋转、裁切等)后得到的图像。

步骤102、在所述人体图像上检测获得人体各部位上的关键点的位置。

示例的，本实施例可以基于预先训练获得的检测模块从人体图像上检测得到人体各部位上的关键点的位置。比如，在人体图像中只包括人体的上半身时，检测获得的关键点应该包括头部的关键点，肩部的关键点胳膊的关键点以及躯干上的关键点。而当人体图像中包括人体的全身影像时，则还应包括腿部、脚部、髋部的关键点。

示例的，图2是本申请实施例提供的一种人体关键点的示意图，图2包括人体的全身影像，在这种情况下，检测关键点的部位可以包括鼻子0，脖子1，右肩2，右肘3，右腕4，左肩5，左肘6，左腕7，右髋8，右膝9，右踝10，左髋11，左膝12，左踝13，左眼14，右眼15，左耳16，右耳17。当然这里仅为示例说明而不是对本申请的唯一限定。

步骤103、基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域。

示例的，在获得人体各部位的关键点的位置之后，针对每个部位，先根据每个部位上的关键点的分布，确定包括该部位上所有关键点的最小矩形区域，再将该部位对应到服饰的相应部分上，得到该部分所在的区域。比如，在一种实施方式中，可以将包括人体左肩、右肩、左髋、右髋上关键点的最小矩形区域确定为人体服饰的上衣所在的区域，将包括所述左髋、右髋、左脚踝、右脚踝上关键点的最小矩形区域确定为人体服饰的下衣所在的区域，在确定衣领所在的区域时，可以先确定左肩上的关键点和所述右肩上的关键点之间的第一连线的中点的位置，所述中点与鼻子上的关键点之间的第二连线的位置，再将以第二连接线作为中轴线，高度为第二连接线的长度，宽度为第一连线长度的一半的矩形区域作为衣领所在的区域。当然这里仅为示例说明而不是对本申请的唯一限定。

可选的，为了进一步精确服饰各部分所在的区域，在上述操作获得服饰各部分所在的一个相对较宽泛的区域后，可以进一步采用预设分类模型，从上述各区域中识别获得服饰各部分的准确区域。比如，在基于胳膊的关键点得到胳膊所在的区域后，可以通过预设分类模型从该区域中识别获得衣袖所在的准确区域，类似的，采用该种方法还可以获得裤腿、衣领等其他部分所在的准确区域。当然这里仅为示例说明而不是对本申请的唯一限定。

步骤104、基于所述人体服饰的各部分在所述人体图像上的区域，对所述服饰的各部分进行标注。

比如，在衣领所在的区域标注“衣领”，在下衣所在的区域标注“下衣”、在衣袖所在的区域标注“衣袖”等。

或者，在人体图像的拍摄参数已知的情况下，还可以根据服饰各部分所在区域的尺寸计算得到服饰各部分的实际尺寸，从而将各部分的实际尺寸也标注在人体图像上。

本实施例通过计算机设备对图像中的服饰进行标注，当获取到人体图像时，通过检测人体图像上人体各部位的关键点的位置，并根据检测获得的各部位上关键点的位置，确定人体服饰的各部分在人体图像上的区域，从而在人体服饰各部分在人体图像上的区域，对服饰的各部分进行标注。由于整个标注过程均由计算机设备完成，不需要人工参与，因而相较于现有的人工标注方式，能够降低人力成本，提升标注效率和准确性。

图3是本申请实施例提供的一种图像标注方法的流程图，如图3所示，在图1实施例的基础上，该方法包括：

步骤201、获取到人体图像。

步骤202、在所述人体图像上检测获得人体各部位上的关键点的位置。

其中，本实施例检测获得的人体的关键点包括：左肩、右肩、左髋、右髋、左脚踝、右脚踝、鼻子、人体右肘、右腕、左肘、左腕、右膝、左膝上的关键点。

步骤203、基于所述人体的四肢上的关键点的位置，确定所述人体的四肢所在的区域。

步骤204、提取所述人体上鼻子的关键点所在的位置的皮肤颜色。

其中，本实施例所称的提取人体上鼻子的关键点所在的位置的皮肤颜色包括：提取鼻子关键点周围预设范围内的皮肤颜色的范围或者平均值。

步骤205、基于所述皮肤颜色从所述人体的上肢所在的区域中确定衣袖所在的区域，从所述人体的下肢所在的区域中确定裤腿所在的区域。

比如，对于上肢所在的区域而言，若该区域中除皮肤颜色以外的其他颜色的连通区域大于预设阈值，则确定该连通区域为衣袖所在的位置。类似的，在下肢所在的区域中，若除皮肤颜色以外的其他颜色的连通区域大于预设阈值，则确定该连通区域为裤腿所在的区域。当然这里仅为示例说明而不是对本申请的唯一限定。

步骤206、基于衣袖和裤腿所在的区域，对所述服饰的衣袖和裤腿进行标注。

本实施例通过计算机设备对图像中的服饰进行标注，当获取到人体图像时，通过检测人体图像上人体各部位的关键点的位置，并根据检测获得的各部位上关键点的位置，确定人体服饰的各部分在人体图像上的区域，从而在人体服饰各部分在人体图像上的区域，对服饰的各部分进行标注。由于整个标注过程均由计算机设备完成，不需要人工参与，因而相较于现有的人工标注方式，能够降低人力成本，提升标注效率和准确性。

图4是本申请实施例提供的一种图像标注装置的结构示意图，如图4所示，装置40包括：

获取模块41，用于获取到人体图像.

检测模块42，用于在所述人体图像上检测获得人体各部位上的关键点的位置。

确定模块43，用于基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域。

标注模块44，用于基于所述人体服饰的各部分在所述人体图像上的区域，对所述服饰的各部分进行标注。

在一种实施方式中，所述检测模块42，包括：

第一检测子模块，用于在所述人体图像上检测获得人体左肩、右肩、左髋、右髋、左脚踝、右脚踝、鼻子上的关键点的位置。

在一种实施方式中，所述确定模块43，包括：

第一确定子模块，用于将包括所述人体左肩、右肩、左髋、右髋上关键点的最小矩形区域确定为所述人体服饰的上衣所在的区域。

第二确定子模块，用于将包括所述左髋、右髋、左脚踝、右脚踝上关键点的最小矩形区域确定为所述人体服饰的下衣所在的区域。

第三确定子模块，用于确定所述左肩上的关键点和所述右肩上的关键点之间的第一连线的中点的位置，以及确定所述中点与所述鼻子上的关键点之间的第二连线的位置，将以所述第二连接线作为中轴线，高度为所述第二连接线的长度，宽度为所述第一连线长度的一半的矩形区域作为衣领所在的区域。

在一种实施方式中，所述检测模块42，还包括：

第二检测子模块，用于在所述人体图像上检测获得人体右肘、右腕、左肘、左腕、右膝、左膝上的关键点的位置。

在一种实施方式中，所述确定模块43，包括：

第四确定子模块，用于基于所述人体的四肢上的关键点的位置，确定所述人体的四肢所在的区域；

提取子模块，用于提取所述人体上鼻子的关键点所在的位置的皮肤颜色；

第五确定子模块，用于基于所述皮肤颜色从所述人体的上肢所在的区域中确定衣袖所在的区域，从所述人体的下肢所在的区域中确定裤腿所在的区域。

本实施例提供的装置能够用于执行图1或图3实施例的方法，其执行方式和有益效果类似，在这里不再赘述。

本申请实施例还提供一种计算机设备，包括：一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一方法实施例所述的方法。

本实施例通过计算机设备对图像中的服饰进行标注，当获取到人体图像时，通过检测人体图像上人体各部位的关键点的位置，并根据检测获得的各部位上关键点的位置，确定人体服饰的各部分在人体图像上的区域，从而在人体服饰各部分在人体图像上的区域，对服饰的各部分进行标注。由于整个标注过程均由计算机设备完成，不需要人工参与，因而相较于现有的人工标注方式，能够降低人力成本，提升标注效率和准确性。

本申请实施例还提供在一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一方法实施例所述的方法。

本实施例通过计算机设备对图像中的服饰进行标注，当获取到人体图像时，通过检测人体图像上人体各部位的关键点的位置，并根据检测获得的各部位上关键点的位置，确定人体服饰的各部分在人体图像上的区域，从而在人体服饰各部分在人体图像上的区域，对服饰的各部分进行标注。由于整个标注过程均由计算机设备完成，不需要人工参与，因而相较于现有的人工标注方式，能够降低人力成本，提升标注效率和准确性。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种图像标注方法，其特征在于，包括：

获取到人体图像；

在所述人体图像上检测获得人体各部位上的关键点的位置；

基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域；

基于所述人体服饰的各部分在所述人体图像上的区域，对所述服饰的各部分进行标注。

2.根据权利要求1所述的方法，其特征在于，所述在所述人体图像上检测获得人体各部位上的关键点的位置，包括：

在所述人体图像上检测获得人体左肩、右肩、左髋、右髋、左脚踝、右脚踝、鼻子上的关键点的位置。

3.根据权利要求2所述的方法，其特征在于，所述基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域，包括：

将包括所述人体左肩、右肩、左髋、右髋上关键点的最小矩形区域确定为所述人体服饰的上衣所在的区域；

将包括所述左髋、右髋、左脚踝、右脚踝上关键点的最小矩形区域确定为所述人体服饰的下衣所在的区域；

确定所述左肩上的关键点和所述右肩上的关键点之间的第一连线的中点的位置，以及确定所述中点与所述鼻子上的关键点之间的第二连线的位置，将以所述第二连接线作为中轴线，高度为所述第二连接线的长度，宽度为所述第一连线长度的一半的矩形区域作为衣领所在的区域。

4.根据权利要求2所述的方法，其特征在于，所述在所述人体图像上检测获得人体各部位上的关键点的位置，还包括：

在所述人体图像上检测获得人体右肘、右腕、左肘、左腕、右膝、左膝上的关键点的位置。

5.根据权利要求4所述的方法，其特征在于，所述基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域，包括：

基于所述人体的四肢上的关键点的位置，确定所述人体的四肢所在的区域；

提取所述人体上鼻子的关键点所在的位置的皮肤颜色；

基于所述皮肤颜色从所述人体的上肢所在的区域中确定衣袖所在的区域，从所述人体的下肢所在的区域中确定裤腿所在的区域。

6.一种图像标注装置，其特征在于，包括：

获取模块，用于获取到人体图像；

检测模块，用于在所述人体图像上检测获得人体各部位上的关键点的位置；

确定模块，用于基于检测获得的所述人体各部位上的关键点的位置，确定人体服饰的各部分在所述人体图像上的区域；

标注模块，用于基于所述人体服饰的各部分在所述人体图像上的区域，对所述服饰的各部分进行标注。

7.根据权利要求6所述的装置，其特征在于，所述检测模块，包括：

第一检测子模块，用于在所述人体图像上检测获得人体左肩、右肩、左髋、右髋、左脚踝、右脚踝、鼻子上的关键点的位置。

8.根据权利要求7所述的装置，其特征在于，所述确定模块，包括：

第一确定子模块，用于将包括所述人体左肩、右肩、左髋、右髋上关键点的最小矩形区域确定为所述人体服饰的上衣所在的区域；

第二确定子模块，用于将包括所述左髋、右髋、左脚踝、右脚踝上关键点的最小矩形区域确定为所述人体服饰的下衣所在的区域；

第三确定子模块，用于确定所述左肩上的关键点和所述右肩上的关键点之间的第一连线的中点的位置，以及确定所述中点与所述鼻子上的关键点之间的第二连线的位置，将以所述第二连接线作为中轴线，高度为所述第二连接线的长度，宽度为所述第一连线长度的一半的矩形区域作为衣领所在的区域。

9.根据权利要求7所述的装置，其特征在于，所述检测模块，还包括：

第二检测子模块，用于在所述人体图像上检测获得人体右肘、右腕、左肘、左腕、右膝、左膝上的关键点的位置。

10.根据权利要求9所述的装置，其特征在于，所述确定模块，包括：

第四确定子模块，用于基于所述人体的四肢上的关键点的位置，确定所述人体的四肢所在的区域；

提取子模块，用于提取所述人体上鼻子的关键点所在的位置的皮肤颜色；

第五确定子模块，用于基于所述皮肤颜色从所述人体的上肢所在的区域中确定衣袖所在的区域，从所述人体的下肢所在的区域中确定裤腿所在的区域。

11.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。

Images