CN112580794A - 属性识别装置、方法和系统及识别对象属性的神经网络 - Google Patents

Abstract

本发明公开了一种属性识别装置、方法和系统及识别对象属性的神经网络。所述属性识别装置利用神经网络识别对象的属性，所述神经网络包括提取子网络、确定子网络及由至少两个识别分支构成的识别子网络。所述属性识别装置包括：利用提取子网络，从输入图像中提取特征的单元，其中所提取的特征能够被所述识别子网络中的所有识别分支用于识别对象的属性；利用确定子网络，基于输入的对象类别从识别子网络中确定至少两个识别分支的单元；以及，至少利用所确定的识别分支，基于所提取的特征从输入图像中识别属于输入的对象类别的对象的属性的单元。根据本发明，大大地减小了用于识别对象的属性的神经网络的模型大小。

Description

属性识别装置、方法和系统及识别对象属性的神经网络

技术领域

本发明涉及图像处理，尤其涉及例如属性识别及用于属性识别的神经网络。

背景技术

在现实生活中摄像头随处可见，此时，通过对摄像头所获取的人物图像进行人物属性识别(尤其是，多任务的人物属性识别)对于查找/搜索目标人物等监控处理具有重要的意义。其中，多任务的人物属性识别表示要同时识别出一个人的多个属性，这些属性例如为人的穿戴物的属性(例如，衣服的类型/款式/颜色、鞋子的类型/款式/颜色、是否戴帽子、帽子的类型/款式/颜色等)和/或人的附属物的属性(例如，是否有附属物、包的款式/颜色、包的携带方式等)的属性。由于这些属性可以反映出一个人的穿戴物及附属物的特征，因此可利用这些属性作为一个人的独特标签。例如，在人物搜索应用中，假设需要搜索的目标人物的属性例如为灰色西装、白色皮鞋及没有附属物，则可利用多任务的人物属性识别来找到目标人物，以便监控人员可以做出后续的处理。因此，在人物搜索等监控处理中，多任务的人物属性识别便成为整个监控处理中的关键环节。

针对多任务的人物属性识别，“Switching Convolutional Neural Network forCrowd Counting”(Deepak Babu Sam,Shiv Surya,R.Venkatesh Babu；IEEE ComputerSociety,2017:4031-4039)公开了一种示例性的基于神经网络的处理方法。根据该示例性的处理方法可知可通过利用两个互相独立的神经网络来实现多任务的人物属性识别。在这两个互相独立的神经网络中，其中一个神经网络用于确定输入图像中的对象的类别，其中对象的类别例如可以为衣服、裤子、鞋子等。另一个神经网络包括多组识别分支，其中每一组识别分支用于识别一种类别的对象的各个属性，其中每一个识别分支用于识别一个属性并且每一个识别分支均包括用于提取特征的部分和用于分类的部分。例如，对应于识别衣服的属性的一组识别分支，其可包括用于识别颜色的识别分支、用于识别类型的识别分支、用于识别款式的识别分支等；对应于识别裤子的属性的一组识别分支，其也可包括用于识别颜色的识别分支、用于识别类型的识别分支、用于识别款式的识别分支等。具体地，先通过其中一个神经网络从输入图像中确定对象类别，假设所确定的对象类别为衣服；然后，从另一个神经网络中选择对应于识别衣服的属性的那组识别分支进行相应的属性识别操作，例如对于识别衣服的颜色属性，利用用于识别颜色的识别分支从输入图像中提取相应的特征并进行相应的分类操作。

如上所述，可知在进行多任务的人物属性识别的过程中，上述的示例性处理方法所使用到的神经网络中的每一个识别分支均需要具有用于提取特征的部分。由于每一个用于提取特征的部分通常均由一定层数的卷积网络构成，因此其具有一定的参数量，从而使得识别分支需要占用一定的神经网络的模型大小。因此，需要识别的人的属性的数量越多，神经网络的模型大小将越大。然而，在实际的多任务的人物属性识别的应用中，需要识别的人的属性的数量通常很大。例如在人物搜索应用中，大量的属性(例如，衣服的类型/款式/颜色、裤子的类型/款式/颜色、鞋子的类型/款式/颜色等)需要被识别。从而，若使用上述的示例性处理方法所涉及的神经网络来实现多任务的人物属性识别，将导致神经网络的模型大小变得很大。

发明内容

鉴于上面的背景技术中的记载，本公开旨在解决上述问题中的至少一点。

根据本公开的一个方面，提供一种属性识别装置，所述属性识别装置利用神经网络识别对象的属性，其特征在于，所述神经网络包括提取子网络、确定子网络及由至少两个识别分支构成的识别子网络；其中，所述属性识别装置包括：提取单元，利用所述提取子网络，从输入图像中提取特征，其中所提取的特征能够被所述识别子网络中的所有识别分支用于识别对象的属性；确定单元，利用所述确定子网络，基于输入的对象类别从所述识别子网络中确定至少两个识别分支；以及，识别单元，至少利用所确定的识别分支，基于所提取的特征从所述输入图像中识别属于所述输入的对象类别的对象的属性。其中，所确定的识别分支中的至少一个分支能够用于识别属于至少两种类别的对象的共同属性。其中，所述对象例如包括人的穿戴物和/或附属物。

根据本公开的另一个方面，提供一种属性识别方法，所述属性识别方法利用神经网络识别对象的属性，其特征在于，所述神经网络包括提取子网络、确定子网络及由至少两个识别分支构成的识别子网络；其中，所述属性识别方法包括：提取步骤，利用所述提取子网络，从输入图像中提取特征，其中所提取的特征能够被所述识别子网络中的所有识别分支用于识别对象的属性；确定步骤，利用所述确定子网络，基于输入的对象类别从所述识别子网络中确定至少两个识别分支；以及，识别步骤，至少利用所确定的识别分支，基于所提取的特征从所述输入图像中识别属于所述输入的对象类别的对象的属性。其中，所确定的识别分支中的至少一个分支能够用于识别属于至少两种类别的对象的共同属性。其中，所述对象例如包括人的穿戴物和/或附属物。

根据本公开的再一方面，提供一种识别对象属性的神经网络，其特征在于，所述神经网络包括：提取子网络，用于从输入图像中提取特征，其中所提取的特征能够被识别子网络中的所有识别分支用于识别对象的属性；识别子网络，用于识别输入图像中对象的属性，其中所述识别子网络包括至少两个识别分支；以及，确定子网络，用于基于输入的对象类别从所述识别子网络中确定至少两个识别分支，其中所确定的识别分支用于从所述输入图像中识别属于所述输入的对象类别的对象的属性。其中，所述识别分支中包括至少一个分支能够用于识别属于至少两种类别的对象的共同属性。其中，所述对象例如包括人的穿戴物和/或附属物。

根据本公开的又一方面，提供一种属性识别系统，其特征在于，所述属性识别系统包括：存储器，用于存储数据、指令和用于识别对象的属性的神经网络，其中，所述神经网络包括提取子网络、确定子网络及由至少两个识别分支构成的识别子网络；以及，与存储器相连接的处理器，用于执行所述指令，所述指令包括：提取步骤，利用所述提取子网络，从输入图像中提取特征，其中所提取的特征能够被所述识别子网络中的所有识别分支用于识别对象的属性；确定步骤，利用所述确定子网络，基于输入的对象类别从所述识别子网络中确定至少两个识别分支；以及，识别步骤，至少利用所确定的识别分支，基于所提取的特征从所述输入图像中识别属于所述输入的对象类别的对象的属性。其中，所确定的识别分支中的至少一个分支能够用于识别属于至少两种类别的对象的共同属性。其中，所述对象例如包括人的穿戴物和/或附属物。

其中，所述人的穿戴物例如为衣服、裤子、裙子、鞋子、帽子等，所述人的附属物例如为伞、包、行李箱等。其中，所述至少两种类别的对象的共同属性例如为衣服、裤子、鞋子、帽子等的颜色属性，衣服、裤子、裙子等的长度属性，包、行李箱等的颜色属性等。

如上所述可知，本公开所使用的神经网络是一种具有共享结构的神经网络。一方面，本公开通过构建共享的用于提取特征的部分(也即，提取子网络)来提取能够被识别子网络中的所有识别分支用于识别对象的属性的特征，从而使得识别子网络中的识别分支不再需要分别具有用于提取特征的部分。另一方面，对于属于至少两种类别的对象的共同属性，本公开通过在识别子网络中构建共享的识别分支来识别属于不同类别的对象的共同属性，从而使得识别子网络中不再需要具有用于识别同一属性的多个重复的识别分支。换句话说，本公开所使用的神经网络通过引入共享结构来对许多可以共用的部分进行共享，从而大大地减小了用于识别对象的属性(尤其是，识别多任务的人物属性)的神经网络的模型大小。

通过以下参考附图对典型实施例的说明，本公开的其它特征和优点将变得明显。

附图说明

并入说明书中并构成说明书的一部分的附图例示本公开的实施例，并且与实施例的描述一起用于解释本公开的原理。

图1示意性地示出现有技术所使用的用于识别各属性的神经网络的结构示例。

图2是示意性地示出可实现根据本公开实施例的技术的硬件构造的框图。

图3是例示根据本公开实施例的属性识别装置的构造的框图。

图4示意性地示出根据本公开实施例的属性识别处理的流程图。

图5示意性地示出根据本公开实施例的所使用的一种神经网络的结构示例。

图6示意性地示出根据本公开实施例的所使用的另一种神经网络的结构示例。

图7A～7B是示例性地示出本公开所使用的一种衣服图像及与其对应的整张人体图像的示例。

图8A～8B是示例性地示出本公开所使用的另一种衣服图像及与其对应的整张人体图像的示例。

具体实施方式

下面将参照附图详细地描述本公开的示例性实施例。应注意，下面的描述实质上仅为说明性和示例性的，并且决不意图限制本公开及其应用或用途。除非另有具体说明，否则实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本公开的范围。另外，本领域技术人员已知的技术、方法和设备可能不会被详细地讨论，但在适当的情形中其应当是本说明书的一部分。

请注意，相似的附图标记和字母指代附图中相似的项目，因此，一旦一个项目在一个附图中被定义，则不必在下面的附图中对其进行讨论。

对于对象属性识别，以识别衣服、裤子和鞋子的类型/款式/颜色属性为例，上述的示例性处理方法所使用的用于识别各属性的神经网络的网络结构例如如图1所示。发明人发现，一方面，神经网络可用于提取可共同用于识别多个属性的特征，而无需在每一个识别分支分别执行一次特征提取操作。因此，发明人认为可通过在神经网络中构建共享的用于提取特征的部分(也即，提取子网络)来提取能够被所有的用于识别属性的识别分支所使用的特征，从而可以从特征提取层面在一定数量上减小神经网络的模型大小。另一方面，对于不同类别的对象，它们可能具有共同的属性。例如，对于衣服、裤子和鞋子，它们具有共同的颜色属性；对于衣服和裤子，它们具有共同的款式属性，例如西服款式或休闲款式等。因此，发明人认为可通过在神经网络中构建共享的识别分支来识别属于不同类别的对象的共同属性，而不需要构建用于识别同一属性的多个重复的识别分支，从而也可以从属性识别层面在一定数量上减小神经网络的模型大小。再一方面，根据实际的监控处理，待监控的对象类别通常是明确的，因此发明人认为可通过直接输入对象类别来指示神经网络需要识别什么对象的属性，而不用像上述的示例性处理方法那样需要单独地构建一个用于确定对象类别的神经网络，从而可以进一步地在一定数量上减小神经网络的模型大小。

因此，如上所述，由于本公开所使用的神经网络通过引入共享结构来对许多可以共用的部分进行共享，从而大大地减小了用于识别对象的属性(尤其是，识别多任务的人物属性)的神经网络的模型大小。下面将参照附图详细描述本公开。

(硬件构造)

首先将参照图2描述可实现下文中描述的技术的硬件构造。

硬件构造200例如包括中央处理单元(CPU)210、随机存取存储器(RAM)220、只读存储器(ROM)230、硬盘240、输入设备250、输出设备260、网络接口270和系统总线280。进一步地，硬件结构200可通过诸如相机、摄像机、个人数字助理(PDA)、平板电脑、笔记本电脑、台式电脑或其他合适的电子设备来实现。

在一种实现方式中，根据本公开的属性识别由硬件或固件构造并且用作硬件构造200的模块或组件。例如，将在下文参照图3详细描述的属性识别装置300用作硬件构造200的模块或组件。在另一种实现方式中，根据本公开的属性识别由存储在ROM 230或硬盘240中且由CPU 210执行的软件构造。例如，将在下文参照图4详细描述的过程400用作存储在ROM 230或硬盘240中的程序。

CPU 210是任意合适的可编程控制设备(诸如，处理器)，并且可通过执行存储在ROM 230或硬盘240(诸如，存储器)中的各种应用程序来执行下文中要描述的各种功能。RAM220用于临时存储从ROM 230或硬盘240加载的程序或数据，并且也被用作CPU 210在其中执行各种过程(诸如，实施将在下文参照图4详细描述的技术)以及其他可用功能的空间。硬盘240存储诸如操作系统(OS)、各种应用、控制程序、视频、图像、预先构建的神经网络、预先定义的数据(例如，阈值(THs))等多种信息。

在一种实现方式中，输入设备250用于允许用户与硬件构造200交互。在一个实例中，用户可通过输入设备250输入图像/视频/数据。在另一实例中，用户可通过输入设备250触发本公开的对应处理。此外，输入设备250可采用多种形式，诸如按钮、键盘或触摸屏。在另一种实现方式中，输入设备250用于接收从诸如数码相机、摄像机和/或网络摄像机等专门电子设备输出的图像/视频。

在一种实现方式中，输出设备260用于向用户显示识别结果(诸如，对象的属性)。而且，输出设备260可采用诸如阴极射线管(CRT)或液晶显示器等各种形式。在另一种实现方式中，输出设备260用于向诸如目标人物的查找/搜索等的后续监控处理输出识别结果。

网络接口270提供用于将硬件构造200连接到网络的接口。例如，硬件构造200可经由网络接口270与经由网络连接的其他电子设备进行数据通信。可选地，可以为硬件构造200提供无线接口以进行无线数据通信。系统总线280可以提供用于在CPU 210、RAM 220、ROM 230、硬盘240、输入设备250、输出设备260和网络接口270等之间相互传输数据的数据传输路径。虽然被称为总线，但是系统总线280并不限于任何特定的数据传输技术。

上述硬件构造200仅仅是说明性的，并且决不意图限制本公开、其应用或用途。而且，为了简明起见，图2中只示出一个硬件构造。但是，根据需要也可以使用多个硬件构造。

(属性识别)

接下来将参照图3至图8B描述根据本公开的属性识别。

图3是例示根据本公开实施例的属性识别装置300的构造的框图。其中，图3中所示的一些或全部模块可由专用硬件实现。如图3中所示，属性识别装置300包括提取单元310、确定单元320和识别单元330。属性识别单元300利用神经网络识别对象的属性(例如，人物的属性)。其中，属性识别单元300尤其是识别多任务的人物属性，例如识别人的穿戴物和/或附属物的各属性。其中，人的穿戴物例如为衣服、裤子、裙子、鞋子、帽子等，人的附属物例如为伞、包、行李箱等。然而，显然不必局限于此。

另外，图3中所示的存储设备340存储有预先生成/构建的神经网络。在一种实现中，存储设备340为图2中所示的ROM 230或硬盘240。在另一种实现方式中，存储设备340为经由网络(未示出)与属性识别装置300连接的服务器或外部存储设备。此外，可选地，该预先生成/构建的神经网络也可存储在不同的存储设备中。

在本公开中，所述神经网络包括提取子网络、确定子网络及由至少两个识别分支构成的识别子网络。所述提取子网络用于从输入图像中提取特征，其中所提取的特征能够被所述识别子网络中的所有识别分支用于识别对象的属性。其中，所述提取子网络的结构例如为VGG16、ResNet、SENet等，然而显然不限于此。所述识别子网络用于识别输入图像中对象的属性。所述确定子网络用于基于输入的对象类别从识别子网络中确定至少两个识别分支，其中所确定的识别分支用于从输入图像中识别属于输入的对象类别的对象的属性。关于本公开所使用的神经网络，下文中将参照具体实施例详细描述。

首先，图2中所示的输入设备250接收从专门电子设备(例如，摄像机等)输出或由用户输入的图像。接着，输入设备250经由系统总线280将所接收图像传输到属性识别装置300。

然后，如图3中所示，属性识别装置300从存储设备340中获取所述预先生成/构建的神经网络。提取单元310利用神经网络中的提取子网络，从接收到的图像(也即，输入图像)中提取特征，其中所提取的特征能够被所述识别子网络中的所有识别分支用于识别对象的属性，在下文中所提取的特征例如可被称为共享特征。例如，所述至少两种类别的对象是衣服和裤子。例如，所述至少两种类别的对象是衣服、裤子和鞋子。然而，显然不必局限于此。

确定单元320利用神经网络中的确定子网络，基于输入的对象类别从神经网络中的识别子网络中确定至少两个识别分支。

识别单元330至少利用确定单元320所确定的识别分支，基于提取单元310所提取的共享特征从输入图像中识别属于输入的对象类别的对象的属性。例如，进一步地，识别单元330还利用神经网络的识别子网络中未被确定单元320确定的识别分支，基于提取单元310所提取的共享特征从输入图像中识别属于其它对象类别的对象的属性。

最后，识别单元330经由图2中所示的系统总线280将识别结果(例如，所识别出的对象的属性)传输至输出设备260，用于向用户显示所识别出的对象的属性或向诸如目标人物的查找/搜索等的后续监控处理输出识别结果。

图4中所示的方法流程图400是图3中所示的属性识别装置300的一种对应过程。在下文中，将以识别人的衣服的类型属性、款式属性和颜色属性为例进行说明。然而，显然不必局限于此。此外，假设本公开中所使用的神经网络结构例如如图5-6所示，该神经网络可用于识别人的衣服、裤子的类型属性、款式属性和颜色属性，还可用于识别人的鞋子的类型属性和颜色属性。其中，图5所示的神经网络中构建有共享的用于提取特征的提取子网络，用该提取子网络可提取能够被所有的识别分支所使用的特征，从而在一定数量上减小神经网络的模型大小。其中，图6所示的神经网络中不仅构建有共享的用于提取特征的提取子网络，还构建有共享的识别分支。例如，颜色识别分支可同时识别衣服、裤子和鞋子的颜色属性，款式识别分支可同时识别衣服和裤子的款式属性。换句话说，这些共享的识别分支能够用于识别属于至少两种类别的对象的共同属性。从而，与图5中所示的神经网络相比，图6中所示的神经网络可进一步地减小神经网络的模型大小。然而，显然不必局限于此，根据本公开所构建的神经网络还可具有其它的网络结构。本公开可根据实际应用需要，构建具有本公开所述的共享结构的神经网络以进行相应的属性识别操作。

如图4中所示，属性识别装置300从存储设备340中获取所述预先生成/构建的神经网络。在提取步骤S410中，提取单元310利用神经网络中的提取子网络，从衣服图像(也即，输入图像)中提取共享特征。其中，衣服图像通常是通过对整张人体图像进行裁剪得到的。例如，对于如图7A中所示的衣服图像，其例如是从如图7B中所示的整张人体图像中裁剪获得的。例如，对于如图8A中所示的衣服图像，其例如是从如图8B中所示的整张人体图像中裁剪获得的。

在确定步骤S420中，确定单元320利用神经网络中的确定子网络，基于输入的类别“衣服”从神经网络中的识别子网络中确定相应的识别分支。例如，在使用图5中所示的神经网络的情况下，“衣服类型识别分支”、“衣服款式识别分支”和“衣服颜色识别分支”将被确定。例如，在使用图6中所示的神经网络的情况下，“衣服类型识别分支”、“颜色识别分支”和“款式识别分支”将被确定。然而，显然不限于此，确定的识别分支的个数与神经网络中所具有的相应的识别分支的个数有关。例如，在图6中所示的神经网络中仅具有“衣服类型识别分支”和“颜色识别分支”可用于识别衣服的属性的情况下，则“衣服类型识别分支”和“颜色识别分支”将被确定。

在识别步骤S430中，识别单元330至少利用在确定步骤S420中确定的识别分支，基于在提取步骤S410中提取的共享特征从衣服图像中识别衣服的属性。例如，所识别的衣服的类型属性例如为“长袖”、款式属性例如为“西服”、颜色属性例如为“白色”。最后，识别单元330经由图2中所示的系统总线280将所识别出的衣服的类型属性、款式属性和颜色属性传输至输出设备260，用于向用户显示识别结果或向诸如目标人物的查找/搜索等的后续监控处理输出识别结果。

在识别步骤S430的一种实现方式中，识别单元330仅利用在确定步骤S420中确定的识别分支来识别衣服的属性。

例如，在使用图5中所示的神经网络的情况下，识别单元330将利用所确定的“衣服类型识别分支”、“衣服款式识别分支”和“衣服颜色识别分支”来识别衣服的属性。在本公开中，对于任意一种对象类别，可基于其中标注有属于该种对象类别的对象的属性的样本图像，通过反向传递方式同时更新提取子网络、确定子网络和识别子网络中用于识别属于该种对象类别的对象的属性的识别分支来生成/构建相应的神经网络。例如对于图5中所示的神经网络，以对象类别为衣服为例，可将其中标注有衣服的真实属性(也即，真实类型属性、真实款式属性和真实颜色属性)的各衣服样本图像经由神经网络中的提取子网络、确定子网络、衣服类型识别分支、衣服款式识别分支和衣服颜色识别分支，以得到衣服的预测属性(也即，预测类型属性、预测款式属性和预测颜色属性)；然后，基于衣服的真实属性和预测属性计算损失函数值，并通过反向传递方式更新神经网络中的提取子网络、确定子网络、衣服类型识别分支、衣服款式识别分支和衣服颜色识别分支，直至神经网络的相应部分满足预定要求。其中，衣服样本图像通常是通过对整张人体样本图像进行裁剪而得到的。对于裤子和鞋子，神经网络中相应部分的更新方式与衣服相似，在此不再赘述。

例如，在使用图6中所示的神经网络的情况下，识别单元330将利用所确定的“衣服类型识别分支”、“款式识别分支”和“颜色识别分支”来识别衣服的属性。对于图6中所示的神经网络，除了下述不同点外，其生成/构建方式与图5中所示的神经网络相同，在此不再赘述。其中，由于图6中所示的神经网络具有共享的识别分支，例如以“颜色识别分支”为例，因此在用衣服样本图像来更新神经网络中与衣服对应的部分时、在用裤子样本图像来更新神经网络中与裤子对应的部分时及在用鞋子样本图像来更新神经网络中与鞋子对应的部分时，“颜色识别分支”均会被更新。换句话说，“颜色识别分支”可同时根据衣服样本图像、裤子样本图像和鞋子样本图像来更新，而非仅根据其中一种样本图像(例如，衣服样本图像)来更新，从而可提高颜色属性的识别精度。因此，根据本公开，可提高不同对象之间的共同属性的识别精度。

由于在实际应用中，神经网络的识别子网络中未被确定的识别分支的输出结果通常也具有辅助参考价值。例如，在目标人物的查找/搜索过程中，通常能识别出的人物属性越多，搜索的准确性将越高。因此，在一个人的脚部区域被遮挡的情形下，在根据本公开识别人的衣服的属性或裤子的属性时，可通过未被确定的识别分支的输出结果来预测该人的鞋子的属性，从而，可改善目标人物的查找/搜索的准确性。因此，识别单元330还可进一步利用神经网络的识别子网络中未被确定的识别分支，基于所提取的共享特征从输入图像中识别属于其它对象类别的对象的属性。

从而，作为识别步骤S430的另一种实现方式，在使用图6中所示的神经网络的情况下，识别单元330除了利用在确定步骤S420中确定的“衣服类型识别分支”、“款式识别分支”和“颜色识别分支”来识别衣服的属性外，识别单元330还进一步利用识别子网络中未在确定步骤S420中确定的其它识别分支(也即，裤子类型识别分支和鞋子类型识别分支)，基于在提取步骤S410中提取的共享特征从衣服图像中识别裤子的属性和鞋子的属性。在该实现方式中，对于任意一种对象类别，基于其中标注有属于该种对象类别的对象的属性的样本图像及基于输入的属于与该种对象类别相关联的其它对象类别的对象的属性的样本信息，通过反向传递方式同时更新所述提取子网络、所述确定子网络和所述识别子网络来生成/构建神经网络。其中，输入的样本信息可从整张的样本图像(例如，整张的人体样本图像)中获得。

例如对于图6中所示的神经网络，在对象类别为衣服时，首先，可将其中标注有衣服的真实属性(也即，真实类型属性、真实款式属性和真实颜色属性)的各衣服样本图像及将输入的与衣服关联的裤子的真实类型属性和鞋子的真实类型属性，经由神经网络中的提取子网络、确定子网络、和识别子网络的各识别分支，以得到衣服的预测属性(也即，预测类型属性、预测款式属性和预测颜色属性)、裤子的预测类型属性和鞋子的预测类型属性。其中，与衣服关联的裤子的真实类型属性和鞋子的真实类型属性可从整张的人体样本图像中获得。然后，基于衣服的真实属性和预测属性计算损失函数值，并通过反向传递方式更新神经网络中的提取子网络、确定子网络、衣服类型识别分支、款式识别分支和颜色识别分支；基于裤子的真实类型属性和预测类型属性计算损失函数值，并通过反向传递方式更新神经网络中的裤子类型识别分支，并基于鞋子的真实类型属性和预测类型属性计算损失函数值，并通过反向传递方式更新神经网络中的鞋子类型识别分支，直至整个的神经网络满足预定要求。在对象类别为裤子和鞋子时，对神经网络的更新方式与衣服相似，在此不再赘述。

上述的所有单元都是用于实现本公开中所述处理的示例性和/或优选模块。这些单元可以是硬件单元(诸如，现场可编程门阵列(FPGA)、数字信号处理器、专用集成电路等)和/或软件模块(诸如，计算机可读程序)。上面没有详尽地描述用于实现各步骤的单元。然而，当存在执行特定过程的步骤的情况下，可以存在用于实现该同一过程的对应功能模块或单元(通过硬件和/或软件实现)。通过描述的步骤和对应于这些步骤的单元的所有组合的技术方案包括在本申请的公开内容中，只要它们所构成的技术方案是完整的、适用的即可。

可以以多种方式来实施本发明的方法和装置。例如，可以通过软件、硬件、固件或其任何组合来实施本发明的方法和装置。除非另有具体说明，否则本方法的步骤的上述顺序仅旨在是说明性的，并且本发明的方法的步骤不局限于上述具体描述的顺序。此外，在一些实施例中，本发明还可以被实施为在记录介质中记录的程序，其包括用于实现根据本发明的方法的机器可读指令。因此，本发明也覆盖存储用于实现根据本发明的方法的程序的记录介质。

虽然已经通过示例详细地展示了本发明的一些具体实施例，但是本领域的技术人员应该理解，上述示例仅旨在是说明性的，并不限制本发明的范围。本领域的技术人员应该理解，上述实施例可以在不脱离本发明的范围和精神的情况下被修改。本发明的范围由所附权利要求约束。

Claims (13)

1.一种属性识别装置，所述属性识别装置利用神经网络识别对象的属性，其特征在于，所述神经网络包括提取子网络、确定子网络及由至少两个识别分支构成的识别子网络；其中，所述属性识别装置包括：

提取单元，利用所述提取子网络，从输入图像中提取特征，其中所提取的特征能够被所述识别子网络中的所有识别分支用于识别对象的属性；

确定单元，利用所述确定子网络，基于输入的对象类别从所述识别子网络中确定至少两个识别分支；以及

识别单元，至少利用所确定的识别分支，基于所提取的特征从所述输入图像中识别属于所述输入的对象类别的对象的属性。

2.根据权利要求1所述的属性识别装置，其中，所确定的识别分支中的至少一个分支能够用于识别属于至少两种类别的对象的共同属性。

3.根据权利要求2所述的属性识别装置，其中，所述识别单元进一步利用所述识别子网络中未被所述确定单元确定的识别分支，基于所提取的特征从所述输入图像中识别属于其它对象类别的对象的属性。

4.根据权利要求1所述的属性识别装置，其中，所述对象包括人的穿戴物和/或附属物。

5.一种属性识别方法，所述属性识别方法利用神经网络识别对象的属性，其特征在于，所述神经网络包括提取子网络、确定子网络及由至少两个识别分支构成的识别子网络；其中，所述属性识别方法包括：

提取步骤，利用所述提取子网络，从输入图像中提取特征，其中所提取的特征能够被所述识别子网络中的所有识别分支用于识别对象的属性；

确定步骤，利用所述确定子网络，基于输入的对象类别从所述识别子网络中确定至少两个识别分支；以及

识别步骤，至少利用所确定的识别分支，基于所提取的特征从所述输入图像中识别属于所述输入的对象类别的对象的属性。

6.根据权利要求5所述的属性识别方法，其中，所确定的识别分支中的至少一个分支能够用于识别属于至少两种类别的对象的共同属性。

7.根据权利要求5所述的属性识别方法，其中，所述对象包括人的穿戴物和/或附属物。

8.一种识别对象属性的神经网络，其特征在于，所述神经网络包括：

提取子网络，用于从输入图像中提取特征，其中所提取的特征能够被识别子网络中的所有识别分支用于识别对象的属性；

识别子网络，用于识别输入图像中对象的属性，其中所述识别子网络包括至少两个识别分支；以及

确定子网络，用于基于输入的对象类别从所述识别子网络中确定至少两个识别分支，其中所确定的识别分支用于从所述输入图像中识别属于所述输入的对象类别的对象的属性。

9.根据权利要求8所述的神经网络，其中，所述识别分支中包括至少一个分支能够用于识别属于至少两种类别的对象的共同属性。

10.根据权利要求8或9所述的神经网络，其中，对于任意一种对象类别，基于其中标注有属于该种对象类别的对象的属性的样本图像，通过反向传递方式同时更新所述提取子网络、所述确定子网络和所述识别子网络中用于识别属于该种对象类别的对象的属性的识别分支。

11.根据权利要求8所述的神经网络，其中，对于任意一种对象类别，基于其中标注有属于该种对象类别的对象的属性的样本图像及基于输入的属于与该种对象类别相关联的其它对象类别的对象的属性的样本信息，通过反向传递方式同时更新所述提取子网络、所述确定子网络和所述识别子网络。

12.根据权利要求8所述的神经网络，其中，所述神经网络能够识别人的穿戴物和/或附属物的属性。

13.一种属性识别系统，其特征在于，所述属性识别系统包括：

存储器，用于存储数据、指令和用于识别对象的属性的神经网络，其中，所述神经网络包括提取子网络、确定子网络及由至少两个识别分支构成的识别子网络；以及

与存储器相连接的处理器，用于执行所述指令，所述指令包括：

提取步骤，利用所述提取子网络，从输入图像中提取特征，其中所提取的特征能够被所述识别子网络中的所有识别分支用于识别对象的属性；

确定步骤，利用所述确定子网络，基于输入的对象类别从所述识别子网络中确定至少两个识别分支；以及

识别步骤，至少利用所确定的识别分支，基于所提取的特征从所述输入图像中识别属于所述输入的对象类别的对象的属性。

Images