CN105740903B - 多属性识别方法及装置 - Google Patents

Abstract

本发明公开了一种多属性识别方法及装置，所述方法包括：对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型；其中，预先训练数据为包含预设种类属性且标注好属性信息的训练数据；获取待识别样本的特征数据；利用所述字典矩阵对所述特征数据进行编码，得到编码系数；利用所述系数转化矩阵将所述编码系数转化为属性向量；利用所述属性向量对所述待识别样本进行多属性识别。本发明所述的多属性识别方法在训练过程中不需要对每个属性进行单独分类训练，且在识别过程中不需要对每个属性进行单独分类识别，而是通过一次识别得到所有的属性识别结果，因而本发明所述的方法在实际应用中会方便很多。

Description

多属性识别方法及装置

技术领域

本发明涉及计算机技术，具体涉及一种多属性识别方法及装置。

背景技术

属性识别是近年来计算机视觉领域的研究热门之一。其研究内容为，首先预定义一些物体可能包含的属性，然后通过物体的图片特征来自动识别出该物体具有的属性信息。属性识别是一个重要的研究课题，可以应用在物体检索、zero-shot learning等问题上。

目前，有许多关于属性识别的方法。在这些方法里，属性识别通常被当做是一个分类问题。具体地，对每一个属性，通过SVM等训练方法得到分类器。然后对物体的测试图片，分别利用每一个属性的分类器去进行分类，判断该物体是否包含此属性。

然而，这类方法需要对每一个属性去做单独训练，并且在测试时需要对每一个属性逐一进行单独分类。不幸的是，实际应用中一个物体经常包含成百上千的属性，因此这类方法在实际使用中会有很多不便。

发明内容

针对现有技术中的缺陷，本发明提供了一种多属性识别方法及装置，本发明在训练过程中不需要对每个属性进行单独分类训练，且在识别过程中不需要对每个属性进行单独分类识别，而是通过一次识别得到所有的属性识别结果。

第一方面，本发明提供一种多属性识别方法，包括：

对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型；其中，预先训练数据为包含预设种类属性且标注好属性信息的训练数据；

获取待识别样本的特征数据；

利用所述字典矩阵对所述特征数据进行编码，得到编码系数；

利用所述系数转化矩阵将所述编码系数转化为属性向量；

利用所述属性向量对所述待识别样本进行多属性识别。

进一步地，所述对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型，包括：

利用如下的目标函数对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型：

其中，D为字典矩阵、W为系数转化矩阵、S为对应的编码系数，λ为系数的L2-norm约束因子；α为预设参数，为正值，大小可调；F为矩阵范数的记号；X为预设训练数据的特征矩阵，A为预设训练数据的属性矩阵，A中的每一列代表一个图形样本的属性向量，a_i,j为A第i列第j行的元素，

进一步地，所述利用所述字典矩阵对所述特征数据进行编码，得到编码系数，包括：

利用所述字典矩阵根据如下公式对所述特征数据进行编码，得到编码系数：

其中，x为待识别样本的特征数据，s为与所述待识别样本的特征数据对应的编码系数。

进一步地，所述利用所述系数转化矩阵将所述编码系数转化为属性向量，包括：

利用所述系数转化矩阵根据如下公式将所述编码系数转化为属性向量：

a＝Ws.

其中，a为待识别样本的属性向量。

进一步地，所述利用所述属性向量对所述待识别样本进行多属性识别，包括：

通过所述属性向量确定所述待识别样本是否包含某一属性：

其中，a_i为所述属性向量的第i个元素，若a_i大于预设阈值，则所述待识别样本包含第i个属性，否则所述待识别样本不包含第i个属性。

第二方面，本发明还提供了一种多属性识别装置，包括：

字典学习模块，用于对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型；其中，预先训练数据为包含预设种类属性且标注好属性信息的训练数据；

特征获取模块，用于获取待识别样本的特征数据；

编码模块，用于利用所述字典矩阵对所述特征数据进行编码，得到编码系数；

系数转化模块，用于利用所述系数转化矩阵将所述编码系数转化为属性向量；

属性识别模块，用于利用所述属性向量对所述待识别样本进行多属性识别。

进一步地，所述字典学习模块具体用于：

利用如下的目标函数对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型：

其中，D为字典矩阵、W为系数转化矩阵、S为对应的编码系数，λ为系数的L2-norm约束因子；α为预设参数，为正值，大小可调；F为矩阵范数的记号；系数的X为预设训练数据的特征矩阵，A为预设训练数据的属性矩阵，A中的每一列代表一个图形样本的属性向量，a_i,j为A第i列第j行的元素，

进一步地，所述编码模块具体用于：

利用所述字典矩阵根据如下公式对所述特征数据进行编码，得到编码系数：

其中，x为待识别样本的特征数据，s为与所述待识别样本的特征数据对应的编码系数。

进一步地，所述系数转化模块具体用于：

利用所述系数转化矩阵根据如下公式将所述编码系数转化为属性向量：

a＝Ws.

其中，a为待识别样本的属性向量。

进一步地，所述属性识别模块具体用于：

通过所述属性向量确定所述待识别样本是否包含某一属性：

其中，a_i为所述属性向量的第i个元素，若a_i大于预设阈值，则所述待识别样本包含第i个属性，否则所述待识别样本不包含第i个属性。

由上述技术方案可知，本发明所述的多属性识别方法，首次将字典学习技术应用到属性识别领域，利用字典学习技术训练得到属性识别模型，其中在属性识别模型的训练中，将多种属性统一到一个模型中去，因此使得本发明在训练过程中不需要对每个属性进行单独分类训练，且在识别过程中不需要对每个属性进行单独分类识别，而是通过一次识别得到所有的属性识别结果，因而本发明所述的方法在实际应用中会方便很多。

附图说明

图1为本发明第一个实施例提供的多属性识别方法的流程图；

图2为多属性识别方法的具体实现过程示意图；

图3为本发明第六实施例提供的多属性识别装置的结构示意图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。本发明实施例中所使用的“第一”、“第二”仅为更清楚的说明本申请的内容，不具有特定含义，也不限定任何内容。

图1示出了本发明第一个实施例提供的多属性识别方法的流程图，参见图1，本实施例提供的多属性识别方法，包括如下步骤：

步骤101：对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型；其中，预先训练数据为包含预设种类属性且标注好属性信息的训练数据。例如，所述预设种类的属性应覆盖待识别样本可能具有的属性，所述预设种类的种类个数大于等于2。

例如在对行人属性进行识别时，需要先预定义一些人的属性，比如性别，发型，衣服颜色，是否拿包等等。然后在训练过程中，需要拿出大量行人的照片(数量没有准确限制，可以几千也可以上万)，对这些照片进行人工标注，标注出每个照片里的人具有哪些属性，不具有哪些属性。同时提取这些图片的特征向量，如颜色，纹理等。然后利用这些标注好的属性信息和提取的特征向量进行训练，得到本实施例所述的属性识别模型，即字典矩阵和系数转化矩阵。

步骤102：获取待识别样本的特征数据。

例如，待识别样本为图像或图片，获取待识别样本的特征数据可以为颜色特征、纹理特征、边缘特征等。

步骤103：利用所述字典矩阵对所述特征数据进行编码，得到编码系数。

步骤104：利用所述系数转化矩阵将所述编码系数转化为属性向量。

步骤105：利用所述属性向量对所述待识别样本进行多属性识别。

本实施例提供的多属性识别方法，首次将字典学习技术应用到属性识别领域，利用字典学习技术训练得到属性识别模型，其中在属性识别模型的训练中，将多种属性统一到一个模型中去，因此使得本实施例在训练过程中不需要对每个属性进行单独分类训练，且在识别过程中不需要对每个属性进行单独分类识别，而是通过一次识别得到所有的属性识别结果，因而本实施例所述的方法在实际应用中会方便很多。

在本发明第二个实施例中，给出了上述步骤101的一种具体实现方式。

在本实施例中，上述步骤101具体包括：

利用如下的目标函数对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型：

公式一

其中，D为字典矩阵、W为系数转化矩阵、S为对应的编码系数，λ为系数的L2-norm约束因子；α为预设参数，为正值，大小可调；F为矩阵范数的记号；X为预设训练数据的特征矩阵，A为预设训练数据的属性矩阵，A中的每一列代表一个图形样本的属性向量，a_i,j为A第i列第j行的元素，

在本实施例中，在对预设训练数据进行字典学习之前，需要对预设训练数据进行预处理，对于预设训练数据集，获取预设训练数据的特征矩阵X，特征矩阵X中每一列代表一个图像样本的特征向量。获取预设训练数据的属性矩阵A。属性矩阵A中每一列代表一个图像样本的属性向量，具体地，a_i,j为A第i列第j行的元素，

在预处理之后，进入属性识别模型训练阶段，构造如上面公式一所示的字典学习方法的目标函数，学习得到包括字典矩阵和系数转化矩阵的属性识别模型。

本实施例提出了基于字典学习的属性识别模型训练方法。本实施例引入了字典和系数转化矩阵用来构造属性识别模型。其中字典和系数转化矩阵通过共同学习得到。在本实施例中，所有属性共同包含在一个模型中，因而在训练过程中不需要对每个属性进行单独分类训练，且在后续的识别步骤中不需要对每个属性进行单独分类识别，而是通过一次识别得到所有的属性识别结果。

在本发明第三个实施例中，给出了上述步骤103的一种具体实现方式。

在本实施例中，上述步骤103具体包括：

利用所述字典矩阵根据如下公式对所述特征数据进行编码，得到编码系数：

其中，x为待识别样本的特征数据，s为与所述待识别样本的特征数据对应的编码系数。

本实施例利用上一步骤学习得到的字典矩阵对待识别样本的特征数据进行编码，得到编码系数。在下一实施例中，将会利用上一步骤学习得到的系数转化矩阵对该编码系数进行处理，得到与待识别样本对应的属性向量，最后利用该属性向量可以对待识别样本进行属性识别，得到待识别样本的属性类别。其中在对待识别样本进行属性识别时，可以通过一次识别将该待识别样本具有的所有属性全部识别出来。

在本发明第四个实施例中，给出了上述步骤104的一种具体实现方式。

在本实施例中，上述步骤104具体包括：

利用所述系数转化矩阵根据如下公式将所述编码系数转化为属性向量：

a＝Ws.

其中，a为待识别样本的属性向量。

在本发明第五个实施例中，给出了上述步骤105的一种具体实现方式。

在本实施例中，上述步骤105具体包括：

通过所述属性向量确定所述待识别样本是否包含某一属性：

其中，a_i为所述属性向量的第i个元素，若a_i大于预设阈值，则所述待识别样本包含第i个属性，否则所述待识别样本不包含第i个属性。

图2示出了多属性识别过程示意图。例如对行人属性进行识别。识别之前，先预定义一些人的属性，比如性别，发型，衣服颜色，是否拿包等等。然后在训练过程中，需要拿出大量行人的照片(数量没有准确限制，可以几千也可以上万)，对这些照片进行人工标注，标注出每个照片里的人具有哪些属性，不具有哪些属性。同时提取这些图片的特征向量，如颜色，纹理等。然后利用这些标注好的属性信息和提取的特征向量进行训练，得到本发明实施例所述的属性识别模型，即字典和转化矩阵。然后在实际应用中，随便给出一张人的照片，然后在照片里提取出跟训练时候一样种类的特征，然后利用训练得到的字典对这个特征进行编码，得到编码系数。然后利用系数转化矩阵将该编码系数映射成属性向量。属性向量里的第i个元素代表，当前待识别的照片里包含第i个属性的可能性，然后通过阈值来判断当前待识别的照片里是否包含第i个属性。可见本发明本实施例引入了字典和系数转化矩阵用来构造属性识别模型。其中字典和系数转化矩阵通过共同学习得到。本实施例将所有属性包含在一个模型中，因而在训练过程中不需要对每个属性进行单独分类训练，且在后续的识别步骤中不需要对每个属性进行单独分类识别，而是通过一次识别得到所有的属性识别结果。

从上述第一至第五实施例以及图2可以看出，本发明实施例针对属性识别模型训练阶段，具有如下特点：

a.训练数据包含物体的特征数据以及该物体具有的属性向量。

b.训练得到的属性识别模型包含两部分，即字典矩阵和系数转化矩阵。字典矩阵用于对待识别样本的特征数据进行编码，系数转化矩阵用于建模编码系数和属性向量之间的关系。

c.字典矩阵和系数转化矩阵通过共同学习得到。

以及，本发明实施例针对属性识别阶段，具有如下特点：

d.利用模型训练得到的字典矩阵对待识别样本的特征数据进行编码。

e.利用模型训练得到的系数转化矩阵将上一步得到的编码系数转化为属性向量，该属性向量代表了待识别样本所包含的属性。

本发明第六个实施例提供了一种多属性识别装置，参见图3，该装置包括：字典学习模块31、特征获取模块32、编码模块33、系数转化模块34和属性识别模块35；

所述字典学习模块31，用于对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型；其中，预先训练数据为包含预设种类属性且标注好属性信息的训练数据；

所述特征获取模块32，用于获取待识别样本的特征数据；

所述编码模块33，用于利用所述字典矩阵对所述特征数据进行编码，得到编码系数；

所述系数转化模块34，用于利用所述系数转化矩阵将所述编码系数转化为属性向量；

所述属性识别模块35，用于利用所述属性向量对所述待识别样本进行多属性识别。

本实施例所述的装置，可以用于执行上述第一个实施例所述的方法，其原理和技术效果类似，此处不再详述。

在本发明第七个实施例中，所述字典学习模块31具体用于：

利用如下的目标函数对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型：

其中，D为字典矩阵、W为系数转化矩阵、S为对应的编码系数，λ为系数的L2-norm约束因子；α为预设参数，为正值，大小可调；F为矩阵范数的记号；X为预设训练数据的特征矩阵，A为预设训练数据的属性矩阵，A中的每一列代表一个图形样本的属性向量，a_i,j为A第i列第j行的元素，

本实施例所述的装置，可以用于执行上述第二个实施例所述的方法，其原理和技术效果类似，此处不再详述。

在本发明第八个实施例中，所述编码模块33具体用于：

利用所述字典矩阵根据如下公式对所述特征数据进行编码，得到编码系数：

其中，x为待识别样本的特征数据，s为与所述待识别样本的特征数据对应的编码系数。

本实施例所述的装置，可以用于执行上述第三个实施例所述的方法，其原理和技术效果类似，此处不再详述。

在本发明第九个实施例中，所述系数转化模块34具体用于：

利用所述系数转化矩阵根据如下公式将所述编码系数转化为属性向量：

a＝Ws.

其中，a为待识别样本的属性向量。

本实施例所述的装置，可以用于执行上述第四个实施例所述的方法，其原理和技术效果类似，此处不再详述。

在本发明第十个实施例中，所述属性识别模块35具体用于：

通过所述属性向量确定所述待识别样本是否包含某一属性：

其中，a_i为所述属性向量的第i个元素，若a_i大于预设阈值，则所述待识别样本包含第i个属性，否则所述待识别样本不包含第i个属性。

本实施例所述的装置，可以用于执行上述第五个实施例所述的方法，其原理和技术效果类似，此处不再详述。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种基于计算机视觉的多属性识别方法，其特征在于，包括：

对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型；其中，预先训练数据为包含预设种类属性且标注好属性信息的训练数据；所述预设训练数据为图像或图片，所述属性为所述预设训练数据具有的属性；

获取待识别样本的特征数据；其中，所述待识别样本为图像或图片；

利用所述字典矩阵对所述特征数据进行编码，得到编码系数；

利用所述系数转化矩阵将所述编码系数转化为属性向量；

利用所述属性向量对所述待识别样本进行多属性识别；

其中，所述对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型，包括：

利用如下的目标函数对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型：

其中，D为字典矩阵、W为系数转化矩阵、S为对应的编码系数，λ为系数的L2-norm约束因子；α为预设参数，为正值，大小可调；F为矩阵范数的记号；X为预设训练数据的特征矩阵，A为预设训练数据的属性矩阵，A中的每一列代表一个图形样本的属性向量，a_i,j为A第i列第j行的元素，

2.根据权利要求1所述的方法，其特征在于，所述利用所述字典矩阵对所述特征数据进行编码，得到编码系数，包括：

利用所述字典矩阵根据如下公式对所述特征数据进行编码，得到编码系数：

其中，x为待识别样本的特征数据，s为与所述待识别样本的特征数据对应的编码系数。

3.根据权利要求2所述的方法，其特征在于，所述利用所述系数转化矩阵将所述编码系数转化为属性向量，包括：

利用所述系数转化矩阵根据如下公式将所述编码系数转化为属性向量：

a＝Ws.

其中，a为待识别样本的属性向量。

4.根据权利要求3所述的方法，其特征在于，所述利用所述属性向量对所述待识别样本进行多属性识别，包括：

通过所述属性向量确定所述待识别样本是否包含某一属性：

其中，a_i为所述属性向量的第i个元素，若a_i大于预设阈值，则所述待识别样本包含第i个属性，否则所述待识别样本不包含第i个属性。

5.一种基于计算机视觉的多属性识别装置，其特征在于，包括：

字典学习模块，用于对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型；其中，预先训练数据为包含预设种类属性且标注好属性信息的训练数据；所述预设训练数据为图像或图片，所述属性为所述预设训练数据具有的属性；

特征获取模块，用于获取待识别样本的特征数据；其中，所述待识别样本为图像或图片；

编码模块，用于利用所述字典矩阵对所述特征数据进行编码，得到编码系数；

系数转化模块，用于利用所述系数转化矩阵将所述编码系数转化为属性向量；

属性识别模块，用于利用所述属性向量对所述待识别样本进行多属性识别；

其中，所述字典学习模块具体用于：

利用如下的目标函数对预设训练数据进行字典学习，得到包括字典矩阵和系数转化矩阵的属性识别模型：

其中，D为字典矩阵、W为系数转化矩阵、S为对应的编码系数，λ为系数的L2-norm约束因子；α为预设参数，为正值，大小可调；F为矩阵范数的记号；X为预设训练数据的特征矩阵，A为预设训练数据的属性矩阵，A中的每一列代表一个图形样本的属性向量，a_i,j为A第i列第j行的元素，

6.根据权利要求5所述的装置，其特征在于，所述编码模块具体用于：

利用所述字典矩阵根据如下公式对所述特征数据进行编码，得到编码系数：

其中，x为待识别样本的特征数据，s为与所述待识别样本的特征数据对应的编码系数。

7.根据权利要求6所述的装置，其特征在于，所述系数转化模块具体用于：

利用所述系数转化矩阵根据如下公式将所述编码系数转化为属性向量：

a＝Ws.

其中，a为待识别样本的属性向量。

8.根据权利要求7所述的装置，其特征在于，所述属性识别模块具体用于：

通过所述属性向量确定所述待识别样本是否包含某一属性：

其中，a_i为所述属性向量的第i个元素，若a_i大于预设阈值，则所述待识别样本包含第i个属性，否则所述待识别样本不包含第i个属性。