CN106203313B - 一种基于图像内容的服装分类和推荐方法 - Google Patents

Abstract

本发明涉及一种基于图像内容的服装分类和推荐方法，属计算机视觉技术领域。本发明包括对建立的人脸图像集合训练分类模型及构建服装推荐的依据；对需要进行服装推荐的人脸图像进行服装推荐。本发明这种基于图像内容的服装分类和推荐方法为服装推荐提供了高准确性、高效率和高个性化的方法。通过引入四季色彩理论可以满足用户更高的个性化需求；数据集的分类及处理可以为服装推荐计算提高效率；评分模块的加入可以将服装推荐计算方法根据单个用户进一步进行优化，满足了用户个性化的需求，该方法使得服装推荐的准确性随着使用次数的增加而增加。

Description

一种基于图像内容的服装分类和推荐方法

技术领域

本发明涉及一种基于图像内容的服装分类和推荐方法，属计算机视觉技术领域。

背景技术

当前技术可根据用户多方面的需求向其推荐服装，但还缺乏准确性。缺乏准确性的原因包括服装的日渐多样化和该领域技术的不成熟。目前，很多推荐系统只考虑推荐适合特殊着装准则的服装搭配。Liu(<ACM international conference>,2012)提出基于统一的潜SVM框架学习服装推荐模型的“魔法衣橱”系统。这个潜在模型由四方面组成：1)视觉特征对属性、2)视觉特征对场景、3)属性对场景、4)属性对属性。前三项是属于服装与场景的联系，最后一项是属于服装对服装的联系。将上述规则植入潜在的支持向量机(SVM)模型中，可以保证所推荐的服装符合用户及满足大众审美要求。Iwata(<ArtificialIntelligence Volume>,2011)等人提出利用时尚杂志上的全身照，推荐配套服装的推荐系统。方法中用一个主题模型去学习配套服装的信息，包括时尚物品之间的本质关系。此外，还提出了一个用于主题模型的配套推荐方法。Shen(<Intelligent user interfaces>,2007)等人介绍了一种基于方案导向推荐的服装推荐方法，并在此基础上实现了一个时尚服装推荐系统解决了“用户要穿什么？”的问题。用户可以用自然的语言描述它们所想要穿衣服的场合、风格等，而后系统将会为他们推荐出适合的服装。如果客户满意系统所推荐的服装，可以保留供以后使用。挑选出来的服装还可作为此用户在该场合的服装推荐。Yu(<ACM transactionsongraphics>,2012)等人提出了一种基于概率模型和着装准则的服装推荐系统，这个模型用服装图像集作为训练集，通过贝叶斯网络方法以及最优价值函数来获得所推荐的服装，这个价值函数用来最大化服装匹配颜色和着装准则。系统可以适用于常见的四种场合：休闲场合、运动场合、商务休闲场合和正式场合。

发明内容

本发明提供了一种基于图像内容的服装分类和推荐方法，以用于有效地分析、分类不同的人物特征，并为其推荐个性化的服装，从而满足其个性化服装推荐的需求。

本发明的技术方案是：一种基于图像内容的服装分类和推荐方法，包括对建立的人脸图像集合训练分类模型及构建服装推荐的依据；对需要进行服装推荐的人脸图像进行服装推荐。

所述对建立的人脸图像集合训练分类模型及构建服装推荐的依据包括：

对建立的人脸图像集合A＝{A_i,i＝1,...,n}中的图像根据四季色彩理论分为四类，分别对每类图像中每一个人脸图像的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，并将颜色数据的格式转换为HSV格式，接着对转换为HSV格式的发色、肤色和瞳色的颜色数据采用支持向量机进行训练，得到训练好的模型；

分别对服装图像集合D＝{D_j,j＝1,...,m}中的每一个图像人工添加释文标签，接着将图像集合中的每一个图像及其对应的释文标签储存到服装数据集中，作为后期服装推荐的依据；其中，释文标签包括颜色标签L₁和风格标签L₂，颜色标签L₁的格式为HSV格式，风格标签L₂包括11类：百搭、淑女、日韩、简约欧美、英伦学院、通勤、中性、田园森女、街头朋克、甜美洛丽塔和民族。

所述对需要进行服装推荐的人脸图像B进行服装推荐包括：

Step1、对输入的需要进行服装推荐的人脸图像B的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，并将颜色数据的格式转换为HSV格式；

将训练好的模型对需要进行服装推荐的人脸图像B转换为HSV格式的发色、肤色和瞳色的颜色数据进行分类，得到输入的需要进行服装推荐的人脸图像B所属的色彩季节P，并根据所属的色彩季节P得出对应的色彩区间C；其中，色彩季节S分为春季P₁、夏季P₂、秋季P₃、冬季P₄；

Step2、根据需要进行服装推荐的人脸图像B对应的色彩区间C及用户选择的风格标签，从得到的服装数据集中为需要进行服装推荐的人脸图像B所代表的用户推荐服装；

Step3、让需要进行服装推荐的人脸图像B所代表的用户对步骤Step2.2中推荐的服装进行评分，将评分后图像放入推荐图像集E中；E包括用户信息、用户评分的图像及图像的评分；

Step4、如果需要进行服装推荐的人脸图像B所代表的用户是第一次进行服装推荐，则结束；否则，对步骤Step2中推荐的服装根据推荐图像集E中图像的评分高低重新进行推荐。

本发明的有益效果是：

1、在普通服装推荐的基础上加入了个人四季色彩理论的知识，可以根据用户的肤色、发色和瞳色进行分类，使其所推荐的服装具有较高的针对性，避免了推荐结果与用户肤色等不协调的现象发生，实现了服装推荐的个性化需求，增加了服装推荐的准确性。

2、在前期的数据集准备过程当中，将数据集进行分类并添加标签，按照风格和颜色进行分类。数据集的准备工作有益于后期对用户进行服装推荐，并且前期对服装图像进行准确的分类有益于后期服装推荐计算时的效率，缩短计算时间，提高整个系统的效率。

3、系统在普通服装推荐方法的基础上增加了评分模块，该模块可以使用户对所推荐的服装结果进行选择和评价，系统再根据用户的评分进行分析和推荐结果优化。评分的分析有益于后期系统对同一用户的喜好有更进一步的了解，对该用户的推荐也会进行进一步个性化的优化。

总之，这种基于图像内容的服装分类和推荐方法为服装推荐提供了高准确性、高效率和高个性化的方法。通过引入四季色彩理论可以满足用户更高的个性化需求；数据集的分类及处理可以为服装推荐计算提高效率；评分模块的加入可以将服装推荐计算方法根据单个用户进一步进行优化，满足了用户个性化的需求，该方法使得服装推荐的准确性随着使用次数的增加而增加。

附图说明

图1为本发明中的流程图；

图2为本发明中部分色彩季节判断训练数据示例；

图3为本发明中风格标签标注示例图；

图4为本发明中3名用户经过一次评分后的推荐图像集E；

图5为本发明中4位用户进行服装推荐的示例对比图；

图6为本发明中用户评价次数与服装推荐结果满意度之间的关系图。

具体实施方式

实施例1：如图1-6所示，一种基于图像内容的服装分类和推荐方法，包括对建立的人脸图像集合训练分类模型及构建服装推荐的依据；对需要进行服装推荐的人脸图像进行服装推荐。

所述对建立的人脸图像集合训练分类模型及构建服装推荐的依据包括：

对建立的人脸图像集合A＝{A_i,i＝1,...,n}中的图像根据四季色彩理论分为四类，分别对每类图像中每一个人脸图像的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，并将颜色数据的格式转换为HSV格式，接着对转换为HSV格式的发色、肤色和瞳色的颜色数据采用支持向量机进行训练，得到训练好的模型；

分别对服装图像集合D＝{D_j,j＝1,...,m}中的每一个图像人工添加释文标签，接着将图像集合中的每一个图像及其对应的释文标签储存到服装数据集中，作为后期服装推荐的依据；其中，释文标签包括颜色标签L₁和风格标签L₂，颜色标签L₁的格式为HSV格式，风格标签L₂包括11类：百搭、淑女、日韩、简约欧美、英伦学院、通勤、中性、田园森女、街头朋克、甜美洛丽塔和民族。

所述对需要进行服装推荐的人脸图像B进行服装推荐包括：

Step1、对输入的需要进行服装推荐的人脸图像B的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，并将颜色数据的格式转换为HSV格式；

将训练好的模型对需要进行服装推荐的人脸图像B转换为HSV格式的发色、肤色和瞳色的颜色数据进行分类，得到输入的需要进行服装推荐的人脸图像B所属的色彩季节P，并根据所属的色彩季节P得出对应的色彩区间C；其中，色彩季节S分为春季P₁、夏季P₂、秋季P₃、冬季P₄；

Step2、根据需要进行服装推荐的人脸图像B对应的色彩区间C及用户选择的风格标签，从得到的服装数据集中为需要进行服装推荐的人脸图像B所代表的用户推荐服装；

Step3、让需要进行服装推荐的人脸图像B所代表的用户对步骤Step2.2中推荐的服装进行评分，将评分后图像放入推荐图像集E中；E包括用户信息、用户评分的图像及图像的评分；

Step4、如果需要进行服装推荐的人脸图像B所代表的用户是第一次进行服装推荐，则结束；否则，对步骤Step2中推荐的服装根据推荐图像集E中图像的评分高低重新进行推荐。

实施例2：如图1-6所示，一种基于图像内容的服装分类和推荐方法，包括对建立的人脸图像集合训练分类模型及构建服装推荐的依据；对需要进行服装推荐的人脸图像进行服装推荐。

所述对建立的人脸图像集合训练分类模型及构建服装推荐的依据包括：

对建立的人脸图像集合A＝{A_i,i＝1,...,n}中的图像根据四季色彩理论分为四类，分别对每类图像中每一个人脸图像的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，并将颜色数据的格式转换为HSV格式，接着对转换为HSV格式的发色、肤色和瞳色的颜色数据采用支持向量机进行训练，得到训练好的模型；

分别对服装图像集合D＝{D_j,j＝1,...,m}中的每一个图像人工添加释文标签，接着将图像集合中的每一个图像及其对应的释文标签储存到服装数据集中，作为后期服装推荐的依据；其中，释文标签包括颜色标签L₁和风格标签L₂，颜色标签L₁的格式为HSV格式，风格标签L₂包括11类：百搭、淑女、日韩、简约欧美、英伦学院、通勤、中性、田园森女、街头朋克、甜美洛丽塔和民族。

实施例3：如图1-6所示，一种基于图像内容的服装分类和推荐方法，包括对建立的人脸图像集合训练分类模型及构建服装推荐的依据；对需要进行服装推荐的人脸图像进行服装推荐。

实施例4：如图1-6所示，一种基于图像内容的服装分类和推荐方法，包括对建立的人脸图像集合训练分类模型及构建服装推荐的依据；对需要进行服装推荐的人脸图像进行服装推荐。

Step1、对建立的人脸图像集合训练分类模型及构建服装推荐的依据：

对建立的人脸图像集合A＝{A_i,i＝1,...,n}中的图像根据四季色彩理论分为四类，分别对每类图像中每一个人脸图像的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，并将颜色数据的格式转换为HSV格式，接着对转换为HSV格式的发色、肤色和瞳色的颜色数据采用支持向量机进行训练，得到训练好的模型。在该实验中，我们根据50组颜色数据作为训练数据对模型进行分类训练。我们共为30组颜色数据作为测试数据进行色彩季节判断，图2为部分色彩季节判断训练数据示例。

表1为部分色彩季节判断测试数据的测试结果示例，包括颜色提取后的颜色数据，预测色彩季节predict_label和实际色彩季节test_label，其中颜色数据用HSV格式表示，其中H取值范围为(0°～360°)，S取值范围为(0～100)，V取值范围为(0～100)。predict_label为正确的季节分类(0,1,2,3分别代表春、夏、秋、冬四季的色彩季节分类结果)，test_label代表通过支持向量机分类方法所判断出的色彩季节分类结果。我们提出的按照HSV的颜色格式对人脸图像进行色彩季节分类，大幅度提高了判断的准确率。

表1

分别对服装图像集合D＝{D_j,j＝1,...,m}中的每一个图像人工添加释文标签，接着将图像集合中的每一个图像及其对应的释文标签储存到服装数据集中，作为后期服装推荐的依据；其中，释文标签包括颜色标签L₁和风格标签L₂，颜色标签L₁的格式为HSV格式，颜色标签是指该服装图像中的主要色彩，如：(186,135,111)，并进行多点提取。风格标签L₂包括11类：百搭、淑女、日韩、简约欧美、英伦学院、通勤、中性、田园森女、街头朋克、甜美洛丽塔和民族。以民族风和英伦学院风为例，风格标签的标注如图3所示；

Step2、对需要进行服装推荐的人脸图像B进行服装推荐：

Step2.1、对输入的需要进行服装推荐的人脸图像B的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，并将颜色数据的格式转换为HSV格式，处理后的肤色、发色和瞳色颜色数据分别用T₁、T₂和T₃表示；

如表2所示，对需要进行服装推荐的人脸图像B的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，分别用T₁、T₂和T₃表示，而每个颜色数据都包括三个值H、S、V。

表2

将训练好的模型对需要进行服装推荐的人脸图像B转换为HSV格式的发色、肤色和瞳色的颜色数据进行分类，得到输入的需要进行服装推荐的人脸图像B所属的色彩季节P，并根据所属的色彩季节P得出对应的色彩区间C；其中，色彩季节S分为春季P₁、夏季P₂、秋季P₃、冬季P₄；

Step2.2、根据需要进行服装推荐的人脸图像B对应的色彩区间C及用户选择的风格标签，从步骤Step1中得到的服装数据集中为需要进行服装推荐的人脸图像B所代表的用户推荐服装；(当风格标签确定后，对于服装数据集中颜色标签的数据属于B对应的色彩区间C内，则进行推荐)

Step2.3、让需要进行服装推荐的人脸图像B所代表的用户对步骤Step2.2中推荐的服装进行评分，评分范围为(0～5分，0分为最不满意，5分为最满意)，将评分后图像放入推荐图像集E中；E包括用户信息、用户评分的图像及图像的评分。

图4为3名用户经过一次评分后的推荐图像集E。从图4中可以看出用户1对于绿色有特殊偏好，因此在几次使用该服装推荐方法进行服装推荐过程中，对推荐服装评分步骤中对绿色都有较高的评分。同样，用户2则更喜好浅颜色的服装，因此在评分中对浅颜色的服装有较高的评分。用户3则更偏好暗红色。因此在同一用户未来使用该推荐方法推荐服装时，该方法将根据推荐图像集E中该用户在同样风格标签下对各推荐结果的评分向用户进行服装推荐。

Step2.4、如果需要进行服装推荐的人脸图像B所代表的用户是第一次进行服装推荐，则结束；否则，对步骤Step2.2中推荐的服装根据推荐图像集E中图像的评分高低重新进行推荐。图5为4位用户进行服装推荐的示例对比图，以英伦学院风和通勤风格为例。用户1、用户2和用户3在用户偏好数据集中拥有各自的偏好数据，该方法将根据用户偏好数据集中该用户在同样风格标签下所偏好的颜色偏好数据对用户进行最接近该偏好的服装。用户4为首次使用该推荐方法，因此在用户偏好数据集中没有该用户的偏好数据，该方法仅根据该用户的适用色彩区间C向该用户进行服装推荐。

为了验证用户评价次数与用户对推荐结果满意度之间的关系，我们设定了以下实验。我们通过该推荐方法为3位同学进行服装推荐，每位同学对其中六种风格的5个预推荐结果分别进行10轮评分，并且在每一轮评分后对再次推荐的服装进行满意度调查。实验所得到的用户评价次数与服装推荐结果满意度之间的关系如图6所示。通过实验结果图表可以看出，在用户对推荐结果进行4次以下的评分后所得到的服装推荐结果满意度有大幅度提高，之后随着用户评价次数的增加，用户满意度逐渐收敛。因此，通过实验我们得知，当用户对推荐结果进行2～3轮的用户评价后，随着该用户推荐图像集E中数据的增加，该用户能够对系统的服装推荐结果拥有较高的满意度，满足该用户的个性化需求。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (1)

1.一种基于图像内容的服装分类和推荐方法，其特征在于：包括对建立的人脸图像集合训练分类模型及构建服装推荐的依据；对需要进行服装推荐的人脸图像进行服装推荐；

所述对建立的人脸图像集合训练分类模型及构建服装推荐的依据包括：

对建立的人脸图像集合A＝{A_i,i＝1,...,n}中的图像根据四季色彩理论分为四类，分别对每类图像中每一个人脸图像的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，并将颜色数据的格式转换为HSV格式，接着对转换为HSV格式的发色、肤色和瞳色的颜色数据采用支持向量机进行训练，得到训练好的模型；

分别对服装图像集合D＝{D_j,j＝1,...,m}中的每一个图像人工添加释文标签，接着将图像集合中的每一个图像及其对应的释文标签储存到服装数据集中，作为后期服装推荐的依据；其中，释文标签包括颜色标签L₁和风格标签L₂，颜色标签L₁的格式为HSV格式，风格标签L₂包括11类：百搭、淑女、日韩、简约欧美、英伦学院、通勤、中性、田园森女、街头朋克、甜美洛丽塔和民族；

所述对需要进行服装推荐的人脸图像B进行服装推荐包括：

Step1、对输入的需要进行服装推荐的人脸图像B的皮肤、头发和瞳孔三个位置进行颜色提取，得到发色、肤色和瞳色的颜色数据，并将颜色数据的格式转换为HSV格式；

将训练好的模型对需要进行服装推荐的人脸图像B转换为HSV格式的发色、肤色和瞳色的颜色数据进行分类，得到输入的需要进行服装推荐的人脸图像B所属的色彩季节P，并根据所属的色彩季节P得出对应的色彩区间C；其中，色彩季节S分为春季P₁、夏季P₂、秋季P₃、冬季P₄；

Step2、根据需要进行服装推荐的人脸图像B对应的色彩区间C及用户选择的风格标签，从得到的服装数据集中为需要进行服装推荐的人脸图像B所代表的用户推荐服装；

Step3、让需要进行服装推荐的人脸图像B所代表的用户对步骤Step2.2中推荐的服装进行评分，将评分后图像放入推荐图像集E中；E包括用户信息、用户评分的图像及图像的评分；

Step4、如果需要进行服装推荐的人脸图像B所代表的用户是第一次进行服装推荐，则结束；否则，对步骤Step2中推荐的服装根据推荐图像集E中图像的评分高低重新进行推荐。