CN113487619A - 一种数据处理方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、设备及介质，用于现有试衣镜获取待处理图像中包含服装对应的分割区域不准确，影响后续确定该待处理图像中包含的服装的搭配方案的问题。由于本申请通过服装检测模型，获取待处理图像中包含服装的检测区域，将待处理图像中没有包含服装的大部分背景区域过滤，减少背景区域对后续通过语义分割模型，获取分割区域的干扰，提高了获取待处理图像中包含服装的分割区域的准确性，有利于后续确定该待处理图像中包含的服装的搭配方案。

Description

一种数据处理方法、装置、设备及介质

技术领域

本申请涉及智能家居设备技术领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

随着人们生活水平的提高，人们对服装的要求也越来越高，在面对各式各样的服装时，人们的选择性变大，从而无法对各式各样的服装进行有效的搭配。例如，用户想购买服装和现有服装搭配，但不知道要购买的服装是否适合自己，也不知道要购买的服装和现有服装搭配起来效果好不好，搭配能力不高。目前，市面上推出了可以将用户输入的服装图像中的服装进行属性分析的试衣镜，该试衣镜根据该服装的属性，从而确定该服装的目标搭配方案。其中，将用户衣柜中的服装录入到试衣镜中并显示，是后续确定用户衣柜中的服装的目标搭配方案的重要前提。因此，如何将服装录入到试衣镜中是人们近几年来比较关注的问题。

相关技术中，智能试衣镜在获取到待处理图像之后，通过预先训练完成的语义分割网络，直接获取该待处理图像中包含的服装对应的分割区域，该分割区域为包含有该服装上的像素点的区域。但该方法在进行语义分割过程中，由于该待处理图像的拍摄环境、拍摄角度、拍摄距离、拍摄光线等复杂多变，会使得在对待处理图像中进行语义分割时，获取的该待处理图像中包含服装对应的分割区域不准确，从而影响后续确定该待处理图像中包含的服装的搭配方案。

发明内容

本申请提供了一种数据处理方法、装置、设备及介质，用于现有试衣镜获取待处理图像中包含服装对应的分割区域不准确，影响后续确定该待处理图像中包含的服装的搭配方案的问题。

第一方面，本申请提供了一种数据处理方法，所述方法包括：

通过服装检测网络，获取待处理图像中包含服装的检测区域，所述服装为上装、下装和全身装中的至少一种；

通过属性识别网络，确定所述检测区域中所述服装的属性信息；并通过语义分割网络，获取所述检测区域中包含有所述服装上的像素点的分割区域；对应保存所述属性信息以及所述分割区域。

第二方面，本申请还提供了一种数据处理装置，所述装置包括：

获取模块，用于通过服装检测网络，获取待处理图像中包含服装的检测区域，所述服装为上装、下装和全身装中的至少一种；

处理模块，用于通过属性识别网络，确定所述检测区域中所述服装的属性信息；并通过语义分割网络，获取所述检测区域中包含有所述服装上的像素点的分割区域；对应保存所述属性信息以及所述分割区域。

第三方面，本申请还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述所述数据处理方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述数据处理方法的步骤。

由于本申请通过服装检测模型，获取待处理图像中包含服装的检测区域，将待处理图像中没有包含服装的大部分背景区域过滤，减少背景区域对后续通过语义分割模型，获取分割区域的干扰，提高了获取待处理图像中包含服装的分割区域的准确性，有利于后续确定该待处理图像中包含的服装的搭配方案。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一些实施例提供的一种数据处理过程示意图；

图2为本申请一些实施例提供的每种属性信息示意图；

图3为本申请一些实施例提供的一种基于SENet网络获取到样本检测区域中包含的服装的识别属性信息的示意图；

图4为本申请一些实施例提供的一种基于YOLO Nano网络获取到样本图像中包含服装的识别检测区域的示意图；

图5为本申请一些实施例提供的具体的数据处理流程示意图；

图6为本申请一些实施例提供的一种基于Deeplabv3网络获取到样本检测区域中包含有服装上的像素点的识别分割区域的示意图；

图7为本申请一些实施例提供的对应保存属性信息以及分割区域的示意图；

图8为本申请一些实施例提供的一种服装信息的录入过程示意图；

图9为本申请一些实施例提供的一种数据处理装置的结构示意图；

图10为本申请一些实施例提供的一种试衣镜的结构示意图；

图11为本申请一些实施例提供的一种电子设备结构示意图。

具体实施方式

为了提高获取待处理图像中包含的每种类型的服装对应的分割区域的准确性，本申请提供了一种数据处理方法、装置、设备及介质。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图本申请作进一步地详细描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在实际应用过程中，当用户希望将衣柜中的服装信息录入到电子设备中时，用户可以通过操作电子设备的显示屏上的服装录入的图标，或对电子设备输入服装录入的语音信息，以控制电子设备的摄像头采集待处理图像，电子设备基于该待处理图像进行相应的处理，以实现服装信息的录入；也可以是用户通过操作智能设备的显示屏上的服装录入的图标，或对智能设备输入服装录入的语音信息，以使智能设备将采集的待处理图像发送至电子设备，以便电子设备对该待处理图像进行处理，从而实现服装信息的录入。

图1为本申请一些实施例提供的一种数据处理过程示意图，该过程包括：

S101：通过服装检测网络，获取待处理图像中包含服装的检测区域，所述服装为上装、下装和全身装中的至少一种。

本申请提供的数据处理方法应用于电子设备，该电子设备可以是试衣镜、智能手机等设备，也可以是服务器。

在本申请中，电子设备获取的待处理图像，可以是自身的摄像头采集的，也可以是其他智能设备发送的待处理图像。当电子设备获取到待处理图像之后，基于本申请提供的数据处理方法，对该待处理图像进行相应的处理。

由于在实际应用场景中，受拍摄环境、拍摄角度、拍摄距离、拍摄光线等因素的影响，电子设备获取到的待处理图像中的大部分区域为没有包含服装的背景区域，该背景区域会影响电子设备获取待处理图像中包含服装的分割区域的准确度。因此，为了提高获取待处理图像中包含服装的分割区域的准确性，在本申请中，预先训练有服装检测网络。当电子设备接收到待处理图像之后，通过本地保存的服装检测网络，获取待处理图像中包含服装的检测区域的位置信息，根据该检测区域对应的位置信息，确定包含待处理图像中包含服装的检测区域，从而将待处理图像中没有包含服装的大部分背景区域过滤。

其中，待处理图像中包含的服装为卫衣、衬衫、棉袄等上装，如半身裙、裤子等下装、以及如连衣裙、连体裤等全身装中的至少一种。

需要说明的是，待处理图像中可能既包含有上装又包含有下装，则通过服装检测网络，可以分别获取待处理图像中包含上装的检测区域以及包含下装的检测区域。

S102：通过属性识别网络，确定所述检测区域中所述服装的属性信息；并通过语义分割网络，获取所述检测区域中包含有所述服装上的像素点的分割区域；对应保存所述属性信息以及所述分割区域。

为了实现服装信息的录入，在本申请中，预先训练有属性识别网络以及语义分割网络。当基于上述实施例获取到待处理图像中包含服装的检测区域之后，电子设备可以通过本地保存的属性识别网络以及语义分割网络，对该检测区域进行后续的处理，以实现服装信息的录入。

在本申请中，为了方便说明，以待处理图像中只包含有一种服装的检测区域为例，电子设备通过本地保存的属性识别网络，确定该检测区域中包含服装的属性信息，比如，领形、下摆、类型、口袋等属性信息。同时，电子设备还通过本地保存的语义分割网络，比如，deeplabv3网络等，获取该检测区域中包含有服装上的像素点的分割区域，比如，包含有位于上装的服装上的像素点的分割区域，包含有位于下装的服装上的像素点的分割区域。当获取到该检测区域的分割区域以及对应的属性信息之后，对应保存该属性信息以及该分割区域。

其中，语义分割网络的训练过程属于现有技术，在此不再赘述。

由于本申请通过服装检测模型，获取待处理图像中包含服装的检测区域，将待处理图像中没有包含服装的大部分背景区域过滤，减少背景区域对后续通过语义分割模型，获取分割区域的干扰，提高了获取待处理图像中包含服装的分割区域的准确性，有利于后续确定该待处理图像中包含的服装的搭配方案。

为了提高后续确定待处理图像中包含的服装的搭配方案的多样性，并提高用户体验，在上述实施例的基础上，在本申请中，所述属性信息包括：服装类别、服装颜色、服装纹理、服装领形、服装袖型、服装袖长、服装裤长、服装裙型、服装裤型、服装面料中的至少一个。

在实际应用场景下，电子设备后续确定服装的搭配方案的过程中，是基于服装的属性信息确定的，而一个服装的属性信息越多，确定的搭配方案也就越多，可以让用户充分考虑自己的实际需求，选择满意的搭配方案，从而提高用户的体验。因此，为了提高后续确定搭配方案的多样性，并提高用户体验，在本申请中，电子设备通过预先训练完成的属性识别网络，确定的属性信息，包括服装类别、服装颜色、服装纹理、服装领形、服装袖型、服装袖长、服装裤长、服装裙型、服装裤型、服装面料中的至少一个，比如，深色、印花、圆领、长袖、卫衣。

例如，图2为本申请一些实施例提供的每种属性信息示意图。如图2所示，服装类别包括：衬衫、T恤、卫衣、风衣、polo、毛衣、毛呢大衣、羽绒服、棉衣、背心马甲、西服、雪纺衫、马甲、短外套、棉衣、羽绒服、西服、皮草、吊带、连衣裙、半身裙、牛仔裤、休闲裤、运动裤、西裤、工装裤、百褶裙、背带裤；服装颜色包括：红、橘、黄、绿、蓝、紫、灰、黑、白、棕、粉、黑蓝、黑灰、淡蓝、混色；服装纹理包括：横纹，竖纹、格子、印花、斑点、图案、朴素；服装领形包括：V领、圆领、荷叶领、立领、衬衫领、飞行员领；服装袖型包括：灯笼袖、收口袖、蝙蝠袖、荷叶袖、泡泡袖；服装袖长包括：无袖、短、中、长；服装裤长包括：短、七分、九分、长；服装裙型包括：包臀、A字裙、直筒裙；服装裤型包括：直筒、铅笔裤、灯笼裤、喇叭裤；服装面料包括：褶、皱、平。

而为了可以通过属性识别网络，确定服装的属性信息，在本申请中，要预先专门训练属性识别网络，以使属性识别网络可以输出上述的属性信息。具体的，所述属性识别网络通过如下方式训练：

获取第一样本集中任一包含有服装的样本检测区域，所述样本检测区域对应的样本属性信息；

通过原始属性识别网络，确定所述样本检测区域中包含的服装的识别属性信息；

根据所述识别属性信息、以及所述样本属性信息，对所述原始属性识别网络进行训练。

为了可以通过属性识别网络，获取的属性信息尽可能的多，在本申请中，可以根据预先获取的第一样本集中的每个包含有服装的样本检测区域，及其对应的样本属性信息，对原始属性识别网络进行训练，该属性识别网络比如可以是SENet等网络。其中，该第一样本集中包含多个样本检测区域，每个样本检测区域可以对应有多个样本属性信息，比如，样本检测区域1对应的每个样本属性信息为衬衫、格子、白、衬衫领，样本检测区域2对应的每个样本属性信息为连衣裙、印花、混色、包臀等。

此外，为了增加样本检测区域的多样性和鲁棒性，包含同一件服装的样本检测区域中该服装的拍摄角度是不同的，比如包含卫衣A的正面的样本检测区域、包含卫衣A的向右15度的右侧面的样本检测区域、包含卫衣A的向左15度的左侧面的样本检测区域等。

需要说明的是，该训练属性识别网络的设备可以与后续进行数据处理的电子设备相同，也可以不同。

通过原始属性识别网络，可以识别上述样本检测区域中包含的服装的识别属性信息。图3为本申请一些实施例提供的一种基于SENet网络获取到样本检测区域中包含的服装的识别属性信息的示意图。参见图3，通过本地保存的原始属性识别网络，即SENet网络，获取样本检测区域中的上装的服装的识别属性信息分别为黑色、印花、长袖、圆领、卫衣；通过本地保存的原始属性识别网络，获取样本检测区域中下装的服装的识别属性信息分别为蓝色、直筒、长、牛仔裤。根据该识别属性信息、以及样本属性信息，对所述原始属性识别网络进行训练，以调整原始属性识别网络的各参数的参数值。

比如，样本检测区域1对应的样本属性信息为衬衫、格子、白、衬衫领，通过原始属性识别网络，识别该样本检测区域1对应的识别属性信息为卫衣、格子、白、飞机领，该识别属性信息与对应的样本属性信息不一致，确定该样本检测区域1的属性信息被原始属性识别网络误识别。

对原始属性识别网络训练的第一样本集中包含大量的样本检测区域，对每个样本检测区域都进行上述操作，当满足预设的收敛条件时，该原始属性识别网络训练完成。

其中，满足预设的收敛条件可以为第一样本集中的样本检测区域通过该原始属性识别网络，被正确识别的样本检测区域的个数大于设定数量，或对原始属性识别网络进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。

在一种可能的实施方式中，在对原始属性识别网络进行训练时，可以把第一样本集中的包含有服装的样本检测区域分为训练样本检测区域和测试样本检测区域，先基于训练样本检测区域对原始属性识别网络进行训练，再基于测试样本检测区域对上述已训练的属性识别网络的可靠程度进行验证。

为了准确地将待处理图像中没有包含服装的大部分背景区域过滤，在上述各实施例的基础上，在本申请中，所述服装检测网络通过如下方式训练：

获取第二样本集中任一包含有服装的样本图像，其中，所述样本图像对应有包含服装的样本检测区域的样本位置信息；

通过原始服装检测网络，确定所述样本图像中包含服装的识别检测区域的识别位置信息；

根据所述识别位置信息、以及所述样本位置信息，对所述原始服装检测网络进行训练。

为了可以准确地将待处理图像中没有包含服装的大部分背景区域过滤，在本申请中，可以根据预先获取的第二样本集中的每个包含有服装的样本图像及其包含的服装的样本检测区域的样本位置信息，对原始服装检测网络进行训练，该服装检测网络比如可以是YOLO Nano等网络。其中，该第二样本集中包含多个样本图像，每个样本图像对应有其中包含服装的样本检测区域的样本位置信息，比如，样本图像a对应有包含服装的样本检测区域的样本位置信息为(30,75)、(50、105)、(45,108)和(70、190)等。

其中，该样本位置信息可以是样本图像中包含对应类型的服装的样本检测区域的设定位置处像素点的坐标值，比如，样本检测区域左上角的像素点的坐标值和样本检测区域右下角的像素点的坐标值，该样本检测区域可以为矩形、圆形等，在本申请中，该样本检测区域为矩形。

此外，为了增加样本图像的多样性和鲁棒性，包含同一件服装的样本图像中该服装的拍摄角度和大小是不同的，比如卫衣A的正面占据图像50％的区域的样本图像、卫衣A的向右15度的右侧面占据图像30％的区域的样本图像、包含卫衣A的向左15度的左侧面占据图像80％的区域的样本图像等。

需要说明的是，该训练服装检测网络的设备可以与后续进行数据处理的电子设备相同，也可以不同。

通过原始服装检测网络，可以识别上述样本图像中包含服装的识别检测区域的识别位置信息。图4为本申请一些实施例提供的一种基于YOLO Nano网络获取到样本图像中包含服装的识别检测区域的示意图。参见图4，通过本地保存的原始服装检测网络，获取样本图像中的上装的服装的识别检测区域，该识别检测区域的识别位置信息为(30,75)和(50、105)，即图4中包含上装的服装的识别检测区域的左上角像素点的识别位置信息，以及右下角像素点的识别位置信息；通过本地保存的原始服装检测网络，获取样本图像中下装的服装的识别检测区域，该识别检测区域的识别位置信息为(45,108)和(70、190)，即图3中包含下装的服装的识别检测区域的左上角像素点的识别位置信息，以及右下角像素点的识别位置信息。根据该样本图像对应的识别位置信息、以及样本位置信息，对所述原始服装检测网络进行训练，以调整原始服装检测网络的各参数的参数值。

比如，样本图像a中包含下装的服装的样本检测区域的样本位置信息为(45,108)和(70、190)，通过原始服装检测网络，识别该样本图像a包含下装的服装的识别检测区域的识别位置信息为(30,88)和(60、170)，该识别位置信息与对应的样本位置信息不一致，确定该样本图像a中包含下装的服装的样本检测区域被原始服装检测网络误识别。

对原始服装检测网络训练的第二样本集中包含大量的样本图像，对每个样本图像都进行上述操作，当满足预设的收敛条件时，该原始服装检测网络训练完成。

其中，满足预设的收敛条件可以为第二样本集中的样本图像通过该原始服装检测网络，被正确识别的样本图像的个数大于设定数量，或对原始服装检测网络进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。

需要说明的是，由于YOLO Nano是通过人机协作设计策略(human-machinecollaborative design)的方法进行网络构建，网络在准确率、模型大小和计算复杂度上提供了非常好的权衡，这种优势主要是通过人机协作的设计策略获得的，非常适合边缘和智能设备，且YOLO Nano模型的大小在4.0MB左右，比Tiny YOLOv2和Tiny YOLOv3分别小了15.1倍和8.3倍。在计算上需要4.57B次推断运算，比后两个网络分别少了34％和17％。在性能表现上，在VOC2007数据集取得了69.1％的mAP，准确率比后两者分别提升了12个点和10.7个点，因此，在本申请中，可采用YOLO Nano作为原始服装检测网络进行训练。

在一种可能的实施方式中，在进行原始服装检测网络训练时，可以把第二样本集中的包含有服装的样本图像分为训练样本图像和测试样本图像，先基于训练样本图像对原始服装检测网络进行训练，再基于测试样本图像对上述已训练的服装检测网络的可靠程度进行验证。

为了方便用户及时了解当前服装信息的录入情况，在上述各实施例的基础上，在本申请中，所述方法还包括：

将所述分割区域及其对应的属性信息对应显示在试衣镜的显示屏上。

当基于上述实施例，获取到待处理图像中包含服装的检测区域中包含有服装上的每个像素点的分割区域后，将该分割区域及其对应的属性信息对应显示在试衣镜的显示屏上，方便用户及时查看当前服装信息的录入情况。

具体的，若进行数据处理的电子设备为试衣镜，则直接将分割区域及其对应的属性信息对应显示在试衣镜的显示屏上；若进行数据处理的电子设备不为试衣镜，则将分割区域及其对应的属性信息发送给试衣镜，试衣镜根据接收到的分割区域及其对应的属性信息，对应显示在自身的显示屏上。

当试衣镜将分割区域以及对应的属性信息对应显示在自身的显示屏上之后，用户可以通过该试衣镜的显示屏，与该试衣镜进行交互，以控制试衣镜执行相应的功能。比如，控制试衣镜对用户已经录入服装信息的服装进行搭配，显示搭配方案、控制试衣镜从网络商城内搜索与当前保存的某一选定服装的搭配商品、控制试衣镜对当前的天气进行播报并显示等。

此外，在将用户的服装的分割区域以及对应的属性信息进行显示之前，可以先根据服装的类型或类别，对用户的服装进行分类管理，以便更好地在前端交互界面(即用户界面)展示管理用户的服装信息。比如，根据服装的类型上装、下装、全身装，对用户的服装分别进行管理，根据如衬衫、半身裙、裤子等服装的类别，对用户的服装分别进行管理。

当用户希望控制试衣镜对用户已经录入服装信息的服装进行搭配，显示搭配方案时，用户可以通过预设的触发操作对试衣镜的显示屏上显示的分割区域进行选择，具体的触发操作可以是点击、双击等交互操作选择显示屏上显示的分割区域的图标，也可以是通过输入语音指令选择显示屏上显示的分割区域，比如，输入的语音指令为“选择1号分割区域”。当前，上述两种触发操作的方式也可以结合，即既可以通过点击、双击等交互操作选择显示屏上显示的分割区域的图标，也可以通过输入语音指令来选择显示屏上显示的分割区域。

具体采用哪种触发操作的方式进行选择，可以根据用户的喜好，预先进行设置，或者可以根据试衣镜的能力进行选择，例如，一些试衣镜并没有可以采集语音信息的装置，则对于这些试衣镜，在用户通过触发操作选择目标分割区域时，可以通过点击、双击等交互操作选择显示屏上显示的分割区域的图标。

当试衣镜接收到用户对自身显示屏上显示的目标分割区域的触发操作后，若进行数据处理的电子设备为试衣镜，则直接基于该选择的目标分割区域，进行相应的处理，从而确定该目标分割区域对应的目标分割方案。若进行数据处理的电子设备不为试衣镜，则试衣镜生成对应的服装搭配控制指令并将该服装搭配控制指令发送给电子设备，电子设备根据接收到的服装搭配控制指令中携带用户选择的目标分割区域的信息，进行相应的处理，从而确定该目标分割区域对应的目标搭配方案，并将该目标搭配方案发送给试衣镜，以控制试衣镜的显示屏进行显示。具体的，所述方法还包括：

接收到对所述显示屏上显示的目标分割区域进行搭配的触发操作，确定所述目标分割区域对应的目标属性信息；

基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的目标搭配方案。

为了准确地确定目标分割区域的目标搭配方案，电子接收到对试衣镜的显示屏上显示的目标分割区域进行搭配的触发操作后，根据预先保存的每个分割区域及其对应的属性信息，确定该目标分割区域对应的目标属性信息。基于该目标分割区域的目标属性信息，以及预设的搭配规则，从而确定该目标分割区域对应的目标搭配方法，该目标搭配方法可以是一个，也可以是多个。

其中，预设的搭配规则可以是包含目标属性信息数量最多的其他类型的服装的分割区域，与该目标分割区域进行搭配，也可以预先保存有属性信息与风格的对应关系，确定目标属性信息对应的目标风格，将目标风格的其他类型的服装的分割区域，与该目标分割区域进行搭配等。具体的，预设的搭配规则有很多，但不局限于上述的两种。

由于不同的用户喜欢的穿衣风格可能会不同，如果只将目标分割区域对应的一个目标搭配方法推荐给用户，则很容易出现用户对当前的目标搭配方法不满意的情况，从而降低用户体验。因此，为了提高用户体验，在本申请中，可以将目标分割区域对应的多个搭配方案推荐给用户，增加用户选择搭配方案的了能性。但由于确定的该目标分割区域的搭配方案有很多，如果将每个搭配方案均推荐给用户的话，会使用户无法方便快捷的选择满意的，从而降低账户体验。因此，为了准确地确定目标分割区域对应的目标搭配方案，并提高用户体验，在本申请中，所述基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的目标搭配方案，包括：

基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的每个候选搭配方案的搭配分数；

将每个所述搭配分数，按照从大到小进行排序，将排序在前的设定数量的搭配分数所述对应的候选搭配方案，确定为所述目标分割区域对应的目标搭配方案。

当基于目标属性信息以及预设的搭配规则，确定目标分割区域对应的每个候选搭配方案之后，为了方便确定将哪些候选搭配方案作为目标搭配方案推荐给用户，在本申请中，可以确定目标分割区域对应的每个候选搭配方案的搭配分数，比如，根据其他类型的服装中包含的目标属性信息的数量，确定搭配分数等。根据每个候选搭配方案的搭配分数，将每个搭配分数从大到小进行排序，将排序在前的设定数量的搭配分数所对应的候选搭配方案，确定为目标分割区域对应的目标搭配方案。例如，假设该设定数量为3，目标检测区域对应的候选搭配方案分别为A、B、C、D、E，每个候选搭配方案分别对应的搭配分数为90、70、93、60、78，则根据每个候选搭配方案的搭配分数，按照从大到小进行排序，确定每个候选搭配方案的排位为C、A、E、B、D，将排序在前的三个的候选搭配方案C、A、E，确定为目标分割区域对应的目标搭配方案。

图5为本申请一些实施例提供的具体的数据处理流程示意图，以执行主体为服务器为例，该流程包括：

S501：第一服务器预先训练服装检测网络、属性识别网络以及语义分割网络。

其中，在训练语义分割网络时，可以获取第三样本集中任一样本检测区域，该样本检测区域中包含有服装上的像素点的样本分割区域的样本边界位置信息；

通过原始语义分割网络，获取该样本检测区域中包含有服装上的像素点的识别分割区域的识别边界位置信息；

根据样本边界位置信息以及对应的识别边界位置信息，对原始语义分割网络进行训练。

图6为本申请一些实施例提供的一种基于Deeplabv3网络获取到样本检测区域中包含有服装上的像素点的识别分割区域的示意图。参见图6，通过本地保存的原始语义分割网络，即原始Deeplabv3网络，分别获取到样本检测区域c中包含有上装的服装上的像素点的识别分割区域，以及样本检测区域d中包含有下装的服装上的像素点的识别分割区域。

其中，在进行网络训练的过程中，一般采用离线的方式，预先通过服务器分别对原始服装检测网络、原始属性识别网络以及原始语义分割网络进行训练，以获得训练完成的服装检测网络、属性识别网络以及语义分割网络。

当基于上述服务器训练完成的服装检测网络、属性识别网络以及语义分割网络之后，将上述训练完成的服装检测网络、属性识别网络以及语义分割网络保存到第二服务器中，通过第二服务器进行后续的数据处理过程，具体实现包括如下步骤：

S502：第二服务器获取待处理图像。

S503：第二服务器通过服装检测网络，获取待处理图像中包含服装的检测区域。

S504：第二服务器通过属性识别网络，确定该检测区域中包含的服装的属性信息；并通过语义分割网络，获取该检测区域中包含有服装上的像素点的分割区域；对应保存该属性信息以及该分割区域。

图7为本申请一些实施例提供的对应保存属性信息以及分割区域的示意图。通过上述S502～S504的步骤，获取到包含上装的服装的检测区域中包含上装的服装的属性信息深色、印花、圆领、长袖、卫衣，以及包含有上装的服装上的像素点的分割区域，获取到包含下装的服装的检测区域中包含下装的服装的属性信息蓝色、直筒、长、牛仔裤，以及包含有下装的服装上的像素点的分割区域。

S505：第二服务器将该分割区域及其对应的属性信息对应显示在试衣镜的显示屏上。

S506：第二服务器接收到对该显示屏上显示的目标分割区域进行搭配的触发操作，确定该目标分割区域对应的目标属性信息。

S507：第二服务器基于该目标属性信息以及预设的搭配规则，确定该目标分割区域对应的每个候选搭配方案的搭配分数。

S508：第二服务器将每个搭配分数，按照从大到小进行排序，将排序在前的设定数量的搭配分数该对应的候选搭配方案，确定为该目标分割区域对应的目标搭配方案。

在本申请，执行上述S501～S508的步骤的执行主体也可以是试衣镜，该试衣镜一般包括硬件和软件两个部分共同实现本申请提供的数据处理方法。其中，软件部分主要用于存储数据处理的程序以及前端交互界面。前端交互界面主要目的是能够给用户带来更美观的交互体验，更便捷的操作流程。

图8为本申请一些实施例提供的一种服装信息的录入过程示意图，执行主体以试衣镜进行说明，该过程包括：

第一部分：获取待处理图像。

由于一般试衣镜都会有包括摄像头的图像获取模块和网络模块，可以通过摄像头采集待处理图像，也可以通过网络模块接收其他设备发送的待处理图像。

第二部分：获取检测区域。

试衣镜中一般会设置有数据处理模块，通过该数据处理模块中保存的服装检测网络的核心算法，可以获取待处理图像中包含服装的检测区域。

第三部分：属性信息的确定，以及分割区域的确定。

同样的，试衣镜的数据处理模块中也会保存有属性识别网络的核心算法、以及语义分割网络的核心算法，通过属性识别网络，确定检测区域中包含的服装的属性信息，通过语义分割网络，确定检测区域中包含有服装上的像素点的分割区域。

第四部分：对应保存分割区域及其对应的属性信息。

为了方便后续的查询，试衣镜还包括有数据存储模块，该数据存储模块可以将数据处理模块处理后的服装信息进行保存，即分割区域及其对应的属性信息对应保存。

本申请还提供了一种数据处理装置，图9为本申请一些实施例提供的一种数据处理装置的结构示意图，该装置包括：

获取模块91，用于通过服装检测网络，获取待处理图像中包含服装的检测区域，所述服装为上装、下装和全身装中的至少一种；

处理模块92，用于通过属性识别网络，确定所述检测区域中所述服装的属性信息；并通过语义分割网络，获取所述检测区域中包含有所述服装上的像素点的分割区域；对应保存所述属性信息以及所述分割区域。

在某些实施例中，所述属性识别网络通过如下方式训练：

获取第一样本集中任一包含有服装的样本检测区域，所述样本检测区域对应的样本属性信息；

通过原始属性识别网络，确定所述样本检测区域中包含的服装的识别属性信息；

根据所述识别属性信息、以及所述样本属性信息，对所述原始属性识别网络进行训练。

在某些实施例中，所述服装检测网络通过如下方式训练：

获取第二样本集中任一包含有服装的样本图像，其中，所述样本图像对应有包含服装的样本检测区域的样本位置信息；

通过原始服装检测网络，确定所述样本图像中包含服装的识别检测区域的识别位置信息；

根据所述识别位置信息、以及所述样本位置信息，对所述原始服装检测网络进行训练。

在某些实施例中，所述装置还包括：

显示模块，用于将所述分割区域及其对应的属性信息对应显示在试衣镜的显示屏上。

在某些实施例中，所述装置还包括：

接收模块，用于接收到对所述显示屏上显示的目标分割区域进行搭配的触发操作，确定所述目标分割区域对应的目标属性信息；

所述处理模块92，还用于基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的目标搭配方案。

在某些实施例中，所述处理模块92，具体用于基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的每个候选搭配方案的搭配分数；将每个所述搭配分数，按照从大到小进行排序，将排序在前的设定数量的搭配分数所述对应的候选搭配方案，确定为所述目标分割区域对应的目标搭配方案。

在本申请中该数据处理装置所涉及的与本申请实施例提供的技术方案相关的概念，解释和详细说明及其它步骤请参见前述方法或其它实施例中关于这些内容的描述，此处不做赘述。

以执行主体为试衣镜进行说明，图10为本申请一些实施例提供的一种试衣镜的结构示意图。参见图10，该试衣镜中包含有图像获取模块、显示模块、网络模块和数据处理模块。

在实际应用过程中，一般试衣镜都会有摄像头和显示屏，试衣镜的图像获取模块，可以通过摄像头采集待处理图像，以及采集用户的人脸图像；试衣镜的显示模块，则通过显示屏将用户界面，或每个分割区域及其对应的属性信息进行显示，从而实现与用户的交互。

此外，本申请中，试衣镜获取的待处理图像除了是自身摄像头采集的，还可以是其他设备发送的，因此，试衣镜的网络模块，可以与其他智能设备或服务器进行数据的传输，比如，接收其他智能设备发送的待处理图像、接收服务器发送的训练完成的服装检测网络信息等。

当试衣镜获取到待处理图像或者进行服装搭配时，为了及时可以对数据进行处理，试衣镜的数据处理模块，结合软件部分中存储的各种数据的核心算法，比如，服装检测网络、语义分割网络、属性识别网络以及服装搭配方案的算法，从而使上述的算法在有效运行时，可以实现对服装信息管理、浏览以及服装搭配等功能。当数据处理模块获取到服装信息之后，为了方便后续的查询，试衣镜还包括有数据存储模块，该数据存储模块可以将数据处理模块处理后的服装信息进行保存，还可以将用户的如身高、体重、三维等人体数据，以及如姓名、生日、注册账户名等用户信息进行保存。

此外，为了能够与用户进行交互，在本申请中，试衣镜还包括有前端交互模块，用于确定每个分割区域在用户界面上的显示区域、检测并接收用户在显示屏上的触发操作等。

由于本申请通过服装检测模型，获取待处理图像中包含服装的检测区域，将待处理图像中没有包含服装的大部分背景区域过滤，减少背景区域对后续通过语义分割模型，获取分割区域的干扰，提高了获取待处理图像中包含服装的分割区域的准确性，有利于后续确定该待处理图像中包含的服装的搭配方案。

如图11为本申请一些实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本申请还提供了一种电子设备，如图11所示，包括：处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信；

所述存储器1103中存储有计算机程序，当所述程序被所述处理器81执行时，使得所述处理器1101执行如下步骤：

通过服装检测网络，获取待处理图像中包含服装的检测区域，所述服装为上装、下装和全身装中的至少一种；

通过属性识别网络，确定所述检测区域中所述服装的属性信息；并通过语义分割网络，获取所述检测区域中包含有所述服装上的像素点的分割区域；对应保存所述属性信息以及所述分割区域。

在某些实施例中，所述属性识别网络通过如下方式训练：

获取第一样本集中任一包含有服装的样本检测区域，所述样本检测区域对应的样本属性信息；

通过原始属性识别网络，确定所述样本检测区域中包含的服装的识别属性信息；

根据所述识别属性信息、以及所述样本属性信息，对所述原始属性识别网络进行训练。

在某些实施例中，所述服装检测网络通过如下方式训练：

获取第二样本集中任一包含有服装的样本图像，其中，所述样本图像对应有包含服装的样本检测区域的样本位置信息；

通过原始服装检测网络，确定所述样本图像中包含服装的识别检测区域的识别位置信息；

根据所述识别位置信息、以及所述样本位置信息，对所述原始服装检测网络进行训练。

在某些实施例中，所述处理器1101，还用于将所述分割区域及其对应的属性信息对应显示在试衣镜的显示屏上。

在某些实施例中，所述处理器1101，还用于接收到对所述显示屏上显示的目标分割区域进行搭配的触发操作，确定所述目标分割区域对应的目标属性信息；基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的目标搭配方案。

在某些实施例中，所述处理器1101，具体用于基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的每个候选搭配方案的搭配分数；将每个所述搭配分数，按照从大到小进行排序，将排序在前的设定数量的搭配分数所述对应的候选搭配方案，确定为所述目标分割区域对应的目标搭配方案。

由于上述电子设备解决问题的原理与数据处理方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口1102用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

由于本申请通过服装检测模型，获取待处理图像中包含服装的检测区域，将待处理图像中没有包含服装的大部分背景区域过滤，减少背景区域对后续通过语义分割模型，获取分割区域的干扰，提高了获取待处理图像中包含服装的分割区域的准确性，有利于后续确定该待处理图像中包含的服装的搭配方案。

在上述各实施例的基础上，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：

通过服装检测网络，获取待处理图像中包含服装的检测区域，所述服装为上装、下装和全身装中的至少一种；

通过属性识别网络，确定所述检测区域中所述服装的属性信息；并通过语义分割网络，获取所述检测区域中包含有所述服装上的像素点的分割区域；对应保存所述属性信息以及所述分割区域。

在某些实施例中，所述属性信息包括：服装类别、服装颜色、服装纹理、服装领形、服装袖型、服装袖长、服装裤长、服装裙型、服装裤型、服装面料中的至少一个。

在某些实施例中，所述属性识别网络通过如下方式训练：

获取第一样本集中任一包含有服装的样本检测区域，所述样本检测区域对应的样本属性信息；

通过原始属性识别网络，确定所述样本检测区域中包含的服装的识别属性信息；

根据所述识别属性信息、以及所述样本属性信息，对所述原始属性识别网络进行训练。

在某些实施例中，所述服装检测网络通过如下方式训练：

获取第二样本集中任一包含有服装的样本图像，其中，所述样本图像对应有包含服装的样本检测区域的样本位置信息；

通过原始服装检测网络，确定所述样本图像中包含服装的识别检测区域的识别位置信息；

根据所述识别位置信息、以及所述样本位置信息，对所述原始服装检测网络进行训练。

在某些实施例中，所述方法还包括：

将所述分割区域及其对应的属性信息对应显示在试衣镜的显示屏上。

在某些实施例中，所述方法还包括：

接收到对所述显示屏上显示的目标分割区域进行搭配的触发操作，确定所述目标分割区域对应的目标属性信息；

基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的目标搭配方案。

在某些实施例中，所述基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的目标搭配方案，包括：

基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的每个候选搭配方案的搭配分数；

将每个所述搭配分数，按照从大到小进行排序，将排序在前的设定数量的搭配分数所述对应的候选搭配方案，确定为所述目标分割区域对应的目标搭配方案。

由于上述提供的计算机可读取介质解决问题的原理与数据处理方法相似，因此处理器执行上述计算机可读取介质中的计算机程序后，实现的步骤可以参见方法的实施，重复之处不再赘述。

由于本申请通过服装检测模型，获取待处理图像中包含服装的检测区域，将待处理图像中没有包含服装的大部分背景区域过滤，减少背景区域对后续通过语义分割模型，获取分割区域的干扰，提高了获取待处理图像中包含服装的分割区域的准确性，有利于后续确定该待处理图像中包含的服装的搭配方案。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

通过服装检测网络，获取待处理图像中包含服装的检测区域，所述服装为上装、下装和全身装中的至少一种；

通过属性识别网络，确定所述检测区域中所述服装的属性信息；并通过语义分割网络，获取所述检测区域中包含有所述服装上的像素点的分割区域；对应保存所述属性信息以及所述分割区域。

2.根据权利要求1所述的方法，其特征在于，所述属性信息包括：服装类别、服装颜色、服装纹理、服装领形、服装袖型、服装袖长、服装裤长、服装裙型、服装裤型、服装面料中的至少一个。

3.根据权利要求2所述的方法，其特征在于，所述属性识别网络通过如下方式训练：

获取第一样本集中任一包含有服装的样本检测区域，所述样本检测区域对应的样本属性信息；

通过原始属性识别网络，确定所述样本检测区域中包含的服装的识别属性信息；

根据所述识别属性信息、以及所述样本属性信息，对所述原始属性识别网络进行训练。

4.根据权利要求1所述的方法，其特征在于，所述服装检测网络通过如下方式训练：

获取第二样本集中任一包含有服装的样本图像，其中，所述样本图像对应有包含服装的样本检测区域的样本位置信息；

通过原始服装检测网络，确定所述样本图像中包含服装的识别检测区域的识别位置信息；

根据所述识别位置信息、以及所述样本位置信息，对所述原始服装检测网络进行训练。

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

将所述分割区域及其对应的属性信息对应显示在试衣镜的显示屏上。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

接收到对所述显示屏上显示的目标分割区域进行搭配的触发操作，确定所述目标分割区域对应的目标属性信息；

基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的目标搭配方案。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的目标搭配方案，包括：

基于所述目标属性信息以及预设的搭配规则，确定所述目标分割区域对应的每个候选搭配方案的搭配分数；

将每个所述搭配分数，按照从大到小进行排序，将排序在前的设定数量的搭配分数所述对应的候选搭配方案，确定为所述目标分割区域对应的目标搭配方案。

8.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于通过服装检测网络，获取待处理图像中包含服装的检测区域，所述服装为上装、下装和全身装中的至少一种；

处理模块，用于通过属性识别网络，确定所述检测区域中所述服装的属性信息；并通过语义分割网络，获取所述检测区域中包含有所述服装上的像素点的分割区域；对应保存所述属性信息以及所述分割区域。

9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7任一所述数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一所述数据处理方法的步骤。

Images