CN114201681A - 用于推荐衣物的方法及装置 - Google Patents
用于推荐衣物的方法及装置 Download PDFInfo
- Publication number
- CN114201681A CN114201681A CN202111520822.9A CN202111520822A CN114201681A CN 114201681 A CN114201681 A CN 114201681A CN 202111520822 A CN202111520822 A CN 202111520822A CN 114201681 A CN114201681 A CN 114201681A
- Authority
- CN
- China
- Prior art keywords
- clothes
- user
- clothing
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000011218 segmentation Effects 0.000 claims abstract description 63
- 238000013145 classification model Methods 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 77
- 210000002683 foot Anatomy 0.000 description 14
- 210000002414 leg Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000238633 Odonata Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供了用于推荐衣物的方法及装置。在该方法中,响应于检测到摄像头的拍摄范围内有用户,获取针对用户的用户图像,用户图像呈现的用户的部位包括头部、躯干、腿部、脚中的至少一个;将用户图像输入给衣物区域分割模型,以得到用户图像中呈现的各个部位上的衣物对应的衣物区域图像;将所得到的各个衣物区域图像输入给衣物分类模型,以得到各个衣物区域图像所呈现的衣物对应的衣物属性;以及根据所得到的衣物属性向用户进行衣物推荐。
Description
技术领域
本说明书实施例涉及人工智能技术领域,具体地,涉及用于推荐衣物的方法及装置。
背景技术
网络的普及为用户带来了海量信息,满足了用户对于信息的需求,但随着网络上信息的大幅增长,对于用户来说,这些信息中可能仅有小部分是需要的信息,很难从大量的信息中获取到所需的信息,这样就导致了信息超载的问题。为了解决信息超载的问题,推荐系统应运而生,推荐系统可以根据用户的需求给用户推荐感兴趣的内容,比如,衣物。
在目前的衣物推荐领域中,由于网上购物的兴起,消费者的购物需求基本上可以通过网络购物来满足,此外,基于消费者在购物网站上的衣物浏览记录以及衣物购买记录还可以向消费者推荐感兴趣的衣物。
发明内容
鉴于上述,本说明书实施例提供了用于推荐衣物的方法及装置。通过本说明书实施例提供的技术方案,通过实时采集用户当下穿着的衣物信息,根据实时采集的衣物信息来实时地向用户进行衣物推荐,提高了推荐的时效性以及准确度,此外,还能够实时地激发用户的购买欲,提升衣物推荐变现的能力。
根据本说明书实施例的一个方面,提供了一种用于推荐衣物的方法,包括:响应于检测到摄像头的拍摄范围内有用户,获取针对所述用户的用户图像,所述用户图像呈现的所述用户的部位包括头部、躯干、腿部、脚中的至少一个;将所述用户图像输入给衣物区域分割模型,以得到所述用户图像中呈现的各个部位上的衣物对应的衣物区域图像;将所得到的各个衣物区域图像输入给衣物分类模型,以得到所述各个衣物区域图像所呈现的衣物对应的衣物属性;以及根据所得到的衣物属性向所述用户进行衣物推荐。
根据本说明书实施例的另一方面,还提供一种用于推荐衣物的装置,包括:图像获取单元,响应于检测到摄像头的拍摄范围内有用户,获取针对所述用户的用户图像,所述图像呈现的所述用户的部位包括头部、躯干、腿部、脚中的至少一个;衣物区域分割单元,将所述用户图像输入给衣物区域分割模型,以得到所述用户图像中呈现的各个部位上的衣物对应的衣物区域图像;衣物分类单元,将所得到的各个衣物区域图像输入给衣物分类模型,以得到所述各个衣物区域图像所呈现的衣物对应的衣物属性;以及衣物推荐单元,根据所得到的衣物属性向所述用户进行衣物推荐。
根据本说明书实施例的另一方面,还提供一种物联网设备,包括摄像头、衣物区域分割模型、衣物分类模型、处理器以及显示屏,所述摄像头,在检测到拍摄范围内有用户时,采集针对所述用户的用户图像,并将所述用户图像发送给所述衣物区域分割模型,所述用户图像呈现的所述用户的部位包括头部、躯干、腿部、脚中的至少一个;所述衣物区域分割模型,对输入的所述用户图像进行衣物区域分割处理,以得到所述用户图像中呈现的各个部位上的衣物对应的衣物区域图像,将所得到的衣物区域图像发送给所述衣物分类模型;所述衣物分类模型,对输入的各个衣物区域图像进行衣物分类处理,以得到所述各个衣物区域图像所呈现的衣物对应的衣物属性,将所得到的衣物属性发送给所述处理器;所述处理器,根据所得到的衣物属性确定出向所述用户推荐的衣物信息,将所确定出的衣物信息发送给所述显示屏;以及所述显示屏,显示所确定的衣物信息。
根据本说明书实施例的另一方面,还提供一种电子设备,包括:至少一个处理器,与所述至少一个处理器耦合的存储器,以及存储在所述存储器上的计算机程序,所述至少一个处理器执行所述计算机程序来实现如上述任一所述的用于衣物推荐的方法。
根据本说明书实施例的另一方面,还提供一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的用于衣物推荐的方法。
根据本说明书实施例的另一方面,还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上任一所述的用于衣物推荐的方法。
附图说明
通过参照下面的附图,可以实现对于本说明书实施例内容的本质和优点的进一步理解。在附图中,类似组件或特征可以具有相同的附图标记。
图1示出了根据本说明书实施例的用于推荐衣物的方法的一个示例的流程图。
图2示出了根据本说明书实施例的用于确定衣物属性的一个过程的示意图。
图3示出了根据本说明书实施例的用于训练异物区域分割模型和衣物分类模型的方法的一个示例的流程图。
图4示出了根据本说明书实施例的衣物推荐装置的一个示例的方框图。
图5示出了根据本说明书实施例的物联网设备的一个示例的方框图。
图6示出了本说明书实施例的用于实现衣物推荐方法的电子设备的方框图。
具体实施方式
以下将参考示例实施方式讨论本文描述的主题。应该理解,讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题,并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书实施例内容的保护范围的情况下,对所讨论的元素的功能和排列进行改变。各个示例可以根据需要,省略、替代或者添加各种过程或组件。另外,相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的,术语“包括”及其变型表示开放的术语,含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义,无论是明确的还是隐含的。除非上下文中明确地指明,否则一个术语的定义在整个说明书中是一致的。
网络的普及为用户带来了海量信息,满足了用户对于信息的需求,但随着网络上信息的大幅增长,对于用户来说,这些信息中可能仅有小部分是需要的信息,很难从大量的信息中获取到所需的信息,这样就导致了信息超载的问题。为了解决信息超载的问题,推荐系统应运而生,推荐系统可以根据用户的需求给用户推荐感兴趣的内容,比如,衣物。
在目前的衣物推荐领域中,由于网上购物的兴起,消费者的购物需求基本上可以通过网络购物来满足,此外,基于消费者在购物网站上的衣物浏览记录以及衣物购买记录还可以向消费者推荐感兴趣的衣物。
然而,上述这种线上的推荐方式无法充分利用用户在线下的实时穿着,从而无法根据用户的实时衣物穿着来进行实时推荐,限制了推荐的时效性。此外,无法根据实时的穿着来进行实时推荐,从而无法及时地刺激用户消费,导致衣物推荐的变现能力降低。
鉴于上述,本说明书实施例提供了用于推荐衣物的方法及装置。在该方法中,响应于检测到摄像头的拍摄范围内有用户,获取针对用户的图像,图像呈现的用户的部位包括头部、躯干、腿部、脚中的至少一个;将图像输入给衣物区域分割模型,以得到图像中呈现的各个部位上的衣物对应的衣物区域图像;将所得到的各个衣物区域图像输入给衣物分类模型,以得到各个衣物区域图像所呈现的衣物对应的衣物属性;以及根据所得到的衣物属性向用户进行衣物推荐。在本说明书实施例提供的技术方案中,通过实时采集用户当下穿着的衣物信息,根据采集的当下的衣物信息来实时地向用户进行衣物推荐,提高了推荐的时效性以及准确度,此外,还能够实时地激发用户的购买欲,提升衣物推荐变现的能力。
下面结合附图对本说明书实施例提供的用于推荐衣物的方法及装置进行详细说明。
本说明书实施例提供的衣物推荐方法及装置可以应用于具备摄像头的电子设备,摄像头可以作为一个组件内置在电子设备中,还可以作为一个独立的设备与电子设备通信连接。摄像头可以用于采集图像,并将采集图像发送给电子设备。在一个示例中,电子设备可以具有显示屏,用于显示用户的实时图像、所推荐的衣物信息、虚拟换衣后的人像等信息。
在一个示例中,作为执行主体的电子设备可以包括物联网(IoT)设备,该物联网设备通过接入的网络实现与其他设备以及人之间的泛在连接。在本说明书实施例中,物联网设备可以包括联网的收银设备、蜻蜓设备等,收银设备可以包括自助收银机等。收银设备可以内置摄像头,用于拍摄用户图像以及扫码等。
图1示出了根据本说明书实施例的用于推荐衣物的方法的一个示例100的流程图。
如图1所示,在110,响应于检测到摄像头的拍摄范围内有用户,获取针对该用户的用户图像。
在本说明书实施例中,可以通过红外感应器、温感器等至少一个传感器来检测拍摄范围内是否存在人,此外,还可以通过基于机器学习的人像识别技术来检测拍摄范围内是否存在人。摄像头的拍摄范围可以自定义设置。
在一个示例中,可以基于用户在摄像头的拍摄范围内出现的持续时长来判断是否执行响应操作。具体地,当检测到摄像头的拍摄范围内出现用户时,可以针对该用户的出现时长进行计时,并判断该用户在拍摄范围内出现的持续时长是否达到指定时长,在达到指定时长时可以执行响应操作,而未达到指定时长时,则可以不执行响应操作。
在本说明书实施例中,所获取的用户图像中包括用户的人像,用户图像所呈现的用户部位可以至少包括头部、躯干、腿部、脚中的至少一个。在一个示例中,用户图像所呈现的用户部位包括用户的全部部位,即,用户图像呈现用户的全身像。这样,采集的用户图像中包括的用户部位越多越全,才能为后续提供更多的衣物信息,从而便于进行更丰富的衣物推荐。
在图像获取的一个示例中,当摄像头内置在作为执行主体的电子设备中时,可以通过摄像头来执行获取用户图像。当摄像头与电子设备以外部连接的方式通信连接时,摄像头采集用户图像后,可以通过连接的网络将采集的用户图像发送给电子设备,从而使得电子设备获取到用户图像。
在本说明书实施例的一个示例中,响应于检测到摄像头的拍摄范围内有用户,可以提示用户位于指定位置。提示的方式可以是语音提示,还可以是通过显示屏的显示内容提示。指定位置可以用于确保摄像头能够拍摄到用户的指定部位,即,当用户位于指定位置处时,摄像头能够拍摄到该用户的指定部位。例如,指定部位是全部部位,则当用户位于指定位置时,摄像头能够拍摄到用户的全身像,包括用户的全部部位。
在一个示例中,指定位置可以通过摄像头与用户的距离来确定,当用户与摄像头的距离达到指定距离时,该用户位于指定位置。指定距离可以是固定距离,还可以是距离范围,当用户与摄像头的距离属于该距离范围时,即达到指定距离。
例如,指定距离是50CM,当用户与摄像头的距离小于50CM时,显示屏上可以显示“请退后一些”的提示语,直至用户达到或超过50CM,提示消失。
在该示例中,测量摄像头与用户之间的距离的方式可以包括激光测量方式、声波测量方式等,还可以是通过3D摄像头的方式,此时,本说明书实施例中的摄像头可以采用3D摄像头。
在120,将用户图像输入给衣物区域分割模型,以得到用户图像中呈现的各个部位上的衣物对应的衣物区域图像。
在本说明书实施例中,衣物区域分割模型是经过训练后的模型,衣物区域分割模型可以是机器学习模型,还可以是神经网络模型,比如,衣物区域分割模型的网络结构可以采用CC(Criss-Cross)net的网络结构。
衣物区域分割模型可以用于分析输入的用户图像中各个衣物的区域范围,从而输出各个衣物对应的衣物区域图像,衣物区域图像与用户图像中的衣物一一对应,输出的每个衣物区域图像用于显示并确定所对应的衣物在用户图像中的区域。
在本说明书实施例中,针对用户图像中的人像,该人像的各个部位上可以对应穿着有衣物,比如,头部的衣物是帽子,躯干的衣物是上衣,腿部的衣物是下衣,脚部的衣物是鞋子。衣物区域分割模型可以将用户图像中呈现的各个部位上的衣物进行分割处理,以输出各个部位对应的衣物区域图像。衣物区域分割模型输出的衣物区域图像与用户图像中呈现的穿着有衣物的部位的数量相同,且一一对应。
例如,用户图像中的人像是包括所有部位的全身像,则衣物区域分割模型可以将该人像中的头部上的帽子(假设佩戴有帽子)、躯干对应的上衣、腿部对应的下衣以及脚部对应的鞋子进行分割,以得到针对帽子的区域图像、针对上衣的区域图像、针对下衣的区域图像以及针对鞋子的区域图像。
通过经过训练的衣物区域分割模型,能够将用户图像精确地分割成针对每个衣物的衣物区域图像,使得每个衣物区域图像只针对一个衣物,避免在后续衣物分类中各个衣物之间干扰,从而提高后续衣物分类的准确率。
在130,将所得到的各个衣物区域图像输入给衣物分类模型,以得到各个衣物区域图像所呈现的衣物对应的衣物属性。
在本说明书实施例中,衣物分类模型可以是经过训练后的模型,衣物分类模型可以是机器学习模型,还可以是神经网络模型,比如,衣物分类模型可以是ResNet18网络结构的模型。
衣物分类模型的输入可以是衣物的图像,衣物分类模型可以对输入的衣物图像进行分类处理,衣物分类模型分类的方式是利用衣物属性对各个衣物进行分类,从而衣物分类模型可以输出衣物对应的衣物属性。在本说明书实施例中,将衣物区域分割模型输出的各个衣物区域图像输入给衣物分类模型,衣物分类模型可以对每个衣物区域图像进行分类处理,从而输出各个衣物区域图像对应的衣物属性,每个衣物区域图像对应的衣物属性是该衣物区域图像呈现的衣物所具有的衣物属性。
衣物分类模型输出的衣物属性可以包括:基于身体部位分类的衣物类别、品牌、款式、颜色、材质、价格等属性中的至少一种。其中,基于身体部位分类的衣物类别可以包括上衣、下衣、帽子以及鞋子等,每一种衣物类别可以包括多种款式,例如,上衣的款式可以包括背心、T恤、衬衣、外套、风衣、棉服和羽绒服等,下衣的款式可以包括短裤、长裤和裙子等,鞋子的款式可以包括运动鞋、皮鞋、拖鞋等,帽子的款式可以包括鸭舌帽、贝雷帽、报童帽等。
衣物分类模型输出的衣物属性是该衣物分类模型经过模型训练能够区分的衣物属性,衣物分类模型输出的衣物属性可以在模型训练过程中指定,例如,衣物分类模型输出的衣物属性可以包括:衣物类别、品牌、品牌和颜色。
衣物属性的指定方式可以是在衣物分类模型的训练过程中对衣物分类模型所针对的指定衣物属性进行训练,经过训练后,衣物分类模型能够对衣物在指定的衣物属性方面进行分类处理,从而可以输出针对指定衣物属性的分类结果。
衣物分类模型所针对的每个衣物对应输出一组衣物属性,每组衣物属性可以包括至少一个衣物属性,每组衣物属性中的衣物属性是指定的衣物属性。
在一个示例中,衣物分类模型是神经网络结构,该神经网络结构包括有位于中间层的特征提取层,特征提取层可以包括有至少一层。例如,衣物分类模型中的特征提取层是隐含层,该隐含层是具有激活函数的功能神经元,该隐含层可以是以权重矩阵的形式表示。
在衣物分类模型中,邻接着特征提取层的下一层是属性关联度计算层,该属性关联度计算层用于计算衣物与各个衣物属性之间的关联度。在一个示例中,特征提取层输出所提取的衣物特征,属性关联度计算层可以从特征提取层接收衣物特征,并将该衣物特征与各个衣物属性对应的特征之间进行关联度计算,例如,所提取的衣物特征可以用矩阵来表示,各个衣物属性对应的特征也是矩阵形式,则可以计算衣物特征对应的矩阵分别与各个衣物属性对应的矩阵之间的距离,矩阵之间的距离可以用来表征衣物与衣物属性之间的关联度。其中,矩阵之间的距离可以包括:曼哈顿距离、欧式距离、切比雪夫距离、明可夫斯基距离、Cosine距离、角度cosine距离、Canberra距离、Jaccard距离以及Pearson距离等距离中的至少一种。
在得到衣物特征与各个衣物属性之间的关联度后,可以根据关联度分别对不同类型的衣物属性进行排名,将每个类型的衣物属性中排名最高的衣物属性确定为该衣物特征对应的衣物属性,并输出所确定出的衣物特征对应的衣物属性。例如,衣物属性的种类可以包括衣物类别、款式和颜色,在衣物类别的衣物属性中排名最高的衣物类别是上衣,在款式的衣物属性中排名最高的款式是T恤,在颜色的衣物属性中排名最高的颜色是白色,则所输出的衣物属性包括上衣、T恤和白色。
图2示出了根据本说明书实施例的用于确定衣物属性的一个过程的示意图。
如图2所示,输入给衣物分类模型的衣物区域图像是上衣区域图像,衣物分类模型从该上衣区域图像中提取到上衣特征,并将该上衣特征分别与衣物类别、品牌、款式以及颜色进行关联,在与衣物类别的关联计算中可以关联出的衣物类别包括裤子和上衣,在与品牌的关联计算中可以关联出的品牌包括Lee和Levis,在与款式的关联计算中可以关联出的款式包括衬衣、外套和T恤,在与颜色的关联计算中可以关联出的颜色包括白色和蓝色。然后,根据关联度针对每一类型的衣物属性进行排名,针对衣物类别的排名依次为上衣、裤子,针对品牌的排名依次为Levis、Lee,针对款式的排名依次是外套、衬衣、T恤,针对颜色的排名依次是蓝色、白色,则将每一类型的衣物属性中的最高排名的衣物属性作为输出的衣物属性,即针对该上衣区域图像,衣物分类模型输出的衣物属性为{上衣、Levis、外套、蓝色}。
在该示例中,在输出衣物属性的同时,还可以输出衣物特征。所输出的衣物特征可以被用来进行衣物推荐,结合基于衣物属性的衣物推荐,可以提高衣物推荐的准确率。
在本说明书实施例中,通过先利用衣物区域分割模型进行衣物区域分割,衣物分类模型可以对仅包括一个衣物的衣物区域图像进行分类识别,无需再进行衣物区域识别等操作,减小了衣物分类模型的计算量。
在140,根据所得到的衣物属性向用户进行衣物推荐。
在本说明书实施例中,当所得到的衣物属性包括多种衣物属性时,可以将该多种衣物属性作为一个整体来进行衣物推荐,所推荐的衣物是与该多种衣物属性的整体关联度最大的一个或多个衣物。多种衣物属性的整体关联度可以是根据各个衣物属性的个体关联度得到的,比如,可以是各个衣物属性的个体关联度之和,还可以是各个衣物属性的个体关联度的平均值。
在一个示例中,可以设置有衣物信息数据库,该衣物信息数据库中可以存储有多组衣物推荐信息,每组衣物推荐信息可以表征用于推荐的一种衣物,每组衣物推荐信息可以包括所表征衣物的衣物信息、以及与该衣物信息关联的衣物属性。
每组衣物推荐信息中的衣物信息可以包括衣物对应的标识、品牌、产地、颜色、尺码、材质、衣物图像以及链接等,链接可以包括购买链接、衣物展示链接等。
此外,每组衣物推荐信息中与衣物信息关联的衣物属性可以预先设置,与衣物信息关联的衣物属性可以根据用于预测与衣物信息关联的衣物属性的预测模型得到,还可以根据经验得到。例如,一组衣物信息是一运动品牌的白色T恤,则与该衣物信息关联的衣物属性可以包括该运动品牌、黑色以及裤子,即,针对该组衣物信息所表征的衣物,所推荐的衣物是该运动品牌的黑色裤子。
在每组衣物推荐信息中,与衣物信息关联的衣物属性可以包括多个衣物属性,该多个衣物属性可以分别属于多种衣物属性,比如,所属的衣物属性的种类可以包括衣物类别、品牌、款式、颜色、材质等。
在一个示例中,与衣物信息关联的衣物属性可以包括有属于同一种衣物属性的多个衣物属性,即,表示属于该同一种衣物属性的多个衣物属性都与该衣物信息关联,该多个衣物属性中的不同衣物属性可以与衣物信息的关联度可以不同。例如,衣物信息中的衣物属性“颜色”为白色,与白色关联的衣物属性“颜色”可以包括黑色、白色和灰色,其中,黑色的关联度最高、白色次之,灰色的关联度最小。
在每组衣物推荐信息中,与衣物信息关联的各个衣物属性可以对应有关联度,每个衣物属性对应的关联度可以表示该衣物属性与衣物信息的关联度。关联度可以用数值表示,数值越大,表示关联度越大。
在该示例中,在得到各个衣物区域图像所呈现的衣物对应的衣物属性后,针对每个衣物区域图像所呈现的衣物,可以根据所得到的该衣物对应的各个衣物属性在衣物信息数据库中查询与该各个衣物属性相关联的衣物信息。查询的方式可以是将所得到的各个衣物属性分别与衣物信息数据库中的各组衣物推荐信息中的衣物属性进行匹配,并将匹配的衣物属性对应的衣物信息确定为与所查询的衣物属性相关联的衣物信息。
在查询到与各个衣物属性相关联的衣物信息后,可以基于所查询的衣物信息与各个衣物属性的关联度对所查询的衣物信息进行排名。在该示例中,针对每个衣物区域图像所呈现的衣物,可以生成一个用于推荐与该衣物相关联的衣物信息的排名,衣物区域图像与排名一一对应。例如,经过分割得到的衣物区域图像包括上衣区域图像、下衣区域图像以及鞋子区域图像,则针对每个区域图像生成一个排名,比如,针对上衣区域图像的排名可以用于推荐与该上衣相关联的衣物。
在生成排名后,可以将该排名中的前指定位数排名的衣物信息推荐给用户。例如,可以将排名中的前N位的衣物信息推荐给用户,其中,N是指定位数。
在一个示例中,可以将各个衣物区域图像所呈现的衣物对应生成的推荐排名合并,合并的方式可以是根据所推荐的各个衣物信息对应的关联度来进行重新排名,并将重新排名后的衣物信息推荐给用户。
在一个示例中,在每个衣物区域图像对应查询到关联的衣物信息后,可以将各个衣物区域图像对应关联的衣物信息按照关联度进行排名,这样,可以生成针对用户图像的一个衣物推荐排名。然后,可以将该衣物推荐排名中的前指定位数排名的衣物信息推荐给用户。
在一个示例中,在衣物分类模型输出衣物属性以及衣物特征时,可以根据所得到的衣物属性以及衣物特征向用户进行衣物推荐。
在该示例中,基于衣物属性的衣物推荐与基于衣物特征的衣物推荐可以分开执行,基于衣物属性的衣物推荐可以得到所推荐的一部分衣物信息,基于衣物特征的衣物推荐也可以得到所推荐的一部分衣物信息。
针对衣物特征的衣物推荐,衣物特征可以是以矩阵或者向量的形式来表示,衣物信息数据库中的待推荐的衣物信息可以用对应的矩阵或者向量的形式来表示,基于此,可以将衣物特征与衣物信息数据库中的待推荐的衣物信息进行关联度计算。具体地,可以将衣物特征对应的矩阵分别与各组衣物信息对应的矩阵之间的距离,该矩阵之间的距离可以用来表征衣物之间的关联度,衣物之间的关联度越高,则关联的衣物信息越容易被推荐。
在一个示例中,可以将根据衣物属性推荐的衣物信息以及根据衣物特征推荐的衣物信息合并,然后将合并后的衣物信息推荐给用户。
在另一个示例中,可以将根据衣物属性推荐的衣物信息(以下称为第一衣物信息)与根据衣物特征推荐的衣物信息(以下称为第二衣物信息)按照与各个衣物区域图像所呈现的衣物的关联度来进行重新排名。
在重新排名的一种规则中,可以保持第一衣物信息的排名以及第二衣物信息的排名均不变,将第二衣物信息的排名整体排在第一衣物信息的排名之前,从而生成新的排名。
在另一种规则中,可以将第一衣物信息对应的第一关联度与第二衣物信息对应的基于矩阵距离生成的第二关联度之间进行转换,第一关联度与第二关联度之间的转换规则可以自定义,例如,可以将第一关联度乘以一个小于1的指定百分比,得到转换后的关联度,该转换后的关联度可以与第二关联度之间进行比较。通过关联度之间的转换,可以将第一衣物信息对应的第一关联度转换成对应的第二关联度,或者,可以将第二衣物信息对应的第二关联度转换成对应的第一关联度。在将第一衣物信息和第二衣物信息统一成为同一种类型的关联度后,可以根据统一后的关联度对第一衣物信息和第二衣物信息进行重新排名。
在经过重新排名生成新的排名后,可以将经过重新排名的衣物信息推荐给用户。
在推荐的一种方式中,可以是通过显示屏将所推荐的衣物信息进行显示,所推荐的衣物信息可以按照排名的顺序进行排序,并进行展示。针对所推荐的每个衣物的衣物信息,可以展示该衣物信息中的衣物图像,或者展示该衣物信息中的衣物图像以及概要信息,概要信息可以包括衣物类别、品牌等。所展示的衣物图像可以关联衣物链接,当衣物图像被点击时,触发跳转至关联的衣物链接。
在衣物信息展示的一个方式中,可以以缩略图固定的方式进行展示,滚动的顺序可以按照衣物信息的排名顺序进行设置。在一个示例中,还可以在展示的衣物信息中增加折扣信息,当衣物信息包括有折扣信息时,可以将折扣信息进行加强展示,以增加用户的购买欲。
在本说明书实施例提供的衣物推荐方法中,通过实时采集用户当下穿着的衣物信息,根据采集的当下的衣物信息来实时地向用户进行衣物推荐,更有利于刺激用户进行消费,提高了推荐的时效性以及准确度。此外,还能够实时地激发用户的购买欲,提升衣物推荐变现的能力。
在一个场景中,本说明书实施例提供的衣物推荐方法由作为物联网设备的收银设备来执行,收银设备接入网络。在该场景中,用户在结账过程中可以与收银设备进行交互,即,收银设备可以执行上述衣物推荐方法的操作。
在该场景中,可以充分利用用户结账的时间段进行衣物推荐,提升了衣物推荐的利用率,并且提升了衣物推荐变现的能力。
此外,收银设备还可以获取该用户购买的衣物的购买信息,购买信息中可以包括衣物信息、价格、数量等。然后,根据所得到的衣物属性以及购买信息来进行衣物推荐。
针对根据购买信息所执行的衣物推荐,可以根据购买信息来确定用户所购买的衣物的衣物属性,从而可以结合所购买的衣物的衣物属性以及所穿着衣物的衣物属性来进行衣物推荐。所购买的衣物作为当前用户感兴趣的衣物,可以提升衣物推荐的准确率,从而进一步地激发用户的购买欲,从而进一步地提升衣物推荐变现的能力。
在一个示例中,在想用户推荐衣物后,所推荐的衣物可以展示给用户,用户可以通过操作显示屏来对所推荐的衣物信息进行操作,所执行的操作可以包括:点击衣物链接跳转至对应页面、滚动或滑动查看各个衣物信息、点击缩略图以查看详细的衣物信息以及选中衣物信息的操作等。
在该示例中,显示屏显示推荐衣物信息的同时,还可以显示用户的实时人像,用户的实时人像通过摄像头采集后实时呈现在显示屏上。
当用户选中所展示的衣物信息中的一个衣物信息并触发时,可以响应于该触发操作,利用虚拟换衣技术将被选中的衣物信息对应的衣物图像与所显示的用户的人像进行合成,以使显示的人像穿着被选中的衣物信息所表征的衣物。
在衣物图像与人像合成时,可以将衣物图像粘贴在该衣物图像的衣物对应的部位上,比如,衣物图像是鞋子,则可以将该鞋子图像粘贴在人像的脚上。
在虚拟换衣技术的一个示例中,可以在被选中的衣物信息对应的衣物图像中标记指定类型关键点,不同部位的衣物图像所标注的指定类型关键点可以不同。例如,上衣的关键点可以包括肩部关键点、上臂关键点、胸部关键点以及腰部关键点等,裤子的关键点可以包括腰部关键点、膝盖关键点以及脚踝关键点等。
衣物与穿着该衣物的部位对应,且衣物在对应部位上所呈现的位置与对应部位是相对固定的,并且衣物上的各个位置点与对应部位上的位置点也是相对固定的。比如,裤子上的膝盖位置对应于腿部的膝盖位置处的。基于此,衣物上的指定类型关键点与对应部位上的同一指定类型关键点是一一对应的。
基于衣物与对应部位的位置对应关系,可以根据被选中的衣物信息确定对应的部位,再根据对应的部位确定待标记的指定类型关键点,然后,在衣物信息对应的衣物图像中标记所确定的各个指定类型关键点。在衣物图像与人像合成时,针对同一指定类型关键点,可以将衣物图像上的该指定类型关键点与人像上标记的该指定类型关键点对应。在所有指定类型关键点对应完成后,按照对应的指定类型关键点可以将衣物图像粘贴到人像上,粘贴的衣物会覆盖对应部位上原来的衣物。
在一个示例中,可以每隔指定时长执行一次上述的虚拟换衣操作,指定时长可以设置的较短,比如,可以设置为250毫秒,则每隔250毫秒执行一次虚拟换衣操作。通过每隔指定时长执行一次虚拟换衣操作,以便于实时地根据人像的移动或姿态的变化而进行更新,提升虚拟换衣的展示效果。
在得到合成的人像后,可以将合成的人像进行显示。在进行人像显示时,可以增加相应的滤镜和/或特效。在一个示例中,可以根据人像显示的场景、光线等来匹配对应的滤镜和/或对应的特效。例如,当人像显示的光线较弱时,可以匹配出用于增强光线的滤镜和特效,从而增强人像的显示效果。
通过增加滤镜和特效,可以营造更加美观的人像显示氛围,增强人像的显示效果,从而加强用户的购买欲。
图3示出了根据本说明书实施例的用于训练异物区域分割模型和衣物分类模型的方法的一个示例300的流程图。
如图3所示,在310,可以训练人体解析模型。
人体解析模型可以通过算法将图像中的人像分割为细粒度的部分,例如,按照人体部位分割成不同的部位,比如,可以将人体按照头部、躯干、腿部、脚部、手臂等部位进行分割。
人体解析模型可以是神经网络模型,比如,人体解析模型可以采用CCNet的网络结构,还可以是机器学习模型。用于训练人体解析模型的样本数据可以是包括有各种人像的图像数据,样本数据可以来源于开源数据,开源数据可以为训练人体解析模型提供了大量的样本数据,从而便于训练出更精确的人体解析模型。
经过训练得到的人体解析模型可以用于对图像中的人像部位进行解析,得到各个部位的部位区域图像。例如,将一张完整人像的图像输入给人体解析模型,人体解析模型可以输出头部区域图像、躯干以及手臂的区域图像、腿部区域图像以及脚部区域图像等。
在320,利用人体解析模型对针对人像的第一图像样本数据进行人体解析处理,以得到各个人体部位的部位区域图像。
第一图像样本数据中的各张图像是包括有人像的图像,各张图像所包括的人像可以是完整人像,还可以是不完整的部分人像,部分人像可以是仅包括一部分部位的人像,比如,人脸图像。第一图像样本数据可以包括来源于开源数据以及网络上的公开图像,比如,摄影棚内拍摄的模特人像、生活照等。
将第一图像样本数据中的各张图像输入给人体解析模型,针对每张图像,该人体解析模型可以对该图像中的人像部位进行分割处理,以输出各个人体部位的部位区域图像。
在330,对所得到的各个部位区域图像按照以身体部位分类的衣物类别进行标注,以得到第二图像样本数据。
在一个示例中,衣物类别可以包括上衣、下衣、帽子以及鞋子,上衣对应躯干,下衣对应腿部,帽子对应头部,以及鞋子对应脚部,从而可以按照该四种衣物类别对各个部位区域图像进行标注。例如,对于躯干的区域图像,该区域图像上呈现的衣物是上衣,则可以将该区域图像标注为上衣。
在一个示例中,可以对所得到的所有部位区域图像进行标注,这样所得到的所有第二图像样本数据是标注数据。在另一个示例中,可以仅对所得到的一部分部位区域图像进行标注,另一部分部位区域图像不标注,这样所得到的第二图像样本数据包括标注数据和未标注数据。
在340,利用第二图像样本数据对衣物区域分割模型进行训练。
在一个示例中,当第二图像样本数据全部是标注数据时,利用第二图像样本数据对衣物区域分割模型进行全监督学习训练。在另一个示例中,当第二图像样本数据包括标注数据和未标注数据时,利用第二图像样本数据对衣物区域分割模型进行半监督学习训练。
通过经过训练的人体解析模型先基于人体部位对样本图像进行粗略地分割处理,以得到各个部位的部位区域图像,再将部位区域图像用于训练衣物区域分割模型的第二图像样本数据,提升了训练样本的质量,从而提升了利用第二图像样本数据来训练衣物区域分割模型的训练效果。
在350,将经过训练的衣物区域分割模型输出的衣物区域图像按照衣物属性进行标注,以得到第三图像样本数据。
对衣物区域分割模型输出的衣物区域图像进行标注的衣物属性可以指定,指定的衣物属性可以包括一个或多个。例如,指定的衣物属性包括衣物类别、品牌、款式和颜色,则针对上衣区域图像所标注的衣物属性为{上衣,耐克,T恤,白色}。
在一个示例中,可以对衣物区域分割模型输出的所有衣物区域图像进行标注,这样所得到的所有第三图像样本数据是标注数据。在另一个示例中,可以对衣物区域分割模型输出的一部分衣物区域图像进行标注,另一部分衣物区域图像不标注,这样所得到的第三图像样本数据包括标注数据和未标注数据。
在360,利用第三样本图像数据对衣物分类模型进行训练。
在一个示例中,当所有第三图像样本数据是标注数据时,利用第三样本图像数据对衣物分类模型进行全监督学习训练。在另一个示例中,当第三图像样本数据包括标注数据和未标注数据时,利用第三样本图像数据对衣物分类模型进行半监督学习训练。
经过训练的衣物分类模型可以对输入的图像按照指定的衣物属性进行分类,该指定的衣物属性是第三样本图像数据中进行标注的衣物属性。
通过上述训练方法,利用训练好的人体解析模型对图像进行部位分割成为部位区域图像,便于衣物区域分割模型在部位区域图像的基础上再进行衣物区域划分,这种由部位分割过渡到衣物分割的方式是由粗到细的训练方式,能提高针对衣物区域分割模型的训练中衣物区域分割模型的衣物分割精度,从而提高衣物区域分割模型的训练效果。
在用于训练异物区域分割模型和衣物分类模型的方法的另一个示例中,可以获取包括有各种人像的图像数据,接着,可以对每张图像中的人像所穿着的衣物按照衣物类别进行标注,得到经过标注的第四图像样本数据。
然后,利用第四图像样本数据对衣物区域分割模型进行训练,得到经过训练的衣物区域分割模型。将经过训练的衣物区域分割模型输出的衣物区域图像按照衣物属性进行标注,以得到第三图像样本数据;以及利用第三样本图像数据对衣物分类模型进行训练。
图4示出了根据本说明书实施例的衣物推荐装置400的一个示例的方框图。
衣物推荐装置400包括图像获取单元410、衣物区域分割单元420、衣物分类单元430和衣物推荐单元440。
图像获取单元410,被配置为响应于检测到摄像头的拍摄范围内有用户,获取针对用户的用户图像,图像呈现的用户的部位包括头部、躯干、腿部、脚中的至少一个。
在一个示例中,图像获取单元410还可以被配置为:响应于检测到摄像头的拍摄范围内有用户,提示用户位于指定位置,指定位置用于确保摄像头能够拍摄到用户的指定部位;以及在用户位于所述指定位置时,获取针对用户的用户图像。
衣物区域分割单元420,被配置为将用户图像输入给衣物区域分割模型,以得到用户图像中呈现的各个部位上的衣物对应的衣物区域图像。
衣物分类单元430,被配置为将所得到的各个衣物区域图像输入给衣物分类模型,以得到各个衣物区域图像所呈现的衣物对应的衣物属性。
在一个示例中,衣物分类单元430还可以被配置为:将所得到的各个衣物区域图像输入给衣物分类模型,以得到各个衣物区域图像所呈现的衣物对应的衣物属性以及衣物特征。
衣物推荐单元440,被配置为根据所得到的衣物属性向用户进行衣物推荐。
在一个示例中,衣物推荐单元440还可以被配置为:针对每个衣物区域图像所呈现的衣物,根据所得到的该衣物对应的各个衣物属性在衣物信息数据库中查询与各个衣物属性相关联的衣物信息,其中,衣物信息数据库中存储有多组衣物推荐信息,每组衣物推荐信息用于表征所推荐的一种衣物,每组衣物推荐信息包括衣物信息、与该衣物信息关联的衣物属性;基于所查询的衣物信息与各个衣物属性的关联度对所查询的衣物信息进行排名;以及将排名中的前指定位数排名的衣物信息推荐给用户。
在一个示例中,衣物推荐单元440还可以被配置为:根据所得到的衣物属性以及衣物特征向用户进行衣物推荐。
在一个示例中,衣物推荐单元440还可以被配置为:将根据衣物属性推荐的衣物信息与根据衣物特征推荐的衣物信息按照与各个衣物区域图像所呈现的衣物的关联度来进行重新排名;以及将经过重新排名的衣物信息推荐给用户。
在一个示例中,衣物推荐装置400还可以包括:图像合成单元和人像显示单元。图像合成单元可以被配置为:响应于所推荐的衣物信息中的一个衣物信息被选中触发,利用虚拟换衣技术将被选中的衣物信息对应的衣物图像与所显示的用户的人像进行合成,以使显示的人像穿着被选中的衣物信息所表征的衣物。人像显示单元可以被配置为:将合成的人像进行显示。
在一个示例中,图像合成单元还可以被配置为:响应于所推荐的衣物信息中的一个衣物信息被选中触发,根据被选中的衣物信息对应的衣物图像上的指定类型关键点以及所显示的人像上的指定类型关键点,将该衣物图像与该人像进行合成,以使显示的人像穿着被选中的衣物信息所表征的衣物。
图5示出了根据本说明书实施例的物联网设备500的一个示例的方框图。
物联网设备500可以包括摄像头510、衣物区域分割模型520、衣物分类模型530、处理器540以及显示屏550。
摄像头510,被配置为在检测到拍摄范围内有用户时,采集针对用户的用户图像,并将用户图像发送给衣物区域分割模型520,用户图像呈现的用户的部位包括头部、躯干、腿部、脚中的至少一个。
衣物区域分割模型520,被配置为对输入的用户图像进行衣物区域分割处理,以得到用户图像中呈现的各个部位上的衣物对应的衣物区域图像,将所得到的衣物区域图像发送给衣物分类模型530。
衣物分类模型530,被配置为对输入的各个衣物区域图像进行衣物分类处理,以得到各个衣物区域图像所呈现的衣物对应的衣物属性,将所得到的衣物属性发送给处理器540。
处理器540,被配置为根据所得到的衣物属性确定出向用户推荐的衣物信息,将所确定出的衣物信息发送给显示屏550。
显示屏550,被配置为显示所确定的衣物信息。
以上参照图1到图5,对根据本说明书实施例的用于推荐衣物的方法及装置的实施例进行了描述。
本说明书实施例的用于推荐衣物的装置可以采用硬件实现,也可以采用软件或者硬件和软件的组合来实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本说明书实施例中,用于推荐衣物的装置例如可以利用电子设备实现。
图6示出了本说明书实施例的用于实现衣物推荐方法的电子设备600的方框图。
如图6所示,电子设备600可以包括至少一个处理器610、存储器(例如,非易失性存储器)620、内存630和通信接口640,并且至少一个处理器610、存储器620、内存630和通信接口640经由总线650连接在一起。至少一个处理器610执行在存储器中存储或编码的至少一个计算机可读指令(即,上述以软件形式实现的元素)。
在一个实施例中,在存储器中存储计算机可执行指令,其当执行时使得至少一个处理器610:响应于检测到摄像头的拍摄范围内有用户,获取针对用户的用户图像,用户图像呈现的用户的部位包括头部、躯干、腿部、脚中的至少一个;将用户图像输入给衣物区域分割模型,以得到用户图像中呈现的各个部位上的衣物对应的衣物区域图像;将所得到的各个衣物区域图像输入给衣物分类模型,以得到各个衣物区域图像所呈现的衣物对应的衣物属性;以及根据所得到的衣物属性向用户进行衣物推荐。
应该理解,在存储器中存储的计算机可执行指令当执行时使得至少一个处理器610进行本说明书的各个实施例中以上结合图1-5描述的各种操作和功能。
根据一个实施例,提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即,上述以软件形式实现的元素),该指令当被机器执行时,使得机器执行本说明书的各个实施例中以上结合图1-5描述的各种操作和功能。
具体地,可以提供配有可读存储介质的系统或者装置,在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下,从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写,包括面向对象编程语言,如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB、NET以及Python等,常规程序化编程语言如C语言、Visual Basic 2003、Perl、COBOL2002、PHP以及ABAP,动态编程语言如Python、Ruby和Groovy,或者其他编程语言等。该程序编码可以在用户计算机上运行,或者作为独立的软件包在用户计算机上运行,或者部分在用户计算机上运行另一部分在远程计算机运行,或者全部在远程计算机或服务器上运行。在后一种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或者在云计算环境中,或者作为服务使用,比如软件即服务(SaaS)。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上或云上下载程序代码。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
上述各流程和各系统结构图中不是所有的步骤和单元都是必须的,可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的,可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构,也可以是逻辑结构,即,有些单元可能由同一物理实体实现,或者,有些单元可能分由多个物理实体实现,或者,可以由多个独立设备中的某些部件共同实现。
在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”,并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的,具体实施方式包括具体细节。然而,可以在没有这些具体细节的情况下实施这些技术。在一些实例中,为了避免对所描述的实施例的概念造成难以理解,公知的结构和装置以框图形式示出。
以上结合附图详细描述了本说明书的实施例的可选实施方式,但是,本说明书的实施例并不限于上述实施方式中的具体细节,在本说明书的实施例的技术构思范围内,可以对本说明书的实施例的技术方案进行多种简单变型,这些简单变型均属于本说明书的实施例的保护范围。
本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说,对本说明书内容进行的各种修改是显而易见的,并且,也可以在不脱离本说明书内容的保护范围的情况下,将本文所定义的一般性原理应用于其它变型。因此,本说明书内容并不限于本文所描述的示例和设计,而是与符合本文公开的原理和新颖性特征的最广范围相一致。
Claims (16)
1.一种用于推荐衣物的方法,包括:
响应于检测到摄像头的拍摄范围内有用户,获取针对所述用户的用户图像,所述用户图像呈现的所述用户的部位包括头部、躯干、腿部、脚中的至少一个;
将所述用户图像输入给衣物区域分割模型,以得到所述用户图像中呈现的各个部位上的衣物对应的衣物区域图像;
将所得到的各个衣物区域图像输入给衣物分类模型,以得到所述各个衣物区域图像所呈现的衣物对应的衣物属性;以及
根据所得到的衣物属性向所述用户进行衣物推荐。
2.如权利要求1所述的方法,其中,响应于检测到摄像头的拍摄范围内有用户,获取针对所述用户的用户图像包括:
响应于检测到摄像头的拍摄范围内有用户,提示所述用户位于指定位置,所述指定位置用于确保所述摄像头能够拍摄到所述用户的指定部位;以及
在所述用户位于所述指定位置时,获取针对所述用户的用户图像。
3.如权利要求1所述的方法,其中,所述衣物属性包括:基于身体部位分类的衣物类别、品牌、款式、颜色、材质、价格中的至少一种。
4.如权利要求1所述的方法,其中,根据所得到的衣物属性向所述用户进行衣物推荐包括:
针对每个衣物区域图像所呈现的衣物,根据所得到的该衣物对应的各个衣物属性在衣物信息数据库中查询与所述各个衣物属性相关联的衣物信息,其中,所述衣物信息数据库中存储有多组衣物推荐信息,每组衣物推荐信息用于表征所推荐的一种衣物,每组衣物推荐信息包括衣物信息、与该衣物信息关联的衣物属性;
基于所查询的衣物信息与所述各个衣物属性的关联度对所查询的衣物信息进行排名;以及
将所述排名中的前指定位数排名的衣物信息推荐给所述用户。
5.如权利要求1所述的方法,其中,
将所得到的各个衣物区域图像输入给衣物分类模型,以得到所述各个衣物区域图像所呈现的衣物对应的衣物属性包括:
将所得到的各个衣物区域图像输入给衣物分类模型,以得到所述各个衣物区域图像所呈现的衣物对应的衣物属性以及衣物特征;以及
根据所得到的衣物属性向所述用户进行衣物推荐包括:
根据所得到的衣物属性以及衣物特征向所述用户进行衣物推荐。
6.如权利要求5所述的方法,其中,根据所得到的衣物属性以及衣物特征向所述用户进行衣物推荐包括:
将根据所述衣物属性推荐的衣物信息与根据所述衣物特征推荐的衣物信息按照与所述各个衣物区域图像所呈现的衣物的关联度来进行重新排名;以及
将经过重新排名的衣物信息推荐给所述用户。
7.如权利要求1所述的方法,还包括:
响应于所推荐的衣物信息中的一个衣物信息被选中触发,利用虚拟换衣技术将被选中的衣物信息对应的衣物图像与所显示的用户的人像进行合成,以使显示的人像穿着被选中的衣物信息所表征的衣物;以及
将合成的人像进行显示。
8.如权利要求7所述的方法,其中,响应于所推荐的衣物信息中的一个衣物信息被选中触发,利用虚拟换衣技术将被选中的衣物信息对应的衣物图像与所显示的用户的人像进行合成,以使显示的人像穿着被选中的衣物信息所表征的衣物包括:
响应于所推荐的衣物信息中的一个衣物信息被选中触发,根据被选中的衣物信息对应的衣物图像上的指定类型关键点以及所显示的人像上的所述指定类型关键点,将该衣物图像与该人像进行合成,以使显示的人像穿着被选中的衣物信息所表征的衣物。
9.如权利要求1所述的方法,其中,所述方法由具有所述摄像头的物联网设备来执行。
10.如权利要求9所述的方法,其中,所述物联网设备包括收银设备,
所述方法还包括:
获取所述用户所购买的衣物的购买信息;以及
根据所得到的衣物属性向所述用户进行衣物推荐包括:
根据所得到的衣物属性以及所述购买信息向所述用户进行衣物推荐。
11.如权利要求1所述的方法,其中,所述衣物区域分割模型和所述衣物分类模型按照以下方式训练得到:
训练人体解析模型;
利用所述人体解析模型对针对人像的第一图像样本数据进行人体解析处理,以得到各个人体部位的部位区域图像;
对所得到的各个部位区域图像按照以身体部位分类的衣物类别进行标注,以得到第二图像样本数据;
利用所述第二图像样本数据对衣物区域分割模型进行训练;
将经过训练的衣物区域分割模型输出的衣物区域图像按照衣物属性进行标注,以得到第三图像样本数据;以及
利用所述第三样本图像数据对衣物分类模型进行训练。
12.一种用于推荐衣物的装置,包括:
图像获取单元,响应于检测到摄像头的拍摄范围内有用户,获取针对所述用户的用户图像,所述图像呈现的所述用户的部位包括头部、躯干、腿部、脚中的至少一个;
衣物区域分割单元,将所述用户图像输入给衣物区域分割模型,以得到所述用户图像中呈现的各个部位上的衣物对应的衣物区域图像;
衣物分类单元,将所得到的各个衣物区域图像输入给衣物分类模型,以得到所述各个衣物区域图像所呈现的衣物对应的衣物属性;以及
衣物推荐单元,根据所得到的衣物属性向所述用户进行衣物推荐。
13.一种物联网设备,包括摄像头、衣物区域分割模型、衣物分类模型、处理器以及显示屏,
所述摄像头,在检测到拍摄范围内有用户时,采集针对所述用户的用户图像,并将所述用户图像发送给所述衣物区域分割模型,所述用户图像呈现的所述用户的部位包括头部、躯干、腿部、脚中的至少一个;
所述衣物区域分割模型,对输入的所述用户图像进行衣物区域分割处理,以得到所述用户图像中呈现的各个部位上的衣物对应的衣物区域图像,将所得到的衣物区域图像发送给所述衣物分类模型;
所述衣物分类模型,对输入的各个衣物区域图像进行衣物分类处理,以得到所述各个衣物区域图像所呈现的衣物对应的衣物属性,将所得到的衣物属性发送给所述处理器;
所述处理器,根据所得到的衣物属性确定出向所述用户推荐的衣物信息,将所确定出的衣物信息发送给所述显示屏;以及
所述显示屏,显示所确定的衣物信息。
14.一种电子设备,包括:至少一个处理器,与所述至少一个处理器耦合的存储器,以及存储在所述存储器上的计算机程序,所述至少一个处理器执行所述计算机程序来实现如权利要求1-11中任一所述的方法。
15.一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-11中任一所述的方法。
16.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1-11中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111520822.9A CN114201681A (zh) | 2021-12-13 | 2021-12-13 | 用于推荐衣物的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111520822.9A CN114201681A (zh) | 2021-12-13 | 2021-12-13 | 用于推荐衣物的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114201681A true CN114201681A (zh) | 2022-03-18 |
Family
ID=80653139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111520822.9A Pending CN114201681A (zh) | 2021-12-13 | 2021-12-13 | 用于推荐衣物的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114201681A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114897824A (zh) * | 2022-05-10 | 2022-08-12 | 电子科技大学 | 一种馕产业监控场景下的食品安全威胁检测及预警方法 |
WO2023185908A1 (zh) * | 2022-03-29 | 2023-10-05 | 北京沃东天骏信息技术有限公司 | 物品属性推荐模型的训练、生成方法和装置以及介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160120674A (ko) * | 2015-04-08 | 2016-10-18 | 주식회사 컴퍼니원헌드레드 | 그래픽 처리 장치를 이용한 의류 추천 시스템 |
CN106980485A (zh) * | 2017-03-31 | 2017-07-25 | 陈凤 | 一种智能衣柜系统及其管理方法 |
CN110004664A (zh) * | 2019-04-28 | 2019-07-12 | 深圳和而泰家居在线网络科技有限公司 | 衣物污渍识别方法、装置、洗衣机及存储介质 |
WO2020055154A1 (ko) * | 2018-09-12 | 2020-03-19 | 엘지전자 주식회사 | 의류등록장치와 의류추천장치 및 이를 포함하여 이루어지는 온라인 시스템 |
CN111325806A (zh) * | 2020-02-18 | 2020-06-23 | 苏州科达科技股份有限公司 | 基于语义分割的服装颜色识别方法、装置和系统 |
CN111967930A (zh) * | 2020-07-10 | 2020-11-20 | 西安工程大学 | 一种基于多网络融合的服装风格识别推荐方法 |
CN112148912A (zh) * | 2020-06-01 | 2020-12-29 | 青岛海尔智能技术研发有限公司 | 用于衣物推荐的方法及装置、设备 |
CN113378842A (zh) * | 2021-05-18 | 2021-09-10 | 浙江大学 | 基于分割图像特征提取的推荐方法 |
CN113487373A (zh) * | 2020-05-28 | 2021-10-08 | 海信集团有限公司 | 试衣镜、终端、服装推荐方法及存储介质 |
CN113487619A (zh) * | 2020-06-28 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 一种数据处理方法、装置、设备及介质 |
KR20210123872A (ko) * | 2020-04-06 | 2021-10-14 | (주)아리온테크놀로지 | 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치 및 방법 |
CN113538074A (zh) * | 2020-04-14 | 2021-10-22 | 青岛海尔智能技术研发有限公司 | 用于衣物推荐的方法及装置、设备 |
CN113569077A (zh) * | 2020-04-28 | 2021-10-29 | 青岛海尔智能技术研发有限公司 | 用于衣物推荐的方法、装置及设备 |
-
2021
- 2021-12-13 CN CN202111520822.9A patent/CN114201681A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160120674A (ko) * | 2015-04-08 | 2016-10-18 | 주식회사 컴퍼니원헌드레드 | 그래픽 처리 장치를 이용한 의류 추천 시스템 |
CN106980485A (zh) * | 2017-03-31 | 2017-07-25 | 陈凤 | 一种智能衣柜系统及其管理方法 |
WO2020055154A1 (ko) * | 2018-09-12 | 2020-03-19 | 엘지전자 주식회사 | 의류등록장치와 의류추천장치 및 이를 포함하여 이루어지는 온라인 시스템 |
CN110004664A (zh) * | 2019-04-28 | 2019-07-12 | 深圳和而泰家居在线网络科技有限公司 | 衣物污渍识别方法、装置、洗衣机及存储介质 |
CN111325806A (zh) * | 2020-02-18 | 2020-06-23 | 苏州科达科技股份有限公司 | 基于语义分割的服装颜色识别方法、装置和系统 |
KR20210123872A (ko) * | 2020-04-06 | 2021-10-14 | (주)아리온테크놀로지 | 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치 및 방법 |
CN113538074A (zh) * | 2020-04-14 | 2021-10-22 | 青岛海尔智能技术研发有限公司 | 用于衣物推荐的方法及装置、设备 |
CN113569077A (zh) * | 2020-04-28 | 2021-10-29 | 青岛海尔智能技术研发有限公司 | 用于衣物推荐的方法、装置及设备 |
CN113487373A (zh) * | 2020-05-28 | 2021-10-08 | 海信集团有限公司 | 试衣镜、终端、服装推荐方法及存储介质 |
CN112148912A (zh) * | 2020-06-01 | 2020-12-29 | 青岛海尔智能技术研发有限公司 | 用于衣物推荐的方法及装置、设备 |
CN113487619A (zh) * | 2020-06-28 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 一种数据处理方法、装置、设备及介质 |
CN111967930A (zh) * | 2020-07-10 | 2020-11-20 | 西安工程大学 | 一种基于多网络融合的服装风格识别推荐方法 |
CN113378842A (zh) * | 2021-05-18 | 2021-09-10 | 浙江大学 | 基于分割图像特征提取的推荐方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023185908A1 (zh) * | 2022-03-29 | 2023-10-05 | 北京沃东天骏信息技术有限公司 | 物品属性推荐模型的训练、生成方法和装置以及介质 |
CN114897824A (zh) * | 2022-05-10 | 2022-08-12 | 电子科技大学 | 一种馕产业监控场景下的食品安全威胁检测及预警方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cheng et al. | Fashion meets computer vision: A survey | |
JP6890720B2 (ja) | 画像処理システム | |
Yamaguchi et al. | Parsing clothing in fashion photographs | |
US10747826B2 (en) | Interactive clothes searching in online stores | |
KR102664008B1 (ko) | 시각 정보에 기초한 고객 아이템 추천 방법 및 장치 | |
Hidayati et al. | Learning and recognition of clothing genres from full-body images | |
KR20190029567A (ko) | 스타일 특징을 이용한 상품 추천 방법 | |
WO2018228448A1 (zh) | 搭配服饰的推荐方法和装置、电子设备、存储介质 | |
KR102317432B1 (ko) | 이미지 및 텍스트 통합분석에 기반한 패션 트렌드 예측방법, 장치 및 프로그램 | |
US20200342320A1 (en) | Non-binary gender filter | |
EP3465537A2 (en) | Method and system for predicting garment attributes using deep learning | |
CN111681070B (zh) | 线上商品的购买方法、购买装置、存储装置及购买设备 | |
CN114201681A (zh) | 用于推荐衣物的方法及装置 | |
CN111325226B (zh) | 信息呈现方法和装置 | |
KR102318952B1 (ko) | 인공지능을 활용한 의류 추천 및 구매 방법, 장치 및 시스템 | |
Al-Lohibi et al. | Awjedni: a reverse-image-search application | |
Sattar et al. | Fashion is taking shape: Understanding clothing preference based on body shape from online sources | |
CN109614925A (zh) | 服饰属性识别方法和装置、电子设备、存储介质 | |
KR102586431B1 (ko) | 관절 좌표를 이용한 패션 아이템 속성정보 추출 방법, 장치 및 컴퓨터프로그램 | |
CN112330383A (zh) | 用于基于可视元素的物品推荐的设备及方法 | |
JP6511204B1 (ja) | 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法 | |
CN116762089A (zh) | 基于多模态时装知识图谱的产品推荐系统及方法 | |
CN112905889A (zh) | 服饰搜索方法及装置、电子设备和介质 | |
US11972466B2 (en) | Computer storage media, method, and system for exploring and recommending matching products across categories | |
KR20210131198A (ko) | 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |