CN111667342A - 一种顾客发型推荐的模型 - Google Patents

一种顾客发型推荐的模型 Download PDF

Info

Publication number
CN111667342A
CN111667342A CN202010493285.2A CN202010493285A CN111667342A CN 111667342 A CN111667342 A CN 111667342A CN 202010493285 A CN202010493285 A CN 202010493285A CN 111667342 A CN111667342 A CN 111667342A
Authority
CN
China
Prior art keywords
customer
model
distribution
image
hair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010493285.2A
Other languages
English (en)
Other versions
CN111667342B (zh
Inventor
帅仁俊
刘开凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202010493285.2A priority Critical patent/CN111667342B/zh
Publication of CN111667342A publication Critical patent/CN111667342A/zh
Application granted granted Critical
Publication of CN111667342B publication Critical patent/CN111667342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种顾客发型推荐的模型，编码器从顾客的图像中采样，产生隐空间的概率分布，解码器在隐空间中采样该点，然后返回一个伪造的图像。条件变分自编码器(CVAE)对于我们对数据进行条件处理，生成具有特定属性的数据。我们目标是将相似但不同的发型和发色提供给顾客而不是完全重建一个完整的人。采用本发明的技术方案，采集顾客的头像特征，根据顾客的需求条件，输出各种不同的发型和头发颜色，而且同时能够保证顾客的面部特征不失真，做的输入顾客头像而采用本发明的技术方案，只对发型和头发颜色进行多种组合变换，从而供顾客选择。

Description

一种顾客发型推荐的模型
技术领域
本发明涉图像处理的技术领域，具体涉及采用条件变分自编码器输出图像的技术领域。
背景技术
现在顾客想要理发时并不能直观的看到自己可以有什么样的造型，很难想象自己在搭配某些发型或者染成某种颜色后能否得到满意的效果，往往在根据固定的发型设计图片选择发型，而这会导致部分顾客理完发后觉得没有达到自己想要的效果，亦或是选择理发师推荐发型后没有得到直观的视觉感受而导致对发型的不满意。本发明可以自动生成各式各样的发型以供顾客选择，这样可以有效避免理发纠纷，让顾客理完发后不再遗憾。
条件变分自编码器(CVAE)是变分自编码器(VAE)的一种特殊类型，不同之处在于我们对数据进行条件处理，生成具有特定属性的数据。我们目标是将相似但不同的发型和发色提供给顾客而不是完全重建一个完整的人。如果是变分自编码器VAE，生成的图像不仅发型会发生变化，人的样貌也会发生明显变化。就像将数字“1”切去一半，如果我们单纯的使用VAE，则有可能生成的是7而不是1。标准回归模型仅仅对一种预测与实际之间的差异进行惩罚，它是将所有可能性的平均值展现出来，这会使得标准回归模型预测出的是一片模糊噪声，意味着结果被平均化了。我们需要一个可以将一系列(或一个)图像作为输入并同时输出更复杂的分布模型的模型，通过CVAE可以使得每一个输入对应一个输出。而CVAE输出无需预先确定空间的分布结构。
发明内容
本发明使用条件变分自编码器对输入的图像进行处理，输出特定目标变化的图像，提供给顾客多样化的选择，CVAE可以生成很多顾客想象不到的发型和发色。给定输入X，这里的X不是完整的，而是有缺失部分的。同时给定X对应的输出Y，这里的Y是基准真相，即指相对于新的方式得到的图像，作为基准的，由已有的、可靠的方式得到的图像。假设潜变量z～N(0,I)，N(0,I)是标准正态分布。
P(Y|X)＝N(f(z,X),σ2*I)
增加一个编码函数g(X)来对分布P(z|X)进行估计，我们记g(X)的估计分布为Q(z|X)。这里f是将潜变量z与残缺输入的X映射到基准真相Y确定性函数，将X作为先验条件，可以得到如下表达式：
Figure BDA0002521913410000021
而
P(z|Y,X)
＝P(z,Y,X)P(Y,X)
＝P(Y|z,X)P(z|X)P(X)P(Y|X)P(X)
＝P(Y|z,X)P(z|X)P(Y|X)
最后可以得到
Figure BDA0002521913410000022
这里的P(z|X)服从N(0,I)，因为模型假设z独立于X进行采样，给定f，通过对z～N(0,I)进行采样来得到P(Y|X)中对Y的采样。
P(z|X)是z的先验分布，D是kl散度，E是期望。
采用本发明的技术方案，采集顾客的头像特征，根据顾客的需求条件，输出各种不同的发型和头发颜色，而且同时能够保证顾客的面部特征不失真，做的输入顾客头像而采用本发明的技术方案，只对发型和头发颜色进行多种组合变换，从而供顾客选择。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的描述。
图1是条件变分自编码器模型结构图。
图2是顾客发型推荐的模型结构图。
图3是使用条件变分自编码器对发型颜色进行选择性调整。
图4是使用条件自变分编码器对发型进行自动生成。
具体实施方式
下面结合附图和实施例对本发明的具体技术方案进行说明。
如图1所示，条件变分自编码器模型的结构图，给定输入X，这里的X不是完整的，而是有缺失部分的，X为顾客图像的信息点；同时给定X对应的输出Y，这里的Y是基准真相，即指相对于新的方式得到的图像，作为基准的，由已有的、可靠的方式得到的图像；
假设潜变量z～N(0,I)，N(0,I)是标准正态分布；
P(Y|X)＝N(f(z,X),σ2*I)
增加一个编码函数g(X)来对分布P(z|X)进行估计，我们记g(X)的估计分布为Q(z|X)；这里f是将潜变量z与残缺输入的X映射到基准真相Y确定性函数，将X作为先验条件，可以得到如下表达式：
Figure BDA0002521913410000031
而
P(z|Y,X)
＝P(z,Y,X)P(Y,X)
＝P(Y|z,X)P(z|X)P(X)P(Y|X)P(X)
＝P(Y|z,X)P(z|X)P(Y|X)
最后可以得到
Figure BDA0002521913410000032
这里的P(z|X)服从N(0,I)，因为模型假设z独立于X进行采样，给定f，通过对z～N(0,I)进行采样来得到P(Y|X)中对Y的采样；
其中，P(z|X)是z的先验分布，D是kl散度，E是期望。
如图3所示，有一个编码器encoder从顾客的图像中采样，产生隐空间latentspace的概率分布，解码器decoder在隐空间中采样该点，然后返回一个伪造的图像。
如图2所示，如下图所示，M代表产生的编码，N代表每个维度的变量。对于一张给定的图像来说，编码器产生一个分布，在隐空间中采样出一个点出来，然后将该点输入到解码器当中，产生一个人造图像。
输入一张图片，编码器把图片降维成编码如
Figure BDA0002521913410000041
然后通过解码器将编码生成高维向量即新的图片，输出的图片要和输入图片越接近越好。每个输入向量的维度都代表着一些图像特点，假设0.3对应的是头发的长度，那要是将0.3调到3，那么生成拥有长头发的图片，若最后一个维度0.9代表头发是不是蓝色，那么值越大，代表头发越蓝。这样生成的图片会和原来图片非常相似，因为只改变了头发长度和颜色而已。就算输入的图片是编码器从未见过的图片，生成的图片仍然会是合理的。
图3是依据顾客发型推荐的模型对发型的颜色进行改变，将顾客的图像信息输入解码器，给定相关的发型颜色的条件，潜在空间进行选择，给定解码器以条件，输出一个新的图像。
图4是依据顾客发型推荐的模型对发型进行的输出，通过cave模型，在不改变客户面部特征的前提下，给予客户多种发型的推荐。

Claims (2)

1.一种顾客发型推荐的模型，其特征在于，编码器从顾客的图像中采样，产生隐空间的概率分布，解码器在隐空间中采样该点，然后返回一个伪造的图像。
2.根据权利要求1所述的一种顾客发型推荐的模型，其特征在于，给定输入X，这里的X不是完整的，而是有缺失部分的；同时给定X对应的输出Y，这里的Y是基准真相，即指相对于新的方式得到的图像，作为基准的，由已有的、可靠的方式得到的图像；
假设潜变量z～N(0,I)，N(0,I)是标准正态分布；
P(Y|X)＝N(f(z,X),σ2*I)
增加一个编码函数g(X)来对分布P(z|X)进行估计，我们记g(X)的估计分布为Q(z|X)；这里f是将潜变量z与残缺输入的X映射到基准真相Y确定性函数，将X作为先验条件，可以得到如下表达式：
Figure FDA0002521913400000011
而
P(z|Y,X)
＝P(z,Y,X)P(Y,X)
＝P(Y|z,X)P(z|X)P(X)P(Y|X)P(X)
＝P(Y|z,X)P(z|X)P(Y|X)
最后可以得到
Figure FDA0002521913400000012
这里的P(z|X)服从N(0,I)，因为模型假设z独立于X进行采样，给定f，通过对z～N(0,I)进行采样来得到P(Y|X)中对Y的采样；
其中，P(z|X)是z的先验分布，D是kl散度，E是期望。
CN202010493285.2A 2020-06-03 2020-06-03 一种顾客发型推荐的模型 Active CN111667342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010493285.2A CN111667342B (zh) 2020-06-03 2020-06-03 一种顾客发型推荐的模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010493285.2A CN111667342B (zh) 2020-06-03 2020-06-03 一种顾客发型推荐的模型

Publications (2)

Publication Number Publication Date
CN111667342A true CN111667342A (zh) 2020-09-15
CN111667342B CN111667342B (zh) 2022-05-17

Family

ID=72385575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010493285.2A Active CN111667342B (zh) 2020-06-03 2020-06-03 一种顾客发型推荐的模型

Country Status (1)

Country Link
CN (1) CN111667342B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862672A (zh) * 2021-02-10 2021-05-28 厦门美图之家科技有限公司 刘海生成方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013039321A2 (ko) * 2011-09-15 2013-03-21 Kim Bokyung 헤어스타일 시뮬레이션 시스템, 시뮬레이션 방법 및 시뮬레이션 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터 판단가능한 기록매체
CN107527318A (zh) * 2017-07-17 2017-12-29 复旦大学 一种基于生成对抗式网络模型的发型更换方法
CN108932705A (zh) * 2018-06-27 2018-12-04 北京工业大学 一种基于矩阵变量变分自编码器的图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013039321A2 (ko) * 2011-09-15 2013-03-21 Kim Bokyung 헤어스타일 시뮬레이션 시스템, 시뮬레이션 방법 및 시뮬레이션 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터 판단가능한 기록매체
CN107527318A (zh) * 2017-07-17 2017-12-29 复旦大学 一种基于生成对抗式网络模型的发型更换方法
CN108932705A (zh) * 2018-06-27 2018-12-04 北京工业大学 一种基于矩阵变量变分自编码器的图像处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862672A (zh) * 2021-02-10 2021-05-28 厦门美图之家科技有限公司 刘海生成方法、装置、计算机设备和存储介质
CN112862672B (zh) * 2021-02-10 2024-04-16 厦门美图之家科技有限公司 刘海生成方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111667342B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US11030722B2 (en) System and method for estimating optimal parameters
CN103180872B (zh) 图像处理装置及图像处理方法
US20070052726A1 (en) Method and system for likeness reconstruction
Chen et al. Semantic component decomposition for face attribute manipulation
Tredoux et al. An evaluation of ID: An eigenface based construction system: Reviewed article
CN111729321B (zh) 构造个性化角色的方法、系统、存储介质以及计算设备
JP7493532B2 (ja) 毛の外観の変更
CN111275613A (zh) 一种引入注意力机制生成对抗网络人脸属性编辑方法
CN111667342B (zh) 一种顾客发型推荐的模型
Melacci et al. A template-based approach to automatic face enhancement
CN105069180A (zh) 一种发型设计方法及系统
CN113221794A (zh) 一种训练数据集生成方法、装置、设备及存储介质
Blanz et al. Creating face models from vague mental images
KR102430740B1 (ko) 데이터 증강 기반 스타일 분석 모델 학습 장치 및 방법
Sugahara et al. Design of japanese kimono using interactive genetic algorithm
CN112862672A (zh) 刘海生成方法、装置、计算机设备和存储介质
Prabhu et al. Covering up bias in CelebA-like datasets with Markov blankets: A post-hoc cure for attribute prior avoidance
Reimherr et al. Optimal function-on-scalar regression over complex domains
Ju et al. Adaptive semantic attribute decoupling for precise face image editing
DiPaola Painterly rendered portraits from photographs using a knowledge-based approach
EP3794544A1 (en) Systems and methods for providing a style recommendation
CN115660948A (zh) 一种发型转换方法、装置及存储介质
Jia et al. Face aging with improved invertible conditional GANs
CN111178560A (zh) 一种基于ar技术的理发推荐预约系统
CN114677312A (zh) 基于深度学习的脸部视频合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant