CN111046976A - 一种基于深度学习的虚拟美甲试戴方法 - Google Patents

一种基于深度学习的虚拟美甲试戴方法 Download PDF

Info

Publication number
CN111046976A
CN111046976A CN201911384261.7A CN201911384261A CN111046976A CN 111046976 A CN111046976 A CN 111046976A CN 201911384261 A CN201911384261 A CN 201911384261A CN 111046976 A CN111046976 A CN 111046976A
Authority
CN
China
Prior art keywords
fingernail
nail
deep learning
manicure
try
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911384261.7A
Other languages
English (en)
Inventor
孙九爱
王超楠
刘小瑾
王雄
魏玲
吴忠航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Medicine and Health Sciences
Original Assignee
Shanghai University of Medicine and Health Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Medicine and Health Sciences filed Critical Shanghai University of Medicine and Health Sciences
Priority to CN201911384261.7A priority Critical patent/CN111046976A/zh
Publication of CN111046976A publication Critical patent/CN111046976A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的虚拟美甲试戴方法，包括：获取包含指甲的单张图片或视频影像，采用深度学习的全卷积神经网络方法，实时分割和追踪指甲区域，并结合用户选定的指甲颜色和图案模板重新着色，实现虚拟美甲试戴的功能。与现有技术相比，本发明采用深度学习和虚拟现实技术，处理拍摄获得的包含有指甲的单张照片或连续视频影像，进行指甲的实时分割和追踪，并结合选定的指甲颜色/花纹等模板实现虚拟试戴美甲的功能。该方法可以通过手机APP的形式，让顾客不受场地和设备的限制，完成美甲试戴和选择，增强顾客的体验感。

Description

一种基于深度学习的虚拟美甲试戴方法
技术领域
本发明涉及一种虚拟美甲方法，尤其是涉及一种基于深度学习的虚拟美甲试戴方法。
背景技术
随着生活水平的提高，人们正从物质生活需求更多地转向精神层面需求，美化指(趾)甲正是这方面的一个体现。美甲已经成为一种潮流，是根据个人手形、甲形、肤色、服装色彩和主观感受等，对个人指甲或趾甲(以下都仅以指甲为例来表述)重新着色或装饰，以形成各种标识个性的指甲纹理图案，满足个人对美丽形象的追求。
美甲是一个复杂的过程，包括方案选择，消毒、清洁、护理、保养和修饰美化等。其中，美甲方案的选择确定决定了后续工作的流程，显得尤为重要。为了帮助客户了解产品，掌握其真实需求，行业内一般采用美甲款式图册供顾客挑选，或者让顾客试戴预制的塑料美甲贴。这些方法方便实用，但所提供的款式相当有限，且存在个人使用卫生等问题，同时也不能直观地观察到选定的美甲方案与本人肤色和穿着等的实际匹配效果。
另外一种方式是采用数码美甲机，通过设置的摄像头获取用户指甲的图片，采用指甲分割算法进行指甲区域识别和提取，根据存储的大量美甲方案对指甲区域重新着色，并给顾客显示观看颜色方案切换后的效果。该方法解决了传统美甲方案选择的诸多问题，让顾客可以无限次地尝试不同美甲方案，方便客户挑选适合自己的方案。但这种方法只能在安装有美甲机的场所才能完成，且美甲机提供的照明光源与日常光照不尽相同，用户无法获得自己选择的美甲方案在真实环境中的展示效果。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种不受场地限制、体验感强的基于深度学习的虚拟美甲试戴方法。
本发明的目的可以通过以下技术方案来实现：
一种基于深度学习的虚拟美甲试戴方法，包括：获取包含指甲的单张图片或视频影像，采用深度学习的全卷积神经网络方法，实时分割和追踪指甲区域，并结合用户选定的指甲颜色和图案模板重新着色，实现虚拟美甲试戴的功能。
深度全卷积神经网络接受包含有指甲的原始图像作为输入，经过神经网络的处理输出获得指甲区域的分割结果；利用获得的分割区域作为掩模，根据顾客喜欢的着色方案对输入图像的指甲区域进行颜色和纹理的重新填充，实现虚拟戴甲功能。
为了获得用于指甲区域分割的深度全卷积神经网络，首先需要采用大量的原始图像和分割标注结果，训练获得有效的神经网络，并保存该网络系统的结构和权重系数，作为虚拟戴甲系统的一个重要组成部分。为了训练形成可靠的指甲区域分割算法，可以通过下述步骤：
步骤1：收集包含指甲的数字图片，形成原始指甲图片数据库。对图片中的指甲区域进行手工分割标注，得到包含划定指甲/非指甲区域的训练目标图像，并由此形成对应的原始图片的分割目标数据库；
步骤2：对所述收集整理的原始图片数据库和分割目标数据库通过旋转和平移等技术进行扩增，增加训练数据库包含的图像数量；
步骤3：将扩增后的数据库分成训练和校验两组数据，利用训练组图像训练形成网络，利用校验组数据验证网络的运行精度；
步骤4：在深度全卷积神经网络训练完成后，保存该网络系统的权重系数，形成从原始图像直接抽取指甲区域的高效深度学习网络，作为虚拟戴甲系统的一部分，负责从图片中分割获得指甲区域。
进一步地，所述深度全卷积神经网络包含有卷积层、池化层、反卷积上采样层；所述卷积层是在图像上使用滑动卷积窗口，采用尺寸大小为3×3像素的卷积核与输入原始图片中的局部数据进行加权求和运算，直到卷积完所有的输入数据；所述池化层采用最大池化法；所述反卷积层是通过上采样的方法将经过卷积和池化层后缩减的图像还原到原始图像的大小；
进一步地，通过训练好的深度全卷积神经网络指甲分割算法获得的分割结果，其边缘可以采用样条线性拟合，获得光滑的指甲边缘；
进一步地，为方便用户全面选取美甲甲型，建立指甲甲型模板数据库，用以组织和存放市场上已有的美甲甲型，该美甲甲型数据库可以与云端进行连接，以便对美甲甲型的数据进行不断更新和备份。
更进一步，该虚拟美甲系统可以通过手机APP的形式来实现，APP包含图像/视频摄取﹑美甲挑选，实时美甲跟踪﹑美甲效果展示等。
与现有技术相比，本发明具有以下优点：
(1)本发明的深度全卷积分割网络基于大数据和多种场景下的指甲特征提取，比传统的图像分割方法更有效，应用中仅需将待分割图像输入网络就可一次性获得与原图相对应的分割结果图。
(2)本发明指甲区域分割和跟踪方法，可以采用数据量相对较小的数据库，通过深度全卷积神经网络学习必要的特征，用于指甲区域的分类判别和分割，这是从图像到图像的基于像素点分类的深度学习网络结构模型，在保证了图像的分割精度的同时，也具有较快的分割速度。
(3)与传统指甲分割方法相比，本发明仅需通过一次前向运算即可完成对一幅完整图像的分割，处理效果高于目前技术水平，为自动美甲的实现提供了技术保障。
(4)本发明让用户在真正美甲前，通过增强实现方法，方便且直观地观察到预选款式在自己指甲上的实际动态效果，达到了虚拟美甲试戴的效果。
(5)本发明实现方法安全、环保，价格低廉，便于广大用户和美甲制作从业者使用和管理。
附图说明
图1为本实施例方法的流程图；
图2为本实施例全卷积神经网络的训练流程图；
图3为本实施例中虚拟美甲试戴效果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1所示，本发明提供的基于深度全卷积神经网络的指甲图像分割方法，首先输入包含指甲区域的数字图像，利用训练好的深度全卷积神经网络对输入图像中的像素进行预测判别，最后得到指甲区域的分割结果；在获得分割结果后，系统采用用户选择的美甲方案包含的颜色和纹理信息对原始图像中的指甲区域进行重新着色，达到虚拟美甲的目的。
深度全卷积神经网络接受包含有指甲的原始图像作为输入，经过神经网络的处理输出获得指甲区域的分割结果；利用获得的分割区域作为掩模，根据顾客喜欢的着色方案对输入图像的指甲区域进行颜色和纹理的重新填充，实现虚拟戴甲功能。
为了获得用于指甲区域分割的深度全卷积神经网络，首先需要采用大量的原始图像和分割标注结果，训练获得有效的神经网络，并保存该网络系统的结构和权重系数，作为虚拟戴甲系统的一个重要组成部分。为了训练形成可靠的指甲区域分割算法，可以通过下述步骤：
步骤1：收集包含指甲的数字图片，形成原始指甲图片数据库。对图片中的指甲区域进行手工分割标注，得到包含划定指甲/非指甲区域的训练目标图像，并由此形成对应的原始图片的分割目标数据库；
步骤2：对所述收集整理的原始图片数据库和分割目标数据库通过旋转和平移等技术进行扩增，增加训练数据库包含的图像数量；
步骤3：将扩增后的数据库分成训练和校验两组数据，利用训练组图像训练形成网络，利用校验组数据验证网络的运行精度；
步骤4：在深度全卷积神经网络训练完成后，保存该网络系统的权重系数，形成从原始图像直接抽取指甲区域的高效深度学习网络，作为虚拟戴甲系统的一部分，负责从图片中分割获得指甲区域。
深度全卷积神经网络包含有卷积层、池化层、反卷积上采样层；卷积层是在图像上使用滑动卷积窗口，采用尺寸大小为3×3像素的卷积核与输入原始图片中的局部数据进行加权求和运算，直到卷积完所有的输入数据；池化层采用最大池化法；反卷积层是通过上采样的方法将经过卷积和池化层后缩减的图像还原到原始图像的大小；
通过训练好的深度全卷积神经网络指甲分割算法获得的分割结果，其边缘可以采用样条线性拟合，获得光滑的指甲边缘；
为方便用户全面选取美甲甲型，建立指甲甲型模板数据库，用以组织和存放市场上已有的美甲甲型，该美甲甲型数据库可以与云端进行连接，以便对美甲甲型的数据进行不断更新和备份。
该虚拟美甲系统可以通过手机APP的形式来实现，APP包含图像/视频摄取﹑美甲挑选，实时美甲跟踪﹑美甲效果展示等。
下面通过具体实例对本发明方法及技术效果进行说明。
步骤一：以线上和线下收集的包含指甲的彩色数字图像构成的数据集作为训练和测试指甲图像集，该数据总共有2000张不同个体的指甲图像。
步骤二：通过数据扩增(平移，旋转，变形)技术，将2000张图片扩展到10000张图片。在接下去的使用中，采用交叉验证的方法将10000组图片进行分组训练和验证。
步骤三：首先对原始图像各个通道进行减均值等预处理操作，并将原始指甲图像作为全卷积神经网络的输入，将分割标注的图像作为目标图像，对搭建的全卷积神经网络进行训练和验证。其中，数据预处理包括数据收集和标注、数据扩增、数据均值和归一化处理。
步骤四：构建用于图像分割的深度全卷积神经网络，主要由卷积层、池化层、反卷积层和损失函数构成，如图2所示。网络中的卷积层由多个卷积层和ReLU激活函数组成。池化层作用于每个阶段的卷积层后，用于缩减特征图的尺寸，以实现随着网络深度的增加信息逐渐抽象化的目的。最后一个反卷积层输出像素点属于各类别的置信度，选择置信度最高的作为预测值。
步骤五：在深度全卷积神经网络训练完成后，将以网络结构和权重的形式嵌入到虚拟戴甲系统中，接收原始图像，输出分割的指甲区域。
步骤六：如图3所示，根据顾客选定的新的美甲模板，对分割出的指甲区域进行颜色和纹理的重新填充着色，实现虚拟戴甲功能。
本实施例采用深度学习和虚拟现实技术，处理拍摄获得的包含有指甲的单张照片或连续视频影像，进行指甲的实时分割和追踪，并结合选定的指甲颜色/花纹等模板实现虚拟试戴美甲的功能。该方法可以通过手机APP的形式，让顾客不受场地和设备的限制，完成美甲试戴和选择，增强顾客的体验感。

Claims (8)

1.一种基于深度学习的虚拟美甲试戴方法，其特征在于，包括：获取包含指甲的单张图片或视频影像，采用深度学习的全卷积神经网络方法，实时分割和追踪指甲区域，并结合用户选定的指甲颜色和图案模板重新着色，实现虚拟美甲试戴的功能。
2.根据权利要求1所述的一种基于深度学习的虚拟美甲试戴方法，其特征在于，所述的全卷积神经网络采用原始图像和分割标注图像训练获得，包括卷积层、池化层和反卷积层，所述的分割标注图像被分割为指甲区域和非指甲区域。
3.根据权利要求2所述的一种基于深度学习的虚拟美甲试戴方法，其特征在于，所述的卷积层采用尺寸大小为3×3像素的卷积核与原始图像中的局部数据进行加权求和运算，直到卷积完所有的输入数据。
4.根据权利要求2所述的一种基于深度学习的虚拟美甲试戴方法，其特征在于，所述池化层采用最大池化法，所述反卷积层采用上采样方法，将经过卷积和池化层后缩减的图像还原到原始图像的大小。
5.根据权利要求2所述的一种基于深度学习的虚拟美甲试戴方法，其特征在于，训练前，将原始图像数据库和分割标注图像数据库通过旋转和平移进行扩增，增加数据库中包含的图像数量。
6.根据权利要求1所述的一种基于深度学习的虚拟美甲试戴方法，其特征在于，实时分割和追踪指甲区域过程中，采用样条线性拟合，获得光滑的指甲边缘。
7.根据权利要求1所述的一种基于深度学习的虚拟美甲试戴方法，其特征在于，所述的指甲颜色和图案模板包含颜色特征和纹理特征，不同的模板通过颜色和纹理的不同组合形成，且能在分割的指甲区域进行重新着色。
8.根据权利要求1所述的一种基于深度学习的虚拟美甲试戴方法，其特征在于，所述的方法通过手机APP实现，手机用于获取图像和视频采集、图像处理和显示处理结果。
CN201911384261.7A 2019-12-28 2019-12-28 一种基于深度学习的虚拟美甲试戴方法 Withdrawn CN111046976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911384261.7A CN111046976A (zh) 2019-12-28 2019-12-28 一种基于深度学习的虚拟美甲试戴方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911384261.7A CN111046976A (zh) 2019-12-28 2019-12-28 一种基于深度学习的虚拟美甲试戴方法

Publications (1)

Publication Number Publication Date
CN111046976A true CN111046976A (zh) 2020-04-21

Family

ID=70240706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911384261.7A Withdrawn CN111046976A (zh) 2019-12-28 2019-12-28 一种基于深度学习的虚拟美甲试戴方法

Country Status (1)

Country Link
CN (1) CN111046976A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739028A (zh) * 2020-05-26 2020-10-02 华南理工大学 指甲区域图像获取方法、系统、计算设备及存储介质
CN113223147A (zh) * 2021-04-26 2021-08-06 库迪热提江·亚森 一种为消费者提供三维效果的人物装饰及搭配系统
CN113469093A (zh) * 2021-07-13 2021-10-01 上海魅奈儿科技有限公司 基于深度学习的指甲识别方法和系统
CN114880057A (zh) * 2022-04-22 2022-08-09 北京三快在线科技有限公司 图像显示方法、装置、终端、服务器及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739028A (zh) * 2020-05-26 2020-10-02 华南理工大学 指甲区域图像获取方法、系统、计算设备及存储介质
CN113223147A (zh) * 2021-04-26 2021-08-06 库迪热提江·亚森 一种为消费者提供三维效果的人物装饰及搭配系统
CN113469093A (zh) * 2021-07-13 2021-10-01 上海魅奈儿科技有限公司 基于深度学习的指甲识别方法和系统
CN114880057A (zh) * 2022-04-22 2022-08-09 北京三快在线科技有限公司 图像显示方法、装置、终端、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN111046976A (zh) 一种基于深度学习的虚拟美甲试戴方法
CN108121957B (zh) 美颜素材的推送方法及装置
CN107123083B (zh) 人脸编辑方法
US10049308B1 (en) Synthesizing training data
CN101477696B (zh) 一种人物漫画图像生成方法及装置
EP3635621A1 (en) System and method for image de-identification
CN106778785B (zh) 构建图像特征提取模型的方法及图像识别的方法、装置
CN107545576A (zh) 基于构图规则的图像编辑方法
CN109410168A (zh) 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法
CN105718885B (zh) 一种人脸特征点跟踪方法
CN108510500B (zh) 一种基于人脸肤色检测的虚拟人物形象的头发图层处理方法及系统
Wang et al. Affective image colorization
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
Jalab et al. Human computer interface using hand gesture recognition based on neural network
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN104794693A (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
Hassanat et al. Colour-based lips segmentation method using artificial neural networks
CN110543906A (zh) 基于数据增强和Mask R-CNN模型的肤质自动识别方法
CN106650628B (zh) 一种基于三维k曲率的指尖检测方法
Vishwakarma et al. Simple and intelligent system to recognize the expression of speech-disabled person
CN112819718A (zh) 图像处理方法及装置、电子设备及存储介质
CN115904191A (zh) 一种模拟化妆方法、模拟化妆系统及智能化妆台
CN113838158B (zh) 一种图像和视频的重构方法、装置、终端设备及存储介质
Zhao et al. Research on the application of computer image processing technology in painting creation
CN104952093B (zh) 虚拟染发方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200421

WW01 Invention patent application withdrawn after publication