CN111739028A - 指甲区域图像获取方法、系统、计算设备及存储介质 - Google Patents
指甲区域图像获取方法、系统、计算设备及存储介质 Download PDFInfo
- Publication number
- CN111739028A CN111739028A CN202010454641.XA CN202010454641A CN111739028A CN 111739028 A CN111739028 A CN 111739028A CN 202010454641 A CN202010454641 A CN 202010454641A CN 111739028 A CN111739028 A CN 111739028A
- Authority
- CN
- China
- Prior art keywords
- nail
- finger
- network
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 95
- 238000007639 printing Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 51
- 230000000694 effects Effects 0.000 claims abstract description 19
- 210000000282 nail Anatomy 0.000 claims description 259
- 230000015654 memory Effects 0.000 claims description 29
- 238000012795 verification Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 210000004905 finger nail Anatomy 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 210000003811 finger Anatomy 0.000 description 89
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000203475 Neopanax arboreus Species 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种指甲区域图像获取方法、系统、计算设备及存储介质，所述方法包括：搭建指甲分割网络；构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型；获取第一手指图像；调用指甲分割模型，获取第一手指图像中每个手指类别的指甲区域及对应的指甲方向；根据输入的调整指令，调整指甲区域，以调整打印位置及打印图案；将美甲效果展示在手指图像上；根据输入的打印指令，打印图案。本发明解决了现有美甲机识别指甲区域不够精确，鲁棒性不够高的技术问题，还解决了现有美甲消费无法预先查看美甲效果的问题。
Description
技术领域
本发明涉及一种指甲区域图像获取方法、系统、计算设备及存储介质，属于美甲技术领域。
背景技术
随着社会发展，越来越多的用户喜欢美甲。传统的美甲需要到专门的美甲店由美甲师进行美甲，而这种方式需要花费的时间长，且受美甲师水平影响较大。为了解决这个问题，近来市面上出现了许多美甲机，具有操作简便，美甲速度快，能自定义图案且打印清晰的优点，受到了许多用户的喜爱，使用越来越广泛。
然而，要达到较好的美甲效果，美甲机首先需要准确识别出指甲区域，才可在指甲区域进行打印。许多美甲机需要人工辅助确定打印区域，如通过与移动终端连接或在美甲机中增加显示模块让用户选择打印区域，这无疑增加了用户使用的复杂度。因此，后续的一些美甲机使用了传统的图像识别算法，如基于阈值的分割方法、区域生长和分水岭算法等，通过机器自动获取指甲区域，从而在获取的指甲区域上打印。但是，由于传统图像识别算法在识别时不够准确，且对背景及光照等较为敏感，鲁棒性较差。随着深度学习的蓬勃发展，越来越多的研究开始应用深度学习到图像分割中。然而，美甲机或移动终端的计算能力较差，难以部署大型的深度神经网络。有些产品通过在服务器部署神经网络，通过网络传输分割结果。然而，通过网络传输需要时间较长，且如果同时大量用户使用反应速度较慢。近来，研究者提出了一些较轻量级的神经网络结构，可在计算能力有限的设备中使用。然而，轻量级网络的性能有所下降，且须针对不同任务进行针对性设计与训练。
此外，用户经常是一次性对整只手的手指美甲，而当前市面上的美甲机只能对单指进行操作，用户无法预先查看美甲的整体效果，试错成本较高。
发明内容
有鉴于此，本发明提供了一种指甲区域图像获取方法、系统、计算设备及存储介质，其解决了现有美甲机识别指甲区域不够精确，鲁棒性不够高的技术问题，还解决了现有美甲消费无法预先查看美甲效果的问题。
本发明的第一个目的在于提供一种指甲区域图像获取方法。
本发明的第二个目的在于提供一种指甲区域图像获取系统。
本发明的第三个目的在于提供一种计算设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种指甲区域图像获取方法，所述方法包括：
搭建指甲分割网络；
构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型；
获取第一手指图像；
调用指甲分割模型，获取第一手指图像中每个手指类别的指甲区域及对应的指甲方向。
进一步的，所述方法还包括：
根据输入的调整指令，调整指甲区域，以调整打印位置及打印图案；
将美甲效果展示在手指图像上；
根据输入的打印指令，打印图案。
进一步的，所述构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型，具体包括：
收集真实场景中的手指图像作为第二手指图像，标注第二手指图像中每个手指类别的指甲区域及对应的指甲方向，构建指甲数据集；
对指甲分割网络进行初始化，使编码器网络权重使用在ImageNet数据集预训练的参数，解码器网络权重使用随机初始化；
设置指甲分割网络的初始学习率，以及设置每一次训练迭代的第二手指图像数量；
从构建的指甲数据集中，随机选取一部分作为训练集，一部分作为验证集；
对训练集和验证集中的第二手指图像进行预处理；
根据预处理后的训练集和验证集，采用随机梯度下降算法，对指甲分割网络进行迭代训练，得到指甲分割模型。
进一步的，所述设置指甲分割网络的初始学习率，以及设置每一次训练迭代的手指图像数量，具体为：设置指甲分割网络的初始学习率为0.01，以及设置每一次训练迭代的手指图像数量为64。
进一步的，所述指甲分割网络采用Unet网络结构作为语义分割主体网络，并在Unet网络结构中加入方向识别子网络，所述指甲分割网络中的编码器网络采用MobileNet网络结构。
进一步的，所述第一手指图像为任意角度及背景下的五指指甲清晰可见的单手图像，该单手图像中的手势为五指伸直的手势或五指弯曲的手势；
或所述第一手指图像为任意角度及背景下的仅有一个手指指甲清晰可见的单指图像，主体为指甲区域及部分手指。
本发明的第二个目的可以通过采取如下技术方案达到：
一种指甲区域图像获取系统，所述系统包括：
搭建模块，用于搭建指甲分割网络；
训练模块，用于构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型；
第一获取模块，用于获取第一手指图像；
第二获取模块，用于调用指甲分割模型，获取第一手指图像中每个手指类别的指甲区域及对应的指甲方向。
进一步的，所述系统还包括：
调整模块，用于根据输入的调整指令，调整指甲区域，以调整打印位置及打印图案；
展示模块，用于将美甲效果展示在手指图像上；
打印模块，用于根据输入的打印指令，打印图案。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的指甲区域图像获取方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的指甲区域图像获取方法。
本发明相对于现有技术具有如下的有益效果：
本发明通过搭建指甲分割网络，并对搭建指甲分割网络进行训练，得到指甲分割模型，通过训练得到的指甲分割模型，能够在各种复杂背景和光照等条件下快速准确地获取每个手指类别的指甲区域及对应的指甲方向，鲁棒性较好，有利于能够更准确地进行美甲打印或展示美甲效果，提升用户体验和美甲效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的指甲区域图像获取方法流程图。
图2为本发明实施例1的指甲分割网络的结构图。
图3为本发明实施例1的对指甲分割网络进行训练的流程图。
图4为本发明实施例1的五指伸直的第一手指图像为示意图。
图5为本发明实施例1的五指弯曲的第一手指图像的示意图。
图6为本发明实施例2的指甲区域图像获取系统的结构框图。
图7为本发明实施例2的训练模块的结构图。
图8为本发明实施例3的计算设备的结构框图。
图9为本发明实施例3的计算机的结构框图。
图10为本发明实施例3的移动终端的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例1：
如图1所示，本实施例提供了一种指甲区域图像获取方法，该方法包括以下步骤：
S101、搭建指甲分割网络。
指甲分割网络的结构如图2所示，本实施例的指甲分割网络采用Unet网络结构[Ronneberger O,Fischer P,Brox T.U-net:Convolutional networks for biomedicalimage segmentation[C]//International Conference on Medical image computingand computer-assisted intervention.Springer,Cham,2015:234-241.]作为语义分割主体网络，Unet网络属于编码器(下采样)-解码器(上采样)结构，同时采用了跳跃连接。编码器用于特征提取，由卷积操作和下采样操作组成，原论文中采用的卷积结构为五个参数统一为2个3x3的卷积核、padding为0和striding为1的卷积层组，下采样结构为四个Maxpool(最大池化)实现的池化层；解码器用于恢复原始分辨率，包含四个子模块，除了与编码器相似的卷积层组外，关键的步骤是上采样结构和跳跃连接，上采样结构为四个双线性插值操作，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致。跳跃连接用于融合不同层次的特征，将上采样结果与编码器中具有相同分辨率的卷积层组的输出进行拼接，作为解码器中下一个子模块的输入。
为了减少计算量及内存占用，使指甲分割网络可以部署到移动终端(手机、平板电脑等)或美甲机等资源有限的设备中，将编码器改成MobileNet V2网络结构[Sandler M,Howard A,Zhu M,et al.Mobilenetv2:Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018:4510-4520.]。MobileNet V2网络将标准的3x3的卷积核替换成一个1x1的点卷积核和3x3的深度卷积核，降低了参数量和计算量；并采用具有线性瓶颈的反向残差模块，允许通过稀疏化的大的中间层的特征图来显著减少所需要占用的内存空间，减少了对内存的需求。
为了得到指甲区域的方向，用于后续调整指甲打印方向及效果预览，本实施例在Unet网络结构中加入方向识别子网络，以识别每个指甲区域方向，使用编码器的最高维特征作为输入，输出包括每个手指类别对应的指甲方向。通过添加方向识别子网络，网络能同时完成分割指甲区域和识别指甲区域方向两个任务，能学习到更多与指甲区域相关特征。
指甲分割网络的输入图像大小为256*256*3，这三维数值分别是图像的宽度、高度和通道数。每一张输入图像数据被压缩成256*256*3的大小，显示美甲效果时可按原图像比例恢复。通过这样的方式，确保不会丢失图像的全局信息。指甲区域及方向的输出通道数均设置为5，通过这种方式，使网络每一个输出通道分别对应大拇指、食指、中指、无名指及小拇指五个手指类别。指甲区域结果每个通道输出的大小为256*256，与原图像大小相同，每个通道上像素点的值为1或0，值为1的区域即为对应的指甲区域。指甲方向结果每个通道输出一个在0～360°之间的实数。
需要指出的是，本实施例虽然使用了上述的深度学习卷积神经网络以及相应输出，但实际上对使用的深度学习卷积神经网络的具体结构并无特别的限制，只要是存在输出为每个手指类别的指甲区域及对应的指甲方向的网络及轻量级网络均可使用本实施例所给出的方法。
S102、构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型。
该步骤S102如图3所示，具体包括：
S1021、收集真实场景中的手指图像作为第二手指图像，标注第二手指图像中每个手指类别的指甲区域及对应的指甲方向，构建指甲数据集。
本实施例中，收集真实场景中的手指图像，可以通过采集方式收集，例如通过摄像头拍摄真实场景中的手指图像，也可以从数据库查找收集，例如预先在数据库内存储真实场景中的手指图像，从数据库中真实场景中的手指图像即可得到。
收集真实场景中的手指图像作为第二手指图像，使用标注工具标注第二手指图像中每个手指类别的指甲区域及对应的指甲方向，构建指甲数据集。
S1022、对指甲分割网络进行初始化，使编码器网络权重使用在ImageNet数据集预训练的参数，解码器网络权重使用随机初始化。
其中，ImageNet数据集是计算机领域常用于预训练的大型数据集，能提高神经网络提取特征性能。
S1023、设置指甲分割网络的初始学习率，以及设置每一次训练迭代的第二手指图像数量。
具体地，设置指甲分割网络的初始学习率为0.01，所有学习率都在损失函数收敛后下降20％，以及设置每一次训练迭代的手指图像数量为64。
S1024、从构建的指甲数据集中，随机选取一部分作为训练集，一部分作为验证集。
具体地，从构建的指甲数据集中，随机选取80％的第二手指图像作为训练集，15％的第二手指图像作为测试集，5％的第二手指图像作为验证集。
S1025、对训练集和验证集中的第二手指图像进行预处理。
具体地，对训练集和验证集中的第二手指图像进行归一化、翻转、剪切和旋转。
S1026、根据预处理后的训练集和验证集，采用随机梯度下降算法，对指甲分割网络进行迭代训练，得到指甲分割模型。
具体地，以图像、对应的指甲区域掩膜及方向作为输入，采用随机梯度下降算法，对指甲分割网络进行迭代训练，对参数进行更新，得到在测试集效果最好的指甲分割模型，该训练得到的指甲分割模型具有较好的分割及识别效果。
上述步骤S101～S102为准备阶段，可以通过计算机或服务器执行，其中计算机可以为搭载有高性能GPU的电脑，计算机或服务器将训练得到的指甲分割模型导出为指甲分割模型文件，转换为移动终端或美甲机之类的嵌入式设备可用的文件格式，包括但不止FlatBuffer、pb或TorchScript格式等，将指甲分割模型文件传输给移动终端或美甲机，开发移动终端或美甲机可用的程序，将指甲分割模型文件打包到发布程序中，从而部署在移动终端或美甲机中，通过移动终端或美甲机执行接下来的步骤，接下来的步骤为应用阶段，无需网络将图像传输到服务器中进行处理。
S103、获取第一手指图像。
获取第一手指图像可以有以下两种使用场景：
(1)若使用的是移动终端，通过其摄像头拍摄单手图像作为第一手指图像，该单手图像为任意角度及背景下的五指指甲清晰可见(即包括完整的五指指甲区域)的单手图像，单手图像中的手势可以为五指伸直的手势，如图4所示，单手图像中的手势也可以为五指弯曲的手势，如图5所示。
(2)若使用的是美甲机，通过其摄像头拍摄置入美甲机内的单指图像作为第一手指图像，该单指图像为任意角度及背景下的仅有一个手指指甲清晰可见(即指甲区域完整)的单指图像，主体为指甲区域及部分手指，美甲机获取的单指图像也可以传输给用户使用的移动终端。
S104、调用指甲分割模型，获取第一手指图像中每个手指类别的指甲区域及对应的指甲方向。
具体地，调用指甲分割模型，将第一手指图像输入到指甲分割模型，通过指甲分割模型输出第一手指图像中每个手指类别的指甲区域及对应的指甲方向，若第一手指图像为单手图像，五个输出通道都有对应的指甲区域和方向结果；若第一手指图像为单指图像，只有一个输出通道有指甲区域和方向结果。
本实施例的指甲区域图像获取方法还可包括：
S105、根据输入的调整指令，调整指甲区域，以调整打印位置及打印图案。
用户可以通过移动终端或美甲机输入调整指令，移动终端或美甲机接收到输入的调整指令后，根据调整指令，调整指甲区域，以调整打印位置及打印图案。
S106、将美甲效果展示在手指图像上。
通过将美甲效果展示在手指图像上，可以方便用户预先查看美甲效果。
S107、根据输入的打印指令，打印图案。
移动终端在执行该步骤时，需要连接打印机，而美甲机则可以直接执行该步骤，用户可以通过移动终端或美甲机输入打印指令，移动终端或美甲机接收到输入的打印指令后，根据打印指令，打印图案。
本领域技术人员可以理解，实现上述实施例方法中的所有步骤也可以直接通过计算机或服务器实现，相应的程序可以存储于计算机可读取存储介质中。
实施例2：
如图6所示，本实施例提供了一种指甲区域图像获取系统，该系统包括搭建模块601、训练模块602、第一获取模块603和第二获取模块604，各个模块的具体功能如下：
搭建模块601，用于搭建指甲分割网络。
训练模块602，用于构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型。
第一获取模块603，用于获取第一手指图像。
第二获取模块604，用于调用指甲分割模型，获取第一手指图像中每个手指类别的指甲区域及对应的指甲方向。
进一步地，本实施例的指甲区域图像获取系统还可包括：
调整模块605，用于根据输入的调整指令，调整指甲区域，以调整打印位置及打印图案。
展示模块606，用于将美甲效果展示在手指图像上。
打印模块607，用于根据输入的打印指令，打印图案。
进一步地，本实施例的训练模块602如图7所示，具体包括：
构建单元6021，用于收集真实场景中的手指图像作为第二手指图像，标注第二手指图像中每个手指类别的指甲区域及对应的指甲方向，构建指甲数据集。
初始化单元6022，用于对指甲分割网络进行初始化，使编码器网络权重使用在ImageNet数据集预训练的参数，解码器网络权重使用随机初始化。
设置单元6023，用于设置指甲分割网络的初始学习率，以及设置每一次训练迭代的第二手指图像数量。
选取单元6024，用于从构建的指甲数据集中，随机选取一部分作为训练集，一部分作为验证集。
预处理单元6025，用于对训练集和验证集中的第二手指图像进行预处理。
训练单元6026，用于根据预处理后的训练集和验证集，采用随机梯度下降算法，对指甲分割网络进行迭代训练，得到指甲分割模型。
本领域技术人员可以理解，上述模块可以在同一台设备中，也可以不在同一台设备中，例如：搭建模块601和训练模块602置于计算机或服务器中，第一获取模块603、第二获取模块604、调整模块605、展示模块606和打印模块607置于移动终端或美甲机中，又例如：搭建模块601和训练模块602置于计算机或服务器中，第一获取模块603和打印模块607置于美甲机中，第二获取模块604、调整模块605和展示模块606置于移动终端。
需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
如图8所示，本实施例提供了一种计算设备，该计算设备包括相连的计算机801和移动终端802，计算机801和移动终端802的具体功能如下：
计算机801用于搭建指甲分割网络；构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型。
移动终端802，用于获取第一手指图像；调用指甲分割模型，获取第一手指图像中每个手指类别的指甲区域及对应的指甲方向。
进一步地，移动终端802连接打印机后，还可用于根据输入的调整指令，调整指甲区域，以调整打印位置及打印图案；将美甲效果展示在手指图像上；根据输入的打印指令，打印图案。
计算机801的结构如图9所示，包括通过系统总线8011连接的第一处理器8012、第一存储器、输入装置8013、显示器8014和网络接口8015，该第一处理器用于提供计算和控制能力，该第一存储器包括非易失性存储介质8016和内存储器8017，该非易失性存储介质8016存储有操作系统、计算机程序和数据库，该内存储器8017为非易失性存储介质中的操作系统和计算机程序的运行提供环境，第一处理器8012执行存储器存储的计算机程序时，实现上述计算机801的功能，通过网络接口8015可以将指甲分割模型传输给移动终端802。
移动终端802的结构如图10所示，包括第二处理器8021、第二存储器8022、射频电路8023、输入单元8024、显示单元8025、传感器8026、传输单元8027、摄像头8028、电源8029等部件，第二存储器8022、射频电路8023、输入单元8024、显示单元8025、传感器8026、传输单元8027、摄像头8028分别与第二处理器8021相连，电源8024(例如电池)用于给各个部件供电，通过传输单元8027可以接收计算机801传输的指甲分割模型。
第二处理器8021是移动终端802的控制中心，利用各种接口和线路连接整个移动终端802的各个部分，通过运行或执行存储在第二存储器8022内的计算机程序，以及调用存储在第二存储器8022内的数据，执行移动终端802的各种功能和处理数据，从而对手机进行整体监控。可选的，第二处理器8021可包括一个或多个处理核心；优选的，第二处理器8021可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到第二处理器8021中。
第二存储器8022包括计算机可读存储介质，可用于存储应用程序；第二存储器8022可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器，非易失性存储器可包括操作系统和数据库；此外，第二存储器8022可进一步包括相对于第二存储器8022远程设置的存储器，这些远程存储器可以通过网络连接至用户设备；其中，网络包括但不限于互联网、企业内部网、局域网、移动通信网及其组合；第二处理器8021通过运行存储在第二存储器8022的用户应用程序或服务商应用程序时，从而实现上述移动终端802的功能。
本领域技术人员可以理解，上述计算机801实现的功能也可以通过服务器实现；上述移动终端802实现的功能也可以通过美甲机实现；上述计算机801和移动终端802实现的功能也可以直接通过计算机801来实现，只要连接摄像头和打印机即可。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时，实现上述实施例1的指甲区域图像获取方法，具体为：搭建指甲分割网络；构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型；获取第一手指图像；调用指甲分割模型，获取第一手指图像中每个手指类别的指甲区域及对应的指甲方向。
进一步地，还可包括：根据输入的调整指令，调整指甲区域，以调整打印位置及打印图案；将美甲效果展示在手指图像上；根据输入的打印指令，打印图案。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以是美甲设备中所包含的；也可以是单独存在，而未装配入该美甲设备中。可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照上述各个实施例的方法、系统和计算设备的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。描述于上述实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，上述实施例中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与上述实施例公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
本领域技术人员应当理解，本发明不限于上述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种指甲区域图像获取方法，其特征在于，所述方法包括：
搭建指甲分割网络；
构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型；
获取第一手指图像；
调用指甲分割模型，获取第一手指图像中每个手指类别的指甲区域及对应的指甲方向。
2.根据权利要求1所述的指甲区域图像获取方法，其特征在于，所述方法还包括：
根据输入的调整指令，调整指甲区域，以调整打印位置及打印图案；
将美甲效果展示在手指图像上；
根据输入的打印指令，打印图案。
3.根据权利要求1-2任一项所述的指甲区域图像获取方法，其特征在于，所述构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型，具体包括：
收集真实场景中的手指图像作为第二手指图像，标注第二手指图像中每个手指类别的指甲区域及对应的指甲方向，构建指甲数据集；
对指甲分割网络进行初始化，使编码器网络权重使用在ImageNet数据集预训练的参数，解码器网络权重使用随机初始化；
设置指甲分割网络的初始学习率，以及设置每一次训练迭代的第二手指图像数量；
从构建的指甲数据集中，随机选取一部分作为训练集，一部分作为验证集；
对训练集和验证集中的第二手指图像进行预处理；
根据预处理后的训练集和验证集，采用随机梯度下降算法，对指甲分割网络进行迭代训练，得到指甲分割模型。
4.根据权利要求3所述的指甲区域图像获取方法，其特征在于，所述设置指甲分割网络的初始学习率，以及设置每一次训练迭代的手指图像数量，具体为：设置指甲分割网络的初始学习率为0.01，以及设置每一次训练迭代的手指图像数量为64。
5.根据权利要求1-2任一项所述的指甲区域图像获取方法，其特征在于，所述指甲分割网络采用Unet网络结构作为语义分割主体网络，并在Unet网络结构中加入方向识别子网络，所述指甲分割网络中的编码器网络采用MobileNet网络结构。
6.根据权利要求1-2任一项所述的指甲区域图像获取方法，其特征在于，所述第一手指图像为任意角度及背景下的五指指甲清晰可见的单手图像，该单手图像中的手势为五指伸直的手势或五指弯曲的手势；
或所述第一手指图像为任意角度及背景下的仅有一个手指指甲清晰可见的单指图像，主体为指甲区域及部分手指。
7.一种指甲区域图像获取系统，其特征在于，所述系统包括：
搭建模块，用于搭建指甲分割网络；
训练模块，用于构建指甲数据集，并根据指甲数据集，对指甲分割网络进行训练，得到指甲分割模型；
第一获取模块，用于获取第一手指图像；
第二获取模块，用于调用指甲分割模型，获取第一手指图像中每个手指类别的指甲区域及对应的指甲方向。
8.根据权利要求7所述的指甲区域图像获取系统，所述系统还包括：
调整模块，用于根据输入的调整指令，调整指甲区域，以调整打印位置及打印图案；
展示模块，用于将美甲效果展示在手指图像上；
打印模块，用于根据输入的打印指令，打印图案。
9.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-6任一项所述的指甲区域图像获取方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的指甲区域图像获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010454641.XA CN111739028A (zh) | 2020-05-26 | 2020-05-26 | 指甲区域图像获取方法、系统、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010454641.XA CN111739028A (zh) | 2020-05-26 | 2020-05-26 | 指甲区域图像获取方法、系统、计算设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111739028A true CN111739028A (zh) | 2020-10-02 |
Family
ID=72647773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010454641.XA Pending CN111739028A (zh) | 2020-05-26 | 2020-05-26 | 指甲区域图像获取方法、系统、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111739028A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435982A (zh) * | 2021-07-22 | 2021-09-24 | 创优数字科技(广东)有限公司 | 一种指甲油推荐方法、装置、设备和介质 |
| CN113469093A (zh) * | 2021-07-13 | 2021-10-01 | 上海魅奈儿科技有限公司 | 基于深度学习的指甲识别方法和系统 |
| WO2022095860A1 (zh) * | 2020-11-05 | 2022-05-12 | 北京达佳互联信息技术有限公司 | 指甲特效的添加方法及装置 |
| WO2023273227A1 (zh) * | 2021-06-30 | 2023-01-05 | 北京市商汤科技开发有限公司 | 指甲识别方法、装置、设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105058797A (zh) * | 2015-08-20 | 2015-11-18 | 上海中医药大学附属岳阳中西医结合医院 | 一种3d打印美甲的方法 |
| CN107198335A (zh) * | 2017-06-19 | 2017-09-26 | 浙江启昊科技有限公司 | 一种用于美甲机的打印步骤以及美甲方法 |
| CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
| US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| CN109191940A (zh) * | 2018-08-31 | 2019-01-11 | 广东小天才科技有限公司 | 一种基于智能设备的交互方法及智能设备 |
| CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
| CN109785341A (zh) * | 2019-01-14 | 2019-05-21 | 深圳市邻友通科技发展有限公司 | 一种美甲装置指甲区域图像获取方法、系统、美甲设备和介质 |
| CN110458173A (zh) * | 2019-08-16 | 2019-11-15 | 京东数字科技控股有限公司 | 用于生成物品颜色值的方法和装置 |
| CN111047632A (zh) * | 2019-12-03 | 2020-04-21 | 成都品果科技有限公司 | 一种指甲图像的图色处理方法和装置 |
| CN111046976A (zh) * | 2019-12-28 | 2020-04-21 | 上海健康医学院 | 一种基于深度学习的虚拟美甲试戴方法 |
| CN111047526A (zh) * | 2019-11-22 | 2020-04-21 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| WO2020093042A1 (en) * | 2018-11-02 | 2020-05-07 | Deep Lens, Inc. | Neural networks for biomedical image analysis |
-
2020
- 2020-05-26 CN CN202010454641.XA patent/CN111739028A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105058797A (zh) * | 2015-08-20 | 2015-11-18 | 上海中医药大学附属岳阳中西医结合医院 | 一种3d打印美甲的方法 |
| US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| CN107198335A (zh) * | 2017-06-19 | 2017-09-26 | 浙江启昊科技有限公司 | 一种用于美甲机的打印步骤以及美甲方法 |
| CN108345831A (zh) * | 2017-12-28 | 2018-07-31 | 新智数字科技有限公司 | 基于点云数据的道路图像分割的方法、装置以及电子设备 |
| CN109191940A (zh) * | 2018-08-31 | 2019-01-11 | 广东小天才科技有限公司 | 一种基于智能设备的交互方法及智能设备 |
| WO2020093042A1 (en) * | 2018-11-02 | 2020-05-07 | Deep Lens, Inc. | Neural networks for biomedical image analysis |
| CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
| CN109785341A (zh) * | 2019-01-14 | 2019-05-21 | 深圳市邻友通科技发展有限公司 | 一种美甲装置指甲区域图像获取方法、系统、美甲设备和介质 |
| CN110458173A (zh) * | 2019-08-16 | 2019-11-15 | 京东数字科技控股有限公司 | 用于生成物品颜色值的方法和装置 |
| CN111047526A (zh) * | 2019-11-22 | 2020-04-21 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111047632A (zh) * | 2019-12-03 | 2020-04-21 | 成都品果科技有限公司 | 一种指甲图像的图色处理方法和装置 |
| CN111046976A (zh) * | 2019-12-28 | 2020-04-21 | 上海健康医学院 | 一种基于深度学习的虚拟美甲试戴方法 |
Non-Patent Citations (6)
| Title |
|---|
| MARK SANDLER ET AL.: "Mobilenetv2:Inverted residuals and linear bottlenecks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 4510 - 4520 * |
| MENNATULLAH SIAM ET AL.: ""RTSeg: Real-Time Semantic Segmentation Comparative Study"", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
| OLAF RONNEBERGER ET AL.: "".U-net:Convolutional networks for biomedical"", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING》 * |
| OLAF RONNEBERGER ET AL.: "U-net:Convolutional networks for biomedical image segmentation[", 《MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION – MICCAI 2015》, pages 234 * |
| 孙宁: ""基于感知哈希算法和深度学习的指甲定位与疾病识别系统"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 01 * |
| 王伟凝等: ""基于并行深度卷积神经网络的图像美感分类"", 《自动化学报》, vol. 42, no. 6 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022095860A1 (zh) * | 2020-11-05 | 2022-05-12 | 北京达佳互联信息技术有限公司 | 指甲特效的添加方法及装置 |
| WO2023273227A1 (zh) * | 2021-06-30 | 2023-01-05 | 北京市商汤科技开发有限公司 | 指甲识别方法、装置、设备及存储介质 |
| CN113469093A (zh) * | 2021-07-13 | 2021-10-01 | 上海魅奈儿科技有限公司 | 基于深度学习的指甲识别方法和系统 |
| CN113435982A (zh) * | 2021-07-22 | 2021-09-24 | 创优数字科技(广东)有限公司 | 一种指甲油推荐方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111739028A (zh) | 指甲区域图像获取方法、系统、计算设备及存储介质 | |
| CN110020620B (zh) | 一种大姿态下的人脸识别方法、装置及设备 | |
| CN109522874B (zh) | 人体动作识别方法、装置、终端设备及存储介质 | |
| CN110322416B (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
| CN108681743B (zh) | 图像对象识别方法和装置、存储介质 | |
| CN111160350B (zh) | 人像分割方法、模型训练方法、装置、介质及电子设备 | |
| CN110428428A (zh) | 一种图像语义分割方法、电子设备和可读存储介质 | |
| CN110263909A (zh) | 图像识别方法及装置 | |
| CN110287775B (zh) | 手掌图像裁剪方法、装置、计算机设备及存储介质 | |
| CN107993651B (zh) | 一种语音识别方法、装置、电子设备及存储介质 | |
| WO2022094293A1 (en) | Deep-learning based speech enhancement | |
| CN112132739A (zh) | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 | |
| CN111950700A (zh) | 一种神经网络的优化方法及相关设备 | |
| CN113378897A (zh) | 基于神经网络的遥感图像分类方法、计算设备及存储介质 | |
| CN110619334A (zh) | 基于深度学习的人像分割方法、架构及相关装置 | |
| CN110121719A (zh) | 用于深度学习的装置、方法和计算机程序产品 | |
| CN115410274A (zh) | 一种手势识别方法、装置及存储介质 | |
| CN114495916B (zh) | 背景音乐的插入时间点确定方法、装置、设备和存储介质 | |
| CN112580567A (zh) | 一种模型获取方法、模型获取装置及智能设备 | |
| CN113658326A (zh) | 三维毛发的重建方法及装置 | |
| CN104573737B (zh) | 特征点定位的方法及装置 | |
| CN114998583A (zh) | 图像处理方法、图像处理装置、设备及存储介质 | |
| CN116543076B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112884780A (zh) | 一种用于人体姿态的估计方法和系统 | |
| JP7479507B2 (ja) | 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |