CN113469093A - 基于深度学习的指甲识别方法和系统 - Google Patents

Abstract

本发明公开了基于深度学习的指甲识别方法和系统，涉及智能美甲技术领域，基于深度学习的指甲识别方法，包括以下步骤：预先基于图像采集终端获取手部原始图像；将获取的手部原始图像作为深度学习的图像分割网络的输入，获取手部原始图像中每个像素属于指甲区域的概率值。基于深度学习的指甲识别系统，包括：原始图像获取模块，用于采集手部原始图像；目标图像提取模块，进行提取指甲掩码图；轮廓提取识别模块，提取指甲轮廓进行识别指甲偏转角度和倾斜信息。本发明在指甲识别前不需要预先在指甲面涂甲油胶和防溢胶，且可对多个指甲同时识别，相比较于传统图像分割方法，采用深度学习方法适应性更强，识别精度更高。

Description

基于深度学习的指甲识别方法和系统

技术领域

本发明涉及智能美甲技术领域，具体来说，涉及基于深度学习的指甲识别方法和系统。

背景技术

随着美妆行业的发展，数码美甲机也顺着科技发展快速改变提升，美甲彩绘机是一种在手指指甲上喷涂图案的设备，可以打印各种复杂图案，美甲机可以在节约了消费者时间的同时满足顾客的需求，摆脱了人工美甲效率低、效果依赖于美甲师个人技能的缺点。

当前，智能美甲机大多只针对单个指甲面进行打印，美甲机在准备美甲前首先需要预先在指甲面涂甲油胶，甲油胶颜色与手托周围环境及手指颜色不同，然后对指甲的轮廓进行识别，这严重制约了美甲的时间以及识别精度。且由于只是针对单个指甲进行打印，不需要识别指甲面的旋转角度和倾斜情况。

目前，采用把四指(四指指食指、中指、无名指，小指这四指)和拇指布置在不同平面，即按照人手的结构，左手拇指布置在手板右侧，垂直于四指所在平面，右手拇指布置在手板左侧，垂直于四指所在平面的方案。在这个方案下，手指放到工作区域后，会出现指甲面倾斜的情况，例如小指指甲面的自然倾斜，或者拇指的指甲面自然倾斜，指甲面倾斜会导致打印图案歪斜；另外，现有技术是对单个指甲进行识别，在指甲面要预先涂甲油胶，甲油胶颜色与手托周围环境及手指颜色不同，通常为白色，然后进行识别，步骤繁琐，增加了美甲时间。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出基于深度学习的指甲识别方法和系统，克服目前对四个手指进行同时打印时或者四个手指同时处在工作区域时，指甲面会出现偏转和倾斜，由于偏转打印出的图案可能缺失以及打印图案方向与指甲面方向不一致，甚至指甲的倾斜导致打印不到的技术问题。

本发明的技术方案是这样实现的：

本发明一个方面，基于深度学习的指甲识别方法和系统，包括以下步骤：

步骤S1，预先基于图像采集终端获取手部原始图像；

步骤S2，将获取的手部原始图像作为深度学习的图像分割网络的输入，获取手部原始图像中每个像素属于指甲区域的概率值，其中，包括：将概率值大于预设概率值的像素点标记为指甲区域，小于预设概率值的像素点标记为非指甲区域，得到手部原始图像的指甲掩码图像；

步骤S4，通过轮廓提取算法提取指甲掩码图像中指甲的轮廓坐标；

步骤S5，基于指甲掩码图像中指甲的轮廓坐标分别进行获取每个指甲的偏转角度和倾斜信息并发送给图像采集终端。

进一步的，所述图像采集终端，包括：机体，所述机体内分别设有控制板、手槽结构、微型电机和摆动板，所述手槽结构位于所述摆动板的上方，所述微型电机与所述摆动板连接，其中，所述手槽结构包括至少四组手指槽，所述手指槽内设有气囊和限位条，所述限位条位于所述气囊的上方，且所述手槽结构顶端设有摄像头模块。

其中，所述得到手部原始图像的指甲掩码图像，还包括以下步骤：

步骤S3，对指甲掩码图像中的指甲边缘做平滑处理，得到光滑的指甲掩码图像。

其中，所述提取指甲掩码图像中指甲的轮廓坐标，还包括以下步骤：

步骤S401，将获取的轮廓坐标按顺时针进行重新排列，包括将纵坐标与指甲轮廓外接矩形的左上顶点相同的第一个坐标点作为起始点；

步骤S402，并将提取后的轮廓坐标发送给图像采集终端。

其中，所述偏转角度，包括以下步骤：

步骤S501，预先单独提取出每个指甲的指甲掩码图像；

步骤S502，通过Opencv图像处理函数库提取每个指甲掩码图像的轮廓，并使用最小矩形拟合，返回最小矩形以左上顶点为原点的旋转角度；

步骤S503，标定该旋转角度为指甲的旋转角度。

其中，所述倾斜信息，包括以下步骤：

步骤S504，通过Opencv图像处理函数库得到指甲轮廓最小矩形的重心；

步骤S505，计算中心坐标与最小矩形垂直中心线的距离和获取重心在中心线的左右位置并计算该距离与矩形的宽度比值；

步骤S506，基于重心在中心线的左右位置获取倾斜信息。

本发明另一个方面，基于深度学习的指甲识别系统，用于所述基于深度学习的指甲识别方法的系统，包括：

原始图像获取模块，用于采集手部原始图像；

目标图像提取模块，用于接收所述原始图像获取模块的手部原始图像并进行提取指甲掩码图；

轮廓提取识别模块，用于接收所述目标图像提取模块的指甲掩码图，并提取指甲轮廓进行识别指甲偏转角度和倾斜信息。

本发明另一个方面，计算机设备，用于所述基于深度学习的指甲识别方法的系统，包括：

存储器和处理器，所述存储器存储有计算机程序。

本发明另一个方面，计算机可读存储介质，用于所述计算机设备，包括：存储介质存储有计算机程序。

本发明的有益效果：

本发明基于深度学习的指甲识别方法和系统，通过预先获取手部原始图像，获取手部原始图像中每个像素属于指甲区域的概率值，并得到手部原始图像的指甲掩码图像，提取指甲掩码图像中指甲的轮廓坐标并获取每个指甲的偏转角度和倾斜信息，实现在指甲识别前不需要预先在指甲面涂甲油胶和防溢胶，且可对多个指甲同时识别，相比较于传统图像分割方法，采用深度学习方法适应性更强，识别精度更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于深度学习的指甲识别方法场景示意图；

图2是根据本发明实施例的基于深度学习的指甲识别方法流程示意图；

图3是根据本发明实施例的基于深度学习的指甲识别方法采集示意图；

图4是根据本发明实施例的基于深度学习的指甲识别方法分割后的指甲掩码图示意图；

图5是根据本发明实施例的基于深度学习的指甲识别方法滤波后的指甲掩码图示意图；

图6是根据本发明实施例的基于深度学习的指甲识别方法指甲轮廓示意图；

图7是根据本发明实施例的基于深度学习的指甲识别方法机体结构示意图；

图8是根据本发明实施例的基于深度学习的指甲识别系统的原理框图；

图9是根据本发明实施例的计算机设备的原理示意图。

图中：

1、控制板；2、摄像头模块；3、气囊；4、限位条；5、手指槽；6、手槽结构；7、微型电机；8、摆动板。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的一个实施例，提供了基于深度学习的指甲识别方法。

如图1-图2所示，根据本发明实施例的基于深度学习的指甲识别方法，包括以下步骤：

步骤S1，如图3所示，通过具有图像采集功能的图像采集终端，采集手部原始图像，例如：摄像头等，假设采集的图像2448×2048大小的彩色图像；

步骤S2，对采集的图像首先进行预处理，统一缩放至721×721大小以加快识别速度，另外为了减少图像采集中可能存在的各种因素的影响，可以对该图像作中值滤波处理，目的是减少所采集图像中椒盐噪声的影响，例如采用滤波核大小为5×5的中值滤波方法；对滤波后的图像还可以再做高斯滤波处理，降低高斯噪声对采集图片的影响，例如采用3×3的高斯滤波方法。

步骤S3，如图4所示，将预处理后的图像通过训练好的基于深度学习的图像分割网络如pspnet，得到原始图像中每个像素属于指甲区域的概率值，范围为0-1；通过深度学习分割方法避免了复杂的特征处理，具有良好的检测精度和边界精度。

步骤S4，将概率值大于预设概率值如0.5的像素点标记为指甲区域，小于预设概率值的像素点标记为非指甲区域，即将概率值大于一定值的像素设为1，得到的图像为指甲掩码图像，该图像为二值化图像仅由0和1组成。示例图为了方便显示将1设为179。

步骤S5，如图5所示，由于指甲区域和手指皮肤接触和预处理中缩放图片的影响，分割后所得到指甲掩码图像中的指甲边缘可在存在凹凸不平的现象为了优化后续指甲轮廓提取的结果，需要对指甲掩码图像中的指甲边缘做平滑处理，得到光滑的指甲区域，可以对指甲掩码图像做15×15的中值滤波得到新的指甲掩码图像。

步骤S6，如图6所示，通过轮廓提取算法提取指甲掩码图像中指甲的轮廓坐标；可以通过Opencv图像处理函数库里的轮廓提取函数提取指甲掩码图像中取得指甲边缘的多个像素点坐标，进一步地，可以通过曲线拟合算法减少轮廓点的数量，本例中使用三次样条样条曲线拟合原始轮廓，每个指甲轮廓提取120个坐标点。

步骤S7，识别后的每个指甲轮廓有120个坐标点，为了方便后续处理，将这些坐标点重新排列，将纵坐标与指甲轮廓外接矩形的左上顶点相同的第一个左边点作为起始点，顺时针排列，将提取后的轮廓坐标发送给图像采集终端，返回左上顶点以及相对于左上顶点的轮廓坐标并将其转换成4位16进制，每30个点作为一组，共四组。

步骤S8，获取每个指甲的偏转角度；单独提取出每个指甲的指甲掩码图片，将指甲轮廓外接矩形的长度和宽度放大到适当倍数(1.5倍)作为提取图片的长度和宽度，方便后续轮廓提取。可以通过Opencv图像处理函数库提取每个指甲图片的轮廓，使用最小矩形拟合，返回最小矩形以左上顶点为原点的旋转角度。设定该旋转角度为指甲的旋转角度。

步骤S9，判断每个指甲是否倾斜，若倾斜计算倾斜的方向；可以通过Opencv图像处理函数库得到指甲轮廓最小矩形的重心，计算中心坐标与最小矩形垂直中心线的距离以及重心在中心线的左右位置并计算该距离与矩形的宽度比值，设定一个阈值，如果大于该阈值，则设定该指甲有倾斜，并根据重心在中心线的左右位置判断左偏还是右偏。假设重心在中心线的左边则认为是左偏，否则右偏。

另外，具体的，如图7所示，对于上述图像采集终端来说，其包括：机体，所述机体内分别设有控制板1、手槽结构6、微型电机7和摆动板8，所述手槽结构6位于所述摆动板8的上方，所述微型电机7与所述摆动板8连接，其中，所述手槽结构6包括至少四组手指槽5，所述手指槽5内设有气囊3和限位条4，所述限位条4位于所述气囊3的上方，且所述手槽结构6顶端设有摄像头模块2。

此外，图像采集终端也可以由工业相机和远心镜头组成，通过远心镜头可以避免因指甲边界高低不平导致的透视差，采集的图像具有超低畸变率。被测物体离镜头远近不一致时，普通镜头的放大倍率会产生差别，而远心镜头可以在一定的物距范围内，使拍摄得到的图像放大倍率不会变化，简单的说这种镜头拍出来的图像没有近大远小关系。

另外，图像分割网络也可以使用其他网络包括Unet系列、deeplab系列等。

另外，对于上述判断每个指甲是否倾斜，也可以训练一个图像分类网络，该网络以每个指甲的掩码图作为输入，输出为左偏、右偏、不偏三个类别。

另外，如图8所示，根据本发明的另一个实施例，提供了基于深度学习的指甲识别系统，用于基于深度学习的指甲识别方法的系统，包括：

原始图像获取模块，用于采集手部原始图像；

目标图像提取模块，用于接收所述原始图像获取模块的手部原始图像并进行提取指甲掩码图；

轮廓提取识别模块，用于接收所述目标图像提取模块的指甲掩码图，并提取指甲轮廓进行识别指甲偏转角度和倾斜信息。

另外，如图9所示，根据本发明的另一个实施例，提供了计算机设备，用于基于深度学习的指甲识别方法的系统，包括：

存储器和处理器，所述存储器存储有计算机程序。

根据本发明的另一个实施例，提供了计算机可读存储介质，用于计算机设备，包括：存储介质存储有计算机程序。

综上所述，借助于本发明的上述技术方案，通过预先获取手部原始图像，获取手部原始图像中每个像素属于指甲区域的概率值，并得到手部原始图像的指甲掩码图像，提取指甲掩码图像中指甲的轮廓坐标并获取每个指甲的偏转角度和倾斜信息，实现在指甲识别前不需要预先在指甲面涂甲油胶，且可对多个指甲同时识别，相比较于传统图像分割方法，采用深度学习方法适应性更强，识别精度更高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于深度学习的指甲识别方法，其特征在于，包括以下步骤：

预先基于图像采集终端获取手部原始图像；

将获取的手部原始图像作为深度学习的图像分割网络的输入，获取手部原始图像中每个像素属于指甲区域的概率值，其中，包括：将概率值大于预设概率值的像素点标记为指甲区域，小于预设概率值的像素点标记为非指甲区域，得到手部原始图像的指甲掩码图像；

通过轮廓提取算法提取指甲掩码图像中指甲的轮廓坐标；

基于指甲掩码图像中指甲的轮廓坐标分别进行获取每个指甲的偏转角度和倾斜信息并发送给图像采集终端。

2.根据权利要求1所述的基于深度学习的指甲识别方法，其特征在于，所述图像采集终端，包括：机体，所述机体内分别设有控制板、手槽结构、微型电机和摆动板，所述手槽结构位于所述摆动板的上方，所述微型电机与所述摆动板连接，其中，所述手槽结构包括至少四组手指槽，所述手指槽内设有气囊和限位条，所述限位条位于所述气囊的上方，且所述手槽结构顶端设有摄像头模块。

3.根据权利要求1所述的基于深度学习的指甲识别方法，其特征在于，所述得到手部原始图像的指甲掩码图像，还包括以下步骤：

对指甲掩码图像中的指甲边缘做平滑处理，得到光滑的指甲掩码图像。

4.根据权利要求3所述的基于深度学习的指甲识别方法，其特征在于，所述提取指甲掩码图像中指甲的轮廓坐标，还包括以下步骤：

将获取的轮廓坐标按顺时针进行重新排列，包括将纵坐标与指甲轮廓外接矩形的左上顶点相同的第一个坐标点作为起始点；

并将提取后的轮廓坐标发送给图像采集终端。

5.根据权利要求4所述的基于深度学习的指甲识别方法，其特征在于，所述偏转角度，包括以下步骤：

预先单独提取出每个指甲的指甲掩码图像；

通过Opencv图像处理函数库提取每个指甲掩码图像的轮廓，并使用最小矩形拟合，返回最小矩形以左上顶点为原点的旋转角度；

标定该旋转角度为指甲的旋转角度。

6.根据权利要求5所述的基于深度学习的指甲识别方法，其特征在于，所述倾斜信息，包括以下步骤：

通过Opencv图像处理函数库得到指甲轮廓最小矩形的重心；

计算中心坐标与最小矩形垂直中心线的距离和获取重心在中心线的左右位置并计算该距离与矩形的宽度比值；

基于重心在中心线的左右位置获取倾斜信息。

7.基于深度学习的指甲识别系统，其特征在于，用于权利要求1-6中任意一项所述基于深度学习的指甲识别方法的系统，包括：

原始图像获取模块，用于采集手部原始图像；

目标图像提取模块，用于接收所述原始图像获取模块的手部原始图像并进行提取指甲掩码图；

轮廓提取识别模块，用于接收所述目标图像提取模块的指甲掩码图，并提取指甲轮廓进行识别指甲偏转角度和倾斜信息。

8.计算机设备，其特征在于，用于权利要求7中所述基于深度学习的指甲识别方法的系统，包括：

存储器和处理器，所述存储器存储有计算机程序。

9.计算机可读存储介质，其特征在于，用于权利要求8中所述计算机设备，包括：存储介质存储有计算机程序。

Images