CN107358215B

CN107358215B - 一种应用于手饰增强现实系统的图像处理方法

Info

Publication number: CN107358215B
Application number: CN201710596875.6A
Authority: CN
Inventors: 刘波
Original assignee: Chongqing Technology and Business University
Current assignee: Chongqing Technology and Business University
Priority date: 2017-07-20
Filing date: 2017-07-20
Publication date: 2020-10-09
Anticipated expiration: 2037-07-20
Also published as: CN107358215A

Abstract

本发明涉及一种应用于手饰增强现实系统的图像处理方法，属于计算机图像处理技术领域，该方法包含如下步骤，S1通过深度卷积神经网络作为人手的检测模型；S2调整所述深度卷积神经网络的权重参数，让人手图像与相应的基准图像之间的误差最小；S3采集各种复杂背景下人手的图像，并将这些图像输入所述深度卷积神经网络，得到人手轮廓图像；S4根据所述的人手轮廓图像计算手指的位置，根据手指的位置计算手指长度；S5计算饰品在手指和手腕上的佩戴位置；S6将饰品图像叠加到手指或手腕相应的佩戴位置。本发明能检测复杂背景下的人手图像，并快速计算手指和手腕位置，并将手饰的图像叠加到人手上。

Description

一种应用于手饰增强现实系统的图像处理方法

技术领域

本发明属于计算机图像处理技术领域，涉及一种应用于手饰增强现实系统的图像处理方法。

背景技术

手饰(比如戒指，手表，手链等)是人们日常生活中重要的装饰品。随着网络购物的兴起，人们经常在网上购买手饰。但在网上购买时，通常只能看到手饰的图片，用户无法体验佩戴时的情形，因此手饰的退货率相当高，这给顾客和商家都带来了不必要的麻烦。另外，对于一些贵重手饰(比如名表等)，通常会在实体店销售，商家为了满足更多顾客的需求，通常会采购很多款式的手饰，便这会造成商家积压大量资金。因此，如何增加客户购买手饰的体验感，以减少客户退货、减少商家的积金积压成为需要解决的重要问题。

当通过摄像头将手饰图像传递给在台式电脑或移动终端(比如，IPAD，手机等)，然后在它们上面手机将手饰图像叠加到手上来实现手饰的增强实现处理时。其中，手的检测是最关键的技术。目前对的手检测主要通过提取手的颜色，然后通过颜色来得到手的轮廓。手饰的增强实现处理过程可能会面临各种复杂的环境，也就是说，手机摄像头所得到的手的背景可能会很复杂。若背景中有颜色与手的颜色一样或相近，这种检测手的方法就会失效。

因此需要一种可行性更高的人手图像处理的方法。

发明内容

有鉴于此，本发明的目的在于提供一种在复杂背景下应用于手饰增强现实系统的图像处理方法。这种方法会通过摄像头获取人手图像，并将手饰图像叠加到人手上，从而增加用户购物的体验感。

为达到上述目的，本发明提供如下技术方案：

一种应用于手饰增强现实系统的图像处理方法，该方法包含如下步骤，

S1通过深度卷积神经网络作为人手的检测模型；

S2对所述深度卷积神经网络中各组卷积层的输出图像进行上采样，将上采样的人手图像与基准图像对比，调整所述深度卷积神经网络的权重参数，让人手图像与相应的基准图像之间的误差最小；

S3采集各种背景下人手的图像，并将这些图像输入所述深度卷积神经网络，得到人手轮廓图像；

S4根据所述的人手轮廓图像计算手指的位置，根据手指的位置计算手指长度；

S5计算饰品在手指和手腕上的佩戴位置；

S6将饰品图像叠加到手指或手腕的相应佩戴位置。

进一步，所述深度卷积神经网络包含7个卷积层。

进一步，所述卷积层分为3组，其中第一卷积层和第二卷积层为第一组卷积层，第三卷积层和第四卷积层为第二组卷积层，第五卷积层、第六卷积层和第七卷积层为第三组卷积层。

进一步，所述第一组卷积层、第二组卷积层和第三组卷积层均采用3*3的卷积核，组与组之间的卷积核数量不同。

进一步，所述第一组卷积层、第二组卷积层和第三组卷积层之间还各设置有一个最大池化层。

进一步，步骤S4中所述人手轮廓图像为人手轮廓内的像素全部为白色像素和人手轮廓外的像素全部为黑色像素的黑白图像；

所述步骤S4具体为：

S41在所述白色像素的区域内任意取一点规定为基准点，计算所述基准点到边缘像素点的距离；

S42对所述边缘像素点到基准点的距离进行判定，若边缘像素点到所述基准点的距离是先增加后减少的，则判定这部分像素为手指的像素，在距离刚开始减少时，记下这个边缘像素，并将该像素的前一个边缘像素定为手指中心像素；

S43计算步骤S42中得到的各个手指中心像素之间的距离，并将所述各个手指中心像素之间的距离由大到小排列，取最大的三个距离，则所述最大的三个距离的公共中心像素为大拇指的中心像素；

S44根据S43中得到的大拇指的中心像素，再做一次大拇指的中心像素到其余手指中心像素的距离计算，得出其余手指的具体位置；

S45以手指中心像素开始向两边计算边缘像素点到手指中心像素的距离，当距离变化非常缓慢时记下中指和无名指的第一凹点和第二凹点以及大拇指、食指和小拇指的第一凹点；

S46根据所述中指和无名指的第一凹点和第二凹点以及大拇指、食指和小拇指的第一凹点计算手指在图像中的长度。

进一步，所述计算手指在图像中的长度具体为：

取中指或无名指的第一凹点和第二凹点的中点，并计算这些中点到中指或无名指的手指中心像素的距离，则为计算的中指或无名指的长度；

从大拇指、食指或小拇指的第一凹点出发，沿水平方向移动，直到碰到手的边缘像素，将该边缘像素与第一凹点连线，计算连线的中点到大拇指、食指或小拇指的手指中心像素的距离，则为计算的大拇指、食指或小拇指的长度。

进一步，所述手指饰品的佩戴位置具体为，沿手指直线方向，朝所述人手轮廓内移动所述手指长度的2/3的距离；所述手腕饰品的佩戴位置具体为，沿中指直线方向，朝所述人手轮廓内移动中指长度的2.4倍的距离。

本发明的有益效果在于：本发明所述的一种应用于手饰增强现实系统的图像处理方法能检测复杂背景下的人手图像，并快速计算手指和手腕位置，并将手饰的图像叠加到人手上。解决了用户在网上购买手饰的过程中无法看到产品佩戴在自己手上的技术难题，并通过这种方式提高了用户在购买这类产品时的真实体验。本发明的方法可以减少人们在网购时的退货率，同时也可减少实体店资金积压。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明的流程图；

图2为本发明处理之后的人手图像；

图3为本发明深度卷积神经网络的训练流程图；

图4为本发明计算结果示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。本发明的总体流程图如图1所示。本发明给出了一套针对手饰品进行增强现实处理的过程，给出了一种检测手的新型算法，该算法是基于多层(深度)卷积神经网络。同时还提出一种新型手指、手腕位置的计算方法。

(1)采集各种背景下手的图像，将这些图像处理成黑白图像，如图2所示，其中整个手形为白色像素，图像的其它地方全为黑色像素。这种图像称为基准图像。所采集到的多幅彩色图像和基准图像统称为训练数据集。

(2)通过多层卷积神经网络来作为人手检测模型，如图3所示，卷积神经网络总共有7个卷积层，前面每两个卷积层分为1组，最后三个卷积层为1组，总共分成3组。每组都采用3x3大小的卷积核，但每组卷积核的数量不一样，同一组中的卷积层采用相同大小，但类型不同的卷积核，类型不同是指卷积核的各个元素不一样。将每组最后一个卷积层的输出进行上采样(UpSampling)，然后通过调整这一层的参数，让基准图像与经过上采样后的输出图像进行比较，使它们之间的误差最小。同时，在对每组的最后一个卷积层的参数调整完后，将用这些参数再次对图像数据进行处理，并将处理的结果保留。最后将各组经处理后的图像按一定权重组合起来，再次与基准图像进行比较，使它们之间的误差最小。

(3)如图3所示，在每组之间，有一个最大池化层，总共有2个池化层。

(4)通过这种方式训练好模型之后，用摄像头获取的真实环境下手的图像(该图像除了手之外，其背景可能比较复杂)并输入给模型，该模型能提取人手边缘，从而得到人手的轮廓，并将图像处理成黑白图像，即轮廓内的像素全部设置为白色，轮廓外的像素全部设置成黑色。

(5)在得到的黑白图像上计算手指的位置。在白色像素区域内任意找一点，称这一点为基准点。计算基准点到边缘像素的距离，在计算过程中，若发现边缘像素到基准点的距离是先增加，然后再减少，则认为这部分像素为手指的像素。在距离刚始减少时，记下这个边缘像素，并将该像素的前一个边缘像素当成是手指的中心像素，称其为手指中心像素。在寻找到5个手指的中心位置后，需要给出5个手指的类型：大拇指，食指，中指，无名指，小指。

下面介绍手指类型的判断方法

通过观察可发现，大拇指与小指之间的距离最大，其次是大拇指与无名指之间的距离，再其次是大拇指与中指之间的距离。因此，可以先得到各个手指中心像素之间的距离，然后对这些距离按从大到小排序。取最大的三个距离，会发现这三个距离分别是三个不同的中心像素与其中一个中心像素产生的，其中的这个中心像素就是大拇指，与大拇指距离最大的就是小指，与大拇指之间距离排第二是无名指，剩下的是中指。在得到这四个手指之后，最后一个就是食指。

(6)对手指长度的计算。通常戒指会戴在中指和无名指上，因此，这里涉及中指和无名指长度的计算。中指和无名指之间有存在凹进去的地方将它们彼此连接。得到手指间连接处的方法与计算指尖中心像素的方法类似。这些连接处可能包含多个像素，取最靠近手的像素，称手指连接像素。取两个相邻手指连接像素坐标的中点，然后计算手指中心像素与该中点的距离，该距离就可看成是手指在图像中的长度。从中心像素位置开始，通常朝下面沿直线移动手指长度约2/3的距离，就是要佩戴的戒指位置，如图4所示。本发明还可以按这种方式计算不同的手指的戒指佩戴位置。

(7)计算手腕的位置。从中指的中心像素位置开始，朝下面沿直线移动中指长度的2.4倍的距离就可得到手腕的中心位置，如图4所示。

实施例：

1、训练检测手的模型

常用一些简单的方法(比如手的颜色)来得到手的轮廓。但若手所处的背景比较复杂时，若有些背景颜色与手的颜色相近时，就不会正确识别手。若用监督学习的方式，通过训练数据来训练一个检测手的可靠模型，会大大提高手的识别率。训练数据集中所有图像都有固定大小，这里取图像的长为224，宽为224，如图3所示。训练数据集由两部分组成：(1)基于复杂背景的人手图像，第i幅这样的图像记为X_i；(2)该图像对应的黑白图(即二值图像，该图像的像素只取0和1两种值)，黑白图的黑色像素(像素值为0)为背景，白色像素(像素值为1)为手。每幅人手图像都对应一幅这样的黑白图像(称为基准图像)。将i幅人手图像对应的基准图像记为Y_i。因此，若训练集有n幅图像，则可将训练集表示为(X_i，Y_i)，i＝1…n。设手的图像的大小为u×v的矩阵，其中u表示图像长度，v表示图像的高度。将i幅手形图像对应的矩阵按行拉伸成一个向量，该向量的大小记为|X_i|＝u×v，则图像X_i可以表示成向量的形式

对应的基准图像也可以表示

只有两种取值：0和1，其中0表示黑色，1表示白色。整个训练图像和相应的基准图像可以表示为(X,Y)＝(X_i，Y_i),i＝1…n。本发明涉及检测手的模型为多层卷积神经网络。训练这种神经网络的目的是调整这种神经网络的参数，使手的图像通过网络后与基准图像之间的误差最小。

对于7个卷积层，如图3所示，把每两个相邻的卷积层分为一组，即第1个卷积层和第2个卷积层为1组；第3个卷积层和第4个卷积层为2组；第5个卷积层、第6个卷积层和第7个卷积层为3组。这个7个卷积层的卷积核都为3×3，按步长为1来与图像数据进行卷积。每一组的卷积核大小虽然一样，但卷积核的种类却不一样，这三组的卷积核种类数量分别为：64，128，256。通过不同类型的卷积核对输入的数据进行卷积，会得到多通道数据。在每组输出时，需按2×2，步长为2的方式来进行下采样，即在输出的数据(按矩阵存放)中，从第1行第1列开始，取2×2大小的区域，并用该区域的最大值来代替这个区域，然后移动两个元素，并重复上面的操作，这样一直进行，直到遍历完所有的输出数据。这个过程也称为最大池化操作。最后一组卷积网络的输出不需要做池化。每个神经元采用的激活函数为：

如图3所示，为了能更好地调节神经网络的参数，本发明对每组最后一个卷积层的输出进行上采样，第i组上采样后的数据按向量记为

其中

表示

的元素个数。该数据要与原图像一样大。具体让上采样后的数据与相应的基准数据之间差距尽量小来调整参数，这里采用交叉熵损失函数来度量这种差距。称这个过程为侧向(outside)训练。

设整个卷积神经网络的参数为W。每组卷积神经网络都对应一个交叉熵损失函数，其参数分别为

其中i＝1，2，3。

其中，

表示

的第j个像素为1的概率；

表示第i组卷积神经网络的输出

的第j个元素；这里的σ(.)是sigmod函数，它的定义为：

其中w是参数向量，按列表示，x为行向量，表示输入数据。

来

(其中

)来表示第i侧向输出的激活值。将各组侧向输出的激活值按某种权重叠加到一起，最后就得到总的侧向输出的激活值

即：

其中，α_i表示第i个待确定的权重。整个待确定的权重是一个向量，记为α＝α₁,…,α_K。通过让

与基准图像Y之间的距离最小再次调整所有的参数，因此可建立整个训练模型的目标函数：

其中c(W,w,α)为损失函数和正则项。为了简化模型，用欧式距离作为损失函数，其具体定义如下所示：

其中，

是正则项，引入这一项是为了让训练出的模型不具会出现过拟和，γ是正则参数参，这里取0.5。通过随机梯度下降法来求解该目标函数的局部最优解，从而得到整个检测手的模型参数。

具有复杂背景的人手图像通过上述训练得到的模型之后，就能生成一幅二值图像，即手的部分是白色，其像素值为0；其它部分为黑色，像素值为1。对于得到的这种手形图像，可以很方便找出手的轮廓，因为只需要记下像素值发现变化的位置坐标即可。具体而言，可按从左向右，从上向下的方式对二值图像进行扫描，当第一次发生素值变化时，就记下边缘的白色像素的位置坐标。这种变化是指像素值由0变到1或由1变到0。将找到的像素坐标保存到向量C中，向量中每个元素保存着像素的横坐标和纵坐标。

找到手内部的一个位置p，p的横坐标p_x可以取向量C中最小横坐标与最大横坐标的平均值；纵坐标p_y可以取向量C中最小纵坐标与最大纵坐标的平均值。

为了确定各个手指的位置，需要先计算p到C中各个元素的距离。在得到这些距离之后，依次检查这些距离的值。这些值若出现由小变大，然后再由大变小的情况，那么引发这种趋势改变的位置就是手指指尖的叫心位置。用向量F存下这些位置，该向量的每个元素保存着这些位置的横坐标和纵坐标。

计算向量F中各个元素之间的距离，然后按顺序排序。取最大的三个距离，会发现这三个距离分别是三个不同的元素与其中一个元素产生的，其中的这个元素就是大拇指指尖的中心位置，离大拇指指尖中心位置最远的位置就是小姆指指尖的中心位置，离大拇指指尖中心位置第二远的位置是无名指指尖的中心位置，剩下的是中指指尖位置。在得到这四个手指的中心位置之后，最后一个就是食指指尖的中心位置。

为了确定佩戴手饰品(比如戒指)位置。在向量F中，从中指指尖的中心位置开始，分别检查左右两边距离的变化情况，当发现左右两边距离变化非常缓慢或者不再变化时，该位置对应中指两个凹点，取两个凹点连线的中点，记为m_c，然后求m_c到中指指尖中心位置的距离，这个距离就是中指在图像中的长度m_l。从中指指尖中心位置移动m_l的2/3距离，即可得到佩戴手饰品位置，如图4所示。用这种方法可以计算在无名指上佩戴手饰品的位置。

计算食指、大姆子和小姆指在图像中的长度的方相同，但与上面的方法稍有不同。下面以食指为例来介绍具体的计算方法。在向量F中，从食指指尖的中心位置开始，分别检查左右两边距离的变化情况。若发现有一边的距离不再变化，则该位置对应食指的一个凹点。由这个凹点出发，沿水平方向移动，直到碰到手的边缘像素，将该边缘像素与凹点连线，然后取该连线的中心，记为f_c。然后求f_c到食指指尖中心位置的距离，这个距离就是食指在图像中的长度f_l。从食指指尖中心位置移动m_l的2/3距离，即可得到佩戴手饰品位置。用这种方法可以计算在无大姆指和小姆指上佩戴手饰品的位置。

计算手腕的位置。从中指指尖的中心像素位置开始，移动中指长度m_l的2.4倍的距离就可得到手腕的中心位置，如图4所示。

最后说明的是，以上优选实施例仅用以说明发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims

1.一种应用于手饰增强现实系统的图像处理方法，其特征在于：该方法包含如下步骤，S1通过深度卷积神经网络作为人手的检测模型；

S5计算饰品在手指和手腕上的佩戴位置；

S6将饰品图像叠加到手指或手腕的相应佩戴位置；

步骤S4中所述人手轮廓图像为人手轮廓内的像素全部为白色像素和人手轮廓外的像素全部为黑色像素的黑白图像；

所述步骤S4具体为：

2.根据权利要求1所述的一种应用于手饰增强现实系统的图像处理方法，其特征在于：所述深度卷积神经网络包含7个卷积层。

3.根据权利要求2所述的一种应用于手饰增强现实系统的图像处理方法，其特征在于：所述卷积层分为3组，其中第一卷积层和第二卷积层为第一组卷积层，第三卷积层和第四卷积层为第二组卷积层，第五卷积层、第六卷积层和第七卷积层为第三组卷积层。

4.根据权利要求3所述的一种应用于手饰增强现实系统的图像处理方法，其特征在于：所述第一组卷积层、第二组卷积层和第三组卷积层均采用3*3的卷积核，组与组之间的卷积核数量不同。

5.根据权利要求3所述的一种应用于手饰增强现实系统的图像处理方法，其特征在于：所述第一组卷积层、第二组卷积层和第三组卷积层之间还各设置有一个最大池化层。

6.根据权利要求5所述的一种应用于手饰增强现实系统的图像处理方法，其特征在于：所述计算手指在图像中的长度具体为：

7.根据权利要求1所述的一种应用于手饰增强现实系统的图像处理方法，其特征在于：所述手指饰品的佩戴位置具体为，沿手指直线方向，朝所述人手轮廓内移动所述手指长度的2/3的距离；所述手腕饰品的佩戴位置具体为，沿中指直线方向，朝所述人手轮廓内移动中指长度的2.4倍的距离。