CN108242061B - 一种基于Sobel算子的超市购物车手部识别方法 - Google Patents

Abstract

本发明公开了一种基于Sobel算子的超市购物车手部识别方法，包括如下步骤：首先使用2D摄像头获取彩色图像，并以事先制作的模板图像作为其掩膜；其次对图像进行灰度化处理，使用Sobel算子对灰度化后的图像进行卷积操作，再对处理结果进行二值化处理，并与彩色图像做掩膜操作得到ROI图像；最后对所述ROI图像做手持商品判断，所述手持商品判断包括肤色建模部分、手持商品判断部分和统计部分；本发明采用Sobel算子，对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果更好；与Robert算子定位比较，抗噪声能力强；由于Sobel算子是滤波算子的形式，用于提取边缘时，可以利用快速卷积函数，简单有效；计算量小，可以用于实时系统。

Description

一种基于Sobel算子的超市购物车手部识别方法

技术领域

本发明涉及图像识别方法，尤其涉及一种基于Sobel算子的超市购物车手部识别方法。

背景技术

在购物车图像算法中，我们采用深度相机分割手部信息；根据硬件实现方式的不同，目前行业内所采用的主流3D机器视觉大约有三种：结构光、TOF时间光、双目立体成像。该方法能够很好地三维重建图像，从而准确分割图像，然而由于原理限制对于反光、透明、吸光等物体存在检测盲区问题；再者由于一个视角存在遮挡问题而不能准确判断空手或手持商品，因此迫切需要多视角。

本申请人在先申请了一件名称为“超市购物车手部识别方法及其识别系统”、申请号为201611025458.8的发明专利，该发明通过前景检测、肤色检测以及手和商品的判断这三个步骤来确定手部是否持有商品。在此基础上，申请人提出采取多视角同步采集图像以进一步提高手部特征的提取精度；由于3D摄像头价格昂贵，不易装多个以扩展视角，考虑到第二视角作为辅助判断，因此选用成本更低的2D摄像头，在2D摄像头获取的图像中提取前景图像为此过程难点，如果使用基于运动检测的算法例如帧差法和背景消除法，帧差法会导致前景提取不准确，背景消除受光照影响大，因此迫切需要一种不依赖于运动检测的算法。考虑到光照影响是一个渐变过程，而手势和颜色变化平滑的背景差异明显，我们选用边缘检测的算法提取前景。

发明内容

发明目的：本发明的目的是提供一种通过sobel算子准确提取前景图像和识别手部运动状态的超市购物车手部识别方法。

技术方案：一种基于Sobel算子的超市购物车手部识别方法，包括如下步骤：

(1)使用2d摄像头获取彩色图像，并以事先制作的模板图像作为其掩膜，假设获取的图像为3*3由九个像素构成，像素值分别为

(r1,g1,b1) (r2,g2,b2) (r3,g3,b3)

(r4,g4,b4) (r5,g5,b5) (r6,g6,b6)

(r7,g7,b7) (r8,g8,b8) (r9,g9,b9)；

(2)对图像进行灰度化处理，灰度化公式如下：

f(i，j)＝0.30*R(i，j)+0.59*G(i，j)+0.11*B(i，j)

其中,i代表图像的横坐标，j代表图像的纵坐标；R(i,j)、G(i,j)、B(i,j)分别为像素坐标为三基色通道对应的像素值；0.30、0.59、0.11这三个系数是对于每一个像素点，由于人眼对红色光，绿色光，蓝色光的敏感程度不同而赋予不同的权重，从而得到该点的灰度值，是约定俗称的值；f(i,j)代表灰度化后图像像素值；即gray1＝0.30*r1+0.59*r1+0.11*b1，以此类推；该图像可以表示为：

gray1gray2gray3

gray4gray5gray6

gray7gray8gray9

其中，gray1,gray2……gray9表示第1、2……9个像素点的像素值。

(3)使用Sobel算子对灰度化后的图像进行卷积操作，其公式如下：

对求得的水平和垂直方向的梯度图像上的每一点执行：

其中，G_x、G_y分别代表经横向及纵向边缘检测的图像，A代表原始图像，即为灰度化后的图像f(i,j)；

矩阵

为sobel算子对应的卷积核；

以gray5为例

边缘像素补0。

(4)对处理结果进行二值化处理，并与彩色图像做掩膜操作得到ROI图像；所述二值化公式如下所示：

其中，f′(i，j)代表二值化处理后横坐标i、纵坐标j所对应的像素值；td是我们设置的一个二值化阈值，在实施例中我们设置为20；即对于grayx_new大于td的像素值取255，其余像素值取0。

(5)对所述ROI图像做手持商品判断，所述手持商品判断包括肤色建模部分、手持商品判断部分和统计部分。

所述肤色建模部分采用改进的加权PCA算法：

(2.1)计算图像I在RGB三通道的均值向量

均值向量

中的元素为

分别代表RGB三个通道的均值；

(2.2)根据(2.1)计算出的均值

计算出图像I的协方差矩阵Cro，并引入权值ω_i限制非感兴趣颜色对求取协方差矩阵的干扰

ω_i的计算公式如下：

(2.3)根据(2.1)、(2.2)计算得到的均值向量

和协方差矩阵Cro计算出特征向量组Pro，得到Pro：

(2.4)进行投影

其中

为需要进行投影的向量，

为投影结果。

所述肤色建模部分包括如下步骤：

(3.1)采集以肤色为主的图像集，要求除肤色区域外，其它区域灰度值为0；

(3.2)利用(3.1)中的图像集，并依据改进的加权PCA算法计算得出图像集肤色区域的均值，协方差矩阵以及投影矩阵，并根据投影矩阵确定肤色区域的投影范围；

(3.3)输入一张具有肤色区域的图像，利用(3.2)中求得的均值与协方差矩阵计算该图像每个像素点对应的投影矩阵，若该投影矩阵在(3.2)中所计算的投影矩阵范围内，则认为该像素点为肤色，否则为非肤色。

所述手持商品判断部分采用SSM-RSSR算法，具体过程如下：

给定一组样本，分类标签为(X,Y)＝{(x₁,y₁),…,(x_l,y_l),…,(x_N,y_N)}，其中，X∈R^M×N是训练集，Y∈R^N×C是所有训练集的分类标签，M是样本维度，N＝l+u是所有样本数量，C是类别数；第一个l样本是被分类过的样本，它的分类标签y_i为C×¹的列向量，如果x_i属于第c类的话，则y_i(c)＝1，且y_i的其他元素都等于0；另外u个样本未被标记的，它的分类标签y_i为C×1的列向量且所有的元素都为0；

建立SSM-RSSR目标函数为：

其中，Δ(f,X,Y)是损失函数，SSM-RSSR中会用到平方损失函数；

是SSM-RSSR的正则项，用来避免过度拟合；

是另一个正则项，用来测量样本分布的平滑度；

平方损失函数Δ(f,X,Y)可以写为：

其中，V∈R^M×C是最优投影矩阵，b∈R^C×1是偏差项，tr()是矩阵的迹，e是一个所有元素为1的一个N维向量；H是一个N×N的对角矩阵，如果x_i为标记的样本，则H_ii＝1，否则H_ii＝0；

假设生成了随机子空间T，将正则项

写为：

其中，α_i是每个子空间的系数，r是一个常数参数；将

简化如下：

其中，L_s＝I-S-S^T+SS^T，q_j是一个N维选择性向量，它的第j个元素为1，其他为0；s_j是稀疏系数，I是一个单位矩阵；将上述公式相结合，正则项写为：

其中，

为第i个随机子空间的图，且

因此，SSM-RSSR提出的目标函数写为：

J＝tr((V^TX+be-Y^T)H(V^TX+be-Y^T)^T)+γ_Atr(V^TV)+γ_ltr(V^TXLX^TV)。

所述手持商品判断部分中，选取信息熵作为判断手部是否持有商品的纹理信息依据。

所述统计部分中，选取购物车的上平面作为基准面，将所有监控区域内，高于基准面的目标作为前景；在购买和退货过程中，通过统计前景的面积以及前景中与基准面交集的面积来判断手或商品的运动状态；当前景面积大于一个阈值时，判定监控区域有运动的物体，即手或商品进入监控区域；当前景与基准面交集的统计面积为非零时，可知手或商品进入基准面，即进入购物框；当前景与基准面交集的面积为零时，处于手或商品离开基准面，即手或商品退出购物框的状态。

所述手持商品判断还包括色温校正部分，所述色温校正包括以下步骤：

(4.1)采集正常光照环境下的肤色图像样本，计算该图像的RGB三通道均值，得到均值向量μ，并以均值向量μ为RGB参数构造一幅固定颜色的图像，作为模板图像；

(4.2)在实际环境中读取模板图像，并按照步骤(4.1)的方法计算读取到的模板图像的均值向量υ，获得差值向量

(4.3)基于差值向量对在实际环境中捕获的图像f(i,j)进行校正，校正公式为

其中，f'(i,j)为校正后图像，(i,j)为图像坐标，τ为控制参数。

进一步的，所述步骤(4.1)中均值向量具体计算过程为：统计所有样本图像的像素个数N以及每个像素的RGB三通道值，形成N*3的矩阵，以每一列作为一个向量，分别计算这三个向量的均值，得到均值向量。

有益效果

与现有技术相比，本发明采用Sobel算子进行边缘检测，其效果相比于其他算子，具有如下显著进步：1、与Prewitt算子相比，Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果更好；2、Robert算子定位比较精确，但由于不包括平滑，所以对于噪声比较敏感；3、由于Sobel算子是滤波算子的形式，用于提取边缘时，可以利用快速卷积函数，简单有效；其次，Sobel算子计算量小，可以用于实时系统。

附图说明

图1为本发明的前景提取算法流程图；

图2为基于运动和肤色信息的手持商品判断算法流程图；

图3为购买过程统计流程；

图4为退货过程统计流程；

图5是sobel算子在阴影情况下检测到的二值图像；

图6是背景差分法在阴影情况下检测到的二值图像。

具体实施方式

下面结合实施例和附图对本发明的技术方案作进一步详细说明。

模块一手部分割部分

如图1所示：

(1.1)使用2D摄像头获取彩色图像，并以事先制作的模板图像作为其掩膜，相当于设置ROI区域，以减少外界环境干扰；

(1.2)对图像进行灰度化处理，灰度化公式如下：

f(i，j)＝0.30*R(i，j)+0.59*G(i，j)+0.11*B(i，j)

其中，i代表图像的横坐标，j代表图像的纵坐标；R(i,j)、G(i,j)、B(i,j)分别为像素坐标为三基色通道对应的像素值；0.30、0.59和0.11为三个分别对应红色光、绿色光和蓝色光的权重；三个系数是对于每一个像素点，由于人眼对红色光、绿色光和蓝色光的敏感程度不同而赋予不同的权重，从而得到该点的灰度值。是约定俗称的值；f(i,j)代表灰度化后图像像素值；

(1.3)使用Sobel算子对灰度化后的图像进行卷积操作，其公式如下:

对求得的水平和垂直方向的梯度图像上的每一点执行：

其中，G_x、G_y分别代表经横向及纵向边缘检测的图像，A代表原始图像，即灰度化后的图像；

矩阵

表示sobel算子对应的卷积核；

(1.4)对处理结果进行二值化处理，并与彩色图像做掩膜操作得到ROI图像；所述二值化公式如下所示：

其中，f＇(i，j)代表二值化处理后横坐标i、纵坐标j所对应的像素值；td表示二值化阈值，在本实施例中设置为20；

模块二基于WPCA的肤色模型

PCA(Principal Component Analysis)是一种常用的数据分析方法；PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。

传统的PCA算法

1)计算图像I在RGB三通道的均值向量

均值向量向量

中的元素为

其中，j＝1,2,3；分别代表RGB三个通道的均值。

2)根据1)计算出的均值

计算出图像的协方差矩阵Cov。

3)根据1)、2)计算得到的均值

和协方差矩阵Cov计算出Cov的特征向量组，得到

4)进行投影

其中

为需要进行投影的向量，

为投影结果

改进的加权PCA算法(WPCA)

1a)计算模块一得到的彩色ROI图像在RGB三通道的均值

同步骤1)中的公式(1)；

2b)根据1a)计算出的均值μ，计算出图像I的协方差矩阵Cov；与1)不同，此处引入权值ω_i限制非感兴趣颜色对求取协方差矩阵的干扰；

ω_i的计算公式如下：

3c)根据1a)、2b)计算得到的均值和协方差矩阵计算出投影矩阵，同步骤3)。

利用WPCA算法建立肤色模型

根据WPCA的算法，可以得到感兴趣颜色的均值，协方差矩阵以及投影矩阵，并且根据投影矩阵的范围，可以确认当前像素点所对应的颜色是否为感兴趣的颜色，利用这个特点，提出了基于WPCA的肤色模型。

具体方法与步骤：

(2.1)采集以肤色为主的图像集，要求除肤色区域外，其它区域灰度值为0；

(2.2)利用(2.1)中图像集，并依据WPCA的方法计算得出图像集肤色区域的均值，协方差矩阵以及投影矩阵，并根据投影矩阵确定肤色区域的投影范围

(2.3)输入一张具有肤色区域的图像，利用(2.2)中求得的均值与协方差矩阵计算该图像每个像素点对应的投影矩阵，若该投影矩阵在(2.2)中所计算的投影矩阵范围内，则认为该像素点为肤色，否则为非肤色。

色温校正

(4.1)采集正常光照环境下的肤色图像样本，计算该图像的RGB三通道均值，得到均值向量μ，并以均值向量μ为RGB参数构造一幅固定颜色的图像，作为模板图像；其中，均值向量具体计算过程为：统计所有样本图像的像素个数N以及每个像素的RGB三通道值，形成N*3的矩阵，以每一列作为一个向量，分别计算这三个向量的均值，得到均值向量。

(4.2)在实际环境中读取模板图像，并按照步骤(4.1)的方法计算读取到的模板图像的均值向量υ，获得差值向量

(4.3)基于差值向量对在实际环境中捕获的图像f(i,j)进行校正，校正公式为

其中，f'(i,j)为校正后图像，(i,j)为图像坐标，τ为控制参数。控制参数τ用于控制对原图像的色温校正程度，取值范围为0-1，取值越小校正程度越小。本实施例中，τ优选为1。

模块三基于运动和肤色信息的手持商品判断算法SSM-RSSR

模块三的基本框图如图2所示：详细过程如下：

给定一组样本，分类标签为(X,Y)＝{(x₁,y₁),…,(x_l,y_l),…,(x_N,y_N)}，其中，X∈R^M×N是训练集，Y∈R^N×C是所有训练集的分类标签，M是样本维度，N＝l+u是所有样本数量，C是类别数。第一个l样本是被分类过的样本，它的分类标签y_i为C×1的列向量，如果x_i属于第c类的话，则y_i(c)＝1，且y_i的其他元素都等于0。另外u个样本未被标记的，它的分类标签y_i为C×1的列向量且所有的元素都为0。

SSM-RSSR的目标函数为：

公式(6)中，Δ(f,X,Y)是损失函数，SSM-RSSR中会用到平方损失函数。

是SSM-RSSR的正则项，用来避免过度拟合。

是另一个正则项，用来测量样本分布的平滑度。

平方损失函数Δ(f,X,Y)可以写为：

公式(7)中，V∈R^M×C是最优投影矩阵，b∈R^C×1是偏差项，tr()是矩阵的迹，e是一个所有元素为1的一个N维向量。H是一个N×N的对角矩阵，如果x_i为标记的样本，则H_ii＝1，否则H_ii＝0。

假设生成了随机子空间T，则正则项

可以写为：

公式(8)中，α_i是每个子空间的系数，r是一个常数参数，它可以使得结果更加稳定。公式(5)中的

可以简化如下：

公式(9)中，L_s＝I-S-S^T+SS^T，q_j是一个N维选择性向量，它的第j个元素为1，其他为0。s_j是稀疏系数，I是一个单位矩阵。然后将公式(8)和公式(9)相结合，正则项可以写为：

公式(10)中，

为第i个随机子空间的图，且

根据公式(7)和公式(10)，SSM-RSSR提出的目标函数可以写为：

J＝tr((V^TX+be-Y^T)H(V^TX+be-Y^T)^T)+γ_Atr(V^TV)+γ_ltr(V^TXLX^TV) (11)

进一步的，将推导出公式(11)的解决方案，公式(11)没有直接找出分析解的方法。采用交替优化方法来得到最优解。这个方法改变α,V和b的值迭代直到收敛。主要步骤如下所示。

首先，固定α的值不变，改变V和b的值。在公式(11)中，当α固定时，通过求J分别对V和b的偏导数，可以求得目标函数J：

令

和

得到：

V＝(XH_CX^T+γ_AI+γ_lXLX^T)^-1XH_CY (14)

其中，

根据公式(14)和公式(15)，可以发现，V和b取决于L，而L来源于每个随机子空间α_i的和稀疏系数

然后，固定V和b的值，改变。通过使用拉格朗日乘数λ，可以得到拉格朗日函数：

通过L(α,λ)分别对α和λ求偏导数：

令

和

可以得到：

根据公式(19)，可以得到：如果r→∞，所有的α_i都有相同的值；如果r→1，就只有α_i＝1，也就是说，只选择了一个视或者一个子空间，其他子空间都被忽略了。

重复公式(14)、公式(15)和公式(19)，直至α_i收敛。得到α_i的最优解后，使用公式(14)和公式(15)来解得V和b的最优解。在获得V和b的值之后，对于每一个测试样本x_i的预测分类标签都可以通过公式(20)得到：

l(x)＝max(V^Tx_i+b) (20)

其中，l(x)是x_i的预测分类标签。

通过以下方法来生成随机子空间T和相应的字典：

1、随机生成T选择指示向量p_t(1≤t≤T)：

其中，如果第i个特征被选在第t个随机子空间中，则p_ti＝1，否则p_ti＝0。

2、假设数据库为D＝[d₁,…,d_l,…d_N]^T，则子空间字典D_t和子空间集合X_t可以生成为：

X_t＝X(p_t),D_t＝D(p_t) (22)

其中，

是X_t的第i个样本，说明了

是由p_t中选择出来的特征值组合而成的。就像X_t，D_t中的每一个原子是由p_t中选择出来的特征组合而成的，

SSM-RSSR中的主要程序如下：

模块四统计部分

将购物框的上平面作为基准面H1，将所有监控区域内，高于H1面的目标作为前景。在购买和退货过程中，都统计前景的面积以及前景中与H1面交集的面积。根据统计，当前景面积大于一个阈值时，认为监控区域有运动的物体，即手或商品进入监控区域；当前景与基准面H1交集的统计面积为非零时，可知手或商品进入H1面，即进入购物框；当与基准面H1交集的面积为零时，处于手或商品离开H1面，即手或商品退出购物框的状态。

在购买过程中，如图3，从监控视野内有运动开始，对与基准面H1交集面积为零的每一帧进行是否手持商品的判断，并保存下来，每当出现交集面积从零变换到非零的交界，便对保存的手持商品判断结果清零，当交集面积变换到零时，重新开始对交集面积为零的每一帧进行是否手持商品的判断并保存，反复进行这些操作直到监控视野内无运动，将最后保存下来的数据进行统计，若手持商品的比率大于一定阈值，则可判定该退出过程中手持商品退出，为违规操作。

在退货过程中，如图4，也从监控视野内有运动开始，对与基准面H1交集面积为零的每一帧进行手持商品判断并保存判断结果，第一次出现交集面积为非零时，就对保存的数据累计计算手持商品的比率，若大于一定阈值，则可判定为手持商品进入，则为违规操作。然后将结果清零直到下一次退货过程重新开始。

在2D摄像头获取手部图像部分，我们选取一块光滑均匀的部分为背景板。在光照变化剧烈的环境中，若采用简单的背景消除法即仅适用当前帧图像与背景图像做差，则不能保证背景始终是保持不变的。如果二值化阈值过小，则容易将阴影等影响作为前景手部被分割出来；反之，如果二值化阈值过大，则与背景相似颜色的前景不能被很好的分割出来。

考虑到光照阴影是渐变的，使用边缘检测方法能够很好的解决这个问题。且通过边缘检测我们得到的是手部及商品边缘部分，此部分面积远小于整个手部面积，能够最大程度的减少计算量，同时不影响精度。

图5和图6分别是在阴影情况下sobel算子检测到的二值图像和背景差分法检测到的二值图像，二者的阈值均为20，可以明显看到sobel检测到的前景图像更为精准，没有将背景误检测为前景，背景差分法将很多属于背景的部分误检测为前景。

Claims (7)

1.一种基于Sobel算子的超市购物车手部识别方法，其特征在于，包括如下步骤：

(1)使用2D摄像头获取彩色图像，并以事先制作的模板图像作为其掩膜；

(2)对图像进行灰度化处理，灰度化公式如下：

f(i,j)＝0.30*R(i,j)+0.59*G(i,j)+0.11*B(i,j)

其中,i代表图像的横坐标，j代表图像的纵坐标；R(i,j)、G(i,j)、B(i,j)分别为像素坐标为三基色通道对应的像素值；0.30、0.59和0.11为三个分别对应红色光、绿色光和蓝色光的权重；f(i,j)代表灰度化后图像像素值；

(3)使用Sobel算子对灰度化后的图像进行卷积操作，其公式如下:

对求得的水平和垂直方向的梯度图像上的每一点执行：

其中，G_x、G_y分别代表经横向及纵向边缘检测的图像，A代表原始图像，即灰度化后的图像；

矩阵

表示sobel算子对应的卷积核；

(4)对处理结果进行二值化处理，并与彩色图像做掩膜操作得到ROI图像；所述二值化公式如下所示：

其中，f′(i,j)代表二值化处理后横坐标i、纵坐标j所对应的像素值；td表示二值化阈值；

(5)对所述ROI图像做手持商品判断，所述手持商品判断包括肤色建模部分、手持商品判断部分和统计部分；

所述手持商品判断部分采用SSM-RSSR算法，具体过程如下：

给定一组样本，分类标签为(X,Y)＝{(x₁,y₁),…,(x_P,y_P),…,(x_N,y_N)}，其中，X∈R^M×N是训练集，Y∈R^N×C是所有训练集的分类标签，M是样本维度，N＝P+u是所有样本数量，C是类别数；其中，有P个样本是被分类过的样本，它的分类标签y_i为C×1的列向量，如果x_i属于第c类的话，则y_i(c)＝1，且y_i的其他元素都等于0；另外u个样本未被标记的，它的分类标签y_i为C×1的列向量且所有的元素都为0；

建立SSM-RSSR目标函数为：

其中，Δ(f,X,Y)是损失函数，SSM-RSSR中会用到平方损失函数；

是SSM-RSSR的正则项，用来避免过度拟合；

是另一个正则项，用来测量样本分布的平滑度；

平方损失函数Δ(f,X,Y)写为：

其中，V∈R^M×C是最优投影矩阵，b∈R^C×1是偏差项，tr()是矩阵的迹，e是一个所有元素为1的一个N维向量；H是一个N×N的对角矩阵，如果x_i为标记的样本，则H_ii＝1，否则H_ii＝0；

假设生成了随机子空间T，将正则项

写为：

其中，α_i是每个子空间的系数，r是一个常数参数；将

简化如下：

其中，L_s＝I-S-S^T+SS^T，q_j是一个N维选择性向量，它的第j个元素为1，其他为0；s_j是稀疏系数，I是一个单位矩阵；将上述公式相结合，正则项写为：

其中，

为第i个随机子空间的图，且

因此，SSM-RSSR提出的目标函数写为：

J＝tr((V^TX+be-Y^T)H(V^TX+be-Y^T)^T)+γ_Atr(V^TV)+γ_ltr(V^TXLX^TV)。

2.根据权利要求1所述的超市购物车手部识别方法，其特征在于：所述肤色建模部分采用改进的加权PCA算法，所述改进的加权PCA算法为：

(2.1)计算图像I在RGB三通道的均值向量

均值向量

中的元素为

分别代表RGB三个通道的均值；

(2.2)根据(2.1)计算出的均值

计算出图像I的协方差矩阵Cro，并引入权值ω_i限制非感兴趣颜色对求取协方差矩阵的干扰

ω_i的计算公式如下：

(2.3)根据(2.1)、(2.2)计算得到的均值向量

和协方差矩阵Cro计算出特征向量组Pro，得到Pro：

(2.4)进行投影

其中

为需要进行投影的向量，

为投影结果。

3.根据权利要求1所述的超市购物车手部识别方法，其特征在于：所述肤色建模部分包括如下步骤：

(3.1)采集以肤色为主的图像集，要求除肤色区域外，其它区域灰度值为0；

(3.2)利用(3.1)中的图像集，并依据改进的加权PCA算法计算得出图像集肤色区域的均值，协方差矩阵以及投影矩阵，并根据投影矩阵确定肤色区域的投影范围；

(3.3)输入一张具有肤色区域的图像，利用(3.2)中求得的均值与协方差矩阵计算该图像每个像素点对应的投影矩阵，若该投影矩阵在(3.2)中所计算的投影矩阵范围内，则认为该像素点为肤色，否则为非肤色。

4.根据权利要求1所述的超市购物车手部识别方法，其特征在于：所述手持商品判断部分中，选取信息熵作为判断手部是否持有商品的纹理信息依据。

5.根据权利要求1所述的超市购物车手部识别方法，其特征在于：所述统计部分中，选取购物车的上平面作为基准面，将所有监控区域内，高于基准面的目标作为前景；在购买和退货过程中，通过统计前景的面积以及前景中与基准面交集的面积来判断手或商品的运动状态；当前景面积大于一个阈值时，判定监控区域有运动的物体，即手或商品进入监控区域；当前景与基准面交集的统计面积为非零时，可知手或商品进入基准面，即进入购物框；当前景与基准面交集的面积为零时，处于手或商品离开基准面，即手或商品退出购物框的状态。

6.根据权利要求1所述的超市购物车手部识别方法，其特征在于：所述手持商品判断还包括色温校正部分，所述色温校正包括以下步骤：

(4.1)采集正常光照环境下的肤色图像样本，计算该图像的RGB三通道均值，得到均值向量μ，并以均值向量μ为RGB参数构造一幅固定颜色的图像，作为模板图像；

(4.2)在实际环境中读取模板图像，并按照步骤(4.1)的方法计算读取到的模板图像的均值向量υ，获得差值向量

(4.3)基于差值向量对在实际环境中捕获的图像f(i,j)进行校正，校正公式为

其中，f'(i,j)为校正后图像，(i,j)为图像坐标，τ为控制参数。

7.根据权利要求6所述的超市购物车手部识别方法，其特征在于：所述步骤(4.1)中均值向量具体计算过程为：统计所有样本图像的像素个数W以及每个像素的RGB三通道值，形成W*3的矩阵，以每一列作为一个向量，分别计算这三个向量的均值，得到均值向量。

Images