CN105069836A - 基于立体视觉与多特征图像检索的电子试衣系统 - Google Patents

Abstract

基于立体视觉与多特征图像检索的电子试衣系统，属于3D虚拟网络购物试衣领域；本发明为解决现网络购物平台存在关键字检索限制、用户对服装的检索准确度较低，并且用户无法获知衣服试穿效果、用户对服装选择困难较大的问题。本发明包括基于结构光测量技术的人体三维模型重构系统和基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统；基于结构光测量技术的人体三维模型重构系统用于获取用户的人体表面的三维坐标数据，构造用户人体表面的外形曲面，实现人体三维模型重构；基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统利用颜色、纹理和形状特征对服装进行检索。本发明用于实现网络环境下体验实体店的试衣效果。

Description

基于立体视觉与多特征图像检索的电子试衣系统

技术领域

本发明属于3D虚拟网络购物试衣领域。

背景技术

近年来，随着网络技术和电子商务技术的不断发展与成熟，网络购物平台得到了迅速的发展。由于网络购物平台中商品货源广泛、品种齐全、价格合理，因此有着巨大的市场发展前景。

然而，对于服饰类商品，网络购物平台还存在以下问题：

第一、大部分购物网站仅具有关键字检索功能，由于单纯的语言文字无法准确描述服装的款式、样式、花色等具体信息，因此给用户挑选服装带来不便；

第二、由于网站所展示的多为衣服自身或穿着在模特身上的平面图片，用户无法知道衣服穿着在自己身上的立体试衣效果，这又为用户的选择带来困难。

如何突破关键字检索限制，增加用户对服装的检索准确度，同时在网络环境下体验实体店试衣效果，是提高服饰类商品网络销售服务的关键技术问题。

发明内容

本发明目的是为了解决现网络购物平台存在关键字检索限制、用户对服装的检索准确度较低，并且用户无法获知衣服试穿效果、用户对服装选择困难较大的问题，提供了一种基于立体视觉与多特征图像检索的电子试衣系统。

本发明所述基于立体视觉与多特征图像检索的电子试衣系统，该电子试衣系统包括基于结构光测量技术的人体三维模型重构系统和基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统；

基于结构光测量技术的人体三维模型重构系统用于获取用户的人体表面的三维坐标数据，构造用户人体表面的外形曲面，实现人体三维模型重构；

基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统利用颜色、纹理和形状特征对服装进行检索。

基于结构光测量技术的人体三维模型重构系统实现的具体方法为：

步骤1-1、固定光投射器和CCD摄像机的位置，标定光投射器和CCD摄像机，获得CCD摄像机和光投射器的内外参数矩阵分别为a_c和a_p；

步骤1-2、光投射器向被测人体表面依次投射八幅垂直格雷码条纹编码光、全亮和全暗图像，并利用CCD摄像机采集被测人体的图像；

步骤1-3、对步骤2CCD摄像机采集的格雷码条纹图像二值化；

步骤1-4、根据格雷码编解码原理获取被测人体表面点在光投射器成像面上的水平坐标u_p；

步骤1-5、根据射影几何原理求取被测人体表面的三维坐标；

步骤1-6、利用Matlab读入步骤1-5获取的三维坐标数据，构造被测人体表面的外形曲面，实现人体三维模型重构；

基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统实现的具体方法为：

步骤2-1、分别利用颜色直方图和颜色相关图特征提取查询拟查询服装的颜色特征，利用灰度共生矩阵和Tamura纹理提取拟查询服装的纹理特征，利用Hu矩提取拟查询服装的形状特征；

步骤2-2、利用相似性度量方法分别计算：拟查询服装的图像Q与图像库中第I幅服装图像的颜色特征的相似距离d(m₁,m₂)，拟查询服装的图像Q与图像库中第I幅服装图像的纹理特征的相似距离d(m₃,m₄)，拟查询服装的图像Q与图像库中第I幅服装图像的形状特征的相似距离d(m₅)；从图像库中返回十幅相似距离最小的图像，并获得单一特征检索式的查准率；

步骤2-3、根据颜色特征的相似距离d(m₁,m₂)确定图像库中每幅服装图像的颜色特征信任度，根据纹理特征的相似距离d(m₃,m₄)确定图像库中每幅服装图像的纹理特征信任度，根据形状特征的相似距离d(m₅)确定图像库中每幅服装图像的形状特征信任度；

步骤2-4、对颜色特征、纹理特征和形状特征进行特征向量的归一化处理；

步骤2-5、根据D-S理论获取图像库中每幅服装图像的总信任度；

步骤2-6、根据总信任度对图像库中的所有服装图像进行排序，根据从图像库中返回的图像计算检索的准确率，将检索的准确率与步骤2-2获取的单一特征检索式的查准率进行比较，去掉单一特征检索式的查准率最低的特征，根据D-S理论重新获取图像库中每幅服装图像的总信任度，返回与拟查询图像最相似的十幅图像。

本发明的优点：本发明将结构光三维测量技术与基于多特征DS理论融合颜色、纹理和形状特征的图像检索技术相结合，实现了用户在网络环境下选择自己喜欢的衣服，并且体验实体店试衣效果；其中，结构光三维测量技术能够获取用户的人体三维数据，而基于多特征DS理论融合颜色、纹理和形状特征的图像检索技术能够突破关键字检索限制，利用颜色、纹理和形状特征增加用户对服装的检索准确度，将二者相结合所解决的新问题在于能够展示出将所选衣物穿到用户身上的三维立体效果，进而实现网络环境下体验实体店试衣效果的新功能。

本发明所述的电子试衣系统不仅可以突破关键字检索限制，增加用户对服装的检索准确度，而且可以在网络环境下体验实体店试衣效果。

附图说明

图1是本发明所述基于立体视觉与多特征图像检索的电子试衣系统的原理图；

图2是本发明具体实施方式一所述射影几何原理的光原理图。

具体实施方式

具体实施方式一：下面结合图1和图2说明本实施方式，本实施方式所述基于立体视觉与多特征图像检索的电子试衣系统，该电子试衣系统包括基于结构光测量技术的人体三维模型重构系统和基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统；

基于结构光测量技术的人体三维模型重构系统用于获取用户的人体表面的三维坐标数据，构造用户人体表面的外形曲面，实现人体三维模型重构；

基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统利用颜色、纹理和形状特征对服装进行检索。

具体实施方式二：本实施方式对实施方式一作进一步说明，基于结构光测量技术的人体三维模型重构系统实现的具体方法为：

步骤1-1、固定光投射器和CCD摄像机的位置，标定光投射器和CCD摄像机，获得CCD摄像机和光投射器的内外参数矩阵分别为a_c和a_p；

步骤1-2、光投射器向被测人体表面依次投射八幅垂直格雷码条纹编码光、全亮和全暗图像，并利用CCD摄像机采集被测人体的图像；

步骤1-3、对步骤2CCD摄像机采集的格雷码条纹图像二值化；

步骤1-4、根据格雷码编解码原理获取被测人体表面点在光投射器成像面上的水平坐标u_p；

步骤1-5、根据射影几何原理求取被测人体表面的三维坐标；

步骤1-6、利用Matlab读入步骤1-5获取的三维坐标数据，构造被测人体表面的外形曲面，实现人体三维模型重构。

具体实施方式三：本实施方式对实施方式一作进一步说明，步骤1-2所述的全暗图像用于背景剔除。

具体实施方式四：本实施方式对实施方式一作进一步说明，基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统实现的具体方法为：

步骤2-1、分别利用颜色直方图和颜色相关图特征提取查询拟查询服装的颜色特征，利用灰度共生矩阵和Tamura纹理提取拟查询服装的纹理特征，利用Hu矩提取拟查询服装的形状特征；

步骤2-2、利用相似性度量方法分别计算：拟查询服装的图像Q与图像库中第I幅服装图像的颜色特征的相似距离d(m₁,m₂)，拟查询服装的图像Q与图像库中第I幅服装图像的纹理特征的相似距离d(m₃,m₄)，拟查询服装的图像Q与图像库中第I幅服装图像的形状特征的相似距离d(m₅)；从图像库中返回十幅相似距离最小的图像，并获得单一特征检索式的查准率；

步骤2-3、根据颜色特征的相似距离d(m₁,m₂)确定图像库中每幅服装图像的颜色特征信任度，根据纹理特征的相似距离d(m₃,m₄)确定图像库中每幅服装图像的纹理特征信任度，根据形状特征的相似距离d(m₅)确定图像库中每幅服装图像的形状特征信任度；

步骤2-4、对颜色特征、纹理特征和形状特征进行特征向量的归一化处理；

步骤2-5、根据D-S理论获取图像库中每幅服装图像的总信任度；

步骤2-6、根据总信任度对图像库中的所有服装图像进行排序，根据从图像库中返回的图像计算检索的准确率，将检索的准确率与步骤2-2获取的单一特征检索式的查准率进行比较，去掉单一特征检索式的查准率最低的特征，根据D-S理论重新获取图像库中每幅服装图像的总信任度，返回与拟查询图像最相似的十幅图像。

本实施方式中，采用颜色特征的相似距离d(m₁,m₂)确定每幅图像的颜色特征信任度，根据纹理特征的相似距离d(m₃,m₄)确定每幅图像的纹理特征信任度，根据形状特征的相似距离d(m₅)确定每幅图像的形状特征信任度；现有的颜色特征、纹理特征和形状特征的信任度是根据人的主观意识进行确定，检索误差极大，本实施方式步骤2-3的方法能够避免误差大的问题。

本实施方式中，步骤2-1为分别利用颜色直方图和颜色相关图特征来提取查询拟购买衣服的颜色特征；利用灰度共生矩阵和Tamura纹理来提取查询服装的纹理特征；最后用Hu矩来提取查询服装的形状特征；

颜色直方图表述的是指不同颜色占的比例，而不计较它们的空间位置，颜色自相关图弥补了颜色直方图的这一缺点，假设I是由像素点P组合成的图像，每一像素点均有自己的灰度级别。设g₁,g₂,...g_n为图像I的所有灰度级别，I(p)为像素P的灰度级别，I_g代表灰度级别为g的像素点集合，颜色特征为：

c_g ^(d)(I)＝r^d _g·g(I)

颜色相关图是指通过颜色直方图来计算并统计具有相同灰度级别的像素点并距离某一个像素的距离为d的个数。颜色相关图同时又在颜色自相关图算法中引入了颜色渐变的概念，比较了像素的颜色变化程度在一定范围之内。因此相关图还展示了各个颜色之间的空间相关性，在这点上与颜色直方图形成互补关系。在搜索空间关系比较重要的图片时，颜色相关图充分说明了它在空间关系方面的优势相比较颜色直方图。设d为距离集合{d₀,d₁,…,d_n}，颜色相关图的相关定义有假设灰度对(g_i,g_j)的距离是d。灰度特征为：

假设已知的灰度级别是g_i，像素则用p_i表示。在本实施方式中使用颜色相关图计算特征向量时，为了与上述颜色直方图算法一致，同样选择在HSV空间来计算。

在灰度共生矩阵的概念中，用一些数学统计量来进一步刻画纹理特征向量，例如纹理二阶矩、对比度和均匀性等等，以便能够直接的表述纹理信息。一般纹理信息的定义有：

1.对比度(也叫惯性矩)

$f_1=\underset{n=0}{\overset{L-1}{\Σ}}{n}^2\left\{\underset{i=0}{\overset{L-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}{P}_{\mathrm{\δ}}(j,j)\right\}$

其中，|i-j|＝n，惯性矩f₁形容的是纹理是否清晰，求得的值是指图像中像素与领域中像素的亮度之差。f₁越大，表明图像像素间的亮度反差越大，则图像对应纹理越细。

2.熵

$f_2=\underset{i=0}{\overset{L-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}{P}_{\mathrm{\δ}}(i,j)log\[P_{\mathrm{\δ}}(i,j)\]$

熵可以看做是图像中纹理信息的度量单位。若是共生矩阵中所有元素分布越不集中，熵就越大。它表示了纹理的不均衡程度。

3.能量(角二阶矩)

$f_3=\underset{i=0}{\overset{L-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}{\left\{P_{\mathrm{\δ}}(i,j)\right\}}^2$

可以看出它是用元素平方和来表示，描述了像素灰度分布情况和纹理粗细度。若是共生矩阵中的元素的值大小比较接近时，则f₃值比较小；若是矩阵中元素的值大小分布不集中，差较大，则f₃值较大。f₃取值范围是在区间[0,1]。灰度一致的图像能量为1。

4.相关

$f_4=\frac{1}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\[\underset{i=0}{\overset{L-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}{\mathrm{ijP}}_{\mathrm{\δ}}(i,j)-{\mathrm{\μ}}_x{\mathrm{\μ}}_y\]$

其中：μ_x和σ_x为m_x均值和标准差，m_x是矩阵P中每行元素之和；μ_y是m_y的均值，而σ_y为标准差，矩阵P中列向量元素和为m_y。

灰度共生矩阵是指4个方向，4种值，组成一个4×4的矩阵，然后用各参数的均值μ和标准差σ替换特征向量元。

所以，每幅图像的纹理特征向量为F＝[μ₁,μ₂,μ₃,μ₄,σ₁,σ₂,σ₃,σ₄]。上述分量取值范围和物理意义不同，因此进行统一的归一化操作：

$f_{i,j}^N=\frac{f_{i,j}-m_i}{{\mathrm{\σ}}_j}$

其中，m_j与σ_j分别表示[f_1,j,f_2,j,f_i,j...f_M,j]的均值和标准差。

Tamura等通过人眼视觉习惯的角度提出了包括粗糙度、对比度以及方向性等等特性来描述纹理特征。Tamura等人提出的纹理特征，与灰度共生矩阵的最大不同点在于这一特征是人类视觉可以感知的，这一特性不管是在纹理还是颜色特征表示时都是非常重要的。一般情况下，前三种特征就可以很好地描述图像的纹理特征，在本发明中我们也只用到了前三种特征。

1.粗糙度

粗糙度表达了图像的粒度属性，对于两个结构不同尺度相同的图像，则尺度越大代表更加粗糙。设图像F的长和宽分别为X、Y，则粗糙度表示为：

$C_F=\frac{1}{XY}\underset{x=1}{\overset{X}{\Σ}}\underset{y=1}{\overset{Y}{\Σ}}{P}_0(x,y)$

2.对比度

对比度指获得查询图像的像素亮度在计算像素灰度的分布情况的前提下。它的定义式为： $F_{con}=\frac{\mathrm{\σ}}{C_4^{1/4}},C_4=\frac{{\mathrm{\μ}}_4}{{\mathrm{\σ}}_4},$

其中，μ₀是亮度的均值，σ代表了标准差，μ₄为μ₀的四阶中心矩。由此可见对比度是全面性的计算并分析图像而得出的。

3.方向度

一般来说，方向度是根据图像像素间的梯度向量求得，纹理特征的方向性可以通过直方图的平滑度来判定，有： $Dir=\underset{p=0}{\overset{n_p-1}{\Σ}}\underset{\mathrm{\φ}\∈R_p}{\Σ}{(\mathrm{\φ}-{\mathrm{\φ}}_p)}^2{H_{\mathrm{\θ}}}^{\left(\mathrm{\φ}\right)}$

其中H_θ代表了直方图，n_p是H_θ中峰的个数，R_p为峰p包含的相角φ的集合，而φ_p是相对峰中与最大值对应的角。显而易见，直方图中峰越尖，对应(φ-φ_p)²H_θ(φ)值越小，说明图像的方向特征越明显。

在本发明中我们采用的形状特征提取方法是HU不变矩法。对于离散的数字图像，假设图像函数是f(x,y)，那么图像的p+q阶几何矩可表示为：

$m_{pq}=\underset{y=1}{\overset{N}{\Σ}}\underset{x=1}{\overset{M}{\Σ}}{x}^p{y}^{q}f(x,y),p,q=0,1,\mathrm{2...}$

p+q阶中心距定义为：

${\mathrm{\μ}}_{pq}=\underset{-\mathrm{\∞}}{\overset{\mathrm{\∞}}{\∫}}\underset{-\mathrm{\∞}}{\overset{\mathrm{\∞}}{\∫}}{(x-\stackrel{\‾}{x})}^p{(y-\stackrel{\‾}{y})}^{q}f(x,y)dxdy,p,q=0,1,\mathrm{2...}$

其中，N，M分别是图像的高度和宽度；归一化的中心距定义为：

${\mathrm{\η}}_{pq}={\mathrm{\μ}}_{pq}/\left({\mathrm{\μ}}_{00}^{\mathrm{\ρ}}\right)$

其中：ρ＝(p+q)/+1。

Hu不变矩法利用连续情况下良好的鲁棒性特点选择二阶矩公式与三阶中心距公式组合成了七个不变矩公式，表达式如下所述：

M1＝η₂₀+η₀₂

$M2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+4{\mathrm{\η}}_{11}^2$

M3＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

M4＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

.......

Hu不变矩一般用来识别物体的形状描述得比较好且纹理特征不太复杂的图像，亦即比较适合用在图像的颜色区域分布比较集中且较为简单的区分不同区域的图像当中。

步骤2-2为利用相似性度量方法(欧氏距离)分别计算拟查询服装图像Q与图像库中的第I幅服装图像颜色的相似距离d(m₁,m₂)，拟查询服装的图像Q与图像库中第I幅服装图像的纹理特征的相似距离d(m₃,m₄)，拟查询服装的图像Q与图像库中第I幅服装图像的形状特征的相似距离d(m₅)；从图像库中返回十幅相似距离最小的图像，并获得单一特征检索式的查准率；

欧氏距离在参考系统中由于与旋转不变量具有紧密的联系，计算过程也比较简单便宜，在当前非常受到欢迎。欧氏距离即欧几里得度量。设X和Y为N维特征向量。则定义式如下： $D(X,Y)=\sqrt{\underset{i=1}{\overset{N}{\Σ}}{(X\[i\]-Y\[i\])}^2}$

在计算欧式距离之前，特别是有多个特征进行检索时获得的特征向量的每个向量元都有不同的物理意义和权值范围，先开展归一化操作，表达如下：

欧式距离对多种特征的相似性距离度量都能适用，由于本发明采用基本的三种视觉特征来开展融合检索应用，因此在本文试验中提取的用欧氏距离来判断查询图与图像库中图像的相似度。

本发明中，用户在基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统搜索出喜欢的衣服后，为了进一步体验衣服的款式、尺码和颜色是否符合自己，通过基于结构光测量技术的人体三维模型重构系统扫描获取自己的人体三维数据，快速建立三维立体模型，该三维立体模型即能够模拟用户的实际身型试穿选好的衣服，实现用户的在线虚拟试穿功能。

Claims (4)

1.基于立体视觉与多特征图像检索的电子试衣系统，其特征在于，该电子试衣系统包括基于结构光测量技术的人体三维模型重构系统和基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统；

基于结构光测量技术的人体三维模型重构系统用于获取用户的人体表面的三维坐标数据，构造用户人体表面的外形曲面，实现人体三维模型重构；

基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统利用颜色、纹理和形状特征对服装进行检索。

2.根据权利要求1所述的基于立体视觉与多特征图像检索的电子试衣系统，其特征在于，基于结构光测量技术的人体三维模型重构系统实现的具体方法为：

步骤1-1、固定光投射器和CCD摄像机的位置，标定光投射器和CCD摄像机，获得CCD摄像机和光投射器的内外参数矩阵分别为a_c和a_p；

步骤1-2、光投射器向被测人体表面依次投射八幅垂直格雷码条纹编码光、全亮和全暗图像，并利用CCD摄像机采集被测人体的图像；

步骤1-3、对步骤2CCD摄像机采集的格雷码条纹图像二值化；

步骤1-4、根据格雷码编解码原理获取被测人体表面点在光投射器成像面上的水平坐标u_p；

步骤1-5、根据射影几何原理求取被测人体表面的三维坐标；

步骤1-6、利用Matlab读入步骤1-5获取的三维坐标数据，构造被测人体表面的外形曲面，实现人体三维模型重构。

3.根据权利要求2所述的基于立体视觉与多特征图像检索的电子试衣系统，其特征在于，步骤1-2所述的全暗图像用于背景剔除。

4.根据权利要求1所述的基于立体视觉与多特征图像检索的电子试衣系统，其特征在于，基于多特征DS理论融合颜色、纹理和形状特征的图像检索系统实现的具体方法为：

步骤2-1、分别利用颜色直方图和颜色相关图特征提取查询拟查询服装的颜色特征，利用灰度共生矩阵和Tamura纹理提取拟查询服装的纹理特征，利用Hu矩提取拟查询服装的形状特征；

步骤2-2、利用相似性度量方法分别计算：拟查询服装的图像Q与图像库中第I幅服装图像的颜色特征的相似距离d(m₁,m₂)，拟查询服装的图像Q与图像库中第I幅服装图像的纹理特征的相似距离d(m₃,m₄)，拟查询服装的图像Q与图像库中第I幅服装图像的形状特征的相似距离d(m₅)；从图像库中返回十幅相似距离最小的图像，并获得单一特征检索式的查准率；

步骤2-3、根据颜色特征的相似距离d(m₁,m₂)确定图像库中每幅服装图像的颜色特征信任度，根据纹理特征的相似距离d(m₃,m₄)确定图像库中每幅服装图像的纹理特征信任度，根据形状特征的相似距离d(m₅)确定图像库中每幅服装图像的形状特征信任度；

步骤2-4、对颜色特征、纹理特征和形状特征进行特征向量的归一化处理；

步骤2-5、根据D-S理论获取图像库中每幅服装图像的总信任度；

步骤2-6、根据总信任度对图像库中的所有服装图像进行排序，根据从图像库中返回的图像计算检索的准确率，将检索的准确率与步骤2-2获取的单一特征检索式的查准率进行比较，去掉单一特征检索式的查准率最低的特征，根据D-S理论重新获取图像库中每幅服装图像的总信任度，返回与拟查询图像最相似的十幅图像。