CN106600702A - 基于虚拟现实技术的图像处理方法及设备 - Google Patents

Abstract

本发明公开了一种基于虚拟现实技术的图像处理设备，包括客户端和服务器端。客户端用于接收用户的着装建议请求；根据该请求建立与服务器端的连接，并打开摄像头采集用户全身图像；将着装建议和所采集的图像发送给服务器端；将服务器端反馈的有着装建议的可交互的三维环境输出显示。服务器端，运行工作于远程终端，用于建立与客户端的远程连接，获取客户端的着装建议请求和采集图像，提取采集图像的全身轮廓特征、面部轮廓特征及服饰颜色分布特征，通过K‑means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型，将指导模型经VR处理形成有着装建议的可交互的三维环境,将有着装建议的可交互的三维环境返回客户端。

Description

基于虚拟现实技术的图像处理方法及设备

技术领域

本发明涉及通信技术领域，尤其涉及一种基于虚拟现实技术的图像处理方法及设备。

背景技术

移动领域硬件技术的高速发展赋予了智能移动终端更广阔的应用前景，智能移动终端成为个人连接网络和企业提供服务的重要平台。例如：Android系统作为当前市场占有率最高的智能移动操作系统，其开放性、丰富的硬件特性、免费的服务和快速的更新迭代使得可移动设备的性能日益增强，与计算机的差距日益缩小，应用也日益丰富，功能多样。

传统的服装搭配检测方式一般由求职者本人或者周围人根据书籍、网络或经验进行判断，其存在主观性、随意性、局限性等不足。书籍或网络都是平面显示，人们往往无法全面判断衣服的搭配是否合适或者得体。

随着计算机数字图像处理技术以及人工智能技术的不断发展，人们可以尝试利用计算机代替人来对求职者的服装搭配进行评判。

发明内容

本发明目的在于公开一种基于虚拟现实技术的图像处理方法及设备，以在线对用户给出着装建议。为实现上述设备，本发明公开了一种基于虚拟现实技术的图像处理方法，执行于客户端设备的步骤包括：

获取用户的着装建议请求；

根据着装建议请求建立与服务器端的连接，并打开摄像头采集用户的全身图像；

将着装建议请求连同所采集的图像发送给服务器端；以及

将服务器端反馈的有着装建议的可交互的三维环境输出显示。

与之对应的，执行于服务器端的图像处理方法包括：

建立与客户端的远程连接，获取客户端的着装建议请求和采集图像；

提取采集图像的全身轮廓特征、面部轮廓特征及服饰颜色分布特征；

通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型；

将指导模型经VR处理形成有着装建议的可交互的三维环境；

将有着装建议的可交互的三维环境返回客户端。

为实现上述目的，本发明公开了一种基于虚拟现实技术图像处理设备，包括：

客户端，用于接收用户的着装建议请求，根据着装建议请求建立与服务器端的连接，并打开摄像头采集用户的全身图像，将着装建议请求连同所采集图像发送给服务器端，以及将服务器端反馈的有着装建议的可交互的三维环境输出显示；

服务器端，用于建立与客户端的远程连接，获取客户端的着装建议请求和采集图像，提取采集图像的全身轮廓特征、面部轮廓特征及服饰颜色分布特征，通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型，将指导模型经VR处理形成有着装建议的可交互的三维环境，将有着装建议的可交互的三维环境返回客户端。

本发明具有以下有益效果：

采用B/S网络架构来实现在线测试，极大提高了监测的便捷性；交互简单，可扩充性好。而且通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型，处理和识别速度快，准确率高。通过VR技术将可交互三维环境的着装建议直观的呈现给用户。基于无电充电，使用范围广，适用性强。

下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例公开的图像处理方法执行于客户端的流程图；

图2是本发明优选实施例公开的图像处理方法执行于服务器端的流程图；

图3是本发明优选实施例公开的图像处理设备的整体框架图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

本发明实施例首先公开一种基于虚拟现实技术的图像处理的方法，该方法可运行于基于Android平台或IOS等平台的手机客户端上，获取的可交互三维环境可利用VR设备观看，以呈现出360°的景观，无死角的查看着装建议。当不利用VR设备观看时，呈现的为普通的着装建议。其具体表现形式包括但不限于基于相应平台所开发及加载的应用APP及其配套硬件的组合，该客户端与远程的服务器端可通过socket通信。如图1所示，该方法执行于客户端的流程包括：

步骤S1、获取用户的着装建议请求。该着装建议请求可通过点击相应APP中的触控按键或菜单发出，也可以通过APP中的语音输入单元通过语音识别发出。

步骤S2、根据所述着装建议请求建立与服务器端的连接，并打开摄像头采集用户的全身图像。摄像头采集用户全身图像为服务器端建立用户指导模型所用。

步骤S3、将所述着装建议请求连同所采集的图像发送给所述服务器端。例如，可通过TCP/IP协议将相关信息传输给服务器端。

步骤S4、将服务器端反馈的有着装建议的可交互的三维环境输出显示。使用VR设备观看该有着装建议的可交互的三维环境时，表现为360°人物全景，用户可以直观的观看穿有着装建议服饰的自身正面，侧面，背后等各个角度，来决定是否接受该着装建议。当用户不通过VR设备直接观看时，显示为普通图片。

与上述客户端所执行步骤相对应的，服务器端图像处理如图2所示，包括：

步骤S5、建立与客户端的远程连接，获取客户端的着装建议请求和采集的图像。

步骤S6、提取采集图像的全身轮廓特征、面部轮廓特征及服饰颜色分布特征。其中，轮廓提取是将轮廓图像作为掩膜和原图像按位做逻辑与操作，得到去除背景的图像；或者是采用Canny算法对用户的灰度图像进行检测，提取轮廓信息，具体方法可为：先用高斯滤波器抑制图像中的噪声，分别用水平方向，垂直方向，45°方向和135°一阶偏导有限差分计算图像梯度幅值和方向，然后对累加的梯度幅值进行非极大值抑制，最后用高阈值检测边缘，低阈值连接边缘。

可选的，该步骤所提取的全身轮廓特征包括但不限于灰度图像中的角点特征、边缘特征以及阈值特征等其中的任意一种或任意组合；该面部轮廓特征包括但不限于肤色特征、脸型特征、发型特征等其中的任意一种或任意组合；该服饰颜色分布特征包括但不限于：在HSV空间中，分别提取上半身的主色调特征、上半身的次色调特征、下半身的主色调特征和下半身的次色调特征等其中的任意一种或任意组合。

可选的，在该步骤之前还包括：对采集图像进行灰度变换、颜色空间转换、中值滤波、背景分离等预处理中的任意一种或任意组合。

其中，灰度变换为根据各像素的R、G、B颜色分量计算各像素的灰度值，可选的，灰度值的计算公式可采用如下公式：

Gray＝R*0.299+G*0.587+B*0.114。遍历同一张测试图像的每一个像素点，都进行上述操作，可以获得整幅图像的灰度变换图像。

上述预处理中，颜色空间转换是将RGB彩色图像转换为HSV色彩空间图像；中值滤波(将图像中的每个像素点灰度值用其邻域范围内的灰度值中间值代替，同时保留边缘信息)是使用非线性的双边滤波方法对图像进行降噪及平滑处理；背景分离是将所采集图像中的用户图像与背景分离，以消除噪音，得到更精确的用户特征，以便后续进行特征提取。

本实施例中，背景分离可采用二维快速OTSU阈值算法进行背景分离，其在灰度直方图上选取阈值进行分割，阈值分割的性能取决于阈值的选取。

设图像f(x,y)尺寸为M×N，定义以(x,y)为中心的像素点邻域平均灰度为：

其中k为像素邻域的大小，[k/2]表示对k/2取整；

记像素灰度值为i且邻域平均灰度值为j的像素点个数为f_ij，则相应的概率密度为p_ij为：

p_ij＝f_ij/(M×N)；i,j＝0,1,…,255

以i,j为自变量，P_ij为因变量，形成二维直方图，假设二值灰度直方图被分割阈值(s,t)(即像素灰度值为s,其邻域灰度平均值为t的点)分为四部分，对角线经过区域分别对应背景和目标，原理对角线的区域对应边缘和噪声，则背景和目标出现的概率w₀(s,t)和w₁(s,t)分别可以定义为：

在二维OTSU算法中假设w₀+w₁≈1，目标和背景的均值矢量(即在二维直方图中目标和背景的期望坐标)分别定义为：

总体均值μ₂定义为：

由概率论中的期望概念可知：

μ₂≈w₀μ₀+w₁μ₁

由概率论中的方差概念，将目标和背景的类间离散测度矩阵定义为：

σ_B＝w₀[(μ₀-μ₂)(μ₀-μ₂)^T]+w₁[(μ₁-μ₂)(μ₁-μ₂)^T]

采用矩阵σ_B的迹tr(σ_B)作为目标和背景的类间距离测度函数：

显然测度函数的大小只与w₀(s,t)，μ₀(s,t)和μ₁(s,t)这三个量有关，二维OTSU算法的分割阈值(s₀,t₀)取在矩阵σ_B的迹为最大时。

在计算矩阵的迹tr(σ_B)时，对任意阈值(s,t)均要从(0，0)依次累加到(s,t)，使得计算复杂度极大提高，而采用下列递推公式可以有效的降低计算复杂度：

μ_i(s,t)＝μ_i(s,t-1)+μ_i(s-1,t)-

μ_i(s-1,t-1)+s·p_st

μ_j(s,t)＝μ_j(s,t-1)+μ_j(s-1,t)-

μ_j(s-1,t-1)+s·p_st

其中w₀(s,t),μ₀(s,t),μ₁(s,t)的初值为：

步骤S7、通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型。

可选的，该步骤在通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型之前，还包括：使用haar特征分类的方法训练样本集数据，得到分类指导模型。其中，通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型具体包括：将采样图像的高维特征向量与分类指导模型中的标准向量依次取欧氏距离，通过欧式距离的远近确定与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型。

步骤S8、将指导模型经VR处理形成有着装建议的可交互的三维环境。包括人物的3D模型，以及各可选着装建议所对应的服装。

步骤S9、将有着装建议的可交互的三维环境返回客户端。用户通过VR设备观看该有着装建议的可交互的三维环境，可以观看自己的3D模型穿着各着装建议所对应衣服呈现的效果，用户可根据直观的效果选择自己满意的着装搭配。

综上，本实施例公开的图像处理方法，采用B/S网络架构来实现在线测试，极大提高了监测的便捷性；交互简单，可扩充性好。而且通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型，处理和识别速度快，准确率高。利用VR技术生成的可交互的三维环境，更直观的将着装建议呈现给用户以供用户选择。

本实施例中，上述图像处理方法可以用于形象测试，也可以与求职招聘系统进行关联，用于对形象要求比较高的如导游、公关、礼仪等岗位的求职招聘。

与上述方法实施例相对应的，下述实施例还公开一种用于执行上述方法的配套设备。

该设备包括客户端和服务器端，其中：

客户端，用于获取用户的着装建议请求，根据着装建议请求建立与服务器端的连接，并打开摄像头采集用户的全身图像，将着装建议请求连同所采集的图像发送给服务器端，以及将服务器端反馈的有着装建议的可交互的三维环境输出显示。

服务器端，用于建立与客户端的远程连接，获取客户端的着装建议请求和采集图像，提取采集图像的全身轮廓特征、面部轮廓特征及服饰颜色分布特征，通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型，将指导模型经VR处理形成有着装建议的可交互的三维环境，以及根据该指导模型向客户端返回有着装建议的可交互的三维环境。

参见图3，客户端和服务器端均采用无线充电技术供电。该无线充电设备包含送电模块和受电模块。在送电模块有一块充电板，其中含有电源模块和送电线圈，当充电板的电源模块连接电源之后，送电线圈产生电磁感应现象；在手机和电脑设备上安装有受电线圈，将设备放在充电板上，设备上的受电线圈就会受到送电线圈的电磁感应现象的影响产生电流，经过设备中的整流稳压模块产生稳定且符合要求的电压及电流，对设备进行充电。

本实施例公开的图像处理设备，采用B/S网络架构来实现在线测试，极大提高了监测的便捷性；交互简单，可扩充性好。而且通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型，处理和识别速度快，准确率高。利用VR技术生成的可交互的三维环境，更直观的将着装建议呈现给用户以供用户选择。设备基于无电充电，使用范围广，适用性强。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于虚拟现实技术的图像处理方法，执行于客户端，其特征在于，包括：

接收用户的着装建议请求；

根据所述着装建议请求建立与服务器端的连接，并打开摄像头采集用户的全身图像；

将所述着装建议请求连同所采集的图像发送给所述服务器端；以及

将所述服务器端反馈的有着装建议的可交互的三维环境输出显示。

2.基于虚拟现实技术的图像处理方法，执行于服务器端，其特征在于，包括：

建立与客户端的远程连接，获取所述客户端的着装建议请求和采集的图像；

提取所述采集图像的全身轮廓特征、面部轮廓特征及服饰颜色分布特征；

通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型；

将所述指导模型经VR处理形成有着装建议的可交互的三维环境；

将有着装建议的可交互的三维环境返回所述客户端。

3.根据权利要求2所述的基于虚拟现实技术的图像处理方法，其特征在于，所述通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征之前，还包括：

使用haar特征分类的方法训练样本集数据，得到分类指导模型；

所述通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型包括：

将所述采样图像的高维特征向量与所述分类指导模型中的标准向量依次取欧氏距离，通过欧式距离的远近确定与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型。

4.根据权利要求2所述的基于虚拟现实技术的图像处理方法，其特征在于，所述提取所述采集图像的全身轮廓特征、面部轮廓特征及服饰颜色分布特征之前还包括：

对所述采集图像进行以下预处理中的任意一种或任意组合：

颜色空间转换、灰度变换、中值滤波、背景分离。

5.根据权利要求4所述的基于虚拟现实技术的图像处理方法，其特征在于，所述灰度变换为根据各像素的R、G、B颜色分量计算各像素的灰度值；

所述颜色空间转换是将RGB彩色图像转换为HSV色彩空间图像；

所述中值滤波是使用非线性的双边滤波方法对图像进行降噪处理；

所述背景分离是将所采集图像中的用户图像与背景分离。

6.根据权利要求5所述的基于虚拟现实技术的图像处理方法，其特征在于，所述背景分离采用如下递推算法：

设图像f(x,y)尺寸为M×N，定义以(x,y)为中心的像素点邻域平均灰度为：

$g(x,y)=\frac{1}{k^2}\underset{m=\[-k/2\]}{\overset{k/2}{\Σ}}\underset{m=\[-k/2\]}{\overset{k/2}{\Σ}}f(x+m,y+m)$

记像素灰度值为i且邻域平均灰度值为j的像素点个数为f_ij，则相应的概率密度为p_ij为：

p_ij＝f_ij/(M×N)；i,j＝0,1,…,255

以i,j为之变量，P_ij为变量，形成二维直方图，假设二值灰度直方图被分割阈值(s,t)分为四部分，对角线经过区域分别对应背景和目标，原理对角线的区域对应圆边和噪声，则背景和目标出现的概率可以定义为：

$\left\{\begin{array}{c}{w}_0(s,t)=P_r\left(c_0\right)=\underset{i=0}{\overset{s}{\Σ}}\underset{j=0}{\overset{t}{\Σ}}{p}_{ij}\\ w_1(s,t)=P_r\left(c_1\right)=\underset{i=s+1}{\overset{255}{\Σ}}\underset{j=t+1}{\overset{255}{\Σ}}{p}_{ij}\end{array}\right.$

在二维OTSU算法中假设w₀+w₁≈1，目标和背景的均值矢量定义为：

$\left\{\begin{array}{c}{\mathrm{\μ}}_0={\left({\mathrm{\μ}}_{0s},{\mathrm{\μ}}_{0t}\right)}^T={\[\underset{i=0}{\overset{s}{\mathrm{\Σ}}}\underset{j=0}{\overset{t}{\mathrm{\Σ}}}{\mathrm{ip}}_{ij}/w_0\left(s,t\right),\underset{i=0}{\overset{s}{\mathrm{\Σ}}}\underset{j=0}{\overset{t}{\mathrm{\Σ}}}{\mathrm{jp}}_{ij}/w_0\left(s,t\right),\]}^T\\ {\mathrm{\μ}}_1={\left({\mathrm{\μ}}_{1s},{\mathrm{\μ}}_{1t}\right)}^T={\[\underset{i=s+1}{\overset{255}{\mathrm{\Σ}}}\underset{j=t+1}{\overset{255}{\mathrm{\Σ}}}{\mathrm{ip}}_{ij}/w_1\left(s,t\right),\underset{i=s+1}{\overset{255}{\mathrm{\Σ}}}\underset{j=t+1}{\overset{255}{\mathrm{\Σ}}}{\mathrm{jp}}_{ij}/w_1\left(s,t\right),\]}^T\end{array}\right.$

总体均值μ₂定义为：

${\mathrm{\μ}}_z={\left({\mathrm{\μ}}_{z0},{\mathrm{\μ}}_{z1}\right)}^T={\[\underset{i=0}{\overset{255}{\mathrm{\Σ}}}\underset{j=0}{\overset{255}{\mathrm{\Σ}}}{\mathrm{ip}}_{ij},\underset{i=0}{\overset{255}{\mathrm{\Σ}}}\underset{j=0}{\overset{255}{\mathrm{\Σ}}}{\mathrm{jp}}_{ij}\]}^T$

目标和背景的类间离散测度矩阵定义为：

${\mathrm{\σ}}_B=\underset{k=0}{\overset{1}{\Σ}}{p}_r\left(c_k\right)\[({\mathrm{\μ}}_k-{\mathrm{\μ}}_z){({\mathrm{\μ}}_k-{\mathrm{\μ}}_z)}^T\]$

采用矩阵σ_B的迹tr(σ_B)作为目标和背景的了类间距离测度函数：

$tr\[{\mathrm{\σ}}_B(s,t)\]=\frac{\[{\left(w_0\right(s,t){\mathrm{\μ}}_{zs}-{\mathrm{\μ}}_0(s,t\left)\right)}^2+{\left(w_0\right(s,t){\mathrm{\μ}}_{zs}-{\mathrm{\μ}}_1(s,t\left)\right)}^2\]}{w_0(s,t)(1-w_0(s,t\left)\right)}$

测度函数的大小只与w₀(s,t)，μ₀(s,t)和μ₁(s,t)这三个量有关，二维OTSU算法的分割阈值(s₀,t₀)取在矩阵的迹为最大时。

7.根据权利要求6所述的基于虚拟现实技术的图像处理方法，其特征在于，所述背景分离采用二维快速OTSU阈值算法进行背景分离，其采用下列递推公式以降低计算复杂度：

$\begin{array}{c}{w}_0\left(s,t\right)=\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\underset{j=1}{\overset{t}{\mathrm{\Σ}}}{p}_{ij}=\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\underset{j=1}{\overset{t-1}{\mathrm{\Σ}}}{p}_{ij}+\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{p}_{it}=\\ w_0\left(s,t-1\right)+w_0\left(s-1,t\right)-w_0\left(s-1,t-1\right)+p_{st}\end{array}$

μ_i(s,t)＝μ_i(s,t-1)+μ_i(s-1,t)-

μ_i(s-1,t-1)+s·p_st

μ_j(s,t)＝μ_j(s,t-1)+μ_j(s-1,t)-

μ_j(s-1,t-1)+s·p_st

初值w₀(s,t),μ₀(s,t),μ₁(s,t)的初值为：

$\left\{\begin{array}{c}{w}_0(s,0)=\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{p}_{i1}=w_0(s-1,1)+p_{s0}\\ {\mathrm{\μ}}_i(s,0)={\mathrm{\μ}}_i(s-1,1)+s\·p_{s0}\\ {\mathrm{\μ}}_j(s,0)={\mathrm{\μ}}_j(s-1,1)+s\·p_{s0}\\ w_0(0,0)=p_{00}\\ {\mathrm{\μ}}_i(0,0)=0\\ {\mathrm{\μ}}_j(0,0)=0\end{array}\right..$

8.根据权利要求2所述的基于虚拟现实技术的图像处理方法，其特征在于，所述轮廓提取是将轮廓图像作为掩膜和原图像按位做逻辑与操作，得到去除背景的图像；或者

所述轮廓提取是采用Canny算法对用户的灰度图像进行检测，提取轮廓信息。

9.基于虚拟现实技术的图像处理设备，其特征在于，包括：

客户端，用于接收用户的着装建议请求，根据所述着装建议请求建立与服务器端的连接，并打开摄像头采集用户的全身图像，将所述着装建议请求连同所采集的图像发送给所述服务器端，以及将所述服务器端反馈的有着装建议的可交互的三维环境输出显示；

服务器端，用于建立与客户端的远程连接，获取所述客户端的着装建议请求和采集图像，提取所述采集图像的全身轮廓特征、面部轮廓特征及服饰颜色分布特征，通过K-means统计向量方法获取与该形体特征、面部轮廓特征及服饰颜色分布特征对应的指导模型，将所述指导模型经VR处理形成有着装建议的可交互的三维环境，将有着装建议的可交互的三维环境返回所述客户端。

10.根据权利要求9所述的基于虚拟现实技术的图像处理设备，其特征在于，所述客户端和所述服务器端均采用无线充电技术供电。