CN104268842A - 基于Contour算法和Gabor滤波的虚实融合的方法 - Google Patents

Abstract

本发明公开了基于Contour算法和Gabor滤波的虚实融合的方法，采集所需对象的视频流后，将其转换为对应的帧图像，通过Contour算法勾勒出帧图像中不同对象的边界，之后，通过Gabor算法，对用户选择的对象进行多分辨率特征提取，再利用SVM算法进行计算，生成用户选择对象在真实场景下的真实对象，实现虚拟融合。本发明采用手机摄像机、数码相机等一般摄像机采集视频流即可，解决了电子商务和移动商务环境下虚实融合的客观难题；本发明采用Contour算法进行边界运算，解决了其他算法无法封闭曲线的问题；本发明采用二维Gabor滤波器，能够充分提取图像的特征信息，使虚实融合更贴近真实。

Description

基于Contour算法和Gabor滤波的虚实融合的方法

技术领域

本发明涉及虚实融合的增强现实领域，特别是基于Contour算法和Gabor滤波的虚实融合的方法。

背景技术

增强现实(Augmented Reality，简称AR)，是在虚拟现实的基础上发展起来的新技术，也被称之为混合现实。是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。增强现实的核心是虚实融合，即将真实环境与虚拟对象融合，通过虚拟物体对真实对象进行补充，增强了用户对真实对象的认知。

虚拟对象和真实对象的融合需要有对真实对象进行感应的设备，即传感器，以确定虚拟对象和真实对象融合的部位，而按照传感器，当前的虚实融合模型分为两类：(1)以GPS为主传感设备的融合模型。在该模型中，通过GPS进行位置定位，配合重力感应器和摄像头等传感设备，将虚拟对象与真实场景匹配。(2)以摄像头为主的虚实配准三维融合模型。虚实配准要求使用者事先确定摄像机的内部参数，然后将摄像机三维坐标系、真实场景三维坐标系和虚拟场景三维坐标系合并，建立一个全局仿射坐标系，通过真实场景与虚拟场景的坐标转换来实现虚拟对象与真实场景的匹配。

在电子商务和移动商务的环境下，由于物品采购往往是在室内进行的，所以无法采用GPS进行地理位置定位，因而无法采用第一种模型。而在第二种模型中，精准的三维定位的设备专用性强、计算量较大，一般的商用设备无法达到要求。

因此，在电子商务与移动商务的环境下，需要以传统的摄像设备为传感设备实现虚实融合，这方面的研究是一个新的方向，有助于电子商务与移动商务在网络上宣传、产品包装等各方面的应用，提升用户对产品的认知。

发明内容

为解决上述问题，本发明的目的在于基于Contour算法和Gabor滤波的虚实融合，在电子商务和移动商务的环境下，利用Contour算法和Gabor滤波对图像进行处理，使所需对象更符合真实场景。

本发明解决其问题所采用的技术方案是：

一种基于Contour算法和Gabor滤波的虚实融合的方法，包括：

获取所需对象的视频流，将获取的每一帧视频流还原为对应的帧图像；

通过Contour算法确定帧图像中不同对象的边界；

采用Gabor算法对特定对象进行多分辨率特征提取，所述特定对象为从所述不同对象中选择的指定对象；以及

基于多分辨率所提取的特征，采用SVM算法获取所述特定对象在真实场景中的真实对象。

所述方法还包括：

创建所述获取的真实对象的对象信息，并将此对象信息与真实对象共同显示在屏幕上。

其中，通过公式 $J_k\left(z_0\right)=\∫\mathrm{\Ψ}(z_0-z)I\left(x\right)d^{2}x=({\mathrm{\ψ}}_k*I)\left(z_0\right)$ 对特定对象进行多分辨率特征提取，其中，*表示卷积算子，Ψ表示Gabor函数 ${\mathrm{\Ψ}}_{u,v}\left(z\right)=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\σ}}^2}{*e}^{-\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{2{\mathrm{\σ}}^2}}*[e^{{\mathrm{ik}}_{u,v}*z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}],$ u和v分别代表Gabor滤波器的方向和尺度，z＝(x,y)表示像素的位置，σ表示窗口宽度和波长的比例关系，表示振荡部分，表示补偿直流分量，k_u,v表示小波向量且 k_max为最大因子，f为尺度因子。

所述Gabor滤波器具有40个，每个滤波器具有5个不同的尺度和8个不同的方向，即u＝0,1,2,3,4，v＝0,1,2,3,4,5,6,7，且σ＝2π,

一种基于Contour算法和Gabor滤波的虚实融合的系统，包括：

摄像机，用于获取所需对象的视频流；

转换模块，用于将获取的每一帧视频流还原为对应的帧图像；

边界计算模块，用于通过Contour算法确定帧图像中不同对象的边界；

特征提取模块，用于采用Gabor算法对特定对象进行多分辨率特征提取，所述特定对象为从所述不同对象中选择的指定对象；

SVM模块，用于基于多分辨率所提取的特征，采用SVM算法获取所述特定对象在真实场景中的真实对象。

所述系统还包括：

显示模块，用于创建所述获取的真实对象的对象信息，并将此对象信息与真实对象共同显示在屏幕上。

其中，通过公式 $J_k\left(z_0\right)=\∫\mathrm{\Ψ}(z_0-z)I\left(x\right)d^{2}x=({\mathrm{\ψ}}_k*I)\left(z_0\right)$ 对特定对象进行多分辨率特征提取，其中，*表示卷积算子，Ψ表示Gabor函数 ${\mathrm{\Ψ}}_{u,v}\left(z\right)=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\σ}}^2}{*e}^{-\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{2{\mathrm{\σ}}^2}}*[e^{{\mathrm{ik}}_{u,v}*z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}],$ u和v分别代表Gabor滤波器的方向和尺度，z＝(x,y)表示像素的位置，σ表示窗口宽度和波长的比例关系，表示振荡部分，表示补偿直流分量，k_u,v表示小波向量且 k_max为最大因子，f为尺度因子。

所述Gabor滤波器具有40个，每个滤波器具有5个不同的尺度和8个不同的方向，即u＝0,1,2,3,4，v＝0,1,2,3,4,5,6,7，且σ＝2π,

本发明的有益效果是：

本发明涉及电子商务和移动商务环境下的增强现实，采集所需对象的视频流后，将其转换为对应的帧图像，通过Contour算法勾勒出帧图像中不同对象的边界，基于勾勒出的边界，通过Gabor算法，对用户选择的对象进行多分辨率特征提取，以此获取选择对象的Gabor特征，再利用SVM算法进行计算，生成用户选择对象在真实场景下的真实对象，实现虚拟融合。最后创建这些真实对象的名称信息，包括对象的名称及用户所需要的其它信息。本发明采用手机摄像机、数码相机等一般摄像机采集视频流即可，解决了电子商务和移动商务环境下虚实融合的客观难题；本发明采用Contour算法进行边界运算，解决了其他算法无法封闭曲线的问题；本发明采用二维Gabor滤波器，其具有高斯包络的平面波，能够精确地提取图像的局部特征，且对位移、形变、旋尺度变化和光照变化都有一定的容忍能力，能够充分提取图像的特征信息，使虚实融合更贴近真实场景。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明所述方法的流程图；

图2是本发明所述系统的结构组成框图。

具体实施方式

参照图1所示的流程图，获取所需对象的视频流，可以通过传统的摄像机获取，包括手机摄像头、数码相机等，因为本发明主要应用于电子商务及移动商务的环境下，比如商场、超级市场中的商品视频采集等，因此，简便化是本发明注重的一面。获取视频流之后，需要对视频流进行转换，将获取的每一帧视频流还原为对应的帧图像，这些生成的帧图像所组成的整体图像可能会比较模糊，这也就是增强现实技术所需要解决的问题，尽量使真实环境中的实物展现于人们面前。

本发明采用Contour算法确定帧图像中不同对象的边界，帧图像中有不同的对象，一段视频流当中可能包含有不同(商品)对象的视频信息，这些不同对象之间需要划分边界，以免后续做技术处理时，不同的对象之间混合处理，导致不同对象的色彩或大小变样。本发明选择Contour算法，是因为相对于Canny算法、Sobel算法、Roberts算法、Log算法等这些边界确定算法，Contour算法可以将关注的对象封合边界，形成封闭的曲线，而其他算法则不具有此优点。Contour算法采用图像灰度等高线所形成的封闭体来确定所关注的对象。属于同一灰度等高线中的像素具有以下特征：该像素的8邻域中存在有高于(或低于)等高线灰度值的像素，且该像素灰度小于等于(或高于等于)该等高线灰度值。当应用高于的定义时，可以称为较低等高线，反之，应用低于的定义时，可以称之为较高等高线，在同一次处理过程中应只采用较低等高线或较高等高线的两者之一，否则会引起混乱。本发明采用较低灰度等高线定义进行计算，具体如下： $B_{\mathrm{ij}}=\left\{\begin{array}{cc}1& H_{\mathrm{ij}}>H_r\\ 0& H_{\mathrm{ij}}<H_r\end{array}\right.$ 其中，H_ij为邻域像素灰度值，H_r为等高线的定义的灰度值。

不同对象的边界确定之后，本发明采用Gabor算法对特定对象进行多分辨率特征提取，所述特定对象为从所述不同对象中选择的指定对象。作为用户来说，他并不需要视频流中的所有对象，只需要视频流中所需对象的信息，在不同对象的边界确定之后，用户可以通过人机界面选择所需要的对象，在后续的计算中，只需要对这些用户选择的对象进行处理即可。本发明通过公式 $J_k\left(z_0\right)=\&Integral;\mathrm{\&Psi;}(z_0-z)I\left(x\right)d^{2}x=({\mathrm{\&psi;}}_k*I)\left(z_0\right)$ 对特定对象进行多分辨率特征提取，其中，*表示卷积算子，Ψ表示Gabor函数 ${\mathrm{\&Psi;}}_{u,v}\left(z\right)=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\&sigma;}}^2}{*e}^{-\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{2{\mathrm{\&sigma;}}^2}}*[e^{{\mathrm{ik}}_{u,v}*z}-e^{-\frac{{\mathrm{\&sigma;}}^2}{2}}],$ u和v分别代表Gabor滤波器的方向和尺度，z＝(x,y)表示像素的位置，σ表示窗口宽度和波长的比例关系，表示振荡部分，表示补偿直流分量，k_u,v表示小波向量且 k_max为最大因子，f为尺度因子。本发明采用的Gabor滤波器具有40个，每个滤波器具有5个不同的尺度和8个不同的方向，即u＝0,1,2,3,4，v＝0,1,2,3,4,5,6,7，且σ＝2π,经过卷积运算之后，帧图像的每一个像素点得到40个复数值，由于相位信息是时变的，所以本发明采取了幅值信息，这样每个像素点可以计算得到40个幅值，该过程重复运用于每个像素点，就得到了图像I＝(x,y)的Gabor特征。本发明之所以采用Gabor算法，因其具有高斯包络的平面波，能够精确地提取图像的局部特征，且对位移、形变、旋尺度变化和光照变化都有一定的容忍能力，能够充分提取图像的特征信息，使虚实融合更贴近真实。

得到帧图像的特征之后，本发明采用SVM算法获取所述特定对象在真实场景中的真实对象。至此，便可以得到真实的虚拟图像。所述SVM为支持向量机，商品边界界定后，来提取识别特征，由于商品的文字和颜色的变化范围有限，易于识别和提取，因此，本发明将文字和颜色确定为所提取的特征。然后，通过文字和颜色的融合特征，采用SVM来识别对象。在操作中，对于训练好的SVM，可以将其表述如下：

f＝SVM(Text,Color)

其中，Text为文字向量(可以为中英文单词)、Color为颜色向量(含主要的多种颜色)，当f输出为某一类预设的待识别商品对象时，即识别到了该商品；当f输出为0时，即该商品对象无法识别。

Text的提取步骤包括两步：(1)获取关键帧。对每帧图像，利用Canny算法提取出边界轮廓，通过图像填充，得到文字区域。对于连续帧，选取文字区域最大的帧为关键帧来提取文字。(2)识别文字。采用线性归一和Fourier描述子进行特征提取，与中文文字库进行匹配，得到所识别的文字。

Color的提取方法为K-均值聚类算法。在聚类时，设置的聚类簇中的聚类数量为3，提取其中的前两个作为颜色特征。

生成真实对象之后，需要创建对应的对象信息，并将此对象信息显示在屏幕上。我们知道，对于某种商品，用户需要知道其价格、重量、保质期等各种信息，因此，这些信息也需要显示出来。其实，在具体显示时，将其与真实对象相匹配显示出来即可。

参照图2所示，本发明提供了一种基于Contour算法和Gabor滤波的虚实融合的系统，包括：

摄像机，用于获取所需对象的视频流；

转换模块，用于将获取的每一帧视频流还原为对应的帧图像；

边界计算模块，用于通过Contour算法确定帧图像中不同对象的边界；

特征提取模块，用于采用Gabor算法对特定对象进行多分辨率特征提取，所述特定对象为从所述不同对象中选择的指定对象；

SVM模块，用于基于多分辨率所提取的特征，采用SVM算法获取所述特定对象在真实场景中的真实对象；

显示模块，用于创建所述获取的真实对象的对象信息，并将此对象信息显示在屏幕上。

所述摄像机为普通摄像机，包括手机摄像头、数码相机等。

所述特征提取模块通过公式 $J_k\left(z_0\right)=\&Integral;\mathrm{\&Psi;}(z_0-z)I\left(x\right)d^{2}x=({\mathrm{\&psi;}}_k*I)\left(z_0\right)$ 对特定对象进行多分辨率特征提取，其中，*表示卷积算子，Ψ表示Gabor函数 ${\mathrm{\&Psi;}}_{u,v}\left(z\right)=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\&sigma;}}^2}{*e}^{-\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{2{\mathrm{\&sigma;}}^2}}*[e^{{\mathrm{ik}}_{u,v}*z}-e^{-\frac{{\mathrm{\&sigma;}}^2}{2}}],$ u和v分别代表Gabor滤波器的方向和尺度，z＝(x,y)表示像素的位置，σ表示窗口宽度和波长的比例关系，表示振荡部分，表示补偿直流分量，k_u,v表示小波向量且 k_max为最大因子，f为尺度因子。所述Gabor滤波器具有40个，每个滤波器具有5个不同的尺度和8个不同的方向，即u＝0,1,2,3,4，v＝0,1,2,3,4,5,6,7，且σ＝2π,

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (8)

1.一种基于Contour算法和Gabor滤波的虚实融合的方法，其特征在于，包括：

获取所需对象的视频流，将获取的每一帧视频流还原为对应的帧图像；

通过Contour算法确定帧图像中不同对象的边界；

采用Gabor算法对特定对象进行多分辨率特征提取，所述特定对象为从所述不同对象中选择的指定对象；以及

基于多分辨率所提取的特征，采用SVM算法获取所述特定对象在真实场景中的真实对象。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

创建所述获取的真实对象的对象信息，并将此对象信息与真实对象共同显示在屏幕上。

3.根据权利要求1所述的方法，其特征在于，通过公式对特定对象进行多分辨率特征提取，其中，*表示卷积算子，表示Gabor函数                                                ，u和v分别代表Gabor滤波器的方向和尺度，表示像素的位置，表示窗口宽度和波长的比例关系，表示振荡部分，表示补偿直流分量，表示小波向量且，，为最大因子，为尺度因子。

4.根据权利要求3所述的方法，其特征在于，所述Gabor滤波器具有40个，每个滤波器具有5个不同的尺度和8个不同的方向，即，，且。

5.一种基于Contour算法和Gabor滤波的虚实融合的系统，其特征在于，包括：

摄像机，用于获取所需对象的视频流；

转换模块，用于将获取的每一帧视频流还原为对应的帧图像；

边界计算模块，用于通过Contour算法确定帧图像中不同对象的边界；

特征提取模块，用于采用Gabor算法对特定对象进行多分辨率特征提取，所述特定对象为从所述不同对象中选择的指定对象；

SVM模块，用于基于多分辨率所提取的特征，采用SVM算法获取所述特定对象在真实场景中的真实对象。

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：

显示模块，用于创建所述获取的真实对象的对象信息，并将此对象信息与真实对象共同显示在屏幕上。

7.根据权利要求5所述的系统，其特征在于，通过公式对特定对象进行多分辨率特征提取，其中，*表示卷积算子，表示Gabor函数，u和v分别代表Gabor滤波器的方向和尺度，表示像素的位置，表示窗口宽度和波长的比例关系，表示振荡部分，表示补偿直流分量，表示小波向量且，，为最大因子，为尺度因子。

8.根据权利要求7所述的系统，其特征在于，所述Gabor滤波器具有40个，每个滤波器具有5个不同的尺度和8个不同的方向，即，，且。