CN102663448B

CN102663448B - 一种基于网络的增强现实物体识别分析方法

Info

Publication number: CN102663448B
Application number: CN201210057691.XA
Authority: CN
Inventors: 刘越; 桂振文; 王涌天
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2012-03-07
Filing date: 2012-03-07
Publication date: 2016-08-10
Anticipated expiration: 2032-03-07
Also published as: CN102663448A

Abstract

本发明涉及一种基于网络的增强现实(AR)物体识别分析方法，通过智能终端的拍摄设备，对采集的当前场景进行处理，提取表示当前场景的HOG特征，通过在网络端服务器接收所述HOG特征，由于在网络服务器端预先储存有多个物体模板，通过读取各物体的SVM分类器，将接收到的当前场景HOG特征描述与服务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景的内各物体成功归类，最终将输出分类结果，并发送给智能终端；智能终端在当前场景上叠加显示上述分类结果，用户可以点击上述分类结果，查看详细信息。

Description

一种基于网络的增强现实物体识别分析方法

技术领域

本发明属于移动增强现实技术领域，应用计算机视觉技术中的图像增强使智能设备具备增强现实的识别功能，对当前环境中的信息进行识别和检测，检测后进行相应的增强，进而实现多种应用。

背景技术

随着各种智能设备的迅速发展，如今配备摄像头已经成为智能设备的基本设置之一，在越加强大的图像处理器支持下，智能设备中的摄像头不再局限于拍照这种简单的功能，使用摄像头对当前场景进行图像帧的采集和分析操作，已经被广泛应用在各种智能个人设备上，如智能手机。这些基于摄像头的应用通常集中在导航、游戏等一些特定的领域，配合事先通过其他设备获得的大量数据，用以从图像中分析出预定的场景状态或者动作信号，实现相应的功能。但是，这样的识别过程，首先，需要依赖智能设备的中的其他配件，例如，对于导航而言，智能设备中必须配备GPS模块，对于游戏中的应用，则需要红外组件/重力感应等配合实现，其次，这样的特定应用，并不能给使用者提供有关于该场景中被摄物体的实时信息，也不能提供有关被摄物体的全面信息，只能依赖于现有的数据。因此，识别受到了严格的限制，应用也难以扩展。

一般的智能设备并不必备GPS等辅助功能模块，但基本的通信模块却是不可缺少的，特别是随着3G网络这种新一代无线通信网络技术的蓬勃发展，数据传输的速度得到了显著的提高，基于数据的各种应用日益受到使用者的青睐，在这种情况下，无需依赖其他辅助功能模块就可实现的场景识别以及基于识别信息的各种深度应用具有极大客户的需求和经济发展前景，不仅有助于帮助各种网络运营商和内容提供商发展其业务，更有助于简化智能设备的硬件配置，从而使之更加轻薄。同时，基于C/S架构系统的各种应用得以充分利用相对于智能设备而言性能更加优异的网络服务器端，使得应用不受限于智能设备数据处理能力。

发明内容

本发明提供一种基于网络的增强现实(AR)物体识别分析方法，以及相应的系统和应用。根据本发明的物体识别分析方法，使用智能设备的摄像头对当前场景进行图像采集，并利用AR识别技术，对被采集场景内的物体进行识别，依靠互联网或其它通信手段，提供被识别物体的各种信息，并在这些信息上附加进一步的各种应用，为使用者获取该物品的相关信息提供一种更为便利的手段。

根据本发明的一种基于网络的增强现实(AR)物体识别分析方法，包括，

(a)使用智能终端的拍摄设备，采集当前场景的视频帧；

(b)对采集获得的当前场景视频帧进行处理，提取表示当前场景的视频帧的HOG特征，通过通信模块向网络端服务器发送所述HOG特征；

(c)网络端服务器接收所述HOG特征，并且网络服务器端储存有多个物体模板，读取各物体的SVM(Support Vector Machine)分类器，将收到的当前场景HOG特征描述与服务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景的内各物体成功归类；

(d)输出分类结果，并发送给智能终端；

(e)智能终端显示上述分类结果，用户可以点击上述分类结果，查看详细信息。

相应的，根据本发明的方法，还提供了一种基于网络的增强现实物体识别分析系统，包括客户端和网络服务端，其中，所述客户端包括智能设备，所述智能设备具有图像获取模块和HOG特征提取模块，采集当前场景的视频帧，对采集到的视频帧进行处理，提取表示当前场景的视频帧的HOG特征；以及通信模块和显示模块，向网络端服务器发送所述HOG特征，显示网络服务器端返回的结果；

所述网络服务器端具有接收模块，接收发送的所述HOG特征点；

识别模块，基于网络服务器端储存有多个物体模板，读取各物体的SVM(SupportVector Machine)分类器，将收到的当前场景HOG特征描述与服务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景的内各物体成功归类；

发送模块，将匹配的模板发送给智能终端；

根据本发明的基于网络的增强现实(AR)物体识别分析方法，使用成熟的C/S架构，实现基于视觉的增强现实，能够使用智能设备实时获取当前场景的视频帧，通过对视频帧图像的HOG特征提取和SVM分类，实时检测出当前场景内的各物体种类，进而提供进一步的附加信息，扩展了智能终端的交互式应用，满足了教育、零售、交通、酒店服务等在智能终端上的扩展应用，使网络运营商和内容提供商能够利用其丰富的服务器资源和优越的服务器性能发展其业务。

附图说明

图1示出了本发明的基于网络的增强现实(AR)物体识别分析方法流程图；

图2为示出了本发明的HOG特征提取流程图；

图3为本发明的网络服务器端物体样本训练流程图；

图4a-4c为本发明的物体识别方法使用在水果场景的示意图。

具体实施方式

下面将结合附图对本发明的物体识别分析方法做详细描述，图1示出了本发明的基于网络的增强现实(AR)物体识别分析方法流程，包括以下基本步骤，(a)用户打开智能终端的拍摄设备，采集当前场景的视频帧，(b)对采集获得的当前场景视频帧进行处理，提取表示当前场景的HOG特征，(c)网络端服务器接收所述HOG特征，并且网络服务器端储存有多个物体模板，读取各物体的SVM(Support Vector Machine)分类器，将收到的当前场景HOG特征描述与服务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景的内各物体成功归类；(d)输出分类结果，并发送给智能终端；(e)智能终端在当前场景上叠加显示上述分类结果，用户可以点击上述分类结果，查看详细信息。

在图1所示的方法流程中，步骤(a)、(d)、(e)涉及智能终端拍摄视频图像，根据相应的应用要求，处理并显示来自网络服务器端的数据，这些步骤在目前的智能终端上均已经广泛实施，这些已有实施方式均可用于本发明，且本发明的视频图像拍摄、处理并显示来自网络服务器端的数据不限于现有的方式。以下对步骤(b)和(c)的实现详细描述。

视频帧处理，提取场景的HOG特征

提取表现当前场景的HOG特征通过对拍摄获取的当前场景视频帧进行图像处理实现，HOG特征以特征向量的形式表现，用以表征一幅图像的特征。因此通过对拍摄获得的表现当前场景的一幅或几幅视频帧图像进行处理，以获得表现当前场景的HOG特征。以下部分以处理一幅视频帧图像为例进行说明：

首先，可以对该视频帧通过建立尺度金字塔，实现尺度空间的概念，在尺度金字塔的每层，将图像转换为RGBA空间的图像，以提取HOG特征；上述建立尺度金字塔和转换图像为RGBA空间图像的步骤可互换。具体的，对于某幅图像，如图2所述，获得HOG特征的步骤为，

1)对于转换得到的上述RGBA图像，创建窗口图像：所述创建窗口图像的过程为设定检测窗口的尺寸，该检测窗口从所述转换得到的RGBA图像上获取与检测窗口大小一致的图像，其中检测窗口的大小可依据待处理的图像大小以及场景特征决定，例如，对于场景特征为物体较为单一的大尺寸图像，可以设定较大尺寸的检测窗口，如200×200像素，而对于场景特征为物体较为丰富的图像，则可以设定小尺寸的检测窗口；

2)对上述获得的窗口图像实施标准化gamma空间和颜色空间，以减少光照因素的影响，这种处理压缩了图像，能够有效地降低图像局部的阴影和光照变化，并且成为灰度图以减少不必要的信息处理量；其中

Gamma压缩公式：I(x，y)＝I(x，y)gamma，例如，取Gamma＝1/2

3)计算梯度：计算上述步骤2)获得的压缩图像的一阶梯度。一般的，梯度计算通过求导操作获得，这样不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响，其中，

梯度大小：

R (X, Y) = \sqrt{{(I (X + 1, Y) - I (X - 1, Y))}^{2} + {(I (X, Y - 1) - I (X, Y + 1))}^{2}}

梯度方向：Ang(X，Y)＝arc cos(I(X+1，Y)-I(X-1，Y)/R)

4)创建单元格，进行梯度投影：具体的，将上述处理过的窗口图像分成若干个M像素×M像素小区域，这些区域被称为“单元格”，单元格尺寸是依据场景特征决定，与窗口尺寸选择依据类似。将每个单元格中所有象素的一维梯度直方图或者边缘方向累加到单元格中，将这个基本的方向直方图映射到固定的K个角度上。例如，取单元格为8×8像素，将梯度的方向平均划分为9个箱子(bin)，把每个像素的幅值投影至每个箱子中，每个单元格行成一个9维的直方图。

5)根据图像的实际尺寸，取N×N个单元格定义为一“块”，将所有单元格在块上进行归一化，这样的归一化能够进一步地对光照、阴影和边缘进行压缩。由于每个单元格可以由多个不同的块共享，它的归一化是基于不同块的，所以计算结果也不一样。因此，一个单元格的特征会以不同的结果多次出现在最后的向量中。归一化之后的块描述符称之为HOG描述符，为某幅图像的HOG特征。

将检测空间中所有重叠的块进行HOG特征的收集，合成最终的特征向量作为此视频帧的HOG特征供分类使用。

例如对于一个40×40像素的图片，取单元格＝8×8像素，块＝2×2个单元格，则以块每次滑动一个单元格计算，特征维数＝4*4*(2*2*9)＝576维。

基于模板匹配的分类

分类过程通过查询分类器实现，查询分类器即服务器使用获得的表示当前场景的HOG特征去询问储存在服务器内的不同SVM分类器，在不同分类器中用当前场景的HOG特征向量与分类器的模板HOG向量进行对比，输出分值最高的并且大于设定的阈值的分类器模板，即为模板匹配成功，完成分类。

而存储在网路服务器SVM分类器基于已知的物体模板训练获得，受制于物体模板的多样性，为了实现良好的匹配以顺利完成分类，需要预先进行离线训练。如图3所述，采集某一类样本物的一系列图片(包括在不同方向，俯仰角度等拍摄的图片)构成此类物体的训练图片集，对训练图片集的每个图片建立尺度金字塔，提取这些图片集中各图像的HOG特征，并生成相应的HOG特征描述符，将这些HOG特征描述符与物体标签进行对应，进而训练SVM分类器，生成不同的SVM分类器。

其中生成HOG特征描述符的过程同前，对于某一类样本物的一系列图片，对应于多个HOG特征描述符，将此多个对应于一类样本训练物的多个HOG特征函数化，生成一描述该类样本物特征的特征函数，作为一物体标签，完成HOG描述符与物体标签的对应，训练SVM分类器。分类器是对已知的样本运用机器学习的方法进行训练生成一个数学模型，通过该模型能对待分类的物体进行归类。具体包括：

1.通过Latent-SVM算法，依次将每个特征放入SVM分类器中，使用如下的梯度下降法优化目标函数，

\min \frac{1}{2} {| | w | |}_{2} + \frac{c}{n} Σ_{i = 1}^{n} \max (0,1 - y_{i} f (x_{i})),

其中f(x_i)＝<w，x>是线性分类面，<·，·>表示内积。n为样本集的个数，w是与最优分类面的法向量，C为物体的类别个数。

2.根据公式f(x₁)-||w||₂，计算每个HOG特征的得分，通过与或操作搜索计算最优的组成结构。

通过以上学习完成SVM分类器的训练，获得一类物的SVM分类器。对不同的样本物重复这一过程，生成其他类的SVM分类器。

考虑到样本物的特性往往难以在单一的图片中完整表现，而每张图片均包含整个样本物的训练图片也难以确保细节的获得，可以对样本物进行分割，以部件的方式进行训练，学习组成物体的各部件以及组成结构，用于识别图像中的物体。

对于这样的部件构成的物体检测模板，用HOG特征描述，由一个粗尺度模板T_O，和m个细尺度模板组成：

T = (T_{O}, m, {T_{p}^{j}}_{j = 1}^{m})

其中表示一组部件级的模板。每个部件有独立的参数，可以由一个三元组表示

T_{p}^{j} = {h_{j}, w_{j}, S_{j}} .

1)h_j＝(d_j，r_j)代表第j个部件的隐变量，d_j代表每个部件相对于其固定点的位移。此外，每个部件允许有r_j＝{-20，0，20}度的旋转。旋转可以通过循环位移HOG直方图实现。同基于形变的部件模型类似，用一个高斯模型描述部件的位移。

2)w_j是第j个部件的参数，包括了HOG的参数，平移的惩罚项和一个平移项。

3)S_j＝(s_j，a_j，l_j)分别表示了部件的形状s_j，长宽比a_j，及固定点l_j。在本发明中，每个部件最小不少于3×3的HOG块，且不超过检测窗口的大小。

此外，还定义由M个候选部件组成的部件字典。字典中每个部件单词具有唯一的形状，长宽比和固定点。选择部件的最优组成结构被定义为从字典中选出一组不重叠且完全覆盖检测窗口的部件。

应用举例

水果场景下的分类识别，参见图4a-4c

1.使用智能终端的图像拾取装置，将其面向一包括了多种水果的场景，并打开智能终端的图像采集应用程序界面，获取具有食物场景的视频帧，如图4a所示；

2.智能终端根据该视频帧，按照本发明的方法步骤(b)完成HOG特征的提取，并将提取得到的视频帧HOG特征发送给网络服务器端；

3.网络服务器端根据接收到的HOG特征，与利用步骤(c)训练的SVM分类器进行匹配，完成模板匹配后将分类的结果向智能终端发送；

4.在智能终端的显示界面，在当前场景视频帧的图像中相应的水果位置处，叠加所识别出的各类水果的名称及相关信息的标识物，如图4b所示；通过增强现实显示，该标识物可以是链接、下拉菜单、简单几何图形等图像；相关信息可以包括食品的名称、营养组分、烹饪方法、价格波动等，如图4c所示。

本领域的技术人员应当了解，本发明的应用不局限于上述应用举例，还可适用于各种实时场景中的物体检测和分类，包括但不限于诸如家具卖场，路况交通等等。

本发明的方法基于C/S的架构来实现，用户端可以是各种具有摄像设备的智能终端，例如手机，车载摄像机等，将视频取得的信息通过处理压缩等手段传送至服务器，由服务器端实现检测和识别并提交至用户端。由于采用了C/S模式，本方法可以很好地结合云计算，物联网和3/4G无线网络传输，并且本方法是可扩展的，可与社会性网络服务SNS(SocialNetworking Services)应用相结合，融合众多SNS特色与视频媒体播放，也可社区化应用。

Claims

1.一种基于网络的增强现实(AR)物体识别分析方法，包括以下步骤：

(a)使用智能终端的拍摄设备，采集当前场景的视频帧；

(b)对采集获得的当前场景视频帧进行处理，提取表示当前场景的视频帧HOG特征，通过通信模块向网络端服务器发送所述HOG特征；

(d)输出分类结果，并发送给智能终端；

2.如权利要求1所述的一种基于网络的增强现实(AR)物体识别分析方法，其特征在于所述(c)步骤所述的匹配为：服务器使用获得的表示当前场景的HOG特征询问储存在服务器内的不同SVM分类器，在不同分类器中用当前场景的HOG特征向量与分类器的模板HOG向量进行对比，输出分值最高的并且大于设定的阈值的分类器模板。

3.如权利要求2的一种基于网络的增强现实(AR)物体识别分析方法，所述的SVM分类器通过预先离线训练获得。

4.如权利要求3的一种基于网络的增强现实(AR)物体识别分析方法，所述离线训练包括：对样本物进行分割，以部件的方式进行训练。

5.如权利要求1的一种基于网络的增强现实(AR)物体识别分析方法，所述步骤(b)中提取表示当前场景的HOG特征包括：对采集的视频帧建立尺度金字塔，在尺度金字塔的每层，将图像转换为RGBA空间的图像，以提取HOG特征。

6.如权利要求5的一种基于网络的增强现实(AR)物体识别分析方法，所述HOG特征提取还包括，

对转换得到的RGBA图像进行设定检测窗口；

对窗口图像实施标准化gamma空间和颜色空间；

计算梯度，创建单元格将梯度投影到单元格的梯度方向；

将所有单元格在块上进行归一化；

收集检测空间的所有块的HOG特征形成表示所述视频帧的HOG特征。

7.一种基于网络的增强现实物体识别分析系统，包括客户端和网络服务端，其中，所述客户端包括智能设备，所述智能设备具有：图像获取模块和HOG特征提取模块，采集当前场景的视频帧，对采集到的视频帧进行处理，提取表示当前场景的视频帧的HOG特征；以及通信模块和显示模块，向网络端服务器发送所述HOG特征，显示网络服务器端返回的结果；

所述网络服务器端具有接收模块，接收发送的所述HOG特征；

识别模块，基于网络服务器端储存有多个物体模板，读取各物体的SVM(SupportVector Machine)分类器，将收到的当前场景HOG特征描述与服务器端的各SVM分类器相匹配，找到匹配成功的一分类器以将当前场景的内各物体成功分类；以及

发送模块，将匹配的物体模板发送给智能终端。