CN107463910A - 基于GoogleGlass的目标识别增强现实系统 - Google Patents

Abstract

本发明公开了一种基于GoogleGlass的智能目标识别增强现实系统，属于人工智能领域，具体涉及用于基于人脸部特征信息进行身份识别的技术。本发明能够过智能检测和显示人物信息，增强单兵作战的信息获取能力的同时提升系统的智能化水平，智能高效地为作战人员提供形象、直观的目标信息，用于支撑不同作战人员、不同作战形式的未来智慧战术单兵系统的构建。系统由支撑组件层、网络传输层和应用组件层共三层结构组成，实现了通过智能眼镜拍摄场景中的目标，经由无线网络在后端PC上快速识别，并将姓名等信息传送到智能眼镜叠加显示的功能，达到了通过智能眼镜实时查询目标人物相关信息的目的。

Description

基于GoogleGlass的目标识别增强现实系统

技术领域

本发明涉及人工智能领域，具体涉及一种基于GoogleGlass的智能目标识别增强现实系统。

背景技术

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，是对人的意识、思维的信息过程的模拟，是当前最热门的技术。随着社会信息化和科技化的发展，安全问题也层出不穷。传统的基于IC卡和密码的身份鉴别方式已经不能满足人们对快速、高效、安全的身份鉴别技术的需求。而计算机技术和生物医学工程的飞速发展使得利用人体本身的生物特征来鉴别个人身份的方式备受关注。生物特征的识别是信息技术和生物技术相结合的识别技术，生物特征包括人体的生理特征(如指纹、虹膜、人脸等)和行为特征(如笔迹、声音、步态等)。相较其他识别方法，由于人脸识别无侵害、易采集、直观而且具有唯一性，不易被复制，使其成为最易被接受的识别方法，也因此成为当下的研究热点。

目标识别技术在学术界已经研究较多，但是利用可穿戴设备(例如GoogleGlass)的增强现实技术实现对人脸的识别检测是一个新的应用方式，国内目前在这方面的应用较少。在军事应用方面，未来战场形势瞬息万变，战术单兵如何利用自身装备实时快速准确地获取目标信息是取得战斗胜利的关键所在，目前的战术单兵武器装备无法满足智慧战术单兵的信息获取需求。

发明内容

发明目的：基于以上不足，本发明提出一种基于GoogleGlass的智能目标识别增强现实系统，用于智慧单兵系统的构建。

技术方案：本发明所述的基于GoogleGlass的智能目标识别增强现实系统包括目标识别分系统、信息传输分系统和拍照显示分系统，其中，目标识别分系统部署在PC上，实现对目标图片的处理和识别，目标识别分系统从拍照显示分系统接收目标图片，对目标图片进行处理和识别，并将识别结果返回至拍照显示分系统；拍照显示分系统部署在GoogleGlass上，实现对目标进行拍照和目标识别结果在眼镜上叠加显示，拍照显示分系统对目标进行拍照，将目标图片发送至目标识别分系统并从目标识别分系统接收识别结果，并将目标照片和识别结果叠加显示；信息传输分系统利用MQTT协议在目标识别分系统与拍照显示分系统之间建立连接，MQTT服务器部署在PC上，MQTT客户端部署在PC和GoogleGlass上，经由无线网络实现信息的发送、传输和接收。

有益效果：本发明首次将GoogleGlass的增强现实技术引入到军用智能战术单兵系统构建中，实现了通过智能眼镜拍摄场景中的目标，经由无线网络在后端PC上快速识别，并将姓名等信息传送到智能眼镜叠加显示的功能，达到了通过智能眼镜实时查询目标人物相关信息的目的。与现有技术相比，具有以下显著优点：

(1)智能化：能够根据用户的第一人称视角，智能地显示用户关注的人物身份等信息。

(2)便携化：解放用户双手，使目标识别的应用场景得到了极大扩展，可在不影响本身工作的基础上进行身份识别验证等功能。这一优点在需要携带大量装备的单兵用户方面尤为明显。

(3)效率高：可以根据战术单兵需要随时随地对其关心的目标人物进行识别和检测，识别时间为毫秒级。

附图说明

图1是本发明的系统整体架构图；

图2是本发明的目标识别分系统结构图；

图3是本发明的目标识别分系统界面截图；

图4是本发明的信息传输分系统数据流图；

图5是本发明的拍照显示分系统结构图；

图6是本发明的硬件环境组成图；

图7是使用本发明的增强显示系统的操作流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

本发明提出的基于GoogleGlass的智能目标识别增强现实系统属于人工智能领域，具体涉及一种基于目标的特征信息进行目标识别的技术，该系统能够过智能检测和显示目标信息，增强了单兵作战的信息获取能力，智能高效地为作战人员提供形象、直观的目标信息展示，用于支撑不同作战人员、不同作战形式的未来智慧战术单兵系统的构建。图1示出了本发明的系统整体架构，如图1所示，在系统分层架构上，基于GoogleGlass的智能目标识别增强现实系统由支撑组件层、网络传输层、应用组件层共3层结构组成。其中，支撑组件层为绘制组件层提供底层基础功能支撑，网络传输层提供系统的数据通信支持，应用组件层为系统的应用开发提供基本功能支持。在系统组成上，基于GoogleGlass的智能目标识别增强现实系统由目标识别分系统、信息传输分系统和拍照与增强信息显示分系统(以下简称拍照显示分系统)组成。以下详述各分系统的组成及实现原理。

目标识别分系统部署于台式PC上，开发环境为Visual Studio 2010+MFC框架+SQLServer2005数据库。图2所示为目标识别分系统的结构图，目标识别分系统包括信息接收处理模块、目标数据库模块、目标识别模块、信息发送模块、界面显示模块等5个模块，其中，信息接收处理模块接收目标图片的二进制格式化信息，对其进行相应图片格式的处理，并将处理后图片传递给目标识别模块；目标数据库模块用SQL Server2005实现，存储和管理注册到识别系统中的所有目标照片；目标识别模块首先连接到目标数据库模块，通过目标识别算法对目标图片与目标数据库中所存储的目标进行比对，得到比对结果，选取最接近的5个比对结果传递给界面显示模块，并将相似度得分最高的那个比对结果传递给信息发送模块；信息发送模块接收目标识别模块发送来的识别结果，将其转化为一串字符发送给增强现实AR分系统(即拍照显示分系统)；界面显示模块实现目标及识别比对结果的图形化显示，目标界面显示用openCV实现，界面用MFC框架实现。

目标识别模块使用的目标识别算法为人脸识别算法，本发明在传统的人脸识别算法的基础上针对人脸的匹配和识别过程进行了改进，能够实现更加准确的识别结果。算法主要过程如下：

(1)获取人脸：从GoogleGlass所拍图片中获取所需要的人脸图像。

(2)截取人脸区域：根据人脸的肤色进行截取人脸区域。

(3)图像预处理：对图像进行去噪声、光线补偿、平滑、增强对比度等处理。

(4)人脸检测：对人脸的特定部位进行标记，比如嘴巴、鼻子、眼睛等。

(5)人脸识别：主要是进行特征提取，包括对双眼的距离进行提取，得出眼睛的倾斜角度，得出眼睛和嘴巴的重心，标记特征，提取特征之后，将特征值存入人脸库。

(6)人脸比对：将当前获取的图像的特征与人脸库中的特征进行对比和分析，给出相似度结果。

本发明在进行特征提取时，使用SIFT(Scale-Invariant Feature Transform)算法寻找DoG(difference of Gaussian)关键点；在匹配识别过程中使用DoG关键点生成完全无向图的顶点集合，生成最小生成树，估计Renyi熵来进行图像匹配。

本系统的目标数据库中的目标数据包括以下字段信息：

单位属性：序号、姓名、性别、部门、科室、研究方向、相似度；

社会关系属性：序号、姓名、家庭身份、家庭成员；

个人基本信息：序号、身高、体重、性格、兴趣爱好、个人履历。

进行测试的目标信息字段如下：

表1应用实体目标特性

属性名称	长度(字节)	类型
			序号	4	UINT
姓名	20	char[]
			性别	4	UINT
部门	254	char[]
			科室	128	char[]
研究方向	254	char[]
			相似度	8	double

如图3所示，目标识别分系统界面元素包括：叠加显示的目标照片和识别结果；文本输入框：服务器IP、服务器端口、客户端端口、数据库名称；传输内容单选项：图片、信息；功能按钮：注册按钮、连接网络服务器按钮、连接数据库按钮等。

图4是信息传输分系统数据流图。信息传输分系统利用MQTT(Message QueuingTelemetry Transport，消息队列遥测传输)协议实现拍照显示分系统与目标识别分系统之间的通信。具体地，拍照显示分系统安装在GoogleGlass上，目标识别分系统安装在PC上，将MQTT服务器部署在PC上，MQTT客户端包括PC客户端和GoogleGlass客户端，分别安装MQTTwindows和MQTT Android版本的传输接口。这样就将拍照显示分系统与目标识别分系统之间的通信转换为GoogleGlass和PC之间的通信。GoogleGlass和PC通过Wifi实现信息的发送和接收，GoogleGlass和PC上都调用MQTT的接口，PC使用Windows版本的MQTT接口，GoogleGlass使用Android版本的MQTT接口。MQTT的接口及参数如下：

transInit(服务器IP地址、本地端口号、消息接收器地址)

sendData(接收方端口号、数据内容、标志位)

transRelese()

MQTT连接的过程包括四个步骤：连接初始化、信息发送、发送结束、连接释放。前提是网络必须无线连通，可以使用装载Android系统的平板电脑与PC结合设置Wifi网络。在无线网络连通的情况下，利用本系统识别目标对象所花时间是毫秒级。

信息传输分系统包括初始化模块、传输模块、释放模块等3个模块。其中，初始化模块实现传输系统的初始化，配置好MQTT服务器IP地址、本地绑定的端口号topic和消息接收器的回调函数地址；传输模块通过无线方式实现信息的发送、传输和接收；释放模块释放MQTT绑定的端口号和占用的其他资源。

拍照显示分系统部署在GoogleGlass上，实现对目标进行拍照和目标识别结果在眼镜上叠加显示。图5是拍照显示分系统架构图。拍照显示分系统包括：程序触发模块、预览模块、拍照模块、存储模块、信息发送模块、信息接收模块、界面绘制显示模块等7个模块。其中，程序触发模块实现增强现实-目标识别AR程序在GoogleGlass上的触发；预览模块实现拍照预览功能，即拍照前在眼镜画面上显示一个取景框，方便用户利用眼镜上的摄像头捕捉目标信息，避免了GoogleGlass自带的盲拍功能导致无法准确定位被识别者目标图像的缺憾；拍照模块实现对目标进行拍照，支持按键或触摸两种方式；存储模块实现拍完目标照片后对其进行本地存储，存储两种分辨率的图片，一种是原图，像素较高，分辨率为2528*1890，另一种是缩略图，分辨率为640*360；信息发送模块将缩略图图片信息转换为格式化的二进制信息并且调用网络传输模块发送至目标识别分系统，支持的图片格式有bmp、png、jpg等；信息接收模块将识别结果信息从二进制转化为GBK文本字符串(解决了GoogleGlass默认的编码方式导致的中文乱码的问题)，并截取出姓名、性别、部门、科室、研究方向、相似度等信息，然后将结果传递给界面绘制显示模块；界面绘制显示模块将识别结果进行显示，有两种模式(参见图3)：

①传信息：这种模式下，目标识别分系统将识别结果传输给GoogleGlass，界面绘制显示模块将GoogleGlass拍摄的被识别者缩略图本地加载显示，同时在相应位置叠加显示识别结果信息；

②传图片：这种模式下，目标识别分系统将被识别的原图像和识别结果一起打包传输给眼镜，界面绘制显示模块将原图像显示同时在其上相应位置叠加显示识别结果信息。

在一个实施例中，系统的硬件配置包括GoogleGlass、PC一台、无线路由器一个、装载Andorid系统的平板电脑一个，平板电脑用于同步显示GoogleGlass上显示的内容。图6是系统的硬件环境示意图。其中，GoogleGlass上部署的软件有：增强现实AR系统、Android版MQTT；PC上部署的软件有：MQTT服务器、Windows版MQTT、目标识别系统、SQL Server 2005数据库(存放目标)；平板电脑上部署的软件有：联网设置、GoogleGlass官方发布的MyGlass软件。

图7是系统用户使用操作步骤图。基于GoogleGlass的智能目标识别检测软件的用户操作步骤如下：

1)GoogleGlass通过触摸板，启动增强现实AR，PC启动MQTT服务器，启动目标识别分系统，开启路由器，使GoogleGlass与PC能够互通；

2)PC端目标识别分系统，先设置服务器IP、服务器端口(本地topic)、客户端端口(智能眼镜topic)、数据库名称等必要信息，然后点击“连接网络服务器”和“连接数据库”按钮，提示“连接服务器成功”和“连接数据库成功”；

3)GoogleGlass上先触发增强现实AR软件，在增强现实AR“预览”界面，点击触摸板或者拍照按钮进行拍照，拍照完成后界面显示“轻触接受”，轻触一下触摸板，所拍照片将被自动保存在眼镜上并且通过无线传输网络发送到PC上的目标识别分系统；

4)PC端目标识别分系统收到目标图片后对其进行处理和分析比对，给出最相似的5个比对结果，然后将相似度排名最高的发送给GoogleGlass；

5)GoogleGlass收到识别结果在眼镜上叠加显示。

本发明提供了利用GoogleGlass更加方便和快捷地进行目标识别的手段。拍照方式方面，GoogleGlass默认的拍照方式是盲拍，拍照时眼镜上没有“取景框”，在进行目标拍照时，这一点让使用者很难准确地在镜头内捕捉到目标，并且使目标拍出来后在眼镜画面恰当的位置。针对这一限制，本系统对GoogleGlass的拍照功能进行了改造，增加了“预览”功能，拍照前在眼镜画面中显示摄像头捕捉到的真实场景，相当于有了“取景框”，这样使用人员就可以轻松实现对目标的拍照。照片存储方面，为了减少传输时延，本系统将拍照后形成的照片的缩略图进行存储，然后将缩略图发送给目标识别分系统，可以减少传输的数据量，原来照片的分辨率为2528*1890，而缩略图的分辨率只有640*360，传输的像素数减少为原来的20分之一，在不影响识别精度的情况下大大地提高了系统的运行效率。此外，在识别结果传输回来时，系统只将简单的识别信息传送回来，然后在眼镜界面上叠加显示。识别结果的显示是自动显示，用户只需完成拍照，其他功能都是系统后台完成，用户只需经过毫秒级等待时间识别结果就会自动在眼镜界面上显示。

Claims (8)

1.一种基于GoogleGlass的智能目标识别增强现实系统，其特征在于：包括目标识别分系统、信息传输分系统和拍照显示分系统，其中，

所述目标识别分系统从所述拍照显示分系统接收目标图片，对目标图片进行处理和识别，并将识别结果返回至所述拍照显示分系统；

所述拍照显示分系统对目标进行拍照，将目标图片发送至所述目标识别分系统并从所述目标识别分系统接收识别结果，并将目标照片和识别结果叠加显示；

所述信息传输分系统在所述目标识别分系统与所述拍照显示分系统之间建立连接，实现信息的发送、传输和接收。

2.根据权利要求1所述的基于GoogleGlass的智能目标识别增强现实系统，其特征在于：所述目标识别分系统部署在PC上，实现对目标图片的处理和识别；所述拍照显示分系统部署在GoogleGlass上，实现对目标进行拍照和目标识别结果在眼镜上叠加显示。

3.根据权利要求2所述的基于GoogleGlass的智能目标识别增强现实系统，其特征在于：所述信息传输分系统利用MQTT协议实现拍照显示分系统与目标识别分系统之间的通信，其中MQTT服务器部署在所述PC上，MQTT客户端部署在所述PC和所述GoogleGlass上，所述PC上使用Windows版本的MQTT接口，所述GoogleGlass上使用Android版本的MQTT接口。

4.根据权利要求1-3中的任一项所述的基于GoogleGlass的智能目标识别增强现实系统，其特征在于：所述目标识别分系统包括信息接收处理模块、目标数据库模块、目标识别模块、信息发送模块和界面显示模块，其中，

所述信息接收处理模块，接收目标图片的二进制格式化信息并对其进行相应图片格式的处理，并将处理后的目标图片传递给目标识别模块；

所述目标数据库模块，存储和管理注册到识别系统中的所有目标照片；

所述目标识别模块，连接至目标数据库，通过目标识别算法对目标图片和目标数据库中的目标进行比对，产生最接近的5个比对结果，传递给界面显示模块，并将相似度得分最高的比对结果传递给信息发送模块；

所述信息发送模块，接收目标识别模块发送来的识别结果，将其转化为一串字符后发送给所述拍照显示分系统；

所述界面显示模块，对目标及比对结果进行图形化显示。

5.根据权利要求4所述的基于GoogleGlass的智能目标识别增强现实系统，其特征在于：所述目标识别算法为在传统人脸识别算法的基础上进行改进后的人脸识别算法，在进行特征提取时使用SIFT算法寻找DoG关键点；在匹配识别过程中使用DoG关键点生成完全无向图的顶点集合，生成最小生成树，估计Renyi熵来进行图像匹配。

6.根据权利要求4所述的基于GoogleGlass的智能目标识别增强现实系统，其特征在于：所述界面显示模块显示的界面元素包括：

目标照片和识别结果；

文本输入框：服务器IP、服务器端口、客户端端口、数据库名称；

传输内容单选项：图片、信息；以及

功能按钮：注册按钮、连接网络服务器按钮、连接数据库按钮。

7.根据权利要求2所述的基于GoogleGlass的智能目标识别增强现实系统，其特征在于：所述拍照显示分系统包括程序触发模块、预览模块、拍照模块、存储模块、信息发送模块、信息接收模块和界面绘制显示模块，其中，

所述程序触发模块，实现增强现实-目标识别AR程序在GoogleGlass上的触发；

所述预览模块，实现拍照预览功能，即在拍照前在眼镜画面上显示一个取景框；

所述拍照模块，实现对目标进行拍照；

所述存储模块，实现拍完目标照片后，对其进行本地存储；

所述信息发送模块，将图片信息转换为格式化的二进制信息并且调用网络传输模块发送至目标识别分系统；

所述信息接收模块，将识别结果信息从二进制转化为GBK文本字符串，并截取出所需信息传递给界面绘制显示模块；

所述界面绘制显示模块将识别结果进行显示。

8.根据权利要求7所述的基于GoogleGlass的智能目标识别增强现实系统，其特征在于：所述存储模块存储两种分辨率的图片，一种是原图，分辨率为2528*1890；另一种是缩略图，分辨率为640*360。