CN109297489B - 一种基于用户特征的室内导航方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于用户特征的室内导航方法，包括：导航路径建立步骤，获取寻书用户的寻书导航请求及用户当前所处位置，确定目标图书所处位置，建立寻书导航路径；用户特征提取步骤，获取寻书用户的面部图像，提取面部特征信息；实时定位导航步骤，获取图书馆内各个区域的视频图像，提取各个视频图像中各个人的特征，与寻书用户的特征信息比对，找出包含有寻书用户的视频图像，确定寻书用户的实时位置，根据寻书导航路径对用户进行实时引导，确定寻书用户的实时位置与目标图书所处位置一致时，完成寻书导航。本发明还公开了一种电子设备及存储介质，本发明能够能够较精准地引导用户寻书，提供较好的寻书体验。

Description

一种基于用户特征的室内导航方法、电子设备及存储介质

技术领域

本发明涉及定位导航领域，尤其涉及一种基于用户特征的室内导航方法、电子设备及存储介质。

背景技术

随着人们对图书阅读量的需求增多，越来越多的人来到图书馆阅读书籍，利用图书馆海量存书进行学习、阅读、知识更新和信息查询。人们在图书馆阅读书籍时，难免需要一个寻书的过程。然而，目前大部分图书馆都没有提供较好的寻书引导，仅仅通过一些简单的标示牌让用户大概得了解图书的大概分类，由于没有较为细致的引导，用户在寻书过程中花费的时间较多。而一些比较传统的图书馆寻书引导方式，用户在图书馆进行图书借阅时，首先通过图书馆中固定区域设置的图书查询设备检索索书号,查看书籍对应的分类区域和存放书架号并一一记录，再在图书查询设备上查看图书馆的平面图和需要借阅书籍的大致存放区域，判断到达书籍存放区域的行走路线并通过用户记忆来寻找图书，由于很多图书馆存书量较大，整个借书、寻书的过程对用户的引导体验较差，用户往往需要耗费较长时间寻找，才能到达目标借书区域，如何提供较好的寻书引导方式，是目前大多图书馆亟需解决的问题。

目前，大部分大型图书馆各个区域都覆盖设置有高清摄像头，而随着图像识别技术的发展，利用摄像头通过人脸及穿戴组合特征进行指定人物的识别跟踪定位已成为可能。基于此，如何利用用户特征识别为用户借书过程中提供更好的引导和寻书体验成为一个值得研究的方向。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种基于用户特征的室内导航方法，能够较精准地引导用户寻书，提供较好的寻书体验。

本发明的目的采用如下技术方案实现：

一种基于用户特征的室内导航方法，包括：导航路径建立步骤，获取寻书用户的寻书导航请求及用户当前所处位置，确定目标图书所处位置，建立寻书导航路径；用户特征提取步骤，获取寻书用户的面部图像，提取面部特征信息；实时定位导航步骤，获取图书馆内各个区域的视频图像，提取各个视频图像中各个人的特征，与寻书用户的特征信息比对，找出包含有寻书用户的视频图像，确定寻书用户的实时位置，根据寻书用户的实时位置判断寻书用户是否按寻书导航路径行走，根据寻书导航路径对用户进行实时引导，确定寻书用户的实时位置与目标图书所处位置一致时，完成寻书导航。

进一步地，在所述导航路径建立步骤之前，还包括：识别模型建立步骤，大量获取不同人的面部图像及全身不同角度的图像，通过学习校正，建立面部识别模型及身体各部位识别模型。

进一步地，在所述用户特征提取步骤中，根据寻书用户的视频图像，还提取寻书用户的头发特征信息。

进一步地，在所述用户特征提取步骤中，还获取多张寻书用户的全身图像，提取身体各部位的特征信息。

进一步地，在所述实时定位导航步骤中，提取各个视频图像中各个人的特征，与寻书用户的特征信息比对时，以寻书用户的面部特征为主、身体各部位特征为辅进行比对。

进一步地，在所述实时定位导航步骤中，提取各个视频图像中各个人的特征，若存在面部特征关键点与寻书用户的面部特征相似度达到设定值时，确定为包含有寻书用户的视频图像。

进一步地，在所述导航路径建立步骤中，根据图书馆平面地图建立寻书导航路径，图书馆平面地图包含各书架所处的位置信息。

进一步地，在所述实时定位导航步骤中，根据拍摄到寻书用户的摄像头的编号及图像的拍摄时间，实时定位用户所处位置。

本发明的目的之二在于提供一种电子设备，能够较精准地引导用户寻书，提供较好的寻书体验。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明目的之一所述的一种基于用户特征的室内导航方法。

本发明的目的之三在于提供一种存储介质，能够较精准地引导用户寻书，提供较好的寻书体验。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如发明目的之一所述的一种基于用户特征的室内导航方法。

相比现有技术，本发明的有益效果在于：

本发明的一种基于用户特征的室内导航方法、电子设备及存储介质，通过提取寻书用户的面部特征信息并根据用户寻书导航请求建立寻书导航路径，在用户寻书过程中，通过图书馆内不同区域的摄像头获取不同区域的视频图像，根据预先提取的寻书用户的特征信息找出含有寻书用户的视频图像，根据该视频图像对应的摄像头位置确定寻书用户的实时位置，并根据寻书导航路径对用户进行实时引导，能够较精准地引导用户寻书，提供较好的寻书体验，使得寻书用户能够较快的找到目标图书，有效提升寻书效率。

附图说明

图1为发明一种基于用户特征的室内导航方法流程示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一：

如图1所示的一种基于用户特征的室内导航方法，包括：

S0识别模型建立步骤，大量获取不同人的面部图像及全身不同角度的图像，通过学习校正，建立面部识别模型及身体各部位识别模型；

S1导航路径建立步骤，获取寻书用户的寻书导航请求及用户当前所处位置，确定目标图书所处位置，建立寻书导航路径；

S2用户特征提取步骤，获取寻书用户的面部图像，提取面部特征信息；

S3实时定位导航步骤，获取图书馆内各个区域的视频图像，提取各个视频图像中各个人的特征，与寻书用户的特征信息比对，找出包含有寻书用户的视频图像，确定寻书用户的实时位置，根据寻书用户的实时位置判断寻书用户是否按寻书导航路径行走，根据寻书导航路径对用户进行实时引导，确定寻书用户的实时位置与目标图书所处位置一致时，完成寻书导航。

本实施例的一种基于用户特征的室内导航方法，旨在通过比对寻书用户的特征信息对寻书过程中的寻书用户进行实时定位，并根据寻书导航路径对用户进行实时引导，以提高用户的寻书效率。在图书馆中，寻书用户通过图书查询终端上传寻书导航请求。图书查询终端是图书馆为读者提供的、方便读者进行馆藏书目信息检索、借阅查询等操作的图书检索终端。图书馆通常设有多台检索终端，每台检索终端编号后设置在图书馆的各个场馆中，每台检索终端的编号以及设置的位置信息均一一记录并存储在系统中。方便读者就近进行信息检索。图书查询终端操作区域上方设有摄像头，用于拍摄用户头部视频图像进行用户信息确认。在图书馆平面地图上对应标注各个书架的坐标位置信息及各个图书查询终端的坐标位置信息。同时对于图书馆各个区域设置的摄像头，也相应在图书馆平面地图标注坐标位置信息。图书馆平面地图通过使用图书盘点机器人在图书馆里行走，通过图书盘点机器人的激光雷达传感器获取各个书架位置信息建立图书馆平面地图。

另一方面，需要建立后续用于提取寻书用户的特征的识别模型，预先通过学习训练，分别建立面部72个点的识别模型和身体各部位识别模型。由于人的面部结构及五官形态组合在面部动作和表情变化时具有显著特征，通过获取海量不同光线下的包含各种表情、动作的人脸图像，通过学习和不断校正，根据面部的眉毛、眼睛、眼角、鼻子、鼻孔、嘴唇、颧骨等面部五官及各个组成部分的结构、轮廓组合特点，查找出能够体现人的脸部动作及表情变化、且在各种光线投射外部环境影响下、人脸各角度偏移时、有明确像素点颜色分布特征的、稳定的72个关键点，即建立72个点面部识别模型。身体各部位识别模型则通过获取大量人的正面、侧面、背面不同角度、不同光源下、包括各种不同衣着穿戴时拍摄的全身照片，先框选出图像中包括的整个人的身体部分，再分别将头部、上身、裤子或裙子、鞋子、手、脚等区域的身体各组成部分一一框选，利用卷积神经网络算法进行识别训练，根据不同人的头部、身体各组成部分不同的发型、衣着穿戴、服饰颜色等组合特征，将框选出的人的各个部位区域图像分成M*N个方格区域，计算每个方格中的点数与该区域图像总点数之比，以得到M*N维特征向量。卷积神经网络算法为现有技术，这里不多赘述。从训练各部位区域图像中提取出标准模板，建立标准特征库，得到身体及各个部位的识别模型。其中，对于头部区域，还包括带有帽子或者头饰的情况，由于头发属于液态，需要单独判断头发区域后进行学习训练；先提取整个头部区域图像进行颜色聚类，判断出人脸的面部区域，根据头发与人脸的几何位置特征，将与人脸面部区域的上部相连接区域定义为头发所在区域，之后如果还包括帽子、头饰，则将头发和帽子、头饰区域一并进行学习训练。完成上述准备，即可进行S1步骤导航路径建立步骤。

首先，寻书用户在进入图书馆进行图书阅览时，通过设置在图书馆各个区域的图书查询终端输入所要寻找的目标图书的书名，上传寻书导航请求。本实施例的基于用户特征的寻书导航方法，在通过图书查询终端获取寻书用户的寻书导航请求时，根据寻书用户输入的目标图书的书名，通过图书查询终端获知目标图书所属那个书架，由于每一个书架都在图书馆平面地图上面有对应的坐标位置，以此，在建立寻书导航路径时，以寻书用户所处的图书查询终端作为起点，以目标图书所属书架的坐标位置作为终点，在平面地图上建立寻书导航路径。

之后，通过图书查询终端自带的摄像头获取寻书用户的上身头部图像(面部图像及头发图像)，通过该图书查询终端附近的摄像头获取多张寻书用户的全身图像。获取到的多张寻书用户的上身头部图像及全身图像用于后续进行特征提取，以便对寻书用户进行实时识别定位。先将获取到的用户上身头部视频图像和全身视频图像抽取关键帧，得到多张用户头部图像及全身图像，对图像进行预处理。通过对图像进行去除噪声和干扰、归一化等预处理过程，提高服务器的处理性能。再根据预先建立的72个点面部识别模型，分析预处理后的用户上身头部图像中的用户面部特征，构建用户的面部72个关键点，计算72个关键点的坐标分布数据，得到用户的72个点面部模型。比对身体各部位识别模型，对用户全身图像中的用户身体及各部位进行判断，对判断出的用户身体及各部位区域图像进行特征提取，得到用户的身体及各部位区域图像的特征向量集。需要注意的是，对于头部区域需要区分人脸面部区域和头发区域后进行特征提取，提取用户的头部区域图像进行颜色聚类，判断出人脸区域，将与人脸区域的面部上部相连接的区域定义为头发区域，分别对面部区域和头发区域图像进行特征提取。完成寻书用户特征提取后，即可为寻书用户提供实时定位导航。

寻书用户在获知寻书导航路径后，开始进行寻书。在寻书过程中，本实施例的基于用户特征的室内导航方法通过设置在图书馆各个区域的摄像头获取视频图像，通过分析各个摄像头获取的视频图像中的各个人的特征，比对前期提取的用户特征向量集，判断出包含用户的图像。根据拍摄到用户图像的摄像头编号和图像的拍摄时间，对用户进行实时定位，根据用户的脸与摄像头的朝向判断用户当时的朝向和前进方向。首先同样将摄像头获取到的视频图像抽取关键帧，得到覆盖图书馆各个区域的多张图像，对图像进行预处理。通过对图像进行去除噪声和干扰、归一化等预处理过程，提高服务器的处理性能。再通过比对预先建立的身体各部位识别模型，分割出图像中所有包含人的区域。根据预先建立的72个点面部识别模型，定位包含人的区域图像中的人脸区域，构建面部关键点，计算各面部关键点的坐标分布数据，得到图像中各个人对应的面部关键点分布数据。由于摄像头安装的角度问题和图书馆中各个人的姿势动作不同，每个人的面部72个关键点不能全部捕捉到，分析时针对拍摄到的面部关键点进行坐标分布数据计算。根据头部、身体各组成部分不同的发型、衣着穿戴、服饰颜色等组合特征，分别对分割出的各个人的身体及各组成部位图像进行特征提取，得到图书馆内每一个人的特征向量集。完成各视频图像的特征提取后，开始进行特征比对。将提取的各个人的面部关键点与寻书用户的72个关键点面部模型一一作比对，将对应面部区域关键点相似度达到80％以上的人提取出来。将提取的各个人的特征向量集作与寻书用户的特征向量集一一比对，当有4～5个身部位的特征向量相似度达到80％以上，且其余所有的各部位的特征向量没有一项与寻书用户的特征向量集不符合时，将对应的人提取出来。例如，学生的校服款式、颜色都是一样的，但是每个人穿的鞋子或者佩戴的帽子、头饰不会完全一致，所以使用排除法能更好地避免出现类似情况的误判。需要注意的是，通过面部特征比对，当某个人与寻书用户的区域关键点相似度达到某一设定值时(本实施例为95％)，是可以确定两者为同一个人的，此时无需进行身体各部位特征比对。因此，当能够获取到清晰用户面部图像时，以面部关键点相似度判断结果为主，面部关键点的识别方式能更准确的对用户识别；当由于光线或拍摄角度问题无法获取清晰面部图像，或出现有两个人与寻书用户面部关键点分布数据结果十分接近时，以身体各部位的组合特征的相似度判断为辅助，对寻书用户进行识别定位。根据提取到的人的图像对应拍摄的摄像头编号和拍摄时间顺序确定用户的实时位置，由于各个摄像头的坐标位置已知，则通过各个摄像头对于拍摄区域的位置若出现包含有寻书用户的影像，则可以判断寻书用户位于哪个坐标位置，进而实现实时定位。需要注意的是，在部分摄像头无法获取寻书用户的面部特征时(背向摄像头)，如若此时多个摄像头同时出现身体各部位的组合特征均接近一开始获取到的寻书用户的身体各个部位的特征，则需根据拍摄到寻书用户的摄像头的编号及图像的拍摄时间，实时定位寻书用户所处位置。例如，包括寻书用户在内的多个身着校服的学生在图书馆中，他们可能出现身体各部位的组合特征相似的情况。那么当寻书终端获取到寻书用户的寻书请求后，寻书用户根据寻书导航路径行进，导航路径上依次设置有第一～第五摄像头，假若通过第一个摄像头拍摄到的图像确定用户，此时寻书导航路径上第二、第三、第五个摄像头由于角度等原因无法获取到各个人的面部特征信息，但均出现身体各部位的组合特征与寻书用户比对相似的情况，寻书用户根据寻书导航路径行走寻书，是按时间顺序先后在导航路径上的各个摄像头拍摄范围出现的，不可能在短时间内跳过导航路径上的第二摄像头直接出线在第三或第五摄像头对应的导航路径上，此时则根据寻书导航路径上的各摄像头的先后顺序，判定邻近第一个摄像头的第二个摄像头拍摄到的人为寻书用户。本实施例的基于用户特征的室内导航方法会优先识别判断在寻书导航路径上，按从开始到结束顺序包括的摄像头拍摄到的视频图像中包含的接近寻书用户面部特征或身体各部位特征的图像来定位用户。并且，如果用户偏离导航路径，本方法会判断从开始到结束各个导航路径中由近及远的顺序包含的摄像头，来查找拍摄图像中的寻书用户。此外，还根据摄像头的安装朝向与拍摄到用户时用户头部的朝向来计算用户的面朝方向。需要注意的是，本实施例的基于用户特征的室内导航方法，通过用户的当前实时位置判断用户是否按正确的导航路径行走，如用户实时位置发生偏移则通过与用户移动终端通信对用户进行文字和语音提醒；如偏移超过预设距离，则根据用户的当前位置重新计算到达目的地的导航路线对用户进行引导。需要注意的是，本实施例的基于用户特征的室内导航方法，为实现对寻书用户的实时导航，可通过分部在图书馆各个区域的图书查询终端对寻书用户进行实时引导，也可通过图书查询终端与用户移动终端通信对寻书用户进行实时引导。

本实施例的一种基于用户特征的室内导航方法，通过提取寻书用户的面部特征信息并根据用户寻书导航请求建立寻书导航路径，在用户寻书过程中，通过图书馆内不同区域的摄像头获取不同区域的视频图像，根据预先提取的寻书用户的特征信息找出含有寻书用户的视频图像，根据该视频图像对应的摄像头位置确定寻书用户的实时位置，并根据寻书导航路径对用户进行实时引导，能够较精准地引导用户寻书，提供较好的寻书体验，使得寻书用户能够较快的找到目标图书，有效提升寻书效率。

实施例二：

实施例二公开了一种电子设备，该电子设备包括处理器、存储器以及程序，其中处理器和存储器均可采用一个或多个，程序被存储在存储器中，并且被配置成由处理器执行，处理器执行该程序时，实现实施例一的一种基于用户特征的室内导航方法，该电子设备可以是图书馆的图书查询终端、手机、电脑等等一系列的电子设备。

实施例三：

实施例三公开了一种可读的计算机存储介质，该存储介质用于存储程序，并且该程序被处理器执行时，实现实施例一的一种基于用户特征的室内导航方法。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (7)

1.一种基于用户特征的室内导航方法，其特征在于，包括：

导航路径建立步骤，获取寻书用户的寻书导航请求及用户当前所处位置，确定目标图书所处位置，建立寻书导航路径；

用户特征提取步骤，获取寻书用户的面部图像，提取面部特征信息；

实时定位导航步骤，获取图书馆内各个区域的视频图像，提取各个视频图像中各个人的特征，与寻书用户的特征信息比对，找出包含有寻书用户的视频图像，确定寻书用户的实时位置，根据寻书用户的实时位置判断寻书用户是否按寻书导航路径行走，根据寻书导航路径对用户进行实时引导，确定寻书用户的实时位置与目标图书所处位置一致时，完成寻书导航；

在所述用户特征提取步骤中，还获取多张寻书用户的全身图像，提取身体各部位的特征信息；

在所述实时定位导航步骤中，提取各个视频图像中各个人的特征，与寻书用户的特征信息比对时，以寻书用户的面部特征为主、身体各部位特征为辅进行比对；

在所述实时定位导航步骤中，根据拍摄到寻书用户的摄像头的编号及图像的拍摄时间，实时定位用户所处位置；

当部分摄像头无法获取到寻书用户的面部特征，且所述部分摄像头中同时出现身体各部位特征与寻书用户相似的多个人时，根据寻书导航路径确定的摄像头编号顺序，依次将第一个摄像头邻近的摄像头拍摄到的人作为寻书用户；

所述第一个摄像头为寻书导航路径上优先确定拍摄到寻书用户的摄像头。

2.如权利要求1所述的一种基于用户特征的室内导航方法，其特征在于，在所述导航路径建立步骤之前，还包括：

识别模型建立步骤，大量获取不同人的面部图像及全身不同角度的图像，通过学习校正，建立面部识别模型及身体各部位识别模型。

3.如权利要求1所述的一种基于用户特征的室内导航方法，其特征在于：在所述用户特征提取步骤中，根据寻书用户的视频图像，还提取寻书用户的头发特征信息。

4.如权利要求1所述的一种基于用户特征的室内导航方法，其特征在于：在所述实时定位导航步骤中，提取各个视频图像中各个人的特征，若存在面部特征关键点与寻书用户的面部特征相似度达到设定值时，确定为包含有寻书用户的视频图像。

5.如权利要求1所述的一种基于用户特征的室内导航方法，其特征在于：在所述导航路径建立步骤中，根据图书馆平面地图建立寻书导航路径，图书馆平面地图包含各书架所处的位置信息。

6.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-5任意一项所述的一种基于用户特征的室内导航方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的一种基于用户特征的室内导航方法。

Images