CN106817677A - 一种基于多传感器的室内目标信息识别方法、装置及系统 - Google Patents

一种基于多传感器的室内目标信息识别方法、装置及系统 Download PDF

Info

Publication number
CN106817677A
CN106817677A CN201710046639.7A CN201710046639A CN106817677A CN 106817677 A CN106817677 A CN 106817677A CN 201710046639 A CN201710046639 A CN 201710046639A CN 106817677 A CN106817677 A CN 106817677A
Authority
CN
China
Prior art keywords
target
identified
stored
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710046639.7A
Other languages
English (en)
Inventor
赵东
马华东
安家琪
徐怀宇
刘亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201710046639.7A priority Critical patent/CN106817677A/zh
Publication of CN106817677A publication Critical patent/CN106817677A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252—Radio frequency fingerprinting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例提供了一种基于多传感器的室内目标信息识别方法、装置及系统，方法包括：获取来自移动终端的待识别目标的位置指纹数据，位置指纹数据包括待识别目标图像、待识别方位角、待识别俯仰角及待识别无线连接WIFI信息；对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端。应用本发明实施例能够提高目标信息识别的准确性和效率。

Description

一种基于多传感器的室内目标信息识别方法、装置及系统
技术领域
本发明涉及目标识别领域，特别是涉及一种基于多传感器的室内目标信息识别方法、装置及系统。
背景技术
随着近几年智能手机等移动计算设备的飞速发展，及商场、机场、车站等公共场所WiFi(Wireless-Fidelity，无线连接)信号的普及，位置相关的应用与服务在人们的生活中越来越丰富，例如定位、导航、基于位置的社交应用、基于位置的生活服务应用等。但在人们的社交娱乐中，相比于用户所在位置的物理坐标信息，用户对所在位置具体目标的语义信息更感兴趣，具体目标的语义信息如用户所在位置的具体店铺的名称。
现有技术中有通过直接拍摄目标图像识别目标信息的技术，如对店铺的徽标logo拍摄图像以获得店铺的语义信息。该技术利用对用户所在位置的店铺logo拍摄的图像，利用图像特征检测、提取方法提取图像的特征点，对特征点进行处理获得特征向量，并将特征向量与数据库预存的多个店铺logo图像的特征向量进行对比，获得相似度高的匹配店铺logo图像，并将相似度高的匹配店铺logo图像的店铺名称作为语义信息返回给用户，以使得用户以该店铺名称为基础，能够利用其它应用获得感兴趣的店铺的更多信息，如店铺商品简介、店铺优惠信息、店铺二维码等。
但由于图像拍摄范围、角度、清晰度等影响，该现有技术易导致拍摄的图像质量差或者与图像数据库的图像差异大，在通过图像进行目标信息识别时，会导致识别的准确性差，且利用图像与大规模的图像数据库进行查找匹配时，由于查找条件少、查找范围大导致目标信息识别的效率低。
发明内容
本发明实施例的目的在于提供一种基于多传感器的室内目标信息识别方法、装置及系统，能够提高目标信息识别的准确性和效率。具体技术方案如下：
本发明实施例公开了一种基于多传感器的室内目标信息识别方法，包括：
获取来自移动终端的待识别目标的位置指纹数据，所述待识别目标包括店铺，所述位置指纹数据包括由所述移动终端的图像拍摄设备拍摄的待识别目标图像、所述移动终端的加速度传感器和磁力计获取的，图像拍摄设备拍摄待识别目标图像时的待识别方位角和待识别俯仰角、所述移动终端的WIFI模块获取的，拍摄待识别目标图像的位置的待识别无线连接WIFI信息，其中，所述待识别WIFI信息包括在拍摄待识别目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的媒体访问控制Mac地址；
对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将所述匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端，其中，所述目标信息包括店铺名称。
本发明实施例还公开了一种基于多传感器的室内目标信息识别装置，包括：
位置指纹数据获取模块，用于获取来自移动终端的待识别目标的位置指纹数据，所述待识别目标包括店铺，所述位置指纹数据包括由所述移动终端的图像拍摄设备拍摄的待识别目标图像、所述移动终端的加速度传感器和磁力计获取的，图像拍摄设备拍摄待识别目标图像时的待识别方位角和待识别俯仰角、所述移动终端的WIFI模块获取的，拍摄待识别目标图像的位置的待识别WIFI信息，其中，所述待识别WIFI信息包括在拍摄待识别目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的Mac地址；
位置指纹匹配模块，用于对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将所述匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端，其中，所述目标信息包括店铺名称。
本发明实施例还公开了一种基于多传感器的室内目标信息识别系统，包括：
移动终端，用于利用移动终端的图像拍摄设备及移动终端的多个传感器采集待识别目标的位置指纹数据，所述待识别目标包括店铺，所述位置指纹数据包括由所述移动终端的图像拍摄设备拍摄的待识别目标图像、所述移动终端的加速度传感器和磁力计获取的，图像拍摄设备拍摄待识别目标图像时的待识别方位角和待识别俯仰角、所述移动终端的WIFI模块获取的，拍摄待识别目标图像的位置的待识别WIFI信息，其中，所述待识别WIFI信息包括在拍摄待识别目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的Mac地址；
服务器端，用于获取移动终端采集的待识别目标的位置指纹数据；对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将所述匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端，其中，所述目标信息包括店铺名称。
本发明实施例提供的基于多传感器的室内目标信息识别方法、装置及系统，通过获取待识别目标的位置指纹数据，位置指纹数据包括待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息；对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将匹配度最高的一个已存储目标的位置指纹数据中的目标信息，如店铺名称、路牌名称、门牌名称等，作为待识别目标的目标信息返回给移动终端。相比现有技术采用待识别目标图像作为查找条件，在位置指纹数据库中查找匹配的图像，本发明实施例利用待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息多个查找条件，查找条件更丰富、精细，因此本发明能够提高目标信息识别的准确性和效率。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于多传感器的室内目标信息识别方法的一种流程图；
图2为本发明实施例的基于多传感器的室内目标信息识别方法的另一种流程图；
图3为基于图2所示方法的一实例的流程图；
图4为基于图3的预设的图像拍摄应用程序中拍摄界面示意图；
图5为基于图3的距离计算示意图；
图6为基于图3的图像截取示意图；
图7为本发明实施例的基于多传感器的室内目标信息识别装置的一种结构图；
图8为本发明实施例的基于多传感器的室内目标信息识别系统的一种结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于多传感器的室内目标信息识别方法、装置及系统，能够提高目标信息识别的准确性和效率。
参见图1，图1为本发明实施例的基于多传感器的室内目标信息识别方法的一种流程图，包括如下步骤：
步骤101，获取来自移动终端的待识别目标的位置指纹数据。
本发明实施例由服务器端执行。服务器端可以为计算机、具有计算功能的服务器、或设置在服务器中的软件等。
移动终端包括：手机、移动便携式计算机等。本发明实施例中，移动终端中含有图像拍摄设备、加速度传感器、磁力计、WiFi模块等。其中，加速度传感器、磁力计、WiFi模块为不同功能的传感器。
其中，图像拍摄设备用来拍摄待识别目标的图像，记为待识别目标图像。加速度传感器和磁力计可以联合用来获取图像拍摄设备拍摄待识别目标图像时的方位角和俯仰角，分别记为待识别方位角和待识别俯仰角。WiFi模块用来获取拍摄待识别目标图像的位置的WIFI信息，记为待识别WIFI信息，其中，待识别WIFI信息包括在拍摄待识别目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的Mac地址。
需要说明的是，第一预设数量个WIFI信号的Mac地址各不相同。第一预设数量为根据工业需求或人为等设置的数值，如20等。
待识别目标包括店铺、路牌、门牌等。
位置指纹数据包括：待识别目标图像、待识别方位角、待识别俯仰角及待识别WIFI信息。
步骤102，对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端。
需要说明的是，位置指纹数据库中预存有已知目标信息的，多个已存储目标的位置指纹数据，已存储目标的位置指纹数据是由移动终端在已存储目标的位置处采集发送给服务器端的，已存储目标的位置指纹数据包括：由移动终端的图像拍摄设备拍摄的已存储目标图像、移动终端的加速度传感器和磁力计获取的，图像拍摄设备拍摄已存储目标图像时的已存储方位角和已存储俯仰角、移动终端的WIFI模块获取的，拍摄待已存储目标图像的位置的已存储WIFI信息，其中，已存储WIFI信息包括在拍摄已存储目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的Mac地址。
目标信息包括：店铺名称、路牌名称、门牌名称等。
通过待识别目标的位置指纹数据的待识别目标图像、待识别方位角、待识别俯仰角及待识别WIFI信息的多个查找条件，在位置指纹数据库中查找，获得匹配度最高的一个已存储目标的位置指纹数据，由于查找条件丰富、精细，能够提高查找的准确度和效率，能够提高目标信息识别的准确度和效率。
本发明实施例提供的基于多传感器的室内目标信息识别方法，通过获取待识别目标的位置指纹数据，位置指纹数据包括待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息；对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将匹配度最高的一个已存储目标的位置指纹数据中的目标信息，如店铺名称、路牌名称、门牌名称等，作为待识别目标的目标信息返回给移动终端。相比现有技术采用待识别目标图像作为查找条件，在位置指纹数据库中查找匹配的图像，本发明实施例利用待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息多个查找条件，查找条件更丰富、精细，因此本发明能够提高目标信息识别的准确性和效率。
在图1的基础上，作为优选的实施例，参见图2，图2为本发明实施例的基于多传感器的室内目标信息识别方法的另一种流程图，包括：
步骤201，获取来自移动终端的待识别目标的位置指纹数据。
步骤202，计算待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息的相似度，选取相似度达到预设条件的，第二预设数量个相似度对应的已存储WIFI信息的目标信息，作为待识别目标的候选目标信息。其中，预设条件可以为：相似度进行由大至小排序的排序结果中，排序在前的相似度，或者相似度达到预设阈值等。
需要说明的是，第二预设数量小于第一预设数量。
获得第二预设数量个已存储WIFI信息的目标信息，作为待识别目标的候选目标信息。能够缩小后续步骤的目标信息识别的位置指纹数据库的查找范围，提高目标信息识别的效率及目标信息识别的准确性。
步骤203，利用待识别俯仰角，计算拍摄待识别目标图像时的拍摄位置，与待识别目标的待识别距离。
服务器端利用待识别俯仰角，能够自动计算拍摄待识别目标图像时的拍摄位置，与待识别目标的距离，记为待识别距离。该待识别距离能够用于后续步骤的目标信息识别。
步骤204，获取位置指纹数据库中预存的、每个候选目标信息对应的，拍摄已存储目标图像时的拍摄位置与已存储目标的已存储距离，及图像拍摄设备拍摄已存储目标图像时的已存储方位角，比较待识别距离与每个候选目标信息对应的已存储距离，并比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息。
相应的，位置指纹数据库中预存有，每个候选目标信息对应的拍摄已存储目标图像时的拍摄位置与已存储目标的距离，记为已存储距离。比较待识别距离与每个候选目标信息对应的已存储距离，并比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息。其中，第三预设数量小于第二预设数量。本步骤能够将后续步骤的目标信息识别的位置指纹数据库的查找范围进一步缩小，提高目标信息识别的效率及目标信息识别的准确性。
步骤205，对待识别目标图像进行标识截取，获得截取后的待识别目标图像。
待识别目标图像通常含有背景等与目标信息无关的元素，而通过经验得知，待识别目标的目标信息通常体现在标识上，因此将待识别目标图像进行标识截取，获得截取后的待识别目标图像，以去除不必要的其余信息，提高后续的目标信息识别的准确性和效率。其中，标识包括：图案、字母等。
对待识别目标图像进行标识截取，可以采用现有的多种图像截取方法，在此不做赘述。
步骤206，针对截取后的待识别目标图像，提取图像特征，根据图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，待识别特征向量包括，视觉词典中的每个关键词在截取后的待识别目标图像中出现的次数。
首先概要介绍位置指纹数据库中预存的视觉词典及已存储目标的特征向量的建立过程。
针对多个已完成标识截取的已存储目标图像，服务器端进行如下步骤：
第一步，针对多个已存储目标的，截取后的已存储目标图像，利用现有的图像特征检测、提取方法，如ORB(Oriented FAST and BRIEF，特征描述子)，获得截取后的已存储目标图像的特征点，特征点为具备预设特征的像素点，预设特征如：灰度值小于阈值等。并利用截取后的已存储目标图像的特征点，获得该已存储目标图像对应的向量。其中，已存储目标图像对应的向量描述该已存储目标图像的特征点和周围像素点之间的关系，如灰度值的关系等。
第二步，将多个已存储目标图像对应的向量进行聚类，获得多个聚类中心，该聚类中心即为已存储目标图像中出现的关键词。关键词体现已存储目标图像的共有信息及特征。如出现频次高的字、字母、图案等。其中，聚类可以采用现有的多种聚类方法，如k-均值聚类算法等。
第三步，由所有聚类中心构成一视觉词典。显而易见，视觉词典中包含多个关键词。
第四步，根据视觉词典的关键词在每个截取后的已存储目标图像出现的次数，获得每个截取后的已存储目标图像对应的特征向量，特征向量可以表示为(A1·B1,A2·B2,...,Ai·Bi)，其中Ai为关键词i对应的权值，Ci为已存储目标图像中含有关键词i的图像的数目，Bi为关键词i在该已存储目标图像中出现的次数。
可见，位置指纹数据库中预存有含有多个关键词的视觉词典，及每个已存储目标图像的特征向量。
本发明实施例中，针对截取后的待识别目标图像，执行上述第一步，获得截取后的待识别目标图像对应的向量，然后利用位置指纹数据库中预存的视觉词典，获得各关键词在截取后的待识别目标图像出现的次数，继而获得待识别特征向量。该待识别特征向量和位置指纹数据库中预存的已存储目标图像的特征向量的元素是一一对应的。
步骤207，获取位置指纹数据库中预存的、每个更新的候选目标信息对应的、针对截取后的已存储目标图像提取图像特征获得的已存储特征向量，计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似度，获得相似度最高的一个已存储特征向量，并将相似度最高的一个已存储特征向量对应的目标信息，作为待识别目标的目标信息返回给移动终端。
其中，计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似度，可以采用一一对比、计算差值等方法。获得相似度最高的一个已存储特征向量可以采用遍历或者排序等多种方法。
可见，本发明实施例提供的基于多传感器的室内目标信息识别方法，通过获取待识别目标的位置指纹数据，位置指纹数据包括待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息；将待识别目标的位置指纹数据与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据进行比较，获得匹配的一个已存储目标的目标信息作为待识别目标的目标信息，主要包括：首先，利用待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息进行比较，获得第二预设数量个待识别目标的候选目标信息。其次，利用待识别俯仰角，计算拍摄待识别目标图像时的拍摄位置，与待识别目标的待识别距离，并比较待识别距离与每个候选目标信息对应的已存储距离，及比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息。再次，对待识别目标图像进行标识截取，获得截取后的待识别目标图像。最后，针对截取后的待识别目标图像，提取图像特征，根据图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，并计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似度，获得相似度最高的一个已存储特征向量，并将相似度最高的一个已存储特征向量对应的目标信息，如店铺名称、路牌名称、门牌名称等，作为待识别目标的目标信息返回给移动终端。相比现有技术采用待识别目标图像作为查找条件，在位置指纹数据库中查找匹配的图像，本发明实施例利用待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息多个查找条件，查找条件更丰富、精细，并根据多个查找条件逐步缩小查找范围，因此本发明能够提高目标信息识别的准确性和效率。
参见图3，图3为基于图2所示方法的一实例的流程图，本发明实施例以待识别目标为室内店铺为例，其余类型的待识别目标的目标信息识别方法类似，在此不一一赘述。本发明实施例包括如下步骤：
步骤301，获取来自移动终端的待识别目标的位置指纹数据。
位置指纹数据包括：待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息。
其中，待识别目标图像由移动终端的图像拍摄设备获取，常见的移动终端如手机等。待识别目标图像为：图像拍摄设备处于拍摄要求时，得到的待识别目标的图像，其中，拍摄要求为，预设的图像拍摄应用程序中拍摄界面的扫描线条位于待识别目标的预设位置。
本发明实施例中，移动终端包含预设的图像拍摄应用程序，该图像拍摄应用程序的界面预设有扫描线条，在图像拍摄时，要求扫描线条位于待识别目标的预设位置，如扫描线条位于店铺门与地面的交线。参见图4，图4为基于图3的预设的图像拍摄应用程序中拍摄界面示意图。图4中上方黑色矩形框内为店铺的徽标logo，下方黑色的直线为扫描线条。根据预设的图像拍摄应用程序的拍摄要求进行拍摄，即扫描线条位于店铺门与地面的交线，这样的拍摄要求使店铺的logo能够位于拍摄界面中，能够使移动终端的视角统一化，减少拍摄图片的随意性，提高图像清晰度，使获得的待识别目标及已存储目标图像具有一致的规范性，能够减少图像的差异性，有利于减少位置指纹数据库的大小，节省构建位置指纹数据库的人力物力，能够提高目标信息识别的准确性。
待识别方位角和待识别俯仰角由移动终端的加速度传感器和磁力计联合获取。
待识别WIFI信息由移动终端的WIFI模块获取，待识别WIFI信息包括：由大至小排序的第一预设数量个WIFI信号的信号强度，及WIFI信号对应的Mac地址。
优选的实施例还可以为：首先，WIFI模块在拍摄待识别目标图像的位置，获取不同时刻的多组第一预设数量个WIFI信号的信号强度，及WIFI信号对应的Mac地址。如，WIFI模块以2Hz频率间隔，在拍摄待识别目标图像的位置持续获取WIFI信号30秒，获得60组WIFI信号，去除一些较弱信号后，每组WIFI信号含有20个不同Mac地址的WIFI信号的信号强度。其次，将不同时刻同一Mac地址的WIFI信号的信号强度求取平均值，获得一组第一预设数量个WIFI信号的信号强度，及WIFI信号对应的Mac地址。最后，将信号强度进行由大至小排序，获得由大至小排序的第一预设数量个WIFI信号的信号强度，及WIFI信号对应的Mac地址，作为待识别WIFI信息。通过多组WIFI信号获取待识别WIFI信息能够避免突发的WIFI信号错误等现象，提高待识别WIFI信息采集的准确度。
步骤3021，利用信号强度比较公式计算待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息的相似度。
其中，Φ为待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，已存储目标的已存储WIFI信息的相似度，W′为待识别WIFI信息的信号强度向量，W'＝[rss1，rss2,...,rssn]，rss1,rss2,...,rssn为不同Mac地址的待识别WIFI信息的信号强度，n为第一预设数量，Wi为已存储WIFI信息的信号强度向量，Wi＝[rssi1，rssi2,...,rssin](i＝1,2,...,L)，L为位置指纹数据库中预存的，已存储目标的数目，O为预设的补偿值。
需要说明的是，rssin和rssn是Mac地址相同的信号强度，如果Wi与W'没有或者少于n个Mac地址相同的信号强度，则每少一个Mac地址的信号强度，计算结果会在信号强度比较公式基础上再加上一个预设值。
步骤3022，将相似度进行由大至小排序，获得相似度排序结果，将相似度排序结果中，排序在前的第二预设数量个相似度对应的已存储WIFI信息的目标信息，作为待识别目标的候选目标信息。
步骤303，根据距离计算公式计算拍摄待识别目标图像时的拍摄位置，与待识别目标的待识别距离。
为了提高图像搜索的效率以及图像匹配的准确度，本发明实施例利用基于透视投影变换模型的算法计算用户与店铺之间的距离，即为待识别距离，然后利用待识别距离来缩小图像的搜索范围。计算待识别距离的示意图如图5所示。参见图5，图5为基于图3的距离计算示意图。其中，d为待识别距离，h为预设的用户身高，α为待识别俯仰角，CCD为移动终端中的图像传感器，CCD的高度无法从移动终端的图像拍摄设备获知，本发明实施例以hc表示CCD的高度，利用已知的图像拍摄设备的振幅随偏移距的变化AVO角γv，及已知的图像拍摄设备的焦距f，得知因此L1和L2分别表示经过CCD相机成像平面中心及距离底部八分之一高度处的射线，Δ表示该平面上中心与八分之一高度处的距离，移动终端距离地面的高度可以近似取值为用户身高减去0.1米的大小。根据透视投影变换模型，得到公式：
由此推算出用户与店铺的距离d，距离计算公式如下：
其中，
步骤3041，获取位置指纹数据库中预存的、每个候选目标信息对应的，拍摄已存储目标图像时的拍摄位置与已存储目标的已存储距离，及图像拍摄设备拍摄已存储目标图像时的已存储方位角。
步骤3042，比较待识别距离与每个候选目标信息对应的已存储距离，并比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息。
其中，比较条件，为：
|aq-ad|≤Ath且|dq-dd|≤Dth
其中，aq为待识别方位角，ad为已存储方位角，Ath为预设的方位角差值阈值，dq为待识别距离，dd为已存储距离，Dth为预设的距离差值阈值。
步骤2051，根据上边界计算公式(l+h1+h2)/H，及下边界计算公式(l+h1)/H计算待识别目标图像的标识的上边界及下边界。
其中，H为图像拍摄设备捕获的图像总高度，H为根据拍摄环境预设的数值，如根据店铺所在的商场实际情况预设的数值。H＝d·tan[β+(90°-α)]+d·tan[β-(90°-α)]，l为待识别目标的底部相对于H中的部分的高度，l＝d·tan[β+(90°-α)]-(h-0.1)，h1为预设的去除标识后的待识别目标的高度，h2为预设的标识的高度。
本发明实施例中，待识别目标图像是店铺的整体图像，但由于整个店铺门面图像容易受到人流以及货物摆放等因素影响，不同时间不同用户所获得的店铺图像会有非常大的差异。同时，图像上部会出现大面积的白色天花板，此部分对于提取店铺特征点不仅价值较低，还会降低图像识别概率。但通过观察得知，虽然整个店铺的图像干扰因素非常多，但其中店铺logo通常改变较小，而且不会被逛商场的人流阻挡，因此本发明实施例根据用户与店铺的距离以及店铺的实际情况，对店铺图像，即待识别目标图像进行必要的截取，以使图像更具有代表性。
参见图6，图6为基于图3的图像截取示意图。本发明实施例中，只需要大概的界定logo部分用于视觉匹配即可，无需做到非常精确，因此可以根据数据采集室内场景的具体情况来估测店铺和logo高度，如h1取值为3米，h2取值为1.5米等，根据图6获得H与l的值，继而获得上边界及下边界的值。通过上边界、下边界确定待识别图像的截取范围。
步骤3052，根据上边界及下边界对待识别目标图像进行截取，获得截取后的标识为截取后的待识别目标图像。
步骤306，针对截取后的待识别目标图像，提取图像特征，根据图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，待识别特征向量包括，视觉词典中的每个关键词在截取后的待识别目标图像中出现的次数。
本发明实施例中，针对截取后的待识别目标图像，利用ORB进行图像的视觉特征的提取，获得ORB向量；根据位置指纹数据库中预存的视觉词典中的关键词，获得每个关键词在待识别目标图像中出现的次数，对ORB向量进行处理，获得BOW向量，即为待识别特征向量。
步骤3071，获取位置指纹数据库中预存的、每个更新的候选目标信息对应的、针对截取后的已存储目标图像提取图像特征获得的已存储特征向量。
步骤3072，根据余弦相似性公式计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似性度。
其中，Svsiual为待识别特征向量与更新的候选目标信息对应的已存储特征向量的相似度，Vq为待识别特征向量，Vd为已存储特征向量，已存储特征向量包括视觉词典中的每个关键词在截取后的已存储目标图像中出现的次数。
步骤3073，获得相似度最高的一个已存储特征向量，并将相似度最高的一个已存储特征向量对应的目标信息，作为待识别目标的目标信息返回给移动终端。本发明实施例中目标信息包括店铺名称，还可以包括店铺的门牌号等。
可见，本发明实施例提供的基于多传感器的室内目标信息识别方法，通过获取待识别目标的位置指纹数据，位置指纹数据包括满足拍摄要求的待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息；将待识别目标的位置指纹数据与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据进行比较，获得匹配的一个已存储目标的目标信息作为待识别目标的目标信息，主要包括：首先，利用待识别WIFI信息及信号强度比较公式，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息进行比较，获得第二预设数量个待识别目标的候选目标信息。其次，利用待识别俯仰角及距离计算公式，计算拍摄待识别目标图像时的拍摄位置，与待识别目标的待识别距离，并比较待识别距离与每个候选目标信息对应的已存储距离，及比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息。再次，利用上边界、下边界计算公式对待识别目标图像进行标识截取，获得截取后的待识别目标图像。最后，针对截取后的待识别目标图像，提取图像特征，根据图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，并根据余弦相似性公式，计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似度，获得相似度最高的一个已存储特征向量，并将相似度最高的一个已存储特征向量对应的目标信息，如店铺名称，作为待识别目标的目标信息返回给移动终端。相比现有技术采用待识别目标图像作为查找条件，在位置指纹数据库中查找匹配的图像，本发明实施例利用待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息多个查找条件，查找条件更丰富、精细，并根据多个查找条件逐步缩小查找范围，因此本发明能够提高目标信息识别的准确性和效率。
参见图7，图7为本发明实施例的基于多传感器的室内目标信息识别装置的一种结构图，包括：
位置指纹数据获取模块701，用于获取来自移动终端的待识别目标的位置指纹数据，待识别目标包括店铺，位置指纹数据包括由移动终端的图像拍摄设备拍摄的待识别目标图像、移动终端的加速度传感器和磁力计获取的，图像拍摄设备拍摄待识别目标图像时的待识别方位角和待识别俯仰角、移动终端的WIFI模块获取的，拍摄待识别目标图像的位置的待识别WIFI信息，其中，待识别WIFI信息包括在拍摄待识别目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的Mac地址；
位置指纹匹配模块702，用于对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端，其中，目标信息包括店铺名称。
可见，本发明实施例提供的基于多传感器的室内目标信息识别装置，通过获取待识别目标的位置指纹数据，位置指纹数据包括待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息；对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将匹配度最高的一个已存储目标的位置指纹数据中的目标信息，如店铺名称、路牌名称、门牌名称等，作为待识别目标的目标信息返回给移动终端。相比现有技术采用待识别目标图像作为查找条件，在位置指纹数据库中查找匹配的图像，本发明实施例利用待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息多个查找条件，查找条件更丰富、精细，因此本发明能够提高目标信息识别的准确性和效率。
需要说明的是，本发明实施例的装置是应用上述基于多传感器的室内目标信息识别方法的装置，则上述应用基于多传感器的室内目标信息识别方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
作为与图2对应的图7的一种实施例，本发明实施例的基于多传感器的室内目标信息识别装置包括：
位置指纹匹配模块702，包括：
WIFI信息计算子模块，用于计算待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息的相似度，选取相似度达到预设条件的，第二预设数量个相似度对应的已存储WIFI信息的目标信息，作为待识别目标的候选目标信息。
距离计算子模块，用于利用待识别俯仰角，计算拍摄待识别目标图像时的拍摄位置，与待识别目标的待识别距离。
比较子模块，用于获取位置指纹数据库中预存的、每个候选目标信息对应的，拍摄已存储目标图像时的拍摄位置与已存储目标的已存储距离，及图像拍摄设备拍摄已存储目标图像时的已存储方位角，比较待识别距离与每个候选目标信息对应的已存储距离，并比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息。
标识截取子模块，用于对待识别目标图像进行标识截取，获得截取后的待识别目标图像。
特征向量获取子模块，用于针对截取后的待识别目标图像，提取图像特征，根据图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，待识别特征向量包括，视觉词典中的每个关键词在截取后的待识别目标图像中出现的次数。
目标信息获取子模块，用于获取位置指纹数据库中预存的、每个更新的候选目标信息对应的、针对截取后的已存储目标图像提取图像特征获得的已存储特征向量，计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似度，获得相似度最高的一个已存储特征向量，并将相似度最高的一个已存储特征向量对应的目标信息，作为待识别目标的目标信息返回给移动终端，其中，目标信息包括店铺名称。
本发明实施例中，待识别目标图像，为：
图像拍摄设备处于拍摄要求时，得到的待识别目标的图像，其中，拍摄要求为，预设的图像拍摄应用程序中拍摄界面的扫描线条位于待识别目标的预设位置。
本发明实施例中，待识别WIFI信息，包括：
由大至小排序的第一预设数量个WIFI信号的信号强度，及WIFI信号对应的Mac地址。
其中，WIFI信息计算模块，具体用于：
利用信号强度比较公式计算待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息的相似度；将相似度进行由大至小排序，获得相似度排序结果，将相似度排序结果中，排序在前的第二预设数量个相似度对应的已存储WIFI信息的目标信息，作为待识别目标的候选目标信息。。
其中，Φ为待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，已存储目标的已存储WIFI信息的相似度，W′为待识别WIFI信息的信号强度向量，W'＝[rss1，rss2,...,rssn]，rss1,rss2,...,rssn为不同Mac地址的待识别WIFI信息的信号强度，n为第一预设数量，Wi为已存储WIFI信息的信号强度向量，Wi＝[rssi1，rssi2,...,rssin](i＝1,2,...,L)，L为位置指纹数据库中预存的，已存储目标的数目，O为预设的补偿值。
需要说明的是，rssin和rssn是Mac地址相同的信号强度，如果Wi与W'没有或者少于n个Mac地址相同的信号强度，则每少一个Mac地址的信号强度，计算结果会再加上一个预设值。
本发明实施例中，距离计算模块，具体用于：
根据距离计算公式计算拍摄待识别目标图像时的拍摄位置，与待识别目标的待识别距离。
其中，d为待识别距离，h为预设的用户身高，α为待识别俯仰角，γv为已知的图像拍摄设备的振幅随偏移距的变化AVO角，f为已知的图像拍摄设备的焦距。
本发明实施例中，比较模块，具体用于：
获取位置指纹数据库中预存的、每个候选目标信息对应的，拍摄已存储目标图像时的拍摄位置与已存储目标的已存储距离，及图像拍摄设备拍摄已存储目标图像时的已存储方位角。
比较待识别距离与每个候选目标信息对应的已存储距离，并比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息。
其中，比较条件，为：
|aq-ad|≤Ath且|dq-dd|≤Dth
其中，aq为待识别方位角，ad为已存储方位角，Ath为预设的方位角差值阈值，dq为待识别距离，dd为已存储距离，Dth为预设的距离差值阈值。
本发明实施例中，标识截取模块，具体用于：
根据上边界计算公式(l+h1+h2)/H，及下边界计算公式(l+h1)/H计算待识别目标图像的标识的上边界及下边界，其中，H为图像拍摄设备捕获的图像总高度，H＝d·tan[β+(90°-α)]+d·tan[β-(90°-α)]，l为待识别目标的底部相对于H中的部分的高度，l＝d·tan[β+(90°-α)]-(h-0.1)，h1为预设的去除标识后的待识别目标的高度，h2为预设的标识的高度。
根据上边界及下边界对待识别目标图像进行截取，获得截取后的标识为截取后的待识别目标图像。
本发明实施例中，特征向量获取模块，具体用于：
针对截取后的待识别目标图像，提取图像特征，根据图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，待识别特征向量包括，视觉词典中的每个关键词在截取后的待识别目标图像中出现的次数。
本发明实施例中，针对截取后的待识别目标图像，利用ORB进行图像的视觉特征的提取，获得ORB向量；根据位置指纹数据库中预存的视觉词典中的关键词，获得每个关键词在待识别目标图像中出现的次数，对ORB向量进行处理，获得BOW向量，即为待识别特征向量。
本发明实施例中，目标信息获取模块，具体用于：
获取位置指纹数据库中预存的、每个更新的候选目标信息对应的、针对截取后的已存储目标图像提取图像特征获得的已存储特征向量。
根据余弦相似性公式计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似性度。
其中，Svsiual为待识别特征向量与更新的候选目标信息对应的已存储特征向量的相似度，Vq为待识别特征向量，Vd为已存储特征向量，已存储特征向量包括视觉词典中的每个关键词在截取后的已存储目标图像中出现的次数。
获得相似度最高的一个已存储特征向量，并将相似度最高的一个已存储特征向量对应的目标信息，作为待识别目标的目标信息返回给移动终端。本发明实施例中目标信息包括店铺名称，还可以包括店铺的门牌号等。
可见，本发明实施例提供的基于多传感器的室内目标信息识别装置，通过获取待识别目标的位置指纹数据，位置指纹数据包括满足拍摄要求的待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息；将待识别目标的位置指纹数据与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据进行比较，获得匹配的一个已存储目标的目标信息作为待识别目标的目标信息，主要包括：首先，利用待识别WIFI信息及信号强度比较公式，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息进行比较，获得第二预设数量个待识别目标的候选目标信息。其次，利用待识别俯仰角及距离计算公式，计算拍摄待识别目标图像时的拍摄位置，与待识别目标的待识别距离，并比较待识别距离与每个候选目标信息对应的已存储距离，及比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息。再次，利用上边界、下边界计算公式对待识别目标图像进行标识截取，获得截取后的待识别目标图像。最后，针对截取后的待识别目标图像，提取图像特征，根据图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，并根据余弦相似性公式，计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似度，获得相似度最高的一个已存储特征向量，并将相似度最高的一个已存储特征向量对应的目标信息，如店铺名称，作为待识别目标的目标信息返回给移动终端。相比现有技术采用待识别目标图像作为查找条件，在位置指纹数据库中查找匹配的图像，本发明实施例利用待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息多个查找条件，查找条件更丰富、精细，并根据多个查找条件逐步缩小查找范围，因此本发明能够提高目标信息识别的准确性和效率。
参见图8，图8为本发明实施例的基于多传感器的室内目标信息识别系统的一种结构图，包括：
移动终端，用于利用移动终端的图像拍摄设备及移动终端的多个传感器采集待识别目标的位置指纹数据，待识别目标包括店铺，位置指纹数据包括由移动终端的图像拍摄设备拍摄的待识别目标图像、移动终端的加速度传感器和磁力计获取的，图像拍摄设备拍摄待识别目标图像时的待识别方位角和待识别俯仰角、移动终端的WIFI模块获取的，拍摄待识别目标图像的位置的待识别WIFI信息，其中，待识别WIFI信息包括在拍摄待识别目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的Mac地址。
本发明实施例中，可以存在多个移动终端，每个移动终端分别采集不同的待识别目标的位置指纹数据发送给同一个服务器端，由服务器端分别处理后返回给每个移动终端对应的待识别目标的目标信息。
本发明实施例中的移动终端还用于，为位置指纹数据库的建立提供采集的多个已知目标信息的位置指纹数据。位置指纹数据的采集过程可以为：
在已知目标信息的采集目标处，利用移动终端的图像拍摄设备拍摄采集目标的图像，同时利用移动终端的加速度传感器和磁力计，获取图像拍摄设备拍摄采集目标的图像时的方位角、俯仰角，并利用移动终端的WIFI模块获取，拍摄采集目标图像的位置的WIFI信息，其中，WIFI信息包括在拍摄采集目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的Mac地址。移动终端将采集目标的图像、方位角、俯仰角、WIFI信息及目标信息记录为采集目标的位置指纹数据，并将采集目标的位置指纹数据发送给服务器端。
服务器端，用于获取移动终端采集的待识别目标的位置指纹数据；用于获取移动终端采集的待识别目标的位置指纹数据；对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端，其中，目标信息包括店铺名称。
服务器端，具体用于：获取移动终端采集的待识别目标的位置指纹数据，计算待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息的相似度，将相似度进行由大至小排序，获得相似度排序结果，将相似度排序结果中，排序在前的第二预设数量个相似度对应的已存储WIFI信息的目标信息，作为待识别目标的候选目标信息；利用待识别俯仰角，计算拍摄待识别目标图像时的拍摄位置，与待识别目标的待识别距离；获取位置指纹数据库中预存的、每个候选目标信息对应的，拍摄已存储目标图像时的拍摄位置与已存储目标的已存储距离，及图像拍摄设备拍摄已存储目标图像时的已存储方位角，比较待识别距离与每个候选目标信息对应的已存储距离，并比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息；对待识别目标图像进行标识截取，获得截取后的待识别目标图像；针对截取后的待识别目标图像，提取图像特征，根据图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，待识别特征向量包括，视觉词典中的每个关键词在截取后的待识别目标图像中出现的次数；获取位置指纹数据库中预存的、每个更新的候选目标信息对应的、针对截取后的已存储目标图像提取图像特征获得的已存储特征向量，计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似度，获得相似度最高的一个已存储特征向量，并将相似度最高的一个已存储特征向量对应的目标信息，作为待识别目标的目标信息返回给移动终端，其中，目标信息包括店铺名称。
本发明实施例中的服务器端还用于建立位置指纹数据库，首先，服务器端将采集目标的位置指纹数据分别记录为已存储目标的位置指纹数据，包括已存储目标图像、已存储方位角、已存储俯仰角、已存储WIFI信息及已存储目标信息。其次，对所有已存储目标的位置指纹数据进行处理，包括距离计算、标识截取、提取特征向量等，处理过程与服务器端处理待识别目标的位置指纹数据的过程类似，最终建立的位置指纹数据库包含多个已存储目标的已存储目标图像、已存储方位角、已存储俯仰角、已存储WIFI信息、已存储距离、截取后的已存储目标图像、已存储特征向量及已存储目标信息等。
可见，本发明实施例提供的基于多传感器的室内目标信息识别系统，通过获取待识别目标的位置指纹数据，位置指纹数据包括满足拍摄要求的待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息；将待识别目标的位置指纹数据与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据进行比较，获得匹配的一个已存储目标的目标信息作为待识别目标的目标信息，主要包括：首先，利用待识别WIFI信息及信号强度比较公式，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息进行比较，获得第二预设数量个待识别目标的候选目标信息。其次，利用待识别俯仰角及距离计算公式，计算拍摄待识别目标图像时的拍摄位置，与待识别目标的待识别距离，并比较待识别距离与每个候选目标信息对应的已存储距离，及比较待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为待识别目标的更新的候选目标信息。再次，利用上边界、下边界计算公式对待识别目标图像进行标识截取，获得截取后的待识别目标图像。最后，针对截取后的待识别目标图像，提取图像特征，根据图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，并根据余弦相似性公式，计算待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似度，获得相似度最高的一个已存储特征向量，并将相似度最高的一个已存储特征向量对应的目标信息，如店铺名称，作为待识别目标的目标信息返回给移动终端。相比现有技术采用待识别目标图像作为查找条件，在位置指纹数据库中查找匹配的图像，本发明实施例利用待识别目标图像、待识别方位角、待识别俯仰角、待识别WIFI信息多个查找条件，查找条件更丰富、精细，并根据多个查找条件逐步缩小查找范围，因此本发明能够提高目标信息识别的准确性和效率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于多传感器的室内目标信息识别方法，其特征在于，包括：
获取来自移动终端的待识别目标的位置指纹数据，所述待识别目标包括店铺，所述位置指纹数据包括由所述移动终端的图像拍摄设备拍摄的待识别目标图像、所述移动终端的加速度传感器和磁力计获取的，图像拍摄设备拍摄待识别目标图像时的待识别方位角和待识别俯仰角、所述移动终端的WIFI模块获取的，拍摄待识别目标图像的位置的待识别无线连接WIFI信息，其中，所述待识别WIFI信息包括在拍摄待识别目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的媒体访问控制Mac地址；
对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将所述匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端，其中，所述目标信息包括店铺名称。
2.根据权利要求1的方法，其特征在于，所述对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将所述匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端，包括：
计算所述待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息的相似度，选取相似度达到预设条件的，第二预设数量个相似度对应的已存储WIFI信息的目标信息，作为待识别目标的候选目标信息；
利用所述待识别俯仰角，计算拍摄待识别目标图像时的拍摄位置，与所述待识别目标的待识别距离；
获取位置指纹数据库中预存的、每个候选目标信息对应的，拍摄已存储目标图像时的拍摄位置与所述已存储目标的已存储距离，及图像拍摄设备拍摄已存储目标图像时的已存储方位角，比较所述待识别距离与每个候选目标信息对应的已存储距离，并比较所述待识别方位角与每个候选目标信息对应的已存储方位角，获得满足比较条件的第三预设数量个候选目标信息，作为所述待识别目标的更新的候选目标信息；
对所述待识别目标图像进行标识截取，获得截取后的待识别目标图像；
针对所述截取后的待识别目标图像，提取图像特征，根据所述图像特征及位置指纹数据库中预存的视觉词典，获得待识别特征向量，所述待识别特征向量包括，所述视觉词典中的每个关键词在所述截取后的待识别目标图像中出现的次数；
获取位置指纹数据库中预存的、每个更新的候选目标信息对应的、针对截取后的已存储目标图像提取图像特征获得的已存储特征向量，计算所述待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似度，获得相似度最高的一个已存储特征向量，并将所述相似度最高的一个已存储特征向量对应的目标信息，作为所述待识别目标的目标信息返回给所述移动终端。
3.根据权利要求2所述的方法，其特征在于，所述待识别目标图像，为：
所述图像拍摄设备处于拍摄要求时，得到的所述待识别目标的图像，其中，所述拍摄要求为，预设的图像拍摄应用程序中拍摄界面的扫描线条位于待识别目标的预设位置。
4.根据权利要求2所述的方法，其特征在于，所述待识别WIFI信息，包括：
由大至小排序的第一预设数量个WIFI信号的信号强度，及WIFI信号对应的Mac地址；
所述计算所述待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息的相似度，包括：
利用信号强度比较公式计算所述待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的已存储WIFI信息的相似度；
其中，所述Φ为所述待识别WIFI信息，与位置指纹数据库中预存的已知目标信息的，已存储目标的已存储WIFI信息的相似度，所述W′为待识别WIFI信息的信号强度向量，所述W'＝[rss1,rss2,...,rssn]，所述rss1,rss2,...,rssn为不同Mac地址的所述待识别WIFI信息的信号强度，所述n为所述第一预设数量，所述Wi为已存储WIFI信息的信号强度向量，所述Wi＝[rssi1,rssi2,...,rssin](i＝1,2,...,L)，所述L为位置指纹数据库中预存的，已存储目标的数目，所述O为预设的补偿值。
5.根据权利要求2所述的方法，其特征在于，所述利用所述待识别俯仰角，计算拍摄待识别目标图像时的拍摄位置，与所述待识别目标的待识别距离，包括：
根据距离计算公式计算拍摄所述待识别目标图像时的拍摄位置，与所述待识别目标的待识别距离，其中，所述d为所述待识别距离，所述h为预设的用户身高，所述α为所述待识别俯仰角，所述所述所述γv为已知的图像拍摄设备的振幅随偏移距的变化AVO角，所述f为已知的图像拍摄设备的焦距。
6.根据权利要求5所述的方法，其特征在于，所述比较条件，为：
|aq-ad|≤Ath且|dq-dd|≤Dth
其中，所述aq为所述待识别方位角，所述ad为所述已存储方位角，所述Ath为预设的方位角差值阈值，所述dq为所述待识别距离，所述dd为所述已存储距离，所述Dth为预设的距离差值阈值。
7.根据权利要求5所述的方法，其特征在于，所述对所述待识别目标图像进行标识截取，获得截取后的待识别目标图像，包括：
根据上边界计算公式(l+h1+h2)/H，及下边界计算公式(l+h1)/H计算所述待识别目标图像的标识的上边界及下边界，其中，所述H为图像拍摄设备捕获的图像总高度，所述H＝d·tan[β+(90°-α)]+d·tan[β-(90°-α)]，所述所述l为所述待识别目标的底部相对于H中的部分的高度，所述l＝d·tan[β+(90°-α)]-(h-0.1)，所述h1为预设的去除标识后的所述待识别目标的高度，所述h2为预设的标识的高度；
根据所述上边界及所述下边界对所述待识别目标图像进行截取，获得截取后的标识为截取后的待识别目标图像。
8.根据权利要求2所述的方法，其特征在于，所述计算所述待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似性度，包括：
根据余弦相似性公式计算所述待识别特征向量与每个更新的候选目标信息对应的已存储特征向量的相似性度，其中，所述Svsiual为所述待识别特征向量与更新的候选目标信息对应的已存储特征向量的相似度，所述Vq为所述待识别特征向量，所述Vd为所述已存储特征向量，所述已存储特征向量包括所述视觉词典中的每个关键词在所述截取后的已存储目标图像中出现的次数。
9.一种基于多传感器的室内目标信息识别装置，其特征在于，包括：
位置指纹数据获取模块，用于获取来自移动终端的待识别目标的位置指纹数据，所述待识别目标包括店铺，所述位置指纹数据包括由所述移动终端的图像拍摄设备拍摄的待识别目标图像、所述移动终端的加速度传感器和磁力计获取的，图像拍摄设备拍摄待识别目标图像时的待识别方位角和待识别俯仰角、所述移动终端的WIFI模块获取的，拍摄待识别目标图像的位置的待识别WIFI信息，其中，所述待识别WIFI信息包括在拍摄待识别目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的Mac地址；
位置指纹匹配模块，用于对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将所述匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端，其中，所述目标信息包括店铺名称。
10.一种基于多传感器的室内目标信息识别系统，其特征在于，包括：
移动终端，用于利用移动终端的图像拍摄设备及移动终端的多个传感器采集待识别目标的位置指纹数据，所述待识别目标包括店铺，所述位置指纹数据包括由所述移动终端的图像拍摄设备拍摄的待识别目标图像、所述移动终端的加速度传感器和磁力计获取的，图像拍摄设备拍摄待识别目标图像时的待识别方位角和待识别俯仰角、所述移动终端的WIFI模块获取的，拍摄待识别目标图像的位置的待识别WIFI信息，其中，所述待识别WIFI信息包括在拍摄待识别目标图像的位置处接收的第一预设数量个WIFI信号的信号强度，及第一预设数量个WIFI信号分别对应的Mac地址；
服务器端，用于获取移动终端采集的待识别目标的位置指纹数据；对比待识别目标的位置指纹数据，与位置指纹数据库中预存的已知目标信息的，多个已存储目标的位置指纹数据，获得匹配度最高的一个已存储目标的位置指纹数据，将所述匹配度最高的一个已存储目标的位置指纹数据中的目标信息，作为待识别目标的目标信息返回给移动终端，其中，所述目标信息包括店铺名称。
CN201710046639.7A 2017-01-19 2017-01-19 一种基于多传感器的室内目标信息识别方法、装置及系统 Pending CN106817677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710046639.7A CN106817677A (zh) 2017-01-19 2017-01-19 一种基于多传感器的室内目标信息识别方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710046639.7A CN106817677A (zh) 2017-01-19 2017-01-19 一种基于多传感器的室内目标信息识别方法、装置及系统

Publications (1)

Publication Number Publication Date
CN106817677A true CN106817677A (zh) 2017-06-09

Family

ID=59112977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710046639.7A Pending CN106817677A (zh) 2017-01-19 2017-01-19 一种基于多传感器的室内目标信息识别方法、装置及系统

Country Status (1)

Country Link
CN (1) CN106817677A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566659A (zh) * 2017-10-20 2018-01-09 维沃移动通信有限公司 用户安全提醒方法及移动终端
CN107820203A (zh) * 2017-10-10 2018-03-20 深圳数位传媒科技有限公司 室内位置吸附方法、系统、服务器和计算机可读介质
CN108022096A (zh) * 2017-12-27 2018-05-11 珠海市魅族科技有限公司 一种移动支付方法、装置、终端及可读存储介质
CN108804899A (zh) * 2018-05-29 2018-11-13 Oppo广东移动通信有限公司 指纹数据传输方法、装置、终端及存储介质
CN110175491A (zh) * 2018-11-13 2019-08-27 广东小天才科技有限公司 一种排队编号生成方法及可穿戴设备
CN110599228A (zh) * 2018-06-13 2019-12-20 北京智慧图科技有限责任公司 一种店铺识别方法
CN111897321A (zh) * 2020-06-19 2020-11-06 中国煤炭科工集团太原研究院有限公司 一种井下特种车辆的无人驾驶系统
CN114338642A (zh) * 2020-09-24 2022-04-12 华为技术有限公司 一种文件传输方法和电子设备
CN115334449A (zh) * 2022-08-16 2022-11-11 北京小米移动软件有限公司 定位方法、定位装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286493A1 (en) * 2004-06-25 2005-12-29 Anders Angelhag Mobile terminals, methods, and program products that generate communication information based on characters recognized in image data
CN104008381A (zh) * 2014-06-16 2014-08-27 浙江维尔科技股份有限公司 一种身份识别方法及装置
CN106295640A (zh) * 2016-08-01 2017-01-04 乐视控股（北京）有限公司 一种智能终端的物体识别方法和装置
CN106289187A (zh) * 2016-07-20 2017-01-04 广东大仓机器人科技有限公司 一种通过图像识别实现机器人室内定位的方法
CN106537413A (zh) * 2014-10-28 2017-03-22 谷歌公司 自动生成照片概要的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286493A1 (en) * 2004-06-25 2005-12-29 Anders Angelhag Mobile terminals, methods, and program products that generate communication information based on characters recognized in image data
CN104008381A (zh) * 2014-06-16 2014-08-27 浙江维尔科技股份有限公司 一种身份识别方法及装置
CN106537413A (zh) * 2014-10-28 2017-03-22 谷歌公司 自动生成照片概要的系统和方法
CN106289187A (zh) * 2016-07-20 2017-01-04 广东大仓机器人科技有限公司 一种通过图像识别实现机器人室内定位的方法
CN106295640A (zh) * 2016-08-01 2017-01-04 乐视控股（北京）有限公司 一种智能终端的物体识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUAIYU XU，DONG ZHAO，JIAQI AN，LIANG LIU: "Indoor shop recognition via simple but efficient fingerprinting on smartphones", 《2016 4TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND INTELLIGENCE SYSTEMS (CCIS)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820203A (zh) * 2017-10-10 2018-03-20 深圳数位传媒科技有限公司 室内位置吸附方法、系统、服务器和计算机可读介质
CN107566659A (zh) * 2017-10-20 2018-01-09 维沃移动通信有限公司 用户安全提醒方法及移动终端
CN108022096A (zh) * 2017-12-27 2018-05-11 珠海市魅族科技有限公司 一种移动支付方法、装置、终端及可读存储介质
CN108804899B (zh) * 2018-05-29 2020-06-30 Oppo广东移动通信有限公司 指纹数据传输方法、装置、终端及存储介质
CN108804899A (zh) * 2018-05-29 2018-11-13 Oppo广东移动通信有限公司 指纹数据传输方法、装置、终端及存储介质
CN110599228A (zh) * 2018-06-13 2019-12-20 北京智慧图科技有限责任公司 一种店铺识别方法
CN110599228B (zh) * 2018-06-13 2022-08-23 北京智慧图科技有限责任公司 一种店铺识别方法
CN110175491A (zh) * 2018-11-13 2019-08-27 广东小天才科技有限公司 一种排队编号生成方法及可穿戴设备
CN110175491B (zh) * 2018-11-13 2022-03-01 广东小天才科技有限公司 一种排队编号生成方法及可穿戴设备
CN111897321A (zh) * 2020-06-19 2020-11-06 中国煤炭科工集团太原研究院有限公司 一种井下特种车辆的无人驾驶系统
CN111897321B (zh) * 2020-06-19 2023-08-11 中国煤炭科工集团太原研究院有限公司 一种井下特种车辆的无人驾驶系统
CN114338642A (zh) * 2020-09-24 2022-04-12 华为技术有限公司 一种文件传输方法和电子设备
CN114338642B (zh) * 2020-09-24 2023-04-07 华为技术有限公司 一种文件传输方法和电子设备
CN115334449A (zh) * 2022-08-16 2022-11-11 北京小米移动软件有限公司 定位方法、定位装置及介质

Similar Documents

Publication Publication Date Title
CN106817677A (zh) 一种基于多传感器的室内目标信息识别方法、装置及系统
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN109871815B (zh) 一种查询监控信息的方法及装置
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
CN105701766B (zh) 图像匹配方法和装置
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
US8238671B1 (en) Scene classification for place recognition
JP4970195B2 (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
CN108875542B (zh) 一种人脸识别方法、装置、系统及计算机存储介质
US10019624B2 (en) Face recognition system and face recognition method
US20110286628A1 (en) Systems and methods for object recognition using a large database
CN111323024B (zh) 定位方法及装置、设备、存储介质
CN103632379A (zh) 物体检测装置及其控制方法
US20150010237A1 (en) Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof
CN104657389A (zh) 定位方法、系统及移动终端
CN112445929A (zh) 视觉定位方法及相关装置
CN111935641B (zh) 一种室内自定位的实现方法、智能移动设备和存储介质
CN110692081A (zh) 用于查看确认的系统、便携式终端装置、服务器、程序和方法
CN114743026A (zh) 目标对象的方位检测方法、装置、设备及计算机可读介质
US20150254527A1 (en) Methods for 3d object recognition and registration
CN111476070A (zh) 图像处理方法、装置、电子设备以及计算机可读存储介质
CN111126102A (zh) 人员搜索方法、装置及图像处理设备
KR20110018850A (ko) 카메라 기반 피사체 분석 시스템, 방법 및 프로그램 제품
CN107944429B (zh) 一种面部识别方法、装置及其使用的移动终端
Wan et al. An improvement algorithm on RANSAC for image-based indoor localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170609

RJ01 Rejection of invention patent application after publication