CN106767812A - 一种基于语义信息提取的室内语义地图更新方法与系统 - Google Patents

一种基于语义信息提取的室内语义地图更新方法与系统 Download PDF

Info

Publication number
CN106767812A
CN106767812A CN201611054254.7A CN201611054254A CN106767812A CN 106767812 A CN106767812 A CN 106767812A CN 201611054254 A CN201611054254 A CN 201611054254A CN 106767812 A CN106767812 A CN 106767812A
Authority
CN
China
Prior art keywords
sequence
text
keyframe
public
indoor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611054254.7A
Other languages
English (en)
Other versions
CN106767812B (zh
Inventor
郭得科
滕晓强
周晓磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201611054254.7A priority Critical patent/CN106767812B/zh
Publication of CN106767812A publication Critical patent/CN106767812A/zh
Priority to US15/803,778 priority patent/US10235568B2/en
Application granted granted Critical
Publication of CN106767812B publication Critical patent/CN106767812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于语义信息提取的室内语义地图更新方法与系统包括：向所有移动端发布众包任务；等待任意移动端执行众包任务，并接收其任务结果；对任务结果进行预处理，获得公共关键帧序列；从公共关键帧序列中提取精确文本序列；根据公共关键帧序列与精确文本序列更新室内语义地图。本发明能够鼓励移动端执行众包任务，并以较低的成本更新室内语义地图与文本语义信息。

Description

一种基于语义信息提取的室内语义地图更新方法与系统
技术领域
本发明涉及室内定位技术，特别地，涉及一种基于语义信息提取的室内语义地图更新方法与系统。
背景技术
近年来，室内定位技术已经在室内导航、社交网络、推送广告等服务中得以应用。基于室内定位的服务系统工作的必要条件之一是具有可用的室内地图，因此室内地图的自动化构建成为了当前基于室内位置服务的主要问题。很多研究者利用众包数据(如图像、WiFi信号强度、用户的移动轨迹等)来构建室内二维平面地图。然而，这些系统构造的二维平面地图不具有室内空间的语义信息。
语义室内地图的出现能够改善现有的基于室内位置服务的系统的工作，同时也能够被用来设计新的基于室内位置服务的系统。室内语义地图记载着室内对象的空间结构及其语义(如名称、类别、功能等非空间属性)，每一个室内空间对象都有丰富的语义信息。室内空间对象指代的是任意位置和区域的一般实体，包括标注实体和未标注实体。标注实体表示的是其语义信息已经通过文本信息被标记，例如，在商业场所中的室内对象的名称以及功能属性已经通过文本信息进行标注。而非标注实体，例如细粒度的一般实体，指的是缺少被标记的文本信息的实体。
尽管对于室内语义地图的自动化构建，每一个标记实体的文本信息能够提供精确的语义信息，然而现有技术中的方法主要关注的是室内特定实体的识别与分类，尚不能精确地识别这些语义文本信息。同时，室内空间的语义信息是动态变化的，例如商场的店铺的更换、商场的促销信息的更新、陈列展品的更换。对于给定的室内空间，地图上的已经标记的语义信息明显与当前室内语义信息存在差异。如果新更新的语义信息没有被及时标记或者是旧的语义信息没有及时被移除，初始的室内语义地图就会逐步的衰减甚至是破坏基于位置服务系统的绩效。在这样的情况下，室内语义地图不仅不能够改善现有的基于室内位置的服务体验，而且也不能产生新的基于室内位置服务系统。因此，室内语义地图的自适应与更新问题还没有被解决。这个开放问题基本上限制了室内语义地图的应用，尤其是长期部署的应用。
解决此问题的一个直接的方法是定时重新生成整个室内语义地图。这个方法耗时耗力，而且也在更新没有变化的室内环境上浪费大量资源。该方法被设计用来自动构建整个室内平面地图，不适合对复杂的室内空间进行实时的、明确的语义信息的更新。而且，他们也不能更新文本语义信息，因此对已标注的实体的更新就会失效。
针对现有技术中更新室内语义地图的方法成本过高且不能更新文本信息的问题，目前尚未有有效的解决方案。
发明内容
有鉴于此，本发明的目的在于提出一种基于语义信息提取的室内语义地图更新方法，能够以较低的成本更新室内语义地图与文本语义信息。
根据本发明的一个方面，提供了一种基于语义信息提取的室内语义地图更新方法。
根据本发明提供的基于语义信息提取的室内语义地图更新方法包括：
向所有移动端发布众包任务；
等待任意移动端执行众包任务，并接收其任务结果；
对任务结果进行预处理，获得公共关键帧序列；
从公共关键帧序列中提取精确文本序列；
根据公共关键帧序列与精确文本序列更新室内语义地图。
其中，众包任务包括位置获取任务与短视频采集任务，其中，位置获取任务为根据GPS定位获取移动端所在的地理位置，短视频采集任务为拍摄包含丰富语义的室内对象；对任务结果进行预处理提取公共关键帧序列，为对短视频采集任务采集的短视频进行预处理并提取公共关键帧序列。
并且，对短视频采集任务采集的短视频进行预处理并提取公共关键帧序列包括：
从短视频中提取所有的关键帧，并将所有关键帧归纳到多条关键帧序列中；
从多条关键帧序列提取出公共部分，获得公共关键帧序列。
并且，从短视频中提取所有的关键帧，为使用关键帧算法从短视频移除所有与其他图像高度相似的图像，剩余的图像被认为是关键帧。
同时，从多条关键帧序列提取出公共部分获得公共关键帧序列包括：
从多条关键帧序列中指定一条作为种子序列；
从多条关键帧序列中另选取一条未被标记的序列，并计算种子序列与另一条序列间的序列距离以及两序列的长度差；
根据种子序列与另一条序列间的序列距离以及两序列的长度差，计算种子序列与另一条序列的最长公共子序列；
根据种子序列与另一条序列的最长公共子序列计算两序列的相似性得分，并根据相似性得分确定两序列是否相似；
判断种子序列与另一条序列的最长公共子序列的长度是否达到另一条序列的长度的一半以上，是则标记另一条序列，否则不标记；
从多条关键帧序列中重新选取另一条未被标记的序列依次执行上述操作，直到多条关键帧序列中的所有序列都被标记。
另外，从公共关键帧序列中提取精确文本序列包括：
从公共关键帧序列中识别文字，并将所有被识别出的文字归纳到多条文本序列中；
使用马尔科夫随机场从多条文本序列提取精确文本序列。
并且，使用马尔科夫随机场从多条文本序列提取精确文本序列包括：
获取多条文本序列中的每个隐状态节点与和与其对应的观测节点；
根据多条文本序列中的每个隐状态节点和与其对应的观测节点，获得每两个隐状态邻居节点之间的概率函数以及每个隐状态节点和与其对应的观测节点之间的概率函数；
根据每两个隐状态邻居节点之间的概率函数以及每个隐状态节点和与其对应的观测节点之间的概率函数，获得多条文本序列的联合概率；
对多条文本序列的联合概率使用最大似然估计法，获得对任一节点的最佳估计；
根据该节点的最佳估计与信度获得任意两节点间的信息；
根据任意两节点间的信息提取精确文本序列。
另外，根据公共关键帧序列与精确文本序列更新室内语义地图包括：
从公共关键帧序列中提取图像特征；
从精确文本序列中提取未变化文本得分与未变化文本集合；
根据图像特征、未变化文本得分与未变化文本集合，以及事先设定的权重，分别计算出房间轮廓能项、未变化文本能项与未变化邻居文本能项；
根据房间轮廓能项、未变化文本能项与未变化邻居文本能项计算总能项；
使用总能项将精确文本序列定位到室内语义地图上，并进行更新。
并且，使用总能项将精确文本序列定位到室内语义地图上包括：
依次指定每一条文本序列；
计算被指定文本序列与室内语义地图整体序列间的序列距离以及两序列的长度差；
根据被指定文本序列与室内语义地图整体序列间的序列距离以及两序列的长度差，计算被指定文本序列与室内语义地图整体序列的最长公共子序列；
根据被指定文本序列与室内语义地图整体序列的最长公共子序列计算两序列的相似性得分；
遍历了每一条文本序列后，将相似性得分最高的文本序列作为结果定位到室内语义地图上。
根据本发明的另一个方面，提供了一种基于语义信息提取的室内语义地图更新系统。
根据本发明提供的基于语义信息提取的室内语义地图更新系统运用了上述的任一种室内语义地图更新方法。
从上面所述可以看出，本发明提供的技术方案通过使用向发布众包任务接收其任务结果，进行预处理，获得公共关键帧序列，提取精确文本序列并更新室内语义地图的技术手段，能够鼓励移动端执行众包任务，并以较低的成本更新室内语义地图与文本语义信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种基于语义信息提取的室内语义地图更新方法的流程图；
图2为根据本发明实施例的一种基于语义信息提取的室内语义地图更新系统的结构图；
图3为根据本发明实施例的一种基于语义信息提取的室内语义地图更新系统中，马尔科夫随机场的无向图模型；
图4为根据本发明实施例的一种基于语义信息提取的室内语义地图更新系统中，室内语义地图更新的一个实施例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进一步进行清楚、完整、详细地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的一个实施例，提供了一种基于语义信息提取的室内语义地图更新方法。
如图1所示，根据本发明的实施例提供的基于语义信息提取的室内语义地图更新方法包括：
步骤S101，向所有移动端发布众包任务；
步骤S103，等待任意移动端执行众包任务，并接收其任务结果；
步骤S105，对任务结果进行预处理，获得公共关键帧序列；
步骤S107，从公共关键帧序列中提取精确文本序列；
步骤S109，根据公共关键帧序列与精确文本序列更新室内语义地图。
其中，众包任务包括位置获取任务与短视频采集任务，其中，位置获取任务为根据GPS定位获取移动端所在的地理位置，短视频采集任务为拍摄包含丰富语义的室内对象；对任务结果进行预处理提取公共关键帧序列，为对短视频采集任务采集的短视频进行预处理并提取公共关键帧序列。
并且，对短视频采集任务采集的短视频进行预处理并提取公共关键帧序列包括：
从短视频中提取所有的关键帧，并将所有关键帧归纳到多条关键帧序列中；
从多条关键帧序列提取出公共部分，获得公共关键帧序列。
并且，从短视频中提取所有的关键帧，为使用关键帧算法从短视频移除所有与其他图像高度相似的图像，剩余的图像被认为是关键帧。
同时，从多条关键帧序列提取出公共部分获得公共关键帧序列包括：
从多条关键帧序列中指定一条作为种子序列；
从多条关键帧序列中另选取一条未被标记的序列，并计算种子序列与另一条序列间的序列距离以及两序列的长度差；
根据种子序列与另一条序列间的序列距离以及两序列的长度差，计算种子序列与另一条序列的最长公共子序列；
根据种子序列与另一条序列的最长公共子序列计算两序列的相似性得分，并根据相似性得分确定两序列是否相似；
判断种子序列与另一条序列的最长公共子序列的长度是否达到另一条序列的长度的一半以上，是则标记另一条序列，否则不标记；
从多条关键帧序列中重新选取另一条未被标记的序列依次执行上述操作，直到多条关键帧序列中的所有序列都被标记。
另外，从公共关键帧序列中提取精确文本序列包括：
从公共关键帧序列中识别文字，并将所有被识别出的文字归纳到多条文本序列中；
使用马尔科夫随机场从多条文本序列提取精确文本序列。
并且，使用马尔科夫随机场从多条文本序列提取精确文本序列包括：
获取多条文本序列中的每个隐状态节点与和与其对应的观测节点；
根据多条文本序列中的每个隐状态节点和与其对应的观测节点，获得每两个隐状态邻居节点之间的概率函数以及每个隐状态节点和与其对应的观测节点之间的概率函数；
根据每两个隐状态邻居节点之间的概率函数以及每个隐状态节点和与其对应的观测节点之间的概率函数，获得多条文本序列的联合概率；
对多条文本序列的联合概率使用最大似然估计法，获得对任一节点的最佳估计；
根据该节点的最佳估计与信度获得任意两节点间的信息；
根据任意两节点间的信息提取精确文本序列。
另外，根据公共关键帧序列与精确文本序列更新室内语义地图包括：
从公共关键帧序列中提取图像特征；
从精确文本序列中提取未变化文本得分与未变化文本集合；
根据图像特征、未变化文本得分与未变化文本集合，以及事先设定的权重，分别计算出房间轮廓能项、未变化文本能项与未变化邻居文本能项；
根据房间轮廓能项、未变化文本能项与未变化邻居文本能项计算总能项；
使用总能项将精确文本序列定位到室内语义地图上，并进行更新。
并且，使用总能项将精确文本序列定位到室内语义地图上包括：
依次指定每一条文本序列；
计算被指定文本序列与室内语义地图整体序列间的序列距离以及两序列的长度差；
根据被指定文本序列与室内语义地图整体序列间的序列距离以及两序列的长度差，计算被指定文本序列与室内语义地图整体序列的最长公共子序列；
根据被指定文本序列与室内语义地图整体序列的最长公共子序列计算两序列的相似性得分；
遍历了每一条文本序列后，将相似性得分最高的文本序列作为结果定位到室内语义地图上。
根据本发明的另一个实施例，提供了一种基于用户反馈的室内语义地图更新系统，运用了上述的任一种室内语义地图更新方法。
下面根据具体实施例进一步阐述本发明的技术方案。
本发明实施例利用语义丰富的短视频来设计一个自动化、持续的更新语义室内地图系统，命名为SiFi。语义丰富的短视频提供了室内对象的语义信息，而且易于移动端捕获和共享。移动端主动去捕获室内短视频，并上传到服务器做进一步处理。SiFi系统从短的视频中提取图像和语义序列，建立图像之间、文本之间的序列关系。相比较于无序的图像和文本，SiFi系统阐明了在同等大小的数据量下，有序的图像和文本提供更多的有价值的信息，这些被提取出来的文本序列与当前的室内语义地图进行匹配去更新变化的语义信息。这使得室内语义地图可以实时更新以维护室内位置服务系统的长期部署，而且不依赖于任何的室内定位系统与额外的硬件设施。
室内语义地图系统的结构如图2所示。为了采集语义丰富的短的视频，服务器首先分发两个众包任务，用户通过执行众包任务来捕获室内空间的视频，通过WiFi网络上传至服务器做进一步处理。
大部分的系统处理视频的计算负载都放在服务器上。服务器端处理部分包括视频预处理、精确地文本提取和更新。不同用户、不同设备、不同使用姿态、不同摄像机的位置以及不同视角所捕获的语义丰富的短视频，显然具有明显的差异；另一方面，摄像机的运动轨迹也是不确定的。在这两个因素的影响下，服务器处理视频非常困难。因此，语义丰富的短的视频首先被加载到服务器的视频预处理模块，视频预处理模块从语义丰富的短的视频中提取出公共关键帧序列，文本提取模块从公共关键帧序列中提取出精确文本序列。在本发明实施例中，精确文本提取过程被建模为马尔科夫随机场过程。获得精确文本序列之后，服务器利用三个能项(房间轮廓、未变化的文本和未变化的邻居文本)在室内语义地图上来定位文本序列，从而得到变化的语义信息的位置，并更新变化的文本语义。更新后的室内语义地图可以用于服务基于室内位置服务的系统。
现有技术中计算机视觉领域的文字识别算法存在假阳性与假阴性错误，其文字识别精度过低而不能直接用于SiFi系统。本发明实施例首先执行视频预处理，再进行精确文本提取。
因为视频是在众包的模式下采集到的，视频之间存在显著差异。因此需要首先进行视频预处理。
首先，使用SURF(Speed Up Robust Features)算法去匹配两帧图像时，视频数据的处理是制约SiFi系统运行的瓶颈。已知的事实是：视频中相邻的两帧图像具有高度相似性，而非相邻的两帧图像具有明显的可区分度。因此，本发明实施例使用关键帧提取算法来移除视频中相似的图像，剩下图像的称为关键帧。在本发明实施例中，Ii表示的是关键帧，I＝{I1,I2,…,Im}表示的是关键帧序列。
当得到了数条关键帧序列，本发明实施例使用LCS(longest commonsubsequence)方法来计算两个关键帧之间的相似性，并提取其公共部分。另Ia和Ib是两个关键帧序列，其长度分别为m和n，LCS矩阵使用下述公式计算：
其中，δ是两个关键帧序列的长度差阈值，∈是距离阈值，d是两关键帧序列相似性计算值。
相似性得分SI被定义为：
其中，F表示的所有的滑动窗口。如果SI高于阈值SH，则两个关键帧序列被认为是相似的。
本发明实施例用以下方法来计算多个关键帧的公共部分：指定一条关键帧序列被选择作为种子序列(seed)，使seed与第二条关键帧序列(second sequence)通过LCS方法得到公共部分。如果公共部分是第二条关键帧序列长度的一半以上，那么第二条关键帧序列被加载到具有公共部分的集合，否则被加载到非公共部分集合。然后，不断地从非公共部分集合选取不同的第二条关键帧序列重复进行上述运算，直到非公共部分集合为空。
因为基于视觉的文字识别算法精度不够高，导致不能直接应用于SiFi系统。算法精度低会产生两类错误，假阳性错误和假阴性错误：假阳性错误指的是文字的错误识别(非文字识别为文字)，假阴性错误指的是文字的遗漏识别(文字未识别为文字)。这些错误使得难以直接得到精确文本信息来更新室内语义地图。
为了得到精确地文本信息，本发明实施例设计了分层的方法。首先，利用现有的计算机视觉算法初步识别文字；其次，从关键帧序列中得到文字序列。在本发明实施例中，tx表示的一个文本，TX＝{tx1,tx2,,txk}表示的文本序列。我们采用马尔科夫随机场从多条文本序列中来提取精确地文本。
图3示出的是马尔科夫随机场的无向图模型。马尔科夫随机场表示了两个随机变量的联合概率。在马尔科夫随机场中，一个文本txi在第k条文本序列中有一个隐状态节点x(txi,k)(圆形)和一个观测节点y(txi,k)(方形)。在同一个文本序列中，x(txi,k)有两个邻居节点x(txi+1,k)和x(txi-1,k)。在不同文本序列中，x(txi,k)有两个邻居节点x(txi,k-1)和x(txi,k+1)。随机变量x1,x2,…,xN,y1,y2,…,yN(定义为X,Y)联合概率定义为：
其中，ψ是邻居节点之间的概率函数，φ是状态节点和观测节点之间的概率函数，N是文本的数量，Z是归一化参数。进一步地，MLE(Maximum Likelihood Estimation，最大似然估计)被用来得到xj的最佳估计：
本发明实施例用信度传播算法求解马尔科夫随机场模型。令b(xj)表示节点xj的信度，mkj(xj)表示节点k与节点j之间的消息，则MLE消息表示为：
整理可得
其中，i∈N(k)\j是除了xj的xi的所有邻居节点。
另外，观测节点y(txi)表示的在两个文本序列中第i个节点变化的概率。如果y(txi)＝0，则认为第i个文本没有变化。假设初始服从在[1,M]上的均匀分布，其中M是文本数量。如果y(txi)＝1，则认为第i个文本发生变化。变化后的文本设置为ξ(xi＝f(i))，其中，f(i)是一个计数函数，定义为f(i)＝tx(max{N(tx1),N(tx2),…,N(txM)})，其中，N(txi)指的是第i个文本的数量，tx(N)指的是具有数量为N的那个文本。于是有
另外，ψ使用Potts模型来代替：
其中，和分别表示的是第Pg文本对于节点xi和第Ph个文本对于节点xj，0<p<1，p＞＞q。如果文本没有变化，对于后续的文本序列就会下降。其中，P是一个衰减指数，表示的是两个邻居节点之间的差异性。
得到文本序列后，本发明实施例首先寻找文本序列与室内语义地图之间的函数关系，在室内语义地图上定位并更新发生变化的文本语义信息。首先，文本在室内语义地图上使用元组Z(X,Y)＝{(x,y)|(x,y)∈R2}，其中，(x,y)是一个文本在室内语义地图上的位置坐标。如此，我们得到函数关系U为：
Z(X,Y)＝U(I,TX,M)
其中，I表示任一图像序列，TX表示与其对应的文本序列，M表示代被更新的室内语义地图。
本发明实施例建模三个能项用来描述概率，包括房间轮廓、未变化的文本和邻居未变化的文本。考虑到室内环境十分复杂，平面图上的区域大多是非凸的，我们使用二元组Q＝{qi,si}来表述，其中，qi是平行四边形，si是对应的文本。
本发明实施例我们建模房间轮廓能项为：
其中，Ψom+gc(qi)表示的是图像特征，是权重。
本发明实施例建模未变化的文本能项为：
其中，fUT是未变化文本的得分，b是未变化文本盒子的集合，-wUT是权重。
本发明实施例建模未变化的邻居文本能项为：
ENUT＝-wNUTΠEUT
其中，-wNUT是权重。
最后，我们得到整体能项，定义为：
E＝Efacade+EUT+ENUT
其中，房间轮廓的能项使用关键帧序列计算得到，未变化文本与未变化邻居文本使用文本序列计算得到。权重根据关键帧与文本序列自适应调整。接下来，我们使用整体的能项来定位文本序列在室内语义地图上。
给定一条长度为n的文本序列(TXa)与对应的关键帧序列I，本发明实施例使用LCS方法在整个室内语义地图上匹配TXa和I。将整个室内语义地图视为一条长度为M的文本序列TXb，TXa与TXb的LCS矩阵为：
其中，δ两条文本序列最大的距离差阈值，∈为能量阈值。
相似性得分计算为：
其中，F表示所有滑动窗口。在室内语义地图上，具有最大值STX的文本序列被选择作为结果值，也可以获得每一个对应的文本的坐标。
至此，本发明实施例使用新测量得到的图像和文本序列来更新室内语义地图，室内语义地图被更新来适应室内环境的动态性变化，如图4所示。
综上所述，借助于本发明的上述技术方案，通过使用向发布众包任务接收其任务结果，进行预处理，获得公共关键帧序列，提取精确文本序列并更新室内语义地图的技术手段，能够鼓励移动端执行众包任务，并以较低的成本更新室内语义地图与文本语义信息。
所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于语义信息提取的室内语义地图更新方法，其特征在于，包括：
向所有移动端发布众包任务；
等待任意移动端执行众包任务，并接收其任务结果；
对所述任务结果进行预处理，获得公共关键帧序列；
从所述公共关键帧序列中提取精确文本序列；
根据所述公共关键帧序列与所述精确文本序列更新室内语义地图。
2.根据权利要求1所述的方法，其特征在于，所述众包任务包括位置获取任务与短视频采集任务，其中，所述位置获取任务为根据GPS定位获取移动端所在的地理位置，所述短视频采集任务为拍摄包含丰富语义的室内对象；对所述任务结果进行预处理提取公共关键帧序列，为对所述短视频采集任务采集的短视频进行预处理并提取公共关键帧序列。
3.根据权利要求2所述的方法，其特征在于，对所述短视频采集任务采集的短视频进行预处理并提取公共关键帧序列包括：
从所述短视频中提取所有的关键帧，并将所有关键帧归纳到多条关键帧序列中；
从所述多条关键帧序列提取出公共部分，获得公共关键帧序列。
4.根据权利要求3所述的方法，其特征在于，从所述短视频中提取所有的关键帧，为使用关键帧算法从所述短视频移除所有与其他图像高度相似的图像，剩余的图像被认为是关键帧。
5.根据权利要求3所述的方法，其特征在于，从所述多条关键帧序列提取出公共部分获得公共关键帧序列包括：
从所述多条关键帧序列中指定一条作为种子序列；
从所述多条关键帧序列中另选取一条未被标记的序列，并计算所述种子序列与另一条序列间的序列距离以及两序列的长度差；
根据所述种子序列与另一条序列间的序列距离以及两序列的长度差，计算所述种子序列与另一条序列的最长公共子序列；
根据所述种子序列与另一条序列的最长公共子序列计算两序列的相似性得分，并根据所述相似性得分确定两序列是否相似；
判断所述种子序列与另一条序列的最长公共子序列的长度是否达到所述另一条序列的长度的一半以上，是则标记所述另一条序列，否则不标记；
从所述多条关键帧序列中重新选取另一条未被标记的序列依次执行上述操作，直到所述多条关键帧序列中的所有序列都被标记。
6.根据权利要求2所述的方法，其特征在于，从所述公共关键帧序列中提取精确文本序列包括：
从所述公共关键帧序列中识别文字，并将所有被识别出的文字归纳到多条文本序列中；
使用马尔科夫随机场从所述多条文本序列提取精确文本序列。
7.根据权利要求6所述的方法，其特征在于，所述使用马尔科夫随机场从所述多条文本序列提取精确文本序列包括：
获取所述多条文本序列中的每个隐状态节点与和与其对应的观测节点；
根据所述多条文本序列中的每个隐状态节点和与其对应的观测节点，获得所述每两个隐状态邻居节点之间的概率函数以及每个隐状态节点和与其对应的观测节点之间的概率函数；
根据所述每两个隐状态邻居节点之间的概率函数以及每个隐状态节点和与其对应的观测节点之间的概率函数，获得所述多条文本序列的联合概率；
对所述多条文本序列的联合概率使用最大似然估计法，获得对任一节点的最佳估计；
根据该节点的最佳估计与信度获得任意两节点间的信息；
根据所述任意两节点间的信息提取精确文本序列。
8.根据权利要求2所述的方法，其特征在于，根据所述公共关键帧序列与所述精确文本序列更新室内语义地图包括：
从所述公共关键帧序列中提取图像特征；
从所述精确文本序列中提取未变化文本得分与未变化文本集合；
根据所述图像特征、未变化文本得分与未变化文本集合，以及事先设定的权重，分别计算出房间轮廓能项、未变化文本能项与未变化邻居文本能项；
根据所述房间轮廓能项、未变化文本能项与未变化邻居文本能项计算总能项；
使用所述总能项将所述精确文本序列定位到室内语义地图上，并进行更新。
9.根据权利要求8所述的方法，其特征在于，使用所述总能项将所述精确文本序列定位到室内语义地图上包括：
依次指定每一条文本序列；
计算所述被指定文本序列与室内语义地图整体序列间的序列距离以及两序列的长度差；
根据所述被指定文本序列与室内语义地图整体序列间的序列距离以及两序列的长度差，计算所述被指定文本序列与室内语义地图整体序列的最长公共子序列；
根据所述被指定文本序列与室内语义地图整体序列的最长公共子序列计算两序列的相似性得分；
遍历了每一条文本序列后，将相似性得分最高的文本序列作为结果定位到室内语义地图上。
10.一种基于语义信息提取的室内语义地图更新系统，其特征在于，运用了如权利要求1-9中任意一项所述的室内语义地图更新方法。
CN201611054254.7A 2016-11-25 2016-11-25 一种基于语义信息提取的室内语义地图更新方法与系统 Active CN106767812B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611054254.7A CN106767812B (zh) 2016-11-25 2016-11-25 一种基于语义信息提取的室内语义地图更新方法与系统
US15/803,778 US10235568B2 (en) 2016-11-25 2017-11-05 Indoor semantic map updating method and system based on semantic information extraction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611054254.7A CN106767812B (zh) 2016-11-25 2016-11-25 一种基于语义信息提取的室内语义地图更新方法与系统

Publications (2)

Publication Number Publication Date
CN106767812A true CN106767812A (zh) 2017-05-31
CN106767812B CN106767812B (zh) 2017-12-08

Family

ID=58910621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611054254.7A Active CN106767812B (zh) 2016-11-25 2016-11-25 一种基于语义信息提取的室内语义地图更新方法与系统

Country Status (2)

Country Link
US (1) US10235568B2 (zh)
CN (1) CN106767812B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108107897A (zh) * 2018-01-11 2018-06-01 驭势科技（北京）有限公司 实时传感器控制方法及装置
CN108197208A (zh) * 2017-12-28 2018-06-22 百度在线网络技术（北京）有限公司 一种数据可信度的确定方法、装置、设备和介质
CN108537214A (zh) * 2018-08-09 2018-09-14 中国人民解放军国防科技大学 一种室内语义地图的自动化构建方法
CN109190656A (zh) * 2018-07-16 2019-01-11 浙江大学 一种低采样定位环境下的室内语义轨迹标注和补全方法
CN110196848A (zh) * 2019-04-09 2019-09-03 广联达科技股份有限公司 一种面向公共资源交易数据的清洗去重方法及其系统
CN110631578A (zh) * 2019-09-29 2019-12-31 电子科技大学 一种无地图下室内行人定位与追踪方法
CN113048988A (zh) * 2019-12-26 2021-06-29 北京初速度科技有限公司 一种导航地图对应场景的变化元素检测方法及装置
CN113656418A (zh) * 2021-07-27 2021-11-16 追觅创新科技(苏州)有限公司 语义地图的保存方法和装置、存储介质、电子装置
CN113807357A (zh) * 2021-09-08 2021-12-17 中山大学 一种基于室内地标文本与轮廓的室内定位方法
WO2022000858A1 (zh) * 2020-07-01 2022-01-06 广州小鹏自动驾驶科技有限公司 一种语义地图更新方法及装置、车辆、存储介质
CN116184312A (zh) * 2022-12-22 2023-05-30 泰州雷德波达定位导航科技有限公司 一种基于语义Wi-Fi的室内众源指纹库构建方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
CN109584302B (zh) * 2018-11-27 2023-12-01 北京旷视科技有限公司 相机位姿优化方法、装置、电子设备和计算机可读介质
CN111860084B (zh) * 2019-04-30 2024-04-16 千寻位置网络有限公司 图像特征的匹配、定位方法及装置、定位系统
CN111311742B (zh) * 2020-03-27 2023-05-05 阿波罗智能技术(北京)有限公司 三维重建方法、三维重建装置和电子设备
CN113052152B (zh) * 2021-06-02 2021-07-30 中国人民解放军国防科技大学 一种基于视觉的室内语义地图构建方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620629A (zh) * 2009-06-09 2010-01-06 中兴通讯股份有限公司 一种提取视频索引的方法、装置及视频下载系统
WO2013101005A1 (en) * 2011-12-28 2013-07-04 Intel Corporation Provision of navigation service including reporting of elevation information and/or vertical guidance
US20140274113A1 (en) * 2013-03-14 2014-09-18 Qualcomm Incorporated Crowdsourcing based on base station almanac quality
CN104422442A (zh) * 2013-09-04 2015-03-18 王方淇 一种室内导航方法及系统
CN104486584A (zh) * 2014-12-18 2015-04-01 深圳先进技术研究院 一种基于增强现实的城市视频地图方法
CN105637530A (zh) * 2013-10-16 2016-06-01 谷歌公司 使用众包视频的3d模型更新

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102034526B1 (ko) * 2012-10-18 2019-10-22 한국전자통신연구원 실내지도 및 측위 인프라에 기반한 실내 이동객체 관리장치 및 그 방법
US20160371394A1 (en) * 2015-06-22 2016-12-22 The Governing Council Of The University Of Toronto Indoor localization using crowdsourced data
US9565521B1 (en) * 2015-08-14 2017-02-07 Samsung Electronics Co., Ltd. Automatic semantic labeling based on activity recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620629A (zh) * 2009-06-09 2010-01-06 中兴通讯股份有限公司 一种提取视频索引的方法、装置及视频下载系统
WO2013101005A1 (en) * 2011-12-28 2013-07-04 Intel Corporation Provision of navigation service including reporting of elevation information and/or vertical guidance
US20140274113A1 (en) * 2013-03-14 2014-09-18 Qualcomm Incorporated Crowdsourcing based on base station almanac quality
CN104422442A (zh) * 2013-09-04 2015-03-18 王方淇 一种室内导航方法及系统
CN105637530A (zh) * 2013-10-16 2016-06-01 谷歌公司 使用众包视频的3d模型更新
CN104486584A (zh) * 2014-12-18 2015-04-01 深圳先进技术研究院 一种基于增强现实的城市视频地图方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197208A (zh) * 2017-12-28 2018-06-22 百度在线网络技术（北京）有限公司 一种数据可信度的确定方法、装置、设备和介质
CN108107897B (zh) * 2018-01-11 2021-04-16 驭势科技（北京）有限公司 实时传感器控制方法及装置
CN108107897A (zh) * 2018-01-11 2018-06-01 驭势科技（北京）有限公司 实时传感器控制方法及装置
CN109190656A (zh) * 2018-07-16 2019-01-11 浙江大学 一种低采样定位环境下的室内语义轨迹标注和补全方法
CN109190656B (zh) * 2018-07-16 2020-07-21 浙江大学 一种低采样定位环境下的室内语义轨迹标注和补全方法
CN108537214A (zh) * 2018-08-09 2018-09-14 中国人民解放军国防科技大学 一种室内语义地图的自动化构建方法
CN110196848A (zh) * 2019-04-09 2019-09-03 广联达科技股份有限公司 一种面向公共资源交易数据的清洗去重方法及其系统
CN110631578B (zh) * 2019-09-29 2021-06-08 电子科技大学 一种无地图下室内行人定位与追踪方法
CN110631578A (zh) * 2019-09-29 2019-12-31 电子科技大学 一种无地图下室内行人定位与追踪方法
CN113048988A (zh) * 2019-12-26 2021-06-29 北京初速度科技有限公司 一种导航地图对应场景的变化元素检测方法及装置
CN113048988B (zh) * 2019-12-26 2022-12-23 北京初速度科技有限公司 一种导航地图对应场景的变化元素检测方法及装置
WO2022000858A1 (zh) * 2020-07-01 2022-01-06 广州小鹏自动驾驶科技有限公司 一种语义地图更新方法及装置、车辆、存储介质
CN113656418A (zh) * 2021-07-27 2021-11-16 追觅创新科技(苏州)有限公司 语义地图的保存方法和装置、存储介质、电子装置
CN113656418B (zh) * 2021-07-27 2023-08-22 追觅创新科技(苏州)有限公司 语义地图的保存方法和装置、存储介质、电子装置
CN113807357A (zh) * 2021-09-08 2021-12-17 中山大学 一种基于室内地标文本与轮廓的室内定位方法
CN113807357B (zh) * 2021-09-08 2023-05-30 中山大学 一种基于室内地标文本与轮廓的室内定位方法
CN116184312A (zh) * 2022-12-22 2023-05-30 泰州雷德波达定位导航科技有限公司 一种基于语义Wi-Fi的室内众源指纹库构建方法
CN116184312B (zh) * 2022-12-22 2023-11-21 泰州雷德波达定位导航科技有限公司 一种基于语义Wi-Fi的室内众源指纹库构建方法

Also Published As

Publication number Publication date
US20180150693A1 (en) 2018-05-31
CN106767812B (zh) 2017-12-08
US10235568B2 (en) 2019-03-19

Similar Documents

Publication Publication Date Title
CN106767812B (zh) 一种基于语义信息提取的室内语义地图更新方法与系统
Cummins et al. Highly scalable appearance-only SLAM-FAB-MAP 2.0.
CN110880016B (zh) 图像风格迁移方法、装置、设备及存储介质
US8958603B2 (en) Automated mapping of land cover using sequences of aerial imagery
CN107862300A (zh) 一种基于卷积神经网络的监控场景下行人属性识别方法
CN108256439A (zh) 一种基于循环生成式对抗网络的行人图像生成方法及系统
CN107967473A (zh) 基于图文识别和语义的机器人自主定位和导航
CN103793697A (zh) 一种人脸图像的身份标注方法及人脸身份识别方法
US20230351794A1 (en) Pedestrian tracking method and device, and computer-readable storage medium
CN111435421B (zh) 一种面向交通目标的车辆重识别方法和装置
Shi et al. Visual localization using sparse semantic 3D map
Nuevo et al. RSMAT: Robust simultaneous modeling and tracking
CN112446882A (zh) 一种动态场景下基于深度学习的鲁棒视觉slam方法
Vishal et al. Accurate localization by fusing images and GPS signals
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
Radwan et al. Do you see the bakery? Leveraging geo-referenced texts for global localization in public maps
CN111160307A (zh) 一种人脸识别方法及人脸识别打卡系统
CN113158891B (zh) 一种基于全局特征匹配的跨摄像头行人重识别方法
CN111695431A (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN109753962A (zh) 基于混合网络的自然场景图像中文本区域的处理方法
CN108182218A (zh) 一种基于地理信息系统的视频人物识别方法、系统及电子设备
CN103886013A (zh) 一种基于网络视频监控中的智能图像检索系统
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN104820711A (zh) 复杂场景下对人形目标的视频检索方法
CN108830222A (zh) 一种基于信息性和代表性主动学习的微表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170822

Address after: 410003 Hunan province Changsha Kaifu District of Beichen Delta D3 District 6 Building 1002

Applicant after: Guo Deke

Address before: 410003 Hunan province Changsha Kaifu District of Beichen Delta D3 District 6 Building 1002

Applicant before: Liang Haiyan

TA01 Transfer of patent application right
CB03 Change of inventor or designer information

Inventor after: Guo Deke

Inventor after: Teng Xiaoqiang

Inventor after: Yao Chendie

Inventor after: Zhou Xiaolei

Inventor before: Guo Deke

Inventor before: Teng Xiaoqiang

Inventor before: Zhou Xiaolei

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220329

Address after: No.109, Deya Road, Kaifu District, Changsha City, Hunan Province 410003

Patentee after: National University of Defense Technology

Address before: 410003 1002, building 6, district D3, Beichen Delta, Kaifu District, Changsha City, Hunan Province

Patentee before: Guo Deke

TR01 Transfer of patent right