CN106705972A - 一种基于用户反馈的室内语义地图更新方法与系统 - Google Patents

Abstract

本发明公开了一种基于用户反馈的室内语义地图更新方法与系统包括：向所有移动端发布众包任务；等待任意移动端执行众包任务，并接收其任务结果；对任务结果进行质量评估，获得与其对应的评估结果；根据任务结果和与其对应的评估结果更新该移动端的评分；根据任务结果更新室内语义地图。本发明能够鼓励移动端执行众包任务，并以较低的成本更新室内语义地图与文本语义信息。

Description

一种基于用户反馈的室内语义地图更新方法与系统

技术领域

本发明涉及室内定位技术，特别地，涉及一种基于用户反馈的室内语义地图更新方法与系统。

背景技术

近年来，室内定位技术已经在室内导航、社交网络、推送广告等服务中得以应用。基于室内定位的服务系统工作的必要条件之一是具有可用的室内地图，因此室内地图的自动化构建成为了当前基于室内位置服务的主要问题。很多研究者利用众包数据(如图像、WiFi信号强渡、用户的移动轨迹等)来构建室内二维平面地图。然而，这些系统构造的二维平面地图不具有室内空间的语义信息。

语义室内地图的出现能够改善现有的基于室内位置服务的系统的工作，同时也能够被用来设计新的基于室内位置服务的系统。室内语义地图记载着室内对象的空间结构及其语义(如名称、类别、功能等非空间属性)，每一个室内空间对象都有丰富的语义信息。室内空间对象指代的是任意位置和区域的一般实体，包括标注实体和未标注实体。标注实体表示的是其语义信息已经通过文本信息被标记，例如，在商业场所中的室内对象的名称以及功能属性已经通过文本信息进行标注。而非标注实体，例如细粒度的一般实体，指的是缺少被标记的文本信息的实体。

尽管对于室内语义地图的自动化构建，每一个标记实体的文本信息能够提供精确的语义信息，然而现有技术中的方法主要关注的是室内特定实体的识别与分类，尚不能精确地识别这些语义文本信息。同时，室内空间的语义信息是动态变化的，例如商场的店铺的更换、商场的促销信息的更新、陈列展品的更换。对于给定的室内空间，地图上的已经标记的语义信息明显与当前室内语义信息存在差异。如果新更新的语义信息没有被及时标记或者是旧的语义信息没有及时被移除，初始的室内语义地图就会逐步的衰减甚至是破坏基于位置服务系统的绩效。在这样的情况下，室内语义地图不仅不能够改善现有的基于室内位置的服务体验，而且也不能产生新的基于室内位置服务系统。因此，室内语义地图的自适应与更新问题还没有被解决。这个开放问题基本上限制了室内语义地图的应用，尤其是长期部署的应用。

解决此问题的一个直接的方法是定时重新生成整个室内语义地图。这个方法耗时耗力，而且也在更新没有变化的室内环境上浪费大量资源。该方法被设计用来自动构建整个室内平面地图，不适合对复杂的室内空间进行实时的、明确的语义信息的更新。而且，他们也不能更新文本语义信息，因此对已标注的实体的更新就会失效。

针对现有技术中更新室内语义地图的方法成本过高且不能更新文本信息的问题，目前尚未有有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提出一种基于用户反馈的室内语义地图更新方法，能够以较低的成本更新室内语义地图与文本语义信息。

根据本发明的一个方面，提供了一种基于用户反馈的室内语义地图更新方法。

根据本发明提供的基于用户反馈的室内语义地图更新方法包括：

向所有移动端发布众包任务；

等待任意移动端执行众包任务，并接收其任务结果；

对任务结果进行质量评估，获得与其对应的评估结果；

根据任务结果和与其对应的评估结果更新该移动端的评分；

根据任务结果更新室内语义地图。

其中，众包任务包括位置获取任务与短视频采集任务，其中，位置获取任务为根据GPS定位获取移动端所在的地理位置，短视频采集任务为拍摄包含丰富语义的室内对象。

并且，执行位置获取任务包括：

根据最后可用的GPS位置定位移动端所在的建筑物范围；

用户手动确定建筑物范围内，移动端所处的具体建筑物；

用户手动确定所处的楼层。

同时，执行短视频采集任务包括：

确定一个固定位置，并在固定位置旋转拍摄包含丰富语义的室内对象，生成短视频；

确定两个固定位置，在从一个固定位置移动到另一个固定位置的同时拍摄包含丰富语义的室内对象，生成短视频。

并且，对任务结果进行质量评估，为对短视频进行质量评估，包括：

根据短视频生成数据质量评估矩阵；

根据数据质量评估矩阵中获得短视频每帧图像中的特征点数量与短视频的语义信息提取比；

判断特征点数量是否低于预先设定的阈值，是则放弃该短视频并提示移动端避免采集特征点较少的室内对象。

并且，获得短视频的语义信息提取比包括：

获取该短视频中可提取语义信息的数量；

获取同等位置中其他移动端的短视频中可提取语义信息的数量的平均值；

使前者除以后者，获得语义信息提取比。

同时，根据任务结果和与其对应的评估结果更新该移动端的评分包括：

判断语义信息提取比是否远低于预先设定的阈值，是则为短视频的基础评分乘以一个衰减因子；

判断语义信息提取比是否远高于预先设定的阈值，是则为短视频提供额外的奖励评分；

根据短视频的基础评分、衰减因子、奖励评分获得该短视频的评分，并累加到对应移动端的评分中。

另外，根据任务结果更新室内语义地图包括：

对任务结果进行预处理；

从预处理后的任务结果中提取精确文本信息；

根据精确文本信息更新室内语义地图。

并且，在根据任务结果更新室内语义地图后还包括以下步骤：

根据室内语义地图定位具有尚未被捕获的语义信息的位置；

向评分较高的移动端发布特定的众包任务，使其在被定位具有尚未被捕获的语义信息的位置采集短视频；

对完成该众包任务的移动端提供额外的奖励评分。

根据本发明的另一个方面，提供了一种基于用户反馈的室内语义地图更新系统。

根据本发明提供的基于用户反馈的室内语义地图更新系统运用了上述的任一种室内语义地图更新方法。

从上面所述可以看出，本发明提供的技术方案通过使用发布众包任务接收任务结果并进行质量评估获得评估结果来更新评分的技术手段，能够鼓励移动端执行众包任务，并以较低的成本更新室内语义地图与文本语义信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的一种基于用户反馈的室内语义地图更新方法的流程图；

图2为根据本发明实施例的一种基于用户反馈的室内语义地图更新系统的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进一步进行清楚、完整、详细地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的一个实施例，提供了一种基于用户反馈的室内语义地图更新方法。

如图1所示，根据本发明的实施例提供的基于用户反馈的室内语义地图更新方法包括：

步骤S101，向所有移动端发布众包任务；

步骤S103，等待任意移动端执行众包任务，并接收其任务结果；

步骤S105，对任务结果进行质量评估，获得与其对应的评估结果；

步骤S107，根据任务结果和与其对应的评估结果更新该移动端的评分；

步骤S109，根据任务结果更新室内语义地图。

其中，众包任务包括位置获取任务与短视频采集任务，其中，位置获取任务为根据GPS定位获取移动端所在的地理位置，短视频采集任务为拍摄包含丰富语义的室内对象。

并且，执行位置获取任务包括：

根据最后可用的GPS位置定位移动端所在的建筑物范围；

用户手动确定建筑物范围内，移动端所处的具体建筑物；

用户手动确定所处的楼层。

同时，执行短视频采集任务包括：

确定一个固定位置，并在固定位置旋转拍摄包含丰富语义的室内对象，生成短视频；

确定两个固定位置，在从一个固定位置移动到另一个固定位置的同时拍摄包含丰富语义的室内对象，生成短视频。

并且，对任务结果进行质量评估，为对短视频进行质量评估，包括：

根据短视频生成数据质量评估矩阵；

根据数据质量评估矩阵中获得短视频每帧图像中的特征点数量与短视频的语义信息提取比；

判断特征点数量是否低于预先设定的阈值，是则放弃该短视频并提示移动端避免采集特征点较少的室内对象。

并且，获得短视频的语义信息提取比包括：

获取该短视频中可提取语义信息的数量；

获取同等位置中其他移动端的短视频中可提取语义信息的数量的平均值；

使前者除以后者，获得语义信息提取比。

同时，根据任务结果和与其对应的评估结果更新该移动端的评分包括：

判断语义信息提取比是否远低于预先设定的阈值，是则为短视频的基础评分乘以一个衰减因子；

判断语义信息提取比是否远高于预先设定的阈值，是则为短视频提供额外的奖励评分；

根据短视频的基础评分、衰减因子、奖励评分获得该短视频的评分，并累加到对应移动端的评分中。

另外，根据任务结果更新室内语义地图包括：

对任务结果进行预处理；

从预处理后的任务结果中提取精确文本信息；

根据精确文本信息更新室内语义地图。

并且，在根据任务结果更新室内语义地图后还包括以下步骤：

根据室内语义地图定位具有尚未被捕获的语义信息的位置；

向评分较高的移动端发布特定的众包任务，使其在被定位具有尚未被捕获的语义信息的位置采集短视频；

对完成该众包任务的移动端提供额外的奖励评分。

根据本发明的另一个实施例，提供了一种基于用户反馈的室内语义地图更新系统，运用了上述的任一种室内语义地图更新方法。

下面根据具体实施例进一步阐述本发明的技术方案。

室内语义地图系统的结构如图2所示。为了采集语义丰富的短的视频，服务器首先分发两个众包任务，用户通过执行众包任务来捕获室内空间的视频，通过WiFi网络上传至服务器做进一步处理。

大部分的系统处理视频的计算负载都放在服务器上。服务器端处理部分包括视频预处理、精确地文本提取和更新。不同用户、不同设备、不同使用姿态、不同摄像机的位置以及不同视角所捕获的语义丰富的短视频，显然具有明显的差异；另一方面，摄像机的运动轨迹也是不确定的。在这两个因素的影响下，服务器处理视频非常困难。因此，语义丰富的短的视频首先被加载到服务器的视频预处理模块，视频预处理模块从语义丰富的短的视频中提取出公共关键帧序列，文本提取模块从公共关键帧序列中提取出精确文本序列。在本发明实施例中，精确文本提取过程被建模为马尔科夫随机场过程。获得精确文本序列之后，服务器利用三个能项(房间轮廓、未变化的文本和未变化的邻居文本)在室内语义地图上来定位文本序列，从而得到变化的语义信息的位置，并更新变化的文本语义。更新后的室内语义地图可以用于服务基于室内位置服务的系统。

众包模式能够低成本地允许大量移动设备的接入并获取感知数据。然而，由于众包模式下的用户是普通大众用户而非经过训练的专业数据采集用户，大多数众包数据质量低且缺少语义信息。由于大量的低水平众包数据都是无效的，移动端会产生大量的不必要的能源消耗以及网络带宽的浪费。有鉴于此，本发明实施例设计了成熟的众包任务来引导普通大众用户去捕获高质量且语义信息丰富的视频。具体地本发明实施例设计了两个众包任务，包括地理位置获取任务和语义丰富的短视频采集。

任务1：地理位置信息获取。本发明实施例使用用户设备的最后可利用的GPS位置作来定位用户所处的建筑物。如果用户所处的建筑物的位置定位错误，那么要求用户通过搜索建筑物来修正其位置。然后，用户被要求输入其所处的楼层。

任务2：语义丰富的短视频采集。语义丰富的短视频提供了室内对象的丰富的语义信息，而且易被用户记录以及共享。本发明实施例要求用户使用移动设备内置的后端摄像头对准室内场景的文本信息来捕获室内场景的视频。捕获视频的过程中，手平稳的持住手机且平稳的运动；同时，尽量去捕获短视频以降低设备资源消耗。我们考虑两种捕获视频的状态如下：

状态1：静止状态。在室内空间，对于大多数用户而言，80％的时间都是静止的。本发明实施例只需要视频，不需要其他的数据源，如移动轨迹等。实践证明，用户在静止状态下所捕获的视频的质量要比其在运动状态下时高。因此，用户可以充分利用静止时的优点来捕获以及共享视频数据。另外，在静止状态时用户通过旋转身体或者移动摄像头来捕获室内场景的视频。

状态2：运动状态。用户记录视频从室内位置A手持移动设备运动到室内位置B。

这两个众包任务都由服务器发放，服务器也会收到大量的语义丰富的短视频。然而，参与众包任务的用户会消耗自己的资源，还可能有隐私泄露风险，这可能导致用户拒绝参与众包任务。为了解决这个问题，本发明实施例设计了奖励机制来鼓励用户执行众包任务。

尽管用户通过激励机制被吸引来执行设定好的众包任务，但由于欺骗用户的存在，服务器采集到的视频可能不是按照要求采集到的、语义丰富的短视频(欺骗用户是指不执行众包任务而试图获得奖励的人)，而且欺骗用户共享的视频很可能也是无效的。本发明实施例设计了众包任务反馈机制来阻止欺骗用户。一旦服务器接收到了用户上传的视频，会生成数据质量评估矩阵。数据质量评估矩阵包括从视频中的每一帧图像提取的特征点数量和语义信息提取比ρ_T，其中，每一帧图像的特征点的数量由SURF(Speed Up RobustFeatures)算法计算，语义信息提取比通过用户上传的视频提取出来的语义信息的数量与同等室内场景下其他用户上传的视频提取出来的语义信息的平均数量之比来计算。

如果特征点的数量低于预先设定的阈值h_g，这表明用户所捕获的这帧图像是特征少的室内场景，如墙壁、地板、天花板等。该视频会被视作无效视频，并且用户会被告知在接下来的视频采集过程中尽量避免采集这些特征较少的室内场景。如果特征点的数量高于预先设定的阈值h_g，则继续判断语义信息提取比ρ_T是否符合要求。如果ρ_T值远低于预先定义的阈值(例如1)，则认定该用户是欺骗用户，在激励机制下该用户所获得的奖励积分就会乘以一个衰减因子(如0.1)；如果ρ_T值与阈值很接近，则认定该用户是合格的众包任务执行者，给与正常的奖励积分；如果ρ_T值远高于阈值，则认定该用户是出色的众包任务执行者，给与正常的奖励积分与额外的奖励。这个奖励积分策略能鼓励用户成为出色的众包任务执行者。

另外，尽管用户执行了众包任务，上传的语义丰富的短视频可能被没有覆盖室内空间的每一个角落。也就是说，室内空间的某些文本语义信息一直没有被用户捕获到。因为，为了更新整个室内空间的语义信息，本发明实施例鼓励用户去贡献这些没有被采集到的语义信息。而这些用户也会获得额外的奖励积分。

综上所述，借助于本发明的上述技术方案，通过使用发布众包任务接收任务结果并进行质量评估获得评估结果来更新评分的技术手段，能够鼓励移动端执行众包任务，并以较低的成本更新室内语义地图与文本语义信息。

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于用户反馈的室内语义地图更新方法，其特征在于，包括：

向所有移动端发布众包任务；

等待任意移动端执行众包任务，并接收其任务结果；

对所述任务结果进行质量评估，获得与其对应的评估结果；

根据所述任务结果和与其对应的评估结果更新该移动端的评分；

根据所述任务结果更新室内语义地图。

2.根据权利要求1所述的方法，其特征在于，所述众包任务包括位置获取任务与短视频采集任务，其中，所述位置获取任务为根据GPS定位获取移动端所在的地理位置，所述短视频采集任务为拍摄包含丰富语义的室内对象。

3.根据权利要求2所述的方法，其特征在于，执行所述位置获取任务包括：

根据最后可用的GPS位置定位移动端所在的建筑物范围；

用户手动确定所述建筑物范围内，移动端所处的具体建筑物；

用户手动确定所处的楼层。

4.根据权利要求2所述的方法，其特征在于，执行所述短视频采集任务包括：

确定一个固定位置，并在所述固定位置旋转拍摄包含丰富语义的室内对象，生成短视频；

确定两个固定位置，在从一个固定位置移动到另一个固定位置的同时拍摄包含丰富语义的室内对象，生成短视频。

5.根据权利要求4所述的方法，其特征在于，对所述任务结果进行质量评估，为对短视频进行质量评估，包括：

根据所述短视频生成数据质量评估矩阵；

根据所述数据质量评估矩阵中获得所述短视频每帧图像中的特征点数量与所述短视频的语义信息提取比；

判断所述特征点数量是否低于预先设定的阈值，是则放弃该短视频并提示移动端避免采集特征点较少的室内对象。

6.根据权利要求5所述的方法，其特征在于，获得所述短视频的语义信息提取比包括：

获取该短视频中可提取语义信息的数量；

获取同等位置中其他移动端的短视频中可提取语义信息的数量的平均值；

使前者除以后者，获得语义信息提取比。

7.根据权利要求5所述的方法，其特征在于，根据所述任务结果和与其对应的评估结果更新该移动端的评分包括：

判断所述语义信息提取比是否远低于预先设定的阈值，是则为所述短视频的基础评分乘以一个衰减因子；

判断所述语义信息提取比是否远高于预先设定的阈值，是则为所述短视频提供额外的奖励评分；

根据所述短视频的基础评分、衰减因子、奖励评分获得该短视频的评分，并累加到对应移动端的评分中。

8.根据权利要求1所述的方法，其特征在于，根据所述任务结果更新室内语义地图包括：

对所述任务结果进行预处理；

从预处理后的任务结果中提取精确文本信息；

根据所述精确文本信息更新室内语义地图。

9.根据权利要求8所述的方法，其特征在于，在根据所述任务结果更新室内语义地图后还包括以下步骤：

根据室内语义地图定位具有尚未被捕获的语义信息的位置；

向评分较高的移动端发布特定的众包任务，使其在被定位具有尚未被捕获的语义信息的位置采集短视频；

对完成该众包任务的移动端提供额外的奖励评分。

10.一种基于用户反馈的室内语义地图更新系统，其特征在于，运用了如权利要求1-9中任意一项所述的室内语义地图更新方法。