CN111858996B - 室内定位方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种室内定位方法、装置、电子设备及存储介质，涉及定位技术领域和深度学习技术领域。具体实现方案为：提取终端在室内采集的指定图像中的各结构线的描述符；基于指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从室内图像数据库中获取与指定图像的各结构线的描述符最接近的目标结构线描述符；基于预先建立的室内三维结构线地图和指定图像的各结构线的描述符对应的各目标结构线描述符，获取终端的位姿信息。本申请可以基于终端在室内采集到的指定图像中的结构线，实现对终端进行定位，而不受图像中的广告牌等纹理信息以及光照、外观变化带来的影响，具有更高的鲁棒性，能够有效地提高室内定位的稳定性和准确性。

Description

室内定位方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术和深度学习技术领域，尤其涉及定位技术领域，具体涉及一种室内定位方法、装置、电子设备及存储介质。

背景技术

在室内导航定位中，目前通用的技术方案是首先使用图像检索(imageretrieval)技术进行图像检索，获取与相机拍摄的图像相匹配的子地图。然后在检索到的子地图中进行特征点的匹配，最后使用最优化的方法获得最终相机的位置信息。例如，在进行特征点的匹配时，可以先通过运动构建(structure from motion；sfm)或者定位与地图构建(Simultaneous Localization and Mapping；slam)技术建立离线点云地图，每个3d点都携带了坐标信息以及红绿蓝(red-green-blue；rgb)特征信息。在进行定位的时候通过图像检索技术得到粗略的局部地图，然后在子地图上进行2d到3d的特征点匹配，最后使用Perspective-n-Point(简称PnP)计算相机的位姿信息，完成定位。

但是，由于室内复杂的环境例如光照、动态物体等，导致上述技术方案不能很好的工作。尤其是在商场这样的场景下，基于上述特征的方式在商场中定位在很大程度上依赖于广告牌等纹理丰富的图像，但是广告牌等图像不是一成不变的，更新频率很高，导致现有技术的室内定位的稳定性非常差。

发明内容

为了解决上述技术问题，本申请提供了一种室内定位方法、装置、电子设备及存储介质。

根据本申请的一方面，提供了一种室内定位方法，其中，所述方法包括：

提取终端在室内采集的指定图像中的各结构线的描述符；

基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符；

基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息。

根据本申请的另一方面，提供了一种室内定位装置，其中，所述装置包括：

提取模块，用于提取终端在室内采集的指定图像中的各结构线的描述符；

获取模块，用于基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符；

定位模块，用于基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息。

根据本申请的再一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本申请的再另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

根据本申请的技术，可以基于终端在室内采集到的指定图像中的结构线，实现对终端进行定位，而不受图像中的广告牌等纹理信息以及光照、外观变化带来的影响，具有更高的鲁棒性，能够有效地提高室内定位的稳定性和准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的示意图；

图2是根据本申请第二实施例的示意图；

图3A和图3B为本申请提供的两张图像示意图；

图4为本申请提取的一张图像中所有相交的结构线构成的关系图；

图5为图4所示的关系图中的一条随机游走路线；

图6是根据本申请第三实施例的示意图；

图7是根据本申请第四实施例的示意图；

图8是用来实现本申请实施例的室内定位方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本申请第一实施例的示意图；如图1所示，本实施例提供一种室内定位方法，具体可以包括如下步骤：

S101、提取终端在室内采集的指定图像中的各结构线的描述符；

S102、基于指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从室内图像数据库中获取与指定图像的各结构线的描述符最接近的目标结构线描述符；

S103、基于预先建立的室内三维结构线地图和指定图像的各结构线的描述符对应的各目标结构线描述符，获取终端的位姿信息。

本实施例的室内定位方法的执行主体为室内定位装置，该室内定位装置可以为一实体的电子设备，或者也可以为采用软件集成的应用，使用时，将应用运行在手机或者电脑等计算机设备上，能够基于终端在室内采集的指定图像，实现对终端的定位。

本实施例的终端可以为手机、相机等具有拍摄功能的电子设备。例如，用户进入某个大型室内场景中时，由于室内环境复杂，用户想要确定当前所在的位置，可以采用终端采集一张图像，作为指定图像。然后可以将采集到的该指定图像发送给本实施例的室内定位装置，由室内定位装置基于该指定图像实现对该终端进行室内定位。

本实施例的室内定位装置，首先提取终端在室内采集的指定图像中的各结构线的描述符；本实施例的结构线为室内的建筑结构中的线条，例如可以为指定图像中采集到的室内建筑中的门、窗、楼梯、墙壁的边、以及室内建筑中的其他建筑硬件的线条等等，这些线条通常为室内建筑的硬件结构的线条如wireframe，所以称为结构线。在室内建筑的硬件结构不做变化的时候，室内建筑的结构线便不会发生变化。与室内建筑中的软包的广告牌、装饰物相比，室内建筑中的结构线相对固定，在不对建筑结构做改造的情况下，并不会随着装饰颜色，材质等的变化而变化。

本实施例中的结构线的描述符，作为该结构线的唯一特征，用于唯一标识对应的结构线。例如，可以采用该结构线与室内建筑中周围结构线的关系，作为该结构线的描述符，来描述该结构线。或者还可以参考其他参照物，来描述该结构线，在此不再举例赘述。

本实施例中，由于终端拍摄的角度不做限制，终端在室内采集到的指定图像可能包括一条结构线、也可能包括两条或者多条结构线。本实施例的室内定位装置需要提取该指定图像中的每一条结构线的描述符。然后室内定位装置可以基于指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从室内图像数据库中获取与指定图像的每条结构线的描述符最接近的目标结构线描述符。由于每条目标结构线描述符对应的目标结构线是已知的，各目标结构线在室内三维结构线地图中的位姿信息都是确定的，所以，基于预先建立的室内三维结构线地图和获取到的各目标结构线描述符，可以根据指定图像中对应的多个目标结构线在三维空间中的位姿信息，计算拍摄该指定图像的终端在三维空间中的位姿信息，从而实现对终端进行室内定位。本实施例的位姿信息可以包括位置信息、和姿态信息即旋转信息，该位姿信息为6自由度的信息。

本实施例的室内定位方法，通过提取终端在室内采集的指定图像中的各结构线的描述符；基于指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从室内图像数据库中获取与指定图像的各结构线的描述符最接近的目标结构线描述符；基于预先建立的室内三维结构线地图和指定图像的各结构线的描述符对应的各目标结构线描述符，获取终端的位姿信息。与现有技术相比，可以基于终端在室内采集到的指定图像中的结构线，实现对终端进行定位，而不受图像中的广告牌等纹理信息以及光照、外观变化带来的影响，具有更高的鲁棒性，能够有效地提高室内定位的稳定性和准确性。

图2是根据本申请第二实施例的示意图；如图2所示，本实施例的室内定位方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地描述本申请的技术方案。如图2所示，本实施例的室内定位方法，具体可以包括如下步骤：

S201、提取指定图像中的各结构线；

例如，本实施例中，可以使用开源的直线(Line)提取算法来指定图像中提取2d的各个结构线。

S202、基于各结构线与相邻结构线之间的关系，生成各结构线的描述符；

为了避免指定图像中的纹理对定位结果的干扰，本实施例中，对于每个结构线，可以基于该结构线与相邻结构线之间的关系，来生成对应结构线的描述符。具体地，考虑到2d空间的相交线，在3d空间很大可能是紧邻。因此可以采用各结构线与相邻结构线之间的关系，即各结构线的邻域信息，来生成各结构线的描述符。

例如，图3A和图3B为本申请提供的两张图像示意图，如图3A所示，图中示出1、2、3号结构线(line)，并可以发现1号和2号line相交90度，2号和3号line相交90度。那么如果图3B中同样存在90度->90度的line之间的逻辑关系，那么很大程度上能够找到匹配的结构线。基于该思想，本申请提出基于随机游走的方式，获取邻域结构线的信息，生成结构线描述符。

例如，对于各结构线，具体随机游走时，可以以当前的结构线作为随机游走的起点，向相邻的其他结构线进行随机游走，共进行m次随机游走，各次随机游走的步长为n步，获取各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角；基于各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角，生成的对应的结构线的描述符为m*n的表达；即，各次随机游走中的各步随机游走对应的结构线的描述符的值为游走后的结构线与游走前的结构线在二维空间的夹角。其中，m和n可以根据实际需求来设置。

例如，图4为本申请提取的一张图像中所有相交的结构线构成的关系图(graph)，每个节点可以采用结构线(line)的id来标识，边可以为相邻两个结构线之间的夹角。上述的随机游走，可以基于指定图像的图4所示的关系图进行。对于每个结构线，设置随机游走次数m，设定每次随机游走的步长n，便可以得到该结构线的描述符m*n，即一个m行n列的矩阵。例如，图5为图4所示的关系图中的一条随机游走路线。如图5所示，根据箭头所示的随机游走路线，该条路线构造了一个(75,20,10)的1*3的向量。通过m次的随机游走以及每次随机游走的步长n，可以学习到当前结构线周围的所有邻域信息，以此来描述该结构线，即生成该结构线的描述符，可以采用一个m行n列的矩阵来表示。

通过上述方式构造的结构线的描述符，作为图像中的关键信息，不受外界纹理的干扰，不受光照以及外观变化的干扰，是一个十分鲁棒的描述符，且该结构线的描述符中还压入了邻域结构线的信息，使得定位时匹配更加鲁棒，准确性更高。而且，本实施例构成的各结构线的描述符，不仅有效的反应了每个结构线的信息，同时还将不同结构线之间的约束信息融合进描述符中，对于长时定位服务有着不可忽略的作用。

该步骤S201-S202为上述图1所示实施例的步骤S101的一种具体实现方式。

S203、根据指定图像中的各结构线的描述符和室内图像数据库包括的各图像的结构线的描述符，通过计算交并比的方式计算指定图像与室内图像数据库中各图像的相似度；

S204、基于指定图像与室内图像数据库中各图像的相似度，获取室内图像数据库中与指定图像的相似度最大的N个候选图像的结构线描述符；

S205、从N个候选图像的结构线描述符中，获取与指定图像的各结构线的描述符最接近的目标结构线描述符；

按照上述步骤的方式，可以得到指定图像中每条结构线的描述符。另外，本实施例中，还需要预先采集室内图像数据库，该室内图像数据库中可以包括该建筑物室内的各个位置、各个角度的多张图像。且按照上述图像中的各结构线的描述方式，预先提取并存储了每张图像中的各个结构线的描述符。

步骤S203-S205的检索过程，采用图像检索(image retrieve)技术，首先。基于结构线的描述符，从室内图像数据库中获取与指定图像相似度最大的N个候选图像。然后再精确到结构线的层面，从N个候选图像的结构线描述符中，获取与指定图像的各结构线的描述符最接近的目标结构线描述符。

从室内图像数据库中获取与指定图像相似度最大的N个候选图像的过程中，通过计算交并比的方式计算指定图像与室内图像数据库中各图像的相似度。例如指定图像中包括k1条结构线，每条结构线的描述符为m*n，而室内图像数据库的某张图像中包括k2条结构线，每条结构线的描述符为m*n，将两张图像中的各结构线的描述符进行一一对比，获取能够匹配上的结构线的描述符的数量w，则这两张图像的交并比可以表示为w/(k1+k2)，作为这两张图像的相似度。按照上述方式，可以得到指定图像与室内图像数据库中的每张图像的相似度。然后选择相似度最大的N个候选图像作为初步检索得到的子图。然后在子图中进行第二级更加精细的检索。同理，在第二级检索中，仍然是基于结构线的描述符来实现，在N个候选图像的各结构线中找到指定图像中各结构线最接近度的目标结构线。具体地，对于指定图像中的每个结构线的描述符m*n，将其与N个候选图像中的每个结构线描述符m*n进行比对，获取行数相同的数量。然后从N个候选图像的所有结构线描述符中获取行数相同的数量最多的结构线描述符对应的结构线，作为与指定图像中当前的结构线最接近的目标结构线，并可以获取到目标结构线的描述符。按照上述方式，可以从N个候选图像的结构线描述符中获取到指定图像中的每一条结构线对应的目标结构线描述符。

该步骤S203-S205为上述图1所示实施例的步骤S102的一种具体实现方式。采用该方式，能够基于结构线的粒度，准确地获取到指定图像中每个结构线最接近的目标结构线，能够有效地保证获取到的目标结构线的准确性。

S206、根据指定图像的各结构线的描述符对应的各目标结构线描述符，从室内三维结构线地图中获取各目标结构线的位姿信息；

S207、根据室内三维结构线地图中各目标结构线的位姿信息，计算终端的位姿信息；

获取到指定图像中的各结构线最接近的目标结构线之后，可以采用对应的目标结构线来代替指定图像中的结构线，实现对终端的室内定位。另外，由于目标结构线描述符是室内图像数据库中已知的信息，且在室内三维结构线地图中标识有每个结构线的描述符和位姿信息，因此，根据各目标结构线的描述符，可以从室内三维结构线地图中获取各目标结构线的位姿信息，实现2d到3d的匹配；进而可以基于各目标结构线的位姿信息，计算出拍摄指定图像的终端的位姿信息，实现终端的室内定位，采用该方式，能够有效地保证室内定位的准确性。例如本实施例中可以采用ransac+pn1，实现比较精准地室内定位结果。

该步骤S206-S207为上述图1所示实施例的步骤S103的一种具体实现方式。

S208、根据终端的位姿信息和室内地图，获取终端在室内的位置信息。

本实施例的室内地图与室内三维结构线地图不同，室内三维结构线地图为基于结构线的三维地图，该室内三维结构线地图中主要标识每条结构线的描述符，以及每条结构线的位姿信息，且在室内三维结构线地图中还明确标识了两条相邻结构线的位置关系。而室内地图指的是建筑物的室内位置信息如可以表示室内各兴趣点(Point Of Interest；POI)的位置信息等等。在室内地图中，根据获取的终端的位姿信息，可以推出该终端当前的位置，以便于告知用户当前在室内地图中所处的位置，在用户需要去往某个POI时，还可以给用户提供导航。

需要说明的是，在上述实施例的步骤S203之前，还可以包括：建立室内图像数据库和建立室内三维结构线地图。

例如，建立室内图像数据库，具体可以包括如下步骤：

(1)采集室内地图中各个位置的图像；

例如，还可以包括各个位置多个角度的图像。

(2)提取各图像中的各结构线的描述符；

对于每张图像，提取其包括的所有结构线的描述符，参考上述步骤S201和S202的具体实现方式，在此不再赘述。

(3)存储各图像、各图像中的各结构线的描述符及其对应关系。

通过该方式构建的室内图像数据库中可以准确记录有每张图像，以及每张图像中的各结构线的描述符，便于后续基于构建的室内图像数据库对终端进行准确地室内定位。

进一步地，在步骤(3)之后，还可以包括如下步骤，实现建立室内三维结构线地图：

(4)将各图像中的各对相邻的两个结构线，使用三角化构造各结构线在三维空间的位姿信息；

(5)基于各图像中的各结构线在三维空间的位姿信息，构建室内三维结构线地图。

将各图像中的各对相邻的两个结构线，使用三角化构造各结构线在三维空间的位姿信息，主要用于实现2d到3d的准确映射，将所有结构线都映射到室内三维结构线地图中，便可以得到每条结构线在3d空间的位姿信息，从而构建得到该室内三维结构线地图。通过该构建方式，也能够保证2d到3d的准确映射，能够有效地保证构建的室内三维结构线地图的准确性。

本实施例的技术方案可以应用于增强现实(Augmented Reality；AR)、或者虚拟现实技术(Virtual Reality；VR)等领域中，基于用户采集到的任一指定图像，可以实现对使用AR或者VR的终端设备进行室内定位，使用非常方便。

本实施例的室内定位方法，通过采用上述技术方案，不仅能够准确提取指定图像中各结构线的描述符，还能够基于指定图像中各结构线的描述符、以及室内图像数据库包括的各图像的结构线的描述符，准确地获取与指定图像的相似度最大的N个候选图像，并进一步从N个候选图像的结构线描述符中，准确地获取与指定图像的各结构线的描述符最接近的目标结构线描述符的结构线；最后基于各目标结构线描述符，在室内三维结构线地图中对终端进行准确定位，整个室内定位过程不依赖于任何光照、颜色、纹理的干扰，具有非常强的鲁棒性，能够有效地提高室内定位的稳定性和准确性。

图6是根据本申请第三实施例的示意图；如图6所示，本实施例的室内定位装置600，包括：

提取模块601，用于提取终端在室内采集的指定图像中的各结构线的描述符；

获取模块602，用于基于指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从室内图像数据库中获取与指定图像的各结构线的描述符最接近的目标结构线描述符；

定位模块603，用于基于预先建立的室内三维结构线地图和指定图像的各结构线的描述符对应的各目标结构线描述符，获取终端的位姿信息。

本实施例的室内定位装置600，通过采用上述模块实现室内定位的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图7是根据本申请第四实施例的示意图；如图7所示，本实施例的室内定位装置600，在上述图6所示实施例的技术方案的基础上，进一步更加详细地描述本申请的技术方案。

如图7所示，本实施例的室内定位装置600中，提取模块601，包括：

提取单元6011，用于提取指定图像中的各结构线；

生成单元6012，用于基于各结构线与相邻结构线之间的关系，生成各结构线的描述符。

进一步可选地，生成单元6012，用于：

对于各结构线，以当前的结构线作为随机游走的起点，向相邻的其他结构线进行随机游走，共进行m次随机游走，各次随机游走的步长为n步，获取各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角；

基于各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角，生成的对应的结构线的描述符，该结构线的描述符为m*n的表达。

进一步可选地，如图7所示，本实施例的室内定位装置600中，获取模块602，包括：

相似度计算单元6021，用于根据指定图像中的各结构线的描述符和室内图像数据库包括的各图像的结构线的描述符，通过计算交并比的方式计算指定图像与室内图像数据库中各图像的相似度；

候选获取单元6022，用于基于指定图像与室内图像数据库中各图像的相似度，获取室内图像数据库中与指定图像的相似度最大的N个候选图像的结构线描述符；

目标获取单元6023，用于从N个候选图像的结构线描述符中，获取与指定图像的各结构线的描述符最接近的目标结构线描述符。

进一步可选地，如图7所示，本实施例的室内定位装置600中，定位模块603，包括：

位姿获取单元6031，用于根据指定图像的各结构线的描述符对应的各目标结构线描述符，从室内三维结构线地图中获取各目标结构线的位姿信息；

计算单元6032，用于根据室内三维结构线地图中各目标结构线的位姿信息，计算终端的位姿信息。

进一步可选地，如图7所示，本实施例的室内定位装置600中，还包括：

位置获取模块604，用于根据终端的位姿信息和室内地图，获取终端在室内的位置信息。

进一步可选地，如图7所示，本实施例的室内定位装置600中，还包括：

数据库建立模块605，用于建立室内图像数据库；

进一步地，数据库建立模块605，用于：

采集室内地图中各个位置的图像；

提取各图像中的各结构线的描述符；

存储各图像、各图像中的各结构线的描述符及其对应关系。

进一步可选地，如图7所示，本实施例的室内定位装置600中，还包括：

地图建立模块606，英语建立室内三维结构线地图；

进一步地，地图建立模块606，用于：

将各图像中的各对相邻的两个结构线，使用三角化构造各结构线在三维空间的位姿信息；

基于各图像中的各结构线在三维空间的位姿信息，构建室内三维结构线地图。

本实施例的室内定位装置600，通过采用上述模块实现室内定位的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图8所示，是本申请实施例的实现室内定位方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的室内定位方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的室内定位方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的室内定位方法对应的程序指令/模块(例如，附图6和附图7所示的相关模块)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的室内定位方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现室内定位方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至实现室内定位方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现室内定位方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与实现室内定位方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

根据本申请实施例的技术方案，通过提取终端在室内采集的指定图像中的各结构线的描述符；基于指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从室内图像数据库中获取与指定图像的各结构线的描述符最接近的目标结构线描述符；基于预先建立的室内三维结构线地图和指定图像的各结构线的描述符对应的各目标结构线描述符，获取终端的位姿信息。与现有技术相比，可以基于终端在室内采集到的指定图像中的结构线，实现对终端进行定位，而不受图像中的广告牌等纹理信息以及光照、外观变化带来的影响，具有更高的鲁棒性，能够有效地提高室内定位的稳定性和准确性。

根据本申请实施例的技术方案，不仅能够准确提取指定图像中各结构线的描述符，还能够基于指定图像中各结构线的描述符、以及室内图像数据库包括的各图像的结构线的描述符，准确地获取与指定图像的相似度最大的N个候选图像，并进一步从N个候选图像的结构线描述符中，准确地获取与指定图像的各结构线的描述符最接近的目标结构线描述符的结构线；最后基于各目标结构线描述符，在室内三维结构线地图中对终端进行准确定位，整个室内定位过程不依赖于任何光照、颜色、纹理的干扰，具有非常强的鲁棒性，能够有效地提高室内定位的稳定性和准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种室内定位方法，其中，所述方法包括：

提取终端在室内采集的指定图像中的各结构线的描述符；

基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符；

基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息；

其中，所述提取终端在室内采集的指定图像中的各结构线的描述符，包括：

提取所述指定图像中的各结构线；

基于各所述结构线与相邻结构线之间的关系，生成各所述结构线的描述符；

其中，所述基于各所述结构线与相邻结构线之间的关系，生成各所述结构线的描述符，包括：

对于各所述结构线，以当前的所述结构线作为随机游走的起点，向相邻的其他结构线进行随机游走，共进行m次随机游走，各次随机游走的步长为n步，获取各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角；

基于各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角，生成的对应的所述结构线的描述符，所述结构线的描述符为m*n的表达。

2.根据权利要求1所述的方法，其中，基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符，包括：

根据所述指定图像中的各结构线的描述符和所述室内图像数据库包括的各图像的结构线的描述符，通过计算交并比的方式计算所述指定图像与所述室内图像数据库中各图像的相似度；

基于所述指定图像与所述室内图像数据库中各图像的相似度，获取所述室内图像数据库中与所述指定图像的相似度最大的N个候选图像的结构线描述符；

从所述N个候选图像的结构线描述符中，获取与所述指定图像的各结构线的描述符最接近的所述目标结构线描述符。

3.根据权利要求1所述的方法，其中，所述基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息，包括：

根据所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，从所述室内三维结构线地图中获取各所述目标结构线的位姿信息；

根据所述室内三维结构线地图中各所述目标结构线的位姿信息，计算所述终端的位姿信息。

4.根据权利要求1-3任一所述的方法，其中，基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息之后，所述方法还包括：

根据所述终端的位姿信息和室内地图，获取所述终端在室内的位置信息。

5.根据权利要求1-3任一所述的方法，其中，基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符之前，所述方法还包括：

采集室内地图中各个位置的图像；

提取各所述图像中的各结构线的描述符；

存储各所述图像、各所述图像中的各结构线的描述符及其对应关系，以建立所述室内图像数据库。

6.根据权利要求5所述的方法，其中，提取各所述图像中的各结构线的描述符之后，基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息之前，所述方法还包括：

将各所述图像中的各对相邻的两个所述结构线，使用三角化构造各所述结构线在三维空间的位姿信息；

基于各所述图像中的各所述结构线在三维空间的位姿信息，构建所述室内三维结构线地图。

7.一种室内定位装置，其中，所述装置包括：

提取模块，用于提取终端在室内采集的指定图像中的各结构线的描述符；

获取模块，用于基于所述指定图像中的各结构线的描述符和预先建立的室内图像数据库包括的各图像的结构线的描述符，从所述室内图像数据库中获取与所述指定图像的各结构线的描述符最接近的目标结构线描述符；

定位模块，用于基于预先建立的室内三维结构线地图和所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，获取所述终端的位姿信息；

其中，所述提取模块，包括：

提取单元，用于提取所述指定图像中的各结构线；

生成单元，用于基于各所述结构线与相邻结构线之间的关系，生成各所述结构线的描述符；

其中，所述生成单元，用于：

对于各所述结构线，以当前的所述结构线作为随机游走的起点，向相邻的其他结构线进行随机游走，共进行m次随机游走，各次随机游走的步长为n步，获取各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角；

基于各次随机游走中的各步随机游走后的结构线与游走前的结构线在二维空间的夹角，生成的对应的所述结构线的描述符，所述结构线的描述符为m*n的表达。

8.根据权利要求7所述的装置，其中，所述获取模块，包括：

相似度计算单元，用于根据所述指定图像中的各结构线的描述符和所述室内图像数据库包括的各图像的结构线的描述符，通过计算交并比的方式计算所述指定图像与所述室内图像数据库中各图像的相似度；

候选获取单元，用于基于所述指定图像与所述室内图像数据库中各图像的相似度，获取所述室内图像数据库中与所述指定图像的相似度最大的N个候选图像的结构线描述符；

目标获取单元，用于从所述N个候选图像的结构线描述符中，获取与所述指定图像的各结构线的描述符最接近的所述目标结构线描述符。

9.根据权利要求7所述的装置，其中，所述定位模块，包括：

位姿获取单元，用于根据所述指定图像的各结构线的描述符对应的各所述目标结构线描述符，从所述室内三维结构线地图中获取各所述目标结构线的位姿信息；

计算单元，用于根据所述室内三维结构线地图中各所述目标结构线的位姿信息，计算所述终端的位姿信息。

10.根据权利要求7-9任一所述的装置，其中，所述装置还包括：

位置获取模块，用于根据所述终端的位姿信息和室内地图，获取所述终端在室内的位置信息。

11.根据权利要求7-9任一所述的装置，其中，所述装置还包括：

数据库建立模块，用于：

采集室内地图中各个位置的图像；

提取各所述图像中的各结构线的描述符；

存储各所述图像、各所述图像中的各结构线的描述符及其对应关系。

12.根据权利要求11所述的装置，其中，所述装置还包括：

地图建立模块，用于：

将各所述图像中的各对相邻的两个所述结构线，使用三角化构造各所述结构线在三维空间的位姿信息；

基于各所述图像中的各所述结构线在三维空间的位姿信息，构建所述室内三维结构线地图。

13.一种电子设备，其中，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

Images