CN113240816B

CN113240816B - 基于ar和语义模型的城市精确导航方法及其装置

Info

Publication number: CN113240816B
Application number: CN202110333079.XA
Authority: CN
Inventors: 刘俊伟
Original assignee: Terra It Technology Beijing Co ltd
Current assignee: Terry Digital Technology Beijing Co ltd
Priority date: 2021-03-29
Filing date: 2021-03-29
Publication date: 2022-01-25
Anticipated expiration: 2041-03-29
Also published as: CN113240816A

Abstract

本发明提供了一种基于AR的城市精确半自助导航方法，其特征在于，包括如下步骤：S1：建立室外三维模型坐标系和室外非建筑地理区块标引库;S2:建立室内三维模型坐标系和室内建筑标引库；S3：建立AR装置坐标系F，将目标地点标引输入AR装置；S4：根据当前AR装置在所述室外或室内三维模型坐标系中的位置和所述目标地点标引，得到所述位置和目标地点之间需要经过的多个中间地点，并将所述多个中间地点中的至少一个的对应的标引和/或所述目标地点标引投放在AR装置的投放屏幕中显示；S5按照投放显示的标引方向行走，直到最接近目标地点的中间地点而完成所述半自助导航。该方法解决了用户过于依赖现有导航技术,而产生可能的带偏、有点绕、转移视线、低头、以及优选高速的问题，又通过直线段分段两侧道路搜寻技术，保证了路线标引方向不会偏离最短直线路线太远。

Description

基于AR和语义模型的城市精确导航方法及其装置

技术领域

本发明涉及一种基于现实增强的城市导航方法,尤其涉及一种城市精确半自助导航方法,属于视觉导航领域。

背景技术

现有一般导航技术通过机动车、移动终端等作为功能载体，利用地图而生成规划路径从而显示在功能载体上，或以3D模拟当前场景而将导引路线进行显示并配合语音。然而现实情况是，一方面，由于城市路线的复杂性，规划路径往往是多种可能路径中选择的最优路径，需要大量计算。在发展中城市里，道路的变更，地点施工的相对频繁，可能会引起路径的更新问题，若路径更新不及时，往往将用户带入不能走通的方向，引起不良体验。

另一方面，尽管导航路径实时显示提醒，但需要不时转移视线到功能载体上查看路径，或跟随语音提醒行走，这样会造成注意力的不集中造成交通事故可能，以及依赖于距离目的地的抽象距离提醒，不能及时从视觉呈现在真实目视场景下，因而用户还是不能以具像形式感受到到目标实时的位置方向，从而缓解心理急迫的归宿需求。并且当行走速度较快时，导航系统的实时提醒功能可能滞后，或用户由于某种原因注意力不在导航提醒上时，会造成偏离规划路径而需要重新计算导航路线，同样引起不良的体验。

第三个方面，长时间的依赖导航并不能形成人在城市中的路线记忆，从而导致人机械地跟随机器行走。众多导航的实践证明：导航规划的路线可能不是熟悉城市路线人心中出于某种目的、喜好或习惯的最优选择。“有点绕”甚至“优选高速路”往往是熟悉城市人对现有技术下导航的评价。其根本原因就在于一味求最近、最速导航路线指导下的机械的数学计算，并没有让用户一同参与到路线的实时灵活选择中，从而造成如下局面：一方面难得来城市一次的用户（尤其是旅行者）需要导航时可能引起上述的不良体验问题，另一方面也不能满足打算定期或长期融入城市的用户对城市的熟悉感培养的需求。同时，按照传统的问路体验，指引者或路人往往只是手指方位，最多告知大致如何走，不会提供全程的规划路径，这给了传统的行走人自己体会寻找路线的体验。而对于严重依赖手机生活的低头一族来说导航已经丢了传统的问路指引的体验，从而少了路径探索的趣味，也不能解决低头引起的健康问题。

现实增强技术（AR）具有天然的实景视觉呈现的优势，虽然能够从目视场景下投放提示信息，解决了转移视线的技术问题，让用户以传统的方式抬头寻路。但是由于第一，其技术关键在于定位，以便将导引标记投放到AR设备上；第二，基于云点图像分析（CN112432636A），定位不能精确，即便在CN111837013A中，也需要事先通过机器学习后才能投入到精确的定位应用中；第三，在具体导航指引标记显示上要靠装置或用户的姿态（如CN112179331A,CN112365596A）而确定,CN111397627A根据当前位置和目的位置而确定标准车道，并将标准车道投放到AR设备上；因而综上,现有的AR技术仍然不能摆脱人随机器走、依赖于现成的经过机械地计算提供的规划路径的弊端。

发明内容

为了解决上述问题，需要考虑三个方面问题，第一尽可能基于精确的定位技术来为用户准确导航提供基础，第二是摆脱单纯依靠机器而机械地按照规划路线行走，同时第三导航的结果应当尽可能不绕。为此，本发明提出一种半自助的导航理念，其思想就在于机器只给出当前位置到目标地点大致需要经过的多个分段的位置点，并通过AR形式呈现，而不具体给出规划路径，让用户根据目标点在AR装置中的目视场景下的方位去选择前方道路。使得用户参与到路线的自助规划和选择中。本发明所述的非建筑地理区块包括了供行走的道路，桥梁等人行或交通工具行驶的路区。本发明中涉及的位置、中间地点、目标地点可以是室外非建筑地理区块或室内建筑，或相应的标引所代表的的位置、中间地点、目标地点。

据此，本发明提供了一种基于AR的城市精确半自助导航方法，其特征在于，包括如下步骤：

S1：建立室外三维模型坐标系和室外非建筑地理区块标引库;

S2:建立室内三维模型坐标系和室内建筑标引库；

S3：建立AR装置坐标系F，将目标地点标引输入AR装置；

S4：根据当前AR装置在所述室外或室内三维模型坐标系中的位置和所述目标地点标引，得到所述位置和目标地点之间需要经过的多个中间地点，并将所述多个中间地点中的至少一个的对应的标引和/或所述目标地点标引投放在AR装置的投放屏幕中显示；

S5按照投放显示的标引方向行走，直到最接近目标地点的中间地点而完成所述半自助导航，或者，

在步骤S4和S5中随时对所述位置、所述多个中间地点以及所述目标地点的多个点中至少一组两个相邻的点之间建立导航规划建议路径，按照投放显示的指引说明和/或所述导航规划建议路径行走，直到最接近目标地点的中间地点而完成所述半自助导航。接下来，用户就利用投放的目标地点标引能看到或很接近目标地点，这样就能比较容易继续向目标地点选择目视场景下的道路行走而精确达到目标地点。

关于坐标系和标引

其中步骤S1具体包括：构建室外三维CityGML模型，获取任意选择的标准建筑基底靠南和靠西的边缘分别为X轴和Y轴其直角顶点为原点作为室外基准点O，建立室外三维模型坐标系E；获取室外每一非建筑地理区块的一个矩形面的四个顶点四个顶点坐标，且所述矩形面能够覆盖所述非建筑地理区块；利用四个顶点的横坐标与纵坐标所跨的最大范围以及对应的非建筑地理区块名称建立标引库K；所述最大范围包括最大范围对应的端点，例如四个顶点坐标横坐标中横跨X轴范围最大的是-100m-100m，则-100m和100m即为端点。

步骤S2具体包括：通过室内软件图纸进行构建的室内三维CityGML模型，并按照每一栋建筑模型的基底与标准建筑基底一样构建每一栋建筑对应的室内三维模型坐标系I，获取室内每一建筑模型基底的一个矩形面的四个顶点坐标，且所述矩形面的四个顶点是该基底的平行于坐标系I的xoy坐标平面的一个面积最大、且离xoy坐标平面距离最近的平面的四个点构成，并以四个顶点中离开o点距离最远的点M作为I下的每一栋建筑的标引点每一个标引点对应于在I下的一个坐标；利用标引点M点坐标以及对应的建筑名称建立标引库Q，并在室内三维CityGML模型中自动生成每一栋建筑的标引；

步骤S3具体包括：选择AR装置上的一点作为坐标原点，平行于投放屏幕的左向为a轴，垂直于a轴向目视前方为b轴，垂直于ao'b平面向上的为c轴，建立AR装置坐标系F；通过语音或移动终端将目标地点在标引库中的标引对应名称的关键词输入AR装置；

关于中间地点和标引投放

步骤S4中根据当前AR装置在所述室外或室内三维模型坐标系中的位置和所述目标地点标引，得到所述位置和目标地点之间需要经过的多个中间地点，具体包括：

S4-1AR装置将输入的关键词和AR装置的坐标系F原点o'在E下或I下的坐标作为所述位置发送给远程服务器，利用远程服务器在所述位置和所述目标地点之间建立直线段L;

S4-2将直线段L平均分割成预设的份数的多个直线分段p_i(i=1,2...k-1, k为预设的份数)，对于每一个直线分段p_i，利用从其中点开始，或利用直线段L的每个等分点开始，向L两侧方向上远离所述中点或等分点运动的两个动点逐步搜索在E下的横坐标与纵坐标；

S4-3将步骤4-2中逐步搜索得到的所述的在E下的横坐标与纵坐标不断分别与标引库K中的横坐标与纵坐标所跨的最大范围或者标引库Q中的标引点横坐标与纵坐标比对，当比对差别小于预设的值q时，将两个动点与目标地点的直线距离最近者作为所述每一个直线分段p_i或每一个等分点对应的中间地点。

其中所述两侧方向优选为平行于E的X或Y轴的两侧方向，也可以是垂直于直线段L的方向，或者是平行于E的X轴、Y轴的两侧方向以及垂直于直线段L方向三向这种多向同时搜索。可以理解的是当直线段L平行于X轴或Y轴时，只需对平行于E的X轴、Y轴的两向同时搜索。当选择多向搜索时，逐步搜索中每一步搜索结果是每一向中的横坐标和纵坐标的平均值，且所述平均值包括算术平均值或加权平均值。

在一个实施例中，所述逐步搜索是指所述两个动点在按照L两侧方向从所述每个等分点开始运动过程中每隔预设距离r进行搜索，所述的预设距离r是2.5-10m，优选为2.5-5m，最优选的为2.5m。所述比对是将当前搜索到横坐标和纵坐标分别于K库中多个最大范围的端点比较；所述预设值q包括横坐标预设值q_x和纵坐标预设值q_y，其中q_x和q_y是2.5-10m，优选为2.5-5m，最优选的为2.5m。

可以理解的是，直线段L平均分割成预设的份数越多,则对于每一个中间地点的行走达到越相对容易。当不同的非建筑地理区块的最大范围有交叠时，可能会得到一个中间地点实际上对应多个非建筑地理区块，但尽管如此，所确定的中间地点只是提示用户应当所行走的方向，而不具体指示应该选择上述不同的非建筑地理区块中的那一个区块方向去行走，因此给了用户自主选择路线的自由。同时，由于最大范围有交叠表明在地理空间上相隔较近；此外，由于中间地点的选择是以所述位置和目标地点之间最近距离的直线段L为基础，而不断远离直线段L搜索产生，因此不会偏离最近路线太远，不会让用户产生“有点绕”的体验。多个中间地点让用户步步接近目标地点，从而产生每一步探索路径的体验。而用户也可以选择在所述目标地点的多个点中至少一组两个相邻的点之间建立导航规划建议路径行走，更加细化每一段的最优路线，使得导航体验在机器与用户之间有互动的体验，增加用户的路线规划参与性。

步骤S4中将所述多个中间地点中的至少一个的对应的标引和/或所述目标地点标引投放在AR装置投放屏幕显示，具体包括：

S4-4在所述位置处,AR装置将拍摄当前目视场景画面，以及F的原点o’在E或I下的坐标，发送给所述远程服务器，所述当前目视场景画面与目视场景相对应，两者都具有相同的坐标系F；

S4-5所述远程服务器将所述多个中间地点中的至少一个以及目标地点的标引在b轴方向搜索；如果都搜索不到，则间隔1-5s提示用户变换目视方向，重复步骤S4-4，并按照步骤S4-5继续搜索，直到在b轴方向搜索到所述多个中间地点中的至少一个时和/或所述目标地点，所述远程服务器则将所述多个中间地点中的至少一个的对应的标引和/或所述目标地点标引投放在AR装置目视镜片正前方投放屏幕或在投放屏幕上的目视场景对应处显示，并提示开始按照该中间地点和/或目标地点的标引方向行走；

S4-6每隔预设的间隔时间t或用户语音请求时再次执行步骤S4-4和S4-5，所述预设时间t为5.5s-1min。

其中所述当前目视场景画面与目视场景相对应，是指在所述当前目视场景画面与目视场景中任选同一个非建筑地理区块或建筑，发现两者重合。两者都具有相同的坐标系F是指在目视场景下能够发现AR装置上的坐标系F的原点o’和a轴分别和目视场景中的F坐标系的原点o’和a轴重合，同时所述当前目视场景画面与目视场景相对应时，也要求分别和所述当前目视场景画面中的坐标系F的原点o’和a轴重合。

b轴方向搜索是在所述位置为圆心半径为直线段L长度圆域内对应的室外或室内三维CityGML模型中进行，并且在该模型中基于所述位置找到对应于AR装置中坐标系F的b轴的方向而在标引库K或Q内进行搜索。当搜索到时即将所述多个中间地点中的至少一个和/或所述目标地点标记在该模型的俯视模式中对应的位置且在E下的Z向坐标为1-1.5m,或者在I下的z向坐标为1-1.5m加上楼层高度，并将当前目视场景画面匹配到该模型中的所述位置，使得AR装置中坐标系F的原点o’和b轴方向分别和该模型中找到的对应于o’的点和b轴的方向重合。此时将在该模型中标记的所述多个中间地点中的至少一个和/或所述目标地点垂直投影到目视场景画面中，再将投影以平行于F坐标系c轴方向移动到前目视场景画面顶部信息栏中。

具体参见图1，在用户所述位置对应的AR装置坐标系F的原点o’为圆心，直线段L长度为半径的虚线圆域内对应的室外三维CityGML模型（在图1中为俯视模式）中进行，并且在该模型中找到所述位置和对应于AR装置中坐标系F的b轴的方向（在图1中仍分别以o’和b表示）而在标引库K内进行搜索。当F的a轴在a3方向时，搜索到两个中间地点D和H,以及目标地点10而标记在该模型的俯视模式中对应的位置且在E下的Z向坐标为1-1.5m，并将当前目视场景画面匹配到该模型中的所述位置，使得AR装置中坐标系F的原点o’和b轴方向分别和该模型中找到的对应于o’的点和b轴的方向重合。此时将在该模型中标记的两个中间地点D和H,以及目标地点10垂直投影到目视场景画面中（如图1中虚直线所示）。

所述投放在AR装置目视镜片正前方投放屏幕具体是通过远程服务器将所述当前目视场景画面顶部信息栏、信息栏中所有投影以及所述当前目视场景画面作为一个整体画面一并发送给AR装置投放在目视镜片正前方投放屏幕上。

所述投放屏幕上的目视场景对应处显示具体是根据目视场景画面顶部信息栏中所述多个中间地点中的至少一个和/或所述目标地点的投影在F坐标系中的位置而投放到投放屏幕上的目视场景对应处进行显示。对应处应当是能够满足如下条件的投放屏幕上的目视场景中的点：即当所述当前目视场景画面与目视场景相对应时，所述投放屏幕上的目视场景中对应的所述多个中间地点中的至少一个和/或所述目标地点与所述投影重合。

关于行走过程

在提示开始按照该中间地点和/或目标地点方向行走后的步骤S5中按照投放显示的标引方向行走过程中，用户能够随时调用远程服务器的建立导航规划建议路径在AR装置当前目视场景下显示进行准确导航。

在一个实施例中，所述多个中间地点中的至少一个可以是最接近起始位置的点m₁，当用户距离点m₁的直线距离在小于预设距离s时，定义为到达该中间地点。此时再重复步骤S4-4、S4-5以及骤S5中按照投放显示的标引方向行走，到达距离下一个中间地点m₂小于s处，直到行走到最接近目标地点的中间地点m_k-1。此时再重复步骤S4-4，以及S4-5中所述远程服务器将目标地点的标引在所述画面中b轴方向搜索的步骤，直到目标地点搜索搜到，并将所述目标地点标引投放在AR装置现实目视场景下对应显示，并提示开始按照该目标地点方向行走，导航结束。其中所述s为50-200m， m₁,m₂...m_k-1与作为起始点的所述位置直线距离依次增大。

可以理解的是，当I下的坐标作为所述位置时，要将I下的所述位置转换到E坐标系下。用户可以根据预先的设置选择每达到一个中间地点就不再在AR装置投放显示该中间地点的标引，但可以调用回查此前已经达到过的每一个中间地点标引，并且可以调用室外和室内三维模型在AR装置上显示。在行走过程中目标地点可能一直处于画面中可以显示的区域，也可能只能供至少一个中间地点显示，而目标地点不在可以显示的区域。比如当由于某种原因，有障碍、施工等情况必须绕道行走时，目标地点可能不在画面b轴方向上能够搜索到，但此时只要中间地点能够搜索到，则可以不提示用户变换目视方向。

在一个实施例中，步骤S5的行走过程中，用户可以随时向远程服务器发送拍摄当前目视场景画面，以及F的原点o’在E或I下的坐标，要求所述远程服务器根据室内或室外三维CityGML模型，确定原点o’处目视半径为R的范围内的至少一部分非建筑地理区块标引和建筑标引，并将该标引投放到画面相应的位置，发送给AR装置投放显示；或者投放在AR装置前目视场景的对应处显示，此时用户可以看到当前视觉场景下周边非建筑地理区块标引和建筑的标引，以视觉上了解或通过标引库查看他们的名称，坐标等信息。

用户还可以根据目视的现实情况，如道路改变，建筑拆迁，重建，施工等因素通过向远程服务器申请，改变标引库信息。标引库即可以及时更新，形成临时标引库，从而让用户参与到道路更新的活动中，及时避免申请用户和/或其他用户导航带偏。当临时标引库获得确认时，即可以更新标引库信息。可以理解的是，任何用户都可以选择标引库或临时标引库得到中间地点。

一个优化的方案

在步骤S4-1中，直线段L可能存在这样的情况，即当L足够短时（如200m或300m目视距离），用户在AR装置中已经实际可以目视到目标地点，或目标地点被为数不多的建筑或桥梁，例如高架桥所遮挡，将要精确到达目标地点时，即便能够目视到却不能认识出目标地点，尤其是对城市不熟悉或彻底陌生的用户，此时如果仍然依照步骤S4-1-S4-6的方式处理显然增加了远程服务器不必要的负载。导航经验证明，当目标地点越接近，其路线的复杂程度越往低的方向变化。此时再对短程路线L进行中间地点的获取，可能出现这样一种情况。

如图2所示，小区筒子楼西楼3和东楼4位于T型分叉的河道1南岸，河道北岸存在建筑2以及目标地点obj，东西走向河道1具有分别通往建筑2和obj的桥梁5和桥梁6。当用户u在所处位置进行导航时，与目标地点obj之间直线L为200m。过L的中点C作河道东西走向的南岸的平行线L’，L'以北到所述南岸都是绿化带，不能供行人通过。而绿化带以南到筒子楼之间区域是不被标引库K记录的常规行走土壤路面。如果此时使用中间地点寻找方案，从中点C开始垂直于L的方向离开C的两个动点只能在图2中A和B点两点中选择。由于用户u所处位置在目视场景下已经发现河道1,以及桥梁5，此时即便可以在AR装置上看到obj和桥梁6的投放标引，用户有一定概率不会选择往B中间点行走，绕过筒子楼西楼4，而会往具有在AR上同时投放显示的桥梁5的方向走去以便过河道。但是如果这样选择，还未走完桥梁5时就已经发现obj实际在南北走向河道的东岸，此时而只能返回原路往B的方向绕过筒子楼往桥梁6通行到达obj，这无疑是失败的导航体验。

如果不采用寻找中间地点方案，用户u在图2中通过AR装置只能看到obj和桥梁5和桥梁6的标引，则会尝试往桥梁5或桥梁6通行。由于没有中间地点的误导，此时有的用户可能会在目视场景下发现桥梁6的标引和目标地点obj的标引很靠近，于是有一定概率选择绕筒子楼行走，即便仍然选择往桥梁5方向去，发现走错，也不会责备导航系统。因为此时导航并没有提示用户中间地点，从而避免可能产生的误导感。用户通过自我摸索的方式找到obj从而会加深对于该区域的路线认识，而避免被计算的路径所带而机械地沿着行走。

鉴于上述的情况分析，在一个优化的实施例中，在步骤S4-1和S4-2之间，还存在如下步骤：所述远程服务器计算L的长度，如果所述长度小于等于预设的距离，即原点o’处为圆心目视半径R，则直接进入步骤S4-4，并在步骤S4-5中仅搜索目标地点标引，完成导航；如果所述长度大于目视半径R，则进入步骤S4-2。其中所述目视半径R为200-500m。

在上述所有的说明的方案中，用户可以事先在K库中选择不针对高速路的非建筑地理区块进行所述逐步搜索，从而解决了现有导航技术可能强制优选高速路的问题。

本发明还提供了一种基于AR的城市精确半自助导航装置，其特征在于：包括AR装置和远程服务器，用于实现前述的基于AR的城市精确半自助导航方法，其中所述AR装置包括可穿戴式AR眼镜，所述可穿戴式AR眼镜包括主体框架、目视镜片、投放屏幕、投影器、处理器、坐标定位器、语音识别与提示系统，无线数据收发器；所述远程服务器包括了一种计算机可读非暂时性存储介质，其中存储有可由所述处理器运行而实现前述的基于AR的城市精确半自助导航方法的程序。

可以理解的是，所述处理器用于处理和分析各类用户的语音以及命令，还可以用于对远程服务器的交互数据进行处理和分析，以及对AR装置的投放屏幕、投影器、坐标定位器、语音识别与提示系统，无线数据收发器进行工作控制。

有益效果,本发明采用三维城市室外和室内的模型建立城市精确的地图标引数据库,利用远程服务器和AR装置的数据交互,实现了对于当前位置和目标地点之间的中间地点提示方案,既解决了用户过于依赖现有导航技术,而产生可能的带偏、有点绕、转移视线、低头、以及优选高速的问题，又通过直线段分段两侧道路搜寻技术，保证了路线标引方向不会偏离最短直线路线太远。同时本发明的半自助导航方法更加注重用户自主摸索路线以及个性化的标引库的临时定义，使得人参与到导航中来，对于地区的熟悉性培养和城市认同感有帮助。

附图说明

图1是b轴方向搜索室外三维CityGML模型的俯视模式中的中间地点和目标地点后的投影操作示意图；

图2为L小于R时采用寻找中间地点方案的一个可能导致误导的情况示意图；

图3为一种基于AR的城市精确半自助导航方法的整体流程图；

图4为一种基于AR的城市精确半自助导航方法中步骤S4的具体流程图；

图5为佩戴AR眼镜的用户u’当前位置和目标地点,以及两者的目视半径R区域和中间地点在CityGML模型中的俯视显示图；

图6为图3中AR眼镜的坐标系F的a轴方向为a3时， AR装置拍摄当前目视场景画面；

图7AR眼镜后视图，其中左侧目视镜片正前方投放屏幕上投放了图4的显示图，右侧目视镜片前方投放屏幕上投放了图6的AR装置拍摄当前目视场景画面；

图8为根据用户命令将图6中的显示图放大时的AR眼镜后视图；

图9为用户u’在目视场景下的AR眼镜后视示意图，远程服务器已将图6中的AR眼镜拍摄当前目视场景画面上的标引和信息栏投放到目视场景对应处显示，其中目视镜片正前方投放屏幕未显示显示图和图6的AR装置拍摄当前目视场景画面。

其中附图标记，1河道，2建筑，3筒子楼西楼，4筒子楼东楼，5桥梁，6桥梁，7用户所在位置的目视半径区域，8 目标地点所在位置的目视半径区域，9用户u’所在的位置，10目标地点，11主体框架、12目视镜片、13投放屏幕、14投影器、15处理器、16坐标定位器、17语音识别与提示系统，18无线数据收发器，A、B、D、G、J、H为中间地点标引，C为中点，L’为河道东西走向的南岸的平行线，L表示直线段，obj和obj’表示目标地点标引，u和u’表示用户，400AR眼镜拍摄的画面顶部或投放屏幕顶部设置的信息栏，401代表画面中建筑物的标引，402树，403建筑物窗，404AR眼镜拍摄的画面，405机动车道地面标记，406代表画面中远处建筑物群的标引，407机动车，408代表画面中远山的标引，409机动车道，其中obj和obj’，所述的中间地点的英文大写字母和代表标引的阿拉伯数字都仅仅是示意目的，而非真实在投放屏幕或AR眼镜拍摄的画面上显示了相应的字母或阿拉伯数字本身。

具体实施方式

以下将根据附图3-9说明本发明的城市精确半自助导航方法机器装置的具体实施方式。

实施例1

一种基于AR眼镜的某一城市City中市政大楼附近精确半自助导航方法，包括如下步骤，方法流程参照图3理解包括：

S1：建立室外三维模型直角坐标系E如图5所示，选择市政大楼基底靠南和靠西的边缘分别为X轴（正东方）和Y轴（正北方）其直角顶点为原点作为室外基准点O，其中原点O处圆圈内的黑点符号“·”代表的穿过纸面靠近目视者的方向为Z方向，建立室外非建筑地理区块标引库K，K中包含了覆盖道路的矩形面的四个顶点中横坐标与纵坐标所跨的最大范围以及对应的道路名称;

S2:建立室内三维模型直角坐标系和室内建筑标引库Q，Q中包含了每一栋建筑的标引点M点坐标以及对应的建筑名称；

S3如图7建立AR眼镜坐标系F，选择AR眼镜的主体框架11的几何中心为坐标原点，平行于投放屏幕13的左向为a轴，垂直于a轴向目视前方为b轴(即原点o’处圆圈内的×号代表的穿过纸面远离目视者的方向)，垂直于ao'b平面向上的为c轴，建立AR眼镜坐标系F,将目标地点标引中的学校名称关键词通过图5中的用户u’语音输入AR眼镜，AR眼镜的语音识别与提示系统17（如图7）接受到语音；

S4：根据当前AR眼镜坐标定位器16在室外三维模型坐标系E中获得的位置9（参见图5和7）和所述目标地点名称语音，得到所述位置和目标地点之间需要经过的多个中间地点，并将所述多个中间地点中的全部D和H对应的名称和所述目标地点10的名称（以obj’示意）投放在AR装置目视镜片12正前方投放屏幕13（如图7和8）或在投放屏幕13顶部信息栏400上的目视场景对应处（如图9所示），在本实施例以及后面的所有实施例涉及到的对应处即是在信息栏400中显示。

在步骤S4位置9和名称H之间建立导航规划建议路径，按照投放显示的指引说明(参见图6-9)行走，直到最接近目标地点的中间地点D而完成所述半自助导航。

实施例2

如图4-9所示，在实施例1的基础上其中步骤S4包括了S4-1AR眼镜将输入的obj’对应的关键词（例如某学校）和AR眼镜的坐标系F原点o'在E下的坐标作为所述位置发送给远程服务器，利用远程服务器在用户u’所在的位置9和所述目标地点obj’之间建立直线段L（如图5），此时发现L的长度远大于两倍的目视距离R=500m。

于是进行步骤S4-2将直线段L平均分割3等分3个直线分段p₁-p₃，p₁-p₃分别为逐渐远离目标地点obj’的直线分段，利用两个等分点开始向L两侧方向上远离等分点运动的两个动点而逐步搜索在E下的横坐标与纵坐标。

具体如图4所示，进行S4-3步骤，对于靠近ojb’的等分点按照平行于E的X轴的两侧方向每隔2.5m之处进行搜索，而远离的obj’的等分点按照平行于E的Y轴的两侧方向每隔2.5m之处进行搜索，分别首次搜索到D、G、H、J四个点坐标为与标引库K中覆盖道路矩形面的顶点坐标最大范围相比都在预设值2.5m范围内，将两个动点D和G，以及两个动点H和J与目标地点的直线距离最近者分别为D和H，将D和H作为每一个等分点对应的中间地点。此时用户u’可以要求远程服务器将当前位置和目标地点，以及两者的目视半径R区域和中间地点在CityGML模型中的俯视显示图投放到左侧目视镜片12正前方投影屏幕13上显示，并可以根据用户的语音命令放大显示图（图8）。

实施例3

根据图4-9，在实施例2的基础上在完成步骤S4-3之后，继续进行步骤S4-4，在图5用户u’所处位置9处,AR眼镜将拍摄当前目视场景画面440（如图7所示），以及F的原点o’在E下的坐标，发送给所述远程服务器，S4-5所述远程服务器将中间地点在标引库K中的名称D和H以及目标地点10的标引ojb’在图6的画面404中b轴方向搜索。

用户此时向远程服务器发送画面404，以及F的原点o’在E下的坐标，要求所述远程服务器根据室内或室外三维CityGML模型，确定原点o’处目视半径为R的范围内的建筑的标引401标引（此时401代表该建筑的名称）,远处建筑物群的标引406（此时406代表远处建筑群各自的名称），远山408，机动车道409，并将标引401、406、408和409投放到画面404顶部信息栏中对应处（参见附图7和8），发送给AR眼镜的无线数据收发器18交由投影器14投放在投放屏幕13上。

可以是根据用户u’的语音命令，投放在右侧目视镜片12正前方（如图7和8），也可以是将标引401、406（被AR眼镜遮挡而图9中未显示）、408和409投放在投放屏幕13顶部信息栏400前目视场景的对应处显示（如图9），此时用户可以看到当前视觉场景下周边非建筑地理区块标引远山408和机动车道409和建筑401、406的标引，以视觉上了解或通过标引库查看他们的名称。

参见图5，用户u’最开始面向南方（F坐标系a轴为a1方向）未搜索到中间地点D和H的名称（在图6-9中以D和H代表）以及目标地点10的标引obj’，则间隔3s提示用户变换目视方向，用户顺时针改变目视方位，重复步骤S4-4，按照步骤S4-5继续搜索。在面向西方（F坐标系a轴为a2方向）时仍然未搜索到中间地点D和H的名称以及目标地点10的标引obj’。直到用户u’转到图5所示的F坐标系a轴为a3方向时，在b轴方向搜索到了中间地点D和H的名称以及目标地点10的标引obj’，则将中间点D和H的名称以及目标地点10的标引obj’引投放在AR装置右侧目视镜片12正前方投放屏幕13上（如图7和8）或AR装置现实目视场景下对应处（如图9）显示，并提示用户u'开始按照H方向行走;然后进入步骤S4-6每隔预设的间隔时间10s再次执行步骤S4-4和S4-5实时投放名称D和H以及目标地点10的标引obj’。同时还在信息栏中显示当前目视方位对应的a3方向（参见图6-9）。

实施例4

接着实施例3，用户u’在搜索到了中间地点D和H的名称以及目标地点10的标引obj’之后，远程服务器仅先将H以及obj’引投放在AR眼镜现实目视场景下对应处显示。此时用户u’请求远程服务器针对位置9和H之间建立导航规划建议路径，按照投放在信息栏400显示的指引说明建议前方150m右转先前往H(参见图6-9)而行走。

当用户u’距离中间地点H的直线距离在小于预设距离s=100m时，到达该中间地点H，此时H的标引消失，再重复步骤S4-4、S4-5以及骤S5中按照投放显示的标引D方向摸索道路行走，到达距离下一个最接近目标地点10的中间地点D小于预设距离s=100m处。此时再重复步骤S4-4，以及S4-5中所述远程服务器将目标地点在所述画面中b轴方向搜索的步骤，直到目标地点10搜索搜到，并将所述目标地点标引obj’投放在AR装置现实目视场景下对应处显示，导航结束。接着用户可以根据附近的道路容易摸索到目标地点10处。

Claims

1.一种基于AR的城市精确半自助导航方法，其特征在于，包括如下步骤：

S1：建立室外三维模型坐标系和室外非建筑地理区块标引库；

S2:建立室内三维模型坐标系和室内建筑标引库；

S3：建立AR装置坐标系F，将目标地点标引输入AR装置；

在步骤S4和S5中随时对所述位置、所述多个中间地点以及所述目标地点的多个点中至少一组两个相邻的点之间建立导航规划建议路径，按照投放显示的指引说明和/或所述导航规划建议路径,以及按放显示的标引方向行走，直到最接近目标地点的中间地点而完成所述半自助导航；

S4-1AR装置将输入的关键词和AR装置的坐标系F原点o'在E下或I下的坐标作为所述位置发送给远程服务器，利用远程服务器在所述位置和所述目标地点之间建立直线段L；

S4-2将直线段L平均分割成预设的份数的多个直线分段p_i，i＝1,2...k-1,k为预设的份数，对于每一个直线分段p_i，利用从其中点开始，或利用直线段L的每个等分点开始，向L两侧方向上远离所述中点或等分点运动的两个动点逐步搜索在E下的横坐标与纵坐标；

S4-3将步骤4-2中逐步搜索得到的所述的所述的在E下的横坐标与纵坐标不断分别与标引库K中的横坐标与纵坐标所跨的最大范围或者标引库Q中的标引点横坐标与纵坐标比对，当比对差别小于预设的值q时，将两个动点与目标地点的直线距离最近者作为所述每一个直线分段p_i或每一个等分点对应的中间地点；其中，所述逐步搜索是指所述两个动点在按照L两侧方向从所述中点或所述每个等分点开始运动过程中每隔预设距离r进行搜索。

2.根据权利要求1所述的半自助导航方法,其特征在于,其中步骤S1具体包括：构建室外三维CityGML模型，获取任意选择的标准建筑基底靠南和靠西的边缘分别为X轴和Y轴其直角顶点为原点作为室外基准点O，建立室外三维模型坐标系E；获取室外每一非建筑地理区块的一个矩形面的四个顶点四个顶点坐标，且所述矩形面能够覆盖所述非建筑地理区块；利用四个顶点的横坐标与纵坐标所跨的最大范围以及对应的非建筑地理区块名称建立标引库K；

其中步骤S2具体包括：通过室内软件图纸进行构建的室内三维CityGML模型，并按照每一栋建筑模型的基底与标准建筑基底一样构建每一栋建筑对应的室内三维模型坐标系I，获取室内每一建筑模型基底的一个矩形面的四个顶点坐标，且所述矩形面的四个顶点是该基底的平行于坐标系I的xoy坐标平面的一个面积最大、且离xoy坐标平面距离最近的平面的四个点构成，并以四个顶点中离开o点距离最远的点M作为I下的每一栋建筑的标引点每一个标引点对应于在I下的一个坐标；利用标引点M点坐标以及对应的建筑名称建立标引库Q，并在室内三维CityGML模型中自动生成每一栋建筑的标引；

其中步骤S3具体包括：选择AR装置上的一点作为坐标原点，平行于投放屏幕的左向为a轴，垂直于a轴向目视前方为b轴，垂直于ao'b平面向上的为c轴，建立AR装置坐标系F；通过语音或移动终端将目标地点在标引库中的标引对应名称的关键词输入AR装置。

3.根据权利要求2所述的半自助导航方法,其特征在于,

所述的预设距离r是2.5-10m，所述预设值q包括横坐标预设值q_x和纵坐标预设值q_y。

4.根据权利要求3所述的半自助导航方法,其特征在于,

在将两个动点与目标地点的直线距离最近者作为所述每一个直线分段p_i或每一个等分点对应的中间地点之后，远程服务器能够根据用户的请求将当前位置和目标地点,以及两者的目视半径R区域和中间地点在CityGML模型中的俯视显示图投放到AR装置目视镜片正前方投影屏幕上显示，所述的俯视显示图能够根据用户语音命令放大显示，其中R为200-500m；并且，

所述两侧方向为平行于E的X或Y轴的两侧方向，垂直于直线段L的方向中的至少一种，或者，

至少两种，且逐步搜索中每一步搜索结果是每一向中的横坐标和纵坐标的平均值，且所述平均值包括算术平均值或加权平均值。

5.根据权利要求1所述的半自助导航方法，其特征在于，步骤S4中将所述多个中间地点中的至少一个的对应的标引和/或所述目标地点标引投放在AR装置投放屏幕显示，具体包括：

S4-5所述远程服务器将所述多个中间地点中的至少一个以及目标地点的标引在b轴方向搜索；如果都搜索不到，则间隔1-5s提示用户变换目视方向，重复步骤S4-4，并按照步骤S4-5继续搜索，直到在b轴方向搜索到所述多个中间地点中的至少一个时和/或所述目标地点，所述远程服务器则将所述多个中间地点中的至少一个的对应的标引和/或所述目标地点标引投放在AR装置目视镜片正前方投放屏幕或在投放屏幕上的目视场景对应处显示，并提示开始按照中间地点和/或目标地点的标引方向行走；

6.根据权利要求5所述的半自助导航方法，其特征在于，

在步骤S4-1和S4-2之间，还存在如下步骤：所述远程服务器计算L的长度，如果所述长度小于等于原点o’处为圆心的目视半径R，则直接进入步骤S4-4，并在步骤S4-5中仅搜索目标地点标引，完成导航；如果所述长度大于目视半径R，则进入步骤S4-2，其中所述目视半径R为200-500m。

7.根据权利要求6所述的半自助导航方法，其特征在于，步骤S4-5中的b轴方向搜索是在所述位置为圆心半径为直线段L长度圆域内对应的室外或室内三维CityGML模型中进行，并且在该模型中基于所述位置找到对应于AR装置中坐标系F的b轴的方向而在标引库K或Q内进行搜索；

当搜索到时,便将所述多个中间地点中的至少一个和/或所述目标地点标记在该模型的俯视模式中对应的位置且在E下的Z向坐标为1-1.5m,或者在I下的z向坐标为1-1.5m加上楼层高度，并将当前目视场景画面匹配到该模型中的所述位置，使得AR装置中坐标系F的原点o’和b轴方向分别和该模型中找到的对应于o’的点和b轴的方向重合；

此时将在该模型中标记的所述多个中间地点中的至少一个和/或所述目标地点垂直投影到目视场景画面中，再将投影以平行于F坐标系c轴方向移动到前目视场景画面顶部信息栏中。

8.根据权利要求7所述的半自助导航方法，其特征在于，

所述投放在AR装置目视镜片正前方投放屏幕具体是通过远程服务器将所述当前目视场景画面顶部信息栏、信息栏中所有投影以及所述当前目视场景画面作为一个整体画面一并发送给AR装置投放在目视镜片正前方投放屏幕上；

所述投放屏幕上的目视场景对应处显示具体是根据目视场景画面顶部信息栏中所述多个中间地点中的至少一个和/或所述目标地点的投影在F坐标系中的位置而投放到投放屏幕上的目视场景对应处进行显示。

9.根据权利要求8所述的半自助导航方法，其特征在于，步骤S4-5中所述的按照中间地点和/或目标地点方向行走具体包括：先往与作为起始点的所述位置直线距离最近的中间地点m₁行走，当行走过程中的当前位置与m₁的直线距离在小于预设距离s时，定义为到达该中间地点；此时再重复步骤S4-4、S4-5以及骤S5中按照投放显示的标引方向行走，到达距离下一个中间地点m₂小于s处，如此直到行走到最接近目标地点的中间地点m_k-1；此时再重复步骤S4-4，以及S4-5中所述远程服务器将目标地点的标引在所述画面中b轴方向搜索的步骤，直到目标地点搜索搜到，并将所述目标地点标引投放在AR装置现实目视场景下对应显示，并提示开始按照该目标地点方向行走，导航结束，其中所述s为50-200m，m₁,m₂...m_k-1与作为起始点的所述位置直线距离依次增大；

步骤S5的行走过程中，用户能随时向远程服务器发送拍摄当前目视场景画面，以及F的原点o’在E或I下的坐标，要求所述远程服务器根据室内或室外三维CityGML模型，确定原点o’处目视半径为R的范围内的至少一部分非建筑地理区块标引和建筑标引，并将该标引投放投放在AR装置目视镜片正前方投放屏幕或在投放屏幕上的目视场景对应处显示。

10.一种基于权利要求1-9中任一项所述半自助导航方法的城市精确半自助导航装置，其特征在于：所述城市精确半自助导航装置包括，可穿戴式AR眼镜和远程服务器，其中，

所述可穿戴式AR眼镜包括主体框架，目视镜片，投放屏幕，投影器，处理器，坐标定位器，语音识别与提示系统，无线数据收发器；

所述远程服务器包括了一种计算机可读非暂时性存储介质，其中存储有可由所述处理器运行而实现权利要求1-9中任一项所述半自助导航方法的程序。