CN114935972A - 一种mr/ar/vr标注和搜寻控制方法、移动终端与可读存储介质 - Google Patents

Abstract

一种MR/AR/VR标注和搜寻控制方法、移动终端与可读存储介质通过智能眼镜的感知模块获取视野内的图像，通过算法对图像进行识别，识别图像中的物体轮廓，通过感知模块获取用户行为操作，根据用户操作完成标注物体的选择，同时由于单体智能眼镜所获取到的信息有限，为了增加标注物体的搜寻范围，可将智能眼镜进行联网完成网络域的搜寻，该方法和装置既能够提高人们的执行效率和生活效率，又能够为生活提供保障。

Description

一种MR/AR/VR标注和搜寻控制方法、移动终端与可读存储 介质

技术领域

本申请涉及增强现实技术领域，具体涉及一种MR/AR/VR标注和搜寻控制方法、移动终端与可读存储介质。

背景技术

目前，基于元宇宙的VR眼镜迎来了一波热潮，越来越多的公司和企业宣布加入元宇宙的行列进行相关产品的研发。VR眼镜作为元宇宙的主流产品主打沉浸式和全虚拟，但该类产品由于打造的是全虚拟的世界平台容易让使用者沉迷虚拟世界，逃离现实世界，易于产生降低人均生产效率和生产价值的不良影响。

同时，在现实生活中经常出现构想或设计的实际复现成本较大且建设周期较长的情况，并且由于现实世界中缺少互动性和趣味性而让越来越多的人选择在网上畅游，并且在现实世界中的行动成本和检索成本较高而让越来越多的人选择在网上购物、点外卖，上述现象都是由于现实世界与虚拟世界还未实现互联互通所导致的。

因此，将虚拟世界与现实世界在同一个平台上进行融合的系统和方法不仅能预防用户沉浸于虚拟世界，而且降低了现实世界的实现成本提高了现实世界的趣味性、互动性和针对性，该项技术、系统与应用能够真正让人们在体验真实生活的同时享受虚拟生活的便利。

发明内容

一种MR/AR/VR标注场景控制方法包括如下步骤：

S1.通过在智能眼镜上的界面切换或选择进入标注场景的增强现实界面；

S2.通过智能眼镜的感知模块获取视野内的图像，通过算法对图像进行识别，识别图像中的物体轮廓，通过感知模块获取用户行为操作，根据用户操作完成标注物体的选择；

S3.在完成标注后，智能眼镜系统通过感知模块感应标注物体，并自动跟随标注物体的路径并存储标注物体在感知模块的感知区域内消失前的最终位置坐标，同时，通过感知模块实时感知标注物体是否重新出现在感知区域内，若出现则继续自动跟随标注物体的路径并更新标注物体在感知模块的感知区域内消失前的最终位置坐标，如此循环往复；

S4.通过输入装置获取寻找某一标注物体的指令，调取后台所存储的该标注物体最终位置坐标，根据最终位置坐标和此时智能眼镜实时位置坐标形成指导路径，通过指导路径生成指引标志，通过成像装置对指引标志进行可视化成像。

所述的通过感知模块感应标注物体包括如下步骤：

S5.在标注物体时通过感知模块对标注物体的特征点进行提取并完成对应数据的存储；

S6.当感知模块感应到相应物体时，对其特征点进行提取并与存储的标注物体的特征点进行比对，若匹配则系统确定感应到标注物体。

所述的形成指导路径，通过指导路径生成指引标志包括如下步骤：

S7.存储标注物体在感知模块的感知区域内消失前定位模块所获取的位置坐标以及感知模块所获取的图像数据；

S8.当输入装置获取到寻找该标注物体的指令时，通过标注物体的定位模块所获取的最终位置坐标和此时智能眼镜实时位置坐标形成指导路径，通过成像的指引标志将用户指引至定位模块所获取的最终位置坐标；

S9.通过感知模块获取此时用户视野内的图像，将实时图像与存储的感知模块所获取的标注物体图像数据进行比对，若匹配则系统进行可视化提示，若此时图像中识别出标注物体则进行标注物体的可视化提示，若不匹配则通过成像装置生成方向的指引标识，指引用户接近标注物体位置直至匹配。

一种MR/AR/VR搜寻场景控制方法包括如下步骤：

S10.在某一单体智能眼镜输入装置获取到寻找某一标注物体的指令时，将该标注物体的数据信息通过通信模块进行上传至服务器，由服务器将标注物体的数据信息下发至一定区域范围内的其他单体智能眼镜；

S11.在该区域范围内的其他单体智能眼镜将接收到的标注物体的数据信息与自身感知模块所获取到的视野内图像信息进行比对，若找到匹配物体则找到匹配物体的智能眼镜通过自身通信模块将自身定位模块的坐标数据和自身感知模块的图像数据上传至服务器；

S12.服务器在接收到数据后将该数据回传至发出寻找该标注物体指令的智能眼镜上，该标注物体指令的智能眼镜根据回传的位置坐标和此时自身实时位置坐标形成指导路径，通过指导路径生成指引标志，通过成像装置对指引标志进行可视化成像。

一种移动终端，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述的控制方法的步骤。

一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现所述的控制方法的步骤。

附图说明

图1为本申请智能眼镜系统硬件逻辑框图；

图2为本申请实施例一内部逻辑图；

图3为本申请实施例一外部呈现图；

图4为本申请实施例二界面呈现图；

图5为本申请实施例二外部框架图；

图6为本申请实施例二内部逻辑图；

图7为本申请实施例三内部逻辑图；

图8为本申请实施例四内部逻辑图；

图9为本申请实施例六内部逻辑图；

图10为本申请实施例六外部框架图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

如图1上所示，一种基于增强现实的智能眼镜系统硬件包括若干VR/AR/MR智能眼镜接入设备、服务器以及基于服务器的若干多层互联网区域，其中所述的VR/AR/MR智能眼镜接入设备通过无线通讯与服务器相连，所述的服务器上运行着所述的若干多层互联网区域，所述的互联网区域可视为某一虚拟世界的切片，所述的若干切片可以叠加以特定数量组合成新的切片，用户可通过所述的VR/AR/MR智能眼镜接入设备选择某一切片进行投射。在VR/AR/MR智能眼镜接入设备对所述的互联网区域进行数据获取，即进行信息检索和信息交互功能时：所述的服务器将根据所选切片所对应的目标信息数据对所述的VR/AR/MR智能眼镜接入设备所上传的实时数据进行筛选和分类，保留特定数据，所述的VR/AR/MR智能眼镜接入设备与所述的服务器上的该切片完成特定信息数据的关联和交互，所述的服务器上的该切片根据特定信息数据的确认将该信息数据所对应的多维数据传输至所述的VR/AR/MR智能眼镜接入设备进行投射。所述的VR/AR/MR智能眼镜接入设备包含若干不同类型的传感器和若干数据输入设备，在VR/AR/MR智能眼镜接入设备对所述的互联网区域进行数据上传，即进行信息发布和信息标记功能时：通过所述的传感器对当下的环境信息和人物动作信息进行抓取，通过所述的数据输入设备进行输入，获得的数据上传至所述的服务器上，所述的服务器上的该切片对数据进行分类和筛选，将筛选后的数据进行数据存储并可在所述的互联网区域的该切片下被检索、被交互并作为特定信息数据被投射至与服务器建立特定信息数据关联和交互的VR/AR/MR智能眼镜接入设备上。

如图1下所示，一种基于增强现实的智能眼镜系统硬件包括若干智能眼镜接入设备、智能手机、服务器以及基于服务器的若干多层互联网区域，其中所述的智能眼镜接入设备通过蓝牙连接与所述的智能手机建立数据通道，所述的智能手机通过无线通讯与服务器相连，所述的服务器上运行着所述的若干多层互联网区域，所述的互联网区域可视为某一虚拟世界的切片，所述的若干切片可以叠加以特定数量组合成新的切片，用户可通过所述的智能手机选择某一切片进行该切片信息数据在APP界面上的展示。所述的智能眼镜包含前置感知模块，在智能手机对所述的互联网区域进行数据获取，即进行信息检索和信息交互功能时：通过所述的感知模块实时获取视频信息数据，通过蓝牙连接将视频信息数据传输至所述的智能手机的APP中，通过无线通讯建立APP客户端与所述的互联网区域的数据连接，所述的服务器将根据所选切片所对应的目标信息数据对所述的APP客户端所上传的实时视频信息数据进行筛选和分类，保留特定数据，所述的智能手机与所述的服务器上的该切片完成特定视频信息数据的关联和交互，所述的服务器上的该切片根据特定信息数据的确认将该信息数据所对应的多维数据传输至所述的智能手机中并在APP客户端内进行呈现。在智能手机对所述的互联网区域进行数据上传，即进行信息发布和信息标记功能时：通过所述的智能手机进行数据输入，获得的数据上传至所述的服务器上，所述的服务器上的该切片对数据进行分类和筛选，将筛选后的数据进行数据存储并可在所述的互联网区域的该切片下被检索、被交互并作为特定信息数据被呈现在所述的智能手机的APP界面上。

实施例一，如图2所示，一种基于增强现实的智能眼镜系统软件包括多元场景，多元场景分为不同的功能性场景，所述的功能性场景包含留言场景、创作场景、互动场景、生物场景、购物场景、检索场景、推送场景、联名场景、设计场景、标注场景、交友场景、导航场景、直播场景，但不限于上述功能性场景，每个功能性场景通过切换或叠加的方式在智能眼镜上进行可视化呈现；其中所述的每个功能性场景中可分为不同的主题性场景，所述的主题性场景包含对应不同人物、游戏、电影、动漫的场景，但不限于上述主题性场景，所述的主题性场景即为上述的切片，所述的若干切片可以叠加，以特定数量组合成新的切片，即所述的主题性场景可以单独在智能眼镜上进行可视化呈现，也可以组合在智能眼睛上进行可视化呈现。若所述的主题性场景有N个，则用户可切换的主题性场景的个数上限为：(2^N-1)。

如图3所示，实施例一中基于增强现实的智能眼镜系统硬件包括智能眼镜本体101、交互操控装置102，所述的智能眼镜本体101与所述的交互操控装置102建立数据连接，用户可通过交互操控装置102完成智能眼镜本体101上虚拟场景的切换，其中在所述的智能眼镜本体101上的虚拟成像包含场景标签：场景一201、场景二202、场景三203、场景四204……，实现场景间的可视化切换，更进一步地，所述的场景标签可具备下级标签，用以展开某一场景下的下分场景，通过所述的交互操控装置102实现场景的切换与下钻。

更进一步地，在数据后台中每一种场景对应有使用率、至少一个特征标准及一组AR参数。其中所述的场景一、场景二、场景三、场景四……的排序方式根据每一种场景的对应使用率进行从高到低的排序。其中，所述的使用率计算公式可以为：

式中，t(i)为第i个场景的使用时长，

为用户使用智能眼镜的总时长。

更进一步地，为了逐步适应用户习惯进行数据更新服务，具体方法如下：

S52.建立用户数据库存储用户的特征数据，例如对每一种场景的使用时长，或对每一种场景的使用率，或对每一种场景的使用频次；

S53.每经过一段时间更新一次用户的特征数据，根据特征数据进行场景由高到低的排序。

更进一步地，为了更加匹配用户需求进行个性化定制服务，具体方法如下：

S54.对后台所有用户的特征数据进行归类；

S55.根据归类后的用户特征数据建立用户画像，每一类用户画像对应于某一用户特征数据的区间，同时对应于某一种场景排序；

S56.根据新用户操作完成该用户在用户画像上的归类，执行该类用户画像对应的场景排序。

更进一步地，可实现场景的自主切换与选择，具体方法如下：

S57.分析检测周围环境数据以取得周围环境的至少一个主体特征；

S58.将每一场景的特征标准与该主体特征进行比对，若完成匹配则将场景自主切换至与主体特征匹配的特征标准所对应的场景。

在所述的场景的自主切换与选择中，其特征标准可设定为人像占全图像比例的三分之一及以上，也可以是其他比例，例如四分之一、五分之一等，由厂家自行设定。

举例来说，大学生使用者常使用的场景模式大都以影音视听模式为主。在所有的场景模式使用率中，影音视听模式的使用率可为45％、聊天社交的使用率可为35％，而其它模式的使用率则可为20％。此外，对于应用根据本发明实施例一的场景面板是自动选择方法的装置，出厂时即可针对一般人(或此AR/VR/MR装置的主要消费族群)使用各种场景模式的习惯，事先将各种场景模式的使用率、特征标准与模型参数按次数设定与几率储存于其中。当要使用AR/VR/MR装置时，由摄像装置撷取并分析周围环境的主体特征，并将3D影像数据的主体特征依照使用率高低依序与储存的各种场景的特征标准做对比，以得到与主体特征相符的场景模式。换句话说，由于AR/VR/MR装置的使用者具有直播场景——单人室内直播的习惯，因此通过场景模式的使用率来决定对比顺序，即可减少对比次数，进而加快自动选择场景模式的速度。例如：一般人的常用的场景模式以影音视听模式为主、聊天社交模式次之，再来就是办公模式与其它模式等。因此当取得环境的主体特征时，现行对比影音视听模式的特征标准。若是环境的主体特征与影音视听模式的特征标准不相同时，再行对比聊天社交模式的特征标准。若是环境的主体特征与聊天社交模式的特征标准不相同时，接着依序对比办公模式与其它模式。当得到与环境的主体特征相同的场景模式，再以场景模式的VR参数置换当前的VR参数。因此，利用一般人使用各种场景的使用率来进行对比，可以减少搜寻对比的时间，让使用者可以立即以最符合场景的VR参数提高使用者的体验。

实施例二，如图4所示，一种基于增强现实的智能眼镜系统在留言功能下的可视化场景叠加态可在实景通过所述的智能眼镜的镜片时叠加语音数据和文字数据的可视化成像，实现留言功能的智能眼镜系统硬件如图5所示，包括智能眼镜本体一301、成像装置一401、感知模块一402、语音输入装置一403、文字输入装置一404、定位模块一405、通信模块一406以及服务器一407。其中所述的成像装置一401、感知模块一402、语音输入装置一403、文字输入装置一404、定位模块一405、通信模块一406分别与所述的智能眼镜本体一301建立数据连接，所述的通信模块一406与所述的服务器一407采用远程通信方式建立数据连接。其中，感知模块一402可以为摄像头，也可以为激光雷达。

如图6所示，实施例二中控制具备留言功能的基于增强现实的智能眼镜系统的方法如下：

S1.通过在智能眼镜上的界面切换或选择进入留言场景的增强现实界面；

S2.通过智能眼镜上的定位模块和感知模块获取实时GPS信息和图像信息；

S3.将GPS信息和图像信息通过通信模块上传至服务器，与服务器所存储的历史数据中语音数据和文字数据所附带的GPS信息和图像信息进行匹配；

S4.匹配成功后服务器将历史数据中对应匹配的语音数据、文字数据进行数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的成像装置进行数据呈现。

更进一步地，为了使历史数据和实时数据在匹配过程中减少匹配次数提升匹配速度，对历史数据进行预处理，方法如下：

S5.根据历史数据中语音数据、文字数据所附带的GPS信息和图像信息中的一个或多个信息进行园区的划分，确定对应园区GPS信息和图像信息中的一个或多个信息范围；

S6.将历史数据中语音数据、文字数据根据划定的范围进行归类，完成以园区为主体的数据划分。

其中S5中所述的园区的划分具体可以为：

S51.根据GPS信息对园区进行初步划分，园区1、园区2、园区3、园区4分别对应一个GPS范围；

S52.根据感知模块所获取的图像信息对园区进行二次划分，对图像特征量或标志物进行识别和提取，对每个园区特征量或标志物完成标注，园区1—标记点1、园区1—标记点2、园区1—标记点3，园区2—标记点1、园区2—标记点2、园区2—标记点3，园区3—标记点1、园区3—标记点2、园区3—标记点3。

对完成预处理的数据进行匹配的方法如下：

S7.将服务器历史数据中语音数据、文字数据根据其所附带的GPS信息和图像信息与园区的各区块的GPS信息和图像信息进行匹配；

S8.若完成匹配，则对该条语音数据或文字数据迁移至匹配园区区块内；

S9.将智能眼镜上的实时GPS信息和实时图像信息与园区的各区块的GPS信息和图像信息进行匹配；

S10.若完成匹配，则将该园区区块中的语音数据和文字数据虚拟成像至该智能眼镜上。

更进一步地，为了完成历史数据的更新，对实时数据进行捕捉，方法如下：

S11.通过智能眼镜的语音输入装置和文字输入装置获取语音数据和文字数据，包括语音数据和文字数据所附带的GPS信息和图像信息，通过定位模块和感知模块获取实时信息；

S12.将语音数据和文字数据以及其附带的GPS信息和图像信息上传至服务器的历史数据库。

实施例三，如图7所示，一种基于增强现实的智能眼镜系统在检索功能下的可视化场景叠加态可在实景通过所述的智能眼镜的镜片时叠加相关检索数据的可视化成像，实现检索功能的智能眼镜系统硬件与实施例二相同。更进一步地，为了使实施例三同实施例六具备信息筛选的功能，可在智能眼镜上设置后置摄像头。

实施例三中控制具备检索功能的基于增强现实的智能眼镜系统的方法如下：

S42.通过在智能眼镜上的界面切换或选择进入检索场景的增强现实界面；

S43.通过智能眼镜的感知模块获取视野内的图像，通过算法对图像进行识别，识别图像中的特征点并完成特征对象的锁定，通过通信模块将该特征对象数据上传至服务器；

S44.将服务器中网络数据库和内置数据库存储的特征对象所关联的信息通过通信模块回传至智能眼镜，通过智能眼镜的成像装置进行关联信息的成像。

其中，关联信息可以包括其他用户对特征对象所上传的文字数据、语音数据、图像数据等多维度数据，其他端口对特征对象所上传的文字数据、语音数据、图像数据等多维度数据。

以店铺街景的实景成像为例，所述的其他用户对特征对象所上传的文字数据、语音数据、图像数据等多维度数据包含用户对店铺消费后发布的历史评价信息，或用户在店铺停留时发布的实时交友信息；所述的其他端口对特征对象所上传的文字数据、语音数据、图像数据等多维度数据包含商家对店内所提供服务、所主打商品进行上传的信息，或商家对店内所举办活动、所主张优惠进行上传的信息，或商家上传的品牌吉祥物、品牌代言人的三维图像信息。

以书本或电影海报实景成像为例，所述的其他用户对特征对象所上传的文字数据、语音数据、图像数据等多维度数据包含用户在阅读或观影后所发布的书评或影评，或用户在阅读或观影后所发布的实时交友信息；所述的其他端口对特征对象所上传的文字数据、语音数据、图像数据等多维度数据包含组织者所上传的读书活动或观影活动，或商家所上传的书本或电影的周边商品，或作者所上传的创作心得。

更进一步地，在所述的S44中通过智能眼镜的成像装置进行关联信息的成像时成像位置与所述的特征对象实景通过镜片所成像的位置相同或向某一特定方向偏移。

更进一步地，为了实现特征对象的精准定位，在所述的S43中可通过定位模块获取用户位置，同时结合图像信息完成特征对象的锁定。

更进一步地，为了防止信息爆炸式的可视化显示，通过折叠或筛选的方式完成信息的屏蔽。

其中所述的折叠方法具体可以为：所述的关联信息通过用户操作完成信息的收起和展开，收起时可在镜片上进行关联信息存在的提示标注，展开时则完成关联信息的成像。

其中所述的筛选方法具体可以为在成像时对关联信息进行筛选：

S441.通过后置摄像头对眼球信息进行捕捉，获取当下时刻眼球的光学焦点，将该焦点投射至感知模块所获取到的图像上，确定焦点是否在识别出的特征对象范围内；

S442.若焦点在识别出的某一特征对象范围内，且焦点停留时间超过设定阈值，通过成像装置对该特征对象的关联信息进行显示，否则不显示特征对象的关联信息。

更进一步地，为了创建可供信息检索的数据库，根据系统主动获取的数据和用户上传的数据创建检索模型库，检索模型库包含有以下类型：一维数据库、二维数据库、三维数据库。

其中，三维数据库中的数据可以是通过人类社会和自然界一切实际存在的、历史的、虚拟的、唯物的建立，也可以是用户在这个基础上进行再创造的、想象的概念或模型。二维数据库可以是由三维数据库的数据映射或切片得来，也可以是由用户主动创造并上传所获取的；一维数据库可以是由二维数据库的数据映射或切片得来，也可以是由用户主动创造并上传所获取的。

其中，所述的数据映射或切片具体可以为，以三维数据为例：

方案一、任取三维数据的一个截面提取相应数据信息；

方案二、将三维数据通过一定函数转换变换为二维数据信息。

其中，在检索模型库中，对所上传的特征对象数据进行检索，根据匹配度将检索结果在空间上进行排列显示，所述的匹配度如结构匹配度、外形匹配度、原理匹配度、信息匹配度等。

对于检索结果的显示可以为对检索结果在一维数据库、二维数据库和三维数据库的组合展示；也可以为通过用户自由选择搜索库一维数据库、二维数据库、三维数据库中的一个或多个进行展示。

更进一步地，所述的检索功能不仅可以结合网络数据库进行检索，而且可以结合本地数据库进行检索，本地数据库可以是完成本地实际世界映射的数字孪生世界，以图书馆的数字化本地数据库为例：当用户进入图书馆地界后可在图书馆本地数据库进行检索，确认检索目标后系统将生成三维指示标识引导用户寻找到目标的位置，在识别到目标后用户可通过其他用户在该目标上的标注获取相应信息。

实施例四，如图8所示，一种基于增强现实的智能眼镜系统在推送功能下的可视化场景叠加态可在实景通过所述的智能眼镜的镜片时叠加相关推送数据的可视化成像，实现推送功能的智能眼镜系统硬件除了无需定位模块以外其他与实施例二相同。

实施例四中控制具备推送功能的基于增强现实的智能眼镜系统的方法如下：

S52.通过在智能眼镜上的界面切换或选择进入推送场景的增强现实界面；

S53.通过智能眼镜的感知模块获取视野内的图像，完成视频内容的识别进行内容定位，根据系统设定对特定定位内容信息数据通过通信模块上传至服务器，服务器将内置广告、信息、内容周边回传至智能眼镜；

S54.智能眼镜通过成像模块将推送回的广告、信息、内容周边进行可视化呈现。

更进一步地为了增加视频内容的趣味性和互动性，可增设评论版块完成智能眼镜各用户之间针对视频内容的讨论。

实施例五，一种基于增强现实的智能眼镜系统在设计功能下的可视化场景叠加态可在实景通过所述的智能眼镜的镜片时叠加相关设计元素数据的可视化成像，实现设计功能的智能眼镜系统硬件除了无需定位模块以外其他与实施例四相同。

实施例五中控制具备设计功能的基于增强现实的智能眼镜系统的方法如下：

S55.通过在智能眼镜上的界面切换或选择进入设计场景的增强现实界面；

S56.通过端口在基本框架上对设计元素进行虚拟化建模，完成建模时对设计元素结构数据和设计元素相对于基本框架的位置关系数据进行保存并上传云端，通过云端服务器将设计元素数据上传至智能眼镜中；

S57.通过感知模块获取视野内实际图像，通过系统识别实际图像的基本框架，用户通过动作捕捉装置完成设计元素的选择，通过成像装置完成设计元素的可视化呈现。

其中S56和S57中所述的基本框架可以为人体骨骼或轮廓，也可以为衣服的边框和轮廓。

其中，S57中所述的通过成像装置完成设计元素的可视化呈现有以下两种方案：

方案一、通过设计元素相对于基本框架的位置关系数据完成成像的设计元素在识别出的实际图像基本框架上的位置确认与锁定；

方案二、通过动作捕捉装置将设计元素人为移动到指定位置。

实施例六，如图9所示，一种基于增强现实的智能眼镜系统在标注功能下的可视化场景叠加态可在实景通过所述的智能眼镜的镜片时叠加相关标注数据的可视化成像，实现标注功能的智能眼镜系统硬件如图10所示，包括智能眼镜本体五1001、输入装置五1002、成像装置五1004、感知模块五1003、定位模块五1005、通信模块五1006以及服务器五1007。其中，所述的输入装置五1002、成像装置五1004、感知模块五1003、定位模块五1005、通信模块五1006分别与所述的智能眼镜本体五1001建立数据连接，所述的通信模块五1006与所述的服务器五1007采用远程通信方式建立数据连接。其中，所述的感知模块五1003可以为摄像头，也可以为激光雷达；所述的输入装置五1002可以为语音输入，也可以为文字输入。

实施例六中控制具备标注功能的基于增强现实的智能眼镜系统的方法如下：

S45.通过在智能眼镜上的界面切换或选择进入标注场景的增强现实界面；

S46.通过智能眼镜的感知模块获取视野内的图像，通过算法对图像进行识别，识别图像中的物体轮廓，通过感知模块获取用户行为操作，根据用户操作完成标注物体的选择；

S47.在完成标注后，智能眼镜系统通过感知模块感应到标注物体后自动跟随标注物体的路径并存储标注物体在感知模块的感知区域内消失前的最终位置坐标，同时，通过感知模块实时感知标注物体是否重新出现在感知区域内，若出现则继续自动跟随标注物体的路径并更新标注物体在感知模块的感知区域内消失前的最终位置坐标，如此循环往复；

S48.通过输入装置获取寻找某一标注物体的指令，调取后台所存储的该标注物体最终位置坐标，根据最终位置坐标和此时智能眼镜实时位置坐标形成指导路径，通过指导路径生成指引标志，通过成像装置对指引标志进行可视化成像。

其中，感知模块感应标注物体的具体方法可以为：

S471.在标注物体时通过感知模块对标注物体的特征点进行提取并完成对应数据的存储；

S472.当感知模块感应到相应物体时，对其特征点进行提取并与存储的标注物体的特征点进行比对，若匹配则系统确定感应到标注物体。

其中，S472中所述的匹配具体可以为比对的相似度超过设定阈值。

其中，S47中所述的位置坐标可以通过定位模块进行获取；更进一步地为了使位置坐标更加精确，采用定位模块和感知模块共同完成位置坐标的获取并完成指导路径的生成，具体可以为：

S481.存储标注物体在感知模块的感知区域内消失前定位模块所获取的位置坐标以及感知模块所获取的图像数据；

S482.当输入装置获取到寻找该标注物体的指令时，通过标注物体的定位模块所获取的最终位置坐标和此时智能眼镜实时位置坐标形成指导路径，通过成像的指引标志将用户指引至定位模块所获取的最终位置坐标；

S483.通过感知模块获取此时用户视野内的图像，将实时图像与存储的感知模块所获取的标注物体图像数据进行比对，若匹配则系统进行可视化提示，若此时图像中识别出标注物体则进行标注物体的可视化提示，若不匹配则通过成像装置生成方向的指引标识，指引用户接近标注物体位置直至匹配。

其中，S483所述的系统进行可视化提示具体可以为成像装置进行视野画面闪烁呈现；其中，S483所述的进行标注物体的可视化提示具体可以为识别出标注物体后成像装置进行标注物体轮廓线的呈现；其中，S483所述的匹配具体可以为比对的相似度超过设定阈值。

其中，S483所述的若不匹配则通过成像装置生成方向的指引坐标，指引用户接近标注物体位置直至匹配的方法具体可以为：

S484.通过成像装置生成任意方向的指引标识，将感知模块所获取的实时图像与存储的感知模块所获取的标注物体图像数据进行比对，计算图像数据的相似度指标，若在一定时间内相似度指标增长率超过设定阈值则确认该方向为正确方向，否则为错误方向；

S485.若初始方向为正确方向，则以相似度指标斜率最大时智能眼镜所正对的位置为基准线，生成沿初始方向的指引标识，计算沿指引标识运动时的相似度指标变化，若相似度指标增大则继续生成沿初始方向的指引标识，直至识别到标注物体；若相似度指标减小则生成沿初始方向相反的指引标识，计算沿指引标识运动时的相似度指标变化，若相似度指标增大则继续生成沿初始方向相反的指引标识，直至识别到标注物体；

S486.若初始方向为错误方向，则以初始位置为基准线，生成沿初始方向相反方向的指引标识，计算沿指引标识运动时的相似度指标变化，若相似度指标增大则继续生成沿初始方向相反的指引标识，直至识别到标注物体。

由于单体智能眼镜所获取到的信息有限，更进一步地，为了增加标注物体的搜寻范围，将智能眼镜进行联网完成网络的搜寻，具体方法可以为：

S49.在某一单体智能眼镜输入装置获取到寻找某一标注物体的指令时，将该标注物体的数据信息通过通信模块进行上传至服务器，由服务器将标注物体的数据信息下发至一定区域范围内的其他单体智能眼镜；

S50.在该区域范围内的其他单体智能眼镜将接收到的标注物体的数据信息与自身感知模块所获取到的视野内图像信息进行比对，若找到匹配物体则找到匹配物体的智能眼镜通过自身通信模块将自身定位模块的坐标数据和自身感知模块的图像数据上传至服务器；

S51.服务器在接收到数据后将该数据回传至发出寻找该标注物体指令的智能眼镜上，该标注物体指令的智能眼镜根据回传的位置坐标和此时自身实时位置坐标形成指导路径，通过指导路径生成指引标志，通过成像装置对指引标志进行可视化成像。

其中，智能眼镜系统接入的服务器可以是中心部署的服务器，也可以是边缘部署的分布式服务器，服务器的数量不限。若服务器为分布式服务器，则可以布置在各个位置，智能眼镜可通过GPS感应、网络感应、雷达感应等多种空间感应方式完成对分布式服务器的访问，分布式服务器可以布置在如公交车、店铺、学校、医院、事业单位、企业等公共空间内。

实施例七，一种基于增强现实的分布式服务器智能眼镜系统包括若干布置于不同位置的分布式服务器和若干可接入网络的AR/MR/VR智能眼镜。一种控制分布式服务器智能眼镜系统的控制方法如下：

S59.AR/MR/VR智能眼镜通过网络或GPS或雷达或图像访问布置于该空间区域的分布式服务器；

S60.被访问的分布式服务器通过数据通信将存储的二/三维图像/视频数据、音频数据、文字数据传输至访问的AR/MR/VR智能眼镜；

S61.AR/MR/VR智能眼镜通过成像装置将所接收到的二/三维图像/视频数据、音频数据、文字数据进行可视化呈现。

其中，AR/MR/VR智能眼镜通过网络访问布置于该空间区域的分布式服务器具体可以为：AR/MR/VR智能眼镜通过接入分布式服务器的无线局域网络完成访问。

其中，AR/MR/VR智能眼镜通过GPS访问布置于该空间区域的分布式服务器具体可以为：

S591.分布式服务器上传所属区块的GPS信息至云端；

S592.云端将AR/MR/VR智能眼镜实时上传的GPS信息与分布式服务器上传所属区块的GPS信息进行比对；

S593.若比对时完成匹配，由云端连接AR/MR/VR智能眼镜对对应匹配的分布式服务器进行访问。

其中，上述实施例中通过设备获取人为操作的装置可以是图像传感器、雷达传感器、触摸传感器、按键传感器、语音传感器等可以获取人类行为的装置。

其中，上述实施例中进入某一场景是通过人为选择完成，也可以通过识别该区域是否设有场景来自动进入该场景，更进一步地，若识别到有多个场景，通过算法获取用户习惯完成场景选择并自动进入该场景。

其中，本发明所保护的智能眼镜可以是只具备单独功能/单独场景的单一功能智能眼镜，也可以是具备多种功能/多种场景的多种功能智能眼镜，多种功能智能眼镜可以是单独功能/单独场景的两个及两个以上组合，包括硬件的组合和功能的组合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种MR/AR/VR标注场景控制方法，其特征在于包括如下步骤：

S1.通过在智能眼镜上的界面切换或选择进入标注场景的增强现实界面；

S2.通过智能眼镜的感知模块获取视野内的图像，通过算法对图像进行识别，识别图像中的物体轮廓，通过感知模块获取用户行为操作，根据用户操作完成标注物体的选择；

S3.在完成标注后，智能眼镜系统通过感知模块感应标注物体，并自动跟随标注物体的路径并存储标注物体在感知模块的感知区域内消失前的最终位置坐标，同时，通过感知模块实时感知标注物体是否重新出现在感知区域内，若出现则继续自动跟随标注物体的路径并更新标注物体在感知模块的感知区域内消失前的最终位置坐标，如此循环往复；

S4.通过输入装置获取寻找某一标注物体的指令，调取后台所存储的该标注物体最终位置坐标，根据最终位置坐标和此时智能眼镜实时位置坐标形成指导路径，通过指导路径生成指引标志，通过成像装置对指引标志进行可视化成像。

2.根据权利要求1所述的控制方法，其特征在于所述的通过感知模块感应标注物体包括如下步骤：

S5.在标注物体时通过感知模块对标注物体的特征点进行提取并完成对应数据的存储；

S6.当感知模块感应到相应物体时，对其特征点进行提取并与存储的标注物体的特征点进行比对，若匹配则系统确定感应到标注物体。

3.根据权利要求1所述的控制方法，其特征在于所述的形成指导路径，通过指导路径生成指引标志包括如下步骤：

S7.存储标注物体在感知模块的感知区域内消失前定位模块所获取的位置坐标以及感知模块所获取的图像数据；

S8.当输入装置获取到寻找该标注物体的指令时，通过标注物体的定位模块所获取的最终位置坐标和此时智能眼镜实时位置坐标形成指导路径，通过成像的指引标志将用户指引至定位模块所获取的最终位置坐标；

S9.通过感知模块获取此时用户视野内的图像，将实时图像与存储的感知模块所获取的标注物体图像数据进行比对，若匹配则系统进行可视化提示，若此时图像中识别出标注物体则进行标注物体的可视化提示，若不匹配则通过成像装置生成方向的指引标识，指引用户接近标注物体位置直至匹配。

4.一种MR/AR/VR搜寻场景控制方法，其特征在于包括如下步骤：

S10.在某一单体智能眼镜输入装置获取到寻找某一标注物体的指令时，将该标注物体的数据信息通过通信模块进行上传至服务器，由服务器将标注物体的数据信息下发至一定区域范围内的其他单体智能眼镜；

S11.在该区域范围内的其他单体智能眼镜将接收到的标注物体的数据信息与自身感知模块所获取到的视野内图像信息进行比对，若找到匹配物体则找到匹配物体的智能眼镜通过自身通信模块将自身定位模块的坐标数据和自身感知模块的图像数据上传至服务器；

S12.服务器在接收到数据后将该数据回传至发出寻找该标注物体指令的智能眼镜上，该标注物体指令的智能眼镜根据回传的位置坐标和此时自身实时位置坐标形成指导路径，通过指导路径生成指引标志，通过成像装置对指引标志进行可视化成像。

5.一种移动终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的控制方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的控制方法的步骤。

Images