CN114153214B - 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质 - Google Patents
一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质 Download PDFInfo
- Publication number
- CN114153214B CN114153214B CN202111460758.XA CN202111460758A CN114153214B CN 114153214 B CN114153214 B CN 114153214B CN 202111460758 A CN202111460758 A CN 202111460758A CN 114153214 B CN114153214 B CN 114153214B
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional image
- intelligent glasses
- image data
- gps information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000011521 glass Substances 0.000 claims abstract description 120
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 28
- 230000003190 augmentative effect Effects 0.000 claims description 18
- 230000008447 perception Effects 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 5
- 230000006698 induction Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Abstract
一种MR/AR/VR留言和创作场景控制方法、移动终端与可读存储介质可通过智能眼镜和多种传感设备完成在实际现实场景中完成虚拟交互，通过智能眼镜上的定位模块和感知模块获取实时GPS信息和图像信息，与服务器所存储的历史数据中三维图像数据和二维图像数据所附带的GPS信息和图像信息进行匹配，匹配成功进行成像。增加实际现实场景的趣味性和互动性，该方法不仅能预防用户沉浸于虚拟世界，而且降低了现实世界的实现成本提高了现实世界的趣味性、互动性和针对性，该项技术、系统与应用能够真正让人们在体验真实生活的同时享受虚拟生活的便利。
Description
技术领域
本申请涉及增强现实技术领域，具体涉及一种MR/AR/VR留言和创作场 景控制方法、移动终端与可读存储介质。
背景技术
目前，VR眼镜的相关研究和开发迎来了一波热潮，越来越多的公司和 企业宣布加入研发行列进行相关产品的研发。VR眼镜作为主流产品主打沉浸 式和全虚拟，但该类产品由于打造的是全虚拟的世界平台容易让使用者沉迷虚 拟世界，逃离现实世界，易于产生降低人均生产效率和生产价值的不良影响， 不利于社会发展。
同时，在现实生活中经常出现构想或设计的实际复现成本较大且建设周期 较长的情况，并且由于现实世界中缺少互动性和趣味性而让越来越多的人选择 在网上畅游，并且在现实世界中的行动成本和检索成本较高而让越来越多的人 选择在网上购物、点外卖，上述现象都是由于现实世界与虚拟世界还未实现互 联互通所导致的。
因此，将虚拟世界与现实世界在同一个平台上进行融合的系统和方法不仅 能预防用户沉浸于虚拟世界，而且降低了现实世界的实现成本提高了现实世界 的趣味性、互动性和针对性，该项技术、系统与应用能够真正让人们在体验真 实生活的同时享受虚拟生活的便利。
发明内容
一种MR/AR/VR留言场景控制方法包括如下步骤：
S1.通过在智能眼镜上的界面切换或选择进入留言场景的增强现实界面；
S2.通过智能眼镜上的定位模块和感知模块获取实时GPS信息和图像信 息；
S3.将GPS信息和图像信息通过通信模块上传至服务器，与服务器所存储 的历史数据中语音数据和文字数据所附带的GPS信息和图像信息进行匹配；
S4.匹配成功后服务器将历史数据中对应匹配的语音数据、文字数据进行 数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的成像装置 进行数据呈现。
一种MR/AR/VR创作场景控制方法包括如下步骤：
S5.通过在智能眼镜上的界面切换或选择进入创作场景的增强现实展示层 界面；
S6.通过智能眼镜上的定位模块和感知模块获取实时GPS信息和图像信 息；
S7.将GPS信息和图像信息通过通信模块上传至服务器，与服务器所存储 的历史数据中三维图像数据和二维图像数据所附带的GPS信息和图像信息进 行匹配；
S8.匹配成功后服务器将历史数据中对应匹配的三维图像数据、二维图像 数据进行数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的 成像装置进行数据呈现。
所述的历史数据的预处理包括如下步骤：
S9.根据历史数据中相关数据所附带的GPS信息和图像信息中的一个或多 个信息进行园区的划分，确定对应园区GPS信息和图像信息中的一个或多个 信息范围；
S10.将历史数据中相关数据根据划定的范围进行归类，完成以园区为主体 的数据划分。
所述的园区的划分包括如下步骤：
S11.根据GPS信息对园区进行初步划分，每个园区分别对应一个GPS范 围；
S12.根据感知模块所获取的图像信息对园区进行二次划分，对图像特征量 或标志物进行识别和提取，对每个园区特征量或标志物完成标注。
经过所述的预处理的数据进行匹配的方法如下：
S13.将服务器历史数据中相关数据根据其所附带的GPS信息和图像信息 与园区的各区块的GPS信息和图像信息进行匹配；
S14.若完成匹配，则将该数据迁移至匹配园区区块内；
S15.将智能眼镜上的实时GPS信息和实时图像信息与园区的各区块的 GPS信息和图像信息进行匹配；
S16.若完成匹配，则将该园区区块中的相关数据虚拟成像至该智能眼镜 上。
所述的三维图像数据、二维图像数据通过如下步骤进行获取：
S17.通过在智能眼镜上的界面切换或选择进入创作场景的增强现实创作 层界面；
S18.用户通过智能眼镜的操作手柄构建三维图像数据或二维图像数据，通 过成像装置将构建的实时三维图像数据或实时二维图像数据成像在智能眼镜 的镜片上，根据智能眼镜的定位模块获取当下的GPS信息，根据智能眼镜的 感知模块获取当下实景的图像信息，将GPS信息和图像信息附带在所述的三 维图像数据或二维图像数据中；
S19.将上述打包后的数据通过通信模块上传至服务器，通过服务器将三维 图像数据或二维图像数据传输至GPS信息和图像信息与所上传的三维图像数 据或二维图像数据附带的GPS信息和图像信息相同的智能眼镜上，通过成像 装置进行成像展示。
所述的三维图像数据、二维图像数据通过如下步骤进行多次创作：
S20.通过智能眼镜的操作手柄在历史数据中的三维图像数据和二维图像 数据上进行数据的更改和添加，通过成像装置将实时三维图像数据或实时二维 图像数据成像在智能眼镜的镜片上，根据智能眼镜的定位模块更新当下的GPS 信息，根据智能眼镜的感知模块更新当下实景的图像信息，将GPS信息和图 像信息附带在所述的三维图像数据或二维图像数据中；
S21.将上述更新后的数据通过通信模块上传至服务器，通过服务器将三维 图像数据或二维图像数据传输至GPS信息和图像信息与所上传的三维图像数 据或二维图像数据附带的GPS信息和图像信息相同的智能眼镜上，通过成像 装置进行成像展示。
一种移动终端，包括处理器、存储器及存储在所述存储器上并可在所述处 理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述的控 制方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序， 所述计算机程序被处理器执行时实现所述的控制方法的步骤。
附图说明
图1为本申请基于增强现实的智能眼镜系统硬件逻辑框图；
图2为本申请实施例一内部逻辑图；
图3为本申请实施例一外部呈现图；
图4为本申请实施例二界面呈现图；
图5为本申请实施例二外部框架图；
图6为本申请实施例二内部逻辑图；
图7为本申请实施例三界面呈现图；
图8为本申请实施例三外部框架图；
图9为本申请实施例三内部逻辑图；
图10为本申请实施例三创作逻辑图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不 能理解为对本申请的限制。
如图1所示，一种基于增强现实的智能眼镜系统硬件包括若干VR/AR/MR 智能眼镜接入设备、服务器以及基于服务器的若干多层互联网区域，其中所述 的VR/AR/MR智能眼镜接入设备通过无线通讯与服务器相连，所述的服务器 上运行着所述的若干多层互联网区域，所述的互联网区域可视为某一虚拟世界 的切片，所述的若干切片可以叠加以特定数量组合成新的切片，用户可通过所 述的VR/AR/MR智能眼镜接入设备选择某一切片进行投射。在VR/AR/MR智 能眼镜接入设备对所述的互联网区域进行数据获取，即进行信息检索和信息交 互功能时：所述的服务器将根据所选切片所对应的目标信息数据对所述的 VR/AR/MR智能眼镜接入设备所上传的实时数据进行筛选和分类，保留特定 数据，所述的VR/AR/MR智能眼镜接入设备与所述的服务器上的该切片完成 特定信息数据的关联和交互，所述的服务器上的该切片根据特定信息数据的确 认将该信息数据所对应的多维数据传输至所述的VR/AR/MR智能眼镜接入设 备进行投射。所述的VR/AR/MR智能眼镜接入设备包含若干不同类型的传感 器和若干数据输入设备，在VR/AR/MR智能眼镜接入设备对所述的互联网区 域进行数据上传，即进行信息发布和信息标记功能时：通过所述的传感器对当 下的环境信息和人物动作信息进行抓取，通过所述的数据输入设备进行输入， 获得的数据上传至所述的服务器上，所述的服务器上的该切片对数据进行分类 和筛选，将筛选后的数据进行数据存储并可在所述的互联网区域的该切片下被 检索、被交互并作为特定信息数据被投射至与服务器建立特定信息数据关联和 交互的VR/AR/MR智能眼镜接入设备上。
实施例一，如图2所示，一种基于增强现实的智能眼镜系统软件包括多元 场景，多元场景分为不同的功能性场景，所述的功能性场景包含留言场景、创 作场景、互动场景、生物场景、购物场景、检索场景、推送场景、联名场景、 设计场景、标注场景、交友场景、导航场景、直播场景，但不限于上述功能性 场景，每个功能性场景通过切换或叠加的方式在智能眼镜上进行可视化呈现； 其中所述的每个功能性场景中可分为不同的主题性场景，所述的主题性场景包 含对应不同人物、游戏、电影、动漫的场景，但不限于上述主题性场景，所述的主题性场景即为上述的切片，所述的若干切片可以叠加，以特定数量组合成 新的切片，即所述的主题性场景可以单独在智能眼镜上进行可视化呈现，也可 以组合在智能眼睛上进行可视化呈现。若所述的主题性场景有N个，则用户 可切换的主题性场景的个数上限为：(2N-1)。
如图3所示，实施例一中基于增强现实的智能眼镜系统硬件包括智能眼镜 本体101、交互操控装置102，所述的智能眼镜本体101与所述的交互操控装 置102建立数据连接，用户可通过交互操控装置102完成智能眼镜本体101 上虚拟场景的切换，其中在所述的智能眼镜本体101上的虚拟成像包含场景标 签：场景一201、场景二202、场景三203、场景四204……，实现场景间的可 视化切换，更进一步地，所述的场景标签可具备下级标签，用以展开某一场景 下的下分场景，通过所述的交互操控装置102实现场景的切换与下钻。
更进一步地，在数据后台中每一种场景对应有使用率、至少一个特征标准 及一组AR参数。其中所述的场景一、场景二、场景三、场景四……的排序方 式根据每一种场景的对应使用率进行从高到低的排序。其中，所述的使用率计 算公式可以为：
式中，t(i)为第i个场景的使用时长，/>
为 用户使用智能眼镜的总时长。
更进一步地，为了逐步适应用户习惯进行数据更新服务，具体方法如下：
S52.建立用户数据库存储用户的特征数据，例如对每一种场景的使用时 长，或对每一种场景的使用率，或对每一种场景的使用频次；
S53.每经过一段时间更新一次用户的特征数据，根据特征数据进行场景由 高到低的排序。
更进一步地，为了更加匹配用户需求进行个性化定制服务，具体方法如下：
S54.对后台所有用户的特征数据进行归类；
S55.根据归类后的用户特征数据建立用户画像，每一类用户画像对应于某 一用户特征数据的区间，同时对应于某一种场景排序；
S56.根据新用户操作完成该用户在用户画像上的归类，执行该类用户画像 对应的场景排序。
更进一步地，可实现场景的自主切换与选择，具体方法如下：
S57.分析检测周围环境数据以取得周围环境的至少一个主体特征；
S58.将每一场景的特征标准与该主体特征进行比对，若完成匹配则将场景 自主切换至与主体特征匹配的特征标准所对应的场景。
在所述的场景的自主切换与选择中，其特征标准可设定为人像占全图像比 例的三分之一及以上，也可以是其他比例，例如四分之一、五分之一等，由厂 家自行设定。
实施例二，如图4所示，一种基于增强现实的智能眼镜系统在留言功能下 的可视化场景叠加态可在实景通过所述的智能眼镜的镜片时叠加语音数据和 文字数据的可视化成像，实现留言功能的智能眼镜系统硬件如图5所示，包括 智能眼镜本体一301、成像装置一401、感知模块一402、语音输入装置一403、 文字输入装置一404、定位模块一405、通信模块一406以及服务器一407。 其中所述的成像装置一401、感知模块一402、语音输入装置一403、文字输 入装置一404、定位模块一405、通信模块一406分别与所述的智能眼镜本体 一301建立数据连接，所述的通信模块一406与所述的服务器一407采用远程 通信方式建立数据连接。其中，感知模块一402可以为摄像头，也可以为激光 雷达。
如图6所示，实施例二中控制具备留言功能的基于增强现实的智能眼镜系 统的方法如下：
S1.通过在智能眼镜上的界面切换或选择进入留言场景的增强现实界面；
S2.通过智能眼镜上的定位模块和感知模块获取实时GPS信息和图像信 息；
S3.将GPS信息和图像信息通过通信模块上传至服务器，与服务器所存储 的历史数据中语音数据和文字数据所附带的GPS信息和图像信息进行匹配；
S4.匹配成功后服务器将历史数据中对应匹配的语音数据、文字数据进行 数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的成像装置 进行数据呈现。
更进一步地，为了使历史数据和实时数据在匹配过程中减少匹配次数提升 匹配速度，对历史数据进行预处理，方法如下：
S5.根据历史数据中语音数据、文字数据所附带的GPS信息和图像信息中 的一个或多个信息进行园区的划分，确定对应园区GPS信息和图像信息中的 一个或多个信息范围；
S6.将历史数据中语音数据、文字数据根据划定的范围进行归类，完成以 园区为主体的数据划分。
其中S5中所述的园区的划分具体可以为：
S51.根据GPS信息对园区进行初步划分，园区1、园区2、园区3、园区4 分别对应一个GPS范围；
S52.根据感知模块所获取的图像信息对园区进行二次划分，对图像特征量 或标志物进行识别和提取，对每个园区特征量或标志物完成标注，园区1—标 记点1、园区1—标记点2、园区1—标记点3，园区2—标记点1、园区2—标 记点2、园区2—标记点3，园区3—标记点1、园区3—标记点2、园区3—标 记点3。
对完成预处理的数据进行匹配的方法如下：
S7.将服务器历史数据中语音数据、文字数据根据其所附带的GPS信息和 图像信息与园区的各区块的GPS信息和图像信息进行匹配；
S8.若完成匹配，则对该条语音数据或文字数据迁移至匹配园区区块内；
S9.将智能眼镜上的实时GPS信息和实时图像信息与园区的各区块的GPS 信息和图像信息进行匹配；
S10.若完成匹配，则将该园区区块中的语音数据和文字数据虚拟成像至该 智能眼镜上。
更进一步地，为了完成历史数据的更新，对实时数据进行捕捉，方法如下：
S11.通过智能眼镜的语音输入装置和文字输入装置获取语音数据和文字 数据，包括语音数据和文字数据所附带的GPS信息和图像信息，通过定位模 块和感知模块获取实时信息；
S12.将语音数据和文字数据以及其附带的GPS信息和图像信息上传至服 务器的历史数据库。
实施例三，如图7所示，一种基于增强现实的智能眼镜系统在创作功能下 的可视化场景叠加态可在实景通过所述的智能眼镜的镜片时叠加图像数据的 可视化成像，实现创作功能的智能眼镜系统硬件如图8所示，包括智能眼镜本 体二501、操作手柄502、成像装置二504、感知模块二503、定位模块二505、 通信模块二506以及服务器二507。其中，所述的操作手柄502、成像装置二 504、感知模块二503、定位模块二505、通信模块二506分别与所述的智能眼 镜本体二501建立数据连接，所述的通信模块二506与所述的服务器二507 采用远程通信方式建立数据连接。其中，感知模块二503可以为摄像头，也可 以为激光雷达。
实施例三中控制具备创作功能的基于增强现实的智能眼镜系统的方法包 括展示层与创作层，如图9所示，其中展示层的方法基本与实施例二相同，如 下：
S13.通过在智能眼镜上的界面切换或选择进入创作场景的增强现实展示 层界面；
S14.通过智能眼镜上的定位模块和感知模块获取实时GPS信息和图像信 息；
S15.将GPS信息和图像信息通过通信模块上传至服务器，与服务器所存储 的历史数据中三维图像数据和二维图像数据所附带的GPS信息和图像信息进 行匹配；
S16.匹配成功后服务器将历史数据中对应匹配的三维图像数据、二维图像 数据进行数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的 成像装置进行数据呈现。
更进一步地，为了使历史数据和实时数据在匹配过程中减少匹配次数提升 匹配速度，对历史数据进行预处理，方法如下：
S17.根据历史数据中三维图像数据、二维图像数据所附带的GPS信息和图 像信息中的一个或多个信息进行园区的划分，确定对应园区GPS信息和图像 信息中的一个或多个信息范围；
S18.将历史数据中三维图像数据、二维图像数据根据划定的范围进行归 类，完成以园区为主体的数据划分。
其中S17中所述的园区的划分具体可以为：
S171.根据GPS信息对园区进行初步划分，园区1、园区2、园区3、园区 4分别对应一个GPS范围；
S172.根据感知模块所获取的图像信息对园区进行二次划分，对图像特征 量或标志物进行识别和提取，对每个园区特征量或标志物完成标注，园区1— 标记点1、园区1—标记点2、园区1—标记点3，园区2—标记点1、园区2 —标记点2、园区2—标记点3，园区3—标记点1、园区3—标记点2、园区3 —标记点3。
对完成预处理的数据进行匹配的方法如下：
S19.将服务器历史数据中三维图像数据、二维图像数据根据其所附带的GPS信息和图像信息与园区的各区块的GPS信息和图像信息进行匹配；
S20.若完成匹配，则将三维图像数据、二维图像数据迁移至匹配园区区块 内；
S21.将智能眼镜上的实时GPS信息和实时图像信息与园区的各区块的 GPS信息和图像信息进行匹配；
S22.若完成匹配，则将该园区区块中的三维图像数据和二维图像数据虚拟 成像至该智能眼镜上。
如图10所示，其中创作层的方法如下：
S23.通过在智能眼镜上的界面切换或选择进入创作场景的增强现实创作 层界面；
S24.用户通过智能眼镜的操作手柄构建三维图像数据或二维图像数据，通 过成像装置将构建的实时三维图像数据或实时二维图像数据成像在智能眼镜 的镜片上，根据智能眼镜的定位模块获取当下的GPS信息，根据智能眼镜的 感知模块获取当下实景的图像信息，将GPS信息和图像信息附带在所述的三 维图像数据或二维图像数据中；
S25.将上述打包后的数据通过通信模块上传至服务器，通过服务器将三维 图像数据或二维图像数据传输给其他智能眼镜进行成像展示。
为了有针对性地将数据展示给特定人群，可在S24和S25之间设置选择公 开类型的选项，根据公开类型在S25中有选择性地选择GPS信息/图像信息匹 配且涵盖在公开范围内的智能眼镜进行三维图像数据或二维图像数据的成像。
为了保护著作性的创作，在尊重创作者意愿的同时不排除二次创作的可能 性，可在S24和S25之间设置选择是否锁定的选项，若选择锁定，则其他端口 不能对其进行二次创作；若选择不锁定，则其他端口可对其进行二次、三次…… 多次创作；若选择锁定和不锁定，则在服务器中建立副本，在原空间不能对其 进行二次创作，在副本中可对其进行二次、三次……多次创作。
其中，所述的多次创作具体可以为，在S13～S16之后添加下述步骤：
S27.通过智能眼镜的操作手柄在历史数据中的三维图像数据和二维图像 数据上进行数据的更改和添加，通过成像装置将实时三维图像数据或实时二维 图像数据成像在智能眼镜的镜片上，根据智能眼镜的定位模块更新当下的GPS 信息，根据智能眼镜的感知模块更新当下实景的图像信息，将GPS信息和图 像信息附带在所述的三维图像数据或二维图像数据中；
S28.将上述更新后的数据通过通信模块上传至服务器，通过服务器将三维 图像数据或二维图像数据传输给其他智能眼镜进行成像展示。
为了找到作品的适应场景和增加场景的多样性，可在S24和S25之间设置 选择是否在公共域内呈现以及在哪个公共域内呈现的选项，若选择不在公共域 内进行呈现则该端口创作的三维图像数据或二维图像数据在没有其他端口创 作的三维图像数据和二维图像数据的独立场景进行呈现，若选择在公共域内进 行呈现则该端口创作的三维图像数据或二维图像数据在所选择的公共域内与 选择在该公共域内呈现的其他端口创作的三维图像数据和二维图像数据进行 叠加呈现。
其中，实施例三中的三维图像数据和二维图像数据是通过智能眼镜结合操 作手柄完成，也可通过其他端口完成三维图像数据和二维图像数据的构建，如 PC端、移动端等。该三维图像数据和二维图像数据所对应的位置也可通过输 入位置坐标完成图像的放置，也可通过客户端打开位置信息图像，拖动三维图 像数据和二维图像数据至信息图像的位置完成图像的放置。更进一步地，三维 图像数据和二维图像数据可存储于开源创作库，在端口进行创作时可拖动复 制，便于端口的二次创作。
其中，智能眼镜系统接入的服务器可以是中心部署的服务器，也可以是边 缘部署的分布式服务器，服务器的数量不限。若服务器为分布式服务器，则可 以布置在各个位置，智能眼镜可通过GPS感应、网络感应、雷达感应等多种 空间感应方式完成对分布式服务器的访问，分布式服务器可以布置在如公交 车、店铺、学校、医院、事业单位、企业等公共空间内。
实施例四，一种基于增强现实的分布式服务器智能眼镜系统包括若干布置 于不同位置的分布式服务器和若干可接入网络的AR/MR/VR智能眼镜。一种 控制分布式服务器智能眼镜系统的控制方法如下：
S59.AR/MR/VR智能眼镜通过网络或GPS或雷达或图像访问布置于该空 间区域的分布式服务器；
S60.被访问的分布式服务器通过数据通信将存储的二/三维图像/视频数 据、音频数据、文字数据传输至访问的AR/MR/VR智能眼镜；
S61.AR/MR/VR智能眼镜通过成像装置将所接收到的二/三维图像/视频数 据、音频数据、文字数据进行可视化呈现。
其中，AR/MR/VR智能眼镜通过网络访问布置于该空间区域的分布式服务 器具体可以为：AR/MR/VR智能眼镜通过接入分布式服务器的无线局域网络 完成访问。
其中，AR/MR/VR智能眼镜通过GPS访问布置于该空间区域的分布式服 务器具体可以为：
S591.分布式服务器上传所属区块的GPS信息至云端；
S592.云端将AR/MR/VR智能眼镜实时上传的GPS信息与分布式服务器 上传所属区块的GPS信息进行比对；
S593.若比对时完成匹配，由云端连接AR/MR/VR智能眼镜对对应匹配的 分布式服务器进行访问。
其中，上述实施例中通过设备获取人为操作的装置可以是图像传感器、雷 达传感器、触摸传感器、按键传感器、语音传感器等可以获取人类行为的装置。
其中，上述实施例中进入某一场景是通过人为选择完成，也可以通过识别 该区域是否设有场景来自动进入该场景，更进一步地，若识别到有多个场景， 通过算法获取用户习惯完成场景选择并自动进入该场景。
其中，本发明所保护的智能眼镜可以是只具备单独功能/单独场景的单一 功能智能眼镜，也可以是具备多种功能/多种场景的多种功能智能眼镜，多种 功能智能眼镜可以是单独功能/单独场景的两个及两个以上组合，包括硬件的 组合和功能的组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特 征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明 书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且， 描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以 合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本 说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和 组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例 是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的 范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种MR/AR/VR留言和创作场景控制方法，其特征在于包括如下步骤：
S1.通过在智能眼镜上的界面切换或选择进入留言场景的增强现实界面；
S2.通过智能眼镜上的定位模块和感知模块获取实时GPS信息；
S3.将GPS信息通过通信模块上传至服务器，与服务器所存储的历史数据中语音数据和文字数据所附带的GPS信息进行匹配；
S4.匹配成功后服务器将历史数据中对应匹配的语音数据、文字数据进行数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的成像装置进行数据呈现；
S5.通过智能眼镜的语音输入装置和文字输入装置获取语音数据和文字数据，包括语音数据和文字数据所附带的GPS信息，通过定位模块和感知模块获取实时信息；
S6.将语音数据和文字数据以及其附带的GPS信息上传至服务器的历史数据库完成历史数据的更新；
S7.通过在智能眼镜上的界面切换或选择进入创作场景的增强现实展示层界面；
S8.通过智能眼镜上的定位模块和感知模块获取实时GPS信息；
S9.将GPS信息通过通信模块上传至服务器，与服务器所存储的历史数据中三维图像数据和二维图像数据所附带的GPS信息进行匹配；
S10.匹配成功后服务器将历史数据中对应匹配的三维图像数据、二维图像数据进行数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的成像装置进行数据呈现；
S11.用户通过智能眼镜的操作手柄构建实时三维图像数据或二维图像数据，通过成像装置将构建的实时三维图像数据或实时二维图像数据成像在智能眼镜的镜片上，根据智能眼镜的定位模块获取当下的GPS信息，根据智能眼镜的感知模块获取当下实景的图像信息，将GPS信息附带在所述的三维图像数据或二维图像数据中；
S12.将打包后的数据通过通信模块上传至服务器，通过服务器将三维图像数据或二维图像数据传输至GPS信息与所上传的三维图像数据或二维图像数据附带的GPS信息相同的智能眼镜上，通过成像装置进行成像展示。
2.根据权利要求1所述的控制方法，其特征在于历史数据的预处理包括如下步骤：
S13.根据历史数据中相关数据所附带的GPS信息中的一个或多个信息进行园区的划分，确定对应园区GPS信息中的一个或多个信息范围；
S14.将历史数据中相关数据根据划定的范围进行归类，完成以园区为主体的数据划分。
3.根据权利要求2所述的控制方法，其特征在于S13中所述的园区的划分包括如下步骤：
S15.根据GPS信息对园区进行初步划分，每个园区分别对应一个GPS范围；
S16.根据感知模块所获取的图像信息对园区进行二次划分，对图像特征量或标志物进行识别和提取，对每个园区特征量或标志物完成标注。
4.根据权利要求2所述的控制方法，其特征在于经过所述的预处理的数据进行匹配的方法如下：
S17.将服务器历史数据中相关数据根据其所附带的GPS信息与园区的各区块的GPS信息进行匹配；
S18.若完成匹配，则将该数据迁移至匹配园区区块内；
S19.将智能眼镜上的实时GPS信息和实时图像信息与园区的各区块的GPS信息进行匹配；
S20.若完成匹配，则将该园区区块中的相关数据虚拟成像至该智能眼镜上。
5.根据权利要求1所述的控制方法，其特征在于所述的三维图像数据、二维图像数据通过如下步骤进行多次创作：
S21.通过智能眼镜的操作手柄在历史数据中的三维图像数据和二维图像数据上进行数据的更改和添加，通过成像装置将实时三维图像数据或实时二维图像数据成像在智能眼镜的镜片上，根据智能眼镜的定位模块更新当下的GPS信息，根据智能眼镜的感知模块更新当下实景的图像信息，将GPS信息附带在所述的三维图像数据或二维图像数据中；
S22.将上述更新后的数据通过通信模块上传至服务器，通过服务器将三维图像数据或二维图像数据传输至GPS信息与所上传的三维图像数据或二维图像数据附带的GPS信息相同的智能眼镜上，通过成像装置进行成像展示。
6.一种移动终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的控制方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111460758.XA CN114153214B (zh) | 2021-12-02 | 2021-12-02 | 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111460758.XA CN114153214B (zh) | 2021-12-02 | 2021-12-02 | 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114153214A CN114153214A (zh) | 2022-03-08 |
| CN114153214B true CN114153214B (zh) | 2023-05-23 |
Family
ID=80455929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111460758.XA Active CN114153214B (zh) | 2021-12-02 | 2021-12-02 | 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114153214B (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550190A (zh) * | 2018-04-19 | 2018-09-18 | 腾讯科技（深圳）有限公司 | 增强现实数据处理方法、装置、计算机设备和存储介质 |
| US10665036B1 (en) * | 2019-08-03 | 2020-05-26 | VIRNECT inc. | Augmented reality system and method with dynamic representation technique of augmented images |
| CN110865708B (zh) * | 2019-11-14 | 2024-03-15 | 杭州网易云音乐科技有限公司 | 虚拟内容载体的交互方法、介质、装置和计算设备 |
| CN111694430A (zh) * | 2020-06-10 | 2020-09-22 | 浙江商汤科技开发有限公司 | 一种ar场景画面呈现方法、装置、电子设备和存储介质 |
| CN111953849A (zh) * | 2020-08-28 | 2020-11-17 | 深圳市慧鲤科技有限公司 | 展示留言板的方法、装置、电子设备及存储介质 |
| CN112346572A (zh) * | 2020-11-11 | 2021-02-09 | 南京梦宇三维技术有限公司 | 一种虚实融合实现方法、系统和电子设备 |
-
2021
- 2021-12-02 CN CN202111460758.XA patent/CN114153214B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114153214A (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11348480B2 (en) | Augmented reality panorama systems and methods | |
| CN101680766B (zh) | 图像摄影装置、附加信息提供服务器及附加信息过滤系统 | |
| US9542778B1 (en) | Systems and methods related to an interactive representative reality | |
| US8543917B2 (en) | Method and apparatus for presenting a first-person world view of content | |
| CN102129812B (zh) | 在街道级图像的上下文中观看媒体 | |
| CN102063512B (zh) | 虚拟地球 | |
| CN110235120A (zh) | 用于媒体内容项目之间的转换的系统和方法 | |
| CN110019599A (zh) | 获取兴趣点poi信息的方法、系统、装置及电子设备 | |
| CN101578625A (zh) | 地图信息的动态呈现 | |
| CN102945276A (zh) | 生成和更新基于事件的回放体验 | |
| CN101606039A (zh) | 根据用户参数的动态地图呈现 | |
| CN102661748A (zh) | 虚拟地球的屋顶覆盖和定界 | |
| CN107870962B (zh) | 适地性空间物件远距管理方法与系统 | |
| Milosavljević et al. | GIS-augmented video surveillance | |
| CN104885441B (zh) | 图像处理装置和方法、以及程序 | |
| US11688079B2 (en) | Digital representation of multi-sensor data stream | |
| CN107870961A (zh) | 空间物件搜寻排序方法、系统与计算机可读取存储装置 | |
| CN108733272B (zh) | 适地性空间物件可视范围管理方法与系统 | |
| CN114119171A (zh) | 一种mr/ar/vr购物和检索场景控制方法、移动终端与可读存储介质 | |
| JP2019016862A (ja) | 情報処理装置、情報処理システム、情報処理装置の制御方法及びプログラム | |
| TW201823929A (zh) | 移動物件的虛擬訊息遠距管理方法與應用系統 | |
| CN114153214B (zh) | 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质 | |
| Kwon et al. | Virtual heritage system: Modeling, database & presentation | |
| CN114935972A (zh) | 一种mr/ar/vr标注和搜寻控制方法、移动终端与可读存储介质 | |
| KR102343267B1 (ko) | 다중 위치에서 촬영된 비디오를 이용한 360도 비디오 서비스 제공 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |