CN108958469B - 一种基于增强现实的在虚拟世界增加超链接的方法 - Google Patents

一种基于增强现实的在虚拟世界增加超链接的方法 Download PDF

Info

Publication number
CN108958469B
CN108958469B CN201810424511.4A CN201810424511A CN108958469B CN 108958469 B CN108958469 B CN 108958469B CN 201810424511 A CN201810424511 A CN 201810424511A CN 108958469 B CN108958469 B CN 108958469B
Authority
CN
China
Prior art keywords
information
space
virtual space
virtual
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810424511.4A
Other languages
English (en)
Other versions
CN108958469A (zh
Inventor
崔岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Siwei Times Network Technology Co Ltd
China-Germany (zhuhai) Artificial Intelligence Research Institute Co Ltd
Wuyi University
Original Assignee
Zhuhai Siwei Times Network Technology Co Ltd
China-Germany (zhuhai) Artificial Intelligence Research Institute Co Ltd
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Siwei Times Network Technology Co Ltd, China-Germany (zhuhai) Artificial Intelligence Research Institute Co Ltd, Wuyi University filed Critical Zhuhai Siwei Times Network Technology Co Ltd
Priority to CN201810424511.4A priority Critical patent/CN108958469B/zh
Publication of CN108958469A publication Critical patent/CN108958469A/zh
Application granted granted Critical
Publication of CN108958469B publication Critical patent/CN108958469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于增强现实的在虚拟世界增加超链接的方法。包括以下步骤：S1用手机或者球幕相机拍照进行空间数据采集；S2基于步骤S1所采集到的图片信息和位置信息进行三维建模并得到虚拟空间；S3向虚拟空间添加超链接；S4进行虚拟空间与现实空间的相互映射；S5对实际场景进行扫描并匹配当前位置；S6通过用户客户端对超链接内容进行呈现。本发明提供了一种可以远程添加、修改和维护各种可交互的在虚拟世界增加超链接的方法。

Description

一种基于增强现实的在虚拟世界增加超链接的方法
技术领域
本发明属于虚拟增强现实技术领域，涉及一种增加超链接的方法，尤其涉及一种基于增强现实的在虚拟世界增加超链接的方法。
背景技术
增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
目前，AR技术基本上都是采用映射的方法实现，如现实空间到虚拟空间的映射或者虚拟空间到现实空间的映射，但是由于计算机硬件本身的原因，采用映射方法实现虚拟增强现实一般来说映射结构一致性误差较大，且稳定性不高，无法实现任意虚拟空间到现实空间的映射。究其原因，是空间重定位技术使用的是基于词袋模型的会还检测算法，该算法产生的数据包特别大，加载时间长，并且设备在检测过程中，必须完全精准地重复之前走过的路径才能进行识别因此，解决现有映射技术所造成的误差大、稳定性差的问题成为了AR技术发展的难点。
而slam和SFM两种算法的融合可以实现三维空间的扫描识别。基于词袋模型的回环检测产生的数据包特别大，加载时间长，并且设备在检测过程中，必须完全精准地重复之前走过的路径才能进行识别，而本专利技术则不受之前走过路径的限制，只要打开设备立马就可以进行任意空间的扫描识别。
发明内容
为了解决背景技术中所提到的增强现实技术中误差大、稳定性差的问题，本发明提出了一种在虚拟世界增加超接连的方法。本发明通过增加一种超链接并在超链接中加入模型、图片、视频、音频等各种可交互的展示内容，然后通过手机摄像头或者AR头显等各种交互设备呈现，从而达到虚拟现实的效果，该方法利用slam和SFM两种算法的相互融合可以实现三维空间的扫描识别，使用者只要打开设备立马就可以进行任意空间的扫描识别，既提高了工作效率，也增加了系统的稳定性。
本发明的技术解决方案是：一种基于增强现实的在虚拟世界增加超链接的方法，其特殊之处在于：包括以下步骤：
S1用手机或者球幕相机拍照进行空间数据采集；上述空间数据包括位置信息、旋转信息和图片信息；上述位置信息为空间中x、y、z方向上的距离；上述旋转信息为空间中的x、y、z方向的角度；上述图片信息为组成图片的每一个像数点；
S2基于步骤S1所采集到的图片信息和位置信息进行三维建模并得到虚拟空间；
S3向虚拟空间添加超链接；上述超链接为多媒体交互信息，包括图片、音频、视频；
S4进行虚拟空间与现实空间的相互映射；上述映射包括空间的点云信息、位置信息、旋转信息、比例信息；
S5对实际场景进行扫描并匹配当前位置；
S6通过用户客户端对超链接内容进行呈现。
上述步骤S3包括以下步骤：
S3.1确定为添加位置；
用户通过用户客户端点击虚拟空间中的一个点，获取当前点在虚拟空间中的位置，并确定当前点的位置为超链接添加位置；
S3.2通过云端服务器将多媒体交互信息添加至超链接添加位置。
上述步骤S4包括以下步骤：
S4.1现实空间到虚拟空间的映射；
S4.2虚拟空间到现实空间的映射。
上述步骤S4.1包括以下步骤：
S4.1.1通过slam算法获取设备在现实空间中的相对位置；
S4.1.2获取设备在现实空间中相对位置的空间信息；上述空间信息包括平移数据、旋转数据及点云数据；
S4.1.3使用SFM三维增量重建算法构建相对位置所在的虚拟的空间；
S4.1.4重复步骤S4.1.3，从而实现现实空间到虚拟空间的映射；上述步骤S4.1.4每一次增量重建迭代均为一个映射误差的自我纠正和虚拟空间扩展的过程；
上述现实空间与虚拟空间的点云信息，位置信息，旋转信息，比例信息具有一致性；
上述步骤S4.2包括以下步骤：
S4.2.1获取设备在现实空间中某个相对位置的空间信息，上述空间信息包括平移数据、旋转数据及点云数据；
S4.2.2通过步骤S4.2.1获取到的空间信息，通过SFM三维增量重建算法进行本地重定位，并获得当前现实空间某个相对位置在虚拟空间中位置信息和旋转信息；
S4.2.3通过步骤S4.2.2获取到现实空间中某个点在虚拟空间的信息，使用slam算法来恢复当前设备在现实空间中的相对位置；
S4.2.4重复步骤S4.2.3，从而实现虚拟空间到的现实空间映射；
上述现实空间与虚拟空间的点云信息，位置信息，旋转信息，比例信息具有一致性。
上述步骤S6包括以下步骤：
S6.1打开客户端；上述客户端包括手机app、浏览器；
S6.2在客户端中输入场景信息；上述场景信息包括当前场景识别信息、其他场景识别信息；
S6.3通过云端服务器下载当前场景的超链接内容文件；
S6.4打开客户端扫描功能，在空间的任意位置进行扫描识别，并通过slam算法和SFM算法进行匹配，然后进行空间映射，多媒体交互信息根据在虚拟空间中的位置和旋转信息加载到真实空间中从而完成超链接内容呈现。
本发明的有益效果是：1.传统方式是进行小型图片扫描识别，受到与识别目标位置、距离、角度和覆盖面积的限制，该项技术则可以实现整体三维空间地无限制扫描。具体地说就是，用户既可以用来识别平面图形，还可以识别立体图形，既可以大面积识别，也可以小区域识别现实空间。
2.目前的AR设备除了局限于必须扫描特定的位置这点之外，还无法在虚拟空间的指定位置远程添加超链接，只能在现场手动添加或扫描添加超链接内容到指定位置。本发明提供的技术方案则可以远程添加、修改和维护各种可交互的超链接内容。
附图说明
图1为本发明方法流程图；
图2为实施例的示意图一；
图3为实施例的示意图二。
具体实施方式
为了使本发明技术方案更加清楚明白，以下结合附图1及实施例，对本发明进行进一步详细说明，以便本领域的技术人员能够更好的理解并实施，并不用于限定本发明。
一种基于增强现实的在虚拟世界增加超链接的方法，包括以下步骤：
S1用手机或者球幕相机拍照进行空间数据采集；上述空间数据包括位置信息、旋转信息和图片信息；位置信息为空间中x、y、z方向上的距离；旋转信息为空间中的x、y、z方向的角度；图片信息为组成图片的每一个像数点；
S2基于步骤S1所采集到的图片信息和位置信息进行三维建模并得到虚拟空间；
S3向虚拟空间添加超链接；上述超链接为多媒体交互信息，包括图片、音频、视频；
S4进行虚拟空间与现实空间的相互映射；上述映射包括空间的点云信息、位置信息、旋转信息、比例信息；
S5对实际场景进行扫描并匹配当前位置；
S6通过用户客户端对超链接内容进行呈现。
上述步骤S3包括以下步骤：
S3.1确定为添加位置；
用户通过用户客户端点击虚拟空间中的一个点，获取当前点在虚拟空间中的位置，并确定当前点的位置为超链接添加位置；
S3.2通过云端服务器将多媒体交互信息添加至超链接添加位置。
上述步骤S4包括以下步骤：
S4.1现实空间到虚拟空间的映射；
S4.2虚拟空间到现实空间的映射。
上述步骤S4.1包括以下步骤：
S4.1.1通过slam算法获取设备在现实空间中的相对位置；
S4.1.2获取设备在现实空间中相对位置的空间信息；上述空间信息包括平移数据、旋转数据及点云数据；
S4.1.3使用SFM三维增量重建算法构建相对位置所在的虚拟的空间；
S4.1.4重复步骤S4.1.3，从而实现现实空间到虚拟空间的映射；上述步骤S4.1.4每一次增量重建迭代均为一个映射误差的自我纠正和虚拟空间扩展的过程；
上述现实空间与虚拟空间的点云信息、位置信息、旋转信息、比例信息具有一致性；
上述步骤S4.2包括以下步骤：
S4.2.1获取设备在现实空间中某个相对位置的空间信息，上述空间信息包括平移数据、旋转数据及点云数据；
S4.2.2通过步骤S4.2.1获取到的空间信息，通过SFM三维增量重建算法进行本地重定位，本地重定位即在现有位置上定回以前的位置，并获得当前现实空间某个相对位置在虚拟空间中位置信息和旋转信息；
S4.2.3通过步骤S4.2.2获取到现实空间中某个点在虚拟空间的信息，使用slam算法来恢复当前设备在现实空间中的相对位置；
S4.2.4重复步骤S4.2.3，从而实现虚拟空间到的现实空间映射；
上述现实空间与虚拟空间的点云信息、位置信息、旋转信息、比例信息具有一致性。
上述步骤S6包括以下步骤：
S6.1打开客户端；上述客户端包括手机app、浏览器；
S6.2在客户端中输入场景信息；上述场景信息包括当前场景识别信息、其他场景识别信息；
S6.3通过云端服务器下载当前场景的超链接内容文件；
S6.4打开客户端扫描功能，在空间的任意位置进行扫描识别，并通过slam算法和SFM算法进行匹配，然后进行空间映射，多媒体交互信息根据在虚拟空间中的位置和旋转信息加载到真实空间中从而完成超链接内容呈现。
其中步骤S1和步骤S2，是通过球幕相机或手机相机镜头拍照进行三维建模并得到虚拟空间的过程，工作原理可细分为下列步骤：
S1.1：球幕相机或手机镜头进行实时定位，得到至少一组照片；
S1.2：基于球幕相机所得出的至少一组照片的特征点进行识别与匹配；
S1.3：基于球幕相机三维数字化建模的闭环进行自动检测；
S1.4：检测后，进行数字化建模；
S1.5：结构化模型贴图。
在所述一组照片中，对单张照片用SIFT描述符进行特征点(图片上的像素点)提取同时分析每一个所述特征点的邻域，根据邻域控制所述特征点。
所述闭环检测为：用当前算出所述球幕相机位置与过去所述球幕相机位置进行比较，检测有无距离相近；若检测到两者距离在一定阈值范围内，就认为所述球幕相机又回到原来走过的地方，此时启动闭环检测。
本发明为基于空间信息而非时间序列的闭环检测。
所述步骤S1.4中的步骤可以进一步为：
S1.4.1初步计算出所述球幕相机位置得到部分有噪音点稀疏点云，用距离和重投影的方式进行滤波滤掉噪音点；
S1.4.2对稀疏点云做标记即整体点云中，并进行对应的标记；
S1.4.3以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
S1.4.4将被射线包围的空间抠出来；
S1.4.5基于图论最短路径的方式做闭合空间。
所述稀疏点云为每个所述球幕相机可看见过滤之后所获得的。其中步骤S1.4.3也可理解为以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
步骤S1.4.1中的滤掉步骤指的是：在确认了二维图片中某一点对应的三维坐标位置后，将这个三维坐标点重新投影到原来的球幕照片上，再次确认是否仍是那个点。其原因是，二维图片的点与其在三维世界的点的位置是一一对应关系，所以在确认了二维图片中某一点的三维坐标点后，可以将这个三维坐标点重新投射回去验证二维坐标点是否仍在原来的位置，以此来决定该像素点是否为噪点，是否需要过滤。需要说明的是，在照片或视频流中确定一张来自于某个所述球幕相机的最优图片。
即当多部所述球幕相机都看到某一目标并捕捉到画面，选取使用其中最优的一张进行贴图。所述最优一张图为某一所述球幕相机能够得到目标的像素最多，则所述球幕相机为最优。
需要进一步说明的是，利用公式计算出对应的相机及其拍到的图形颜色：
V1＝normalize(CameraMatrixi*V0)
Figure BDA0001651649010000071
Figure BDA0001651649010000072
式中：V0为任何一个需要采样的空间点坐标(x，y，z，1)，对于一个模型需要光栅化所有点；V1为V0变换到相机空间的新位置坐标，通过向量归一化变换到单位球面上；Tx和Ty为V0所对应的纹理坐标(x，y)，选用坐标系为OPENGL纹理坐标系；aspecti：采样用的第i个全景图片的长宽比；CameraMatrixi：采样用的第i个全景图片的变换矩阵，将相机位置变换到原点，并重置相机面朝方向。
另外，本发明中多次提到的通过slam算法获取当前设备在现实空间中的相对位置，具体的说，SLAM算法的定位流程：
step1：传感器信息读取，在视觉SLAM中主要为相机图像信息的读取和预处理的操作过程，在移动终端的SLAM中进行的工作主要为手机相机镜头或球幕相机采集的照片的操作过程；
step2：视觉里程计，又称前端，其任务是估算相邻图像间相机的运动轨迹，以及局部地图的大概轮廓和形貌，在此实施例中，手机相机镜头或球幕相机镜头采集照片，对每一张照片提取特征点；通过多张照片之间多视觉集合原理计算出相机位置。；
step 3：后端优化，又称后端，其任务是接受不同时刻视觉里程计测量的相机位姿，以及回环检测的信息，对之前计算出的位置进行优化，用最小二乘法的公式优化出一整条轨迹和地图。
step4:回环检测：已经到过的场景会有特征保存，新提取的特征与之前保存的特征进行匹配，即一个相似性检测过程。对于曾经到过的场景，两者的相似值会很高，即确定曾经来过此处，并利用新的特征点对曾经的场景位置进行纠正。
step 5：建图，其任务是根据后端优化后的估计的轨迹，建立与任务要求对应的地图。
SLAM还可进行多视觉集合管理，即可基于两帧图像之间进行三角化处理，也可基于多帧视频流进行三角化处理，将上述两者结合之后就会得到一致的轨迹，进一步对轨迹进行优化处理，数据源是手机相机镜头或球幕相机镜头拍摄得到的照片，利用移动终端的计算资源，通过SLAM的算法得出在现实空间中行走的轨迹，在照片的基础上获取空间信息。
本发明中多次提到的通过SFM三维增量重建算法，以相机位置作为原点，建立相机坐标系，通过现有的相机标定程序或算法求出相机的内参矩阵。所述的特征点为SIFT特征，匹配结果往往有很多误匹配，为了排除这些错误，这里使用了一些现有算法，比如RatioTest方法和KNN算法，寻找与该特征最匹配的2个特征，若第一个特征的匹配距离与第二个特征的匹配距离之比小于某一阈值，就接受该匹配，否则视为误匹配。得到匹配点后，就可以使用OpenCV3.0中新加入的函数findEssentialMat()来求取本征矩阵了。在拍摄过程中可有多个相机位置，得到本征矩阵后，再使用分解函数对本征矩阵进行分解，得到多个相机位置对应的球幕相机之间的变换矩阵，还有每一对匹配点的坐标。三维重建就是通过这些已知信息还原匹配点在虚拟空间当中的坐标。
实施例
基于上述描述，需要进一步说明的是：
在添加超链接的过程中，用户通过点击虚拟空间中的一个点，也就是自定义点；所述自定义点为用户想添加的任意位置，获取当前点在虚拟空间中的位置，而当前点的位置也就是多媒体在虚拟空间中的位置。
添加超级链接的方法：
S1.采用移动设备，进行空间数据的扫描收集，所述空间数据包括位置信息、旋转信息、图片信息；其中位置信息是指移动设备在被拍摄的场景中的位置信息，旋转信息是指为空间中的x、y、z方向的角度，图片信息包括颜色信息。
S2.云端服务器进行数据分析处理，进行三维重建和空间映射；
S3.在虚拟空间中添加多媒体交互信息；
S4.移动设备将当前现实空间信息，上传到云端服务器进行重定位处理；
S5.移动端接收到服务端的处理结果，恢复当前的相对位置，多媒体信息呈现。
现实空间到虚拟空间的映射的方法：
步骤1：通过slam技术获取设备在现实空间中的相对位置；
步骤2：获取设备在现实空间中某个相对位置的空间信息，包括平移，旋转，点云数据；
步骤3使用sfm三维增量重建技术来构建某个相对位置在的虚拟的空间；
步骤4：重复步骤3，每一次增量重建迭代都是一个映射误差的自我纠正和虚拟空间扩展的过程；
虚拟空间到现实空间的映射的方法：
步骤1：获取设备在现实空间中某个相对位置的空间信息，包括平移，旋转，点云数据；
步骤2：使用上述获取到的信息，通过sfm进行本地重定位，来获得当前现实空间某个相对位置在虚拟空间中位置和旋转信息；
通过步骤2获取到现实空间中某个点在虚拟空间的信息，使用slam技术来恢复当前设备在现实空间中的相对位置；
结果：使得现实空间与虚拟空间具有一致性，包括空间的点云信息，位置信息，旋转信息，比例信息。
如图2和图3所示，超链接内容呈现的具体步骤：
1.打开app，或者浏览器等客户端
2.输入当前场景ID，或者其他场景识别信息，或者通过GPS等来获取当前场景标识信息
3.下载当前场景的超链接内容文件。
如图2所示，是用户添加超链接的编辑界面，用户可自定义超链接的位置，图2中的汽车为待添加的超链接文件，界面右侧的颜色选择即对该超链接文件进行颜色编辑。
打开客户端扫描功能，在空间的任意位置进行扫描识别，匹配成功，进行空间映射，超链接内容根据在虚拟空间中的位置和旋转信息加载到真实空间中。
如图3所示，为用户扫描空间后，对空间中的某一位置进行匹配，匹配成功后展示了匹配到的超链接内容。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (3)

1.一种基于增强现实的在虚拟世界增加超链接的方法，其特征在于：包括以下步骤：
S1用手机或者球幕相机拍照进行空间数据采集；所述空间数据包括位置信息、旋转信息和图片信息；所述位置信息为空间中x、y、z方向上的距离；所述旋转信息为空间中的x、y、z方向的角度；所述图片信息为组成图片的每一个像数点；
S2基于步骤S1所采集到的图片信息和位置信息进行三维建模并得到虚拟空间；
S3向虚拟空间添加超链接；所述超链接为多媒体交互信息，包括图片、音频、视频；
S4进行虚拟空间与现实空间的相互映射；所述映射包括空间的点云信息、位置信息、旋转信息、比例信息；
S5对实际场景进行扫描并匹配当前位置；
S6通过用户客户端对超链接内容进行呈现；
所述步骤S4还包括以下步骤：
S4.1现实空间到虚拟空间的映射；进一步还包括以下步骤：
S4.1.1通过slam算法获取设备在现实空间中的相对位置；所述设备为所述手机或所述球幕相机；
S4.1.2获取所述设备在现实空间中相对位置的空间信息；所述空间信息包括平移数据、旋转数据及点云数据；
S4.1.3使用SFM三维增量重建算法构建相对位置所在的虚拟的空间；
S4.1.4重复步骤S4.1.3，从而实现现实空间到虚拟空间的映射；所述步骤S4.1.4每一次SFM三维增量重建迭代均为一个映射误差的自我纠正和虚拟空间扩展的过程；
所述现实空间与虚拟空间的点云信息、位置信息、旋转信息、比例信息具有一致性；
S4.2虚拟空间到现实空间的映射，进一步包含下列步骤：
S4.2.1获取所述设备在现实空间中某个相对位置的空间信息，所述空间信息包括平移数据、旋转数据及点云数据；
S4.2.2通过步骤S4.2.1获取到的空间信息，通过SFM三维增量重建算法进行本地重定位，并获得当前现实空间某个相对位置在虚拟空间中位置信息和旋转信息；
S4.2.3通过步骤S4.2.2获取到现实空间中某个点在虚拟空间的信息，使用slam算法来恢复所述设备在现实空间中的相对位置；
S4.2.4重复步骤S4.2.3，从而实现虚拟空间到的现实空间映射；
所述现实空间与虚拟空间的点云信息、位置信息、旋转信息、比例信息具有一致性。
2.根据权利要求1所述的一种基于增强现实的在虚拟世界增加超链接的方法，其特征在于：所述步骤S3包括以下步骤：S3.1确定为添加位置；
用户通过用户客户端点击虚拟空间中的一个点，获取当前点在虚拟空间中的位置，并确定当前点的位置为超链接添加位置；
S3.2通过云端服务器将多媒体交互信息添加至超链接添加位置。
3.根据权利要求1所述的一种基于增强现实的在虚拟世界增加超链接的方法，其特征在于：所述步骤S6包括以下步骤：
S6.1打开用户客户端；所述用户客户端包括手机app、浏览器；
S6.2在客户端中输入场景信息；所述场景信息包括当前场景识别信息、其他场景识别信息；
S6.3通过云端服务器下载当前场景的超链接内容文件；
S6.4打开客户端扫描功能，在空间的任意位置进行扫描识别，并通过slam算法和SFM算法进行匹配，然后进行空间映射，多媒体交互信息根据在虚拟空间中的位置和旋转信息加载到现实空间中从而完成超链接内容呈现。
CN201810424511.4A 2018-05-07 2018-05-07 一种基于增强现实的在虚拟世界增加超链接的方法 Active CN108958469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810424511.4A CN108958469B (zh) 2018-05-07 2018-05-07 一种基于增强现实的在虚拟世界增加超链接的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810424511.4A CN108958469B (zh) 2018-05-07 2018-05-07 一种基于增强现实的在虚拟世界增加超链接的方法

Publications (2)

Publication Number Publication Date
CN108958469A CN108958469A (zh) 2018-12-07
CN108958469B true CN108958469B (zh) 2020-01-24

Family

ID=64498933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810424511.4A Active CN108958469B (zh) 2018-05-07 2018-05-07 一种基于增强现实的在虚拟世界增加超链接的方法

Country Status (1)

Country Link
CN (1) CN108958469B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800695A (zh) * 2019-01-09 2019-05-24 中德（珠海）人工智能研究院有限公司 一种用于在虚拟模拟环境中定位虚拟对象的方法和系统
CN110533719B (zh) * 2019-04-23 2020-06-09 以见科技(上海)有限公司 基于环境视觉特征点识别技术的增强现实定位方法及装置
CN110363806B (zh) * 2019-05-29 2021-12-31 中德（珠海）人工智能研究院有限公司 一种利用不可见光投射特征进行三维空间建模的方法
CN110288717B (zh) * 2019-06-19 2023-06-09 塔普翊海（上海）智能科技有限公司 一种混合现实应用处理系统
CN110766788B (zh) * 2019-10-15 2023-03-24 三星电子（中国）研发中心 将虚拟物体映射到现实世界的方法及装置
CN111399711A (zh) * 2020-03-10 2020-07-10 广州通达汽车电气股份有限公司 界面编辑方法、装置、设备和存储介质
CN111815783A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 虚拟场景的呈现方法及装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366399A (zh) * 2013-07-02 2013-10-23 苏州瀚易特信息技术有限公司 三维全景模型生成方法
CN104937641A (zh) * 2013-02-01 2015-09-23 索尼公司 信息处理装置、客户端装置、信息处理方法以及程序
CN106485407A (zh) * 2016-09-27 2017-03-08 北京智汇盈科信息工程有限公司 一种基于全景技术的设备可视化管理方法
CN106803283A (zh) * 2016-12-29 2017-06-06 东莞新吉凯氏测量技术有限公司 基于实体展馆的交互式三维全景多媒体虚拟展览方法
CN107438813A (zh) * 2015-05-27 2017-12-05 谷歌公司 包括用于虚拟现实考察的领导方设备和参与方设备的系统
CN107683497A (zh) * 2015-06-15 2018-02-09 索尼公司 信息处理设备、信息处理方法及程序

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104937641A (zh) * 2013-02-01 2015-09-23 索尼公司 信息处理装置、客户端装置、信息处理方法以及程序
CN103366399A (zh) * 2013-07-02 2013-10-23 苏州瀚易特信息技术有限公司 三维全景模型生成方法
CN107438813A (zh) * 2015-05-27 2017-12-05 谷歌公司 包括用于虚拟现实考察的领导方设备和参与方设备的系统
CN107683497A (zh) * 2015-06-15 2018-02-09 索尼公司 信息处理设备、信息处理方法及程序
CN106485407A (zh) * 2016-09-27 2017-03-08 北京智汇盈科信息工程有限公司 一种基于全景技术的设备可视化管理方法
CN106803283A (zh) * 2016-12-29 2017-06-06 东莞新吉凯氏测量技术有限公司 基于实体展馆的交互式三维全景多媒体虚拟展览方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
球幕相机对大型建筑物及场景的三维数字化及其展示手段;崔岩;《东南文化》;20161231;第67-70页 *
面向复杂环境的鲁棒高效的三维注册与结构恢复;刘浩敏;《中国博士学位论文全文数据库 信息科技辑》;20170815;I138-84 *

Also Published As

Publication number Publication date
CN108958469A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
CN109102537B (zh) 一种二维激光雷达和球幕相机结合的三维建模方法和系统
KR101175097B1 (ko) 파노라마 영상 생성 방법
US20180225877A1 (en) Mobile augmented reality system
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
JP5093053B2 (ja) 電子カメラ
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
CN106462943A (zh) 将全景成像与航拍成像对齐
JP2015521419A (ja) コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステム
TW200818916A (en) Wide-area site-based video surveillance system
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
Pulli et al. Mobile panoramic imaging system
CN111402136A (zh) 全景图生成方法、装置、计算机可读存储介质及电子设备
CN113362467B (zh) 基于点云预处理和ShuffleNet的移动端三维位姿估计方法
CN114882106A (zh) 位姿确定方法和装置、设备、介质
Ha et al. Embedded panoramic mosaic system using auto-shot interface
CN116708862A (zh) 直播间的虚拟背景生成方法、计算机设备及存储介质
US10282633B2 (en) Cross-asset media analysis and processing
CN115278049A (zh) 拍摄方法及其装置
CN111260544B (zh) 数据处理方法及装置、电子设备和计算机存储介质
JP6341540B2 (ja) 情報端末装置、方法及びプログラム
CN113011250A (zh) 一种手部三维图像识别方法及系统
Kikuchi et al. Automatic diminished reality-based virtual demolition method using semantic segmentation and generative adversarial network for landscape assessment
Pollok et al. Computer vision meets visual analytics: Enabling 4D crime scene investigation from image and video data
Zhang et al. Calibrate a moving camera on a linear translating stage using virtual plane+ parallax

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant