CN115564929A - 一种虚拟人物与现实场景动态实时透视融合的方法 - Google Patents
一种虚拟人物与现实场景动态实时透视融合的方法 Download PDFInfo
- Publication number
- CN115564929A CN115564929A CN202211059134.1A CN202211059134A CN115564929A CN 115564929 A CN115564929 A CN 115564929A CN 202211059134 A CN202211059134 A CN 202211059134A CN 115564929 A CN115564929 A CN 115564929A
- Authority
- CN
- China
- Prior art keywords
- virtual
- information
- road
- real
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及虚拟场景开发技术领域，提供一种虚拟人物与现实场景动态实时透视融合的方法包括以下的步骤：S1：真实场景信息采集；S2：对步骤S1采集的真实场景信息进行处理，并以此为依据在3D引擎中构建虚拟场景；S3：在步骤S2构建的虚拟场景中构建虚拟人物与虚拟相机；S4：导入使用者操作器材的信息流，根据使用者操作器材的信息流来控制3D引擎中的虚拟人物和虚拟相机的位置，根据虚拟人物的位置控制现实场景画面序列帧播放，虚拟相机同时渲染虚拟人物和现实场景画面实现实时融合。本发明将虚拟人物与现实场景动态实时透视融合，使场景模型制作的成本大大降低，一些中小企业也可以利用此等方式开发虚拟现实的骑行游戏，基于此方法进行扩展和更新，将极大提升虚拟现实行业的使用体验并降低制作成本。
Description
技术领域
本发明涉及虚拟场景开发技术领域，具体涉及一种虚拟人物与现实场景动态实时透视融合的方法。
背景技术
随着社会的不断发展，人们对于身体健康的考虑也越来越重视，人们通常通过健身来提高自己的身体素质，健身行业的热门也带动了健身器材业的迅速发展。现在的大部分年轻人都选择宅家放松的方式替代外出游玩，而骑行外出的人变得少之又少，这样一来很多人便没有办法体验到外出骑行的感觉。因此在众多的健身项目中，虚拟场景的智能健身深受广大骑行及健身爱好者喜爱。
现有的虚拟场景的智能健身采集真实道路的图片等信息，并交由三维建模师，三维建模师通过采集的地理位置信息和真实的道路场景图片等信息，用逼真的三维模型还原道路信息，只有交由unity等3D引擎进行进一步的游戏开发。
利用这种方式需要构建大量的地形模型。而这些复杂的地形往往要消耗大量的人力和财力去制作，同时这类游戏的开发周期相对较长，既不利于玩家体验大量的地理风景，同时这类的开发投入过大，需要耗费大量的人力物力进行真实的场景还原，这需要大量的制作人员和极长的开发周期。令很多中小型的游戏开发公司无法进行此类项目的开发。同时，对用户来说，需要下载大量的模型数据才能体验到在近乎真实的场景中骑行的乐趣，影响使用体验。
发明内容
为解决背景技术中存在的问题，本发明提供一种虚拟人物与现实场景动态实时透视融合的方法，一种虚拟人物与现实场景动态实时透视融合的方法，其包括如下的步骤：
S1：真实场景信息采集；
S2：对步骤S1采集的真实场景信息进行处理，并以此为依据在3D引擎中构建虚拟场景；
S3：在步骤S2构建的虚拟场景中构建虚拟人物与虚拟相机；
S4：导入使用者操作器材的信息流，根据使用者操作器材的信息流来控制3D引擎中的虚拟人物和虚拟相机的位置，根据虚拟人物的位置控制现实场景画面序列帧播放，虚拟相机同时渲染虚拟人物和现实场景画面实现实时融合。
优选的方案中，步骤S1中包括对现实场景的视频信息采集与地理位置参数采集。
优选的方案中，所述对现实场景的视频信息采集过程包括采用车载相机的模式，将摄像机固定在保持在匀速行驶的汽车上，以模拟骑行视角采集汽车行驶某时间段内的视频。
进一步，所述对现实场景的地理位置参数采集包括以下内容：
A.时间：包括每条数据采集的北京时间；
B.位置数据：包括当前位置经度、维度；
C.高度数据：包括当前位置的海拔高度；
D.道路信息：包括当前位置的坡度、倾斜度、道路宽度；
E.天气数据：包括当前地区的气温、风向、风速、阴晴；
F.移动数据：包括当前采集设备的移动速度。
进一步，其具体过程包括：通过GPS得到拍摄点的经纬度位置信息；通过海拔检测器得到拍摄点的海拔高度信息；通过高精度手持GPS采集器海拔高度测量仪；通过坡度仪测量当前坡度；通过坡度仪定位车辆在现实空间中的位置；同时在采集地理位置信息的同时需要记录每一条位置信息采集的时间，然后将匹配好时间信息的地理位置数据一并打包；在采集信息时将空间坐标信息读取间隔设为恒定，并能与视频拍摄时的帧率进行间隔匹配，从而以便后期处理得出每几帧图像所应对应的现实中的地理位置信息。
进一步，步骤S2中的具体过程包括：
P1：处理地理位置数据，将采集到的现实世界中的经度和纬度坐标数据以及海拔高度数据；转化为虚拟世界中对应的x、y、z轴坐标数据；
P2：构建虚拟道路，通过P1坐标点的数据，生成点集合，连接这些点构建出一条在虚拟世界中的道路曲线；并将相隔采集时间为Δt的两个点之间细分出Δt×m个点，将这条曲线进行平滑处理；构建并处理好虚拟道路曲线后，依据此曲线并根据现实世界中的道路宽度信息，构建一个与现实中同等宽度的道路模型并在3D引擎中拟合显示；
P3：拆分序列帧，将采集到的视频信息进行处理，拆分为序列帧并赋予每帧其拍摄的时间信息；以便后续处理；
P4：匹配序列帧构建模型，整理得到采集到的信息：
地理位置信息采集间隔：Δt；
视频采集帧率：m帧/秒；
统一的开始采集时间：t0；
则t0时刻对应第0帧图像，第n次采集到的地理位置信息对应第n×Δt×m帧图片；以此类推，得出所有位置信息对应的图片。
进一步，步骤S3的具体过程包括：
Q1：制作虚拟人物模型，将虚拟人物模型及步骤P4构建的模型和曲线一并导入3D引擎；
Q2：在3D引擎中构建虚拟摄像机，所述虚拟摄像机与采集图像的摄像机具有相同的焦距、景深参数；
Q3：将导入的虚拟人物模型与虚拟摄像机绑定在道路曲线上；
Q4：匹配序列帧，将导入到3D引擎中的道路曲线上的点匹配到其对应的图像上。
进一步，当虚拟人物经过道路上的点时，进行图像序列帧跳播，此序列帧播放持续到虚拟人物移动到下一个点时，使虚拟人物在虚拟道路上的移动是平滑的移动。
进一步，步骤S4的具体过程包括：导入使用者操作器材的信息流，根据使用者操作器材的信息流来控制3D引擎中的虚拟人物和虚拟相机的位置，根据虚拟人物的位置控制现实场景画面序列帧播放，虚拟相机同时渲染虚拟人物和现实场景画面实现实时融合。
使用者操作器材的输入信息为瞬时速度信息，采取以下方式确定其距离信息：
记录使用者操作器材的瞬时速度：V车和两次数据输入的时间间隔：Δt；以及实际道路上的距离与虚拟道路上的距离的换算关系，即
通过以下算法计算，当前时间使用者操作器材行进的具体路程为：
则在虚拟道路上行进的具体路程为：
计虚拟道路总长为S，一段道路场景的场景信息的总帧数为N，则使用者当前位置所播放的序列帧编号n如下计算：
本发明所达到的有益效果为：
本发明提供一种虚拟人物与现实场景动态实时透视融合的方法，使用一种创新的方式开发此类交互界面，将虚拟人物与现实场景动态实时透视融合，使模型制作的成本大大降低，一些中小企业也可以利用此等方式开发虚拟现实的体感游戏，基于此方法进行扩展和更新，这将极大提升虚拟现实行业的使用体验。
本发明提供的具体场景中，将拍摄的道路视频与采集的道路信息结合，将所拍摄的道路视频片段与通过采集到的道路海拔坡度等信息构建的道路路线模型进行拟合，根据使用者对智能单车的操控信息调整显示界面，让使用者体验到在真实道路上骑行的感觉。同时支持多玩家在同一服务器内的追赶等交互。将带给更多的玩家基于现实风景的健身或游戏体验。
附图说明
图1是本发明的虚拟人物与现实场景动态实时透视融合的方法的流程图；
图2是步骤S2中采集的真实场景的示意图；
图3是步骤S3中构建虚拟人物与虚拟相机的示意图；
图4是步骤S4中根据虚拟人物的位置控制现实场景画面序列帧播放的示意图；
图5是步骤S4中虚拟人物和现实场景画面实现实时融合的示意图。
具体实施方式
为便于本领域的技术人员理解本发明，下面结合附图说明本发明的具体实施方式。
参照图1-4，一种虚拟人物与现实场景动态实时透视融合的方法，其包括如下的步骤：
S1：真实场景信息采集；包括对现实场景的视频信息采集与地理位置参数采集。对现实场景的视频信息采集过程包括采用车载相机的模式，将摄像机固定在保持在匀速行驶的汽车上，以模拟骑行视角采集汽车行驶某时间段内的视频。对现实场景的地理位置参数采集包括以下内容：
A.时间：包括每条数据采集的北京时间；
B.位置数据：包括当前位置经度、维度；
C.高度数据：包括当前位置的海拔高度；
D.道路信息：包括当前位置的坡度、倾斜度、道路宽度；
E.天气数据：包括当前地区的气温、风向、风速、阴晴；
F.移动数据：包括当前采集设备的移动速度。
其具体过程包括：通过GPS得到拍摄点的经纬度位置信息；通过海拔检测器得到拍摄点的海拔高度信息；通过高精度手持GPS采集器海拔高度测量仪；通过坡度仪测量当前坡度；通过坡度仪定位车辆在现实空间中的位置；同时在采集地理位置信息的同时需要记录每一条位置信息采集的时间，然后将匹配好时间信息的地理位置数据一并打包；在采集信息时将空间坐标信息读取间隔设为恒定，并能与视频拍摄时的帧率进行间隔匹配，从而以便后期处理得出每几帧图像所应对应的现实中的地理位置信息。
S2：对步骤S1采集的真实场景信息进行处理，并以此为依据在3D引擎中构建虚拟场景；具体包括：
P1：处理地理位置数据，将采集到的现实世界中的经度和纬度坐标数据以及海拔高度数据；转化为虚拟世界中对应的x、y、z轴坐标数据；
P2：构建虚拟道路，通过P1坐标点的数据，生成点集合，连接这些点构建出一条在虚拟世界中的道路曲线；并将相隔采集时间为Δt的两个点之间细分出Δt×m个点，将这条曲线进行平滑处理；构建并处理好虚拟道路曲线后，依据此曲线并根据现实世界中的道路宽度信息，构建一个与现实中同等宽度的道路模型并在3D引擎中拟合显示；
P3：拆分序列帧，将采集到的视频信息进行处理，拆分为序列帧并赋予每帧其拍摄的时间信息；以便后续处理；
P4：匹配序列帧构建模型，整理得到采集到的信息：
地理位置信息采集间隔：Δt；
视频采集帧率：m帧/秒；
统一的开始采集时间：t0；
则t0时刻对应第0帧图像，第n次采集到的地理位置信息对应第n×Δt×m帧图片；以此类推，得出所有位置信息对应的图片。
S3：在步骤S2构建的虚拟场景导入3D引擎，并构建虚拟人物与虚拟相机；具体过程包括：
Q1：制作虚拟人物模型，将虚拟人物模型及步骤P4构建的模型和曲线一并导入3D引擎；
Q2：在3D引擎中构建虚拟摄像机，所述虚拟摄像机与采集图像的摄像机具有相同的焦距、景深参数；
Q3：将导入的虚拟人物模型与虚拟摄像机绑定在道路曲线上；
Q4：匹配序列帧，将导入到3D引擎中的道路曲线上的点匹配到其对应的图像上。
当虚拟人物经过道路上的点时，进行图像序列帧跳播，此序列帧播放持续到虚拟人物移动到下一个点时，使虚拟人物在虚拟道路上的移动是平滑的移动。
S4：导入使用者操作器材的信息流，根据使用者操作器材的信息流来控制3D引擎中的虚拟人物和虚拟相机的位置，根据虚拟人物的位置控制现实场景画面序列帧播放，虚拟相机同时渲染虚拟人物和现实场景画面实现实时融合。
具体过程包括：虚拟人物和虚拟摄像机由使用者操作器材控制动作，从而确定其在虚拟道路上的位置。
使用者操作器材的输入信息为瞬时速度信息，采取以下方式确定其距离信息：
记录使用者操作器材的瞬时速度：V车和两次数据输入的时间间隔：Δt；以及实际道路上的距离与虚拟道路上的距离的换算关系，即
通过以下算法计算，当前时间使用者操作器材行进的具体路程为：
则在虚拟道路上行进的具体路程为：
计虚拟道路总长为S，一段道路场景的场景信息的总帧数为N，则使用者当前位置所播放的序列帧编号n如下计算：
通过以上的方式，便根据使用者操作器材来控制3D引擎上的虚拟人物和虚拟相机的位置，从而在屏幕上结合展示相应的现实风景。
本发明中，使用者操作的器材可以为智能单车，3D引擎可选用unity引擎。以上的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。
Claims (9)
1.一种虚拟人物与现实场景动态实时透视融合的方法，其特征在于，其包括如下的步骤：
S1：真实场景信息采集；
S2：对步骤S1采集的真实场景信息进行处理，并以此为依据在3D引擎中构建虚拟场景；
S3：在步骤S2构建的虚拟场景中构建虚拟人物与虚拟相机；
S4：导入使用者操作器材的信息流，根据使用者操作器材的信息流来控制3D引擎中的虚拟人物和虚拟相机的位置，根据虚拟人物的位置控制现实场景画面序列帧播放，虚拟相机同时渲染虚拟人物和现实场景画面实现实时融合。
2.根据权利要求1所述的一种虚拟人物与现实场景动态实时透视融合的方法，其特征在于：步骤S1中包括对现实场景的视频信息采集与地理位置参数采集。
3.根据权利要求2所述的一种虚拟人物与现实场景动态实时透视融合的方法，其特征在于：所述对现实场景的视频信息采集过程包括采用车载相机的模式，将摄像机固定在保持在匀速行驶的汽车上，以模拟骑行视角采集汽车行驶某时间段内的视频。
4.根据权利要求2所述的一种虚拟人物与现实场景动态实时透视融合的方法，其特征在于：所述对现实场景的地理位置参数采集包括以下内容：
A.时间：包括每条数据采集的北京时间；
B.位置数据：包括当前位置经度、维度；
C.高度数据：包括当前位置的海拔高度；
D.道路信息：包括当前位置的坡度、倾斜度、道路宽度；
E.天气数据：包括当前地区的气温、风向、风速、阴晴；
F.移动数据：包括当前采集设备的移动速度。
5.根据权利要求4所述的一种虚拟人物与现实场景动态实时透视融合的方法，其特征在于：其具体过程包括：通过GPS得到拍摄点的经纬度位置信息；通过海拔检测器得到拍摄点的海拔高度信息；通过高精度手持GPS采集器海拔高度测量仪；通过坡度仪测量当前坡度；通过坡度仪定位车辆在现实空间中的位置；同时在采集地理位置信息的同时需要记录每一条位置信息采集的时间，然后将匹配好时间信息的地理位置数据一并打包；在采集信息时将空间坐标信息读取间隔设为恒定，并能与视频拍摄时的帧率进行间隔匹配，从而以便后期处理得出每几帧图像所应对应的现实中的地理位置信息。
6.根据权利要求1所述的一种虚拟人物与现实场景动态实时透视融合的方法，其特征在于：步骤S2中的具体过程包括：
P1：处理地理位置数据，将采集到的现实世界中的经度和纬度坐标数据以及海拔高度数据；转化为虚拟世界中对应的x、y、z轴坐标数据；
P2：构建虚拟道路，通过P1坐标点的数据，生成点集合，连接这些点构建出一条在虚拟世界中的道路曲线；并将相隔采集时间为Δt的两个点之间细分出Δt×m个点，将这条曲线进行平滑处理；构建并处理好虚拟道路曲线后，依据此曲线并根据现实世界中的道路宽度信息，构建一个与现实中同等宽度的道路模型并在3D引擎中拟合显示；
P3：拆分序列帧，将采集到的视频信息进行处理，拆分为序列帧并赋予每帧其拍摄的时间信息；以便后续处理；
P4：匹配序列帧构建模型，整理得到采集到的信息：
地理位置信息采集间隔：Δt；
视频采集帧率：m帧/秒；
统一的开始采集时间：t0；
则t0时刻对应第0帧图像，第n次采集到的地理位置信息对应第n×Δt×m帧图片；以此类推，得出所有位置信息对应的图片。
7.根据权利要求6所述的一种虚拟人物与现实场景动态实时透视融合的方法，其特征在于：步骤S3的具体过程包括：
Q1：制作虚拟人物模型，将虚拟人物模型及步骤P4构建的模型和曲线一并导入3D引擎；
Q2：在3D引擎中构建虚拟摄像机，所述虚拟摄像机与采集图像的摄像机具有相同的焦距、景深参数；
Q3：将导入的虚拟人物模型与虚拟摄像机绑定在道路曲线上；
Q4：匹配序列帧，将导入到3D引擎中的道路曲线上的点匹配到其对应的图像上。
8.根据权利要求7所述的一种虚拟人物与现实场景动态实时透视融合的方法，其特征在于：当虚拟人物经过道路上的点时，进行图像序列帧跳播，此序列帧播放持续到虚拟人物移动到下一个点时，使虚拟人物在虚拟道路上的移动是平滑的移动。
9.根据权利要求7所述的一种虚拟人物与现实场景动态实时透视融合的方法，其特征在于：
步骤S4的具体过程包括：确定导入的使用者操作器材的运动距离，从而确定其在虚拟道路上的位置，达成虚拟人物和虚拟摄像机由使用者操作器材控制动作的目的；
使用者操作器材的输入信息为瞬时速度信息，采取以下方式确定其距离信息：
记录使用者操作器材的瞬时速度：V车和两次数据输入的时间间隔：Δt；以及实际道路上的距离与虚拟道路上的距离的换算关系，即
通过以下算法计算，当前时间使用者操作器材行进的具体路程为：
则在虚拟道路上行进的具体路程为：
计虚拟道路总长为S，一段道路场景的场景信息的总帧数为N，则使用者当前位置所播放的序列帧编号n如下计算：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211059134.1A CN115564929A (zh) | 2022-08-31 | 2022-08-31 | 一种虚拟人物与现实场景动态实时透视融合的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211059134.1A CN115564929A (zh) | 2022-08-31 | 2022-08-31 | 一种虚拟人物与现实场景动态实时透视融合的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115564929A true CN115564929A (zh) | 2023-01-03 |
Family
ID=84738938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211059134.1A Pending CN115564929A (zh) | 2022-08-31 | 2022-08-31 | 一种虚拟人物与现实场景动态实时透视融合的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115564929A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117519539A (zh) * | 2024-01-08 | 2024-02-06 | 吾计(江苏)科技有限公司 | 一种基于视频的增强现实软件处理方法 |
-
2022
- 2022-08-31 CN CN202211059134.1A patent/CN115564929A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117519539A (zh) * | 2024-01-08 | 2024-02-06 | 吾计(江苏)科技有限公司 | 一种基于视频的增强现实软件处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vlahakis et al. | Archeoguide: first results of an augmented reality, mobile computing system in cultural heritage sites | |
| CN105188516B (zh) | 用于增强和虚拟现实的系统与方法 | |
| CN105797349B (zh) | 实景跑步装置、方法及系统 | |
| Menache | Understanding motion capture for computer animation and video games | |
| US20080310707A1 (en) | Virtual reality enhancement using real world data | |
| CN103889519B (zh) | 利用多个照相机拍摄移动的被拍摄体并根据拍摄图像来获取被拍摄体的实际的移动轨迹的方法及系统 | |
| US20160250519A1 (en) | Simulating Real-World Terrain on an Exercise Device | |
| CN106951561B (zh) | 基于虚拟现实技术与gis数据的电子地图系统 | |
| JP2019535090A (ja) | 仮想現実アトラクション制御方法及びシステム | |
| US20070198939A1 (en) | System and method for the production of presentation content depicting a real world event | |
| CN110227266A (zh) | 使用真实世界虚拟现实地图来构建虚拟现实游戏玩耍环境 | |
| US20120214590A1 (en) | System and method for acquiring virtual and augmented reality scenes by a user | |
| TWI302667B (zh) | ||
| CN101780321A (zh) | 一种高临场感的运动健身器材虚拟实景的制作方法以及基于该虚拟实景的互动系统和方法 | |
| US20130016099A1 (en) | Digital Rendering Method for Environmental Simulation | |
| CN104484327A (zh) | 一种项目工程的环境展示方法 | |
| CN106780734A (zh) | 一种基于虚拟全景的智能导游服务系统 | |
| CN105664469B (zh) | 具有模拟场景的运动系统及其实现方法 | |
| CN102867280A (zh) | 一种虚拟旅游平台的构建装置及应用 | |
| US12086942B2 (en) | Efficient capture and delivery of walkable and interactive virtual reality or 360 degree video | |
| US20110181711A1 (en) | Sequential image generation | |
| CN109976527B (zh) | 交互式vr展示系统 | |
| CN205123915U (zh) | 一种虚拟旅行应用系统 | |
| CN115564929A (zh) | 一种虚拟人物与现实场景动态实时透视融合的方法 | |
| JP6566209B2 (ja) | プログラム及びアイウエア |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |