CN112891940B - 图像数据处理方法及装置、存储介质、计算机设备 - Google Patents
图像数据处理方法及装置、存储介质、计算机设备 Download PDFInfo
- Publication number
- CN112891940B CN112891940B CN202110280564.5A CN202110280564A CN112891940B CN 112891940 B CN112891940 B CN 112891940B CN 202110280564 A CN202110280564 A CN 202110280564A CN 112891940 B CN112891940 B CN 112891940B
- Authority
- CN
- China
- Prior art keywords
- real
- time
- virtual
- image frame
- world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 190
- 238000009877 rendering Methods 0.000 claims abstract description 109
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000002452 interceptive effect Effects 0.000 claims abstract description 13
- 238000012546 transfer Methods 0.000 claims description 76
- 238000013507 mapping Methods 0.000 claims description 63
- 230000000007 visual effect Effects 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 27
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 69
- 230000008859 change Effects 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000011065 in-situ storage Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请公开了一种图像数据处理方法及装置、存储介质、计算机设备，该方法包括：响应于AR模式交互操作请求，调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像，所述传送门模型内外分别呈现真实世界的实时真实场景图像与所述游戏客户端内运行的三维游戏虚拟世界的实时虚拟场景图像；获取所述虚拟世界中虚拟摄像机的位置与所述传送门模型所在位置之间的实时距离，并在所述实时距离小于预设阈值时，交换所述传送门模型内外的图像，所述虚拟摄像机的位置对应于所述虚拟世界中游戏角色所在位置。本申请有助于提高玩家的体验感，提升游戏画面的展现效果，提升游戏的可玩性，为增加游戏玩法提供技术支持。
Description
技术领域
本申请涉及计算机技术领域，尤其是涉及到一种图像数据处理方法及装置、存储介质、计算机设备。
背景技术
随着计算机技术的快速发展，AR(Argument Reality，增强现实)技术开始相继应用于各行各业中，包括：军事、医疗、影视、游戏等。AR技术可以将真实的环境与虚拟的环境叠加到同一个画面或空间，从而丰富人们的体验感。
现今游戏领域中通常利用AR技术制作AR传送门，其效果是在当前世界中有一道虚拟的门，用户可以穿越这道虚拟的门，实现从当前世界到另一个世界的转换，也就是说，当用户经过当前世界中的穿越门之后，就可以从当前世界进入到另一个世界。但现有技术中通常由美术人员制作固定的传送门模型，玩家通过传送门看到的虚拟世界的景象是美术人员预先制作好的图像或动画，这种AR传送门表现效果单一，无法实时展现当前真实世界和虚拟世界的景象，展现效果真实性较差，无法为玩家带来沉浸式的体验。
发明内容
有鉴于此，本申请提供了一种图像数据处理方法及装置、存储介质、计算机设备，有助于提升游戏画面展示效果，提升游戏体验。
根据本申请的一个方面，提供了一种图像数据处理方法，用于游戏客户端，所述方法包括：
响应于AR模式交互操作请求，调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像，所述传送门模型内外分别呈现真实世界的实时真实场景图像与所述游戏客户端内运行的三维游戏虚拟世界的实时虚拟场景图像；
获取所述虚拟世界中虚拟摄像机的位置与所述传送门模型所在位置之间的实时距离，并在所述实时距离小于预设阈值时，交换所述传送门模型内外的图像，所述虚拟摄像机的位置对应于所述虚拟世界中游戏角色所在位置。
可选地，所述调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像之前，所述方法还包括：
通过所述游戏客户端内的摄像机获取所述真实世界对应的第一实时真实图像帧，并将所述第一实时真实图像帧作为第一贴图保存在预先分配的内存中；
依据所述游戏客户端对应的第一实时位置和/或第一实时视角以及所述虚拟世界对应的预设展示位置和/或预设展示视角，确定所述虚拟世界中虚拟摄像机对应的第一实时图像捕获位置和/或第一实时图像捕获视角；
获取所述第一实时图像捕获位置和/或所述第一实时图像捕获视角对应的第一实时虚拟图像帧，所述实时虚拟场景图像包括所述第一实时虚拟图像帧。
可选地，所述调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像，具体包括：
在所述第一实时虚拟图像帧对应的虚拟世界展示区域内包含虚拟传送门的情况下，依据所述第一实时图像捕获位置和所述第一实时图像捕获视角，确定第一虚拟传送门的第一展示形态信息，并根据所述第一展示形态信息以及所述传送门模型对应的贴图信息，将所述第一贴图向所述第一虚拟传送门进行贴图，生成实时真实传送门图像帧，以及将所述实时真实传送门图像帧通过3D映射渲染到所述第一实时虚拟图像帧对应的第一虚拟传送门位置上，得到第一实时渲染图像帧，所述实时渲染图像帧包括所述第一实时渲染图像帧；
在所述第一实时虚拟图像帧对应的虚拟世界展示区域内不包含虚拟传送门的情况下，展示所述第一实时虚拟图像帧。
可选地，所述第一虚拟传送门位置响应于所述AR模式交互操作请求指示的位置确定，或者响应于传送门位置选择操作而确定，所述第一虚拟传送门位置为所述虚拟世界坐标系下的固定位置。
可选地，所述第一实时真实图像帧对应的捕获帧率、分辨率以及尺寸依据所述游戏客户端的实时负载确定。
可选地，所述交换所述传送门模型内外的图像，具体包括：
获取所述真实世界的第二实时真实图像帧，以及获取所述游戏客户端的第二实时位置和第二实时视角，并结合所述虚拟世界对应的初始展示位置和初始展示视角，确定所述虚拟世界对应的第二实时图像捕获位置和第二实时图像捕获视角；
依据所述第二实时图像捕获位置和所述第二实时图像捕获视角，确定所述虚拟世界对应的第二实时虚拟图像帧，并将所述第二实时虚拟图像帧作为第二贴图保存在预先分配的内存中，其中，所述第二贴图用于渲染所述传送门模型；
根据所述第二贴图、所述传送门模型以及所述第二实时真实图像帧，调用所述渲染引擎渲染得到包含所述传送门模型的第二实时渲染图像帧。
可选地，所述根据所述第二贴图、所述预设传送门模型以及所述第二实时真实图像帧，渲染得到包含传送门的第二实时渲染图像帧，具体包括：
在所述第二实时真实图像帧对应的真实世界展示区域内包含虚拟传送门的情况下，依据所述第二实时位置、所述第二实时视角以及传送门对应的第二虚拟传送门位置，确定第二虚拟传送门的第二展示形态信息，并根据所述第二展示形态信息以及所述传送门模型对应的贴图信息，将所述第二贴图向所述第二虚拟传送门进行贴图，生成实时虚拟传送门图像帧，以及将所述实时虚拟传送门图像帧通过3D映射渲染到所述第二实时真实图像帧对应的第二虚拟传送门位置上，得到所述第二实时渲染图像帧；
在所述第二实时真实图像帧对应的真实世界展示区域内不包含虚拟传送门的情况下，展示所述第二实时真实图像帧。
可选地，所述初始展示位置和所述初始展示视角基于传送门在所述虚拟世界中对应的第一虚拟传送门位置确定；所述第二虚拟传送门位置基于所述实时距离小于所述预设阈值时所述游戏客户端的所在位置确定，所述第二虚拟传送门位置为所述真实世界坐标系下的固定位置。
可选地，所述获取所述真实世界的第二实时真实图像帧之前，所述方法还包括：
获取所述真实世界的多个传送展示图像帧，其中，所述多个传送展示图像帧包括所述实时距离小于预设阈值的时刻以及之后采集到的所述真实世界对应的预设数量的图像帧；
依据预设数量的预设切换融合图像帧分别对所述传送展示图像帧进行渲染。
根据本申请的另一方面，提供了一种图像数据处理装置，用于游戏客户端，包括：
渲染模块，用于响应于AR模式交互操作请求，调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像，所述传送门模型内外分别呈现真实世界的实时真实场景图像与所述游戏客户端内运行的三维游戏虚拟世界的实时虚拟场景图像；
场景切换模块，用于获取所述虚拟世界中虚拟摄像机的位置与所述传送门模型所在位置之间的实时距离，并在所述实时距离小于预设阈值时，交换所述传送门模型内外的图像，所述虚拟摄像机的位置对应于所述虚拟世界中游戏角色所在位置。
可选地，该装置还包括：图像获取模块，用于：
所述调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像之前，通过所述游戏客户端内的摄像机获取所述真实世界对应的第一实时真实图像帧，并将所述第一实时真实图像帧作为第一贴图保存在预先分配的内存中；
依据所述游戏客户端对应的第一实时位置和/或第一实时视角以及所述虚拟世界对应的预设展示位置和/或预设展示视角，确定所述虚拟世界中虚拟摄像机对应的第一实时图像捕获位置和/或第一实时图像捕获视角；
获取所述第一实时图像捕获位置和/或所述第一实时图像捕获视角对应的第一实时虚拟图像帧，所述实时虚拟场景图像包括所述第一实时虚拟图像帧。
可选地，所述渲染模块，具体用于：
在所述第一实时虚拟图像帧对应的虚拟世界展示区域内包含虚拟传送门的情况下，依据所述第一实时图像捕获位置和所述第一实时图像捕获视角，确定第一虚拟传送门的第一展示形态信息，并根据所述第一展示形态信息以及所述传送门模型对应的贴图信息，将所述第一贴图向所述第一虚拟传送门进行贴图，生成实时真实传送门图像帧，以及将所述实时真实传送门图像帧通过3D映射渲染到所述第一实时虚拟图像帧对应的第一虚拟传送门位置上，得到第一实时渲染图像帧，所述实时渲染图像帧包括所述第一实时渲染图像帧；
在所述第一实时虚拟图像帧对应的虚拟世界展示区域内不包含虚拟传送门的情况下，展示所述第一实时虚拟图像帧。
可选地，所述第一虚拟传送门位置响应于所述AR模式交互操作请求指示的位置确定，或者响应于传送门位置选择操作而确定，所述第一虚拟传送门位置为所述虚拟世界坐标系下的固定位置。
可选地，所述第一实时真实图像帧对应的捕获帧率、分辨率以及尺寸依据所述游戏客户端的实时负载确定。
可选地，所述场景切换模块，具体用于：
获取所述真实世界的第二实时真实图像帧，以及获取所述游戏客户端的第二实时位置和第二实时视角，并结合所述虚拟世界对应的初始展示位置和初始展示视角，确定所述虚拟世界对应的第二实时图像捕获位置和第二实时图像捕获视角；
依据所述第二实时图像捕获位置和所述第二实时图像捕获视角，确定所述虚拟世界对应的第二实时虚拟图像帧，并将所述第二实时虚拟图像帧作为第二贴图保存在预先分配的内存中，其中，所述第二贴图用于渲染所述传送门模型；
根据所述第二贴图、所述传送门模型以及所述第二实时真实图像帧，调用所述渲染引擎渲染得到包含所述传送门模型的第二实时渲染图像帧。
可选地，所述场景切换模块，还用于：
在所述第二实时真实图像帧对应的真实世界展示区域内包含虚拟传送门的情况下，依据所述第二实时位置、所述第二实时视角以及传送门对应的第二虚拟传送门位置，确定第二虚拟传送门的第二展示形态信息，并根据所述第二展示形态信息以及所述传送门模型对应的贴图信息，将所述第二贴图向所述第二虚拟传送门进行贴图，生成实时虚拟传送门图像帧，以及将所述实时虚拟传送门图像帧通过3D映射渲染到所述第二实时真实图像帧对应的第二虚拟传送门位置上，得到所述第二实时渲染图像帧；
在所述第二实时真实图像帧对应的真实世界展示区域内不包含虚拟传送门的情况下，展示所述第二实时真实图像帧。
可选地，所述初始展示位置和所述初始展示视角基于传送门在所述虚拟世界中对应的第一虚拟传送门位置确定；所述第二虚拟传送门位置基于所述实时距离小于所述预设阈值时所述游戏客户端的所在位置确定，所述第二虚拟传送门位置为所述真实世界坐标系下的固定位置。
可选地，所述场景切换模块，还用于：
所述获取所述真实世界的第二实时真实图像帧之前，获取所述真实世界的多个传送展示图像帧，其中，所述多个传送展示图像帧包括所述实时距离小于预设阈值的时刻以及之后采集到的所述真实世界对应的预设数量的图像帧；
依据预设数量的预设切换融合图像帧分别对所述传送展示图像帧进行渲染。
依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述图像数据处理方法。
依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像数据处理方法。
借由上述技术方案，本申请提供的一种图像数据处理方法及装置、存储介质、计算机设备，客户端响应于传送门开启请求，启动图像采集装置进入实时录制状态，从而根据玩家所在的第一实时位置获得第一实时真实图像帧及与第一实时虚拟图像帧，并将第一实时真实图像帧保存为第一贴图，根据第一贴图、预设传送门模型以及第一实时虚拟图像帧共同渲染得到第一实时渲染图像帧，进而实现AR模式中将现实场景与虚拟场景结合的效果。本申请实施例将在真实世界采集的图像以贴图形式存储在设备内存中，以供游戏引擎通过渲染技术将其渲染至预设传送门模型上，在门内展示真实世界实时环境，并渲染出传送门外展示虚拟世界实时环境的图像的效果，游戏内展示图像极具整体性效果，没有割裂感，门里、门外能够实时展示出现实、虚拟两个世界的实时环境，营造出更加“真实”的传送门效果，通过传送门玩家能够实时观察到通过传送门所至的世界环境和位置，有助于提高玩家的体验感，提升游戏画面的展现效果，提升游戏的可玩性，通过AR游戏模式给玩家带来虚实结合的非凡游戏体验，为增加游戏玩法提供技术支持。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种图像数据处理方法的流程示意图；
图2示出了本申请实施例提供的一种图像数据处理装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种图像数据处理方法，如图1所示，该方法包括：
步骤101，响应于AR模式交互操作请求，调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像，所述传送门模型内外分别呈现真实世界的实时真实场景图像与所述游戏客户端内运行的三维游戏虚拟世界的实时虚拟场景图像；
步骤102，获取所述虚拟世界中虚拟摄像机的位置与所述传送门模型所在位置之间的实时距离，并在所述实时距离小于预设阈值时，交换所述传送门模型内外的图像，所述虚拟摄像机的位置对应于所述虚拟世界中游戏角色所在位置。
本申请实施例提供的图像数据处理方法可以应用于游戏客户端中，客户端可以包括智能手机、平板电脑等智能电子设备，客户端内设或外设有可以用于实现图像采集的图像采集装置，例如智能手机中的摄像头。从而客户端可以响应于从虚拟世界向真实世界的传送门开启请求，通过客户端的图像采集装置进行图像获取、图像处理和图像展示。AR模式交互操作请求可以为传送门开启请求，具体可以由玩家触发产生，例如，玩家通过点击游戏内特定页面上的AR模式触发按钮，实现传送门开启请求的输入。从而客户端响应于传送门开启请求运行AR模式，并启动摄像头，此时摄像头进入实时录制状态，对真实世界的实时环境进行录制，通过录制得到第一实时真实图像帧，在实际应用场景中，玩家可以持有客户端进行移动时，通过摄像头录制的画面也会跟随玩家的移动产生变化，相应地，采集到的多个第一实时真实图像帧会跟随玩家的移动产生变化。在获取第一实时真实图像帧后，客户端将其保存为第一贴图，用于渲染虚拟传送门对应的传送门模型。在这里，第一贴图存储在设备运行内存(RAM)中，无需占用设备存储磁盘空间，可以通过不断更新设备运行内存中的第一贴图实现设备运行内存的重复使用，提高了第一贴图的读写效率的同时，减少了对设备存储磁盘空间的占用。
本申请实施例中，通过虚拟传送门可以实现从虚拟世界向真实世界的切换，虚拟传送门是在虚拟世界的一道虚拟的门，通过这道虚拟的门不仅可以进入真实世界，还可以看到真实世界，当虚拟世界中虚拟摄像机与传送门的距离小于一定阈值时，还可以实现从虚拟世界穿越到现实世界的效果，穿越到真实世界后，传送门内外的图像进行交换，即门内展示虚拟世界场景，门外展示真实世界场景，其中，虚拟摄像机的位置和视角与游戏世界中游戏角色眼睛所在的位置和视角一致。在具体场景中，玩家可以在AR模式的游戏画面中既看到虚拟世界的实时环境，又看到真实世界的实时环境。其中，真实世界的实时环境可以通过第一实时真实图像帧来反应，而虚拟世界的实时环境通过与第一实时真实图像帧对应的第一实时虚拟图像帧来反应，需要解释的是，本申请实施例中的第一实时真实图像帧是基于客户端的实时状态来获取的，正如第一实时真实图像帧是跟随客户端的移动而变化一样，第一实时虚拟图像帧也可以基于客户端的移动而产生变化，第一实时真实图像帧具体可以跟随客户端对应的摄像头位置和摄像头方向(以摄像头内置于客户端为例，认为客户端位置、方向与摄像头位置、方向一致)产生变化(当然也可以跟随玩家对客户端显示屏触摸区域的触摸操作而变化，比如玩家通过操控摇杆控制游戏角色移动以使第一实时虚拟图像帧跟随该变化)。
该实施例中，为使第一实时虚拟图像帧与第一实时真实图像帧产生相似的变化，以模仿游戏角色在虚拟世界中的移动时感受到的虚拟世界环境变化，可以通过客户端内的一些硬件设备(例如GPS定位模块、陀螺仪等)来对客户端的位置和方向信息进行采集，从而根据采集到的客户端位置和方向信息来分析如果玩家身处于虚拟世界中能够观察到的虚拟世界中的环境，即获取与第一实时真实图像帧对应的虚拟世界的第一实时虚拟图像帧。另外，除了通过客户端内的硬件设备外，还可以对连续的第一实时真实图像帧进行图像分析，建立真实世界坐标系，确定玩家在真实世界中的位置、方向变化，从而确定与第一实时真实图像帧对应的第一实时虚拟图像帧。
进一步，根据获取的第一贴图、预设传送门模型以及第一实时虚拟图像帧，客户端可以结合预设传送门模型进行第一贴图的图像处理和图像显示，具体可以对游戏中的预设传送门模型以及第一贴图进行处理，从而使第一贴图对预设传送门模型进行渲染，渲染后与获取的第一实时虚拟图像帧结合，共同渲染得到包含传送门的第一实时渲染图像帧，从而利用第一实时渲染图像帧展示虚拟世界环境画面、虚拟传送门以及真实世界环境画面，且门外为虚拟世界，门内为真实世界，从而实现了虚拟场景与现实场景的结合，玩家从传送门看到的真实世界的场景会随着玩家位置的变化而变化，通过游戏画面能够感受到在虚拟世界有一道传送门，且通过该传送门能看到真实世界的实时环境。需要说明的是，也可以先利用预设传送门模型渲染第一实时虚拟图像帧，再利用第一贴图对预设传送门模型进行渲染，渲染顺序在此不做限定。也就是说，在游戏画面的虚拟传送门中，可以看到真实世界的实时环境，也即第一实时真实图像帧反应的真实世界环境，且第一实时真实图像帧及第一实时虚拟图像帧均会随着玩家位置的改变而改变，通过游戏画面看到的第一实时真实图像帧及第一实时虚拟图像帧并不是固定的，第一实时真实图像帧是随着客户端录制环境的变化而变化的，第一实时虚拟图像帧是依据客户端的位置、方向等变化，使游戏角色在虚拟世界中模仿该变化而产生的。玩家可以在虚拟传送门内的画面中体验在真实世界中行走时能够感受到的真实世界环境变化，在虚拟传送门外的画面中体验在虚拟世界中行走时能够感受到的虚拟世界环境变化。
通过应用本实施例的技术方案，客户端响应于AR模式交互操作请求，调用游戏渲染引擎进行图像渲染，得到包含传送门模型的实时渲染图像，且门内呈现真实世界的实时真实场景图像，门外呈现虚拟世界的实时虚拟场景图像，实现AR模式中将现实场景与虚拟场景结合的效果，在虚拟摄像机与传送门距离较近时，交换传送门模型内外的图像，实现从虚拟世界进入现实世界的效果。本申请实施例将在AR模式交互操作请求下，调用游戏渲染引擎进行图像渲染，在传送门内展示真实世界实时环境、传送门外展示虚拟世界实时环境的图像的效果，游戏内展示图像极具整体性效果，没有割裂感，门里、门外能够实时展示出现实、虚拟两个世界的实时环境，营造出更加“真实”的传送门效果，通过传送门玩家能够实时观察到通过传送门所至的世界环境和位置，并可实现在距离传送门距离较近时通过传送门穿越到真实世界的效果，有助于提高玩家的体验感，提升游戏画面的展现效果，提升游戏的可玩性，通过AR游戏模式给玩家带来虚实结合的非凡游戏体验，为增加游戏玩法提供技术支持。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种图像数据处理方法，该方法包括：
步骤201，响应于AR模式交互操作请求，通过所述游戏客户端内的摄像机获取所述真实世界对应的第一实时真实图像帧，并将所述第一实时真实图像帧作为第一贴图保存在预先分配的内存中；
步骤202，依据所述游戏客户端对应的第一实时位置和/或第一实时视角以及所述虚拟世界对应的预设展示位置和/或预设展示视角，确定所述虚拟世界中虚拟摄像机对应的第一实时图像捕获位置和/或第一实时图像捕获视角；
在步骤202中，可以通过客户端中的定位装置(例如GPS模块)采集客户端对应的所在位置作为上述的第一实时位置，以及通过客户端中的角运动检测装置(例如陀螺仪)采集客户端的角运动数据并确定第一实时视角，为了对世界切换前后采集到的数据做出区分，本申请实施例中将在真实世界获取的位置/视角称为第一实时位置/第一实时视角。需要说明的是，第一实时位置与第一实时视角是随着客户端所在位置与方向的变化而变化的。
在获取第一实时位置和第一实时视角后，根据第一实时位置和/或第一实时视角以及虚拟世界对应的预设展示位置和/或预设展示视角，确定虚拟世界对应的第一实时图像捕获位置和/或第一实时图像捕获视角。其中，虚拟世界对应的预设展示位置和/或预设展示视角一般为预先设定的，例如由游戏开发人员预先设定虚拟世界的默认传送位置、默认传送视角，即在默认情况下游戏角色传送到虚拟世界时所在的位置以及看向虚拟世界的视角，本申请实施例中，可以基于客户端对应的第一实时位置和/或第一实时视角对该预设展示位置、预设展示视角进行调整确定第一实时图像捕获位置和/或第一实时图像捕获视角。例如，当客户端所在的位置为(0，0)时，客户端接收到从虚拟世界向真实世界的传送门开启请求，此时游戏角色在虚拟世界场景中所在的位置为预设展示位置，所用的视角为预设展示视角，在虚拟场景中开启虚拟传送门，玩家在真实世界中通过持有客户移动位置使客户端所在的位置变为(0，20)，那么此时由于客户端对应的第一实时位置及第一实时视角发生了变化，因而第一实时图像捕获位置及第一实时图像捕获视角相应的发生了变化。换句话说，此时在虚拟世界中看到的场景不再是预设展示位置和/或预设展示视角对应的场景，而是在预设展示位置和/或预设展示视角的基础上，经过第一实时位置和/或所述第一实时视角的变化得到的场景。
另外，虚拟世界对应的第一实时虚拟图像帧具体需要基于第一实时位置、第一实时视角产生怎样的变化，可以由游戏开发人员根据实际需要设定，可以只基于其中一项产生变化，也可以基于这两项产生变化，在此不做限定。
步骤203，获取所述第一实时图像捕获位置和/或所述第一实时图像捕获视角对应的第一实时虚拟图像帧，所述实时虚拟场景图像包括所述第一实时虚拟图像帧；
在步骤203中，在获取第一实时图像捕获位置和/或第一实时图像捕获视角后，可以确定对应的第一实时虚拟图像帧。通过第一实时虚拟图像帧的变化会使玩家更加清楚地了解虚拟世界中的场景变化，提升游戏可玩性，提高游戏体验。
步骤204，在所述第一实时虚拟图像帧对应的虚拟世界展示区域内包含虚拟传送门的情况下，依据所述第一实时图像捕获位置和所述第一实时图像捕获视角，确定第一虚拟传送门的第一展示形态信息，并根据所述第一展示形态信息以及所述传送门模型对应的贴图信息，将所述第一贴图向所述第一虚拟传送门进行贴图，生成实时真实传送门图像帧，以及将所述实时真实传送门图像帧通过3D映射渲染到所述第一实时虚拟图像帧对应的第一虚拟传送门位置上，得到第一实时渲染图像帧，所述实时渲染图像帧包括所述第一实时渲染图像帧；
步骤205，在所述第一实时虚拟图像帧对应的虚拟世界展示区域内不包含虚拟传送门的情况下，展示所述第一实时虚拟图像帧；
在步骤204和步骤205中，基于游戏世界中游戏角色与传送门所在位置和所在方向，可展示出游戏画面包含虚拟传送门和不包含虚拟传送门两种情况。其中一种是以虚拟世界中游戏角色的角度能看到虚拟传送门的情况，另外一种是以虚拟世界中游戏角色的角度不能看到虚拟传送门的情况。其中，虚拟传送门在虚拟世界场景中的位置和方向是固定的。具体地，第一虚拟传送门位置响应于传送门开启请求指示的位置确定，或者响应于传送门位置选择操作而确定，第一虚拟传送门位置为虚拟世界坐标系下的固定位置。当以虚拟世界中游戏角色的位置、视角能看到虚拟传送门时，根据第一实时图像捕获位置和第一实时图像捕获视角，确定在虚拟世界中看到的第一虚拟传送门对应的第一展示形态信息。在这里，由于虚拟传送门在虚拟场景中的位置和视角是固定的，所以在虚拟世界场景中，随着第一实时图像捕获位置和第一实时图像捕获视角的变化，第一虚拟传送门对应的第一展示形态信息也是不断变化的。例如，虚拟传送门的预设展示形态为圆形，假如虚拟世界场景中的游戏角色在某一位置看到的虚拟传送门的展示形态为圆形时，当该游戏角色以虚拟传送门为圆心向左旋转小于90度或向右旋转小于90度时，那么看到的虚拟传送门的展示形态会变成椭圆形。当第一虚拟传送门对应的第一展示形态信息确定后，根据第一展示形态信息和预设传送门模型对应的贴图信息，将第一贴图向第一虚拟传送门进行贴图，生成实时真实传送门图像帧。其中，贴图信息可以包括贴图所在的位置、贴图的大小、贴图的形状等；第一贴图会按照贴图信息指定的大小、形状等映射在预设传送门模型上，从而生成实时真实传送门图像帧。相应地，实时真实传送门图像帧随着第一实时图像捕获位置及第一实时图像捕获视角的变化而变化的。进一步，通过3D映射将其渲染到第一实时虚拟图像帧对应的第一虚拟传送门位置上，得到第一实时渲染图像帧。此时，第一实时渲染图像帧不仅包括虚拟世界环境画面、第一虚拟传送门画面，同时还包括门中的真实世界画面。随着第一实时图像捕获位置和第一实时图像捕获视角的变化，第一实时渲染图像帧上实时真实传送门图像帧的展示形态也在不断变化，使得传送门展示效果更具真实性。
另外，当以虚拟世界中游戏角色的角度不能看到虚拟传送门时，此时游戏页面上展示的为第一实时虚拟图像帧。
本申请实施例中，游戏角色在游戏世界中跟随玩家在真实世界移动时，由于玩家是在真实世界中移动的，真实世界的行走环境与游戏世界的行走环境是不同的，如果完全按照客户端的真实位移数据对游戏角色在游戏世界中的运动进行控制，可能导致游戏角色穿越墙体等障碍物、以及走出地图范围等情况发生，因此，为了解决这种移动穿帮、玩家游戏体验差的问题。
可选地，该方法还可以包括：S1，响应于从虚拟世界向真实世界的传送门开启请求，读取与所述虚拟世界对应的运动面数据文件，其中，所述运动面数据文件用于指示所述虚拟世界的可运动位置；S2，按预设帧率采集所述客户端对应的真实位移数据，并根据所述真实位移数据以及游戏角色在所述虚拟世界中的初始位置，逐帧生成所述游戏角色在所述虚拟世界中的目标位置；S3，依据所述运动面数据文件以及所述目标位置，通过游戏引擎逐帧渲染所述游戏角色在所述虚拟世界中对应的运动图像帧。
其中，运动面数据文件具体是预先基于该游戏世界的地貌数据建立的用于反应游戏世界的可运动位置的一组数据。本申请实施例中，先根据客户端的真实位移数据以及游戏角色在游戏世界中的初始位置，计算每一个真实位移数据对应的游戏角色在游戏世界中的目标位置，再根据运动面数据文件所指示的游戏世界的可运动位置来分析游戏角色是否可以运动到目标位置，即目标位置是否属于游戏世界中的可运动位置，从而基于分析结果进行图像渲染得到运动图像帧，例如，在确定游戏角色可以向目标位置移动时，可以渲染游戏角色向目标位置移动的运动图像帧，而在确定目标位置不属于可运动位置时，即游戏角色不应向目标位置移动时，可以渲染游戏角色在目标位置停止移动、或者原地踏步等表现形式的运动图像帧。如此。玩家在客户端显示屏幕上看到的游戏动画中不会出现游戏角色表现出穿越障碍物、移动至地图范围外等效果，提高游戏角色运动的真实性，以使得在AR模式下游戏世界中的游戏角色不仅可以跟随玩家在真实世界的移动，而且在无需重新开发AR模式专用地图的情况下避免了游戏角色生硬的跟随玩家在真实世界中的移动路径而导致的穿帮，在提高游戏可玩性、增加游戏玩法的同时，保证了游戏展示效果。
可选地，S1可以包括：在所述游戏世界中，加载与所述运动面数据文件对应的运动面，其中，对所述游戏世界进行展示时隐藏所述运动面。
在上述实施例中，运动面数据文件具体可以是根据游戏世界的地貌数据预先生成的，文件中具体可以包含该游戏世界中各可运动位置的平面坐标以及高度数据，平面坐标和对应的高度数据表示在游戏世界空间中，某个可运动位置的可移动高度，例如，在游戏世界中的台阶是可运动位置，台阶对应的平面坐标和高度数据反应游戏角色移动到该台阶时脚踩的位置。响应于AR模式运行指令，基于运动面数据文件可以在游戏中加载出与该文件对应的运动面，该运动面在游戏中可以是隐藏的，玩家透过客户端显示屏看不到运动面，该运动面只用于分析某个目标位置是否可以运动，该运动面在游戏中也可以是显示的，使玩家能够看到运动面，以助于玩家注意尽量避免向非运动面的位置移动保证在游戏世界内流畅、顺利的游览。
相应地，S3可以包括：
S3.1，基于所述目标位置生成打点射线，对所述运动面发射所述打点射线进行射线打点，其中，所述打点射线垂直于所述目标位置所在平面；
S3.2，若所述打点射线与所述运动面产生交汇，则渲染所述游戏角色向所述目标位置移动的第一运动图像帧，其中，所述运动图像帧包括所述第一运动图像帧；
S3.3，若所述打点射线与所述运动面不产生交汇，则按照预设碰撞运动规则，渲染所述游戏角色在对应的当前位置进行运动的第二运动图像帧，其中，所述运动图像帧包括所述第二运动图像帧。
在上述实施例中，根据目标位置向垂直方向生成打点射线(打点射线的端点可以是游戏世界的最高点，方向是垂直向下，也可以在最低点取端点，方向垂直向上)，并发射打点射线进行打点，如果打点射线能够打到运动面，即打点射线与运动面产生交汇，说明游戏角色可以向目标位置移动，那么渲染游戏角色向目标位置(该目标位置具体应为目标位置坐标在运动面上的投影位置，即交汇点)移动的第一运动图像帧，这里游戏角色向目标位置移动时应考虑目标位置对应的高度数据，保证游戏角色运动时能够基于场景的地貌进行运动。而如果打点射线打不到运动面，即打点射线与运动面不产生交汇，说明游戏角色如果向目标位置移动则会穿帮，此时可以按照预设碰撞运动规则渲染第二运动图像帧，其中预设碰撞运动规则具体可以为在该情况下，游戏角色在原地行走、或在原地静止等等。
另外，本申请实施例还可以将运动面加载为导航运动面，具体运动面可以包括二维导航网格运动面以及三维体素运动面，其中，二维导航网格运动面可以表示目标游戏场景中游戏角色可以在其上通过步行、骑乘坐骑等地表行进方式运动，而三维体素运动面可以反应出目标游戏场景中各可运动体素的连通情况，即能够连通的体素格子之间可以通过地表行进方式、空中行进方式等各种方式移动。基于二维导航网格运动面或三维体素运动面，可以实现游戏角色在游戏世界中的寻路。
可选地，当运动面包括二维导航网格运动面时，S3具体可以包括：
S3.4，若所述目标位置与所述二维导航网格运动面匹配，则获取所述二维导航网格运动面对应的所述目标位置的预设骑乘信息，根据所述预设骑乘信息以及所述游戏角色的当前骑乘状态，确定所述游戏角色的目标骑乘状态，并基于所述二维导航网格运动面，渲染所述游戏角色以所述目标骑乘状态向所述目标位置移动的第三运动图像帧，其中，所述运动图像帧包括所述第三运动图像帧；
S3.5，若所述目标位置与所述二维导航网格运动面不匹配，则渲染所述游戏角色在对应的当前位置进行运动的第四运动图像帧，其中，所述运动图像帧包括所述第四运动图像帧。
在该实施例中，对于通过游戏内平面坐标来表示的目标位置，当二维导航网格运动面在平面上的投影包括该目标位置时，或基于目标位置发射的打点射线与二维导航网格运动面存在交点时，认为目标位置与二维导航网格运动面匹配，此时说明游戏角色可以向目标位置移动，在确定目标位置与二维导航网格运动面匹配时，获取目标位置点在二维导航网格运动面上的垂直投影位置点对应的预设骑乘信息，例如预设骑乘信息可以包括步行、骑乘坐骑、划船等等地表行进方式，进一步判断游戏角色的当前骑乘状态是否属于预设骑乘信息指示的骑乘状态，若是则将游戏角色的当前骑乘状态作为目标骑乘状态，若否则将游戏角色的目标骑乘状态切换为预设骑乘信息所指示的行进方式，例如从步行状态切换为骑行状态，从而渲染游戏角色以该目标骑乘状态向目标位置(这里的目标位置是指目标位置在二维导航网格运动面上的垂直投影位置)移动的第三运动图像帧。而当二维导航网格运动面在平面上的投影不包括该目标位置时，或基于目标位置发射的打点射线与二维导航网格运动面没有交点时，认为目标位置与二维导航网格运动面不匹配，此时说明游戏角色不可以向目标位置移动，那么按预设碰撞运动规则渲染第四运动图像帧，其中预设碰撞运动规则具体可以为在该情况下，游戏角色在原地行走、或在原地静止等等。
可选地，当运动面包括三维体素运动面时，S3具体可以包括：
S3.6，若所述目标位置与所述三维体素运动面匹配，则获取所述三维体素运动面对应的所述目标位置的预设骑乘信息，根据所述预设骑乘信息以及所述游戏角色的当前骑乘状态，确定所述游戏角色的目标骑乘状态，并基于所述三维体素运动面确定所述游戏角色从当前位置向所述目标位置移动的寻路信息，根据所述寻路信息，渲染所述游戏角色以所述目标骑乘状态向所述目标位置移动的第五运动图像帧，其中，所述运动图像帧包括所述第五运动图像帧；
S3.7，若所述目标位置与所述三维体素运动面不匹配，则渲染所述游戏角色在对应的当前位置进行运动的第六运动图像帧，其中，所述运动图像帧包括所述第六运动图像帧。
在该实施例中，三维体素运动面包含虚拟世界内的可连通体素，当三维体素运动面在平面上的投影包括目标位置时，或者基于目标位置发射的打点射线能够打到三维体素运动面上时，认为目标位置与三维体素运动面匹配，此时说明游戏角色可以向目标位置移动。在确定目标位置与三维体素运动面匹配时，获取目标位置点在三维体素运动面上的垂直投影位置点对应的预设骑乘信息，例如预设骑乘信息可以包括步行、骑乘坐骑、划船等地表行进方式，还可以包括轻功、飞行器等空中行进方式，进一步根据游戏角色的当前骑乘状态结合该预设骑乘信息，确定游戏角色向目标位置移动时的目标骑乘状态，这里在确定目标骑乘状态时优先选择预设骑乘信息中与当前骑乘状态相同或相似的骑乘状态，例如当前骑乘状态为步行，则优先将步行作为目标骑乘状态，其次考虑骑乘坐骑，最后考虑空中行进方式，以保持骑乘状态的连贯性，避免游戏中不必要的骑乘状态切换，提高用户体验。确定目标骑乘状态后，基于三位体素运动面生成游戏角色从当前位置向目标位置移动的寻路信息，具体可以采用最短路径优先的原则，并按确定的寻路信息渲染游戏角色在目标骑乘状态下向目标位置(此处的目标位置是指目标位置在三维体素运动面上的垂直投影体素位置，如果目标位置对应的垂直投影体素位置包括多个，也可以以最短路径优先的原则选择其中的一个作为目标体素位置)移动的第五运动图像帧。当目标位置与三维体素运动面不匹配时，说明游戏角色不可以向目标位置移动，那么按预设碰撞运动规则渲染第六运动图像帧。
步骤206，获取所述虚拟世界中虚拟摄像机的位置与所述传送门模型所在位置之间的实时距离，并在所述实时距离小于预设阈值时，获取所述真实世界的第二实时真实图像帧，以及获取所述游戏客户端的第二实时位置和第二实时视角，并结合所述虚拟世界对应的初始展示位置和初始展示视角，确定所述虚拟世界对应的第二实时图像捕获位置和第二实时图像捕获视角；
具体地，所述初始展示位置和所述初始展示视角基于所述虚拟传送门在所述虚拟世界中对应的第一虚拟传送门位置确定。
在步骤206中，通过虚拟传送门从游戏世界进入到真实世界后，继续采集客户端对应的第二实时位置和第二实时视角，并结合根据虚拟世界对应的初始展示位置和初始展示视角，确定虚拟世界对应的第二实时图像捕获位置和第二实时图像捕获视角。在这里，第二实时位置和第二实时视角是跟随玩家持有客户端移动而不断变化的，虚拟世界对应的初始展示位置和初始展示视角依据游戏角色从虚拟世界走出时所对应的位置和视角确定，游戏角色从第一虚拟传送门中走出时所对应的虚拟世界的最后一帧场景所对应的位置和视角即为初始展示位置和初始展示视角，例如位置不变，视角旋转180度后。
步骤207，依据所述第二实时图像捕获位置和所述第二实时图像捕获视角，确定所述虚拟世界对应的第二实时虚拟图像帧，并将所述第二实时虚拟图像帧作为第二贴图保存在预先分配的内存中，其中，所述第二贴图用于渲染所述传送门模型；
在步骤207中，依据第二实时图像捕获位置和第二实时图像捕获视角确定虚拟世界的第二实时虚拟图像帧后，将第二实时虚拟图像帧保存为第二贴图，以便利用第二贴图对预设传送门模型进行渲染，在门内展示虚拟世界实时环境。
步骤208，根据所述第二贴图、所述传送门模型以及所述第二实时真实图像帧，调用所述渲染引擎渲染得到包含所述传送门模型的第二实时渲染图像帧。
具体地，步骤208可以包括：在所述第二实时真实图像帧对应的真实世界展示区域内包含虚拟传送门的情况下，依据所述第二实时位置、所述第二实时视角以及传送门对应的第二虚拟传送门位置，确定第二虚拟传送门的第二展示形态信息，并根据所述第二展示形态信息以及所述传送门模型对应的贴图信息，将所述第二贴图向所述第二虚拟传送门进行贴图，生成实时虚拟传送门图像帧，以及将所述实时虚拟传送门图像帧通过3D映射渲染到所述第二实时真实图像帧对应的第二虚拟传送门位置上，得到所述第二实时渲染图像帧；在所述第二实时真实图像帧对应的真实世界展示区域内不包含虚拟传送门的情况下，展示所述第二实时真实图像帧。
与步骤204和步骤205相似的，基于真实世界中玩家与传送门所在位置和所在方向，可展示出游戏画面包含虚拟传送门和不包含虚拟传送门两种情况。当在真实世界中能看到虚拟传送门时，根据第二实时位置和第二实时视角，确定在真实世界中看到的第二虚拟传送门对应的第二展示形态信息，根据第二展示形态信息和预设传送门模型对应的贴图信息，将第二贴图向第二虚拟传送门进行贴图，生成实时虚拟传送门图像帧。同样，第二贴图会按照贴图信息指定的大小、形状等信息展现在第二虚拟传送门的位置上，从而生成实时虚拟传送门图像帧，并进一步通过3D映射将其渲染到第二实时真实图像帧对应的第二虚拟传送门位置上，得到第二实时渲染图像帧。此时，第二实时渲染图像帧不仅包括真实世界环境画面、第二虚拟传送门画面，同时还包括门中的虚拟世界画面。当在真实世界不能看到虚拟传送门时，展示第二实时真实图像帧即可。
其中，所述第二虚拟传送门位置基于所述真实世界进入指令产生时所述客户端的所在位置确定，所述第二虚拟传送门位置为所述真实世界坐标系下的固定位置。在具体的应用场景中，第二虚拟传送门所在的位置为客户端响应于真实世界进入指令后进入真实世界的第一帧真实世界场景所在的位置。第二虚拟传送门的位置在真实世界坐标系下保持不变。
另外，为减少环境切换时画面突变造成视觉效果突兀，可选地，本申请步骤206“获取所述真实世界的第二实时真实图像帧”之前还可以包括：获取所述真实世界的多个传送展示图像帧，其中，所述多个传送展示图像帧包括所述实时距离小于预设阈值的时刻以及之后采集到的所述真实世界对应的预设数量的图像帧；依据预设数量的预设切换融合图像帧分别对所述传送展示图像帧进行渲染。
在该实施例中，进入真实世界时，从虚拟传送门看到的真实世界的场景为第一帧传送展示图像帧，即客户端接收到真实世界进入指令时通过客户端摄像头采集到的图像作为第一帧传送展示图像帧，并将之后采集到的连续的几帧图像也作为传送展示图像帧，传送展示图像帧的数量总计为上述的预设数量。之后，根据预设数量的预设切换融合图像帧分别渲染多个传送展示图像帧。其中，预设切换融合图像帧的渲染效果可以包括迷雾、旋风、夜空等。以迷雾为例，渲染后的效果为预设数量的带有不同迷雾程度的传送展示图像帧，渲染后的传送展示图像帧可表现为迷雾逐渐散开的效果，从而可以减少玩家从虚拟世界进入真实世界中的跳变、突兀的感受，增加玩家的体验感和兴趣。
进一步的，作为图1方法的具体实现，本申请实施例提供了一种图像数据处理装置，如图2所示，该装置包括：
渲染模块，用于响应于AR模式交互操作请求，调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像，所述传送门模型内外分别呈现真实世界的实时真实场景图像与所述游戏客户端内运行的三维游戏虚拟世界的实时虚拟场景图像；
场景切换模块，用于获取所述虚拟世界中虚拟摄像机的位置与所述传送门模型所在位置之间的实时距离，并在所述实时距离小于预设阈值时，交换所述传送门模型内外的图像，所述虚拟摄像机的位置对应于所述虚拟世界中游戏角色所在位置。
可选地，该装置还包括：图像获取模块，用于：
所述调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像之前，通过所述游戏客户端内的摄像机获取所述真实世界对应的第一实时真实图像帧，并将所述第一实时真实图像帧作为第一贴图保存在预先分配的内存中；
依据所述游戏客户端对应的第一实时位置和/或第一实时视角以及所述虚拟世界对应的预设展示位置和/或预设展示视角，确定所述虚拟世界中虚拟摄像机对应的第一实时图像捕获位置和/或第一实时图像捕获视角；
获取所述第一实时图像捕获位置和/或所述第一实时图像捕获视角对应的第一实时虚拟图像帧，所述实时虚拟场景图像包括所述第一实时虚拟图像帧。
可选地，所述渲染模块，具体用于：
在所述第一实时虚拟图像帧对应的虚拟世界展示区域内包含虚拟传送门的情况下，依据所述第一实时图像捕获位置和所述第一实时图像捕获视角，确定第一虚拟传送门的第一展示形态信息，并根据所述第一展示形态信息以及所述传送门模型对应的贴图信息，将所述第一贴图向所述第一虚拟传送门进行贴图，生成实时真实传送门图像帧，以及将所述实时真实传送门图像帧通过3D映射渲染到所述第一实时虚拟图像帧对应的第一虚拟传送门位置上，得到第一实时渲染图像帧，所述实时渲染图像帧包括所述第一实时渲染图像帧；
在所述第一实时虚拟图像帧对应的虚拟世界展示区域内不包含虚拟传送门的情况下，展示所述第一实时虚拟图像帧。
可选地，所述第一虚拟传送门位置响应于所述AR模式交互操作请求指示的位置确定，或者响应于传送门位置选择操作而确定，所述第一虚拟传送门位置为所述虚拟世界坐标系下的固定位置。
可选地，所述第一实时真实图像帧对应的捕获帧率、分辨率以及尺寸依据所述游戏客户端的实时负载确定。
可选地，所述场景切换模块，具体用于：
获取所述真实世界的第二实时真实图像帧，以及获取所述游戏客户端的第二实时位置和第二实时视角，并结合所述虚拟世界对应的初始展示位置和初始展示视角，确定所述虚拟世界对应的第二实时图像捕获位置和第二实时图像捕获视角；
依据所述第二实时图像捕获位置和所述第二实时图像捕获视角，确定所述虚拟世界对应的第二实时虚拟图像帧，并将所述第二实时虚拟图像帧作为第二贴图保存在预先分配的内存中，其中，所述第二贴图用于渲染所述传送门模型；
根据所述第二贴图、所述传送门模型以及所述第二实时真实图像帧，调用所述渲染引擎渲染得到包含所述传送门模型的第二实时渲染图像帧。
可选地，所述场景切换模块，还用于：
在所述第二实时真实图像帧对应的真实世界展示区域内包含虚拟传送门的情况下，依据所述第二实时位置、所述第二实时视角以及传送门对应的第二虚拟传送门位置，确定第二虚拟传送门的第二展示形态信息，并根据所述第二展示形态信息以及所述传送门模型对应的贴图信息，将所述第二贴图向所述第二虚拟传送门进行贴图，生成实时虚拟传送门图像帧，以及将所述实时虚拟传送门图像帧通过3D映射渲染到所述第二实时真实图像帧对应的第二虚拟传送门位置上，得到所述第二实时渲染图像帧；
在所述第二实时真实图像帧对应的真实世界展示区域内不包含虚拟传送门的情况下，展示所述第二实时真实图像帧。
可选地，所述初始展示位置和所述初始展示视角基于传送门在所述虚拟世界中对应的第一虚拟传送门位置确定；所述第二虚拟传送门位置基于所述实时距离小于所述预设阈值时所述游戏客户端的所在位置确定，所述第二虚拟传送门位置为所述真实世界坐标系下的固定位置。
可选地，所述场景切换模块，还用于：
所述获取所述真实世界的第二实时真实图像帧之前，获取所述真实世界的多个传送展示图像帧，其中，所述多个传送展示图像帧包括所述实时距离小于预设阈值的时刻以及之后采集到的所述真实世界对应的预设数量的图像帧；
依据预设数量的预设切换融合图像帧分别对所述传送展示图像帧进行渲染。
需要说明的是，本申请实施例提供的一种图像数据处理装置所涉及各功能单元的其他相应描述，可以参考图1方法中的对应描述，在此不再赘述。
基于上述如图1所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述如图1所示的图像数据处理方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1所示的方法，以及图2所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1所示的图像数据处理方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现客户端响应于传送门开启请求，启动图像采集装置进入实时录制状态，从而根据玩家所在的第一实时位置获得第一实时真实图像帧及与第一实时虚拟图像帧，并将第一实时真实图像帧保存为第一贴图，根据第一贴图、预设传送门模型以及第一实时虚拟图像帧共同渲染得到第一实时渲染图像帧，进而实现AR模式中将现实场景与虚拟场景结合的效果。本申请实施例将在真实世界采集的图像以贴图形式存储在设备内存中，以供游戏引擎通过渲染技术将其渲染至预设传送门模型上，在门内展示真实世界实时环境，并渲染出传送门外展示虚拟世界实时环境的图像的效果，游戏内展示图像极具整体性效果，没有割裂感，门里、门外能够实时展示出现实、虚拟两个世界的实时环境，营造出更加“真实”的传送门效果，通过传送门玩家能够实时观察到通过传送门所至的世界环境和位置，有助于提高玩家的体验感，提升游戏画面的展现效果，提升游戏的可玩性，通过AR游戏模式给玩家带来虚实结合的非凡游戏体验，为增加游戏玩法提供技术支持。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
1.一种图像数据处理方法，其特征在于，用于游戏客户端，所述方法包括：
响应于AR模式交互操作请求，调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像，所述传送门模型内外分别呈现真实世界的实时真实场景图像与所述游戏客户端内运行的三维游戏虚拟世界的实时虚拟场景图像，所述实时渲染图像包括与所述传送门模型匹配的第一虚拟传送门，所述第一虚拟传送门位置响应于所述AR模式交互操作请求指示的位置确定，或者响应于传送门位置选择操作而确定，所述第一虚拟传送门位置为所述虚拟世界坐标系下的固定位置；
获取所述虚拟世界中虚拟摄像机的位置与所述传送门模型所在位置之间的实时距离，并在所述实时距离小于预设阈值时，交换所述传送门模型内外的图像，所述虚拟摄像机的位置对应于所述虚拟世界中游戏角色所在位置；
所述交换所述传送门模型内外的图像，包括：
获取所述真实世界的第二实时真实图像帧，以及获取所述游戏客户端的第二实时位置和第二实时视角，并结合所述虚拟世界对应的初始展示位置和初始展示视角，确定所述虚拟世界对应的第二实时图像捕获位置和第二实时图像捕获视角；依据所述第二实时图像捕获位置和所述第二实时图像捕获视角，确定所述虚拟世界对应的第二实时虚拟图像帧，并将所述第二实时虚拟图像帧作为第二贴图保存在预先分配的内存中，其中，所述第二贴图用于渲染所述传送门模型；根据所述第二贴图、所述传送门模型以及所述第二实时真实图像帧，调用所述渲染引擎渲染得到包含所述传送门模型的第二实时渲染图像帧；其中，第二虚拟传送门位置为真实世界坐标系下的固定位置，基于所述实时距离小于所述预设阈值时所述游戏客户端的所在位置确定。
2.根据权利要求1所述的方法，其特征在于，所述调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像之前，所述方法还包括：
通过所述游戏客户端内的摄像机获取所述真实世界对应的第一实时真实图像帧，并将所述第一实时真实图像帧作为第一贴图保存在预先分配的内存中；
依据所述游戏客户端对应的第一实时位置和/或第一实时视角以及所述虚拟世界对应的预设展示位置和/或预设展示视角，确定所述虚拟世界中虚拟摄像机对应的第一实时图像捕获位置和/或第一实时图像捕获视角；
获取所述第一实时图像捕获位置和/或所述第一实时图像捕获视角对应的第一实时虚拟图像帧，所述实时虚拟场景图像包括所述第一实时虚拟图像帧。
3.根据权利要求2所述的方法，其特征在于，所述调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像，具体包括：
在所述第一实时虚拟图像帧对应的虚拟世界展示区域内包含虚拟传送门的情况下，依据所述第一实时图像捕获位置和所述第一实时图像捕获视角，确定第一虚拟传送门的第一展示形态信息，并根据所述第一展示形态信息以及所述传送门模型对应的贴图信息，将所述第一贴图向所述第一虚拟传送门进行贴图，生成实时真实传送门图像帧，以及将所述实时真实传送门图像帧通过3D映射渲染到所述第一实时虚拟图像帧对应的第一虚拟传送门位置上，得到第一实时渲染图像帧，所述实时渲染图像帧包括所述第一实时渲染图像帧；
在所述第一实时虚拟图像帧对应的虚拟世界展示区域内不包含虚拟传送门的情况下，展示所述第一实时虚拟图像帧。
4.根据权利要求2所述的方法，其特征在于，所述第一实时真实图像帧对应的捕获帧率、分辨率以及尺寸依据所述游戏客户端的实时负载确定。
5.根据权利要求1所述的方法，其特征在于，根据所述第二贴图、所述传送门模型以及所述第二实时真实图像帧，渲染得到包含传送门模型的第二实时渲染图像帧，具体包括：
在所述第二实时真实图像帧对应的真实世界展示区域内包含虚拟传送门的情况下，依据所述第二实时位置、所述第二实时视角以及传送门对应的第二虚拟传送门位置，确定第二虚拟传送门的第二展示形态信息，并根据所述第二展示形态信息以及所述传送门模型对应的贴图信息，将所述第二贴图向所述第二虚拟传送门进行贴图，生成实时虚拟传送门图像帧，以及将所述实时虚拟传送门图像帧通过3D映射渲染到所述第二实时真实图像帧对应的第二虚拟传送门位置上，得到所述第二实时渲染图像帧；
在所述第二实时真实图像帧对应的真实世界展示区域内不包含虚拟传送门的情况下，展示所述第二实时真实图像帧。
6.根据权利要求5所述的方法，其特征在于，所述初始展示位置和所述初始展示视角基于传送门在所述虚拟世界中对应的第一虚拟传送门位置确定。
7.根据权利要求1所述的方法，其特征在于，所述获取所述真实世界的第二实时真实图像帧之前，所述方法还包括：
获取所述真实世界的多个传送展示图像帧，其中，所述多个传送展示图像帧包括所述实时距离小于预设阈值的时刻以及之后采集到的所述真实世界对应的预设数量的图像帧；
依据预设数量的预设切换融合图像帧分别对所述传送展示图像帧进行渲染。
8.一种图像数据处理装置，其特征在于，用于游戏客户端，包括：
渲染模块，用于响应于AR模式交互操作请求，调用游戏渲染引擎渲染得到包括传送门模型的实时渲染图像，所述传送门模型内外分别呈现真实世界的实时真实场景图像与所述游戏客户端内运行的三维游戏虚拟世界的实时虚拟场景图像，所述实时渲染图像包括与所述传送门模型匹配的第一虚拟传送门，所述第一虚拟传送门位置响应于所述AR模式交互操作请求指示的位置确定，或者响应于传送门位置选择操作而确定，所述第一虚拟传送门位置为所述虚拟世界坐标系下的固定位置；
场景切换模块，用于获取所述虚拟世界中虚拟摄像机的位置与所述传送门模型所在位置之间的实时距离，并在所述实时距离小于预设阈值时，交换所述传送门模型内外的图像，所述虚拟摄像机的位置对应于所述虚拟世界中游戏角色所在位置，包括：
获取所述真实世界的第二实时真实图像帧，以及获取所述游戏客户端的第二实时位置和第二实时视角，并结合所述虚拟世界对应的初始展示位置和初始展示视角，确定所述虚拟世界对应的第二实时图像捕获位置和第二实时图像捕获视角；依据所述第二实时图像捕获位置和所述第二实时图像捕获视角，确定所述虚拟世界对应的第二实时虚拟图像帧，并将所述第二实时虚拟图像帧作为第二贴图保存在预先分配的内存中，其中，所述第二贴图用于渲染所述传送门模型；根据所述第二贴图、所述传送门模型以及所述第二实时真实图像帧，调用所述渲染引擎渲染得到包含所述传送门模型的第二实时渲染图像帧；其中，第二虚拟传送门位置为真实世界坐标系下的固定位置，基于所述实时距离小于所述预设阈值时所述游戏客户端的所在位置确定。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
10.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110280564.5A CN112891940B (zh) | 2021-03-16 | 2021-03-16 | 图像数据处理方法及装置、存储介质、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110280564.5A CN112891940B (zh) | 2021-03-16 | 2021-03-16 | 图像数据处理方法及装置、存储介质、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112891940A CN112891940A (zh) | 2021-06-04 |
| CN112891940B true CN112891940B (zh) | 2024-01-09 |
Family
ID=76105199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110280564.5A Active CN112891940B (zh) | 2021-03-16 | 2021-03-16 | 图像数据处理方法及装置、存储介质、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112891940B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119797B (zh) * | 2021-11-23 | 2023-08-15 | 北京世冠金洋科技发展有限公司 | 数据处理方法、装置、计算机可读介质、处理器及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9539498B1 (en) * | 2012-07-31 | 2017-01-10 | Niantic, Inc. | Mapping real world actions to a virtual world associated with a location-based game |
| WO2018058601A1 (zh) * | 2016-09-30 | 2018-04-05 | 深圳达闼科技控股有限公司 | 虚拟与现实融合方法、系统和虚拟现实设备 |
| CN108601976A (zh) * | 2015-11-27 | 2018-09-28 | 株式会社阿尔斯比特 | 游戏用图像处理系统以及程序 |
| CN108665553A (zh) * | 2018-04-28 | 2018-10-16 | 腾讯科技（深圳）有限公司 | 一种实现虚拟场景转换的方法及设备 |
| CN109727318A (zh) * | 2019-01-10 | 2019-05-07 | 广州视革科技有限公司 | 在ar设备中实现传送门效果并呈现vr全景视频画面的方法 |
| CN110163977A (zh) * | 2018-07-13 | 2019-08-23 | 腾讯数码（天津）有限公司 | 多世界虚拟场景中的虚拟通道渲染方法及装置 |
| CN111729306A (zh) * | 2020-06-24 | 2020-10-02 | 网易（杭州）网络有限公司 | 游戏角色的传送方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-16 CN CN202110280564.5A patent/CN112891940B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9539498B1 (en) * | 2012-07-31 | 2017-01-10 | Niantic, Inc. | Mapping real world actions to a virtual world associated with a location-based game |
| CN108601976A (zh) * | 2015-11-27 | 2018-09-28 | 株式会社阿尔斯比特 | 游戏用图像处理系统以及程序 |
| WO2018058601A1 (zh) * | 2016-09-30 | 2018-04-05 | 深圳达闼科技控股有限公司 | 虚拟与现实融合方法、系统和虚拟现实设备 |
| CN108665553A (zh) * | 2018-04-28 | 2018-10-16 | 腾讯科技（深圳）有限公司 | 一种实现虚拟场景转换的方法及设备 |
| CN110163977A (zh) * | 2018-07-13 | 2019-08-23 | 腾讯数码（天津）有限公司 | 多世界虚拟场景中的虚拟通道渲染方法及装置 |
| CN109727318A (zh) * | 2019-01-10 | 2019-05-07 | 广州视革科技有限公司 | 在ar设备中实现传送门效果并呈现vr全景视频画面的方法 |
| CN111729306A (zh) * | 2020-06-24 | 2020-10-02 | 网易（杭州）网络有限公司 | 游戏角色的传送方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112891940A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238644B2 (en) | Image processing method and apparatus, storage medium, and computer device | |
| CN112862935B (zh) | 游戏角色的运动处理方法及装置、存储介质、计算机设备 | |
| US10981055B2 (en) | Position-dependent gaming, 3-D controller, and handheld as a remote | |
| JP3786132B2 (ja) | ゲーム画像処理プログラム及び記憶媒体 | |
| EP3003517B1 (en) | Image rendering responsive to user actions in head mounted display | |
| CN112933606B (zh) | 游戏场景转换方法及装置、存储介质、计算机设备 | |
| CN105981076B (zh) | 合成增强现实环境的构造 | |
| US10573060B1 (en) | Controller binding in virtual domes | |
| JP7008730B2 (ja) | 画像に挿入される画像コンテンツについての影生成 | |
| US9728011B2 (en) | System and method for implementing augmented reality via three-dimensional painting | |
| US20090244064A1 (en) | Program, information storage medium, and image generation system | |
| US20120212491A1 (en) | Indirect lighting process for virtual environments | |
| CN112312111A (zh) | 虚拟图像的显示方法、装置、电子设备及存储介质 | |
| CN113223130B (zh) | 一种路径漫游方法、终端设备以及计算机存储介质 | |
| KR20190011492A (ko) | 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법 | |
| US20230316541A1 (en) | Method and apparatus for capturing motion trajectory of to-be-rendered virtual object and electronic device | |
| CN111833457A (zh) | 图像处理方法、设备及存储介质 | |
| CN112891940B (zh) | 图像数据处理方法及装置、存储介质、计算机设备 | |
| US10740957B1 (en) | Dynamic split screen | |
| JP6530453B2 (ja) | ゲームプログラム及びゲームシステム | |
| JP2023171298A (ja) | 拡張現実及び複合現実のための空間とコンテンツの適合 | |
| CN113906731A (zh) | 一种视频处理方法和装置 | |
| CN111973984A (zh) | 虚拟场景的坐标控制方法、装置、电子设备及存储介质 | |
| JP2000135375A (ja) | ゲーム装置、情報記録媒体および画像処理方法 | |
| KR101741149B1 (ko) | 가상 카메라의 시점 제어 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |