CN115228081A - 虚拟场景切换方法及装置 - Google Patents

虚拟场景切换方法及装置 Download PDF

Info

Publication number
CN115228081A
CN115228081A CN202210726969.1A CN202210726969A CN115228081A CN 115228081 A CN115228081 A CN 115228081A CN 202210726969 A CN202210726969 A CN 202210726969A CN 115228081 A CN115228081 A CN 115228081A
Authority
CN
China
Prior art keywords
target
information
scene
switching
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210726969.1A
Other languages
English (en)
Inventor
林崇颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Kingsoft Digital Network Technology Co Ltd
Original Assignee
Zhuhai Kingsoft Digital Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Kingsoft Digital Network Technology Co Ltd filed Critical Zhuhai Kingsoft Digital Network Technology Co Ltd
Priority to CN202210726969.1A priority Critical patent/CN115228081A/zh
Publication of CN115228081A publication Critical patent/CN115228081A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8076—Shooting

Abstract

本申请提供虚拟场景切换方法及装置，其中所述虚拟场景切换方法包括：采集用户的目标视频流和虚拟场景的初始场景信息；从所述目标视频流中获取所述用户的目标运动信息；基于所述目标运动信息确定场景切换信息；根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。通过本方法，实现了根据用户的目标运动信息可以自动切换虚拟场景，减少了用户操作的复杂度，提升了用户的使用体验。

Description

虚拟场景切换方法及装置
技术领域
本申请涉及虚拟场景处理技术领域，特别涉及一种虚拟场景切换方法。本申请同时涉及一种虚拟场景切换装置，一种计算设备，以及一种计算机可读存储介质。
背景技术
在游戏场景或三维制图软件中，电子设备屏幕显示有虚拟场景，当需要调整电子设备屏幕显示的虚拟场景时，通过鼠标或手滑动屏幕来切换场景，例如，以手游为例，在当前的手游行业中，通常会涉及到左手操作角色移动，右手采取角色行动措施，但是在一些比较复杂的游戏场景中，用户在游玩时会有切换场景的操作，此时就需要腾出一只手来滑动屏幕以达到场景切换的效果，这在一定程度上提高了对用户进行操作的要求，同时降低了用户的游戏体验。
发明内容
有鉴于此，本申请实施例提供了一种虚拟场景切换方法。本申请同时涉及一种虚拟场景切换装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面，提供了一种虚拟场景切换方法，包括：
采集用户的目标视频流和虚拟场景的初始场景信息；
从所述目标视频流中获取所述用户的目标运动信息；
基于所述目标运动信息确定场景切换信息；
根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。
根据本申请实施例的第二方面，提供了一种虚拟场景切换装置，包括：
采集模块，被配置为采集用户的目标视频流和虚拟场景的初始场景信息；
获取模块，被配置为从所述目标视频流中获取所述用户的目标运动信息；
确定模块，被配置为基于所述目标运动信息确定场景切换信息；
切换模块，被配置为根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。
根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述虚拟场景切换方法的步骤。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现所述虚拟场景切换方法的步骤。
本申请提供的虚拟场景切换方法，采集用户的目标视频流和虚拟场景的初始场景信息；从所述目标视频流中获取所述用户的目标运动信息；基于所述目标运动信息确定场景切换信息；根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。
本申请一实施例实现了用户可以专心控制虚拟界面中的操作，当用户需要进行虚拟场景的切换时，只需向特定场景的方向移动即可，通过获取用户的目标运动信息可以自动切换虚拟场景，减少了用户操作的复杂度，提升了用户的使用体验。
附图说明
图1是本申请一实施例提供的一种虚拟场景切换方法的流程图；
图2是本申请一实施例提供的初始场景信息和虚拟场景的示意图；
图3是本申请一实施例提供的目标识别模型的训练方法的流程图；
图4是本申请一实施例提供的一种应用于游戏场景的虚拟场景切换方法的处理流程图；
图5是本申请一实施例提供的一种虚拟场景切换装置的结构示意图；
图6是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在游戏场景或其他虚拟场景中，通常会需要通过鼠标或手滑动屏幕来切换屏幕，从而达到切换虚拟场景的效果，而用户通常在切换虚拟场景时，同时在做其他的操作，例如在游戏场景中，用户左手控制角色方向，右手控制角色动作，无法再腾出一只手来进行场景切换，对用户的操作有较高的要求，降低了用户的使用体验。
在本申请中，提供了一种虚拟场景切换方法，本申请同时涉及一种虚拟场景切换装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种虚拟场景切换方法的流程图，具体包括以下步骤：
步骤102：采集用户的目标视频流和虚拟场景的初始场景信息。
本申请提供的虚拟场景切换方法，应用于终端，例如智能手机、平板电脑、笔记本电脑、台式电脑等，用户即为使用终端的用户，例如用户A使用手机玩手机游戏，则手机为终端。
目标视频流具体是指终端采集的用户的视频流，更进一步的，是指采集的用户的面部视频流，在实际应用中，具体的，采集用户的目标视频流，包括：
调用图像采集设备；
通过所述图像采集设备采集用户的目标视频流。
图像采集设备具体是指与终端绑定的图像采集设备，例如手机中的前置摄像头、平板电脑中的前置摄像头、笔记本电脑或台式电脑的摄像头等等，通过图像采集设备可以采集使用该终端的用户的视频流。
在实际应用中，通过图像采集采用户的目标视频流，是需要获得用户的授权信息，即用户在使用虚拟场景对应的应用程序前，应用程序会向用户发送采集其对应视频流的通知，并询问用户是否同意采集其实时视频流，只有当用户同意采集并使用其个人信息的情况下，才可以调用图像采集设备采集用户的目标视频流，并且该目标视频流仅用于用户在当前应用程序中的操作控制，并不会保存并做其他用途。
在本申请提供的一具体实施方式中，用户A使用手机玩手机游戏，游戏在获得用户的信息采集授权后，可以开启手机的前置摄像头，采集用户玩游戏时的目标视频流，该目标视频流用于后续切换虚拟场景。
虚拟场景具体是指用户使用的终端处理虚拟场景过程中展示的场景，例如，用户在玩游戏，则虚拟场景为游戏中的场景；又例如用户在制作动画，则虚拟场景为动画中的场景等等；又例如用户在看电子书，则虚拟场景为终端中展示的电子书；初始场景信息具体是指虚拟场景中当前用户所看到的场景信息，以游戏场景为例，游戏地图很大，用户使用的终端无法显示全部的游戏地图，只能展示地图中的部分，则当前在游戏场景中展示的信息即为初始场景信息，在实际应用中，初始场景信息可以包括当前展示场景在整个虚拟场景中的位置信息；以电子书为例，电子书无法在终端中全部展示，只能展示电子书中的部分内容，初始场景信息就是用户看到的场景信息，例如是电子书中的第5页等等。
参见图2，图2示出了本申请一实施例提供的初始场景信息的和虚拟场景的示意图。如图2所示，初始场景信息中即用户在终端中展示的内容。以游戏场景为例，虚拟场景即游戏中的游戏全地图，初始场景信息即用户操作的角色当前所处的位置信息。
步骤104：从所述目标视频流中获取所述用户的目标运动信息。
其中，目标运动信息具体是指用户在目标视频流中目标部位的运动信息，目标部位可以是用户的头部、眼部等部位，当目标部位是眼部的情况下，目标运动信息可以是眼部运动方向、眼部运动幅度、眼部运动角度；当目标部位是头部的情况下，目标运动信息可以是头部运动方向、头部运动幅度、头部运动角度等等。
在实际应用中，可以通过视觉追踪的方式在目标视频流中获取用户的目标运动信息，视觉追踪是在给定的视频或实时视频流里，给定初始帧，手动选择跟踪目标，之后根据目标的表现模型，如颜色、梯度方向直方图或者比较流行的深度特征等目标的运动模式，对目标进行跟踪。
具体的，从所述目标视频流中获取所述用户的目标运动信息，包括：
将所述目标视频流输入至目标识别模型进行识别；
获得所述目标识别模型输出的目标运动信息。
其中，目标识别模型具体是指用于对目标视频流中用户的目标部位进行目标追踪，并提取目标运动信息的深度学习模型，在目标识别模型中，可以识别到目标视频流每个视频帧中的目标部位信息，并根据目标视频流中的目标部位信息之间的关系来确定目标运动信息。
具体的，将所述目标视频流输入至目标识别模型进行识别，包括：
解析所述目标视频流，获得目标视频帧集合；
将所述目标视频帧集合输入至目标识别模型进行识别。
目标识别模型可以处理视频流，也可以处理图片，更近一步的，可以通过将目标视频流进行解析，获得对应的目标视频帧集合，视频流是由多张连续的视频帧组成，如一个30帧的视频流，则一秒包括30个视频帧，解析一个3秒的视频流，则会生成90个视频帧，目标视频帧集合中视频帧的数量有90个。
在获得目标视频帧集合后，可以将目标视频帧集合中的目标视频帧输入至目标识别模型中进行目标部位的识别处理。
更近一步的，所述目标识别模型包括特征提取层、编码器、解码器、输出层；
相应的，将所述目标视频帧集合输入至目标识别模型进行识别，包括：
将所述目标视频帧集合的每个目标视频帧输入至所述特征提取层，获得每个目标视频帧对应的视频帧特征信息；
将每个目标视频帧对应的视频帧特征信息输入至所述编码器，获得每个目标视频帧对应的编码矩阵；
将每个目标视频帧对应的编码矩阵输入至所述解码器，获得每个目标视频帧对应的解码矩阵；
将每个目标视频帧对应的解码矩阵输入至所述输出层，获得目标运动信息。
具体的，目标识别模型是用于追踪识别目标视频流中、用户的目标部位信息的深度学习模型，该目标识别模型可以采用端到端模型，也可以采用非端到端模型，优选的，目标识别模型可以采用端到端的Transformer模型，该模型包括特征提取层、编码器、解码器和输出层。
特征提取层具体是提取每个目标视频帧的视频帧特征信息，在实际应用中，特征提取层可以是嵌入层，也可以是多个卷积层，以卷积层为例，通过多个卷积层对每个目标视频帧进行特征提取，获得每个目标视频帧对应的视频帧特征信息。
在端到端的Transformer模型中，包括有编码器和解码器，编码器和解码器顺次链接，每个目标视频帧对应的视频帧特征信息输入至编码器中做编码处理，获得每个目标视频帧对应的编码矩阵，再将编码器输出的编码矩阵输入至解码器中做解码处理，获得每个目标视频帧对应的解码矩阵。
再将解码矩阵输入至目标识别模型的输出层中进行全连接处理，获得每个目标视频帧中目标部位信息，其中，每个目标视频帧中的目标部位信息包括目标部位位置信息。再通过目标视频帧集合中每个目标视频帧对应的目标部位信息来识别出目标视频流对应的目标运动信息，即目标移动方向、目标运动角度和目标运动幅度等信息。
通过目标识别模型来对目标视频流进行处理，提升了获取用户目标运动信息的准确率，并加快了识别效率，可以准确、及时的获取到用户目标运动信息，为后续根据用户的目标运动信息进行场景切换提供了数据支持。
下面，对目标识别模型的训练过程做进一步解释说明，参见图3，图3示出了本申请一实施例提供的目标识别模型的训练方法的流程图，具体包括：
步骤302：获取样本视频帧集合和所述样本视频帧集合对应的样本目标运动信息。
其中，样本视频帧集合具体是指需要进行识别的视频流对应的视频帧集合，样本目标运动信息具体是指该样本视频帧集合所对应的目标运动信息，例如样本视频帧集合为90个样本视频帧的集合，样本目标运动信息为“右上，快速，幅度a”。
通过样本视频帧集合和样本目标运动信息组成训练样本对，通过多个训练样本对可以对目标识别模型进行模型训练，以提高模型的识别准确度。
步骤304：将所述样本视频帧集合输入至目标识别模型，获得所述目标识别模型输出的预测目标运动信息。
此时的目标识别模型还是未训练完成的目标识别模型，需要用样本视频帧集合和样本视频帧集合对应的样本目标运动信息对其进行训练，具体的，将样本视频帧集合输入至目标识别模型，目标识别模型包括特征提取层、编码器、解码器、输出层。
通过特征提取层提取样本视频帧集合中每个样本视频帧的样本视频帧特征信息；将每个样本视频帧特征信息输入至编码器做编码处理，获得每个样本视频帧特征信息对应的样本编码信息；将每个样本编码信息输入至解码器做解码处理，获得每个样本编码信息对应的样本解码信息；将每个样本解码信息输入至输出层，获得输出层输出的所述样本视频帧集合对应的预测目标运动信息。
步骤306：根据所述预测目标运动信息和所述样本目标运动信息计算模型损失值。
此时的预测目标运动信息是未训练好的目标识别模型输出的预测信息，预测目标运动信息与样本目标运动信息之间还有一定的差距，因此，还需要通过预测目标运动信息和样本目标运动信息来联合训练模型，调整模型的参数，具体的，需要根据预测目标运动信息和样本目标运动信息计算模型损失值，计算模型损失值的损失函数在实际引用中可以是交叉熵损失函数、绝对值损失函数、平方损失函数、0-1损失函数等等，在本申请中，对损失函数的选择不做限定，以实际应用为准。
步骤308：根据所述模型损失值调整所述目标识别模型的模型参数，并继续训练所述目标识别模型，直至达到模型训练停止条件。
在计算模型损失值之后，可以根据模型损失值反向传播调整目标识别模型的模型参数，具体的，调整模型参数可以是调整目标识别模型中的学习率参数、Batch_size参数等等，并用下一批样本数据继续训练该目标识别模型，直至达到模型训练停止条件。
具体的，模型训练的停止条件可以包括模型损失值小于等于预设阈值，和/或目标识别模型的训练轮次达到预设轮次。
例如损失值的预设阈值为0.3，当模型损失值小于0.3时认为模型训练完成，或模型的预设训练轮次为20轮，当样本数据的训练轮次达到20轮后，则认定模型训练完成。
步骤106：基于所述目标运动信息确定场景切换信息。
在获得目标运动信息之后，即可根据目标运动信息来确定场景切换信息，即根据目标运动信息来计算该目标运动信息在虚拟场景中对应的场景切换信息，具体的，场景切换信息具体是指用户通过该目标运动信息确定的场景切换偏移信息。
具体的，所述目标运动信息包括目标运动方向、目标运动角度和目标运动幅度；
基于所述目标运动信息确定场景切换信息，包括：
基于所述目标运动方向、所述目标运动角度和所述目标运动幅度计算目标偏移信息；
根据所述目标偏移信息确定场景切换方向及切换偏移量。
如上述步骤中所述，当目标部位为眼部时，目标运动信息可以包括眼部运动方向、眼部运动角度和眼部运动幅度等信息，当目标部位为头部时，目标运动信息可以包括头部运动方向、头部运动角度和头部运动幅度等信息。根据目标运动信息中包括的这些信息可以综合计算出目标偏移信息，目标偏移信息具体是指用户通过目标部位移动带来的相关信息。
在计算获得目标偏移信息之后，即可根据目标偏移信息确定虚拟场景中该目标偏移信息所带来的场景切换方向和切换偏移量。其中，根据所述目标偏移信息确定场景切换方向及切换偏移量，包括：
获取预设视角切换灵敏度；
根据所述目标偏移信息和所述预设视角切换灵敏度计算场景切换方向和切换偏移量。
其中，预设视角切换灵敏度具体是指在虚拟场景对应的应用程序中设置的参数，视角切换灵敏度类似于鼠标移动灵敏度，视角切换灵敏度影响场景切换信息中的切换偏移量，并不会影响场景切换信息中的场景切换方向。相同的目标偏移信息和不同的视角切换灵敏度可以确定不同的切换偏移量，例如，当视角切换灵敏度中等时，目标偏移信息I对应的切换偏移量为20米(虚拟场景为游戏场景时的计量单位)；当视角切换灵敏度较低时，目标偏移信息I对应的切换偏移量为10米；当视角切换灵敏度较高时，目标偏移信息I对应的切换偏移量为27米。
场景切换方向是与目标偏移信息中的目标运动方向相关，例如目标运动方向为右上，则场景切换方向为右上；当目标运动方向为右下时，场景切换方向为右下等等。
根据目标运动信息确定场景切换信息，具体的，确定场景切换方向和切换偏移量，即可根据场景切换信息来对虚拟场景进行切换。
步骤108：根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。
在经过上述步骤获得场景切换信息之后，即可根据初始场景信息和场景切换信息来对虚拟场景进行切换，即初始场景信息为在终端中展示的场景信息，场景切换信息具体是指场景切换方向和切换偏移量，即根据初始场景信息、场景切换方向和切换偏移量即可进行虚拟场景的切换。
具体的，根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换，包括：
根据所述初始场景信息、所述场景切换方向和所述切换偏移量确定目标场景信息；
基于所述目标场景信息切换虚拟场景。
在实际应用中，可以根据初始场景信息、场景切换方向和所述切换偏移量确定目标运动信息所对应的目标场景信息，目标场景信息即根据初始场景信息、场景切换方向和切换偏移量可以切换到的场景的信息。在获得目标场景信息之后，即可基于该目标场景信息对虚拟场景进行切换。
简单来说，以游戏场景为例，初始场景信息为A点(X，Y)，场景切换方向为向东，切换偏移量为10米，则可以确目标场景信息为B点(X，Y+10)，则可以基于B点来渲染生成相应的虚拟场景，达到切换虚拟场景的效果。
在本申请提供的另一具体实施方式中，以电子书为例，初始场景信息为第6页，场景切换方向为向后翻页，切换偏移量为1页，则可以确定目标场景信息为第7页，从而渲染生成第7页电子书对应的虚拟场景，达到切换虚拟场景的效果。
为了提高用户的使用体验，可以获取初始场景信息和目标场景信息之间的过渡信息，并基于过渡信息执行连续的渲染，生成连续的虚拟场景切换效果。提升用户的使用体验。
本申请提供的虚拟场景切换方法，采集用户的目标视频流和虚拟场景的初始场景信息；从所述目标视频流中获取所述用户的目标运动信息；基于所述目标运动信息确定场景切换信息；根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。
本申请一实施例实现了用户可以专心控制虚拟界面中的操作，当用户需要进行虚拟场景的切换时，只需向特定场景的方向看即可，通过获取用户的目标运动信息可以自动切换虚拟场景，减少了用户操作的复杂度，提升了用户的使用体验。
其次，通过引入基于深度学习的目标识别模型，可以提升获取用户目标运动信息的准确率，并加快了识别效率，可以准确、及时的获取到用户目标运动信息，为后续根据用户的目标运动信息进行场景切换提供了数据支持。
下述结合附图4，以本申请提供的虚拟场景切换方法在游戏场景的应用为例，对所述虚拟场景切换方法进行进一步说明。其中，图4示出了本申请一实施例提供的一种应用于游戏场景的虚拟场景切换方法的处理流程图，用户使用手机启动射击游戏G，该射击游戏G需要左手控制移动角色，右手控制射击操作。
具体包括以下步骤：
步骤402：基于用户的授权信息调用手机的前置摄像头。
步骤404：通过该前置摄像头采集用户的用户视频流，同时获取游戏地图中的初始位置信息。
步骤406：解析该用户视频流获得用户视频帧集合。
步骤408：将用户视频帧集合输入至目标识别模型进行处理，获得目标识别模型输出的眼部运动方向、眼部运动角度和眼部运动幅度。
步骤410：获取预设视角切换灵敏度。
步骤412：根据眼部运动方向确定场景切换方向，基于预设视角切换灵敏、眼部运动角度和眼部运动幅度计算切换偏移量。
步骤414：根据初始位置信息、场景切换方向和切换偏移量计算目标位置信息。
步骤416：基于该目标位置信息在手机中渲染生成对应的游戏画面。
本申请提供的游戏场景下的虚拟场景切换方法，可以使用户专心于一手操作角色移动，一手操作角色行为，当用户需要切换场景时，只需要看向特定场景方向即可，前置摄像头采集用户的眼部运动信息，可以通过用户的眼部运动信息将游戏画面切换指相应的游戏场景，在一定程度上降低了游戏的操作复杂度，提升了用户的游戏体验。
与上述虚拟场景切换方法实施例相对应，本申请还提供了虚拟场景切换装置实施例，图5示出了本申请一实施例提供的一种虚拟场景切换装置的结构示意图。如图5所示，该装置包括：
采集模块502，被配置为采集用户的目标视频流和虚拟场景的初始场景信息；
获取模块504，被配置为从所述目标视频流中获取所述用户的目标运动信息；
确定模块506，被配置为基于所述目标运动信息确定场景切换信息；
切换模块508，被配置为根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。
可选的，所述获取模块504，进一步被配置为：
将所述目标视频流输入至目标识别模型进行识别；
获得所述目标识别模型输出的目标运动信息。
可选的，所述获取模块504，进一步被配置为：
解析所述目标视频流，获得目标视频帧集合；
将所述目标视频帧集合输入至目标识别模型进行识别。
可选的，所述目标识别模型包括特征提取层、编码器、解码器、输出层；
可选的，所述获取模块504，进一步被配置为：
将所述目标视频帧集合的每个目标视频帧输入至所述特征提取层，获得每个目标视频帧对应的视频帧特征信息；
将每个目标视频帧对应的视频帧特征信息输入至所述编码器，获得每个目标视频帧对应的编码矩阵；
将每个目标视频帧对应的编码矩阵输入至所述解码器，获得每个目标视频帧对应的解码矩阵；
将每个目标视频帧对应的解码矩阵输入至所述输出层，获得目标运动信息。
可选的，所述装置还包括训练模块，被配置为：
获取样本视频帧集合和所述样本视频帧集合对应的样本目标运动信息；
将所述样本视频帧集合输入至目标识别模型，获得所述目标识别模型输出的预测目标运动信息；
根据所述预测目标运动信息和所述样本目标运动信息计算模型损失值；
根据所述模型损失值调整所述目标识别模型的模型参数，并继续训练所述目标识别模型，直至达到模型训练停止条件。
可选的，所述目标运动信息包括目标运动方向、目标运动角度和目标运动幅度；
所述确定模块506，进一步被配置为：
基于所述目标运动方向、所述目标运动角度和所述目标运动幅度计算目标偏移信息；
根据所述目标偏移信息确定场景切换方向及切换偏移量。
所述确定模块506，进一步被配置为：
获取预设视角切换灵敏度；
根据所述目标偏移信息和所述预设视角切换灵敏度计算场景切换方向和切换偏移量。
可选的，所述切换模块508，进一步被配置为：
根据所述初始场景信息、所述场景切换方向和所述切换偏移量确定目标场景信息；
基于所述目标场景信息切换虚拟场景。
可选的，所述采集模块502，进一步被配置为：
调用图像采集设备；
通过所述图像采集设备采集用户的目标视频流。
本申请提供的虚拟场景切换装置，采集用户的目标视频流和虚拟场景的初始场景信息；从所述目标视频流中获取所述用户的目标运动信息；基于所述目标运动信息确定场景切换信息；根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。本申请一实施例实现了用户可以专心控制虚拟界面中的操作，当用户需要进行虚拟场景的切换时，只需向特定场景的方向看即可，通过获取用户的目标运动信息可以自动切换虚拟场景，减少了用户操作的复杂度，提升了用户的使用体验。
其次，通过引入基于深度学习的目标识别模型，可以提升获取用户目标运动信息的准确率，并加快了识别效率，可以准确、及时的获取到用户目标运动信息，为后续根据用户的目标运动信息进行场景切换提供了数据支持。
上述为本实施例的一种虚拟场景切换装置的示意性方案。需要说明的是，该虚拟场景切换装置的技术方案与上述的虚拟场景切换方法的技术方案属于同一构思，虚拟场景切换装置的技术方案未详细描述的细节内容，均可以参见上述虚拟场景切换方法的技术方案的描述。
图6示出了根据本申请一实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接，数据库650用于保存数据。
计算设备600还包括接入设备640，接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中，处理器620执行所述计算机指令时实现所述的虚拟场景切换方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的虚拟场景切换方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述虚拟场景切换方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现如前所述虚拟场景切换方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的虚拟场景切换方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述虚拟场景切换方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种虚拟场景切换方法，其特征在于，包括：
采集用户的目标视频流和虚拟场景的初始场景信息；
从所述目标视频流中获取所述用户的目标运动信息；
基于所述目标运动信息确定场景切换信息；
根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。
2.如权利要求1所述的方法，其特征在于，从所述目标视频流中获取所述用户的目标运动信息，包括：
将所述目标视频流输入至目标识别模型进行识别；
获得所述目标识别模型输出的目标运动信息。
3.如权利要求2所述的方法，其特征在于，将所述目标视频流输入至目标识别模型进行识别，包括：
解析所述目标视频流，获得目标视频帧集合；
将所述目标视频帧集合输入至目标识别模型进行识别。
4.如权利要求3所述的方法，其特征在于，所述目标识别模型包括特征提取层、编码器、解码器、输出层；
将所述目标视频帧集合输入至目标识别模型进行识别，包括：
将所述目标视频帧集合的每个目标视频帧输入至所述特征提取层，获得每个目标视频帧对应的视频帧特征信息；
将每个目标视频帧对应的视频帧特征信息输入至所述编码器，获得每个目标视频帧对应的编码矩阵；
将每个目标视频帧对应的编码矩阵输入至所述解码器，获得每个目标视频帧对应的解码矩阵；
将每个目标视频帧对应的解码矩阵输入至所述输出层，获得目标运动信息。
5.如权利要求2-4任意一项所述的方法，其特征在于，所述目标识别模型通过下述方法训练获得：
获取样本视频帧集合和所述样本视频帧集合对应的样本目标运动信息；
将所述样本视频帧集合输入至目标识别模型，获得所述目标识别模型输出的预测目标运动信息；
根据所述预测目标运动信息和所述样本目标运动信息计算模型损失值；
根据所述模型损失值调整所述目标识别模型的模型参数，并继续训练所述目标识别模型，直至达到模型训练停止条件。
6.如权利要求1所述的方法，其特征在于，所述目标运动信息包括目标运动方向、目标运动角度和目标运动幅度；
基于所述目标运动信息确定场景切换信息，包括：
基于所述目标运动方向、所述目标运动角度和所述目标运动幅度计算目标偏移信息；
根据所述目标偏移信息确定场景切换方向及切换偏移量。
7.如权利要求6所述的方法，其特征在于，根据所述目标偏移信息确定场景切换方向及切换偏移量，包括：
获取预设视角切换灵敏度；
根据所述目标偏移信息和所述预设视角切换灵敏度计算场景切换方向和切换偏移量。
8.如权利要求6所述的方法，其特征在于，根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换，包括：
根据所述初始场景信息、所述场景切换方向和所述切换偏移量确定目标场景信息；
基于所述目标场景信息切换虚拟场景。
9.如权利要求1所述的方法，其特征在于，采集用户的目标视频流，包括：
调用图像采集设备；
通过所述图像采集设备采集用户的目标视频流。
10.一种虚拟场景切换装置，其特征在于，包括：
采集模块，被配置为采集用户的目标视频流和虚拟场景的初始场景信息；
获取模块，被配置为从所述目标视频流中获取所述用户的目标运动信息；
确定模块，被配置为基于所述目标运动信息确定场景切换信息；
切换模块，被配置为根据所述初始场景信息和所述场景切换信息对所述虚拟场景进行切换。
11.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述计算机指令时实现权利要求1-9任意一项所述方法的步骤。
12.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-9任意一项所述方法的步骤。
CN202210726969.1A 2022-06-24 2022-06-24 虚拟场景切换方法及装置 Pending CN115228081A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210726969.1A CN115228081A (zh) 2022-06-24 2022-06-24 虚拟场景切换方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210726969.1A CN115228081A (zh) 2022-06-24 2022-06-24 虚拟场景切换方法及装置

Publications (1)

Publication Number Publication Date
CN115228081A true CN115228081A (zh) 2022-10-25

Family

ID=83669557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210726969.1A Pending CN115228081A (zh) 2022-06-24 2022-06-24 虚拟场景切换方法及装置

Country Status (1)

Country Link
CN (1) CN115228081A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777730A (zh) * 2023-08-25 2023-09-19 湖南马栏山视频先进技术研究院有限公司 一种基于资源调度的gpu效能提高方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777730A (zh) * 2023-08-25 2023-09-19 湖南马栏山视频先进技术研究院有限公司 一种基于资源调度的gpu效能提高方法
CN116777730B (zh) * 2023-08-25 2023-10-31 湖南马栏山视频先进技术研究院有限公司 一种基于资源调度的gpu效能提高方法

Similar Documents

Publication Publication Date Title
CN110503703B (zh) 用于生成图像的方法和装置
CN111479112A (zh) 一种视频编码方法、装置、设备和存储介质
Yang et al. Towards coding for human and machine vision: Scalable face image coding
CN111988658B (zh) 视频生成方法及装置
CN111954053B (zh) 获取蒙版帧数据的方法、计算机设备及可读存储介质
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
CN110232722B (zh) 一种图像处理方法及装置
CN112040222B (zh) 一种视觉显著性预测方法及设备
CN111368796A (zh) 人脸图像的处理方法、装置、电子设备及存储介质
CN111954052A (zh) 显示弹幕信息的方法、计算机设备及可读存储介质
WO2023207205A1 (zh) 视频编码方法及装置
CN112597824A (zh) 行为识别方法、装置、电子设备和存储介质
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
CN115228081A (zh) 虚拟场景切换方法及装置
CN114897189A (zh) 模型训练方法、视频编码方法及解码方法
CN105979283A (zh) 视频转码方法和装置
CN113593587B (zh) 语音分离方法及装置、存储介质、电子装置
CN112200816A (zh) 视频图像的区域分割及头发替换方法、装置及设备
CN115690238A (zh) 图像生成及模型训练方法、装置、设备和存储介质
CN114302175A (zh) 视频处理方法及装置
US20220377342A1 (en) Video encoding and video decoding
KR20230086999A (ko) 가상 인물 콘텐츠 생성 프로그램을 기록한 기록매체
KR20230086998A (ko) 얼굴 세그먼트 영역에 노이즈를 부가하여 가상 인물 콘텐츠를 생성하는 컴퓨터 프로그램
CN111954082B (zh) 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质
CN115866348A (zh) 基于二维码的数据处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination