CN116017082A - 一种信息处理方法和电子设备 - Google Patents
一种信息处理方法和电子设备 Download PDFInfo
- Publication number
- CN116017082A CN116017082A CN202211736119.6A CN202211736119A CN116017082A CN 116017082 A CN116017082 A CN 116017082A CN 202211736119 A CN202211736119 A CN 202211736119A CN 116017082 A CN116017082 A CN 116017082A
- Authority
- CN
- China
- Prior art keywords
- scene
- information
- target
- initial
- picture information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本申请公开一种信息处理方法和电子设备,该信息处理方法包括:获取待处理的回放文件,回放文件中的信息至少包括:所录制的目标场景中场景对象的初始状态信息与状态变化信息,及目标场景中场景对象所需的素材信息;根据目标场景中场景对象的初始状态信息和上述素材信息,生成目标场景的初始场景画面信息,并播放生成的初始场景画面信息;根据初始场景画面信息和状态变化信息,生成目标场景在初始场景画面信息之后对应的后续场景画面信息,并播放生成的后续场景画面信息。
Description
技术领域
本申请涉及一种信息处理方法和电子设备。
背景技术
目前的内容回放多是基于视频播放的方式实现,即,将场景内容通过视频方式录制下来,之后通过播放录制生成的视频文件实现内容回放。
上述方式中,视频文件通常需占用较大的存储空间,尤其是随着视频清晰度提升、时间长度的增大等,视频文件所占用的存储空间更是会急剧变大,通常会达到百MB数量级甚至GB数量级。
发明内容
为此,本申请公开如下技术方案:
一种信息处理方法,所述方法包括:
获取待处理的回放文件;所述回放文件中的信息至少包括:所录制的目标场景中场景对象的初始状态信息与状态变化信息,及所述目标场景中场景对象所需的素材信息;
根据所述目标场景中场景对象的初始状态信息和所述素材信息,生成所述目标场景的初始场景画面信息,并播放所述初始场景画面信息;
根据所述初始场景画面信息和所述状态变化信息,生成所述目标场景在所述初始场景画面信息之后对应的后续场景画面信息,并播放所述后续场景画面信息。
可选的,所述素材信息包括所述目标场景对应的目标地图标识;
所述根据所述目标场景中场景对象的初始状态信息和所述素材信息,生成所述目标场景的初始场景画面信息,包括:
从用于播放所述回放文件的播放器本地端或从网络端,获取所述目标地图标识指示的所述目标场景所属场景主题的第一主题元素模板集合,及所述第一主题元素模板集合对应的第一素材资源集合;
根据所述初始状态信息、所述第一主题元素模板集合及所述第一素材资源集合,生成所述目标场景中场景对象的初始对象画面信息;所述目标场景的初始场景画面信息,包括所述目标场景中各场景对象的初始对象画面信息。
可选的,所述素材信息包括所述目标场景在所属场景主题下所需的第二主题元素模板集合及所述第二主题元素模板集合对应的第二素材资源集合;
所述根据所述目标场景中场景对象的初始状态信息和所述素材信息,生成所述目标场景的初始场景画面信息,包括:
从所述回放文件中获取所述第二主题元素模板集合及所述第二素材资源集合;
根据所述初始状态信息、所述第二主题元素模板集合及所述第二素材资源集合,生成所述目标场景中场景对象的初始对象画面信息;所述目标场景的初始场景画面信息,包括所述目标场景中各场景对象的初始对象画面信息。
可选的,根据所述初始状态信息、相应主题元素模板集合及相应素材资源集合,生成所述目标场景中场景对象的初始对象画面信息,包括:
确定所述目标场景中的场景对象,在所述相应主题元素模板集合中对应的目标元素模板;
对于所述目标场景中的每一场景对象,获取所述场景对象的目标元素模板在所述场景对象的初始状态信息下,在所述相应素材资源集合中对应的目标资源;
按所述目标元素模板指示的元素配置信息,将获取的目标资源配置为所述场景对象所需的对象元素;
将所述对象元素配置为所述场景对象的初始状态信息指示的对象状态,并生成匹配于所述对象状态的对象画面信息,得到所述场景对象的初始对象画面信息;
其中,所述相应主题元素模板集合为所述第一主题元素模板集合,所述相应素材资源集合为所述第一素材资源集合,或者,所述相应主题元素模板集合为所述第二主题元素模板集合,所述相应素材资源集合为所述第二素材资源集合。
可选的,所述状态变化信息包括:所述目标场景中的场景对象在不同时间节点所对应的变化指令;所述变化指令用于指示相应场景对象所发生状态变化的变化内容;
所述根据所述初始场景画面信息和所述状态变化信息,生成所述目标场景在所述初始场景画面信息之后对应的后续场景画面信息,包括:
获取所述初始场景画面信息之后的播放过程中,所述目标场景在当前时间节点的上一相邻时间节点对应的场景画面信息,以及在所述当前时间节点对应的变化指令;所述播放过程中,初始时所述上一相邻时间节点对应的场景画面信息为所述初始场景画面信息;
根据所述变化指令,调整所述上一相邻时间节点对应的场景画面信息,得到所述目标场景在所述当前时间节点对应的场景画面信息。
可选的,上述方法,还包括:
获取对所述目标场景的播放视场指示信息;所述播放视场指示信息,用于指示播放所述目标场景所需的目标播放视角和/或目标播放区域;
所述生成所述目标场景在所述初始场景画面信息之后对应的后续场景画面信息,包括:
生成所述目标场景在当前播放进度之后对应的,匹配于所述目标播放视角和/或所述目标播放区域的后续场景画面信息。
可选的,上述方法,还包括:
获取对所述目标场景的播放进度指示信息;
将所述目标场景从当前播放进度,跳转至所述播放进度指示信息指示的目标进度进行播放。
可选的,所述回放文件中的信息还包括如下信息中的至少一种:播放器版本指示信息、地图标识验证信息、状态变化验证信息;所述方法在生成所述目标场景的初始场景画面信息之前,还包括:
执行如下处理中的至少一种:确定所使用播放器的版本与所述播放器版本指示信息指示的版本是否匹配,确定所述目标地图标识与所述地图标识验证信息是否匹配,确定所述状态变化信息与所述状态变化验证信息是否匹配;
若至少一种确定结果表示不匹配,结束对所述回放文件的处理。
一种信息处理方法,所述方法包括:
获取对目标场景的录制指令;
获取所述目标场景中场景对象的初始状态信息;
基于对所述目标场景中场景对象的状态变化检测,生成所述目标场景中场景对象的状态变化信息;
确定所述目标场景中场景对象所需的素材信息;
为所述目标场景生成包括所述目标场景中场景对象的初始状态信息与状态变化信息,及所述目标场景中场景对象所需的素材信息的回放文件。
一种电子设备,包括:
存储器,用于至少存储一组计算机指令集;
处理器,用于通过调用并执行所述存储器中存储的所述指令集,实现如上文任一项所述的信息处理方法。
由以上方案可知,本申请公开一种信息处理方法和电子设备,该信息处理方法包括:获取待处理的回放文件,回放文件中的信息至少包括:所录制的目标场景中场景对象的初始状态信息与状态变化信息,及目标场景中场景对象所需的素材信息;根据目标场景中场景对象的初始状态信息和上述素材信息,生成目标场景的初始场景画面信息,并播放生成的初始场景画面信息;根据初始场景画面信息和状态变化信息,生成目标场景在初始场景画面信息之后对应的后续场景画面信息,并播放生成的后续场景画面信息。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请提供的用于场景内容回放的信息处理方法的一种流程图;
图2是本申请提供的Maps文件信息的一个简单示例;
图3是本申请提供的回放文件、场景地图与素材资源三者间的关系示意图;
图4是本申请提供的指令的字节码结构示例;
图5是本申请提供的关键帧的字节码结构示例;
图6是本申请提供的回放文件的字节码结构示例;
图7(a)与图7(b)分别是本申请提供的以当前参会人的第一视角生成会议场景画面的不同示例;
图8是本申请提供的以侧视视角生成会议场景画面的示例;
图9是本申请提供的用于场景内容回放的信息处理方法的另一种流程图;
图10是本申请提供的用于场景内容回放的信息处理方法的又一种流程图;
图11是本申请提供的用于场景内容录制的信息处理方法的流程图;
图12是本申请提供的客户端、服务器以及播放器的执行时间线示意图;
图13是本申请提供的同步过程中客户端和服务器每一帧逻辑的时间线示意图;
图14是本申请提供的播放器对所录制的文件进行实时回放的示意图;
图15是本申请提供的播放器内容回放时的一示例性处理流程图;
图16是本申请提供的电子设备的组成结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请公开一种信息处理方法和电子设备,用于提供一种区别于传统技术中基于视频录制与播放进行内容回放的内容回放方式,以达到降低回放文件的存储空间占用量等技术效果。所公开的信息处理方法,可应用于但不限于众多通用或专用的计算装置环境或配置下的电子设备,例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置等等。电子设备具备信息处理功能,且具备显示屏或外接有显示屏,以基于自身显示屏或外接显示屏,执行基于回放文件的场景内容回放。
参见图1所示的信息处理方法流程图,本申请实施例提供的信息处理方法可以包括以下处理过程:
步骤101、获取待处理的回放文件。
当需对目标场景中的场景内容进行回放时,具体可获取预先对目标场景进行录制所生成的回放文件,以用于对目标场景的内容回放。
其中,回放文件中的信息至少包括:所录制的目标场景中场景对象的初始状态信息与状态变化信息,及目标场景中场景对象所需的素材信息。
可选的,目标场景中的场景对象基于虚拟形象的方式表示,也就是说,回放文件采用对应的虚拟形象来表征/代表目标场景所涉及的各个场景对象,目标场景中的场景对象可以包括前景对象和背景对象中的至少一种,且前景对象和背景对象的数量可以分别为一个或多个,不作限制,视目标场景的实际场景内容而定。以会议场景为例,每个参会人员可预先选择其所需的虚拟形象,采用选择的虚拟形象来代表对应的参会人员等场景对象,在场景内容录制过程中,可通过对场景对象的初始状态信息与状态变化信息进行检测,将场景对象的初始状态信息与状态变化信息,记录为所对应虚拟形象的初始状态信息与状态变化信息,并同时记录目标场景中场景对象也即虚拟形象所需的素材信息,来生成回放文件。
回放文件中所包含的目标场景的场景对象的初始状态信息,可以包括但不限于场景对象的初始属性,以及初始姿态、行为等信息中的部分或全部信息,场景对象的状态变化信息,相应可以包括但不限于指场景内容录制过程中,场景对象的属性、姿态、行为等的变化信息。
实际应用中,回放文件中的状态变化信息,可进一步表示为:所录制目标场景中的场景对象在不同时间节点所对应的变化指令;该变化指令也可称为状态变化指令,用于指示相应场景对象所发生状态变化的变化内容,例如,化学实验中,在某一帧,学生A移动了某个试管。实际应用中,可选的,具体可采用场景对象发生状态变化时所对应帧的帧序(如帧编号等)代表对应的时间节点。
例如,对于AR/VR会议场景中的某参会人员,场景对象的初始状态信息,可以是指该参会人员所对应虚拟形象的初始属性(如虚拟形象的类型,所配置的衣物类型、配饰类型、色彩),以及参会人员在初始时的实际姿态、行为等信息;状态变化信息则可以是指,在对该AR/VR会议场景的录制过程中,该参会人员所对应虚拟形象的属性变化信息,以及该参会人员的姿态/行为变化信息等,参会人员的初始姿态/行为信息与姿态/行为变化信息,在回放文件中会记录为其虚拟形象的初始姿态/行为信息与姿态/行为变化信息,且具体可记录为能用于表征某时间节点某场景对象/虚拟对象发生状态变化及变化内容的变化指令,例如在N帧X物体由原来的匀速向右运动改为匀速向上运动。
虚拟形象的属性,包括但不限于,虚拟形象的类型(如人物、球体,对人物从职业角度进一步划分的警察、员工,年龄角度划分的小孩、成人,性别角度划分的女性、男性等),为虚拟形象所配置的衣物类型、配饰类型、色彩、纹理等等。
针对场景对象所需的素材信息,本申请实施例具体给出场景地图和素材资源的定义,具体如下:
素材资源:也可称为资源包(assets),是指在基于回放文件的场景内容演示中用到的所有素材资源的集合,如背景图片,icon(图标),音效,模型、色彩、纹理等,这些资源一般会占用KB或MB数量级的存储空间。
场景地图:maps,该文件是一种初始配置文件,通过将资源包内的物体进行组合,提供场景对象所需的一系列对象元素的元素模板集合,例如背景A图片在P这个坐标,Icon_B位于背景A上的P1这个位置,可能还有一个向右的运动向量以及速率等信息,因此该文件记录的是素材ID和一些配置信息,这种文件的存储通常会占用KB数量级。
场景地图文件即Maps文件,具体描述的是元素在初始化的配置信息,每一元素的配置信息可以包括但不限于资源ID,姿态(如,位置和旋转信息),初始行为等,具体可参见图2所示的Maps文件信息的一个简单示例,Maps文件所涉及的各种资源如图片或音效(如果有的话)可打包为对应的资源包,Maps文件本质上是对资源的引用,可以但不限于以xml、yaml、json、binary等格式存储,因此Maps文件占用的存储空间很小,通常为KB数量级。
回放文件,则主要是以所提供的场景地图和素材资源为基础,记录所有场景对象在完整演示过程中的初始状态信息及状态变化信息,例如在N帧X物体由原来的匀速向右运动改为匀速向上运动。这种文件很小,一般也是在KB数量级内。参见图3,提供了回放文件、场景地图与素材资源三者间的关系示意图,三者具体可依次为调用/引用关系。
本申请实施例中,将场景以主题进行区分,场景的主题也可以称为主题类型或主题风格,包括但不限于会议主题、休闲主题、实验主题(如化学实验)、星球运行模拟主题等等,可视实际需求进行主题划分。相应为不同主题分别提供对应的场景地图,也即为不同主题分别提供对应的元素模板集合,并提供场景地图/元素模板集合对应所需的素材资源(资源包)。
在一实施方式中,回放文件中的素材信息包括所录制的目标场景对应的目标地图标识,简称为MapID,用于指示所录制的目标场景所属场景主题对应的第一主题元素模板集合,如AR/VR会议场景所属的会议主题对应的会议主题元素模板集合。该实施方式下,在基于回放文件对目标场景进行内容回放时,可基于MapID进行目标场景所属场景主题的主题元素模板集合及相关素材资源的获取,进而从中确定出目标场景所需的部分主题元素模板及对应的素材资源,来用于内容回放。
在另一实施方式中,回放文件中的素材信息,可直接包括所录制的目标场景在所属场景主题下所需的第二主题元素模板集合及第二主题元素模板集合对应的第二素材资源集合。该实施方式下,相应可直接从回放文件中读取第二主题元素模板集合、第二主题元素模板集合的信息,作为目标场景中所需的主题元素模板及对应的素材资源,来用于后续的内容回放。容易理解,第二主题元素模板集合,具体为目标场景在其所属场景主题对应的主题元素模板集合中所需的部分主题元素模板集合,第二素材资源集合,相应为目标场景在其所属场景主题对应的主题元素模板集合对应的素材资源集合中,所需的部分素材资源集合。
可选的,本申请实施例将回放文件中的信息编码为自定义字节码的形式。回放文件的信息所涉及的字节码结构主要包括:
(一)指令的字节码结构
其中,指令主要是指场景对象的状态变化指令,所对应的指令信息可以包括但不限于指令类型,指令所对应的场景对象的ID(如所针对物体的物体ID),指令所指示的状态变化内容(如在某帧发生怎样的变化)等信息。参见图4所示的指令的字节码结构示例,其中,Cmd表示指令类型,如move(移动)、jump(跳)等,ID表示指令所对应的场景对象的ID,Params表示指令内容,具体可细分为指令大小(Raw Data Size)与变化内容(Raw DataBytes)。实际应用中,可以根据Params的内容长度优化RawDataSize的类型,可以是byte(uint8),uint16,uint32等。
以move指令为例,假设Move指令的值定义为1000,对应的物体Id=1201512898,在第100帧,改变移动方向为向上移动(0,1),则可将该指令基于字节码描述为:
[Move(uint16)][Id(uint32)][Params(byte[])]=>
[00000011 11101000][01000111 10011101 10100001 11000010][0000000000000000 00000000 00000010 00000000 00000001]。
(二)关键帧的字节码结构
其中,关键帧是指回放文件所对应场景中至少一个场景对象的状态发生了变化的帧。
关键帧的字节码结构,包括但不限于,关键帧索引、关键帧索引所指示的关键帧对应的各个状态变化指令及所对应状态变化指令的数量。参见图5所示的关键帧的字节码结构示例,其中,FrameIndex表示关键帧索引,图5中“当前FrameIndex下的指令集合长度X”表示当前FrameIndex指示的关键帧对应有X个状态变化指令,即指令数量为X,各个指令的指令信息在图5中分别表示为:指令信息字节数组0、指令信息字节数组1、指令信息字节数组...、指令信息字节数组X-1。
(三)回放文件的字节码结构
回放文件具体可表示为一系列关键帧的帧信息构成的信息集合。而对于非关键帧,由于在其对应的时间节点场景对象的状态未发生变化,可维持其前序帧中最近发生状态变化的帧所对应的场景信息,因此在回放文件中可不存储非关键帧的相关信息,以进一步降低回放文件的数据量,节省存储空间。
回放文件的字节码结构,可以包括所录制场景中各个场景对象的对象ID,各对象ID所对应场景对象的初始状态信息,以及所有关键帧的关键帧字节码所形成的字节码集合(对应表征场景对象的状态变化信息),除此之外,可选的,还可以包括所录制场景所属主题对应的目标地图标识,这里目标地图标识用于指示所录制场景所属场景主题对应的第一主题元素模板集合,如会议主题对应的会议主题元素模板集合,但不限于此,作为目标地图标识的一种替代,回放文件中还可以直接包括所录制场景在所属场景主题下所需的第二主题元素模板集合及第二主题元素模板集合对应的第二素材资源集合,对此不作限定,可视实际需求而定。可选的,回放文件中场景对象的初始状态信息允许为空,在为空的情况下,可采用默认配置。
参见图6所示的回放文件的字节码结构示例,其中,MapID表示所录制场景所属主题对应的目标地图标识,如会议场景对应的地图标识;参与者ID集合表示所录制场景中涉及的各个场景对象如各个参会人的ID;所有关键帧字节码集合,则表示回放文件包括的所有关键帧的关键帧字节码所形成的字节码集合。
实际应用中,在对所需的目标场景进行录制时,相应可按上述的各种字节码结构,将场景内容信息(如场景对象的初始状态信息、状态变化信息,及所需的素材信息)编码成字节码,得到字节码形式的回放文件,后续在基于回放文件的场景内容播放中,相应可根据编码字节码的规则,解码回放文件中的字节码,得到所需的各项信息,如所录制的目标场景中场景对象的初始状态信息与状态变化信息,及目标场景中场景对象所需的素材信息等,以通过对这些信息的处理,实现对所录制场景的内容回放。
步骤102、根据目标场景中场景对象的初始状态信息和上述素材信息,生成目标场景的初始场景画面信息,并播放生成的初始场景画面信息。
对于回放文件的素材信息包括目标场景对应的目标地图标识的实施方式,具体可从用于播放回放文件的播放器本地端或从网络端,获取目标地图标识指示的目标场景所属场景主题的第一主题元素模板集合,及第一主题元素模板集合对应的第一素材资源集合;并根据回放文件中场景对象的初始状态信息、上述的第一主题元素模板集合及第一素材资源集合,生成目标场景中场景对象的初始对象画面信息,目标场景中各个场景对象的初始对象画面信息,构成目标场景中的初始场景画面信息。
该实施方式下,回放文件中给出了目标场景所属主题的目标地图标识,但未直接给出目标场景在所属主题下具体所需的主题元素模板及对应的素材资源,从而,可基于目标地图标识进行目标场景所属场景主题对应的第一主题元素模板集合及第一素材资源集合的获取,具体可根据需求,从播放器本地端或从网络端获取,在此基础上,可进一步从中确定出目标场景所需的主题元素模板及相关素材资源,用于内容回放。
对于回放文件的素材信息,包括目标场景在所属场景主题下所需的第二主题元素模板集合及第二主题元素模板集合对应的第二素材资源集合的实施方式,可直接从回放文件中获取上述的第二主题元素模板集合及第二素材资源集合,并根据回放文件中场景对象的初始状态信息、获取的第二主题元素模板集合及第二素材资源集合,生成目标场景中场景对象的初始对象画面信息,目标场景中各个场景对象的初始对象画面信息,构成目标场景中的初始场景画面信息。
在素材信息所包含信息内容的上述两种实施方式中,根据回放文件中场景对象的初始状态信息、相应主题元素模板集合及相应素材资源集合,生成目标场景中场景对象的初始对象画面信息的过程,可进一步实现为:
11)确定目标场景中的场景对象,在相应主题元素模板集合中对应的目标元素模板。
12)对于目标场景中的每一场景对象,获取该场景对象的目标元素模板在该场景对象的初始状态信息下,在相应素材资源集合中对应的目标资源。
其中,针对素材信息所包含信息内容的前一种实施方式,这里的相应主题元素模板集合为上述的第一主题元素模板集合,相应素材资源集合为上述的第一素材资源集合。针对素材信息所包含信息内容的后一种实施方式,这里的相应主题元素模板集合为上述的第二主题元素模板集合,相应素材资源集合为上述的第二素材资源集合,视实际应用情况而定。
针对上述两种实施方,在步骤11)中,具体可根据回放文件中各个场景对象的对象ID所指示场景对象的属性信息(如对象类型等),或者根据回放文件中各个场景对象的对象ID所对应的索引信息(用于将该对象ID索引到所对应主题元素模板集合中的相应元素模板),确定目标场景中的场景对象在相应主题元素模板集合(MapID指示的第一主题元素模板集合或回放文件中包含的第二主题元素模板集合)中对应的目标元素模板。
之后,可进一步在步骤12)中,为目标场景中的每一场景对象,获取该场景对象的目标元素模板在该场景对象的初始状态信息下,在相应素材资源集合(第一主题元素模板集合对应的第一素材资源集合,或回放文件中包含的第二素材资源集合)中对应的目标资源。
以会议场景中的某参会人员这一场景对象为例,具体可根据参会人员ID应的索引ID,从相应主题元素模板集合中确定该参会人员所需的目标元素模板,例如为参会人员获取相匹配的人物组成元素配置模板等,具体可以包括但不限于,所对应人物类型(如警察、儿童、员工)人体模型的各组成部位及各组成部位的相对位置配置信息、以及人体模型与衣物、配饰等的相对位置配置信息。假设参会人员这一场景对象的初始状态信息,包括其所对应的虚拟形象的属性(如个性化的衣物、配饰)、初始姿态、初始行为等信息,则可进一步从对应的素材资源集合获得人体模型对应的模型资源,以及各部位的衣物、配饰等分别对应的资源,作为参会人员这一目标对象所需的目标资源。
13)按目标元素模板指示的元素配置信息,将获取的目标资源配置为该场景对象所需的对象元素。
之后,可按目标元素模板指示的元素配置信息,对获取的各项目标资源进行配置,得到场景所需的对象元素。例如,对于为参会人员所获取的人体模型的模型资源,以及衣物、配饰等资源信息,可按照目标元素模板指示的各资源的配置信息,如人体各部位图形以及人体与衣物、配饰的相对位置关系等,将获取的各种资源进行搭配、组装,得到参会人员的个性化虚拟形象所需的对象元素。
14)将上述对象元素配置为场景对象的初始状态信息指示的对象状态,并生成匹配于上述对象状态的对象画面信息,得到上述场景对象的初始对象画面信息。
在此基础上,可进一步将场景对象所需的对象元素配置为场景对象的初始状态信息指示的对象状态,例如将生成的具备所对应衣物、配饰等的参会人员虚拟形象,调整为与参会人员的初始姿态(如坐姿、站姿、转身、走动等)及初始行为(如讲话、听讲、喝水、会议信息记录)相匹配的状态。之后生成匹配于上述对象状态的对象画面信息,该对象画面信息即为场景对象的初始对象画面信息。
目标场景在初始时所包括的各场景对象的初始对象画面信息,构成目标场景的初始场景画面信息,相应可播放该初始场景画面信息。
可选的,初始场景画面信息,具体可以为目标场景的第一帧即首帧场景画面信息。
步骤103、根据上述的初始场景画面信息和目标场景中场景对象的状态变化信息,生成目标场景在初始场景画面信息之后对应的后续场景画面信息,并播放生成的后续场景画面信息。
在生成并播放目标场景的初始场景画面信息后,可按播放进度,生成目标场景在初始场景画面信息之后对应的各个后续场景画面信息,并对生成的各个后续场景画面信息进行播放,以实现对目标场景的内容回放。
该过程可进一步实现为:按照播放进度,获取初始场景画面信息之后的播放过程中,目标场景在当前时间节点的上一相邻时间节点对应的场景画面信息,以及在当前时间节点对应的变化指令;并根据当前时间节点对应的变化指令,调整其上一相邻时间节点对应的场景画面信息,得到目标场景在所述当前时间节点对应的场景画面信息。容易理解,初始时所述上一相邻时间节点对应的场景画面信息,为目标场景的初始场景画面信息。
实际应用中,可选的,可以采用不同帧对应的不同帧序(如帧编号)来代表不同的时间节点,相应可按播放进度,逐帧生成目标场景在初始场景画面之后对应的各个后续帧的场景画面信息,并逐帧播放。
其中,对于待生成的当前帧,若该帧不属于回放文件中的关键帧,即该帧为非关键帧,则表示该帧与其前一帧相比,目标场景中场景对象的对象状态未发生变化,相应可直接读取其前一帧的场景画面信息作为该当前帧的场景画面信息进行播放,也就是在当前帧维持上一帧的场景画面信息。反之,若待生成的当前帧属于回放文件中的关键帧,具体可从回放文件获取该关键帧对应的各个状态变化指令,并根据每一状态变化指令的指令内容,对当前帧的上一帧场景画面信息中的相应场景对象进行状态调整,包括但不限于属性、姿态和/或行为的状态调整,例如将参会人员从坐姿调整为以一定速度站起的姿态,或者将某一物体的移动方向从向右移动改变为向上移动等等,相应得到调整后的场景画面信息,该调整后的场景画面信息即为当前帧的场景画面信息,直接对其播放即可,之后可进一步以当前帧播放的场景画面信息为基础,来得到并播放其下一帧场景画面信息,直至满足结束条件时结束内容播放。
结束条件可以是但不限于,完成对目标场景的内容播放,或者,用户基于结束操作(如关闭文件或播放器)结束对目标场景的内容回放。
综上所述,本申请提供的信息处理方法,通过录制包括目标场景中场景对象的初始状态信息与状态变化信息,及目标场景中场景对象所需的素材信息的回放文件,如录制并生成包含上述信息的字节码形式的回放文件,并基于所录制的回放文件进行目标场景的内容回放,实现了一种更轻量级的场景内容回放方案,回放文件所需的存储空间较小,一般在KB量级内,与传统基于视频录制与播放的场景内容回放方案相比,大幅降低了回放文件所需的存储空间,尤其随着录制时长的增加不会导致回放文件所占用存储空间的急剧增大,该情况下本申请方案的优势更为凸显。
在一实施例中,可选的,本申请提供的信息处理方法,还可以包括以下处理:获取对目标场景的播放视场指示信息。
其中,播放视场指示信息,用于指示播放目标场景所需的目标播放视角和/或目标播放区域。
在基于回放文件对目标场景进行播放,以实现对目标场景的内容回放时,播放器会基于回放文件提供一默认视角下的场景画面,以AR/VR会议场景为例,可选的,具体可以但不限于将顶视角配置为默认视角,相应的,默认状态下,可基于回放文件生成并播放顶视角下的会议场景画面。该情况下,会以顶视角方式,全面展示整个会场,及会场中所有参会人员的虚拟形象及其在会议过程中的状态变化信息(代表所对应的实际参会人员在姿态、行为等方面的状态变化)。
可选的,在基于回放文件播放目标场景的场景内容之前,或者播放过程中,用户(如某参会人员)可根据实际需求,配置所需的目标播放视角和/或目标播放区域,播放器相应可获取对应的播放视场指示信息,容易理解,该播放视场指示信息,相应用于指示播放目标场景所需的目标播放视角和/或目标播放区域。
响应于获取到该播放视场指示信息,播放器切换为以目标播放视角生成并播放目标场景的场景画面信息,和/或选择性生成与播放目标场景在其目标播放区域(如在会场包含的某个子区域)的场景画面信息。参见图7(a)与图7(b),分别提供了以当前参会人的第一视角(区别于顶视角等默认视角)生成会议场景画面的两个不同示例,图8则提供了以参会人员的侧面这一侧视角(也可称之为局外人视角)生成会议场景画面的示例。
其中,如果用户在播放回放文件之前进行上述的配置,如配置所需的目标播放视角和/或目标播放区域,相应可从回放文件开始播放时,就以配置的目标播放视角和/或目标播放区域为依据,进行目标场景的场景画面生成与播放;如果用户在播放回放文件的过程中进行上述的配置,相应可以以当前播放进度为起始,生成目标场景在当前播放进度之后对应的,匹配于目标播放视角和/或目标播放区域的后续场景画面信息,并对其进行播放。
传统基于视频录制的场景内容回放方案,在场景内容回放过程中,无法切换视角或者聚焦重点区域,缺乏自定义浏览的能力,本申请通过提供上述基于字节码的场景内容录制与回放方案,并在此基础上,进一步提供匹配于所配置视角/区域的场景画面灵活切换功能,进一步丰富了对场景内容的回放功能,从而能更好的满足用户对回放内容的自定义浏览功能。
在一实施例中,可选的,参见图9所示的信息处理方法流程图,本申请提供的信息处理方法,还可以包括以下处理:
步骤901、获取对目标场景的播放进度指示信息。
在基于回放文件对目标场景进行内容回放的过程中,用户还可根据需求,调整对目标场景的播放进度,具体的,用户可通过拖动播放进度条或进度信息配置等操作,触发对目标场景的播放进度指示信息。
步骤902、将目标场景从当前播放进度,跳转至播放进度指示信息指示的目标进度进行播放。
播放器相应可接收到上述的播放进度指示信息,并将目标场景从当前播放进度,跳转至播放进度指示信息指示的目标进度进行播放。
优选的,若播放进度指示信息指示的目标进度先于当前播放进度,可直接从缓存中读取之前播放过程中所生成的目标进度下的场景画面信息,并对其进行播放,以提升进度切换速率,更好地实现播放进度的无缝切换,但不限于此,也可以以初始场景画面信息或目标进度之前某一进度的场景画面信息为基准画面,并利用基准画面所对应进度至目标进度之间各个关键帧的状态变化指令,对基准画面中的场景对象进行状态调整,以此得到目标进度下的场景画面信息,对此不作限制。
若目标进度在当前播放进度之后,也即缓存中不存在目标进度下的场景画面信息,则可以以当前播放进度下的场景画面信息为基准画面,利用基准画面所对应进度至目标进度之间各个关键帧的状态变化指令对基准画面中的场景对象进行状态调整,以此得到目标进度下的场景画面信息,并对其进行播放,从而实现对目标场景播放进度的进度切换。
本实施例提供了对字节码形式的回放文件的播放进度调节功能,可有效满足用户对目标场景进行播放时的进度调整需求。
在一实施例中,可选的,回放文件还可以包括如下信息中的至少一种:播放器版本指示信息、地图标识验证信息、状态变化验证信息。
相应的,参见图10所示的信息处理方法流程图,本申请提供的信息处理方法,在生成目标场景的初始场景画面信息之前,还可以包括以下处理:
步骤1001、执行如下处理中的至少一种:确定所使用播放器的版本与回放文件中播放器版本指示信息所指示的版本是否匹配,确定回放文件中的目标地图标识与地图标识验证信息是否匹配,确定回放文件中的状态变化信息与状态变化验证信息是否匹配;若至少一种确定结果表示不匹配,结束对回放文件的处理,若各个确定结果均表示匹配,转至执行步骤102,以触发步骤102及其后续步骤的处理流程。
对于播放器版本,实际应用中,可预先设置所使用播放器的版本与回放文件中播放器版本指示信息所指示版本的匹配规则,具体可以但不限于将该匹配规则设置为,所使用播放器的版本与播放器版本指示信息所指示的版本完全相同,或者所使用播放器的版本能够兼容播放器版本指示信息所指示的版本,例如,所使用播放器的版本更高,涵盖了播放器版本指示信息所指示版本的全部功能。所使用播放器的版本与回放文件中播放器版本指示信息所指示的版本满足上述匹配规则,即可判定两者相匹配,否则两者不匹配。
回放文件中的地图标识验证信息,可以但不限于在进行目标场景的录制并生成回放文件中所需的地图标识后,采用MD5等摘要算法对回放文件中的地图标识进行处理,生成地图标识的摘要信息,所生成的摘要信息即可作为地图标识验证信息存放至回放文件。后续,当需基于回放文件对目标场景进行内容回放时,可首先利用相同的算法如MD5对回放文件中的目标地图标识进行运算处理,并将所得的运算结果与回放文件中的地图标识验证信息进行比对,若两者相同,则判定回放文件中的目标地图标识与地图标识验证信息匹配,具体表示回放文件中的地图标识未发生篡改,否则则不匹配,相应表示回放文件中的地图标发生了篡改,该情况下,可拒绝对回放文件进行播放。
相类似,回放文件中的状态变化验证信息,可以但不限于在进行目标场景的录制并生成回放文件中所需的状态变化信息后,采用MD5等摘要算法对回放文件中的状态变化信息进行处理,生成状态变化信息的摘要信息,所生成的摘要信息即可作为状态变化验证信息存放至回放文件。后续,当需基于回放文件对目标场景进行内容回放时,可首先利用相同的算法如MD5对回放文件中的状态变化信息进行运算处理,并将所得的运算结果与回放文件中的状态变化验证信息进行比对,若两者相同,则判定回放文件中的状态变化信息与状态变化验证信息匹配,表示回放文件中的状态变化信息未发生篡改,否则则不匹配,相应表示回放文件中的状态变化信息发生了篡改,该情况下,可拒绝对回放文件进行播放。在所有验证结果均表示匹配的情况下,则可执行步骤102,以触发对回放文件的后续处理流程,实现基于回放文件对目标场景进行场景内容回放。
传统基于视频录制的场景内容回放方案中,回放文件(如视频文件)非常容易被盗用,且容易出现随意篡改内容(添加/删除/修改)和严重的版权问题,以及易出现回放文件被随意降低码率和分辨率,导致在传播过程中造成内容质量降低等问题,本实施例通过在回放文件中包含相关校验信息(如地图标识验证信息、状态变化验证信息等),并在基于回放文件进行场景内容回放之前,首先基于校验信息对回放文件中的相关信息进行验证,可有效检测出内容篡改问题,使得在对回放文件的信息进行删除,添加等篡改后,无法通过检验,进而导致无法播放,相应可解决上述一系列问题。
本申请还提供另一种信息处理方法,与上述各实施例提供的信息处理方法用于基于回放文件进行场景内容回放相区别,本实施例的信息处理方法用于对所需的目标场景进行场景内容录制。
参见图11所示的信息处理方法流程图,本实施例的信息处理方法可以包括:
步骤1101、获取对目标场景的录制指令。
用户可根据需求,通过在客户端设备上执行对目标场景的录制操作,如按下对应的场景录制按钮等,来触发对所需的目标场景的录制指令。
步骤1102、获取目标场景中场景对象的初始状态信息。
目标场景中场景对象的初始状态信息,包括但不限于场景对象的初始属性,以及初始姿态、行为等信息中的部分或全部信息。具体可以但不限于通过获取用户所配置的场景对象的初始属性(如配置虚拟形象的类型为人物中的参会人员,并为其配置对应的衣物、配饰、色彩等信息)、并通过利用相应的姿态/行为感测设备或工具、组件对场景对象的初始姿态与行为进行检测,来得场景对象的初始状态信息。
步骤1103、基于对目标场景中场景对象的状态变化检测,生成目标场景中场景对象的状态变化信息。
场景对象的状态变化信息,相应可以包括但不限于指场景内容录制过程中,场景对象的属性、姿态、行为等的变化信息。
录制过程中,可利用相应的姿态/行为感测设备或工具、组件对场景对象的姿态与行为变化进行检测,除此之外,可选的,录制阶段还可以支持各种方式的输入,包括但不限于键盘按键、手势、语音指令、脸部捕捉、手柄摇杆方向、鼠标点击、双击、拖拉拽等方式,这样可以在场景内容录制过程中向用户提供丰富的交互体验,结合对用户的实际姿态/行为感测以及与用户的交互(如用户对虚拟形象的属性/姿态/行为的交互式调整等),生成目标场景中场景对象的状态变化信息。
步骤1104、确定目标场景中场景对象所需的素材信息。
与上文中用于场景内容回放的信息处理方法相对应,在一实施方式中,目标场景中场景对象所需的素材信息,可以包括所录制的目标场景对应的目标地图标识,简称为MapID,用于指示所录制的目标场景所属场景主题对应的第一主题元素模板集合,如AR/VR会议场景所属的会议主题对应的会议主题元素模板集合。后续可通过在第一主题元素模板集合对对应的第一素材资源集合进行引用,来提供目标场景中场景对象所需的素材信息。
该实施方式下,可首先确定目标场景所属的场景主题,如会议主题、星球运行模拟主题等,进而获取目标场景所属场景主题对应的第一主题元素模板集合的标识,作为目标地图标识,并将其作为目标场景中场景对象所需的素材信息。
在另一实施方式中,目标场景中场景对象所需的素材信息,可直接包括所录制的目标场景在所属场景主题下所需的第二主题元素模板集合及第二主题元素模板集合对应的第二素材资源集合。
该实施方式下,同样可首先确定目标场景所属的场景主题,之后进一步根据目标场景中场景对象的实际需求,在目标场景所属场景主题对应的第一主题元素模板集合(即maps)中,确定目标场景中的场景对象在所属场景主题下所需的部分模板,形成第二主题元素模板集合,并进一步从第一主题元素模板集合对应的第一素材资源集合中,确定第二主题元素模板集合对应所需的部分素材资源,形成第二素材资源集合,并将确定出的第二主题元素模板集合和第二素材资源集合作为目标场景中场景对象所需的素材信息。
步骤1105、为目标场景生成包括目标场景中场景对象的初始状态信息与状态变化信息,及目标场景中场景对象所需的素材信息的回放文件。
之后,可进一步根据获取的信息,生成目标场景的回放文件,回放文件中包括目标场景中场景对象的初始状态信息与状态变化信息,以及目标场景中场景对象所需的素材信息,以基于回放文件中包含的各项信息,支持通过上文中用于场景内容回放的信息处理方法,对目标场景进行内容回放。
可选的,在对所需的目标场景进行录制时,可按上文所述的各种字节码结构,将场景内容信息(如场景对象的初始状态信息、状态变化信息,及所需的素材信息)编码成字节码,得到字节码形式的回放文件。
录制的过程可以在单客户端执行,也可以多客户端协同完成,不作限制,可视实际需求而定,例如,对于星球运行模拟场景,可直接在单客户端完成录制,而对于有多个参会人远程参与的VR/AR线上会议等多端交互场景而言,则需要各参会人员的多个客户端协同完成VR/AR线上会议录制,每个客户端负责各自端参会人员在会议过程中的信息(如属性、姿态、行为)录制,并可通过对多个客户端的录制信息进行整合处理,得到最终的回放文件。
可选的,多客户端协同录制的方式下,可以有服务器的加入。服务器负责收集各客户端的录制信息并按时间线对各客户端的录制信息进行整合。该实现方式下,多个客户端与服务器之间可以通过相同的帧率来同步相同的进度,使得不同端的执行逻辑时间线保持一致。
参见图12所示的客户端、服务器以及播放器的执行时间线,其中,C以及Client表示客户端,S以及Server表示服务器,R以及Replay表示播放器,各个客户端可通过网络接口(Net IO)将其录制信息实时同步至服务器,Timeline表示时间线,Simulation Run为模拟运行,具体可表示录制过程中针对一个单位帧的信息生成处理,wait为等待,具体可表示帧与帧之间的间隙,客户端对各个客户端同步的录制信息按时间线实时整合,并将整合结果传输至客户端,以支持在客户端跟随录制进度进行实时回放。在此过程中,客户端、服务器以及播放器的执行时间线可一致。ECS,为Entity-Component-System,即实体-组件-系统,在下文说明。
图13进一步示出了同步过程中客户端和服务器每一帧逻辑的时间线(Timeline(Per Frame Logic in Net Sync)),其中上半图表示客户端每一帧的处理逻辑,下半图表示服务器每一帧的处理逻辑。结合参见图12,客户端具体基于ECS(Entity-Component-System,实体-组件-系统)架构进行所需的处理,实现对各自端的场景录制。ECS架构能提供一种体现组合优于继承的代码组织方式,本实施例使用该架构来更方便的处理关键帧。
该架构中,Enitiy为实体,用于采用唯一ID表示一个物体;Component为组件,用于提供多种不同类型组件,如移动组件MoveComponent(Dir,Speed)和姿态组件PoseComponent(Position,Rotation)等,其中的Dir、Speed、Position、Rotation分别表示方向、速度、位置、旋转。System为系统,用于基于所需的组件处理关键帧,以MoveSystem为例,其可通过将Move指令(MoveComponent)中的Dir、Speed,作用在PoseComponent上,来完成关键帧所需的状态变化指令的生成。服务端收集各客户端的信息后,按时间线对各客户端中关键帧的指令进行汇总并将汇总结果广播给所有客户端,支持客户端随录制进程进行实时回放,回放内容中除了包括当前客户端自身的场景内容还包括协同录制的其他客户端的场景内容,如VR/AR会议录制场景中,可跟随录制进程实时回放所录制的各个参会人员的VR/AR会议画面。
图14示出了播放器对所录制的文件进行实时回放的示意图,其中,具体可按每一帧逻辑的时间线进行回放(Timeline(Per Frame Logic in Replay)),对于每一帧,播放器都将读取该帧对应的所有指令,并通过ECS中的S作用在相应的C上,以此为基础实现场景画面的生成与播放,在某帧未对应任何指令情况下,维持其上一帧的场景画面,播放器内容回放时的一示例性处理流程图如图15所示。
实际应用中,在多客户端协同录制情况下,也可以不引入服务器,而是由各个客户端协商出某一客户端,来承担多客户端录制信息的整合与同步任务,对此不作限定,可视实际应用情况而定。
本实施例提供了区别于传统视频录制方式的轻量级场景内容录制方式,具体可采用字节码形式基于记录关键帧信息实现场景内容录制,录制的回放文件所需的存储空间较小,一般在KB数量级内,与传统技术基于视频录制的场景内容录制方案相比,大幅降低了所生成的回放文件的存储空间,尤其随着录制时长的增加不会导致回放文件所占用存储空间的急剧增大,此种情况下本申请方案的优势更为凸显。
另外,传统的视频录制方式无法拍摄和录制AR/VR会议等交互场景,相应无法对此场景的交互过程进行回放,本申请通过提供上述基于多客户端的协同录制处理,有效解决了这一问题,可实现对AR/VR会议等交互场景的多端交互过程进行录制,相应可时间对交互过程的场景内容进行回放。
以下提供本申请方法的一应用示例。
该示例中,预先制作不同主题风格的Maps,并分别为不同主题风格的Maps提供对应的资源包,以支持在场景录制中能够按需获得不同主题风格的素材资源,例如,如果需要在视频演示中演示天体运动,用到的资源包就是一些星球模型、飞船、炮弹、爆炸音效等,如果是化学实验主题,那么资源包中就是一些化学仪器等图形。可选的,可以预先开发一种可视化编辑Map的插件,以使Map制作变得更为容易。
另外,该示例为播放器提供两种应用模式,包括录制阶段的应用模式和回放阶段的应用模式,其中,在录制阶段的应用模式中,播放器尽可能多的支持各种方式的输入,包括但不限于键盘按键、手势、语音指令、脸部捕捉、手柄摇杆方向、鼠标点击、双击、拖拉拽等,这样可以向用户提供更丰富的交互体验,以至少基于这些交互体验来获得录制场景中场景对象的状态变化信息,进而以此为基础确定关键帧并进行关键帧指令(状态变化指令)的生成。
比如一种化学实验的演示,在录制阶段,学生A在第F1帧移动一些试管,学生B在第F2帧移动某种烧杯,F1帧、F2帧就属于关键帧,其对应的一些行为即可用于作为关键帧指令的生成依据,该实验中,多个学生可以通过不同的客户端去实时同步操作,并通过整合各客户端所录制的信息生成回放文件,录制结束后可保存生成的回放文件。
再比如对于AR/VR会议的使用场景,目前会议软件中均是采用传统视频录制的方式来录制会议视频,有些内容的会议回放视频可能存在被盗用或泄露的风险,本申请方法通过在回放文件中增添相关校验信息,并在回放前进行文件内容校验解决了该问题,且可基于本申请的多端录制方式在AR/VR设备中增添对多端线上会议等交互场景的使用支持。
结合参见图7(a)-图(b)以及图8的示例,会议场景中的角色可采用卡通人物代入,即采用卡通人物作为其虚拟形象,参与会议的角色可以挥手,点头甚至还有脸部表情,如果用传统的视频录制方式记录会议全过程,那么一个人只能录下从自己FOV(Field of View)角度看到的会议回访视频,每个人录下的视频都不一样。与之相区别,采用本申请的方案,所有与会者录下的会议场景都能完成整合并保持一致,与会者的动作(点头,挥手,微笑)在某一帧发生都会以关键帧的形式记录下来,如同上述的关键帧记录方式的做法,这些指令会记录在回放文件中,回放时可以在对应帧开始时播放这个动作,并且在回放时可以切换到任意一个人的视角,可以以发言者的第一视角也可以以听众的视角,还可以以局外视角观看会议,这是视频录制方式所无法做到的。
本申请实施例还公开一种电子设备,电子设备的组成结构,如图16所示,至少包括:
存储器10,用于存放计算机指令集;
计算机指令集可以通过计算机程序的形式实现。
处理器20,用于通过执行计算机指令集,实现如上文任一方法实施例公开的用于场景内容回放的信息处理方法,和/或用于场景内容录制的信息处理方法。
处理器20可以为中央处理器(Central Processing Unit,CPU),特定应用集成电路(application-specific integrated circuit,ASIC),数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件等。
电子设备具备显示装置和/或具备显示接口、能外接显示装置。
可选的,电子设备还包括摄像头组件,和/或连接有外置摄像头组件。
除此之外,电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。
通信接口用于电子设备与其他设备之间的通信。通信总线可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,EISA)总线等,该通信总线可以分为地址总线、数据总线、控制总线等。
综上所述,本申请所公开的信息处理方法和电子设备,与传统技术相比,至少具备以下技术优势:
a)回放文件占用的存储空间极小,通常是KB数量级,较大情况下一般也仅达到MB级别;
b)回放文件内包含校验信息,随意篡改文件内容、删除、添加后,会导致回放文件无法通过检验、无法播放使用,从而解决了对回放文件的随意篡改问题,同时也不存在降低码率和分辨率导致影响播放质量的问题;
c)回放过程中可以根据用户的需要,着重观看重点区域或者切换显示区域,且可以拍摄和录制AR/VR的场景。
d)可以录制多端交互场景,且回放内容在不同交互设备上均能保证内容的完整性、一致性。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种信息处理方法,所述方法包括:
获取待处理的回放文件;所述回放文件中的信息至少包括:所录制的目标场景中场景对象的初始状态信息与状态变化信息,及所述目标场景中场景对象所需的素材信息;
根据所述目标场景中场景对象的初始状态信息和所述素材信息,生成所述目标场景的初始场景画面信息,并播放所述初始场景画面信息;
根据所述初始场景画面信息和所述状态变化信息,生成所述目标场景在所述初始场景画面信息之后对应的后续场景画面信息,并播放所述后续场景画面信息。
2.根据权利要求1所述的方法,所述素材信息包括所述目标场景对应的目标地图标识;
所述根据所述目标场景中场景对象的初始状态信息和所述素材信息,生成所述目标场景的初始场景画面信息,包括:
从用于播放所述回放文件的播放器本地端或从网络端,获取所述目标地图标识指示的所述目标场景所属场景主题的第一主题元素模板集合,及所述第一主题元素模板集合对应的第一素材资源集合;
根据所述初始状态信息、所述第一主题元素模板集合及所述第一素材资源集合,生成所述目标场景中场景对象的初始对象画面信息;所述目标场景的初始场景画面信息,包括所述目标场景中各场景对象的初始对象画面信息。
3.根据权利要求1所述的方法,所述素材信息包括所述目标场景在所属场景主题下所需的第二主题元素模板集合及所述第二主题元素模板集合对应的第二素材资源集合;
所述根据所述目标场景中场景对象的初始状态信息和所述素材信息,生成所述目标场景的初始场景画面信息,包括:
从所述回放文件中获取所述第二主题元素模板集合及所述第二素材资源集合;
根据所述初始状态信息、所述第二主题元素模板集合及所述第二素材资源集合,生成所述目标场景中场景对象的初始对象画面信息;所述目标场景的初始场景画面信息,包括所述目标场景中各场景对象的初始对象画面信息。
4.根据权利要求2或3所述的方法,其中,根据所述初始状态信息、相应主题元素模板集合及相应素材资源集合,生成所述目标场景中场景对象的初始对象画面信息,包括:
确定所述目标场景中的场景对象,在所述相应主题元素模板集合中对应的目标元素模板;
对于所述目标场景中的每一场景对象,获取所述场景对象的目标元素模板在所述场景对象的初始状态信息下,在所述相应素材资源集合中对应的目标资源;
按所述目标元素模板指示的元素配置信息,将获取的目标资源配置为所述场景对象所需的对象元素;
将所述对象元素配置为所述场景对象的初始状态信息指示的对象状态,并生成匹配于所述对象状态的对象画面信息,得到所述场景对象的初始对象画面信息;
其中,所述相应主题元素模板集合为所述第一主题元素模板集合,所述相应素材资源集合为所述第一素材资源集合,或者,所述相应主题元素模板集合为所述第二主题元素模板集合,所述相应素材资源集合为所述第二素材资源集合。
5.根据权利要求1所述的方法,所述状态变化信息包括:所述目标场景中的场景对象在不同时间节点所对应的变化指令;所述变化指令用于指示相应场景对象所发生状态变化的变化内容;
所述根据所述初始场景画面信息和所述状态变化信息,生成所述目标场景在所述初始场景画面信息之后对应的后续场景画面信息,包括:
获取所述初始场景画面信息之后的播放过程中,所述目标场景在当前时间节点的上一相邻时间节点对应的场景画面信息,以及在所述当前时间节点对应的变化指令;所述播放过程中,初始时所述上一相邻时间节点对应的场景画面信息为所述初始场景画面信息;
根据所述变化指令,调整所述上一相邻时间节点对应的场景画面信息,得到所述目标场景在所述当前时间节点对应的场景画面信息。
6.根据权利要求1所述的方法,还包括:
获取对所述目标场景的播放视场指示信息;所述播放视场指示信息,用于指示播放所述目标场景所需的目标播放视角和/或目标播放区域;
所述生成所述目标场景在所述初始场景画面信息之后对应的后续场景画面信息,包括:
生成所述目标场景在当前播放进度之后对应的,匹配于所述目标播放视角和/或所述目标播放区域的后续场景画面信息。
7.根据权利要求1所述的方法,还包括:
获取对所述目标场景的播放进度指示信息;
将所述目标场景从当前播放进度,跳转至所述播放进度指示信息指示的目标进度进行播放。
8.根据权利要求2所述的方法,所述回放文件中的信息还包括如下信息中的至少一种:播放器版本指示信息、地图标识验证信息、状态变化验证信息;所述方法在生成所述目标场景的初始场景画面信息之前,还包括:
执行如下处理中的至少一种:确定所使用播放器的版本与所述播放器版本指示信息指示的版本是否匹配,确定所述目标地图标识与所述地图标识验证信息是否匹配,确定所述状态变化信息与所述状态变化验证信息是否匹配;
若至少一种确定结果表示不匹配,结束对所述回放文件的处理。
9.一种信息处理方法,所述方法包括:
获取对目标场景的录制指令;
获取所述目标场景中场景对象的初始状态信息;
基于对所述目标场景中场景对象的状态变化检测,生成所述目标场景中场景对象的状态变化信息;
确定所述目标场景中场景对象所需的素材信息;
为所述目标场景生成包括所述目标场景中场景对象的初始状态信息与状态变化信息,及所述目标场景中场景对象所需的素材信息的回放文件。
10.一种电子设备,包括:
存储器,用于至少存储一组计算机指令集;
处理器,用于通过调用并执行所述存储器中存储的所述指令集,实现如权利要求1-8任一项所述的信息处理方法,和/或实现如权利要求9所述的信息处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211736119.6A CN116017082A (zh) | 2022-12-31 | 2022-12-31 | 一种信息处理方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211736119.6A CN116017082A (zh) | 2022-12-31 | 2022-12-31 | 一种信息处理方法和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116017082A true CN116017082A (zh) | 2023-04-25 |
Family
ID=86035180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211736119.6A Pending CN116017082A (zh) | 2022-12-31 | 2022-12-31 | 一种信息处理方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116017082A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117014247A (zh) * | 2023-08-28 | 2023-11-07 | 广东金朋科技有限公司 | 基于状态学习的场景生成方法、系统及存储介质 |
-
2022
- 2022-12-31 CN CN202211736119.6A patent/CN116017082A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117014247A (zh) * | 2023-08-28 | 2023-11-07 | 广东金朋科技有限公司 | 基于状态学习的场景生成方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022001593A1 (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
CN109462776B (zh) | 一种视频特效添加方法、装置、终端设备及存储介质 | |
US10506003B1 (en) | Repository service for managing digital assets | |
US10970843B1 (en) | Generating interactive content using a media universe database | |
US9747495B2 (en) | Systems and methods for creating and distributing modifiable animated video messages | |
US20170123823A1 (en) | Method and apparatus of processing expression information in instant communication | |
JP2021520146A (ja) | ビデオ作成方法並びにその装置、コンピュータ機器、記憶媒体、及びコンピュータプログラム | |
CN111530088B (zh) | 一种生成游戏角色的实时表情图片的方法和装置 | |
TW202008143A (zh) | 人機互動方法和裝置 | |
US11513658B1 (en) | Custom query of a media universe database | |
CN108846886A (zh) | 一种ar表情的生成方法、客户端、终端和存储介质 | |
US20180143741A1 (en) | Intelligent graphical feature generation for user content | |
CN112528936B (zh) | 视频序列编排方法、装置、电子设备及存储介质 | |
CN112261481A (zh) | 互动视频的创建方法、装置、设备及可读存储介质 | |
US20140282000A1 (en) | Animated character conversation generator | |
CN116017082A (zh) | 一种信息处理方法和电子设备 | |
US20240004529A1 (en) | Metaverse event sequencing | |
WO2018049682A1 (zh) | 一种虚拟3d场景制作方法及相关设备 | |
US20200001178A1 (en) | Server device, and storage medium used in same | |
US11736780B2 (en) | Graphically animated audience | |
WO2023195918A2 (en) | Content creation based on text-to-image generation | |
US11107129B1 (en) | Dynamic media content for in-store screen experiences | |
JP5289527B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP2017167619A (ja) | 三次元コンテンツの生成方法、プログラム、及びクライアント装置 | |
TWI259388B (en) | Method and system for making real-time interactive video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |