CN116170652A - 体积视频的处理方法、装置、计算机设备及存储介质 - Google Patents

体积视频的处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116170652A
CN116170652A CN202211687191.4A CN202211687191A CN116170652A CN 116170652 A CN116170652 A CN 116170652A CN 202211687191 A CN202211687191 A CN 202211687191A CN 116170652 A CN116170652 A CN 116170652A
Authority
CN
China
Prior art keywords
model
target
video
clothing
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211687191.4A
Other languages
English (en)
Inventor
邵志兢
孙伟
张煜
吕云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Prometheus Vision Technology Co ltd
Original Assignee
Zhuhai Prometheus Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Prometheus Vision Technology Co ltd filed Critical Zhuhai Prometheus Vision Technology Co ltd
Priority to CN202211687191.4A priority Critical patent/CN116170652A/zh
Publication of CN116170652A publication Critical patent/CN116170652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种体积视频的处理方法、装置、计算机设备及存储介质,包括:通过在图形用户界面触发的视频显示指令显示目标体积视频的画面;响应于服饰调整指令,基于第一显示效果的指定模型服饰对目标三维模型进行调整,生成调整后体积视频;当接收到针对调整后体积视频的模型尺寸调整指令时,确定针对调整后体积视频中目标三维模型的模型本体调整参数、以及针对目标三维模型的指定模型服饰的第二显示效果的显示调整参数;基于模型本体调整参数以及显示调整参数得到处理后体积视频。本申请实施例可根据用户需求个性化定制体积视频的表现形式,能够提高体积视频的互动性以及应用效率,同时还可以增强体积视频的实用性和趣味性。

Description

体积视频的处理方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机技术领域,具体涉及一种体积视频的处理方法、装置、计算机设备及存储介质。
背景技术
随着计算机通信技术的不断发展,智能手机、电脑、平板电脑及笔记本电脑等终端的大量普及应用,终端向着多样化、个性化的方向发展,日益成为人们在生活与工作中不可或缺的终端。为了满足人们对精神生活的追求,在终端上各种各样的视频模式应运而生,例如体积视频,其中,体积视频是一种可以捕获三维空间中信息并生成三维模型序列的技术,例如深度信息和色彩信息等,捕获的多个三维模型序列连起来就形成了可以在任意视角观看的全新视频格式。
目前,体积视频常常应用于通过合拍应用程序与用户进行合拍,体积视频的应用场景有限,导致体积视频的应用效率低,体积视频的应用方式趣味性较低。
发明内容
本申请实施例提供一种体积视频的处理方法、装置、计算机设备及存储介质,通过获取到的模型尺寸调整指令,可以对体积视频中的目标三维模型进行个性化调整,从而实现根据用户需求个性化定制体积视频的表现形式,能够提高体积视频的互动性,提高体积视频的应用效率,增强体积视频的实用性和趣味性。
本申请实施例提供了一种体积视频的处理方法,包括:
通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面;
响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面;
当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
在所述图形用户界面上播放所述处理后体积视频的画面。
相应的,本申请实施例还提供了一种体积视频的处理装置,该体积视频的处理装置包括:
第一显示单元,用于通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面;
第一响应单元,用于响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面;
第一接收单元,用于当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
第一调整单元,用于基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
播放单元,用于在所述图形用户界面上播放所述处理后体积视频的画面。
在一些实施例中,该体积视频的处理装置包括:
第一获取子单元,用于响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰;
第一确定子单元,用于确定所述目标三维模型上是否存在初始模型服饰;
第一生成子单元,用于若是,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频;
第一生成子单元,还用于若否,则将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第二确定子单元,用于基于所述初始模型服饰的服饰类别与所述第一显示效果的指定模型服饰的服饰类别,确定所述初始模型服饰和所述指定模型服饰是否为叠穿关系;
第二生成子单元,用于若是,则在所述目标三维模型的初始模型服饰上,叠加在所述指定模型服饰上,生成调整后体积视频;
第二生成子单元,还用于若否,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第三确定子单元,用于基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰调整参数;
第三生成子单元,用于根据所述服饰调整参数对所述初始模型服饰的服饰参数进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第四确定子单元,用于基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰尺寸调整参数,其中,所述服饰尺寸调整参数用于对所述初始模型服饰的服饰尺寸进行调整;
在一些实施例中,该体积视频的处理装置包括:
第四生成子单元,用于根据所述服饰尺寸调整参数对所述初始模型服饰的服饰尺寸进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第五确定子单元,用于基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰颜色调整参数,其中,所述服饰颜色调整参数用于对所述初始模型服饰的服饰颜色进行调整;
在一些实施例中,该体积视频的处理装置包括:
第五生成子单元,用于根据所述服饰颜色调整参数对所述初始模型服饰的服饰颜色进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第二获取子单元,用于响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰;
第六确定子单元,用于基于所述第一显示效果的指定模型服饰确定所述指定模型服饰在所述目标三维模型上的目标设置位置;
第六确定子单元,还用于确定所述目标三维模型上的目标设置位置上是否存在初始模型服饰;
第六生成子单元,用于若是,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频;
第六生成子单元,还用于若否,则将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
接收子单元,用于当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型尺寸调整参数,作为模型本体调整参数;
第七确定子单元,用于基于所述模型尺寸调整参数确定所述指定模型服饰对应的目标服饰尺寸调整参数,其中,所述目标服饰尺寸调整参数为实现所述指定模型服饰的第二显示效果的显示调整参数。
在一些实施例中,该体积视频的处理装置包括:
处理子单元,用于基于所述模型尺寸调整参数对所述调整后体积视频中的目标三维模型的模型尺寸进行调整处理,得到处理后三维模型;
处理子单元,还用于基于所述目标服饰尺寸调整参数对所述第一显示效果的指定模型服饰进行调整处理,得到第二显示效果的指定模型服饰;
第七生成子单元,用于基于所述处理后三维模型和所述第二显示效果的指定模型服饰得到处理后体积视频。
相应的,本申请实施例还提供了一种体积视频的处理装置,应用于直播客户端,该体积视频的处理装置包括:
第二显示单元,用于通过在所述直播客户端的图形用户界面触发的视频显示指令,在所述图形用户界面上显示包含目标三维模型对应的目标体积视频的直播画面,其中,所述直播画面还包括主播画面;
第二响应单元,用于响应于主播在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放包含所述调整后体积视频的直播画面;
第二接收单元,用于当接收到目标观众客户端发送的针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
第二调整单元,用于基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
处理单元,用于在所述图形用户界面上播放包含所述处理后体积视频的直播画面,并向所述目标观众客户端以及除所述目标观众客户端的其他观众客户端发送所述包含所述处理后体积视频的直播画面,以在所述目标观众客户端以及所述其他观众客户端的终端设备的图形用户界面上播放包含所述处理后体积视频的直播画面。
在一些实施例中,该体积视频的处理装置包括:
第三获取子单元,用于响应于针对所述主播的动作跟随指令,实时获取所述主播的当前姿态信息;
第八生成子单元,用于基于所述当前姿态信息对所述处理后体积视频中目标三维模型的姿态信息进行调整,生成目标体积视频,并在所述图形用户界面上播放包含所述目标体积视频的直播画面,其中,所述目标体积视频中目标三维模型的姿态与所述主播的姿态一致。
相应的,本申请实施例还提供了一种计算机设备,包括存储器,处理器及存储在储存器上并可在处理器上运行的计算机程序,其中,处理器执行本申请实施例任一提供的体积视频的处理方法。
相应的,本申请实施例还提供了一种计算机可读存储介质,存储介质存储有多条指令,指令适于处理器进行加载,以执行如上的体积视频的处理方法。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在存储介质中。终端的处理器从存储介质读取该计算机指令,处理器执行该计算机指令,使得该终端执行上述方面的各种可选实现方式中提供的体积视频的处理方法。
本申请实施例通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面;然后,响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面;接着,当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;之后,基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;最后,在所述图形用户界面上播放所述处理后体积视频的画面。本申请实施例通过获取到的模型尺寸调整指令,可以对体积视频中的目标三维模型进行个性化调整,从而实现根据用户需求个性化定制体积视频的表现形式,能够提高体积视频的互动性,提高体积视频的应用效率,增强体积视频的实用性和趣味性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的体积视频的处理系统的场景示意图。
图2为本申请实施例提供的体积视频的处理方法的一种流程示意图。
图3为本申请实施例提供的体积视频的处理方法的一种场景示意图。
图4为本申请实施例提供的体积视频的处理方法的另一种场景示意图。
图5为本申请实施例提供的体积视频的处理方法的另一种场景示意图。
图6为本申请实施例提供的体积视频的处理方法的另一种场景示意图。
图7为本申请实施例提供的体积视频的处理方法的另一种场景示意图。
图8为本申请实施例提供的体积视频的处理方法的另一种场景示意图。
图9为本申请实施例提供的体积视频的处理方法的另一种场景示意图。
图10为本申请实施例提供的体积视频的处理方法的另一种流程示意图。
图11为本申请实施例提供的体积视频的处理装置的一种结构框图。
图12为本申请实施例提供的体积视频的处理装置的另一种结构框图。
图13为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
体积视频(Volumetric Video,又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。相对于传统的视频,体积视频将空间的概念加入到视频中,用三维模型来更好的还原真实三维世界,而不是以二维的平面视频加上运镜来模拟真实三维世界的空间感。由于体积视频实质为三维模型序列,使得用户可以随自己喜好调整到任意视角进行观看,较二维平面视频具有更高的还原度和沉浸感。
可选地,在本申请中,用于构成体积视频的三维模型可以按照如下方式重建得到:
先获取拍摄对象的不同视角的彩色图像和深度图像,以及彩色图像对应的相机参数;然后根据获取到的彩色图像及其对应的深度图像和相机参数,训练隐式表达拍摄对象三维模型的神经网络模型,并基于训练的神经网络模型进行等值面提取,实现对拍摄对象的三维重建,得到拍摄对象的三维模型。
应当说明的是,本申请实施例中对采用何种架构的神经网络模型不作具体限制,可由本领域技术人员根据实际需要选取。比如,可以选取不带归一化层的多层感知机(Multilayer Perceptron,MLP)作为模型训练的基础模型。
下面将对本申请提供的三维模型重建方法进行详细描述。
首先,可以同步采用多个彩色相机和深度相机对需要进行三维重建的目标物体(该目标物体即为拍摄对象)进行多视角的拍摄,得到目标物体在多个不同视角的彩色图像及对应的深度图像,即在同一拍摄时刻(实际拍摄时刻的差值小于或等于时间阈值即认为拍摄时刻相同),各视角的彩色相机将拍摄得到目标物体在对应视角的彩色图像,相应的,各视角的深度相机将拍摄得到目标物体在对应视角的深度图像。需要说明的是,目标物体可以是任意物体,包括但不限于人物、动物以及植物等生命物体,或者机械、家具、玩偶等非生命物体。
以此,目标物体在不同视角的彩色图像均具备对应的深度图像,即在拍摄时,彩色相机和深度相机可以采用相机组的配置,同一视角的彩色相机配合深度相机同步对同一目标物体进行拍摄。比如,可以搭建一摄影棚,该摄影棚中心区域为拍摄区域,环绕该拍摄区域,在水平方向和垂直方向每间隔一定角度配对设置有多组彩色相机和深度相机。当目标物体处于这些彩色相机和深度相机所环绕的拍摄区域时,即可通过这些彩色相机和深度相机拍摄得到该目标物体在不同视角的彩色图像及对应的深度图像。
此外,进一步获取每一彩色图像对应的彩色相机的相机参数。其中,相机参数包括彩色相机的内外参,可以通过标定确定,相机内参为与彩色相机自身特性相关的参数,包括但不限于彩色相机的焦距、像素等数据,相机外参为彩色相机在世界坐标系中的参数,包括但不限于彩色相机的位置(坐标)和相机的旋转方向等数据。
如上,在获取到目标物体在同一拍摄时刻的多个不同视角的彩色图像及其对应的深度图像之后,即可根据这些彩色图像及其对应深度图像对目标物体进行三维重建。区别于相关技术中将深度信息转换为点云进行三维重建的方式,本申请训练一神经网络模型用以实现对目标物体的三维模型的隐式表达,从而基于该神经网络模型实现对目标物体的三维重建。
可选地,本申请选用一不包括归一化层的多层感知机(Multilayer Perceptron,MLP)作为基础模型,按照如下方式进行训练:
基于对应的相机参数将每一彩色图像中的像素点转化为射线;
在射线上采样多个采样点,并确定每一采样点的第一坐标信息以及每一采样点距离像素点的SDF值;
将采样点的第一坐标信息输入基础模型,得到基础模型输出的每一采样点的预测SDF值以及预测RGB颜色值;
基于预测SDF值与SDF值之间的第一差异,以及预测RGB颜色值与像素点的RGB颜色值之间的第二差异,对基础模型的参数进行调整,直至满足预设停止条件;
将满足预设停止条件的基础模型作为隐式表达目标物体的三维模型的神经网络模型。
首先,基于彩色图像对应的相机参数将彩色图像中的一像素点转化为一条射线,该射线可以为经过像素点且垂直于彩色图像面的射线;然后,在该射线上采样多个采样点,采样点的采样过程可以分两步执行,可以先均匀采样部分采样点,然后再在基于像素点的深度值在关键处进一步采样多个采样点,以保证在模型表面附近可以采样到尽量多的采样点;然后,根据相机参数和像素点的深度值计算出采样得到的每一采样点在世界坐标系中的第一坐标信息以及每一采样点的有向距离(Signed Distance Field,SDF)值,其中,SDF值可以为像素点的深度值与采样点距离相机成像面的距离之间的差值,该差值为有符号的值,当差值为正值时,表示采样点在三维模型的外部,当差值为负值时,表示采样点在三维模型的内部,当差值为零时,表示采样点在三维模型的表面;然后,在完成采样点的采样并计算得到每一采样点对应的SDF值之后,进一步将采样点在世界坐标系的第一坐标信息输入基础模型(该基础模型被配置为将输入的坐标信息映射为SDF值和RGB颜色值后输出),将基础模型输出的SDF值记为预测SDF值,将基础模型输出的RGB颜色值记为预测RGB颜色值;然后,基于预测SDF值与采样点对应的SDF值之间的第一差异,以及预测RGB颜色值与采样点所对应像素点的RGB颜色值之间的第二差异,对基础模型的参数进行调整。
此外,对于彩色图像中的其它像素点,同样按照上述方式进行采样点采样,然后将采样点在世界坐标系的坐标信息输入至基础模型以得到对应的预测SDF值和预测RGB颜色值,用于对基础模型的参数进行调整,直至满足预设停止条件,比如,可以配置预设停止条件为对基础模型的迭代次数达到预设次数,或者配置预设停止条件为基础模型收敛。在对基础模型的迭代满足预设停止条件时,即得到能够对拍摄对象的三维模型进行准确地隐式表达的神经网络模型。最后,可以采用等值面提取算法对该神经网络模型进行三维模型表面的提取,从而得到拍摄对象的三维模型。
可选地,在一些实施例中,根据相机参数确定彩色图像的成像面;确定经过彩色图像中像素点且垂直于成像面的射线为像素点对应的射线。
其中,可以根据彩色图像对应的彩色相机的相机参数,确定该彩色图像在世界坐标系中的坐标信息,即确定成像面。然后,可以确定经过彩色图像中像素点且垂直于该成像面的射线为该像素点对应的射线。
可选地,在一些实施例中,根据相机参数确定彩色相机在世界坐标系中的第二坐标信息及旋转角度;根据第二坐标信息和旋转角度确定彩色图像的成像面。
可选地,在一些实施例中,在射线上等间距采样第一数量个第一采样点;根据像素点的深度值确定多个关键采样点,并根据关键采样点采样第二数量个第二采样点;将第一数量个的第一采样点与第二数量个的第二采样点确定为在射线上采样得到的多个采样点。
其中,先在射线上均匀采样n(即第一数量)个第一采样点,n为大于2的正整数;然后,再根据前述像素点的深度值,从n个第一采样点中确定出距离前述像素点最近的预设数量个关键采样点,或者从n个第一采样点中确定出距离前述像素点小于距离阈值的关键采样点;然后,根据确定出的关键采样点再采样m个第二采样点,m为大于1的正整数;最后,将采样得到的n+m个采样点确定为在射线上采样得到的多个采样点。其中,在关键采样点处再多采样m个采样点,可以使得模型的训练效果在三维模型表面处更为精确,从而提升三维模型的重建精度。
可选地,在一些实施例中,根据彩色图像对应的深度图像确定像素点对应的深度值;基于深度值计算每一采样点距离像素点的SDF值;根据相机参数与深度值计算每一采样点的坐标信息。
其中,在每一像素点对应的射线上采样了多个采样点后,对于每一采样点,根据相机参数、像素点的深度值确定彩色相机的拍摄位置与目标物体上对应点之间的距离,然后基于该距离逐一计算每一采样点的SDF值以及计算出每一采样点的坐标信息。
需要说明的是,在完成对基础模型的训练之后,对于给定的任意一个点的坐标信息,即可由完成训练的基础模型预测其对应的SDF值,该预测的SDF值即表示了该点与目标物体的三维模型的位置关系(内部、外部或者表面),实现对目标物体的三维模型的隐式表达,得到用于隐式表达目标物体的三维模型的神经网络模型。
最后,对以上神经网络模型进行等值面提取,比如可以采用等值面提取算法(Marching cubes,MC)绘制出三维模型的表面,得到三维模型表面,进而根据该三维模型表面得到目标物体的三维模型。
本申请提供的三维重建方案,通过神经网络去隐式建模目标物体的三维模型,并加入深度信息提高模型训练的速度和精度。采用本申请提供的三维重建方案,在时序上持续的对拍摄对象进行三维重建,即可得到拍摄对象在不同时刻的三维模型,这些不同时刻的三维模型按时序构成的三维模型序列即为对拍摄对象所拍摄得到的体积视频。以此,可以针对任意拍摄对象进行“体积视频拍摄”,得到特定内容呈现的体积视频。比如,可以对跳舞的拍摄对象进行体积视频拍摄,得到可以在任意角度观看拍摄对象舞蹈的体积视频,可以对教学的拍摄对象进行体积视频拍摄,得到可以在任意角度观看拍摄对象教学的体积视频,等等。
需要说明的是,本申请以下实施例涉及的体积视频可采用以上体积视频拍摄方式所拍摄得到。
本申请实施例提供一种体积视频的处理方法、装置、计算机设备及存储介质。具体地,本申请实施例的体积视频的处理方法可以由计算机设备执行,其中,该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PC,Personal Computer)、个人数字助理(Personal Digital Assistant,PDA)等终端设备。终端可以同时包括直播客户端和观众客户端,直播客户端可以是直播应用的主播端,观众客户端可以是直播应用的观众端、携带有直播程序的浏览器客户端或即时通信客户端等。直播客户端和观众客户端可以分别集成在不同终端上,通过有线/无线进行相互连接。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
请参阅图1,图1为本申请实施例提供的体积视频的处理系统的场景示意图。该系统可以包括至少一个计算机设备,至少一个服务器,以及网络。用户持有的计算机设备可以通过网络连接到直播应用程序的服务器。计算机设备是具有计算硬件的任何设备,该计算硬件能够支持和执行与视频直播对应的软件产品。另外,计算机设备具有用于感测和获得用户通过在一个或者多个触控显示屏的多个点执行的触摸或者滑动操作的输入的一个或者多个多触敏屏幕。另外,当系统包括多个电子设备、多个服务器、多个网络时,不同的电子设备可以通过不同的网络、通过不同的服务器相互连接。网络可以是无线网络或者有线网络,比如无线网络为无线局域网(WLAN)、局域网(LAN)、蜂窝网络、3G网络、4G网络、5G网络等。另外,不同的计算机设备之间也可以使用自身的蓝牙网络或者热点网络连接到其他终端或者连接到服务器等。例如,多个用户可以通过不同的计算机设备在线从而通过适当网络连接并且相互同步。
需要说明的是,图1所示的体积视频的处理系统的场景示意图仅仅是一个示例,本申请实施例描述的体积视频的处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着任务处理系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请实施例提供一种体积视频的处理方法、装置、计算机设备及存储介质,在本申请实施例通过获取到的模型尺寸调整指令,可以对体积视频中的目标三维模型进行个性化调整,从而实现根据用户需求个性化定制体积视频的表现形式,能够提高体积视频的互动性,提高体积视频的应用效率,增强体积视频的实用性和趣味性。以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
如图2所示,图2为本申请实施例提供的体积视频的处理方法的一种流程示意图。该体积视频的处理方法的具体流程可以如下:
101、通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面。
请参阅图3,在本申请实施例中,用户可以通过在终端设备的图形用户界面进行触控操作,从而在图形用户界面触发视频显示指令,以在图形用户界面上显示目标三维模型对应的目标体积视频的画面。其中,用户可以在体积视频库中对多个候选体积视频进行体积视频选择操作,从而在多个候选体积视频中选择目标体积视频。
具体的,主播可以通过主播客户端选择目标体积视频,从而在图形用户界面触发的视频显示指令,以在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面。
102、响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面。
在本申请实施例中,该服饰调整指令可以是主播在主播客户端对应的显示屏幕上进行触发操作生成的,也可以是主播客户端接收的直播客户端通过服务器转发的服饰调整指令。
为了对目标体积视频中的目标三维模型进行换装操作,步骤“所述响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频”,方法可以包括:
响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰;
确定所述目标三维模型上是否存在初始模型服饰;
若是,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频;
若否,则将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
例如,请参阅图4,计算机设备可以响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰。然后,计算机设备确定目标三维模型上是否存在初始模型服饰,此时,计算机设备可以确定目标三维模型上存在第一初始模型服饰和第二初始模型服饰,因此计算机设备可以将第一初始模型服饰和第二初始模型服饰从目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,得到调整后三维模型,生成调整后体积视频。
在一具体实施例中,在步骤“确定所述目标三维模型上存在初始模型服饰”之后,方法可以包括:
基于所述初始模型服饰的服饰类别与所述第一显示效果的指定模型服饰的服饰类别,确定所述初始模型服饰和所述指定模型服饰是否为叠穿关系;
若是,则在所述目标三维模型的初始模型服饰上,叠加在所述指定模型服饰上,生成调整后体积视频;
若否,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
例如,请参阅图5,计算机设备可以响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰。然后,计算机设备确定目标三维模型上是否存在初始模型服饰,此时,计算机设备可以确定目标三维模型上存在第一初始模型服饰和第二初始模型服饰。接着,计算机设备可以基于所述初始模型服饰的服饰类别与所述第一显示效果的指定模型服饰的服饰类别,确定所述初始模型服饰和所述指定模型服饰是否为叠穿关系,此时,计算机设备可以确定第一初始模型服饰和指定模型服饰为叠穿关系,则在所述目标三维模型的初始模型服饰上,叠加在所述指定模型服饰上,并保留第二初始模型服饰在目标三维模型上的显示,得到调整后三维模型,生成调整后体积视频。
为了按照用户实际需求对目标体积视频进行个性化调整,在步骤“确定所述目标三维模型上存在初始模型服饰”之后,方法可以包括:
基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰调整参数;
根据所述服饰调整参数对所述初始模型服饰的服饰参数进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
在一具体实施例中,步骤“所述基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰调整参数”,方法可以包括:
基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰尺寸调整参数,其中,所述服饰尺寸调整参数用于对所述初始模型服饰的服饰尺寸进行调整;
所述根据所述服饰调整参数对所述初始模型服饰的服饰参数进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频,包括:
根据所述服饰尺寸调整参数对所述初始模型服饰的服饰尺寸进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
例如,请参阅图6,计算机设备可以响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰。然后,计算机设备确定目标三维模型上是否存在初始模型服饰,此时,计算机设备可以确定目标三维模型上存在第一初始模型服饰和第二初始模型服饰。接着,计算机设备可以基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰尺寸调整参数;根据所述服饰尺寸调整参数对第一初始模型服饰和第二初始模型服饰的服饰尺寸进行调整,得到具有第一调整后模型服饰和第二调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
在另一具体实施例中,步骤“所述基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰调整参数”,方法可以包括:
基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰颜色调整参数,其中,所述服饰颜色调整参数用于对所述初始模型服饰的服饰颜色进行调整;
所述根据所述服饰调整参数对所述初始模型服饰的服饰参数进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频,包括:
根据所述服饰颜色调整参数对所述初始模型服饰的服饰颜色进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
例如,请参阅图7,计算机设备可以响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰。然后,计算机设备确定目标三维模型上是否存在初始模型服饰,此时,计算机设备可以确定目标三维模型上存在初始模型服饰。接着,计算机设备可以基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰颜色调整参数;根据所述服饰颜色调整参数对第一初始模型服饰和第二初始模型服饰的服饰颜色进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
为了实现根据服饰类型对三维模型进行调整,步骤“所述响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频”,方法可以包括:
响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰;
基于所述第一显示效果的指定模型服饰确定所述指定模型服饰在所述目标三维模型上的目标设置位置;
确定所述目标三维模型上的目标设置位置上是否存在初始模型服饰;
若是,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频;
若否,则将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
例如,请参阅图8,计算机设备可以响应于用户在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰,即帽子模型服饰。然后,计算机设备基于所述第一显示效果的指定模型服饰确定所述指定模型服饰在所述目标三维模型上的目标设置位置,该目标设置位置为目标三维模型的头顶位置。接着,计算机设备可以确定所述目标三维模型上的目标设置位置上是否存在初始模型服饰,此时,目标三维模型上的目标设置位置上不存在初始模型服饰,将帽子模型服饰添加在所述目标三维模型上,得到调整后三维模型,生成调整后体积视频。
103、当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数。
在本申请实施例中,该模型尺寸调整指令可以是主播在主播客户端对应的显示屏幕上进行触发操作生成的,也可以是主播客户端接收的观众对应的直播客户端通过服务器转发的模型尺寸调整指令。
为了能够个性化对目标三维模型以及对应的指定模型服饰进行尺寸调整,步骤“所述当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数”,方法可以包括:
当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型尺寸调整参数,作为模型本体调整参数;
基于所述模型尺寸调整参数确定所述指定模型服饰对应的目标服饰尺寸调整参数,其中,所述目标服饰尺寸调整参数为实现所述指定模型服饰的第二显示效果的显示调整参数。
具体的,模型尺寸调整参数可以包括针对目标三维模型的身高、体重以及三围信息进行调整的模型尺寸调整参数等参数。
104、基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频。
在本申请实施例中,步骤“所述基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频”,方法可以包括:
基于所述模型尺寸调整参数对所述调整后体积视频中的目标三维模型的模型尺寸进行调整处理,得到处理后三维模型;
基于所述目标服饰尺寸调整参数对所述第一显示效果的指定模型服饰进行调整处理,得到第二显示效果的指定模型服饰;
基于所述处理后三维模型和所述第二显示效果的指定模型服饰得到处理后体积视频。
例如,请参阅图9,计算机设备可以基于所述模型尺寸调整参数对所述调整后体积视频中的目标三维模型的模型尺寸进行调整处理,得到处理后三维模型,同时,计算机设备可以基于目标服饰尺寸调整参数对所述第一显示效果的指定模型服饰进行调整处理,得到第二显示效果的指定模型服饰。最后,计算机设备可以基于所述处理后三维模型和所述第二显示效果的指定模型服饰得到处理后体积视频。
105、在所述图形用户界面上播放所述处理后体积视频的画面。
在本申请实施例中,在得到处理后体积视频后,可以在所述图形用户界面上播放所述处理后体积视频的画面。并且,在得到处理后体积视频后,主播对应的直播客户端可以将该处理后体积视频通过发送至服务器,通过服务器分发至当前正在观看主播的直播间视频的其他观众的观众客户端,从而在观众的终端设备的图形用户界面上播放该处理后体积视频的画面。
如图10所示,图10为本申请实施例提供的体积视频的处理方法的另一种流程示意图。该体积视频的处理方法的具体流程可以如下:
201、通过在所述直播客户端的图形用户界面触发的视频显示指令,在所述图形用户界面上显示包含目标三维模型对应的目标体积视频的直播画面,其中,所述直播画面还包括主播画面。
202、响应于主播在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放包含所述调整后体积视频的直播画面。
203、当接收到目标观众客户端发送的针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数。
204、基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频。
为了对服饰进行全面展示,在步骤“基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频”之后,方法可以包括:
响应于针对所述主播的动作跟随指令,实时获取所述主播的当前姿态信息;
基于所述当前姿态信息对所述处理后体积视频中目标三维模型的姿态信息进行调整,生成目标体积视频,并在所述图形用户界面上播放包含所述目标体积视频的直播画面,其中,所述目标体积视频中目标三维模型的姿态与所述主播的姿态一致。
205、在所述图形用户界面上播放包含所述处理后体积视频的直播画面,并向所述目标观众客户端以及除所述目标观众客户端的其他观众客户端发送所述包含所述处理后体积视频的直播画面,以在所述目标观众客户端以及所述其他观众客户端的终端设备的图形用户界面上播放包含所述处理后体积视频的直播画面。
综上所述,本申请实施例公开了一种体积视频的处理方法,本申请实施例通过获取到的模型尺寸调整指令,可以对体积视频中的目标三维模型进行个性化调整,从而实现根据用户需求个性化定制体积视频的表现形式,能够提高体积视频的互动性,提高体积视频的应用效率,增强体积视频的实用性和趣味性。
为便于更好的实施本申请实施例提供的体积视频的处理方法,本申请实施例还提供一种基于上述体积视频的处理方法的体积视频的处理装置。其中名词的含义与上述体积视频的处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图11,图11为本申请实施例提供的体积视频的处理装置的一种结构框图,该装置包括:
第一显示单元301,用于通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面;
第一响应单元302,用于响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面;
第一接收单元303,用于当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
第一调整单元304,用于基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
播放单元305,用于在所述图形用户界面上播放所述处理后体积视频的画面。
在一些实施例中,该体积视频的处理装置包括:
第一获取子单元,用于响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰;
第一确定子单元,用于确定所述目标三维模型上是否存在初始模型服饰;
第一生成子单元,用于若是,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频;
第一生成子单元,还用于若否,则将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第二确定子单元,用于基于所述初始模型服饰的服饰类别与所述第一显示效果的指定模型服饰的服饰类别,确定所述初始模型服饰和所述指定模型服饰是否为叠穿关系;
第二生成子单元,用于若是,则在所述目标三维模型的初始模型服饰上,叠加在所述指定模型服饰上,生成调整后体积视频;
第二生成子单元,还用于若否,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第三确定子单元,用于基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰调整参数;
第三生成子单元,用于根据所述服饰调整参数对所述初始模型服饰的服饰参数进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第四确定子单元,用于基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰尺寸调整参数,其中,所述服饰尺寸调整参数用于对所述初始模型服饰的服饰尺寸进行调整;
在一些实施例中,该体积视频的处理装置包括:
第四生成子单元,用于根据所述服饰尺寸调整参数对所述初始模型服饰的服饰尺寸进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第五确定子单元,用于基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰颜色调整参数,其中,所述服饰颜色调整参数用于对所述初始模型服饰的服饰颜色进行调整;
在一些实施例中,该体积视频的处理装置包括:
第五生成子单元,用于根据所述服饰颜色调整参数对所述初始模型服饰的服饰颜色进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
第二获取子单元,用于响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰;
第六确定子单元,用于基于所述第一显示效果的指定模型服饰确定所述指定模型服饰在所述目标三维模型上的目标设置位置;
第六确定子单元,还用于确定所述目标三维模型上的目标设置位置上是否存在初始模型服饰;
第六生成子单元,用于若是,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频;
第六生成子单元,还用于若否,则将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
在一些实施例中,该体积视频的处理装置包括:
接收子单元,用于当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型尺寸调整参数,作为模型本体调整参数;
第七确定子单元,用于基于所述模型尺寸调整参数确定所述指定模型服饰对应的目标服饰尺寸调整参数,其中,所述目标服饰尺寸调整参数为实现所述指定模型服饰的第二显示效果的显示调整参数。
在一些实施例中,该体积视频的处理装置包括:
处理子单元,用于基于所述模型尺寸调整参数对所述调整后体积视频中的目标三维模型的模型尺寸进行调整处理,得到处理后三维模型;
处理子单元,还用于基于所述目标服饰尺寸调整参数对所述第一显示效果的指定模型服饰进行调整处理,得到第二显示效果的指定模型服饰;
第七生成子单元,用于基于所述处理后三维模型和所述第二显示效果的指定模型服饰得到处理后体积视频。
请参阅图12,图12为本申请实施例提供的体积视频的处理装置的另一种结构框图,该装置包括:
第二显示单元401,用于通过在所述直播客户端的图形用户界面触发的视频显示指令,在所述图形用户界面上显示包含目标三维模型对应的目标体积视频的直播画面,其中,所述直播画面还包括主播画面;
第二响应单元402,用于响应于主播在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放包含所述调整后体积视频的直播画面;
第二接收单元403,用于当接收到目标观众客户端发送的针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
第二调整单元404,用于基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
处理单元405,用于在所述图形用户界面上播放包含所述处理后体积视频的直播画面,并向所述目标观众客户端以及除所述目标观众客户端的其他观众客户端发送所述包含所述处理后体积视频的直播画面,以在所述目标观众客户端以及所述其他观众客户端的终端设备的图形用户界面上播放包含所述处理后体积视频的直播画面。
在一些实施例中,该体积视频的处理装置包括:
第三获取子单元,用于响应于针对所述主播的动作跟随指令,实时获取所述主播的当前姿态信息;
第八生成子单元,用于基于所述当前姿态信息对所述处理后体积视频中目标三维模型的姿态信息进行调整,生成目标体积视频,并在所述图形用户界面上播放包含所述目标体积视频的直播画面,其中,所述目标体积视频中目标三维模型的姿态与所述主播的姿态一致。
本申请实施例公开了一种体积视频的处理装置,通过第一显示单元301通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面;第一响应单元302响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面;第一接收单元303当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;第一调整单元304基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;播放单元305在所述图形用户界面上播放所述处理后体积视频的画面。以此,通过获取到的模型尺寸调整指令,可以对体积视频中的目标三维模型进行个性化调整,从而实现根据用户需求个性化定制体积视频的表现形式,能够提高体积视频的互动性,提高体积视频的应用效率,增强体积视频的实用性和趣味性。
此外,本发明实施例还提供一种计算机设备,该计算机设备可以为终端或者服务器,如图13所示,其示出了本发明实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解,图13中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器501可包括一个或多个处理核心;优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
计算机设备还包括给各个部件供电的电源503,优选的,电源503可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元504,该输入单元504可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能,如下:
通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面;
响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面;
当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
在所述图形用户界面上播放所述处理后体积视频的画面。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例的服务器可以实现任务处理的步骤,提高模型训练的训练效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种体积视频的处理方法中的步骤。例如,该指令可以执行如下步骤:
通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面;
响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面;
当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
在所述图形用户界面上播放所述处理后体积视频的画面。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种体积视频的处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种体积视频的处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该终端执行上述方面的各种可选实现方式中提供的体积视频的处理方法。
以上对本申请实施例所提供的体积视频的处理方法、装置、计算机设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限定。

Claims (15)

1.一种体积视频的处理方法,其特征在于,包括:
通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面;
响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面;
当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
在所述图形用户界面上播放所述处理后体积视频的画面。
2.根据权利要求1所述的体积视频的处理方法,其特征在于,所述响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,包括:
响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰;
确定所述目标三维模型上是否存在初始模型服饰;
若是,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频;
若否,则将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
3.根据权利要求2所述的体积视频的处理方法,其特征在于,在确定所述目标三维模型上存在初始模型服饰之后,还包括:
基于所述初始模型服饰的服饰类别与所述第一显示效果的指定模型服饰的服饰类别,确定所述初始模型服饰和所述指定模型服饰是否为叠穿关系;
若是,则在所述目标三维模型的初始模型服饰上,叠加在所述指定模型服饰上,生成调整后体积视频;
若否,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
4.根据权利要求2所述的体积视频的处理方法,其特征在于,在确定所述目标三维模型上存在初始模型服饰之后,还包括:
基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰调整参数;
根据所述服饰调整参数对所述初始模型服饰的服饰参数进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
5.根据权利要求4所述的体积视频的处理方法,其特征在于,所述基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰调整参数,包括:
基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰尺寸调整参数,其中,所述服饰尺寸调整参数用于对所述初始模型服饰的服饰尺寸进行调整;
所述根据所述服饰调整参数对所述初始模型服饰的服饰参数进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频,包括:
根据所述服饰尺寸调整参数对所述初始模型服饰的服饰尺寸进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
6.根据权利要求4所述的体积视频的处理方法,其特征在于,所述基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰调整参数,包括:
基于所述第一显示效果的指定模型服饰以及所述初始模型服饰确定服饰颜色调整参数,其中,所述服饰颜色调整参数用于对所述初始模型服饰的服饰颜色进行调整;
所述根据所述服饰调整参数对所述初始模型服饰的服饰参数进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频,包括:
根据所述服饰颜色调整参数对所述初始模型服饰的服饰颜色进行调整,得到具有调整后模型服饰的调整后目标三维模型,生成调整后体积视频。
7.根据权利要求1所述的体积视频的处理方法,其特征在于,所述响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,包括:
响应于在所述图形用户界面触发的服饰调整指令,获取第一显示效果的指定模型服饰;
基于所述第一显示效果的指定模型服饰确定所述指定模型服饰在所述目标三维模型上的目标设置位置;
确定所述目标三维模型上的目标设置位置上是否存在初始模型服饰;
若是,则将所述初始模型服饰从所述目标三维模型上剔除,并将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频;
若否,则将所述第一显示效果的指定模型服饰的添加中所述目标三维模型上,生成调整后体积视频。
8.根据权利要求1所述的体积视频的处理方法,其特征在于,所述当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数,包括:
当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型尺寸调整参数,作为模型本体调整参数;
基于所述模型尺寸调整参数确定所述指定模型服饰对应的目标服饰尺寸调整参数,其中,所述目标服饰尺寸调整参数为实现所述指定模型服饰的第二显示效果的显示调整参数。
9.根据权利要求8所述的体积视频的处理方法,其特征在于,所述基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频,包括:
基于所述模型尺寸调整参数对所述调整后体积视频中的目标三维模型的模型尺寸进行调整处理,得到处理后三维模型;
基于所述目标服饰尺寸调整参数对所述第一显示效果的指定模型服饰进行调整处理,得到第二显示效果的指定模型服饰;
基于所述处理后三维模型和所述第二显示效果的指定模型服饰得到处理后体积视频。
10.一种体积视频的处理方法,其特征在于,应用于直播客户端,包括:
通过在所述直播客户端的图形用户界面触发的视频显示指令,在所述图形用户界面上显示包含目标三维模型对应的目标体积视频的直播画面,其中,所述直播画面还包括主播画面;
响应于主播在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放包含所述调整后体积视频的直播画面;
当接收到目标观众客户端发送的针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
在所述图形用户界面上播放包含所述处理后体积视频的直播画面,并向所述目标观众客户端以及除所述目标观众客户端的其他观众客户端发送所述包含所述处理后体积视频的直播画面,以在所述目标观众客户端以及所述其他观众客户端的终端设备的图形用户界面上播放包含所述处理后体积视频的直播画面。
11.根据权利要求10所述的体积视频的处理方法,其特征在于,在基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频之后,还包括:
响应于针对所述主播的动作跟随指令,实时获取所述主播的当前姿态信息;
基于所述当前姿态信息对所述处理后体积视频中目标三维模型的姿态信息进行调整,生成目标体积视频,并在所述图形用户界面上播放包含所述目标体积视频的直播画面,其中,所述目标体积视频中目标三维模型的姿态与所述主播的姿态一致。
12.一种体积视频的处理装置,其特征在于,包括:
第一显示单元,用于通过在图形用户界面触发的视频显示指令,在所述图形用户界面上显示目标三维模型对应的目标体积视频的画面;
第一响应单元,用于响应于在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放所述调整后体积视频的画面;
第一接收单元,用于当接收到针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
第一调整单元,用于基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
播放单元,用于在所述图形用户界面上播放所述处理后体积视频的画面。
13.一种体积视频的处理装置,其特征在于,应用于直播客户端,包括:
第二显示单元,用于通过在所述直播客户端的图形用户界面触发的视频显示指令,在所述图形用户界面上显示包含目标三维模型对应的目标体积视频的直播画面,其中,所述直播画面还包括主播画面;
第二响应单元,用于响应于主播在所述图形用户界面触发的服饰调整指令,基于第一显示效果的指定模型服饰对所述目标三维模型进行调整,生成调整后体积视频,并在所述图形用户界面上播放包含所述调整后体积视频的直播画面;
第二接收单元,用于当接收到目标观众客户端发送的针对所述调整后体积视频的模型尺寸调整指令时,确定针对所述调整后体积视频中目标三维模型的模型本体调整参数、以及针对所述目标三维模型的指定模型服饰的第二显示效果的显示调整参数;
第二调整单元,用于基于所述模型本体调整参数以及显示调整参数,对所述调整后体积视频中的目标三维模型和指定模型服饰进行调整处理,得到处理后体积视频;
处理单元,用于在所述图形用户界面上播放包含所述处理后体积视频的直播画面,并向所述目标观众客户端以及除所述目标观众客户端的其他观众客户端发送所述包含所述处理后体积视频的直播画面,以在所述目标观众客户端以及所述其他观众客户端的终端设备的图形用户界面上播放包含所述处理后体积视频的直播画面。
14.一种计算机设备,其特征在于,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至11中任一项所述体积视频的处理方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,当计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至11中任一项所述体积视频的处理方法的步骤。
CN202211687191.4A 2022-12-27 2022-12-27 体积视频的处理方法、装置、计算机设备及存储介质 Pending CN116170652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211687191.4A CN116170652A (zh) 2022-12-27 2022-12-27 体积视频的处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211687191.4A CN116170652A (zh) 2022-12-27 2022-12-27 体积视频的处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116170652A true CN116170652A (zh) 2023-05-26

Family

ID=86415640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211687191.4A Pending CN116170652A (zh) 2022-12-27 2022-12-27 体积视频的处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116170652A (zh)

Similar Documents

Publication Publication Date Title
US9947139B2 (en) Method and apparatus for providing hybrid reality environment
US10516870B2 (en) Information processing device, information processing method, and program
US11763481B2 (en) Mirror-based augmented reality experience
US11734894B2 (en) Real-time motion transfer for prosthetic limbs
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
TW202123178A (zh) 一種分鏡效果的實現方法、裝置及相關產品
CN112138386A (zh) 一种体积渲染方法、装置、存储介质及计算机设备
CN113709543A (zh) 基于虚拟现实的视频处理方法、装置、电子设备和介质
CN113538696A (zh) 特效生成方法、装置、存储介质及电子设备
CN111142967B (zh) 一种增强现实显示的方法、装置、电子设备和存储介质
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
US20240163527A1 (en) Video generation method and apparatus, computer device, and storage medium
CN115442658B (zh) 直播方法、装置、存储介质、电子设备及产品
CN113610953A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN115442519B (zh) 视频处理方法、装置及计算机可读存储介质
CN116095353A (zh) 基于体积视频的直播方法、装置、电子设备及存储介质
CN116109974A (zh) 体积视频展示方法以及相关设备
CN116129526A (zh) 合拍控制方法、装置、电子设备及存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN116170652A (zh) 体积视频的处理方法、装置、计算机设备及存储介质
US20240048780A1 (en) Live broadcast method, device, storage medium, electronic equipment and product
CN116188636A (zh) 视频处理方法、装置、设备、存储介质及程序产品
US20240020901A1 (en) Method and application for animating computer generated images
US12002175B2 (en) Real-time motion transfer for prosthetic limbs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination