CN116129002A - 视频处理方法、装置、设备、存储介质及程序产品 - Google Patents

视频处理方法、装置、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN116129002A
CN116129002A CN202310065019.3A CN202310065019A CN116129002A CN 116129002 A CN116129002 A CN 116129002A CN 202310065019 A CN202310065019 A CN 202310065019A CN 116129002 A CN116129002 A CN 116129002A
Authority
CN
China
Prior art keywords
model
target
dimensional model
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310065019.3A
Other languages
English (en)
Inventor
张煜
李壮
邵志兢
孙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Prometheus Vision Technology Co ltd
Original Assignee
Zhuhai Prometheus Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Prometheus Vision Technology Co ltd filed Critical Zhuhai Prometheus Vision Technology Co ltd
Priority to CN202310065019.3A priority Critical patent/CN116129002A/zh
Publication of CN116129002A publication Critical patent/CN116129002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了视频处理方法、装置、设备、存储介质及程序产品；本申请实施例可以从体积视屏的视频帧序列中确定目标关键帧、以及目标关键帧的关联帧，视频帧序列中的视频帧基于三维模型生成，关联帧为视频帧序列中与目标关键帧关联的视频帧；响应于针对目标关键帧对应的三维模型的调节操作，确定目标三维模型的调节参考模型；对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型；基于拟合后模型，对关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。该方案可以基于目标三维模型的模型调节结果，对关联帧对应三维模型进行自适应处理，提高体积视屏的视频处理效率。

Description

视频处理方法、装置、设备、存储介质及程序产品
技术领域
本申请涉及计算机技术领域，具体涉及一种视频处理方法、装置、设备、存储介质及程序产品
背景技术
体积视频是一种可以捕获三维空间中信息，例如深度信息和色彩信息等，并生成三维模型序列的技术。通过将空间的概念加入到视频里面，体积视屏能够更好地还原三维世界。
在对相关技术的研究和实践过程中，本申请的发明人发现，由于体积视屏是由连续的三维模型构成的，使得对体积视屏进行视频处理的难度较大，例如，当要针对体积视屏中的画面进行调节时，需要通过对相关三维模型流中的多个三维视频均进行处理来实现，而这具有相当的难度，即目前针对体积视屏的视屏处理方法还有待改进。
发明内容
本申请实施例提供一种视频处理方法、装置、设备、存储介质及程序产品，可以基于目标三维模型的模型调节结果，对关联帧对应三维模型进行自适应处理，提高体积视屏的视频处理效率。
本申请实施例提供一种视频处理方法，包括：
从体积视屏的视频帧序列中确定目标关键帧、以及所述目标关键帧的关联帧，所述视频帧序列中的视频帧基于三维模型生成，所述关联帧为所述视频帧序列中与所述目标关键帧关联的视频帧；
响应于针对目标三维模型的调节操作，确定所述目标三维模型的调节参考模型，所述目标三维模型为所述目标关键帧对应的三维模型，所述目标三维模型基于至少一个模型顶点确定；
对所述目标三维模型的模型顶点进行位置调节处理，以将所述目标三维模型向所述调节参考模型拟合，得到所述目标三维模型的拟合后模型；
基于所述拟合后模型，对所述关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
相应的，本申请实施例还提供一种视频处理装置，包括：
第一确定单元，用于从体积视屏的视频帧序列中确定目标关键帧、以及所述目标关键帧的关联帧，所述视频帧序列中的视频帧基于三维模型生成，所述关联帧为所述视频帧序列中与所述目标关键帧关联的视频帧；
第二确定单元，用于响应于针对目标三维模型的调节操作，确定所述目标三维模型的调节参考模型，所述目标三维模型为所述目标关键帧对应的三维模型，所述目标三维模型基于至少一个模型顶点确定；
第一调节单元，用于对所述目标三维模型的模型顶点进行位置调节处理，以将所述目标三维模型向所述调节参考模型拟合，得到所述目标三维模型的拟合后模型；
第二调节单元，用于基于所述拟合后模型，对所述关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
在一实施例中，第二确定单元，包括：
第一确定子单元，用于响应于针对目标三维模型的触控操作，从所述目标三维模型的模型顶点中确定待调节顶点；
第二确定子单元，用于响应于针对所述待调节顶点的调节操作，确定所述目标三维模型的调节参考模型。
在一实施例中，第二确定单元，包括：
第三确定子单元，用于响应于针对目标三维模型的区域选择操作，从所述目标三维模型的模型区域中确定待调节区域；
第四确定子单元，用于响应于针对所述待调节区域的调节操作，确定所述目标三维模型的模型参考信息；
第五确定子单元，用于基于所述目标三维模型与所述模型参考信息，确定所述目标三维模型的调节参考模型。
在一实施例中，第一调节单元，包括：
第一调节子单元，用于根据所述调节参考模型中模型顶点的顶点位置信息，对所述目标三维模型的模型顶点进行位置调节处理，以将所述目标三维模型的模型形状向所述调节参考模型的模型形状拟合，得到所述目标三维模型的处理后模型；
第六确定子单元，用于基于所述处理后模型与所述目标三维模型之间的模型顶点对应关系，确定所述处理后模型的模型蒙皮效果，以得到所述目标三维模型的拟合后模型。
在一实施例中，第一调节子单元，用于：
计算所述目标三维模型中模型顶点的位置调节参数；根据所述位置调节参数，计算所述目标三维模型与所述调节参考模型对应模型顶点之间的位置调节损失；基于所述位置调节损失，对所述目标三维模型的模型顶点进行位置调节处理。
在一实施例中，第一调节子单元，具体用于：
根据所述目标三维模型的模型顶点之间的位置关联关系，计算位置调节处理的约束权重；根据所述位置调节参数与所述约束权重，计算所述目标三维模型与所述调节参考模型对应模型顶点之间的位置调节损失。
在一实施例中，第二调节单元，包括：
第二调节子单元，用于根据所述拟合后模型中模型顶点的顶点位置信息，对所述关联帧对应的三维模型中的模型顶点进行位置调节处理，以将所述关联帧对应的三维模型向所述拟合后模型拟合，得到所述关联帧对应的调节后模型；
第七确定子单元，用于基于所述关联帧对应的调节后模型，与所述关联帧对应的三维模型之间的模型顶点对应关系，确定所述关联帧对应的调节后模型的模型蒙皮效果，以得到所述关联帧对应的拟合后模型；
第八确定子单元，用于基于所述关联帧对应的拟合后模型，确定处理后体积视频。
在一实施例中，第一确定单元，包括：
第九确定单元，用于响应于针对体积视屏的视频播放控制操作，从所述体积视屏的视频帧序列中确定候选关键帧；
帧选取单元，用于响应于针对所述候选关键帧的帧选取操作，从所述候选关键帧中选取目标关键帧。
在一实施例中，第一确定单元，包括：
第十确定单元，用于从体积视屏的视频帧序列中确定候选关键帧；
第十一确定单元，用于从所述候选关键帧中确定与所述目标关键帧关联的关联关键帧；
第十二确定单元，用于根据所述视频帧序列中位于所述目标关键帧与所述关联关键帧之间的视频帧，确定所述目标关键帧的关联帧。
相应的，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如本申请实施例所示的视频处理方法的步骤。
相应的，本申请实施例还提供一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现如本申请实施例所示的视频处理方法的步骤。
相应的，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现如本申请实施例所示的视频处理方法的步骤。
该方案能够响应于针对目标三维模型的调节操作，例如响应于用户针对体积视频中目标三维模型对应视频帧画面的画面调节操作，确定该目标三维模型所待拟合的调节参考模型，并通过对目标三维模型的模型顶点进行位置调节，来将目标三维模型向调节参考模型拟合，得到目标关键帧对应的拟合后模型，从而完成对目标关键帧对应目标三维模型的模型调节处理。可见，该方案能够基于用户指示，将目标三维模型向用户所指示的调节参考模型拟合，从而协助用户完成对体积视频中特定画面的画面调节。
进一步地，该方案能够根据目标关键帧的模型调节结果，对体积视频的视频帧序列中与该目标关键帧关联的关联帧，例如该目标关键帧与其相邻关键帧之间的非关键帧，所对应的三维模型进行自适应调节，从而得到各关联帧对应的调节后三维模型。可见，该方案在基于用户指示完成对体积视频中特定画面的画面调节后，可以自动地对体积视频中该特定画面的关联画面进行画面调节，以完成对体积视频的视频处理，得到处理后体积视频。这不仅极大地方便了用户，而且有效地降低了用户对体积视频进行视频处理的难度，并提高了对体积视屏进行视频处理的处理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频处理方法的场景示意图；
图2是本申请实施例提供的视频处理方法的流程图；
图3是本申请实施例提供的视频处理方法的视频播放示意图；
图4是本申请实施例提供的视频处理方法的帧展示示意图；
图5是本申请实施例提供的视频处理方法的交互示意图；
图6是本申请实施例提供的视频处理方法的另一交互示意图；
图7是本申请实施例提供的视频处理方法的三角面示意图；
图8是本申请实施例提供的视频处理方法的模型顶点示意图；
图9是本申请实施例提供的视频处理方法的另一流程示意图；
图10是本申请实施例提供的视频处理装置的结构示意图；
图11是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种视频处理方法、装置、设备、存储介质及程序产品。该视频处理方法可以由计算机设备执行，该计算机设备可以为终端或服务器，即该视频处理方法可以由终端或服务器执行，也可以由终端和服务器共同执行。
具体地，该终端可以是平板电脑、笔记本电脑、台式计算机、智能电视、智能手机、智能音箱、智能手表、VR/AR设备、车载终端、智能家居、可穿戴电子设备等，但并不局限于此。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端与服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一实施例中，参考图1，终端10可以从服务器20获取体积视屏，并从体积视屏的视频帧序列中确定目标关键帧、以及目标关键帧的关联帧，其中，该视频帧序列中的视频帧基于三维模型生成，该关联帧为该视频帧序列中与目标关键帧关联的视频帧。例如，可以通过终端10向用户展示体积视屏，并基于用户与终端10的交互，来从体积视屏的视频帧序列中确定目标关键帧，进而，可以由终端上集成的视频处理系统，确定该目标关键帧的关联帧。
终端10可以响应于针对目标三维模型的调节操作，例如，终端10可以响应于用户针对目标三维模型的调节处理，确定目标三维模型的调节参考模型，其中，该目标三维模型为目标关键帧对应的三维模型，该目标三维模型基于至少一个模型顶点确定。
进而，终端10可以对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型；基于拟合后模型，对关联帧对应的三维模型进行模型调节处理，从而自动补全关联帧对应三维模型的模型调节，实现对体积视屏中的连续三维模型进行自适应处理，以得到处理后的体积视屏。可选地，在实际应用中，可以通过调用服务器20提供的相关接口，来对关联帧对应的三维模型进行模型调节处理。
可以理解的是，在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请的实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例提供的一种视屏处理方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以语音识别方法由终端执行为例来进行说明。
101、从体积视屏的视频帧序列中确定目标关键帧、以及目标关键帧的关联帧，视频帧序列中的视频帧基于三维模型生成，关联帧为视频帧序列中与目标关键帧关联的视频帧。
其中，体积视频(Volumetric Video，又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。相对于传统的视频，体积视频将空间的概念加入到视频中，用三维模型来更好的还原真实三维界，而不是以二维的平面视频加上运镜来模拟真实三维世界的空间感。由于体积视频实质为三维模型序列，使得对象可以随自己喜好调整到任意视角进行观看，较二维平面视频具有更高的还原度和沉浸感。
其中，对象为应用或者服务的使用实体，例如，对象可以包括应用或者服务的使用客户，譬如，用户，组织机构等，在本申请中，可以以对象具体为用户为例进行说明。
其中，体积视屏的视频帧序列可以包括至少一个视频帧，每个视频帧可以基于三维模型生成。例如，可以通过多视角建模得到每秒15～60帧连续的三维模型，从而生成体积视屏。
可选地，在本申请中，用于构成体积视频的三维模型可以按照如下方式重建得到：
先获取拍摄对象的不同视角的彩色图像和深度图像，以及彩色图像对应的相机参数；然后根据获取到的彩色图像及其对应的深度图像和相机参数，训练隐式表达拍摄对象三维模型的神经网络模型，并基于训练的神经网络模型进行等值面提取，实现对拍摄对象的三维重建，得到拍摄对象的三维模型。
应当说明的是，本申请实施例中对采用何种架构的神经网络模型不作具体限制，可由本领域技术人员根据实际需要选取。比如，可以选取不带归一化层的多层感知机(Multilayer Perceptron，MLP)作为模型训练的基础模型。
下面将对本申请提供的三维模型重建方法进行详细描述。
首先，可以同步采用多个彩色相机和深度相机对需要进行三维重建的目标物体(该目标物体即为拍摄对象)进行多视角的拍摄，得到目标物体在多个不同视角的彩色图像及对应的深度图像，即在同一拍摄时刻(实际拍摄时刻的差值小于或等于时间阈值即认为拍摄时刻相同)，各视角的彩色相机将拍摄得到目标物体在对应视角的彩色图像，相应的，各视角的深度相机将拍摄得到目标物体在对应视角的深度图像。需要说明的是，目标物体可以是任意物体，包括但不限于人物、动物以及植物等生命物体，或者机械、家具、玩偶等非生命物体。
以此，目标物体在不同视角的彩色图像均具备对应的深度图像，即在拍摄时，彩色相机和深度相机可以采用相机组的配置，同一视角的彩色相机配合深度相机同步对同一目标物体进行拍摄。比如，可以搭建一摄影棚，该摄影棚中心区域为拍摄区域，环绕该拍摄区域，在水平方向和垂直方向每间隔一定角度配对设置有多组彩色相机和深度相机。当目标物体处于这些彩色相机和深度相机所环绕的拍摄区域时，即可通过这些彩色相机和深度相机拍摄得到该目标物体在不同视角的彩色图像及对应的深度图像。
此外，进一步获取每一彩色图像对应的彩色相机的相机参数。其中，相机参数包括彩色相机的内外参，可以通过标定确定，相机内参为与彩色相机自身特性相关的参数，包括但不限于彩色相机的焦距、像素等数据，相机外参为彩色相机在世界坐标系中的参数，包括但不限于彩色相机的位置(坐标)和相机的旋转方向等数据。
如上，在获取到目标物体在同一拍摄时刻的多个不同视角的彩色图像及其对应的深度图像之后，即可根据这些彩色图像及其对应深度图像对目标物体进行三维重建。区别于相关技术中将深度信息转换为点云进行三维重建的方式，本申请训练一神经网络模型用以实现对目标物体的三维模型的隐式表达，从而基于该神经网络模型实现对目标物体的三维重建。
可选地，本申请选用一不包括归一化层的多层感知机(Multilayer Perceptron，MLP)作为基础模型，按照如下方式进行训练：
基于对应的相机参数将每一彩色图像中的像素点转化为射线；
在射线上采样多个采样点，并确定每一采样点的第一坐标信息以及每一采样点距离像素点的SDF值；
将采样点的第一坐标信息输入基础模型，得到基础模型输出的每一采样点的预测SDF值以及预测RGB颜色值；
基于预测SDF值与SDF值之间的第一差异，以及预测RGB颜色值与像素点的RGB颜色值之间的第二差异，对基础模型的参数进行调整，直至满足预设停止条件；
将满足预设停止条件的基础模型作为隐式表达目标物体的三维模型的神经网络模型。
首先，基于彩色图像对应的相机参数将彩色图像中的一像素点转化为一条射线，该射线可以为经过像素点且垂直于彩色图像面的射线；然后，在该射线上采样多个采样点，采样点的采样过程可以分两步执行，可以先均匀采样部分采样点，然后再在基于像素点的深度值在关键处进一步采样多个采样点，以保证在模型表面附近可以采样到尽量多的采样点；然后，根据相机参数和像素点的深度值计算出采样得到的每一采样点在世界坐标系中的第一坐标信息以及每一采样点的有向距离(Signed Distance Field，SDF)值，其中，SDF值可以为像素点的深度值与采样点距离相机成像面的距离之间的差值，该差值为有符号的值，当差值为正值时，表示采样点在三维模型的外部，当差值为负值时，表示采样点在三维模型的内部，当差值为零时，表示采样点在三维模型的表面；然后，在完成采样点的采样并计算得到每一采样点对应的SDF值之后，进一步将采样点在世界坐标系的第一坐标信息输入基础模型(该基础模型被配置为将输入的坐标信息映射为SDF值和RGB颜色值后输出)，将基础模型输出的SDF值记为预测SDF值，将基础模型输出的RGB颜色值记为预测RGB颜色值；然后，基于预测SDF值与采样点对应的SDF值之间的第一差异，以及预测RGB颜色值与采样点所对应像素点的RGB颜色值之间的第二差异，对基础模型的参数进行调整。
此外，对于彩色图像中的其它像素点，同样按照上述方式进行采样点采样，然后将采样点在世界坐标系的坐标信息输入至基础模型以得到对应的预测SDF值和预测RGB颜色值，用于对基础模型的参数进行调整，直至满足预设停止条件，比如，可以配置预设停止条件为对基础模型的迭代次数达到预设次数，或者配置预设停止条件为基础模型收敛。在对基础模型的迭代满足预设停止条件时，即得到能够对拍摄对象的三维模型进行准确地隐式表达的神经网络模型。最后，可以采用等值面提取算法对该神经网络模型进行三维模型表面的提取，从而得到拍摄对象的三维模型。
可选地，在一些实施例中，根据相机参数确定彩色图像的成像面；确定经过彩色图像中像素点且垂直于成像面的射线为像素点对应的射线。
其中，可以根据彩色图像对应的彩色相机的相机参数，确定该彩色图像在世界坐标系中的坐标信息，即确定成像面。然后，可以确定经过彩色图像中像素点且垂直于该成像面的射线为该像素点对应的射线。
可选地，在一些实施例中，根据相机参数确定彩色相机在世界坐标系中的第二坐标信息及旋转角度；根据第二坐标信息和旋转角度确定彩色图像的成像面。
可选地，在一些实施例中，在射线上等间距采样第一数量个第一采样点；根据像素点的深度值确定多个关键采样点，并根据关键采样点采样第二数量个第二采样点；将第一数量个的第一采样点与第二数量个的第二采样点确定为在射线上采样得到的多个采样点。
其中，先在射线上均匀采样n(即第一数量)个第一采样点，n为大于2的正整数；然后，再根据前述像素点的深度值，从n个第一采样点中确定出距离前述像素点最近的预设数量个关键采样点，或者从n个第一采样点中确定出距离前述像素点小于距离阈值的关键采样点；然后，根据确定出的关键采样点再采样m个第二采样点，m为大于1的正整数；最后，将采样得到的n+m个采样点确定为在射线上采样得到的多个采样点。其中，在关键采样点处再多采样m个采样点，可以使得模型的训练效果在三维模型表面处更为精确，从而提升三维模型的重建精度。
可选地，在一些实施例中，根据彩色图像对应的深度图像确定像素点对应的深度值；基于深度值计算每一采样点距离像素点的SDF值；根据相机参数与深度值计算每一采样点的坐标信息。
其中，在每一像素点对应的射线上采样了多个采样点后，对于每一采样点，根据相机参数、像素点的深度值确定彩色相机的拍摄位置与目标物体上对应点之间的距离，然后基于该距离逐一计算每一采样点的SDF值以及计算出每一采样点的坐标信息。
需要说明的是，在完成对基础模型的训练之后，对于给定的任意一个点的坐标信息，即可由完成训练的基础模型预测其对应的SDF值，该预测的SDF值即表示了该点与目标物体的三维模型的位置关系(内部、外部或者表面)，实现对目标物体的三维模型的隐式表达，得到用于隐式表达目标物体的三维模型的神经网络模型。
最后，对以上神经网络模型进行等值面提取，比如可以采用等值面提取算法(Marching cubes，MC)绘制出三维模型的表面，得到三维模型表面，进而根据该三维模型表面得到目标物体的三维模型。
本申请提供的三维重建方案，通过神经网络去隐式建模目标物体的三维模型，并加入深度信息提高模型训练的速度和精度。采用本申请提供的三维重建方案，在时序上持续的对拍摄对象进行三维重建，即可得到拍摄对象在不同时刻的三维模型，这些不同时刻的三维模型按时序构成的三维模型序列即为对拍摄对象所拍摄得到的体积视频。以此，可以针对任意拍摄对象进行“体积视频拍摄”，得到特定内容呈现的体积视频。比如，可以对跳舞的拍摄对象进行体积视频拍摄，得到可以在任意角度观看拍摄对象舞蹈的体积视频，可以对教学的拍摄对象进行体积视频拍摄，得到可以在任意角度观看拍摄对象教学的体积视频，等等。
需要说明的是，本申请以下实施例涉及的体积视频可采用以上体积视频拍摄方式所拍摄得到。
其中，体积视屏的关键帧指的是，体积视屏的视频帧序列中的指定视频帧，可以认为在该指定视频帧中，三维模型的运动或变化处于关键动作或关键状态。因此，体积视屏可以包括至少一个关键帧。
其中，体积视屏的目标关键帧指的是体积视屏的特定关键帧，具体地，在本申请，可以将待对对应三维模型进行模型调节处理的关键帧确定为目标关键帧，例如，这里的模型调节处理可以是基于与用户的交互确定的。为了区别，可以将目标关键帧对应的三维模型称为目标三维模型。
在一些实施例中，为了使得用户能够方便地对体积视屏进行视频处理，可以基于用户针对体积视屏的视频播放控制操作，从体积视屏的视频帧序列中确定目标关键帧，具体地，步骤“从体积视屏的视频帧序列中确定目标关键帧”，可以包括：
响应于针对体积视屏的视频播放控制操作，从体积视屏的视频帧序列中确定候选关键帧；
响应于针对候选关键帧的帧选取操作，从候选关键帧中选取目标关键帧。
其中，针对体积视频的视频播放控制操作，可以用于对体积视频的视频播放状态进行控制，例如，视频播放状态可以包括视频播放或视频暂停，又如视频播放状态可以包括视频播放进度等。
对体积视屏的视频播放状态进行控制的方式可以有多种，例如，终端可以展示体积视屏的视频播放页面，视频播放页面可以包括视频播放控制控件；响应于针对视频播放控制控件的视频播放控制操作，从体积视屏的视频帧序列中确定候选关键帧。
其中，视频播放控件指的是能够用于对体积视屏的视频播放状态进行控制的控件。
作为示例，参见图3，终端可以展示1001所示的视频播放页面，其中，视频播放控件例如可以包括1002所示的播放切换控件，其可以用于将体积视屏切换至视频播放状态或者视频暂停状态等；视频播放控制控件例如可以包括1003所示的播放进度控制控件，其可以用于展示体积视屏的当前播放进度，以及供用户对体积视屏的播放进度进行调节；视频播放控制控件例如可以包括视频播放页面1001中用于展示体积视频的画面展示控件，例如该画面展示控件的大小可以与终端所展示的体积视频的画面大小一致。
根据视频播放控制控件的不同情况，针对视频播放控制控件的视频播放控制操作亦可以有不同的举例。例如，用户可以对1002所示的播放切换控件进行单击操作，来将体积视屏切换至视频播放状态或者视频暂停状态等；又如，用户可以通过在1003所示的播放进度控制控件上进行滑动操作，来对体积视屏的播放进度进行调节；又如，用户可以根据预设的针对画面展示控件的触发操作与视频播放控制效果之间的映射关系，通过针对画面展示控件执行的触发操作，来实现将体积视频调节至对应的视频播放状态，如用户可以通过单击体积视频画面来将体积视屏切换至视频播放状态或者视频暂停状态等，通过在体积视频画面上进行滑动来对体积视屏的播放进度进行调节。
由于可以通过针对视频播放控制控件的视频播放控制操作，对体积视屏的视频播放情况进行控制，因此，可以响应于针对视频播放控制控件的视频播放控制操作，从体积视屏的视频帧序列中确定候选关键帧。
例如，当用户通过播放切换控件1002或者画面展示控件，将体积视屏暂停时，可以进一步地将暂停时体积视屏当前所展示的视频帧确定为候选关键帧；又如，当用户通过播放进度控制控件1003或者画面展示控件，将体积视屏调节至目标播放进度时，可以进一步地将体积视屏在该目标播放进度时所展示的视频帧确定为候选关键帧。
值得注意的是，本申请不对候选关键帧的数量进行限制，即用户可以从体积视屏的视频帧序列中，确定一个候选关键帧或多个候选关键帧。因此，用户即可进一步地通过从候选关键帧中选取目标关键帧，对应地，终端即可响应于用于针对候选关键帧的帧选取操作，将该帧选取操作所对应的候选关键帧确定为目标关键帧，也即将用户所选取的候选关键帧确定为目标关键帧。
例如，终端可以对从体积视屏的视频帧序列中所确定的候选关键帧进行展示，以便于用户可以从中选取目标关键帧。其中，展示候选关键帧的实现方式可以有多种，例如，终端可以以列表的形式，将候选关键帧的帧信息展示在列表中的不同单元中，进而，终端可以响应于用户针对该列表中对目标单元对应候选关键帧的帧选取操作，将该目标单元对应候选关键帧确定为目标关键帧。其中，候选关键帧的帧信息例如可以包括候选关键帧的缩略图，简称，帧时间信息，编号信息等。
作为示例，用户可以从体积视频的视频帧序列中，确定四个候选关键帧：
Figure BDA0004061885230000141
对应地，参考图4，终端可以通过1004所示的列表对这些候选关键帧进行展示，具体地，该列表中四个单元1、2、3、4可以分别表示用户所选择的候选关键帧
Figure BDA0004061885230000142
用户可以从该列表中选取目标单元，从而完成针对候选关键帧的帧选取操作，即将该目标单元对应的候选关键帧选取为目标关键帧，对应地，终端即可响应于用户针对候选关键帧的帧选取操作，确定该目标单元对应的候选关键帧为目标关键帧。
值得注意的是，本申请中的控件的表现形式，可以为图标、输入框以及按钮等形式，后面不对此作赘述。
此外，本实施例中的视频播放控制操作或帧选取操作的表现形式，可以是特定的触控操作，如单击操作、长按操作、双击操作、以及滑动操作等等，还可以是通过语音的方式触发的；可选的，还可以是一系列操作的组合，本实施例对此没有限制。
在从体积视频的视频帧序列中确定目标关键帧后，即可进一步地，从体积视频的视频帧序列中，确定目标关键帧的关联帧，也即视频帧序列中与目标关键帧关联的视频帧。
其中，目标关键帧的关联帧指的是，体积视屏的视频帧序列中与该目标关联帧关联的视频帧。视频帧之间的关联方式可以有多种，例如可以包括位置关联，内容关联等。
例如，可以根据目标三维模型的模型内容、以及各视频帧所对应的三维模型的模型内容，从视频帧序列中确定与目标关键帧具有内容关联关系的视频帧，作为目标关键帧的关联帧。
作为示例，可以根据三维模型之间的模型相似度，来确定对应视频帧之间的内容关联程度，也即，若三维模型之间的模型相似度越高，即可认为对应视频帧之间的内容关联程度越高，因此，即可计算目标三维模型与视频帧序列中其他视频帧对应的三维模型之间的模型相似度，进而计算目标关键帧与视频帧序列中其他视频帧之间的内容关联程度，这样的话，即可将内容关联程度满足预设条件的视频帧，确定为目标关键帧的关联帧。
又如，可以根据目标关键帧在视频帧序列中的位置、以及各视频帧在视频帧序列中的位置，从视频帧序列中确定与目标关键帧具有位置关联关系的视频帧，作为目标关键帧的关联帧。譬如，在一些实施例中可以结合视频帧序列中的候选关键帧，来确定与目标关键帧具有位置关联关系的视频帧。具体地，步骤“从体积视屏的视频帧序列中确定目标关键帧的关联帧”，可以包括：
从体积视屏的视频帧序列中确定候选关键帧；
从候选关键帧中确定与目标关键帧关联的关联关键帧；
根据视频帧序列中位于目标关键帧与关联关键帧之间的视频帧，确定目标关键帧的关联帧。
从体积视屏的视频帧序列中确定候选关键帧的实现方式，除了可以参考前述中的方法以外，还可以有其他实现方式，例如，可以根据体积视频的视频时长，从体积视频的视频帧序列中均匀地选取若干作为候选关键帧等，又如，可以根据体积视屏的视频帧序列中各视频帧对应三维模型之间的模型差异，从各视频帧中选取候选关键帧，等等，本申请不对此作限制。
其中，与目标关键帧关联的关联关键帧，可以包括与目标关键帧具有位置关联关系的候选关键帧。
其中，视频帧之间的位置关联关系，指的是基于视频帧在视频帧序列中的位置分布情况，所确定的视频帧之间的关联关系，例如，可以认为若两个视频帧在视频帧序列中的位置越接近，则认为它们之间的位置关联关系越强。
类似地，关键帧之间的位置关联关系，指的是基于关键帧在视频帧序列中的位置分布情况，所确定的关键帧之间的关联关系，因此，在从体积视屏的视频帧序列中确定候选关键帧后，即可根据候选关键帧在视频帧序列中的位置分布情况，从候选关键帧中确定与目标关键帧具有预设位置关联关系的候选关键帧，作为该目标关键帧的关联关键帧，具体地，步骤“从候选关键帧中确定与目标关键帧关联的关联关键帧”，可以包括：
根据候选关键帧在视频帧序列中的帧分布信息，确定候选关键帧的帧排序标识；
根据帧排序标识，从候选关键帧中确定目标关键帧的相邻关键帧；
基于相邻关键帧，确定与目标关键帧关联的关联关键帧。
其中，候选关键帧在视频帧序列中的帧分布信息，指的是该候选关键帧在视频帧序列中的位置分布信息。例如，可以根据视频帧序列中各视频帧在视频帧序列中的排列分布，对各视频帧进行编号，并将候选关键帧所对应的编号信息，作为该候选关键帧在视频帧序列中的帧分布信息，以此，即可确定视频帧序列中各候选关键帧的帧分布信息。
其中，候选关键帧的帧排序标识，指的是当对视频帧序列的所有候选关键帧进行排序，得到候选关键帧序列后，该候选关键帧在该候选关键帧序列中对应的排序标识，例如，若某候选关键帧为候选关键帧序列中第2个候选关键帧，则可以确定该候选关键帧的帧排序标识即为
Figure BDA0004061885230000161
其中k用于指代“关键”所对应的英文单词key的缩写。
因此，可以根据候选关键帧在视频帧序列中的帧分布信息，对各候选关键帧进行排序，以确定各候选关键帧的帧排序标识。作为示例，若体积视频的视频帧序列中包括300个视频帧：f1,f2,f3,…,f300，且从中确定了以下5个视频帧作为候选关键帧：f60,f150,f287,f210,f281，则可进一步地根据各视频帧的编号，将这些视频帧确定为该视频帧序列的候选关键帧，具体分别为：
Figure BDA0004061885230000162
也即1～5分别为这些候选关键帧的帧排序标识。
进而，即可从候选关键帧中确定目标关键帧的相邻关键帧，例如，在上述示例中，当目标关键帧具体为
Figure BDA0004061885230000163
则相邻关键帧可以包括
Figure BDA0004061885230000164
与
Figure BDA0004061885230000165
又如，当目标关键帧具体为
Figure BDA0004061885230000166
则相邻关键帧可以包括
Figure BDA0004061885230000167
又如，当目标关键帧具体为
Figure BDA0004061885230000168
则相邻关键帧可以包括
Figure BDA0004061885230000169
从视频帧序列的候选关键帧中确定目标关键帧的相邻关键帧后，即可进一步地，基于相邻关键帧，确定与目标关键帧关联的关联关键帧。例如，可以将目标关键帧的相邻关键帧，作为与目标关键帧关联的关联关键帧；又如，可以按照预设规则从目标关键帧的相邻关键帧中，选取一个候选关键帧，作为与目标关键帧关联的关联关键帧；等等。
可知，在视屏帧序列中，处于目标关键帧与其关联关键帧之间的视屏帧即为非关键帧，在本申请中，为了提高对体积视频进行处理的效率、以及降低用户操作难度，可以设置针对该非关键帧对应的三维模型的模型调节处理，具体可以在基于目标三维模型的模型调节处理之后，由系统自适应地实现，因此，即可将视频帧序列中位于目标关键帧与其关联关键帧之间的非关键帧，确定为目标关键帧的关联帧。
作为示例，体积视频的视频帧序列中可以包括n个候选关键帧：
Figure BDA0004061885230000171
其中n∈N且n>1，则对于其中的目标关键帧
Figure BDA0004061885230000172
可以将与其相邻的候选关键帧，作为
Figure BDA0004061885230000173
的关联关键帧。
可选地，在一些实施例中，体积视频的视频帧序列中可以仅包括1个候选关键帧，且该候选关键帧即为目标关键帧，因此，可以设置目标关键帧自身，即为与目标关键帧关联的关联关键帧，则可以从体积视屏的视频帧序列中确定与目标关键帧具有位置关联关系的视频帧，并从该视频帧中选取目标关键帧的关联帧时，具体地，步骤“从体积视屏的视频帧序列中确定目标关键帧的关联帧”，可以包括：
从体积视屏的视频帧序列中确定候选关键帧；
从候选关键帧中确定与目标关键帧关联的关联关键帧；
根据视频帧序列中与目标关键帧具有位置关联关系的视频帧，确定目标关键帧的关联帧。
具体地，当体积视屏的视频帧序列中仅有一个候选关键帧，且该候选关键帧即为目标关键帧时，可知该目标关键帧自身，即为与该目标关键帧关联的关联关键帧。进而，可以从根据视频帧序列中与目标关键帧具有位置关联关系的视频帧，确定目标关键帧的关联帧，例如，可以从视频帧序列中与目标关键帧相邻的视频帧中，选取若干作为目标关键帧的关联帧。
102、响应于针对目标三维模型的调节操作，确定目标三维模型的调节参考模型，目标三维模型为目标关键帧对应的三维模型，目标三维模型基于至少一个模型顶点确定。
为了方便，可以将目标关键帧对应的三维模型简称为目标三维模型。
其中，针对目标三维模型的调节操作，可以用于对目标三维模型进行调节，例如，可以包括调节目标三维模型的模型形状与模型蒙皮。
针对目标三维模型的调节操作的实现方式可以有多种，例如，终端可以展示体积视频的视频播放页面，且可以在该视频播放页面展示目标关键帧对应的三维模型，也即目标三维模型。用户可以通过终端实现针对目标三维模型的调节操作，对应地，终端即可对该调节操作进行响应。
作为示例，当用户具有对于目标三维模型中人体腰部区域的调节需求时，例如，当用户想要将腰部区域调细时，可以如图5中的左图所示，通过针对目标三维模型中人体腰部区域对应的模型顶点进行滑动拖拉操作，来实现针对目标三维模型的调节操作。
作为另一示例，当用户具有对于目标三维模型中人体眼部区域的调节需求时，例如，当目标三维模型中眼部展示状态具体为闭眼状态，而用户想要将目标三维模型中眼部展示状态调节为睁眼状态时，可以如图6中的左图所示，通过针对目标三维模型中人体眼部区域对应的模型区域进行滑动圈选操作，来实现针对目标三维模型的调节操作。
值得注意的是，本实施例中的调节操作的表现形式，可以是特定的触控操作，如单击操作、长按操作、双击操作、以及滑动操作等等，还可以是通过语音的方式触发的；可选的，还可以是一系列操作的组合，本实施例对此没有限制。
体积视频中各视频帧对应三维模型的建模方式可以有多种，例如，可以基于模型顶点来建模三维模型的形状，进而通过确定三维模型的模型蒙皮效果，来构建三维模型，因此，体积视频的视频帧序列中，各视频帧对应三维模型可以基于至少一个模型顶点确定，而目标三维模型为目标关键帧对应的三维模型，且目标关键帧亦为体积视频的视频帧序列中的视频帧，因此可知，目标三维模型基于至少一个模型顶点确定。
作为示例，可以以三维模型具体为对兔子建模得到的三维模型，则参考图7，可见该三维模型中，具体是用三个模型顶点来表示一个三角面，进而通过多个三角面的组合来对真实几何进行采样，从而得到三维模型的。在实际应用中，采样的点越多，也即构成三维模型的模型顶点越多，则三角面就越密，三维模型的建模精确度就高。
其中，目标三维模型的调节参考模型，指的是对目标三维模型进行模型调节时，起参考作用的三维模型。例如，终端可以响应于用户针对目标三维模型的调节操作，进而将该调节操作所指示的三维模型，确定为目标三维模型的调节参考模型。
可选地，在一些实施例中，可以通过对目标三维模型中的模型顶点进行调节，来确定目标三维模型的调节参考模型，具体地，步骤“响应于针对目标三维模型的调节操作，确定目标三维模型的调节参考模型”，可以包括：
响应于针对目标三维模型的触控操作，从目标三维模型的模型顶点中确定待调节顶点；
响应于针对待调节顶点的调节操作，确定目标三维模型的调节参考模型。
其中，触控操作的表现形式，可以是特定的触控操作，如单击操作、长按操作、双击操作、以及滑动操作等等，还可以是通过语音的方式触发的；可选的，还可以是一系列操作的组合，本实施例对此没有限制。
作为示例，当用户想要将目标三维模型中人体腰部区域调细时，用户可以如图5中的左图所示，通过针对目标三维模型中人体腰部区域对应的模型顶点进行滑动拖拉操作，来将该模型顶点拖拉至用户所满意的位置。终端可以将用户所触发的模型顶点确定为待调节顶点，并根据用户针对该待调节顶点的滑动拖拉操作，将对目标三维模型中该顶点的顶点位置进行对应调节后所指示的三维模型，确定为该目标三维模型的调节参考模型。
可选地，在一些实施例中，可以通过对目标三维模型中的模型区域进行调节，来确定目标三维模型的调节参考模型，具体地，步骤“响应于针对目标三维模型的调节操作，确定目标三维模型的调节参考模型”，可以包括：
响应于针对目标三维模型的区域选择操作，从目标三维模型的模型区域中确定待调节区域；
响应于针对待调节区域的调节操作，确定目标三维模型的模型参考信息；
基于目标三维模型与模型参考信息，确定目标三维模型的调节参考模型。
其中，目标三维模型的模型参考信息，指的是针对待调节区域的调节操作所指示的，对目标三维模型中的特定区域进行调节的相关信息，其中该特定区域即为基于针对目标三维模型的区域选择操作所确定的待调节区域。例如，该模型参考信息具体可以表征，针对待调节区域的调节操作所指示的，该待调节区域的目标模型状态，这样的话，终端即可通过参考该模型参考信息，将目标三维模型的待调节区域，从当前的模型展示状态调节为该目标展示状态，从而确定目标三维模型的调节参考模型。
例如，当待调节区域具体为人体眼部区域时，该模型参考信息具体可以指示，将该人体眼部区域的眼部展示状态，从当前的睁眼状态调节为闭眼状态，或者指示从当前的闭眼状态调节为睁眼状态等。
在确定目标三维模型的模型参考信息后，即可进一步地，基于目标三维模型与模型参考信息，确定目标三维模型的调节参考模型。例如，终端可以确定该待调节区域的区域位置信息，例如该区域位置信息具体可以基于该待调节区域中模型顶点的坐标信息确定，进而，终端可以确定视频帧序列中其他视频帧对应三维模型在该区域位置信息上的模型展示状态，若存在模型展示状态与该模型参考信息匹配，则终端可以根据该匹配的模型展示状态对目标三维模型的该待调节区域进行调节，进而将调节后得到的三维模型确定为该目标三维模型的调节参考模型。
作为示例，当用户想要将目标三维模型中人体眼部区域的眼部展示状态，从睁眼状态调节为闭眼状态时，用户可以如图6中的左图所示，通过针对目标三维模型中人体眼部区域对应的模型区域进行滑动圈选操作，来将该目标三维模型中的人体眼部区域圈选出来，对应地，终端即可将所圈选区域确定为目标三维模型的待调节区域。
此外，在上述示例中，用户可以进一步指示，将该待调节区域的模型展示状态，从睁眼状态调节为闭眼状态。对应地，终端可以基于用户的指示，确定目标三维模型的模型参考信息，具体为将该待调节区域从睁眼状态调节为闭眼状态，并基于目标三维模型与该模型参考信息，确定该目标三维模型的调节参考模型。
例如，终端可以确定该目标三维模型中人体眼部区域的区域位置信息，进而根据该区域位置信息，在视频帧序列中其他视频帧对应三维模型中定位到人体眼部区域，并确定各三维模型对应的眼部展示状态，若存在视频帧对应三维模型的眼部展示状态具体为闭眼状态，则终端可以根据人体眼部区域的区域位置信息，获取该视频帧对应三维模型在该区域位置信息的模型形状信息与模型蒙皮信息，进而根据该模型形状信息与该模型蒙皮信息，将该目标三维模型中人体眼部区域调节为闭眼状态，并将调节后得到的三维模型确定为该目标三维模型的调节参考模型。
103、对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型。
结合前述内容可知，目标三维模型的调节参考模型具体可以为基于用户调节需求确定的。在一些实施例中，考虑到当该调节参考模型作为指示用户调节意图的参考模型时，为了能够提高模型展示效果，可以在确定目标三维模型的调节参考模型后，将三维模型中模型顶点之间或者三角面之间的约束关系考虑在内，以使得在降低用户处理难度并提高用户便捷度的基础上，能用户对对目标三维模型的模型调节处理能获得更佳的呈现效果。
值得注意的是，在本申请中，将目标三维模型向调节参考模型拟合，并不指代将目标三维模型调节成对应的调节参考模型，而是以调节参考模型为指导，对目标三维模型的模型调节过程进行影响，以使得目标三维模型的拟合后模型，既能够满足用户的调节需求，亦能够呈现较佳的模型效果。
考虑到目标三维模型可以基于至少一个模型顶点确定，因此，可以通过对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型。
可选地，在一些实施方式中，考虑到针对目标三维模型的模型调节处理，具体可以包括调节目标三维模型的模型形状与模型蒙皮，因此，在将目标三维模型向调节参考模型拟合时，具体可以包括将目标三维模型的模型形状，向调节参考模型的模型形状拟合，以及在拟合形状后确定模型蒙皮效果，具体地，步骤“对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型”，可以包括：
根据调节参考模型中模型顶点的顶点位置信息，对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型的模型形状向调节参考模型的模型形状拟合，得到目标三维模型的处理后模型；
基于处理后模型与目标三维模型之间的模型顶点对应关系，确定处理后模型的模型蒙皮效果，以得到目标三维模型的拟合后模型。
类似地，此处将目标三维模型的模型形状，向调节参考模型的模型形状拟合，亦并不指代将目标三维模型的模型形状调节成对应调节参考模型的模型形状，而是以调节参考模型的模型形状为指导，对目标三维模型的模型形状调节过程进行影响，以使得目标三维模型的拟合后模型，既能够满足用户的模型形状调节需求，该拟合后模型的模型形状能够呈现较佳的模型效果。
其中，模型顶点的顶点位置信息，用于表示该模型顶点在对应三维模型中的位置定位，例如，模型顶点的顶点位置信息可以用坐标的形式表现。
作为示例，调节后参考模型与目标三维模型，均可以基于至少一个模型顶点确定，且调节后参考模型与目标三维模型之间的模型顶点可以具有对应关系。例如，若在目标三维模型中，具体是由k个模型顶点p1至pk用于展示人体眼部区域，则在调节后参考模型中，亦可对应地为由k个模型顶点p1′至pk′用于展示人体眼部区域。因此，在实现将目标三维模型的模型形状，向调节后参考模型的模型形状拟合时，具体可以根据调节参考模型中的模型顶点，来对目标三维模型的模型顶点进行位置调节处理。例如，考虑到模型顶点的顶点位置信息可以用于定位该模型顶点在对应三维模型中的位置，因此，具体可以根据调节参考模型中模型顶点的顶点位置信息，对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型的模型形状向调节参考模型的模型形状拟合。
可选地，在一些实施例中，对目标三维模型的模型顶点进行位置调节处理，可以通过改变该模型顶点在目标三维模型中的位置来实现，例如，可以计算目标三维模型中模型顶点的位置调节参数，该位置调节参数可以用于辅助确定该模型顶点在目标三维模型中的更新后位置，这样的话，即可基于该位置调节参数对目标三维模型的模型顶点进行位置调节处理，具体地，步骤“根据调节参考模型中模型顶点的顶点位置信息，对目标三维模型的模型顶点进行位置调节处理”，可以包括：
计算目标三维模型中模型顶点的位置调节参数；
根据位置调节参数，计算目标三维模型与调节参考模型对应模型顶点之间的位置调节损失；
基于位置调节损失，对模型顶点进行位置调节处理。
其中，模型顶点的位置调节参数，为用于辅助确定该模型顶点在对应三维模型中的更新后位置的相关参数，例如，模型顶点的位置调节参数可以包括该模型顶点的旋转变量等。
作为示例，可以以计算目标三维模型中模型顶点的旋转变量为例，具体地，可以对目标三维模型中的模型顶点使用奇异值分解的方法，来求解模型顶点的旋转变量R，其中，该旋转变量R具体可以用于求解模型顶点的更新后位置。
进一步地，对于目标关键帧所对应的模型形状拟合过程，例如可以通过执行多次迭代的方式来对目标三维模型的模型顶点进行位置调节处理。具体地，对于每次位置调节处理的迭代过程，可以计算该次位置调节迭代对应的损失，即位置调节损失；进而，可以当位置调节损失满足预设迭代停止条件，例如当位置调节损失小于预设损失阈值时，则确定位置调节迭代停止，也即确定目标三维模型的模型形状拟合完成，从而得到目标三维模型的处理后模型。
作为示例，考虑到调节参考模型具体可以影响目标三维模型的模型形状拟合过程，且调节后参考模型与目标三维模型之间的模型顶点可以具有对应关系，因此，具体可以计算目标三维模型与调节参考模型对应模型顶点之间的位置调节损失，并基于该位置调节损失来对目标三维模型的模型顶点进行位置调节处理。
可选地，在一些实施例中，考虑到对于目标三维模型的原始模型形状，是基于目标三维模型调节前的模型顶点所确定的，因此，在通过对目标三维模型的模型顶点进行位置调节处理，以实现对目标三维模型进行模型形状调节时，可以将目标三维模型调节前的模型节点之间的固有约束考虑在内，以便于通过模型形状调节后所确定的目标三维模型的拟合后模型形状，能够具有更佳的模型效果，具体地，步骤“根据位置调节参数，计算目标三维模型与调节参考模型对应模型顶点之间的位置调节损失”，可以包括：
根据目标三维模型的模型顶点之间的位置关联关系，计算位置调节处理的约束权重；
根据位置调节参数与约束权重，计算目标三维模型与调节参考模型对应模型顶点之间的位置调节损失。
其中，位置调节处理的约束权重，为对目标三维模型进行模型形状调节时用于约束模型形状合理性的权重信息。例如，目标三维模型的模型形状，具体可以基于由模型顶点所确定的多个三角面确定，因此，该约束权重具体可以表现为目标三维模型的三角面中各边对应的约束权重，其中，与三角形中的每边由该三角形的两个顶点确定类似，三角面中的每边由两个模型顶点确定。
其中，模型顶点之间的位置关联关系，为基于模型顶点在对应三维模型中的顶点位置所确定的关系。例如，目标三维模型的模型形状，具体可以基于多个三角面确定，其中每个三角面可以基于三个模型顶点确定，且参考图7可知，三角面之间可以共享边或模型顶点，因此，对于由同一条边所关联的两个模型顶点，它们之间的位置关联关系可以通过该边确定，例如具体可以通过该边的长度确定。
例如，可以根据目标三维模型的每个模型顶点一领域内各边的长度，来计算对各模型顶点进行位置调剂处理所需的约束权重。譬如，可以以模型顶点i与模型顶点j为例，参考图8所示，在目标三维模型中，模型顶点i与模型顶点j之间具有连边，且可以用wij来表示该连边对应的约束权重，则可以参考式(1)来计算wij，其中，aij与βij分别为图8中所示的夹角。
Figure BDA0004061885230000241
在计算得到位置调节处理所需的约束权重wij、以及对目标三维模型中各模型节点进行位置调节处理所需的位置调节参数R后，即可进一步地根据位置调节参数与约束权重，计算目标三维模型与调节参考模型对应模型顶点之间的位置调节损失。
作为示例，可以参考式(2)来计算目标三维模型的每次位置调节迭代所对应的位置调节损失，其中，X指代目标三维模型的三角面中模型顶点的顶点坐标信息，X′指代调节参考模型的三角面中模型顶点的顶点坐标信息，Xi-Xj则指代目标三维模型中的三角面，X′i-X′j则指代调节参考模型中的三角面，T指代三角面集合，t为T中的一个三角面，at指代t的三角形区域。
Earap(X′，{R1，…，R|T|})＝∑t∈Tat∑{i，j}∈twij||(X′i-X′j)-Rt(Xi-Xj)||2  (2)
结合式(1)与式(2)可知，在目标三维模型的每次位置调节迭代中，根据目标三维模型每个模型顶点一邻域内各边的长度来确定位置调节处理的约束权重，用于对位置调节处理进行约束，并且，通过计算目标三维模型的调节后位置与调节参考模型的对应位置之间的损失，来对目标三维模型的模型拟合效果进行约束，能够保证位置调节处理后目标三维模型中的三角面尽可能保持刚性变形，并使得目标三维模型在整体上能够不断地向调节参考模型拟合。这样的话，在目标三维模型的位置调节迭代完成后，即可完成将目标三维模型的模型形状向调节参考模型的模型形状拟合，从而得到目标三维模型的处理后模型。
进一步地，即可确定该处理后模型的模型蒙皮效果，从而确定目标三维模型的拟合后模型。
可选地，在一些实施例中，考虑到该处理后模型的模型顶点与目标三维模型的模型顶点之间具有对应关系，因此，即可基于处理后模型与目标三维模型之间的模型顶点对应关系，确定处理后模型的模型蒙皮效果，以得到目标三维模型的拟合后模型。
作为示例，可以根据处理后模型与目标三维模型之间的模型顶点对应关系，确定处理后模型的各模型顶点的颜色信息。例如，可以设置目标三维模型与处理后模型的对应模型顶点，共享相同的颜色信息，也即将目标三维模型中模型顶点的颜色信息，作为处理后模型中对应模型顶点的颜色信息。进一步地，对于处理后模型中的各个三角面，可以根据其各模型顶点的颜色差异，确定各个三角面的蒙皮效果，从而确定处理后模型的模型蒙皮效果。例如，对于处理后模型中的各个三角面，可以参考在目标三维模型中，对应三角面的颜色分布与该三角面的模型顶点颜色之间的过渡方式，来确定处理后模型中的三角面的颜色，从而确定处理后模型的模型蒙皮效果。
可知，在对目标三维模型的模型形状进行调节，得到目标三维模型的处理后模型，进而对该处理后模型的模型蒙皮进行调节后，即完成了对目标三维模型进行模型形状与模型蒙皮的调节，因此，即可得到将目标三维模型向调节参考模型拟合的拟合后模型。
104、基于拟合后模型，对关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
结合前述内容可知，目标关键帧的拟合后模型，为根据用户对目标三维模型的模型调节意图，对目标三维模型进行模型调节处理后得到的三维模型，因此，可以基于该拟合后模型，对关联帧对应的三维模型进行模型调节处理，以使得终端能够基于目标关键帧的模型调节结果，自适应地对目标关键帧的关联帧进行模型调节处理。可知，在该过程中，用户仅需指示针对目标三维模型的模型调节意图，终端即可高效地对体积视频中的三维模型流进行调节，高效地对体积视频进行视频处理，并得到处理后体积视频。
可选地，在一些实施例中，基于拟合后模型，对关联帧对应的三维模型进行模型调节处理的实现方式，可以参考前述内容中，基于目标三维模型的调节参考模型，对目标三维模型进行模型调节处理的实现方式，具体地，步骤“基于拟合后模型，对关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏”，可以包括：
根据拟合后模型中模型顶点的顶点位置信息，对关联帧对应的三维模型中的模型顶点进行位置调节处理，以将关联帧对应的三维模型向拟合后模型拟合，得到关联帧对应的调节后模型；基于关联帧对应的调节后模型与关联帧对应的三维模型之间的模型顶点对应关系，确定关联帧对应的调节后模型的模型蒙皮效果，以得到关联帧对应的拟合后模型；基于关联帧对应的拟合后模型，确定处理后体积视频。
具体地，对于每个关键帧对应的三维模型，均可以通过针对该三维模型中的模型顶点进行多次的位置调节迭代，来对该三维模型的模型形状进行调节。在该三维模型的每次位置调节迭代中，可以根据该三维模型每个模型顶点一邻域内各边的长度来确定位置调节处理的约束权重，并用于对位置调节处理进行约束。此外，可以通过计算该三维模型的调节后位置，与目标关键帧的拟合后模型的对应位置之间的损失，来对该三维模型的模型拟合效果进行约束，从而保证位置调节处理后该三维模型中的三角面尽可能保持刚性变形，并使得该三维模型在整体上能够不断地向目标关键帧的拟合后模型拟合。这样的话，在该三维模型的位置调节迭代完成后，即可完成对该三维模型的模型形状所进行的模型调节处理，得到各关联帧的处理后模型。
进一步地，即可确定各关联帧的处理后模型的模型蒙皮效果，从而确定各关联帧的拟合后模型。具体地，在确定各关联帧的处理后模型的模型蒙皮效果时，可以参考前述中，基于目标关键帧的处理后模型与目标三维模型之间的模型顶点对应关系，确定该处理后模型的模型蒙皮效果的实现方式。也即，对于各关联帧，可以有：基于关联帧的处理后模型，与该关联帧的三维模型之间的模型顶点对应关系，确定该处理后模型的模型蒙皮效果。其中相关的解释与说明可以参考前述内容，在此不作赘述。
由上可知，本实施例可以从体积视屏的视频帧序列中确定目标关键帧、以及目标关键帧的关联帧，视频帧序列中的视频帧基于三维模型生成，关联帧为视频帧序列中与目标关键帧关联的视频帧；响应于针对目标三维模型的调节操作，确定目标三维模型的调节参考模型，目标三维模型为目标关键帧对应的三维模型，目标三维模型基于至少一个模型顶点确定；对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型；基于拟合后模型，对关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
该方案能够响应于针对目标三维模型的调节操作，例如响应于用户针对体积视频中目标三维模型对应视频帧画面的画面调节操作，确定该目标三维模型所待拟合的调节参考模型，并通过对目标三维模型的模型顶点进行位置调节，来将目标三维模型向调节参考模型拟合，得到目标关键帧对应的拟合后模型，从而完成对目标关键帧对应目标三维模型的模型调节处理。可见，该方案能够基于用户指示，将目标三维模型向用户所指示的调节参考模型拟合，从而协助用户完成对体积视频中特定画面的画面调节。
进一步地，该方案能够根据目标关键帧的模型调节结果，对体积视频的视频帧序列中与该目标关键帧关联的关联帧，例如该目标关键帧与其相邻关键帧之间的非关键帧，所对应的三维模型进行自适应调节，从而得到各关联帧对应的调节后三维模型。可见，该方案在基于用户指示完成对体积视频中特定画面的画面调节后，可以自动地对体积视频中该特定画面的关联画面进行画面调节，以完成对体积视频的视频处理，得到处理后体积视频。这不仅极大地方便了用户，而且有效地降低了用户对体积视频进行视频处理的难度，并提高了对体积视屏进行视频处理的处理效率。
根据上面实施例所描述的方法，以下将举例进一步详细说明。
在本实施例中，将以视频处理方法由服务器与终端共同执行为例，如图9所示，一种视频处理方法，具体流程如下：
201、终端从服务器获取体积视屏，并在视频播放页面展示体积视屏。
202、终端从体积视屏的视频帧序列中确定目标关键帧、以及目标关键帧的关联帧，视频帧序列中的视频帧基于三维模型生成，关联帧为视频帧序列中与目标关键帧关联的视频帧。
例如，可以基于用户针对体积视屏的视频播放控制操作，从体积视屏的视频帧序列中确定目标关键帧。
作为示例，终端可以响应于针对体积视屏的视频播放控制操作，从体积视屏的视频帧序列中确定候选关键帧；响应于针对候选关键帧的帧选取操作，从候选关键帧中选取目标关键帧。
203、终端响应于针对目标三维模型的调节操作，确定目标三维模型的调节参考模型，目标三维模型为目标关键帧对应的三维模型，目标三维模型基于至少一个模型顶点确定。
例如，用户可以通过终端针对目标三维模型进行交互，如针对目标三维模型进行单击操作、长按操作、双击操作、以及滑动操作等等。
针对目标三维模型的调节操作的实现方式可以有多种，例如，终端可以展示体积视频的视频播放页面，且可以在该视频播放页面展示目标关键帧对应的三维模型，也即目标三维模型。用户可以通过终端实现针对目标三维模型的调节操作，对应地，终端即可对该调节操作进行响应。
204、终端对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型。
205、终端将拟合后模型的模型信息发送给服务器。
206、服务器基于拟合后模型，对关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
具体地，考虑到当目标关键帧的关联帧数量较多时，可以由服务器分担对各关联帧对应的三维模型进行模型调节处理时，从而加快对体积视屏进行视频处理的效率，亦能够确保各关联帧都具有较佳的模型调节效果，进而确保了体积视屏整体的视频处理效果。
207、服务器将处理后体积视频发送给终端。
由上可知，本申请实施例可以响应于针对目标三维模型的调节操作，例如响应于用户针对体积视频中目标三维模型对应视频帧画面的画面调节操作，确定该目标三维模型所待拟合的调节参考模型，并通过对目标三维模型的模型顶点进行位置调节，来将目标三维模型向调节参考模型拟合，得到目标关键帧对应的拟合后模型，从而完成对目标关键帧对应目标三维模型的模型调节处理。可见，该方案能够基于用户指示，将目标三维模型向用户所指示的调节参考模型拟合，从而协助用户完成对体积视频中特定画面的画面调节。
进一步地，该方案能够根据目标关键帧的模型调节结果，对体积视频的视频帧序列中与该目标关键帧关联的关联帧，例如该目标关键帧与其相邻关键帧之间的非关键帧，所对应的三维模型进行自适应调节，从而得到各关联帧对应的调节后三维模型。可见，该方案在基于用户指示完成对体积视频中特定画面的画面调节后，可以自动地对体积视频中该特定画面的关联画面进行画面调节，以完成对体积视频的视频处理，得到处理后体积视频。这不仅极大地方便了用户，而且有效地降低了用户对体积视频进行视频处理的难度，并提高了对体积视屏进行视频处理的处理效率。
为了更好地实施以上方法，相应的，本申请实施例还提供一种视频处理装置，例如，如图10所示，该视频处理装置可以包括第一确定单元301，第二确定单元302，第一调节单元303以及第二调节单元304，如下：
第一确定单元301，可以用于从体积视屏的视频帧序列中确定目标关键帧、以及目标关键帧的关联帧，视频帧序列中的视频帧基于三维模型生成，关联帧为视频帧序列中与目标关键帧关联的视频帧；
第二确定单元302，可以用于响应于针对目标三维模型的调节操作，确定目标三维模型的调节参考模型，目标三维模型为目标关键帧对应的三维模型，目标三维模型的模型形状基于至少一个模型顶点确定；
第一调节单元303，可以用于对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型；
第二调节单元304，可以用于基于拟合后模型，对关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
在一实施例中，第二确定单元302，可以包括：
第一确定子单元，可以用于响应于针对目标三维模型的触控操作，从目标三维模型的模型顶点中确定待调节顶点；
第二确定子单元，可以用于响应于针对待调节顶点的调节操作，确定目标三维模型的调节参考模型。
在一实施例中，第二确定单元302，可以包括：
第三确定子单元，可以用于响应于针对目标三维模型的区域选择操作，从目标三维模型的模型区域中确定待调节区域；
第四确定子单元，可以用于响应于针对待调节区域的调节操作，确定目标三维模型的模型参考信息；
第五确定子单元，可以用于基于目标三维模型与模型参考信息，确定目标三维模型的调节参考模型。
在一实施例中，第一调节单元303，可以包括：
第一调节子单元，可以用于根据调节参考模型中模型顶点的顶点位置信息，对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型的模型形状向调节参考模型的模型形状拟合，得到目标三维模型的处理后模型；
第六确定子单元，可以用于基于处理后模型与目标三维模型之间的模型顶点对应关系，确定处理后模型的模型蒙皮效果，以得到目标三维模型的拟合后模型。
在一实施例中，第一调节子单元，可以用于：
计算目标三维模型中模型顶点的位置调节参数；根据位置调节参数，计算目标三维模型与调节参考模型对应模型顶点之间的位置调节损失；基于位置调节损失，对目标三维模型的模型顶点进行位置调节处理。
在一实施例中，第一调节子单元，可以具体用于：
根据目标三维模型的模型顶点之间的位置关联关系，计算位置调节处理的约束权重；根据位置调节参数与约束权重，计算目标三维模型与调节参考模型对应模型顶点之间的位置调节损失。
在一实施例中，第二调节单元304，可以包括：
第二调节子单元，可以用于根据拟合后模型中模型顶点的顶点位置信息，对关联帧对应的三维模型中的模型顶点进行位置调节处理，以将关联帧对应的三维模型向拟合后模型拟合，得到关联帧对应的调节后模型；
第七确定子单元，可以用于基于关联帧对应的调节后模型，与所述关联帧对应的三维模型之间的模型顶点对应关系，确定关联帧对应的调节后模型的模型蒙皮效果，以得到关联帧对应的拟合后模型；
第八确定子单元，可以用于基于关联帧对应的拟合后模型，确定处理后体积视频。
在一实施例中，第一确定单元301，可以包括：
第九确定单元，可以用于响应于针对体积视屏的视频播放控制操作，从体积视屏的视频帧序列中确定候选关键帧；
帧选取单元，可以用于响应于针对候选关键帧的帧选取操作，从候选关键帧中选取目标关键帧。
在一实施例中，第一确定单元301，可以包括：
第十确定单元，可以用于从体积视屏的视频帧序列中确定候选关键帧；
第十一确定单元，可以用于从候选关键帧中确定与目标关键帧关联的关联关键帧；
第十二确定单元，可以用于根据视频帧序列中位于目标关键帧与关联关键帧之间的视频帧，确定目标关键帧的关联帧。
由上可知，本实施例的视频处理装置中由第一确定单元301从体积视屏的视频帧序列中确定目标关键帧、以及目标关键帧的关联帧，视频帧序列中的视频帧基于三维模型生成，关联帧为视频帧序列中与目标关键帧关联的视频帧；由第二确定单元302响应于针对目标三维模型的调节操作，确定目标三维模型的调节参考模型，目标三维模型为目标关键帧对应的三维模型，目标三维模型的模型形状基于至少一个模型顶点确定；由第一调节单元303对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型；由第二调节单元304基于拟合后模型，对关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
该方案能够响应于针对目标三维模型的调节操作，例如响应于用户针对体积视频中目标三维模型对应视频帧画面的画面调节操作，确定该目标三维模型所待拟合的调节参考模型，并通过对目标三维模型的模型顶点进行位置调节，来将目标三维模型向调节参考模型拟合，得到目标关键帧对应的拟合后模型，从而完成对目标关键帧对应目标三维模型的模型调节处理。可见，该方案能够基于用户指示，将目标三维模型向用户所指示的调节参考模型拟合，从而协助用户完成对体积视频中特定画面的画面调节。
进一步地，该方案能够根据目标关键帧的模型调节结果，对体积视频的视频帧序列中与该目标关键帧关联的关联帧，例如该目标关键帧与其相邻关键帧之间的非关键帧，所对应的三维模型进行自适应调节，从而得到各关联帧对应的调节后三维模型。可见，该方案在基于用户指示完成对体积视频中特定画面的画面调节后，可以自动地对体积视频中该特定画面的关联画面进行画面调节，以完成对体积视频的视频处理，得到处理后体积视频。这不仅极大地方便了用户，而且有效地降低了用户对体积视频进行视频处理的难度，并提高了对体积视屏进行视频处理的处理效率。
此外，本申请实施例还提供一种计算机设备，该计算机设备可以为服务器或终端等设备，如图11所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图11中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
从体积视屏的视频帧序列中确定目标关键帧、以及目标关键帧的关联帧，视频帧序列中的视频帧基于三维模型生成，关联帧为视频帧序列中与目标关键帧关联的视频帧；响应于针对目标三维模型的调节操作，确定目标三维模型的调节参考模型，目标三维模型为目标关键帧对应的三维模型，目标三维模型基于至少一个模型顶点确定；对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型；基于拟合后模型，对关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例的计算机设备能够响应于针对目标三维模型的调节操作，例如响应于用户针对体积视频中目标三维模型对应视频帧画面的画面调节操作，确定该目标三维模型所待拟合的调节参考模型，并通过对目标三维模型的模型顶点进行位置调节，来将目标三维模型向调节参考模型拟合，得到目标关键帧对应的拟合后模型，从而完成对目标关键帧对应目标三维模型的模型调节处理。可见，该计算机设备能够基于用户指示，将目标三维模型向用户所指示的调节参考模型拟合，从而协助用户完成对体积视频中特定画面的画面调节。
进一步地，该计算机设备能够根据目标关键帧的模型调节结果，对体积视频的视频帧序列中与该目标关键帧关联的关联帧，例如该目标关键帧与其相邻关键帧之间的非关键帧，所对应的三维模型进行自适应调节，从而得到各关联帧对应的调节后三维模型。可见，该计算机设备在基于用户指示完成对体积视频中特定画面的画面调节后，可以自动地对体积视频中该特定画面的关联画面进行画面调节，以完成对体积视频的视频处理，得到处理后体积视频。这不仅极大地方便了用户，而且有效地降低了用户对体积视频进行视频处理的难度，并提高了对体积视屏进行视频处理的处理效率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种视频处理方法中的步骤。例如，该指令可以执行如下步骤：
从体积视屏的视频帧序列中确定目标关键帧、以及目标关键帧的关联帧，视频帧序列中的视频帧基于三维模型生成，关联帧为视频帧序列中与目标关键帧关联的视频帧；响应于针对目标三维模型的调节操作，确定目标三维模型的调节参考模型，目标三维模型为目标关键帧对应的三维模型，目标三维模型基于至少一个模型顶点确定；对目标三维模型的模型顶点进行位置调节处理，以将目标三维模型向调节参考模型拟合，得到目标三维模型的拟合后模型；基于拟合后模型对关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种视频处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种视频处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频处理方面的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种视频处理方法、装置、设备、存储介质及程序产品进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种视频处理方法，其特征在于，包括：
从体积视屏的视频帧序列中确定目标关键帧、以及所述目标关键帧的关联帧，所述视频帧序列中的视频帧基于三维模型生成，所述关联帧为所述视频帧序列中与所述目标关键帧关联的视频帧；
响应于针对目标三维模型的调节操作，确定所述目标三维模型的调节参考模型，所述目标三维模型为所述目标关键帧对应的三维模型，所述目标三维模型基于至少一个模型顶点确定；
对所述目标三维模型的模型顶点进行位置调节处理，以将所述目标三维模型向所述调节参考模型拟合，得到所述目标三维模型的拟合后模型；
基于所述拟合后模型，对所述关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
2.根据权利要求1所述的视频处理方法，其特征在于，响应于针对目标三维模型的调节操作，确定所述目标三维模型的调节参考模型，包括：
响应于针对目标三维模型的触控操作，从所述目标三维模型的模型顶点中确定待调节顶点；
响应于针对所述待调节顶点的调节操作，确定所述目标三维模型的调节参考模型。
3.根据权利要求1所述的视频处理方法，其特征在于，响应于针对目标三维模型的调节操作，确定所述目标三维模型的调节参考模型，包括：
响应于针对目标三维模型的区域选择操作，从所述目标三维模型的模型区域中确定待调节区域；
响应于针对所述待调节区域的调节操作，确定所述目标三维模型的模型参考信息；
基于所述目标三维模型与所述模型参考信息，确定所述目标三维模型的调节参考模型。
4.根据权利要求1所述的视频处理方法，其特征在于，对所述目标三维模型的模型顶点进行位置调节处理，以将所述目标三维模型向所述调节参考模型拟合，得到所述目标三维模型的拟合后模型，包括：
根据所述调节参考模型中模型顶点的顶点位置信息，对所述目标三维模型的模型顶点进行位置调节处理，以将所述目标三维模型的模型形状向所述调节参考模型的模型形状拟合，得到所述目标三维模型的处理后模型；
基于所述处理后模型与所述目标三维模型之间的模型顶点对应关系，确定所述处理后模型的模型蒙皮效果，以得到所述目标三维模型的拟合后模型。
5.根据权利要求4所述的视频处理方法，其特征在于，根据所述调节参考模型中模型顶点的顶点位置信息，对所述目标三维模型的模型顶点进行位置调节处理，包括：
计算所述目标三维模型中模型顶点的位置调节参数；
根据所述位置调节参数，计算所述目标三维模型与所述调节参考模型对应模型顶点之间的位置调节损失；
基于所述位置调节损失，对所述目标三维模型的模型顶点进行位置调节处理。
6.根据权利要求5所述的视频处理方法，其特征在于，根据所述位置调节参数，计算所述目标三维模型与所述调节参考模型对应模型顶点之间的位置调节损失，包括：
根据所述目标三维模型的模型顶点之间的位置关联关系，计算位置调节处理的约束权重；
根据所述位置调节参数与所述约束权重，计算所述目标三维模型与所述调节参考模型对应模型顶点之间的位置调节损失。
7.根据权利要求1所述的视频处理方法，其特征在于，基于所述拟合后模型，对所述关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏，包括：
根据所述拟合后模型中模型顶点的顶点位置信息，对所述关联帧对应的三维模型中的模型顶点进行位置调节处理，以将所述关联帧对应的三维模型向所述拟合后模型拟合，得到所述关联帧对应的调节后模型；
基于所述关联帧对应的调节后模型，与所述关联帧对应的三维模型之间的模型顶点对应关系，确定所述关联帧对应的调节后模型的模型蒙皮效果，以得到所述关联帧对应的拟合后模型；
基于所述关联帧对应的拟合后模型，确定处理后体积视频。
8.根据权利要求1所述的视频处理方法，其特征在于，从体积视屏的视频帧序列中确定目标关键帧，包括：
响应于针对体积视屏的视频播放控制操作，从所述体积视屏的视频帧序列中确定候选关键帧；
响应于针对所述候选关键帧的帧选取操作，从所述候选关键帧中选取目标关键帧。
9.根据权利要求1所述的视频处理方法，其特征在于，从体积视屏的视频帧序列中确定所述目标关键帧的关联帧，包括：
从体积视屏的视频帧序列中确定候选关键帧；
从所述候选关键帧中确定与所述目标关键帧关联的关联关键帧；
根据所述视频帧序列中位于所述目标关键帧与所述关联关键帧之间的视频帧，确定所述目标关键帧的关联帧。
10.一种视频处理装置，其特征在于，包括：
第一确定单元，用于从体积视屏的视频帧序列中确定目标关键帧、以及所述目标关键帧的关联帧，所述视频帧序列中的视频帧基于三维模型生成，所述关联帧为所述视频帧序列中与所述目标关键帧关联的视频帧；
第二确定单元，用于响应于针对目标三维模型的调节操作，确定所述目标三维模型的调节参考模型，所述目标三维模型为所述目标关键帧对应的三维模型，所述目标三维模型基于至少一个模型顶点确定；
第一调节单元，用于对所述目标三维模型的模型顶点进行位置调节处理，以将所述目标三维模型向所述调节参考模型拟合，得到所述目标三维模型的拟合后模型；
第二调节单元，用于基于所述拟合后模型，对所述关联帧对应的三维模型进行模型调节处理，得到处理后体积视屏。
11.一种计算机设备，其特征在于，包括存储器和处理器；存储器存储有应用程序，处理器用于运行存储器内的应用程序，以执行权利要求1至9任一项的视频处理方法中的操作。
12.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行权利要求1至9任一项的视频处理方法中的步骤。
13.一种计算机程序产品，包括计算机程序/指令，其特征在于，计算机程序/指令被处理器执行时实现权利要求1至9任一项的视频处理方法中的步骤。
CN202310065019.3A 2023-01-31 2023-01-31 视频处理方法、装置、设备、存储介质及程序产品 Pending CN116129002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310065019.3A CN116129002A (zh) 2023-01-31 2023-01-31 视频处理方法、装置、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310065019.3A CN116129002A (zh) 2023-01-31 2023-01-31 视频处理方法、装置、设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN116129002A true CN116129002A (zh) 2023-05-16

Family

ID=86296971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310065019.3A Pending CN116129002A (zh) 2023-01-31 2023-01-31 视频处理方法、装置、设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN116129002A (zh)

Similar Documents

Publication Publication Date Title
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
EP3798801A1 (en) Image processing method and apparatus, storage medium, and computer device
WO2019242454A1 (zh) 一种物体建模运动方法、装置与设备
US11399141B2 (en) Processing holographic videos
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
JP7542740B2 (ja) 画像の視線補正方法、装置、電子機器、及びコンピュータプログラム
CN112598780B (zh) 实例对象模型构建方法及装置、可读介质和电子设备
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
US20240212252A1 (en) Method and apparatus for training video generation model, storage medium, and computer device
WO2023066120A1 (zh) 图像处理方法、装置、电子设备及存储介质
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
CN115442658B (zh) 直播方法、装置、存储介质、电子设备及产品
JP2023532285A (ja) アモーダル中心予測のためのオブジェクト認識ニューラルネットワーク
CN116129526A (zh) 合拍控制方法、装置、电子设备及存储介质
CN117274501A (zh) 一种可驱动数字人建模方法、装置、设备及介质
WO2020200082A1 (zh) 直播互动方法、装置、直播系统及电子设备
CN116095353A (zh) 基于体积视频的直播方法、装置、电子设备及存储介质
CN116132653A (zh) 三维模型的处理方法、装置、存储介质及计算机设备
WO2024031882A1 (zh) 视频处理方法、装置及计算机可读存储介质
CN115497029A (zh) 视频处理方法、装置及计算机可读存储介质
CN116664770A (zh) 拍摄实体的图像处理方法、存储介质及系统
CN115546408A (zh) 模型简化方法、装置、存储介质、电子设备及产品
CN115578542A (zh) 三维模型的处理方法、装置、设备及计算机可读存储介质
CN116129002A (zh) 视频处理方法、装置、设备、存储介质及程序产品
Jian et al. Realistic face animation generation from videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination