CN116233395A - 体积视频的视频合拍方法、装置和计算机可读存储介质 - Google Patents

体积视频的视频合拍方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN116233395A
CN116233395A CN202310214498.0A CN202310214498A CN116233395A CN 116233395 A CN116233395 A CN 116233395A CN 202310214498 A CN202310214498 A CN 202310214498A CN 116233395 A CN116233395 A CN 116233395A
Authority
CN
China
Prior art keywords
video
virtual object
snap
shooting
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310214498.0A
Other languages
English (en)
Inventor
孙伟
罗栋藩
邵志兢
张煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Prometheus Vision Technology Co ltd
Original Assignee
Zhuhai Prometheus Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Prometheus Vision Technology Co ltd filed Critical Zhuhai Prometheus Vision Technology Co ltd
Priority to CN202310214498.0A priority Critical patent/CN116233395A/zh
Publication of CN116233395A publication Critical patent/CN116233395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种体积视频的视频合拍方法、装置和计算机可读存储介质;本申请实施例通过获取虚拟对象对应的体积视频;基于体积视频构建视频合拍画面,视频合拍画面包括虚拟对象以及虚拟对象对应的合拍对象;获取合拍对象的位置信息,并基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息;根据虚拟对象位置信息,投射出虚拟对象对应的位置指示信息,位置指示信息用于在视频合拍过程中为合拍对象指示虚拟对象的当前位置;基于位置指示信息生成合拍对象和虚拟对象的合拍视频。以此,基于虚拟对象的位置指示信息实现合拍对象在视频合拍过程中与虚拟对象的互动,提升视频合拍体验,进而提升视频合拍的效果。

Description

体积视频的视频合拍方法、装置和计算机可读存储介质
技术领域
本申请涉及互联网技术领域,具体涉及一种体积视频的视频合拍方法、装置和计算机可读存储介质。
背景技术
随着互联网技术的快速发展,数据孪生技术也取得广泛的应用,例如,利用体积视频技术实现用户与虚拟对象的视频合拍,其中,体积视频(Volumetric Video,又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。
在对现有技术的研究和实践过程中发现,在现有的体积视频的视频合拍方法中,用户无法在视频合拍过程中与虚拟对象进行明确的互动,视频合拍体验较差,进而导致视频合拍的效果较差。
发明内容
本申请实施例提供一种体积视频的视频合拍方法、装置和计算机可读存储介质,可以提高视频合拍体验,进而提升体积视频的视频合拍的效率。
本申请实施例提供一种体积视频的视频合拍方法,包括:
获取虚拟对象对应的体积视频;
基于所述体积视频构建视频合拍画面,所述视频合拍画面包括所述虚拟对象以及所述虚拟对象对应的合拍对象;
获取所述合拍对象的位置信息,并基于所述位置信息和所述视频合拍画面,计算所述虚拟对象相对于所述合拍对象的虚拟对象位置信息;
根据所述虚拟对象位置信息,投射出所述虚拟对象对应的位置指示信息,所述位置指示信息用于在视频合拍过程中为所述合拍对象指示所述虚拟对象的当前位置;
基于所述位置指示信息生成所述合拍对象和所述虚拟对象的合拍视频。
相应的,本申请实施例提供一种体积视频的视频合拍装置,包括:
获取单元,用于获取虚拟对象对应的体积视频;
构建单元,用于基于所述体积视频构建视频合拍画面,所述视频合拍画面包括所述虚拟对象以及所述虚拟对象对应的合拍对象;
计算单元,用于获取所述合拍对象的位置信息,并基于所述位置信息和所述视频合拍画面,计算所述虚拟对象相对于所述合拍对象的虚拟对象位置信息;
投射单元,用于根据所述虚拟对象位置信息,投射出所述虚拟对象对应的位置指示信息,所述位置指示信息用于在视频合拍过程中为所述合拍对象指示所述虚拟对象的当前位置;
生成单元,用于基于所述位置指示信息生成所述合拍对象和所述虚拟对象的合拍视频。
在一实施例中,所述投射单元,包括:
指令发送子单元,用于将携带所述虚拟对象位置信息的投影指令发送至目标投影设备;
位置指示信息投射子单元,用于基于所述投影指令控制所述目标投影设备,基于所述虚拟对象位置信息投射出所述虚拟对象对应的位置指示信息。
在一实施例中,所述指令发送子单元,包括:
指令生成模块,用于基于所述虚拟对象位置信息生成针对所述虚拟对象的投影指令;
投影设备搜索模块,用于根据所述投影指令搜索目标投影设备,并基于待传输数据的数据类型确定与所述目标投影设备之间的通信连接方式;
通信连接模块,用于基于所述通信连接方式与所述目标投影设备建立通信连接关系,并基于所述通信连接关系将所述虚拟对象位置信息发送至所述目标投影设备。
在一实施例中,所述指令发送子单元,包括:
对象图像提取模块,用于在所述视频合拍画面中提取出所述虚拟对象对应的对象图像;
投影指令构建模块,用于基于所述对象图像以及所述虚拟对象位置信息构建投影指令;
投影指令发送模块,用于将所述投影指令发送至所述目标投影设备,以通过所述目标投影设备在所述虚拟对象位置信息对应的位置投射出所述对象图像。
在一实施例中,所述计算单元,包括:
位置差距识别子单元,用于在所述视频合拍画面中识别出所述虚拟对象与所述合拍对象之间的位置差距信息;
位置信息调节子单元,用于基于所述位置差距信息对所述位置信息进行位置信息调节处理,得到所述虚拟对象对应的虚拟对象位置信息。
在一实施例中,所述构建单元,包括:
视频拍摄画面获取子单元,用于获取视频拍摄画面,所述视频拍摄画面中包括合拍对象;
虚拟对象加载子单元,用于基于所述体积视频在所述视频拍摄画面中加载所述虚拟对象,得到视频合拍画面。
在一实施例中,所述生成单元,包括:
对象合拍图像获取子单元,用于基于所述位置指示信息获取对象合拍图像;
位置指示信息消除子单元,用于在所述对象合拍图像中识别出所述位置指示信息,并将所述位置指示信息在所述对象合拍图像中进行消除处理,得到目标合拍图像;
合拍视频生成子单元,用于根据所述目标合拍图像生成所述合拍对象和所述虚拟对象的合拍视频。
在一实施例中,所述位置指示信息消除子单元,包括:
光线参数提取模块,用于在所述对象合拍图像中确定出所述位置指示信息周围的图像区域,并在所述图像区域中提取出光线参数;
光线调节模块,用于基于所述光线参数对所述位置指示信息进行光线调节处理,以在所述对象合拍图像中消除所述位置指示信息,得到目标合拍图像。
此外,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例所提供的任一种体积视频的视频合拍方法中的步骤。
此外,本申请实施例还提供一种计算机设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本申请实施例提供的体积视频的视频合拍方法。
本申请实施例还提供一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行本申请实施例提供的体积视频的视频合拍方法中的步骤。
本申请实施例通过获取虚拟对象对应的体积视频;基于体积视频构建视频合拍画面,视频合拍画面包括虚拟对象以及虚拟对象对应的合拍对象;获取合拍对象的位置信息,并基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息;根据虚拟对象位置信息,投射出虚拟对象对应的位置指示信息,位置指示信息用于在视频合拍过程中为合拍对象指示虚拟对象的当前位置;基于位置指示信息生成合拍对象和虚拟对象的合拍视频。以此,通过在视频合拍过程中计算出虚拟对象基于合拍对象的虚拟对象位置信息,从而根据虚拟对象位置信息在现实空间中投射出虚拟对象对应的位置指示信息,以使合拍对象在视频合拍过程中基于位置指示信息获取到虚拟对象在视频合拍画面中的位置,实现合拍对象在视频合拍过程中与虚拟对象进行较为明确的互动,提高视频合拍体验,进而提升了视频合拍的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种体积视频的视频合拍方法实施场景示意图;
图2是本申请实施例提供的一种体积视频的视频合拍方法的流程示意图;
图3是本申请实施例提供的一种体积视频的视频合拍方法的视频合拍画面示意图;
图4是本申请实施例提供的一种体积视频的视频合拍方法的视频合拍示意图;
图5是本申请实施例提供的一种体积视频的视频合拍方法的另一视频合拍示意图;
图6是本申请实施例提供的体积视频的视频合拍装置的结构示意图;
图7是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
体积视频(Volumetric Video,又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。相对于传统的视频,体积视频将空间的概念加入到视频中,用三维模型来更好的还原真实三维世界,而不是以二维的平面视频加上运镜来模拟真实三维世界的空间感。由于体积视频实质为三维模型序列,使得用户可以随自己喜好调整到任意视角进行观看,较二维平面视频具有更高的还原度和沉浸感。
可选地,在本申请中,用于构成体积视频的三维模型可以按照如下方式重建得到:
先获取拍摄对象的不同视角的彩色图像和深度图像,以及彩色图像对应的相机参数;然后根据获取到的彩色图像及其对应的深度图像和相机参数,训练隐式表达拍摄对象三维模型的神经网络模型,并基于训练的神经网络模型进行等值面提取,实现对拍摄对象的三维重建,得到拍摄对象的三维模型。
应当说明的是,本申请实施例中对采用何种架构的神经网络模型不作具体限制,可由本领域技术人员根据实际需要选取。比如,可以选取不带归一化层的多层感知机(Multilayer Perceptron,MLP)作为模型训练的基础模型。
下面将对本申请提供的三维模型重建方法进行详细描述。
首先,可以同步采用多个彩色相机和深度相机对需要进行三维重建的目标物体(该目标物体即为拍摄对象)进行多视角的拍摄,得到目标物体在多个不同视角的彩色图像及对应的深度图像,即在同一拍摄时刻(实际拍摄时刻的差值小于或等于时间阈值即认为拍摄时刻相同),各视角的彩色相机将拍摄得到目标物体在对应视角的彩色图像,相应的,各视角的深度相机将拍摄得到目标物体在对应视角的深度图像。需要说明的是,目标物体可以是任意物体,包括但不限于人物、动物以及植物等生命物体,或者机械、家具、玩偶等非生命物体。
以此,目标物体在不同视角的彩色图像均具备对应的深度图像,即在拍摄时,彩色相机和深度相机可以采用相机组的配置,同一视角的彩色相机配合深度相机同步对同一目标物体进行拍摄。比如,可以搭建一摄影棚,该摄影棚中心区域为拍摄区域,环绕该拍摄区域,在水平方向和垂直方向每间隔一定角度配对设置有多组彩色相机和深度相机。当目标物体处于这些彩色相机和深度相机所环绕的拍摄区域时,即可通过这些彩色相机和深度相机拍摄得到该目标物体在不同视角的彩色图像及对应的深度图像。
此外,进一步获取每一彩色图像对应的彩色相机的相机参数。其中,相机参数包括彩色相机的内外参,可以通过标定确定,相机内参为与彩色相机自身特性相关的参数,包括但不限于彩色相机的焦距、像素等数据,相机外参为彩色相机在世界坐标系中的参数,包括但不限于彩色相机的位置(坐标)和相机的旋转方向等数据。
如上,在获取到目标物体在同一拍摄时刻的多个不同视角的彩色图像及其对应的深度图像之后,即可根据这些彩色图像及其对应深度图像对目标物体进行三维重建。区别于相关技术中将深度信息转换为点云进行三维重建的方式,本申请训练一神经网络模型用以实现对目标物体的三维模型的隐式表达,从而基于该神经网络模型实现对目标物体的三维重建。
可选地,本申请选用一不包括归一化层的多层感知机(Multilayer Perceptron,MLP)作为基础模型,按照如下方式进行训练:
基于对应的相机参数将每一彩色图像中的像素点转化为射线;
在射线上采样多个采样点,并确定每一采样点的第一坐标信息以及每一采样点距离像素点的SDF值;
将采样点的第一坐标信息输入基础模型,得到基础模型输出的每一采样点的预测SDF值以及预测RGB颜色值;
基于预测SDF值与SDF值之间的第一差异,以及预测RGB颜色值与像素点的RGB颜色值之间的第二差异,对基础模型的参数进行调整,直至满足预设停止条件;
将满足预设停止条件的基础模型作为隐式表达目标物体的三维模型的神经网络模型。
首先,基于彩色图像对应的相机参数将彩色图像中的一像素点转化为一条射线,该射线可以为经过像素点且垂直于彩色图像面的射线;然后,在该射线上采样多个采样点,采样点的采样过程可以分两步执行,可以先均匀采样部分采样点,然后再在基于像素点的深度值在关键处进一步采样多个采样点,以保证在模型表面附近可以采样到尽量多的采样点;然后,根据相机参数和像素点的深度值计算出采样得到的每一采样点在世界坐标系中的第一坐标信息以及每一采样点的有向距离(Signed Distance Field,SDF)值,其中,SDF值可以为像素点的深度值与采样点距离相机成像面的距离之间的差值,该差值为有符号的值,当差值为正值时,表示采样点在三维模型的外部,当差值为负值时,表示采样点在三维模型的内部,当差值为零时,表示采样点在三维模型的表面;然后,在完成采样点的采样并计算得到每一采样点对应的SDF值之后,进一步将采样点在世界坐标系的第一坐标信息输入基础模型(该基础模型被配置为将输入的坐标信息映射为SDF值和RGB颜色值后输出),将基础模型输出的SDF值记为预测SDF值,将基础模型输出的RGB颜色值记为预测RGB颜色值;然后,基于预测SDF值与采样点对应的SDF值之间的第一差异,以及预测RGB颜色值与采样点所对应像素点的RGB颜色值之间的第二差异,对基础模型的参数进行调整。
此外,对于彩色图像中的其它像素点,同样按照上述方式进行采样点采样,然后将采样点在世界坐标系的坐标信息输入至基础模型以得到对应的预测SDF值和预测RGB颜色值,用于对基础模型的参数进行调整,直至满足预设停止条件,比如,可以配置预设停止条件为对基础模型的迭代次数达到预设次数,或者配置预设停止条件为基础模型收敛。在对基础模型的迭代满足预设停止条件时,即得到能够对拍摄对象的三维模型进行准确地隐式表达的神经网络模型。最后,可以采用等值面提取算法对该神经网络模型进行三维模型表面的提取,从而得到拍摄对象的三维模型。
可选地,在一些实施例中,根据相机参数确定彩色图像的成像面;确定经过彩色图像中像素点且垂直于成像面的射线为像素点对应的射线。
其中,可以根据彩色图像对应的彩色相机的相机参数,确定该彩色图像在世界坐标系中的坐标信息,即确定成像面。然后,可以确定经过彩色图像中像素点且垂直于该成像面的射线为该像素点对应的射线。
可选地,在一些实施例中,根据相机参数确定彩色相机在世界坐标系中的第二坐标信息及旋转角度;根据第二坐标信息和旋转角度确定彩色图像的成像面。
可选地,在一些实施例中,在射线上等间距采样第一数量个第一采样点;根据像素点的深度值确定多个关键采样点,并根据关键采样点采样第二数量个第二采样点;将第一数量个的第一采样点与第二数量个的第二采样点确定为在射线上采样得到的多个采样点。
其中,先在射线上均匀采样n(即第一数量)个第一采样点,n为大于2的正整数;然后,再根据前述像素点的深度值,从n个第一采样点中确定出距离前述像素点最近的预设数量个关键采样点,或者从n个第一采样点中确定出距离前述像素点小于距离阈值的关键采样点;然后,根据确定出的关键采样点再采样m个第二采样点,m为大于1的正整数;最后,将采样得到的n+m个采样点确定为在射线上采样得到的多个采样点。其中,在关键采样点处再多采样m个采样点,可以使得模型的训练效果在三维模型表面处更为精确,从而提升三维模型的重建精度。
可选地,在一些实施例中,根据彩色图像对应的深度图像确定像素点对应的深度值;基于深度值计算每一采样点距离像素点的SDF值;根据相机参数与深度值计算每一采样点的坐标信息。
其中,在每一像素点对应的射线上采样了多个采样点后,对于每一采样点,根据相机参数、像素点的深度值确定彩色相机的拍摄位置与目标物体上对应点之间的距离,然后基于该距离逐一计算每一采样点的SDF值以及计算出每一采样点的坐标信息。
需要说明的是,在完成对基础模型的训练之后,对于给定的任意一个点的坐标信息,即可由完成训练的基础模型预测其对应的SDF值,该预测的SDF值即表示了该点与目标物体的三维模型的位置关系(内部、外部或者表面),实现对目标物体的三维模型的隐式表达,得到用于隐式表达目标物体的三维模型的神经网络模型。
最后,对以上神经网络模型进行等值面提取,比如可以采用等值面提取算法(Marching cubes,MC)绘制出三维模型的表面,得到三维模型表面,进而根据该三维模型表面得到目标物体的三维模型。
本申请提供的三维重建方案,通过神经网络去隐式建模目标物体的三维模型,并加入深度信息提高模型训练的速度和精度。采用本申请提供的三维重建方案,在时序上持续的对拍摄对象进行三维重建,即可得到拍摄对象在不同时刻的三维模型,这些不同时刻的三维模型按时序构成的三维模型序列即为对拍摄对象所拍摄得到的体积视频。以此,可以针对任意拍摄对象进行“体积视频拍摄”,得到特定内容呈现的体积视频。比如,可以对跳舞的拍摄对象进行体积视频拍摄,得到可以在任意角度观看拍摄对象舞蹈的体积视频,可以对教学的拍摄对象进行体积视频拍摄,得到可以在任意角度观看拍摄对象教学的体积视频,等等。
需要说明的是,本申请以下实施例涉及的体积视频可采用以上体积视频拍摄方式所拍摄得到。
本申请实施例提供一种体积视频的视频合拍方法、装置和计算机可读存储介质。其中,该体积视频的视频合拍装置可以集成在计算机设备中,该计算机设备可以是服务器,也可以是终端等设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以包括但不限于手机、电脑、投影设备、智能语音交互设备、智能家电、车载终端、飞行器等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
请参阅图1,以体积视频的视频合拍装置集成在计算机设备中为例,图1为本申请实施例所提供的体积视频的视频合拍方法的实施场景示意图,其中,该计算机设备可以为终端,该计算机设备可以获取虚拟对象对应的体积视频;基于体积视频构建视频合拍画面,视频合拍画面包括虚拟对象以及虚拟对象对应的合拍对象;获取合拍对象的位置信息,并基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息;根据虚拟对象位置信息,投射出虚拟对象对应的位置指示信息,位置指示信息用于在视频合拍过程中为合拍对象指示虚拟对象的当前位置;基于位置指示信息生成合拍对象和虚拟对象的合拍视频。
需要说明的是,图1所示的体积视频的视频合拍方法的实施环境场景示意图仅仅是一个示例,本申请实施例描述的体积视频的视频合拍方法的实施环境场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定。本领域普通技术人员可知,随着体积视频的视频合拍的演变和新业务场景的出现,本申请提供的技术方案对于类似的技术问题,同样适用。
本申请实施例提供的方案具体通过如下实施例进行说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从体积视频的视频合拍装置的角度进行描述,该体积视频的视频合拍装置具体可以集成在计算机设备中,该计算机设备可以是终端,本申请在此不作限制。
请参阅图2,图2是本申请实施例提供的体积视频的视频合拍方法的流程示意图。该体积视频的视频合拍方法包括:
在步骤101中,获取虚拟对象对应的体积视频。
其中,该虚拟对象可以为在虚拟空间中显示的对象,例如,可以为以体积视频形式显示的对象,该对象可以为真实存在的人、动物、植物以及其他物品等,该体积视频可以为虚拟对象的三维模型序列。
其中,获取虚拟对象对应的体积视频的方式可以有多种,例如,可以在候选虚拟对象集合中确定出需要进行视频合拍的虚拟对象,从而可以获取该虚拟对象对应的体积视频。其中,该候选虚拟对象集合可以为多个候选虚拟对象构成的整体。
在一实施例中,可以将本申请实施例提供的体积视频的视频合拍方法集成在终端中,该终端可以为视频拍摄终端,从而用户可以基于终端中显示的候选虚拟对象集合,在多个候选虚拟对象中选中想要进行视频合拍的虚拟对象,从而可以触发向云端请求获取该虚拟对象的体积视频数据,从而可以接收云端下发的体积视频数据,并对该体积视频数据进行解析,得到虚拟对象对应的体积视频。其中,获取虚拟对象的体积视频数据的时间可以根据实际情况进行设定,例如,在终端的存储资源较充足时,可以预先将候选虚拟对象对应的体积视频存储在本地存储中,从而可以提升视频合拍的响应速度,避免因网络状态影响体积视频数据的获取速度,在终端的存储资源较少时,可以在视频合拍过程中根据选中的虚拟对象来获取对应的体积视频数据,避免资源的不必要占用。
在步骤102中,基于体积视频构建视频合拍画面。
其中,该视频合拍画面可以包括虚拟对象以及虚拟对象对应的合拍对象,该合拍对象可以为与虚拟对象进行视频合拍的对象,该合拍对象可以为现实世界真实存在的人、动物或者物品等对象。
其中,基于体积视频构建视频合拍画面的方式可以有多种,例如,可以获取视频拍摄画面,基于体积视频在视频拍摄画面中加载虚拟对象,得到视频合拍画面。
其中,该视频拍摄画面中可以包括合拍对象,可以为图像采集设备采集到的拍摄画面,该图像采集设备可以为摄像头等设备,该视频合拍画面可以为将虚拟对象与合拍对象进行视频合拍的画面,例如,请参考图3,图3是本申请实施例提供的一种体积视频的视频合拍方法的视频合拍画面示意图,在视频合拍画面中,可以包括虚拟对象以及合拍对象,其中,合拍对象的图像以及视频合拍画面中的背景可以为通过图像采集设备实时采集到的,虚拟对象的图像为在视频合拍画面中加载的体积视频对应的三维模型序列中的图像。可选的,视频合拍画面中可以包括至少一个虚拟对象以及至少一个合拍对象。
其中,基于体积视频在视频拍摄画面中加载虚拟对象的方式可以有多种,例如,可以根据预设位置信息在视频拍摄画面中确定出虚拟对象的显示位置,在该显示位置上加载该虚拟对象的体积视频。其中,该预设位置信息可以为预先设定的用于指示虚拟对象在视频拍摄画面中显示的位置的信息,例如,可以为虚拟对象在视频拍摄画面中加载显示的位置的坐标,从而可以根据该预设位置信息将虚拟对象显示在视频拍摄画面中的左边、右边或者中间等位置,具体可以根据实际合拍情况进行设定,本申请在此不做限定。
可选的,基于体积视频在视频拍摄画面中加载虚拟对象的方式还可以有多种,例如,请继续参考图3,可以对视频拍摄画面进行识别,从而可以获取到视频拍摄画面中合拍对象以及视频拍摄画面的背景中其他物品等对象在视频拍摄画面中的位置分布,从而可以根据位置分布在视频拍摄画面中确定出适合显示虚拟对象的位置,从而可以在该位置中加载该虚拟对象等。
在步骤103中,获取合拍对象的位置信息,并基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息。
其中,该位置信息可以为包括合拍对象的位置的信息,例如,可以包括合拍对象的当前位置的坐标或者经纬度等信息,用于表征合拍对象的所在位置,该虚拟对象位置信息可以为包括视频合拍时虚拟对象在现实空间中的位置的信息,虚拟对象的位置可以为根据视频合拍画面中显示的虚拟对象与合拍对象之间的位置关系确定的视频合拍过程中虚拟对象在合拍对象所在现实空间中对应的位置,合拍对象可以在现实空间中观察到虚拟对象在合拍过程中所在的位置,从而可以更准确、更便捷的与虚拟对象进行视频合拍。
其中,获取合拍对象的位置信息的方式可以有多种,例如,可以通过红外功能来获取合拍对象的位置信息,譬如,可以通过投射红外线到合拍对象,从而可以接收到合拍对象的反射光能量来判断合拍对象与当前终端设备的距离,从而可以根据当前终端设备的位置以及合拍对象与当前终端设备的距离来计算出合拍对象的位置信息。可选的,合拍对象也可以在一个预先设定的固定位置中,从而可以获取到合拍对象的位置信息。
在获取合拍对象的位置信息之后,便可以基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息。其中,基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息的方式可以有多种,例如,可以在视频合拍画面中识别出虚拟对象与合拍对象之间的位置差距信息,基于位置差距信息对位置信息进行位置信息调节处理,得到虚拟对象对应的虚拟对象位置信息。
其中,该位置差距信息可以为包括虚拟对象与合拍对象在视频合拍画面中的位置差距的信息,可以为表征虚拟对象与合拍对象在视频合拍画面中的距离的信息。
其中,在视频合拍画面中识别出虚拟对象与合拍对象之间的位置差距信息的方式可以有多种,比如,可以分别在虚拟对象和合拍对象中识别出至少一个关键点,并分别计算虚拟对象对应的关键点的位置坐标以及合拍对象对应的关键点的位置坐标,从而可以计算每一对应关键点的位置坐标之间的差值,得到虚拟对象与合拍对象之间的位置差距信息。例如,该关键点可以包括虚拟对象以及合拍对象对应的头顶最高点以及脚底最低点,还可以包括虚拟对象以及合拍对象的眼睛、头部中心点、肩部等关键点,还可以包括虚拟对象以及合拍对象的中心点等,具体的关键点可以根据实际应用需求进行设定,本申请在此不做限定。譬如,假设该关键点可以为虚拟对象以及合拍对象对应的头顶最高点以及脚底最低点,同时,可以假设合拍对象的头顶最高点的位置坐标为(a1,b1),合拍对象的脚底最低点的位置坐标为(a2,b2),虚拟对象的头顶最高点的位置坐标为(a3,b3),虚拟对象的脚底最低点的位置坐标为(a4,b4),从而可以计算虚拟对象以及合拍对象对应的关键点的位置坐标之间的差值,得到虚拟对象与合拍对象之间的位置差距信息,可以包括头顶最高点对应的位置差距信息(a3-a1,b3-b1)以及脚底最低点对应的位置差距信息(a4-a2,b4-b2)。
在步骤104中,根据虚拟对象位置信息,投射出虚拟对象对应的位置指示信息。
其中,该位置指示信息可以为指示虚拟对象在视频合拍过程中的位置的信息,合拍对象可以肉眼观察到该位置指示信息,可以用于在视频合拍过程中为合拍对象指示虚拟对象的当前位置。该位置指示信息可以为一个光线形式的标识信息,例如,可以为一个标识“×”,或者一个光点,还可以为虚拟对象对应的二维图像、三维图像或者体积视频等,具体可以根据实际情况进行设定,本申请在此不做限定。可选的,可以在墙上、幕布上、地面上或者空中投射出位置指示信息,例如,请参考图4,图4是本申请实施例提供的一种体积视频的视频合拍方法的视频合拍示意图,可以在墙面上投射出位置指示信息对应的光线“×”,从而基于该位置指示信息,合拍对象可以在现实空间中观察到虚拟对象在合拍过程中所在的位置,从而可以更准确、更快速的与虚拟对象进行视频合拍过程中的互动,提高视频合拍体验,提升视频合拍效果。
其中,根据虚拟对象位置信息,投射出虚拟对象对应的位置指示信息的方式可以有多种,例如,可以将携带虚拟对象位置信息的投影指令发送至目标投影设备,基于投影指令控制目标投影设备,基于虚拟对象位置信息投射出虚拟对象对应的位置指示信息。
其中,该投影指令可以为请求投射虚拟对象的位置指示信息的指令,该目标投影设备可以为与当前终端设备建立连接的投影设备,该投影设备可以为用于投射出位置指示信息的设备,例如,可以为投影仪等具有投影功能的设备。
其中,将携带虚拟对象位置信息的投影指令发送至目标投影设备的方式可以有多种,例如,可以基于虚拟对象位置信息生成针对虚拟对象的投影指令,根据投影指令搜索目标投影设备,并基于待传输数据的数据类型确定与目标投影设备之间的通信连接方式,基于通信连接方式与目标投影设备建立通信连接关系,并基于通信连接关系将虚拟对象位置信息发送至目标投影设备。
其中,该待传输数据可以为当前终端设备与目标投影设备在建立连接之后要进行传输的数据,该数据类型可以包括文本、二维图像、三维图像以及体积视频等数据类型。该通信连接方式可以为建立通信连接的方式,例如,可以包括蓝牙连接、近场通信连接(NearField Communication,简称NFC)、无线网络通信连接(wifi)等无线通信连接方式,还可以采用数据线传输等有线方式建立通信连接。该通信连接关系可以为设备之间建立通信连接的关系。
其中,基于待传输数据的数据类型确定与目标投影设备之间的通信连接方式的方式可以有多种,例如,在待传输数据的数据类型只为文本(例如,只向目标投影设备传输虚拟对象位置信息)等数据传输量较小的数据时,可以采用蓝牙连接、NFC连接等通信连接方式,在待传输数据的数据类型包括图像、体积视频等数据量较大的数据时,可以采用有线传输的通信连接方式,以此提高数据传输的速率。
其中,需要说明的是,与目标投影设备建立通信连接的时间可以根据实际情况进行设定,例如,可以在获取到虚拟对象的虚拟对象位置信息之前与目标投影设备建立通信连接,也可以在获取到虚拟对象的虚拟对象位置信息之后与目标投影设备建立通信连接等,本申请在此不做限定。此外,在视频合拍过程中可以在首次传输数据之前与目标投影设备建立通信连接,在后续的视频合拍过程中可以基于通信连接关系将实时获取到的虚拟对象位置信息等数据实时发送到目标投影设备中。
可选的,该位置指示信息可以包括虚拟对象的图像,从而合拍对象可以在视频合拍过程中观察到虚拟对象的图像,从而可以根据虚拟对象的表情和动作与虚拟对象进行更加真实准确的合拍,提高视频合拍效果。具体的,可以在视频合拍画面中提取出虚拟对象对应的对象图像,基于对象图像以及虚拟对象位置信息构建投影指令,将投影指令发送至目标投影设备,以通过目标投影设备在虚拟对象位置信息对应的位置投射出对象图像。
其中,该对象图像可以为视频合拍画面中虚拟对象的图像,该图像可以为二维图像也可以为三维图像等,该对象图像可以作为虚拟对象的位置指示信息。
在一实施例中,可以通过目标投影设备来执行获取合拍对象的位置信息以及确定虚拟对象的位置等步骤,例如,可以将本申请实施例提供的体积视频的视频合拍方法集成在终端中,该终端可以为视频拍摄终端,例如手机终端等,可以通过该终端获取虚拟对象对应的体积视频,基于体积视频构建视频合拍画面,然后,可以根据视频合拍画面获取虚拟对象与合拍对象的实时拍摄信息,并将该实时拍摄信息发送给目标投影设备,以通过该目标投影设备获取合拍对象的位置信息,从而根据实时拍摄信息以及该位置信息确定出虚拟对象位置信息,并基于该虚拟对象位置信息生成虚拟对象对应的位置指示信息并进行投射,从而合拍对象可以根据该位置指示信息与虚拟对象进行准确的合拍互动,从而可以基于位置指示信息生成合拍对象和虚拟对象的合拍视频。
其中,该实时拍摄信息可以包括视频合拍画面的图像,也可以包括虚拟对象与合拍对象之间的相对位置,还可以包括虚拟对象的位置等信息。
在步骤105中,基于位置指示信息生成合拍对象和虚拟对象的合拍视频。
其中,该合拍视频可以为合拍对象与虚拟对象进行合拍得到的视频。
其中,基于位置指示信息生成合拍对象和虚拟对象的合拍视频的方式可以有多种,例如,可以基于位置指示信息获取对象合拍图像,在对象合拍图像中识别出位置指示信息,并将位置指示信息在对象合拍图像中进行消除处理,得到目标合拍图像,根据目标合拍图像生成合拍对象和虚拟对象的合拍视频。
其中,该对象合拍图像可以为将虚拟对象和合拍对象进行视频合拍得到的图像,可以在接收到视频录制指令时,基于当前的视频合拍画面开始进行合拍视频的录制,得到对象合拍图像。例如,请参考图5,图5是本申请实施例提供的一种体积视频的视频合拍方法的另一视频合拍示意图,由于虚拟对象的位置指示信息以光线的形式投射在合拍对象所在的现实空间中,因此,在进行视频合拍时,图像采集设备采集到的对象合拍图像中不仅包含虚拟对象、合拍对象以及合拍对象所在的背景,还包括虚拟对象的位置指示信息。因此,为了可以得到效果较好的合拍视频,需要将对象合拍图像中的位置指示信息进行消除,避免由于合拍视频中存在位置指示信息而使得合拍效果较差的问题。
其中,将位置指示信息在对象合拍图像中进行消除处理,得到目标合拍图像的方式可以有多种,例如,可以在对象合拍图像中确定出位置指示信息周围的图像区域,并在图像区域中提取出光线参数,基于光线参数对位置指示信息进行光线调节处理,以在对象合拍图像中消除位置指示信息,得到目标合拍图像。
其中,该图像区域可以为对象合拍图像中位于位置指示信息周围的区域,该图像区域的范围可以预先进行设定,例如,可以为图像区域中一个以位置指示信息的中心为中心坐标,并根据位置指示信息的面积大小设定固定边框长度的矩形区域,还可以以位置指示信息的中心为圆点,并根据位置指示信息的面积大小设定固定半价的圆形区域等,具体可以根据实际情况进行设定。该光线参数可以为图像区域在对象合拍图像中的光线参数,例如,可以包括亮度、强度、颜色值(RGB值,RGB即RGB color mode)等参数。以此,可以根据位置指示信息周围的图像区域的光线参数来对位置指示信息的光线进行光线调节处理,从而可以在对象合拍图像中消除该位置指示信息,得到不包含位置指示信息的目标合拍图像。
由以上可知,本申请实施例通过获取虚拟对象对应的体积视频;基于体积视频构建视频合拍画面,视频合拍画面包括虚拟对象以及虚拟对象对应的合拍对象;获取合拍对象的位置信息,并基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息;根据虚拟对象位置信息,投射出虚拟对象对应的位置指示信息,位置指示信息用于在视频合拍过程中为合拍对象指示虚拟对象的当前位置;基于位置指示信息生成合拍对象和虚拟对象的合拍视频。以此,通过在视频合拍过程中计算出虚拟对象基于合拍对象的虚拟对象位置信息,从而根据虚拟对象位置信息在现实空间中投射出虚拟对象对应的位置指示信息,以使合拍对象在视频合拍过程中基于位置指示信息获取到虚拟对象在视频合拍画面中的位置,实现合拍对象在视频合拍过程中与虚拟对象进行较为明确的互动,提高视频合拍体验,进而提升了视频合拍的效果。
为了更好地实施以上方法,本发明实施例还提供一种体积视频的视频合拍装置,该体积视频的视频合拍装置可以集成在计算机设备中,该计算机设备可以为终端。
例如,如图6所示,为本申请实施例提供的体积视频的视频合拍装置的结构示意图,该体积视频的视频合拍装置可以包括获取单元201、构建单元202、计算单元203、投射单元204和生成单元205,如下:
获取单元201,用于获取虚拟对象对应的体积视频;
构建单元202,用于基于该体积视频构建视频合拍画面,该视频合拍画面包括该虚拟对象以及该虚拟对象对应的合拍对象;
计算单元203,用于获取该合拍对象的位置信息,并基于该位置信息和该视频合拍画面,计算该虚拟对象相对于该合拍对象的虚拟对象位置信息;
投射单元204,用于根据该虚拟对象位置信息,投射出该虚拟对象对应的位置指示信息,该位置指示信息用于在视频合拍过程中为该合拍对象指示该虚拟对象的当前位置;
生成单元205,用于基于该位置指示信息生成该合拍对象和该虚拟对象的合拍视频。
在一实施例中,该投射单元204,包括:
指令发送子单元,用于将携带该虚拟对象位置信息的投影指令发送至目标投影设备;
位置指示信息投射子单元,用于基于该投影指令控制该目标投影设备,基于该虚拟对象位置信息投射出该虚拟对象对应的位置指示信息。
在一实施例中,该指令发送子单元,包括:
指令生成模块,用于基于该虚拟对象位置信息生成针对该虚拟对象的投影指令;
投影设备搜索模块,用于根据该投影指令搜索目标投影设备,并基于待传输数据的数据类型确定与该目标投影设备之间的通信连接方式;
通信连接模块,用于基于该通信连接方式与该目标投影设备建立通信连接关系,并基于该通信连接关系将该虚拟对象位置信息发送至该目标投影设备。
在一实施例中,该指令发送子单元,包括:
对象图像提取模块,用于在该视频合拍画面中提取出该虚拟对象对应的对象图像;
投影指令构建模块,用于基于该对象图像以及该虚拟对象位置信息构建投影指令;
投影指令发送模块,用于将该投影指令发送至该目标投影设备,以通过该目标投影设备在该虚拟对象位置信息对应的位置投射出该对象图像。
在一实施例中,该计算单元203,包括:
位置差距识别子单元,用于在该视频合拍画面中识别出该虚拟对象与该合拍对象之间的位置差距信息;
位置信息调节子单元,用于基于该位置差距信息对该位置信息进行位置信息调节处理,得到该虚拟对象对应的虚拟对象位置信息。
在一实施例中,该构建单元202,包括:
视频拍摄画面获取子单元,用于获取视频拍摄画面,该视频拍摄画面中包括合拍对象;
虚拟对象加载子单元,用于基于该体积视频在该视频拍摄画面中加载该虚拟对象,得到视频合拍画面。
在一实施例中,该生成单元205,包括:
对象合拍图像获取子单元,用于基于该位置指示信息获取对象合拍图像;
位置指示信息消除子单元,用于在该对象合拍图像中识别出该位置指示信息,并将该位置指示信息在该对象合拍图像中进行消除处理,得到目标合拍图像;
合拍视频生成子单元,用于根据该目标合拍图像生成该合拍对象和该虚拟对象的合拍视频。
在一实施例中,该位置指示信息消除子单元,包括:
光线参数提取模块,用于在该对象合拍图像中确定出该位置指示信息周围的图像区域,并在该图像区域中提取出光线参数;
光线调节模块,用于基于该光线参数对该位置指示信息进行光线调节处理,以在该对象合拍图像中消除该位置指示信息,得到目标合拍图像。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本申请实施例通过获取单元201获取虚拟对象对应的体积视频;构建单元202基于体积视频构建视频合拍画面,视频合拍画面包括虚拟对象以及虚拟对象对应的合拍对象;计算单元203获取合拍对象的位置信息,并基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息;投射单元204根据虚拟对象位置信息,投射出虚拟对象对应的位置指示信息,位置指示信息用于在视频合拍过程中为合拍对象指示虚拟对象的当前位置;生成单元205基于位置指示信息生成合拍对象和虚拟对象的合拍视频。以此,通过在视频合拍过程中计算出虚拟对象基于合拍对象的虚拟对象位置信息,从而根据虚拟对象位置信息在现实空间中投射出虚拟对象对应的位置指示信息,以使合拍对象在视频合拍过程中基于位置指示信息获取到虚拟对象在视频合拍画面中的位置,实现合拍对象在视频合拍过程中与虚拟对象进行较为明确的互动,提高视频合拍体验,进而提升了视频合拍的效果。
本申请实施例还提供一种计算机设备,如图7所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,该计算机设备可以是终端,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解,图7中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器301是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器302内的软件程序和/或模块,以及调用存储在存储器302内的数据,执行计算机设备的各种功能和处理数据。可选的,处理器301可包括一个或多个处理核心;优选的,处理器301可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器301中。
存储器302可用于存储软件程序以及模块,处理器301通过运行存储在存储器302的软件程序以及模块,从而执行各种功能应用以及体积视频的视频合拍。存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器302还可以包括存储器控制器,以提供处理器301对存储器302的访问。
计算机设备还包括给各个部件供电的电源303,优选的,电源303可以通过电源管理系统与处理器301逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元304,该输入单元304可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器301会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器302中,并由处理器301来运行存储在存储器302中的应用程序,从而实现各种功能,如下:
获取虚拟对象对应的体积视频;基于体积视频构建视频合拍画面,视频合拍画面包括虚拟对象以及虚拟对象对应的合拍对象;获取合拍对象的位置信息,并基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息;根据虚拟对象位置信息,投射出虚拟对象对应的位置指示信息,位置指示信息用于在视频合拍过程中为合拍对象指示虚拟对象的当前位置;基于位置指示信息生成合拍对象和虚拟对象的合拍视频。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。应当说明的是,本申请实施例提供的计算机设备与上文实施例中的适用于体积视频的视频合拍方法属于同一构思,其具体实现过程详见以上方法实施例,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种体积视频的视频合拍方法中的步骤。例如,该指令可以执行如下步骤:
获取虚拟对象对应的体积视频;基于体积视频构建视频合拍画面,视频合拍画面包括虚拟对象以及虚拟对象对应的合拍对象;获取合拍对象的位置信息,并基于位置信息和视频合拍画面,计算虚拟对象相对于合拍对象的虚拟对象位置信息;根据虚拟对象位置信息,投射出虚拟对象对应的位置指示信息,位置指示信息用于在视频合拍过程中为合拍对象指示虚拟对象的当前位置;基于位置指示信息生成合拍对象和虚拟对象的合拍视频。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种体积视频的视频合拍方法中的步骤,因此,可以实现本申请实施例所提供的任一种体积视频的视频合拍方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种体积视频的视频合拍方法、装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种体积视频的视频合拍方法,其特征在于,包括:
获取虚拟对象对应的体积视频;
基于所述体积视频构建视频合拍画面,所述视频合拍画面包括所述虚拟对象以及所述虚拟对象对应的合拍对象;
获取所述合拍对象的位置信息,并基于所述位置信息和所述视频合拍画面,计算所述虚拟对象相对于所述合拍对象的虚拟对象位置信息;
根据所述虚拟对象位置信息,投射出所述虚拟对象对应的位置指示信息,所述位置指示信息用于在视频合拍过程中为所述合拍对象指示所述虚拟对象的当前位置;
基于所述位置指示信息生成所述合拍对象和所述虚拟对象的合拍视频。
2.如权利要求1所述的体积视频的视频合拍方法,其特征在于,所述根据所述虚拟对象位置信息,投射出所述虚拟对象对应的位置指示信息,包括:
将携带所述虚拟对象位置信息的投影指令发送至目标投影设备;
基于所述投影指令控制所述目标投影设备,基于所述虚拟对象位置信息投射出所述虚拟对象对应的位置指示信息。
3.如权利要求2所述的体积视频的视频合拍方法,其特征在于,所述将携带所述虚拟对象位置信息的投影指令发送至目标投影设备,包括:
基于所述虚拟对象位置信息生成针对所述虚拟对象的投影指令;
根据所述投影指令搜索目标投影设备,并基于待传输数据的数据类型确定与所述目标投影设备之间的通信连接方式;
基于所述通信连接方式与所述目标投影设备建立通信连接关系,并基于所述通信连接关系将所述虚拟对象位置信息发送至所述目标投影设备。
4.如权利要求2所述的体积视频的视频合拍方法,其特征在于,所述将携带所述虚拟对象位置信息的投影指令发送至目标投影设备,包括:
在所述视频合拍画面中提取出所述虚拟对象对应的对象图像;
基于所述对象图像以及所述虚拟对象位置信息构建投影指令;
将所述投影指令发送至所述目标投影设备,以通过所述目标投影设备在所述虚拟对象位置信息对应的位置投射出所述对象图像。
5.如权利要求1所述的体积视频的视频合拍方法,其特征在于,所述基于所述位置信息和所述视频合拍画面,计算所述虚拟对象相对于所述合拍对象的虚拟对象位置信息,包括:
在所述视频合拍画面中识别出所述虚拟对象与所述合拍对象之间的位置差距信息;
基于所述位置差距信息对所述位置信息进行位置信息调节处理,得到所述虚拟对象对应的虚拟对象位置信息。
6.如权利要求1所述的体积视频的视频合拍方法,其特征在于,所述基于所述体积视频构建视频合拍画面,包括:
获取视频拍摄画面,所述视频拍摄画面中包括合拍对象;
基于所述体积视频在所述视频拍摄画面中加载所述虚拟对象,得到视频合拍画面。
7.如权利要求1至6中任一项所述的体积视频的视频合拍方法,其特征在于,所述基于所述位置指示信息生成所述合拍对象和所述虚拟对象的合拍视频,包括:
基于所述位置指示信息获取对象合拍图像;
在所述对象合拍图像中识别出所述位置指示信息,并将所述位置指示信息在所述对象合拍图像中进行消除处理,得到目标合拍图像;
根据所述目标合拍图像生成所述合拍对象和所述虚拟对象的合拍视频。
8.如权利要求7所述的体积视频的视频合拍方法,其特征在于,所述将所述位置指示信息在所述对象合拍图像中进行消除处理,得到目标合拍图像,包括:
在所述对象合拍图像中确定出所述位置指示信息周围的图像区域,并在所述图像区域中提取出光线参数;
基于所述光线参数对所述位置指示信息进行光线调节处理,以在所述对象合拍图像中消除所述位置指示信息,得到目标合拍图像。
9.一种体积视频的视频合拍装置,其特征在于,包括:
获取单元,用于获取虚拟对象对应的体积视频;
构建单元,用于基于所述体积视频构建视频合拍画面,所述视频合拍画面包括所述虚拟对象以及所述虚拟对象对应的合拍对象;
计算单元,用于获取所述合拍对象的位置信息,并基于所述位置信息和所述视频合拍画面,计算所述虚拟对象相对于所述合拍对象的虚拟对象位置信息;
投射单元,用于根据所述虚拟对象位置信息,投射出所述虚拟对象对应的位置指示信息,所述位置指示信息用于在视频合拍过程中为所述合拍对象指示所述虚拟对象的当前位置;
生成单元,用于基于所述位置指示信息生成所述合拍对象和所述虚拟对象的合拍视频。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的体积视频的视频合拍方法中的步骤。
11.一种计算机设备,其特征在于,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的体积视频的视频合拍方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现权利要求1至8中任一项所述的体积视频的视频合拍方法中的步骤。
CN202310214498.0A 2023-03-07 2023-03-07 体积视频的视频合拍方法、装置和计算机可读存储介质 Pending CN116233395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310214498.0A CN116233395A (zh) 2023-03-07 2023-03-07 体积视频的视频合拍方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310214498.0A CN116233395A (zh) 2023-03-07 2023-03-07 体积视频的视频合拍方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116233395A true CN116233395A (zh) 2023-06-06

Family

ID=86585438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310214498.0A Pending CN116233395A (zh) 2023-03-07 2023-03-07 体积视频的视频合拍方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116233395A (zh)

Similar Documents

Publication Publication Date Title
JP7169358B2 (ja) 高速立体再構成のための視点依存ブリック選択
WO2019233445A1 (zh) 对房屋进行数据采集和模型生成的方法
US20160150217A1 (en) Systems and methods for 3d capturing of objects and motion sequences using multiple range and rgb cameras
WO2018107910A1 (zh) 一种全景视频融合方法及装置
CN109218619A (zh) 图像获取方法、装置和系统
CN115294275A (zh) 三维模型的重建方法、装置及计算机可读存储介质
CN102171726A (zh) 信息处理装置、信息处理方法、程序以及信息存储介质
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
WO2019000464A1 (zh) 一种图像显示方法、装置、存储介质和终端
CN116095353A (zh) 基于体积视频的直播方法、装置、电子设备及存储介质
CN115442519B (zh) 视频处理方法、装置及计算机可读存储介质
CN115442658B (zh) 直播方法、装置、存储介质、电子设备及产品
CN115546408A (zh) 模型简化方法、装置、存储介质、电子设备及产品
CN116109974A (zh) 体积视频展示方法以及相关设备
CN116233395A (zh) 体积视频的视频合拍方法、装置和计算机可读存储介质
CN111292234A (zh) 一种全景图像生成方法及装置
US20240048780A1 (en) Live broadcast method, device, storage medium, electronic equipment and product
CN115830227A (zh) 三维建模方法、装置、存储介质、电子设备及产品
CN116017083A (zh) 视频回放控制方法、装置、电子设备及存储介质
CN115497029A (zh) 视频处理方法、装置及计算机可读存储介质
CN116170652A (zh) 体积视频的处理方法、装置、计算机设备及存储介质
KR102559717B1 (ko) 3d 인간 모델 생성 장치 및 방법
US20210358173A1 (en) Computationally efficient method for computing a composite representation of a 3d environment
CN116310245A (zh) 体积视频上挂载道具的方法、装置、介质、设备及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination