CN114900621A - 特效视频确定方法、装置、电子设备及存储介质 - Google Patents

特效视频确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114900621A
CN114900621A CN202210474744.1A CN202210474744A CN114900621A CN 114900621 A CN114900621 A CN 114900621A CN 202210474744 A CN202210474744 A CN 202210474744A CN 114900621 A CN114900621 A CN 114900621A
Authority
CN
China
Prior art keywords
image
pixel
special effect
uploaded
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210474744.1A
Other languages
English (en)
Other versions
CN114900621B (zh
Inventor
陈嘉俊
廖昀昊
沈怀烨
张胜
吴燊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210474744.1A priority Critical patent/CN114900621B/zh
Publication of CN114900621A publication Critical patent/CN114900621A/zh
Priority to PCT/CN2023/080505 priority patent/WO2023207354A1/zh
Application granted granted Critical
Publication of CN114900621B publication Critical patent/CN114900621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例提供了一种特效视频确定方法、装置、电子设备及存储介质,该方法包括:响应于特效触发操作,获取上传图像;根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像;基于所述目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。本公开实施例的技术方案,将用户所上传图像中的部分内容作为背景,使特效视频呈现出目标对象处于上传图像内的场景的视觉效果,满足了用户的个性化需求。

Description

特效视频确定方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域,尤其涉及一种特效视频确定方法、装置、电子设备及存储介质。
背景技术
随着网络技术的发展,越来越多的应用程序进入了用户的生活,尤其是一系列可以拍摄短视频的软件,深受用户的喜爱。
为了提高视频拍摄的趣味性,相关应用软件可以为用户提供多种特效视频制作功能,然而,目前为用户提供的特效视频制作功能十分有限,最终得到的特效视频的趣味性有待进一步提升,同时,并未考虑用户希望更改视频中背景画面的个性化需求,从而降低了用户的使用体验。
发明内容
本公开提供一种特效视频确定方法、装置、电子设备及存储介质,将用户所上传图像中的部分内容作为背景,使特效视频呈现出目标对象处于上传图像内的场景的视觉效果,满足了用户的个性化需求。
第一方面,本公开实施例提供了一种特效视频确定方法,包括:
响应于特效触发操作,获取上传图像;
根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像;
基于所述目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。
第二方面,本公开实施例还提供了一种特效视频确定装置,包括:
图像获取模块,用于响应于特效触发操作,获取上传图像;
目标视角图像模块,用于根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像;
特效视频帧生成模块,用于基于所述目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。
第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的特效视频确定方法。
第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的特效视频确定方法。
本公开实施例的技术方案,响应于特效触发操作,获取上传图像,即获取到用于生成特效视频背景的数据基础,根据拍摄设备的位置信息,从与上传图像相对应的3D图像环绕场景中确定目标视角图像,进一步的,基于目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作,不仅将用户所上传图像中的部分内容作为背景,使特效视频呈现出目标对象处于上传图像内的场景的视觉效果,增强了特效视频的趣味性,还满足了用户的个性化需求,提升了用户在制作特效视频过程中的使用体验。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例所提供的一种特效视频确定方法流程示意图;
图2为本公开实施例所提供的一种特效视频确定装置结构示意图;
图3为本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
在介绍本技术方案之前,可以先对本公开实施例的应用场景进行示例性说明。示例性的,当用户通过应用软件拍摄视频,或者,与其他用户进行视频通话时,可能希望使拍摄得到的视频更具趣味性,同时,用户可能对特效视频的画面有个性化需求,例如,某些用户希望将视频画面中的背景替换为特定的内容,此时,可以根据本实施例的技术方案,在获取到用户上传的图像后,从该图像对应的3D图像环绕场景中确定出一幅目标视角图像,进而将目标视角图像与目标对象进行融合,生成特效视频,从而使特效视频画面呈现出目标对象处于上传图像内的场景的视觉效果。
图1为本公开实施例所提供的一种特效视频确定方法流程示意图,本公开实施例适用于在满足用户个性化需求的同时,生成更具趣味性的特效视频的情形,该方法可以由特效视频确定装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。
如图1所示,所述方法包括:
S110、响应于特效触发操作,获取上传图像。
其中,执行本公开实施例提供的特效视频确定方法的装置,可以集成在支持特效视频处理功能的应用软件中,且该软件可以安装至电子设备中,可选的,电子设备可以是移动终端或者PC端等。应用软件可以是对图像/视频处理的一类软件,其具体的应用软件在此不再一一赘述,只要可以实现图像/视频处理即可。还可以是专门研发的应用程序,来实现添加特效并将特效进行展示的软件中,亦或是集成在相应的页面中,用户可以通过PC端中集成的页面来实现对特效视频的处理。
需要说明的是,本实施例的技术方案可以在基于移动端实时摄像的过程中执行,也可以在系统接收到用户主动上传的视频数据后执行。例如,当用户基于终端设备上的摄像装置实时拍摄视频时,应用软件检测到特效触发操作,即可对该操作进行响应,进而获取上传图像并对用户当前拍摄的视频进行处理,得到特效视频。或者,当用户通过应用软件主动上传视频数据,并执行特效触发操作时,应用同样会对该操作进行响应,进而在获取上传图像后对用户主动上传的视频数据进行处理,从而得到特效视频。
可选的,响应于特效触发操作,弹出图像上传框;基于对图像上传框的触发操作,确定上传图像。
其中,特效触发操作包括下述至少一种:触发特效视频制作控件;监听到语音信息中包括特效添加指令;检测到显示界面中包括面部图像。具体来说,应用软件中可以预先开发出一个用于触发并运行特效视频制作程序的控件,该控件即是特效视频制作控件,基于此,当应用检测到用户触发该控件时,即可运行特效视频制作程序,以对所获取的上传图像进行处理。还可以是,基于终端设备上部署的麦克风阵列采集语音信息,并对语音信息分析处理,若处理结果中包括特效视频处理的词汇,则说明触发了对当前视频进行特效处理的功能。基于语音信息的内容来确定是否执行特效视频处理的好处在于,避免用户与显示页面的交互,提高了特效视频处理的智能性。另一种实现方式可以是,根据移动终端的拍摄视野范围,确定视野范围内是否包含用户的面部图像,当检测到用户的面部图像时,应用软件即可将检测到面部图像这一事件作为对视频进行特效处理的触发操作。本领域技术人员应当理解,具体选择何种事件作为特效视频处理的条件可以根据实际情况进行设置,本公开实施例在此不做具体的限定。
在本实施例中,当应用软件对特效触发操作进行响应后,即可获取上传图像。可选的,当检测到触发图像上传框时,调取图像库,以将在图像库中触发选择的图像作为上传图像;或,当检测到触发图像上传框时,调取摄像装置,以基于摄像装置拍摄上传图像。
其中,上传图像即是用户主动上传的图像,例如,显示有某景区画面的全景图像。图像上传框即是预先开发并集成至应用软件中的控件,如,一个包含有加号的圆形图标。基于此,当用户触发图像上传控件时,既可以触发应用软件调取移动终端上的图像库,或触发应用软件调取与其相关联的云端图像库,进而根据用户的选择结果确定出上传图像,还可以触发应用软件调取移动终端摄像装置的相关接口,从而获取到摄像装置拍摄的图像,并将该图像作为上传图像。
示例性的,当用户利用移动终端的摄像装置实时拍摄视频,并触发显示界面中所展示的图像上传框时,应用软件根据用户对图像上传框的触发操作,可以自动打开移动终端内的“相册”,并将“相册”内的图像展示在显示界面上,当检测到用户对某一幅图像的触发操作时,即表明用户希望将该图像的画面作为特效视频的背景,进一步的,用户选择的图像会上传至应用软件对应的服务端或客户端,从而使应用软件将该图像作为上传图像。或者,当用户利用移动终端的摄像装置实时拍摄视频,并触发显示界面中所展示的图像上传框时,应用软件可以在摄像装置实时拍摄的视频中,直接获取当前时刻的视频帧,并将该视频帧作为上传图像。当然,在实际应用过程中,当上传图像为全景图像时,应用可以在响应图像上传框的触发操作时获取多个视频帧,并将多个视频帧的画面进行拼接处理,从而将最终得到的图像作为上传图像,本公开实施例对此不再赘述。
可选的,在确定上传图像后,还可以确定上传图像的像素比例信息;根据像素比例信息和预设像素比例,将上传图像处理为目标像素比例的补全图像;基于补全图像,确定3D图像环绕场景。
其中,上传图像的像素比例信息可以由图像的宽高比来表示,例如,当上传图像的宽度为6个单位长度,高度为1个单位长度时,其宽高比即是6:1,相应的,其像素比例信息也为6:1。在本实施例中,当应用软件获取到上传图像后,通过运行图像属性确定程序,即可自动确定出上传图像的像素比例信息,当然,在实际应用过程中,当上传图像携带有表征自身宽高比的信息时,应用软件也可以直接调取该信息,从而将该属性信息作为上传图像的像素比例信息。
在本实施例中,预设像素比例即是基于应用软件预先设置的一个图像宽高比信息,可以理解为,预设像素比例即是应用软件选择何种方式对上传图像进行处理的判断依据,例如,预设像素比例可以设置为4:1,当然,在实际应用过程中,该参数可以根据特效视频处理的实际需求进行调整,本公开实施例对此不作具体的限定。
在本实施例中,当应用软件获取到上传图像,并确定出上传图像的像素比例信息以及预设像素比例后,即可基于上述信息对上传图像进行补全处理。其中,当上传图像的像素比例信息与预设像素比例不一致时,补全图像即是对上传图像的内容进行填充、并对上传图像的宽高比进行调整后所得到的图像,例如,当上传图像的像素比例信息大于预设像素比例时,应用软件可以对上传图像的顶部和底部进行补全,当上传图像的像素比例信息小于预设像素比例时,应用软件可以对上传图像的左侧和右侧进行补全。可以理解,补全图像的像素比例信息与预设像素比例相一致,下面对上传图像的补全过程进行说明。
在本实施例中,在像素比例信息大于预设像素比例的条件下,以上传图像长边为填充基准进行像素点填充处理,得到目标像素比例的补全图像;或,在像素比例信息大于预设像素比例的条件下,对上传图像裁剪处理,以得到目标像素比例的补全图像。
在本实施例中,当上传图像的像素比例大于预设像素比例时,表明上传图像长边与短边的比例过大,可以理解为,当上传图像的长边对应图像的上下两侧时,应用软件需要对上传图像的顶部和底部进行补全处理。
具体的,应用软件需要在上传图像中确定出多行像素点,并选择最顶端一行的像素点,进一步的,读取这一行各个像素点的RGB值,并根据预先编写的平均值函数计算出这一行像素点的RGB均值,可以理解,该计算结果即是上传图像的顶端像素均值。同样地,确定上传图像最底端一行像素点的RGB均值的过程与上述过程相似,本公开实施例对此不再赘述。当应用确定出顶端一行像素点的RGB均值,以及最底端一行像素点的RGB均值后,需要在上传图像顶部以及底部分别确定出一片区域,即,与上传图像顶部相连接一片区域,以及与上传图像底部相连接的一片区域。进一步的,根据顶端一行像素点的RGB均值对顶部连接的这片区域的颜色进行填充,同时,根据底端一行像素点的RGB均值对底部连接的区域的颜色进行填充,即得到满足预设像素比例的补全图像。
在本实施例中,当上传图像的像素比例信息大于预设像素比例时,仅在上传图像顶部以及底部分别连接一片区域,并根据两个RGB均值对区域的颜色进行填充后,初步得到的补全图像的显示效果不佳,也即是说,上传图像在上下两个边界上与新添加区域之间的衔接过于突兀,因此,为了进一步优化所得到的补全图像的显示效果,还可以在原始的上传图像的顶部区域以及底部区域分别确定出特定宽度的过渡区域。
在本实施例中,当上传图像的像素比例信息大于预设像素比例时,还可以对上传图像进行裁减处理,例如,当上传图像的像素比例信息为8:1,而预设像素比例为4:1时,应用可以直接对上传图像的左右两侧分别进行裁减处理,即,对上传图像左侧沿长边裁减两个单位长度的内容,同时对上传图像右侧沿长边裁减两个单位长度的内容,可以理解,经过裁减处理得到的补全图像同样可以满足预设像素比例的要求。
可选的,根据目标像素比例和像素比例信息,确定像素填充宽度;以上传图像的一个长边为基准,根据像素填充宽度进行像素点填充,得到补全图像;或,以上传图像的两个长边为基准,根据像素填充宽度进行填充,得到补全图像;像素填充宽度内像素点的像素值与相应长边的像素值相匹配。
其中,应用软件根据预设过渡比例可以确定出相应的边缘宽度信息,边缘宽度信息用于在上传图像内划分出一定的区域,例如,当预设过渡比例为1/8,且上传图像短边的宽度为8个单位长度时,应用根据上述信息可以在上传图像的顶部区域确定出1个单位长度的第一边缘宽度,同时,根据上述信息在上传图像的底部区域确定出1个单位长度的第二边缘宽度,可以理解,在实际应用过程中,当针对于上传图像顶部以及底部的预设过渡比例不同时,应用在图像顶部和底部最终确定出的边缘宽度的值也存在差异,具体的预设过渡比例可以根据实际需求进行调整,本公开实施例对此不作具体的限定。
当应用分别在上传图像顶部区域和底部区域确定出共计两个单位长度的区域后,可以读取顶部1个单位长度内各行像素点的像素值,并读取底部1个单位长度内各行像素点的像素值。进一步的,将顶部各行像素点的像素值以及顶端像素均值代入至预先编写的平均值计算函数中,即可得到分别与顶部区域1个单位长度内各行像素点对应的多个像素均值,同样地,将底部各行像素点的像素值以及底端像素均值代入至预先编写的平均值计算函数中,即可得到分别与底部区域1个单位长度内各行像素点对应的多个像素均值,可以理解,计算得到的与各行像素点分别对应的像素均值即是上传图像的过渡像素值。
最后,将各行像素点的过渡像素值对相应像素点的颜色属性信息进行更新,并根据顶端像素均值以及底端像素均值为相应像素点赋予颜色属性信息,即可得到上传图像对应的补全图像,同时,通过在上传图像的顶部划分出过渡区域并添加补全区域,在上传图像的底部划分出过渡区域并添加补全区域,可以使得到的补全图像满足目标像素比例,在实际应用过程中,目标像素比例可以是2:1,当然,在实际应用过程中,目标像素比例可以根据实时的特效视频处理需求进行调整,本公开实施例对此不作具体的限定。
示例性的,当上传图像的像素比例信息为8:1,而预设像素比例为4:1时,应用软件需要在上传图像的顶部以及底部分别增加多行像素点,需要说明的是,在添加多行像素点的过程中,顶部添加的像素点行数可以与底部添加的像素点行数相一致。在多行像素点添加完毕后,应用即可根据顶端像素均值(即最顶端一行像素点的RGB均值)为在顶部增加的多行像素点赋予颜色属性信息,根据底端像素均值(即最底端一行像素点的RGB均值)为在底部增加的多行像素点赋予颜色属性信息。进一步的,根据预设过渡比例以及上传图像的短边宽度信息,即可在上传图像的顶部区域和底部区域分别划分出两个过渡区域,在计算得到过渡区域内各行像素点的像素均值后,即可基于像素均值对两片区域内像素点原有的颜色属性信息进行更新,从而得到像素比例为2:1的、与上传图像相对应的补全图像。
在本实施例中,当上传图像的像素比例大于预设像素比例时,对上传图像的顶部以及底部增加多行像素点,并根据预设过渡比例在上传图像上划分出过渡区域的好处在于,不仅使得到的补全图像满足目标像素比例,便于应用对图像执行后续处理,同时也进一步优化了图像的显示效果,使最终渲染得到的图像内容更加自然。
在本实施例中,还可能存在上传图像的像素比例信息小于预设像素比例的情况,可选的,在像素比例信息小于预设像素比例,则将上传图像镜像处理,以得到目标像素比例的补全图像。
本领域技术人员应当理解,图像的镜像处理分为水平镜像、垂直镜像和对角镜像三种,在本实施例中,由于上传图像的像素比例信息小于预设像素比例,因此,需要对上传图像做水平镜像处理,即,将上传图像的画面以图像左侧边缘轴线或右侧边缘轴线为中心进行镜像对换,从而得到多幅水平排列的上传图像,可以理解,对于相邻的任意两幅图像来说,图像的画面会呈现出镜像对换的视觉效果。进一步的,当由多幅镜像图像拼接得到的图像满足目标像素比例时,该拼接图像即是上传图像对应的补全图像。
需要说明的是,若像素比例信息小于预设像素比例,且等于目标像素比例,则将上传图像作为补全图像。也即是说,当上传图像在未处理前,其长边与短边的比值已经等于目标像素比例时,应用则无需对上传图像进行补全处理,并直接将上传图像作为后续过程中所使用的补全图像,本公开实施例对此不再赘述。
在本实施例中,当应用软件确定出上传图像对应的补全图像后,即可根据该补全图像确定出相应的3D图像环绕场景,可选的,基于补全图像,确定与长方体包围盒相对应的六个面片贴图;基于六个面片贴图,确定与上传图像相对应的3D图像环绕场景。
其中,3D图像环绕场景由至少六个面片贴图构成,同时,3D图像环绕场景是与至少六个面片构成的长方体相对应,本领域技术人员应当理解,面片是指支持图像渲染处理的应用软件中的网格(mesh),可以理解为,应用软件中用于承载图像的对象,每一个面片由两个三角构成,且包含多个顶点,相应的,根据这些顶点的信息,也可以确定出这些顶点所属的面片。基于此可以理解,在本实施例中,3D图像环绕场景的六个面片分别承载补全图像上的部分画面,进而在虚拟相机位于长方体中心时,将各个面片的上的画面从不同的角度渲染至显示界面上。
示例性的,当上传图像为某一景区的图像,且应用软件已经为该上传图像确定出相应的补全图像后,即可在补全图像上划分出六个不同的区域,并在虚拟空间内构建出一个三维空间坐标系、以及由六个空白的面片贴图构成的长方体包围盒模型,进一步的,将补全图像上六部分的内容按照顺序依次贴图至该长方体包围盒模型的六个面片上,即得到3D图像环绕场景。
需要说明的是,在将补全图像上的画面贴图至长方体包围盒的六个面片的过程中,为了保证映射的精确度,可以先在三维空间空间坐标系内构建出一个与长方体包围盒拥有同一中心点的球体模型,基于此,可以将补全图像上各像素点的属性信息(如RGB值)映射至球体表面上,进一步的,基于三角函数确定出球体表面各点与长方体包围盒上各点之间的换算关系,根据该换算关系即可将球体表面上各像素点的属性信息映射至长方体包围盒6个面片上,从而实现将补全图像上六个区域的画面贴图至长方体包围盒上的效果。
S120、根据拍摄设备的位置信息,从与上传图像相对应的3D图像环绕场景中确定目标视角图像。
在本实施例中,当应用软件根据补全图像确定出与上传图像相对应的3D图像环绕场景后,即可将3D图像环绕场景中的画面与实时获取的图像进行融合。在实际应用过程中,由于显示界面的尺寸有限,在界面上渲染的图像仅包含3D图像环绕场景中的一部分,因此,应用软件还需要确定出拍摄设备的位置信息,进而根据该信息在3D图像环绕场景中确定出相应的画面,可以理解,该画面即是用户在拍摄设备处于当前位置时能够看到的内容,包含该画面的图像即是目标视角图像,同时,目标视角图像也是需要与实时获取的画面进行融合并渲染至显示界面中的图像。
可选的,实时或周期性获取拍摄设备的位置信息;基于位置信息,确定拍摄设备的旋转角度,并确定旋转角度对应于3D图像环绕场景中的目标视角图像。
其中,位置信息即是用于反映用户当前视角的信息,该信息是基于拍摄设备中部署的陀螺仪或惯性测量单元确定的,本领域技术人员应当理解,陀螺仪即是用高速回转体的动量矩敏感壳体相对惯性空间绕正交于自转轴的一个或两个轴的角运动检测装置,当然,利用其他原理制成的脚运动检测装置并起到同样功能的装置也可以称为陀螺仪。惯性测量单元则是测量物体三轴姿态角(或角速率)以及加速度的装置,一般的,一个惯性测量单元可以包含三个单轴的加速度计和三个单轴的陀螺,加速度计检测物体在载体坐标系系统独立三轴的加速度信号,而陀螺检测载体相对于导航坐标系的角速度信号,并测量物体在三维空间中的角速度和加速度,进而计算出物体在当前时刻的姿态,本公开实施例在此不再赘述。
在本实施例中,当用户利用拍摄设备或移动终端上的拍摄装置拍摄视频时,应用即可利用陀螺仪或惯性测量单元实时地确定出其位置信息,如,在用户拍摄的过程中,上述两种装置实时地将检测到的信息传递给应用软件,从而实时地确定位置信息,可以理解,在实时确定位置信息的情况下,在最终得到的特效视频中,作为背景的3D图像环绕场景中的画面可能不断发生变化;或者,陀螺仪或惯性测量单元可以将检测到的信息周期性地传递给应用软件,从而在用户拍摄视频的过程中,确定出与各时段相对应的位置信息,例如,上述装置将检测到的信息每隔十秒传递给应用,以使应用确定出位置信息,在最终得到的特效视频中,作为背景的3D图像环绕场景中的画面每隔十秒才可能发生变化,当应用部署于移动端时,通过周期性地确定位置信息,可以减少对终端计算资源的消耗,从而进一步提升特效视频的处理效率。
在本实施例中,当确定出位置信息后,即可根据该信息确定拍摄设备的旋转角度,进而根据该角度在3D图像环绕场景中确定出特定的画面,该画面对应的图像即是目标视角图像,可以理解,该图像的内容即是用户在拍摄设备当前的姿态下,可以在3D图像环绕场景中观察到的部分。
示例性的,将虚拟三维空间坐标系的原点表示拍摄设备的位置,并确定出其位置信息后,应用即可在包围着原点的长方体包围盒上,确定出与拍摄设备当前位置信息相对应的一部分区域,可以理解,该部分区域的画面即是用户在当前时刻可以观察到的画面,进一步的,构建出一个空白的图像,并读取该部分区域所处面片上各像素点的信息后,即可根据像素点信息在空白图像上进行绘制,从而得到目标视角图像。
S130、基于目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。
在本实施例中,当应用确定出目标视角图像后,为了得到特效视频,还需要在用户实时拍摄的视频画面内确定出目标对象。其中,视频画面内的目标对象既可以是动态的,也可以是静态的,同时,目标对象的数量可以是一个或多个,例如,可以将多名特定的用户作为目标对象,基于此,当应用基于预先训练好的图像识别模型,从实时拍摄的视频画面中识别到其中一名或多名特定用户的面部特征时,即可执行本公开实施例的特效视频处理过程。
在本实施例中,当应用确定出目标视角图像,并在视频画面中确定出目标对象后,即可基于上述图像数据生成对应的特效视频帧。其中,特效视频帧中可以包括背景图像以及前景图像,背景图像即是目标视角图像,前景图像即是目标对象对应的画面,可以理解,前景图像叠加显示于背景图像上,可以对背景图像全部区域或部分区域进行遮挡,从而使构建的特效视频帧更具层次感。下面对生成特效视频帧的过程进行说明。
可选的,获取待处理视频帧中的目标对象;将目标对象与目标视角图像融合处理,得到与待处理视频帧相对应的特效视频帧。
具体的,当应用获取到用户实时拍摄的视频,并从画面中识别到目标对象时,可以对该视频进行解析,从而得到与当前时刻对应的待处理视频帧,进一步的,基于预先编写的抠图程序从待处理视频帧中提取出目标对象对应的视图,本领域技术人员应当理解,抠图即是把图像或影像从某一部分原始图像或视频帧中分离出来,得到单独的图层的处理操作,在本实施例中,通过抠图处理得到的视图即是与目标对象对应的图像。
进一步的,将包含目标对象的视图与目标视角图像融合处理后,即得到与待处理视频帧相对应的特效视频帧。示例性的,当应用在待处理视频帧中识别到作为目标对象的一名用户时,可以通过抠图处理操作得到仅包含该用户的视图,同时,由于应用已经在于某一景区全景图像对应的3D图像环绕场景中,确定出目标视角图像,基于此,应用即可将该景区部分画面与该用户的画面进行融合,得到特效视频帧,可以理解,特效视频帧内的画面可以呈现出该用户当前在该景区内拍摄视频的视觉效果。
需要说明的是,在实际应用过程中,应用还可以于显示界面展示至少一幅待选择3D图像环绕场景,以基于对至少一幅待选择3D图像环绕场景的触发操作,确定3D图像环绕场景。
示例性的,应用内可以预先集成与多种画面相对应的3D图像环绕场景,并存储于特定的存储空间,或与应用相关联的云服务器中,对于用户来说,这些场景即是待选择3D图像环绕场景,例如,与某一特定户外风景区相对应的3D图像环绕场景,以及与某一室内展览馆相对应的3D图像环绕场景。进一步的,可以预先开发多个控件,每个控件都与特定的3D图像环绕场景相关联,且携带有特定的标识,如,应用中预先开发两个控件,第一个控件下方的标识为“景区场景”,第二个控件下方的标识为“展览馆场景”。在此基础上,当检测到用户触发第一个控件时,应用即可调用与该控件关联的数据,即与特定户外风景区相对应的3D图像环绕场景,从而执行上述特效视频帧生成过程。当然,在实际应用过程中,在应用中集成的待选择3D图像环绕场景的内容及数量可以根据实际需求进行调整,同时,本领域技术人员应当理解,对于按照本公开实施例实时生成的3D图像环绕场景来说,应用也可以将其作为待选择3D图像环绕场景进行存储,进而由用户对该场景随时进行调用,本公开实施例对此不作具体的限定。
在本实施例中,当应用生成特效视频帧后,即可将特效视频帧中各像素点的信息写入至渲染引擎中,从而使渲染引擎在显示界面中渲染出对应的画面。其中,渲染引擎即是控制GPU对相关图像进行渲染的程序,即,可以使计算机完成对特效视频帧的绘制任务,本公开实施例对此不再赘述。
在本实施例中,当应用检测到停止特效视频拍摄的操作时,便不再执行本公开实施例上述处理步骤。其中,停止特效视频拍摄的操作,包括下述至少一种:检测到触发停止拍摄控件;检测到特效视频的拍摄时长达到预设拍摄时长;检测到触发停止拍摄的唤醒词;检测到触发停止拍摄的肢体动作。下面对上述条件分别进行说明。
具体的,对于上述第一种停止特效视频拍摄的操作来说,可以预先在应用软件中开发出一个控件,同时,将终止特效视频处理的程序与该控件进行关联,该控件即是停止拍摄控件。基于此,当检测到用户触发该控件时,应用软件即可调用相关程序,从而终止对当前时刻以及该时刻之后的各待处理视频帧的处理操作,可以理解,用户触发控件的方式有多种,示例性的,当客户端安装部署于PC端时,用户可以通过鼠标点击的方式触发停止拍摄控件,当客户端安装部署于移动终端上时,用户可以通过手指触控的方式触发停止拍摄控件,本领域技术人员应当理解,具体的触控方式可以根据实际情况进行选择,本公开实施例对此不做具体的限定。
对于上述第二种停止特效视频拍摄的操作来说,应用可以预先设置一个时长作为预设拍摄时长,并对用户拍摄视频的时长进行记录,进一步的,将记录结果与预设拍摄时长进行比对,当判断用户拍摄时长已经达到预设拍摄时长时,即可终止对当前时刻以及该时刻之后的各待处理视频帧的处理操作。
对于上述第三种停止特效视频拍摄的操作来说,可以在应用软件中预先设置特定的信息作为停止拍摄的唤醒词,例如,将“停止”、“停止拍摄”以及“停止处理”等词汇中的一个或多个作为停止拍摄的唤醒词,基于此,当应用软件接收到用户发出的语音信息后,可以利用预先训练好的语音识别模型对语音信息进行识别,并判断识别结果中是否包含上述预设的特效挂载唤醒词中的一个或多个,当判断结果为是时,应用即可终止对当前时刻以及该时刻之后的各待处理视频帧的处理操作。
对于上述第四种停止特效视频拍摄的操作来说,可以在应用软件中录入多个人的动作信息,并将这些动作信息作为预设动作信息,例如,将反映人举起双手这一动作的信息作为预设动作信息,基于此,当应用接收到用户主动上传或利用摄像装置实时采集的图像或视频时,可以基于预先训练好的肢体动作信息识别算法对图像或各视频帧中的画面进行识别,当识别结果表明当前画面中目标对象的肢体动作信息与预设动作信息相一致时,应用即可终止对当前时刻以及该时刻之后的各待处理视频帧的处理操作。
需要说明的是,上述特效挂载条件可以同时生效于应用软件中,也可以仅选择其中一个或多个生效于应用软件中,本公开实施例对此不作具体的限定。
本公开实施例的技术方案,响应于特效触发操作,获取上传图像,即获取到用于生成特效视频背景的数据基础,根据拍摄设备的位置信息,从与上传图像相对应的3D图像环绕场景中确定目标视角图像,进一步的,基于目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作,不仅将用户所上传图像中的部分内容作为背景,使特效视频呈现出目标对象处于上传图像内的场景的视觉效果,增强了特效视频的趣味性,还满足了用户的个性化需求,提升了用户在制作特效视频过程中的使用体验。
图2为本公开实施例所提供的一种特效视频确定装置结构示意图,如图2所示,所述装置包括:图像获取模块210、目标视角图像模块220以及特效视频帧生成模块230。
图像获取模块210,用于响应于特效触发操作,获取上传图像。
目标视角图像模块220,用于根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像。
特效视频帧生成模块230,用于基于所述目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。
在上述各技术方案的基础上,图像获取模块210包括图像上传框生成单元以及图像确定单元。
图像上传框生成单元,用于响应于特效触发操作,弹出图像上传框。
图像确定单元,用于基于对所述图像上传框的触发操作,确定所述上传图像。
可选的,图像确定单元,还用于当检测到触发所述图像上传框时,调取图像库,以将在所述图像库中触发选择的图像作为所述上传图像;或,当检测到触发所述图像上传框时,调取摄像装置,以基于所述摄像装置拍摄所述上传图像。
在上述各技术方案的基础上,特效视频确定装置还包括像素比例信息确定模块、补全图像确定模块以及3D图像环绕场景确定模块。
像素比例信息确定模块,用于确定所述上传图像的像素比例信息。
补全图像确定模块,用于根据所述像素比例信息和预设像素比例,将所述上传图像处理为目标像素比例的补全图像。
3D图像环绕场景确定模块,用于基于所述补全图像,确定所述3D图像环绕场景;其中,所述3D图像环绕场景由至少六个面片贴图构成。
在上述各技术方案的基础上,所述3D图像环绕场景是与所述至少六个面片构成的长方体相对应。
可选的,补全图像确定模块,还用于在所述像素比例信息大于所述预设像素比例的条件下,以所述上传图像长边为填充基准进行像素点填充处理,得到所述目标像素比例的补全图像;或,在所述像素比例信息大于所述预设像素比例的条件下,对所述上传图像裁剪处理,以得到所述目标像素比例的补全图像。
可选的,补全图像确定模块,还用于根据所述目标像素比例和所述像素比例信息,确定像素填充宽度;以所述上传图像的一个长边为基准,根据所述像素填充宽度进行像素点填充,得到所述补全图像;或,以所述上传图像的两个长边为基准,根据所述像素填充宽度进行填充,得到所述补全图像;其中,所述像素填充宽度内像素点的像素值与相应长边的像素值相匹配。
可选的,补全图像确定模块,还用于在所述像素比例信息小于所述预设像素比例,则将所述上传图像镜像处理,以得到所述目标像素比例的补全图像。
可选的,3D图像环绕场景确定模块,还用于基于所述补全图像,确定与长方体包围盒相对应的六个面片贴图;基于所述六个面片贴图,确定与所述上传图像相对应的所述3D图像环绕场景。
在上述各技术方案的基础上,目标视角图像模块220包括位置信息获取单元以及目标视角图像确定单元。
位置信息获取单元,用于实时或周期性获取所述拍摄设备的位置信息;其中,所述位置信息是基于所述拍摄设备中部署的陀螺仪或惯性测量单元确定的。
目标视角图像确定单元,用于基于所述位置信息,确定所述拍摄设备的旋转角度,并确定所述旋转角度对应于所述3D图像环绕场景中的目标视角图像。
在上述各技术方案的基础上,特效视频帧生成模块230包括目标对象获取单元以及特效视频帧生成单元。
目标对象获取单元,用于获取待处理视频帧中的目标对象。
特效视频帧生成单元,用于将所述目标对象与所述目标视角图像融合处理,得到与所述待处理视频帧相对应的所述特效视频帧。
在上述各技术方案的基础上,特效视频确定装置还包括3D图像环绕场景展示模块。
3D图像环绕场景展示模块,用于于显示界面展示至少一幅待选择3D图像环绕场景,以基于对所述至少一幅待选择3D图像环绕场景的触发操作,确定所述3D图像环绕场景。
在上述各技术方案的基础上,所述停止特效视频拍摄的操作,包括下述至少一种:检测到触发停止拍摄控件;检测到特效视频的拍摄时长达到预设拍摄时长;检测到触发停止拍摄的唤醒词;检测到触发停止拍摄的肢体动作。
本实施例所提供的技术方案,响应于特效触发操作,获取上传图像,即获取到用于生成特效视频背景的数据基础,根据拍摄设备的位置信息,从与上传图像相对应的3D图像环绕场景中确定目标视角图像,进一步的,基于目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作,不仅将用户所上传图像中的部分内容作为背景,使特效视频呈现出目标对象处于上传图像内的场景的视觉效果,增强了特效视频的趣味性,还满足了用户的个性化需求,提升了用户在制作特效视频过程中的使用体验。
本公开实施例所提供的特效视频确定装置可执行本公开任意实施例所提供的特效视频确定方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
图3为本公开实施例所提供的一种电子设备的结构示意图。下面参考图3,其示出了适于用来实现本公开实施例的电子设备(例如图3中的终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图案处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置306加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。编辑/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的编辑装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置306被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的特效视频确定方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的特效视频确定方法。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
响应于特效触发操作,获取上传图像;
根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像;
基于所述目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,【示例一】提供了一种特效视频确定方法,该方法包括:
响应于特效触发操作,获取上传图像;
根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像;
基于所述目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。
根据本公开的一个或多个实施例,【示例二】提供了一种特效视频确定方法,该方法,还包括:
可选的,响应于特效触发操作,弹出图像上传框;
基于对所述图像上传框的触发操作,确定所述上传图像。
根据本公开的一个或多个实施例,【示例三】提供了一种特效视频确定方法,该方法,还包括:
可选的,当检测到触发所述图像上传框时,调取图像库,以将在所述图像库中触发选择的图像作为所述上传图像;或,
当检测到触发所述图像上传框时,调取摄像装置,以基于所述摄像装置拍摄所述上传图像。
根据本公开的一个或多个实施例,【示例四】提供了一种特效视频确定方法,该方法,还包括:
可选的,确定所述上传图像的像素比例信息;
根据所述像素比例信息和预设像素比例,将所述上传图像处理为目标像素比例的补全图像;
基于所述补全图像,确定所述3D图像环绕场景;其中,所述3D图像环绕场景由至少六个面片贴图构成。
根据本公开的一个或多个实施例,【示例五】提供了一种特效视频确定方法,该方法,还包括:
可选的,所述3D图像环绕场景是与所述至少六个面片构成的长方体相对应。
根据本公开的一个或多个实施例,【示例六】提供了一种特效视频确定方法,该方法,还包括:
可选的,在所述像素比例信息大于所述预设像素比例的条件下,以所述上传图像长边为填充基准进行像素点填充处理,得到所述目标像素比例的补全图像;或,
在所述像素比例信息大于所述预设像素比例的条件下,对所述上传图像裁剪处理,以得到所述目标像素比例的补全图像。
根据本公开的一个或多个实施例,【示例七】提供了一种特效视频确定方法,该方法,还包括:
可选的,根据所述目标像素比例和所述像素比例信息,确定像素填充宽度;
以所述上传图像的一个长边为基准,根据所述像素填充宽度进行像素点填充,得到所述补全图像;或,
以所述上传图像的两个长边为基准,根据所述像素填充宽度进行填充,得到所述补全图像;
其中,所述像素填充宽度内像素点的像素值与相应长边的像素值相匹配。
根据本公开的一个或多个实施例,【示例八】提供了一种特效视频确定方法,该方法,还包括:
可选的,在所述像素比例信息小于所述预设像素比例,则将所述上传图像镜像处理,以得到所述目标像素比例的补全图像。
根据本公开的一个或多个实施例,【示例九】提供了一种特效视频确定方法,该方法,还包括:
可选的,基于所述补全图像,确定与长方体包围盒相对应的六个面片贴图;
基于所述六个面片贴图,确定与所述上传图像相对应的所述3D图像环绕场景。
根据本公开的一个或多个实施例,【示例十】提供了一种特效视频确定方法,该方法,还包括:
可选的,实时或周期性获取所述拍摄设备的位置信息;其中,所述位置信息是基于所述拍摄设备中部署的陀螺仪或惯性测量单元确定的;
基于所述位置信息,确定所述拍摄设备的旋转角度,并确定所述旋转角度对应于所述3D图像环绕场景中的目标视角图像。
根据本公开的一个或多个实施例,【示例十一】提供了一种特效视频确定方法,该方法,还包括:
可选的,获取待处理视频帧中的目标对象;
将所述目标对象与所述目标视角图像融合处理,得到与所述待处理视频帧相对应的所述特效视频帧。
根据本公开的一个或多个实施例,【示例十二】提供了一种特效视频确定方法,该方法,还包括:
可选的,于显示界面展示至少一幅待选择3D图像环绕场景,以基于对所述至少一幅待选择3D图像环绕场景的触发操作,确定所述3D图像环绕场景。
根据本公开的一个或多个实施例,【示例十三】提供了一种特效视频确定方法,该方法,还包括:
可选的,所述停止特效视频拍摄的操作,包括下述至少一种:
检测到触发停止拍摄控件;
检测到特效视频的拍摄时长达到预设拍摄时长;
检测到触发停止拍摄的唤醒词;
检测到触发停止拍摄的肢体动作。
根据本公开的一个或多个实施例,【示例十四】提供了一种特效视频确定装置,该装置包括:
图像获取模块,用于响应于特效触发操作,获取上传图像;
目标视角图像模块,用于根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像;
特效视频帧生成模块,用于基于所述目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (16)

1.一种特效视频确定方法,其特征在于,包括:
响应于特效触发操作,获取上传图像;
根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像;
基于所述目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。
2.根据权利要求1所述的方法,其特征在于,所述响应于特效触发操作,获取上传图像,包括:
响应于特效触发操作,弹出图像上传框;
基于对所述图像上传框的触发操作,确定所述上传图像。
3.根据权利要求2所述的方法,其特征在于,所述基于对所述图像上传框的触发操作,确定所述上传图像,包括:
当检测到触发所述图像上传框时,调取图像库,以将在所述图像库中触发选择的图像作为所述上传图像;或,
当检测到触发所述图像上传框时,调取摄像装置,以基于所述摄像装置拍摄所述上传图像。
4.根据权利要求1所述的方法,其特征在于,还包括:
确定所述上传图像的像素比例信息;
根据所述像素比例信息和预设像素比例,将所述上传图像处理为目标像素比例的补全图像;
基于所述补全图像,确定所述3D图像环绕场景;其中,所述3D图像环绕场景由至少六个面片贴图构成。
5.根据权利要求4所述的方法,其特征在于,所述3D图像环绕场景是与所述至少六个面片构成的长方体相对应。
6.根据权利要求4所述的方法,其特征在于,所述根据所述像素比例信息和预设像素比例,将所述上传图像处理为目标像素比例的补全图像,包括:
在所述像素比例信息大于所述预设像素比例的条件下,以所述上传图像长边为填充基准进行像素点填充处理,得到所述目标像素比例的补全图像;或,
在所述像素比例信息大于所述预设像素比例的条件下,对所述上传图像裁剪处理,以得到所述目标像素比例的补全图像。
7.根据权利要求6所述的方法,其特征在于,所述以所述上传图像长边为填充基准进行像素点填充处理,得到所述目标像素比例的补全图像,包括:
根据所述目标像素比例和所述像素比例信息,确定像素填充宽度;
以所述上传图像的一个长边为基准,根据所述像素填充宽度进行像素点填充,得到所述补全图像;或,
以所述上传图像的两个长边为基准,根据所述像素填充宽度进行填充,得到所述补全图像;
其中,所述像素填充宽度内像素点的像素值与相应长边的像素值相匹配。
8.根据权利要求4所述的方法,其特征在于,所述根据所述像素比例信息和预设像素比例,将所述上传图像处理为目标像素比例的补全图像,包括:
在所述像素比例信息小于所述预设像素比例,则将所述上传图像镜像处理,以得到所述目标像素比例的补全图像。
9.根据权利要求4所述的方法,其特征在于,所述基于所述补全图像,确定所述3D图像环绕场景,包括:
基于所述补全图像,确定与长方体包围盒相对应的六个面片贴图;
基于所述六个面片贴图,确定与所述上传图像相对应的所述3D图像环绕场景。
10.根据权利要求1所述的方法,其特征在于,所述根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像,包括:
实时或周期性获取所述拍摄设备的位置信息;其中,所述位置信息是基于所述拍摄设备中部署的陀螺仪或惯性测量单元确定的;
基于所述位置信息,确定所述拍摄设备的旋转角度,并确定所述旋转角度对应于所述3D图像环绕场景中的目标视角图像。
11.根据权利要求1所述的方法,其特征在于,所述基于所述目标视角图像和目标对象,生成特效视频帧,包括:
获取待处理视频帧中的目标对象;
将所述目标对象与所述目标视角图像融合处理,得到与所述待处理视频帧相对应的所述特效视频帧。
12.根据权利要求1所述的方法,其特征在于,还包括:
于显示界面展示至少一幅待选择3D图像环绕场景,以基于对所述至少一幅待选择3D图像环绕场景的触发操作,确定所述3D图像环绕场景。
13.根据权利要求1所述的方法,其特征在于,所述停止特效视频拍摄的操作,包括下述至少一种:
检测到触发停止拍摄控件;
检测到特效视频的拍摄时长达到预设拍摄时长;
检测到触发停止拍摄的唤醒词;
检测到触发停止拍摄的肢体动作。
14.一种特效视频确定装置,其特征在于,包括:
图像获取模块,用于响应于特效触发操作,获取上传图像;
目标视角图像模块,用于根据拍摄设备的位置信息,从与所述上传图像相对应的3D图像环绕场景中确定目标视角图像;
特效视频帧生成模块,用于基于所述目标视角图像和目标对象,生成特效视频帧并展示,直至接收到停止特效视频拍摄的操作。
15.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-13中任一所述的特效视频确定方法。
16.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-13中任一所述的特效视频确定方法。
CN202210474744.1A 2022-04-29 2022-04-29 特效视频确定方法、装置、电子设备及存储介质 Active CN114900621B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210474744.1A CN114900621B (zh) 2022-04-29 2022-04-29 特效视频确定方法、装置、电子设备及存储介质
PCT/CN2023/080505 WO2023207354A1 (zh) 2022-04-29 2023-03-09 特效视频确定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210474744.1A CN114900621B (zh) 2022-04-29 2022-04-29 特效视频确定方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114900621A true CN114900621A (zh) 2022-08-12
CN114900621B CN114900621B (zh) 2024-08-13

Family

ID=82720242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210474744.1A Active CN114900621B (zh) 2022-04-29 2022-04-29 特效视频确定方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114900621B (zh)
WO (1) WO2023207354A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207354A1 (zh) * 2022-04-29 2023-11-02 北京字跳网络技术有限公司 特效视频确定方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080063248A1 (en) * 2004-09-28 2008-03-13 Koninklijke Philips Electronics N.V. Image Processing Apparatus and Method
US20090262181A1 (en) * 2008-04-17 2009-10-22 Gal Rotem Real-time video signal interweaving for autostereoscopic display
CN107608605A (zh) * 2017-09-28 2018-01-19 北京金山安全软件有限公司 一种图像的显示方法、装置、电子设备及存储介质
CN108876729A (zh) * 2018-05-11 2018-11-23 武汉地大信息工程股份有限公司 一种全景图中补充天空的方法及系统
CN108989681A (zh) * 2018-08-03 2018-12-11 北京微播视界科技有限公司 全景图像生成方法和装置
CN111464761A (zh) * 2020-04-07 2020-07-28 北京字节跳动网络技术有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质
CN112203078A (zh) * 2020-12-08 2021-01-08 首望体验科技文化有限公司 将传统二维方片视频转换为720全景立体视频的方法、装置
CN112995491A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 视频生成方法、装置、电子设备及计算机存储介质
CN113850746A (zh) * 2021-09-29 2021-12-28 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113973173A (zh) * 2020-07-24 2022-01-25 华为技术有限公司 图像合成方法和电子设备
CN114025105A (zh) * 2021-12-15 2022-02-08 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备、存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070126864A1 (en) * 2005-12-05 2007-06-07 Kiran Bhat Synthesizing three-dimensional surround visual field
CN107566853A (zh) * 2017-09-21 2018-01-09 北京奇虎科技有限公司 实现场景渲染的视频数据实时处理方法及装置、计算设备
CN113115110B (zh) * 2021-05-20 2022-04-08 广州博冠信息科技有限公司 视频合成方法、装置、存储介质与电子设备
CN113840049A (zh) * 2021-09-17 2021-12-24 阿里巴巴(中国)有限公司 图像处理方法、视频流场景切换方法、装置、设备及介质
CN114900621B (zh) * 2022-04-29 2024-08-13 北京字跳网络技术有限公司 特效视频确定方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080063248A1 (en) * 2004-09-28 2008-03-13 Koninklijke Philips Electronics N.V. Image Processing Apparatus and Method
US20090262181A1 (en) * 2008-04-17 2009-10-22 Gal Rotem Real-time video signal interweaving for autostereoscopic display
CN107608605A (zh) * 2017-09-28 2018-01-19 北京金山安全软件有限公司 一种图像的显示方法、装置、电子设备及存储介质
CN108876729A (zh) * 2018-05-11 2018-11-23 武汉地大信息工程股份有限公司 一种全景图中补充天空的方法及系统
CN108989681A (zh) * 2018-08-03 2018-12-11 北京微播视界科技有限公司 全景图像生成方法和装置
CN112995491A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 视频生成方法、装置、电子设备及计算机存储介质
CN111464761A (zh) * 2020-04-07 2020-07-28 北京字节跳动网络技术有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质
CN113973173A (zh) * 2020-07-24 2022-01-25 华为技术有限公司 图像合成方法和电子设备
CN112203078A (zh) * 2020-12-08 2021-01-08 首望体验科技文化有限公司 将传统二维方片视频转换为720全景立体视频的方法、装置
CN113850746A (zh) * 2021-09-29 2021-12-28 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114025105A (zh) * 2021-12-15 2022-02-08 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱贺;张军;杜佃峰;魏树臣;赵玉成;: "全景摄影技术在建筑工程中的应用浅析", 土木建筑工程信息技术, no. 04, 15 August 2017 (2017-08-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207354A1 (zh) * 2022-04-29 2023-11-02 北京字跳网络技术有限公司 特效视频确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023207354A1 (zh) 2023-11-02
CN114900621B (zh) 2024-08-13

Similar Documents

Publication Publication Date Title
KR102580961B1 (ko) 촬영을 기반으로 하는 3d 모델링 시스템 및 방법, 자동 3d 모델링 장치 및 방법
US11557083B2 (en) Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN111311756B (zh) 增强现实ar显示方法及相关装置
CN112933599A (zh) 三维模型渲染方法、装置、设备及存储介质
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN113407084B (zh) 展示内容更新方法、头戴式显示设备和计算机可读介质
WO2023207963A1 (zh) 图像处理方法、装置、电子设备及存储介质
US20220107704A1 (en) Virtual paintbrush implementing method and apparatus, and computer readable storage medium
CN114531553B (zh) 生成特效视频的方法、装置、电子设备及存储介质
WO2024104248A1 (zh) 虚拟全景图的渲染方法、装置、设备及存储介质
US20240276068A1 (en) Subtitle rendering method and device for virtual reality space, equipment and medium
CN115002359A (zh) 视频处理方法、装置、电子设备及存储介质
WO2023207354A1 (zh) 特效视频确定方法、装置、电子设备及存储介质
US8451346B2 (en) Optically projected mosaic rendering
CN114049403A (zh) 一种多角度三维人脸重建方法、装置及存储介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN114283243A (zh) 数据处理方法、装置、计算机设备及存储介质
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113838116A (zh) 确定目标视图的方法、装置、电子设备及存储介质
CN112750190A (zh) 三维热力图生成方法、装置、设备及存储介质
CN112887793B (zh) 视频处理方法、显示设备和存储介质
CN112070903A (zh) 虚拟对象的展示方法、装置、电子设备及计算机存储介质
CA3102860C (en) Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method
CN111862342B (zh) 增强现实的纹理处理方法、装置、电子设备及存储介质
CN118413745A (zh) 一种播放全景视频的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant