CN112272295B - 具有三维效果的视频的生成方法、播放方法、装置及设备 - Google Patents

具有三维效果的视频的生成方法、播放方法、装置及设备 Download PDF

Info

Publication number
CN112272295B
CN112272295B CN202011158075.4A CN202011158075A CN112272295B CN 112272295 B CN112272295 B CN 112272295B CN 202011158075 A CN202011158075 A CN 202011158075A CN 112272295 B CN112272295 B CN 112272295B
Authority
CN
China
Prior art keywords
target
image
occlusion
video
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011158075.4A
Other languages
English (en)
Other versions
CN112272295A (zh
Inventor
张振伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011158075.4A priority Critical patent/CN112272295B/zh
Publication of CN112272295A publication Critical patent/CN112272295A/zh
Priority to PCT/CN2021/122662 priority patent/WO2022089168A1/zh
Application granted granted Critical
Publication of CN112272295B publication Critical patent/CN112272295B/zh
Priority to US17/959,649 priority patent/US20230021533A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种具有三维效果的视频的生成方法、播放方法、装置及设备,属于人工智能中的图像处理技术领域。所述方法包括:获取原始视频;从原始视频的至少一帧原始图像中分割出包含运动对象的前景图像序列,前景图像序列中包括至少一帧前景图像;基于前景图像序列,确定放置目标遮挡图像的目标原始图像,以及目标遮挡图像在目标原始图像中的遮挡方式;基于遮挡方式在目标原始图像中添加目标遮挡图像,得到最终图像;基于最终图像和原始视频,生成具有三维效果的目标视频。本申请实施例提高了信息传递的完整性。

Description

具有三维效果的视频的生成方法、播放方法、装置及设备
技术领域
本申请实施例涉及人工智能中的图像处理技术领域,特别涉及一种具有三维效果的视频的生成方法、播放方法、装置及设备。
背景技术
随着时代的发展,媒体内容可具有3D(Three-Dimension)视觉效果。
在相关技术中,通过如下方式生成具有3D视觉效果的图像:对原始图像做模糊预处理,生成不同区域被不同程度模糊的图像。通过不同区域模糊度的变化,形成纵深感,从而产生视觉上的立体感受。
然而,上述相关技术会导致原图的模糊,会丢失图像中的一些信息,导致信息传递不够完整。
发明内容
本申请实施例提供了一种具有三维效果的视频的生成方法、播放方法、装置及设备,提高了信息传递的完整性。技术方案如下:
一方面,本申请实施例提供一种具有三维效果的视频的生成方法,所述方法包括:
获取原始视频;
从所述原始视频的至少一帧原始图像中分割出包含运动对象的前景图像序列,所述前景图像序列中包括至少一帧前景图像;
基于所述前景图像序列,确定放置目标遮挡图像的目标原始图像,以及所述目标遮挡图像在所述目标原始图像中的遮挡方式;
基于所述遮挡方式在所述目标原始图像中添加所述目标遮挡图像,得到最终图像;
基于所述最终图像和所述原始视频,生成具有三维效果的目标视频。
另一方面,本申请实施例提供一种具有三维效果的视频的播放方法,所述方法包括:
显示用于播放目标视频的播放界面;
接收对应于所述目标视频的获取指令;
根据所述获取指令,获取具有三维效果的所述目标视频;
在所述播放界面中播放所述目标视频;
其中,所述三维效果由所述目标视频中包含的运动对象在目标原始图像中的目标遮挡图像间进行运动产生,所述目标原始图像以及所述目标遮挡图像在所述目标原始图像中的遮挡方式是基于从原始视频的至少一帧原始图像中分割出的包含所述运动对象的前景图像序列确定的。
另一方面,本申请实施例提供一种具有三维效果的视频的生成装置,所述装置包括:
视频获取模块,用于获取原始视频;
图像分割模块,用于从所述原始视频的至少一帧原始图像中分割出包含运动对象的前景图像序列,所述前景图像序列中包括至少一帧前景图像;
方式确定模块,用于基于所述前景图像序列,确定放置目标遮挡图像的目标原始图像,以及所述目标遮挡图像在所述目标原始图像中的遮挡方式;
图像添加模块,用于基于所述遮挡方式在所述目标原始图像中添加所述目标遮挡图像,得到最终图像;
视频生成模块,用于基于所述最终图像和所述原始视频,生成具有三维效果的目标视频。
再一方面,本申请实施例提供一种具有三维效果的视频的播放装置,所述装置包括:
界面显示模块,用于显示用于播放目标视频的播放界面;
指令获取模块,用于接收对应于所述目标视频的获取指令;
视频获取模块,用于根据所述获取指令,获取具有三维效果的所述目标视频;
视频播放模块,用于在所述播放界面中播放所述目标视频;
其中,所述三维效果由所述目标视频中包含的运动对象在目标原始图像中的目标遮挡图像间进行运动产生,所述目标原始图像以及所述目标遮挡图像在所述目标原始图像中的遮挡方式是基于从原始视频的至少一帧原始图像中分割出的包含所述运动对象的前景图像序列确定的。
又一方面,本申请实施例提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述具有三维效果的视频的生成方法,或实现上述具有三维效果的视频的播放方法。
又一方面,本申请实施例提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述具有三维效果的视频的生成方法,或实现上述具有三维效果的视频的播放方法。
可选地,计算机设备包括终端或服务器。
再一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述具有三维效果的视频的生成方法,或实现上述具有三维效果的视频的播放方法。
本申请实施例提供的技术方案可以带来如下有益效果:
通过基于遮挡方式在包含运动对象的原始图像中放置遮挡图像,原始视频中包含的运动对象可以在遮挡图像间进行运动,从而可以在单位时间内出现相交、掩盖、遮蔽、完全展现、半遮蔽、完全相交、不相交等多种变化状态,从而让用户的大脑产生真实空间的运动模式,因为遮挡图像的关系产生一前一后的两个平面出来,形成视觉上的3D感受。因为本申请实施例仅是通过简单的添加遮挡图像的方式形成视觉上的三维感受,因此本申请实施例不会导致原始图像的模糊,从而不会丢失原始图像中的信息,因而不会影响信息传递的完整性,提高了信息传递的完整性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的实施环境的示意图;
图2是本申请一个实施例提供的具有三维效果的视频的生成方法的流程图;
图3是本申请一个实施例提供的原始图像的示意图;
图4是本申请另一个实施例提供的具有三维效果的视频的生成方法的流程图;
图5是本申请一个实施例提供的运动对象的示意图;
图6是本申请一个实施例提供的运动目标检测的流程示意图;
图7是本申请一个实施例提供的运动目标追踪流程的框图;
图8是本申请一个实施例提供的安全区域的示意图;
图9是本申请一个实施例提供的运动对象在至少一帧前景图像中的位置的示意图;
图10是本申请一个实施例提供的条纹图像的示意图;
图11是本申请另一个实施例提供的条纹图像的示意图;
图12是本申请一个实施例提供的条纹图像的不同遮挡颜色的示意图;
图13是本申请一个实施例提供的遮挡图像匹配的流程示意图;
图14是本申请一个实施例提供的具有三维效果的视频的生成方法的架构图;
图15是本申请一个实施例提供的具有三维效果的视频的播放方法的流程图;
图16是本申请一个实施例提供的播放界面的示意图;
图17是本申请一个实施例提供的遮挡图像差异化的示意图;
图18是本申请一个实施例提供的遮挡图像与运动对象的变化状态的示意图;
图19是本申请一个实施例提供的具有三维效果的视频的播放方法的流程架构图;
图20是本申请一个实施例提供的具有三维效果的视频的生成装置的框图;
图21是本申请一个实施例提供的具有三维效果的视频的播放装置的框图;
图22是本申请一个实施例提供的服务器的结构示意图;
图23是本申请一个实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术和机器学习等技术,具体通过如下实施例进行说明。
请参考图1,其示出了本申请一个实施例提供的实施环境的示意图。该实施环境可以包括:终端10和服务器20。
终端10是指播放具有三维效果的视频的电子设备,例如,终端10可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备、PC(Personal Computer,个人计算机)等电子设备。终端10中可以安装运行有视频播放器,通过该视频播放器来播放具有三维效果的视频。视频播放器可以是客户端形式的,也可以是网页形式的,本申请实施例对此不作限定。该视频播放器可以用于播放短视频、长视频、直播视频等。视频(Video)泛指将一系列静态影像以电信号的方式加以捕捉、记录、处理、储存、传送与重现的技术,连续的图像变化每秒超过24帧(frame)画面以上时,根据视觉暂停原理,人眼无法辨别单幅的静态画面,看上去是平滑连续的视觉效果,这样连续的画面叫做视频。直播是指在现场随着时间的发生、发展进程同步制作和发布信息,具有双向流通过程的信息网络发布方式。其形式可分为现场直播、演播室访谈式直播、文字图片直播、音视频直播或由第三方(例如,电视)提供信源的直播等。
服务器20可以用于为终端10中的视频播放器提供后台服务。例如,服务器20可以是上述视频播放器的后台服务器。服务器20可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算中心。
终端10和服务器20之间可以通过网络30进行互相通信,该网络30可以是有线网络,也可以是无线网络。
下面,对本申请的几个实施例进行介绍说明。
请参考图2,其示出了本申请一个实施例提供的具有三维效果的视频的生成方法的流程图。该方法可以由服务器执行,该方法可以包括如下几个步骤。
步骤201,获取原始视频。
在本申请实施例中,原始视频是指不具有三维效果的视频,原始视频可以是短视频、长视频、直播视频等。原始视频中包括至少一帧原始图像,原始视频中包含运动对象,该运动对象可以是运动的人也可以是运动的物还可以是运动的人和物,本申请实施例对此不作限定。
在可能的实现方式中,终端将原始视频发送给服务器,由服务器进行后续处理流程。
步骤202,从原始视频的至少一帧原始图像中分割出包含运动对象的前景图像序列。
在本申请实施例中,前景图像序列中包括至少一帧前景图像。前景图像中包含运动对象。服务器从至少一帧原始图像中将变化区域提取出来,得到包含运动对象的前景图像序列。从原始视频的至少一帧原始图像中分割出包含运动对象的前景图像序列的步骤可以称之为运动目标分割(Target Segmentation),运动目标分割是指像素级的将前景图像与背景图像进行分割,将背景图像剔除,找出运动目标的过程。运动目标分割可以采用连续帧间差分法、背景差分法和光流法。
连续帧间差分法的原理为:在至少一帧原始图像中相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出原始图像中的运动对象。首先,将相邻图像对应像素值相减得到差分图像;然后对差分图像二值化,也即,在环境亮度变化不大的情况下,如果差分图像中的像素的像素值小于第一预设阈值,则确定该像素为背景像素;如果差分图像中的像素的像素值大于第二预设阈值,则确定该像素为前景像素;最后将前景像素组成的区域确定为前景图像,第一预设阈值可以等于第二预设阈值,也可以小于第二预设阈值,可以基于实际情况进行设定。
背景差分法的原理为:利用背景参数模型来近似模拟背景图像的像素值,将原始图像与背景图像进行差分比较实现对运动区域的检测,其中像素值区别较大的像素区域被认为是运动区域(前景区域),而像素值区别较小的像素区域被认为是背景区域。
光流法的原理为:由于光流包含了目标对象的信息,所以光流场近似于运动场。通常,视频中背景的光流是一致的,与运动目标的光流不同,因此,根据光流的不同就可以提取运动目标和背景区域。
示例性地,如图3所示,其示出了本申请一个实施例提供的原始图像的示意图。图3中的(a)部分中的原始图像310中包括:天空、马和草地,通过对原始图像310进行分割,得到原始图像310中包括背景区域311:天空和草地和前景区域312:马;图3中的(b)部分中的原始图像320包括:天空、草地、长颈鹿和树,通过对原始图像320进行分割,得到原始图像320中包括背景区域321:天空、草地、树和前景区域322:长颈鹿。
在可能的实现方式中,运动对象的运动趋势为朝向终端的屏幕外的趋势。运动对象的运动轨迹为从后往前的轨迹。
步骤203,基于前景图像序列,确定放置目标遮挡图像的目标原始图像,以及目标遮挡图像在目标原始图像中的遮挡方式。
在可能的实现方式中,目标遮挡图像包括以下至少一种:条纹图像、非条纹图像。非条纹图像可以是丝巾、丝带、云彩、水雾、树木等图像,本申请实施例对非条纹图像的类型不作限定。
在一个示例中,目标遮挡图像包括条纹图像;在另一个示例中,目标遮挡图像包括非条纹图像;在又一个示例中,目标遮挡图像包括条纹图像和非条纹图像的组合,本申请实施例对目标原始图像中放置的目标遮挡图像的类型不作限定。目标原始图像中放置的目标遮挡图像的类型可以是默认类型,例如,默认目标原始图像中放置的目标遮挡图像为条纹图像,或者是非条纹图像,或者是条纹图像和非条纹图像的组合;目标原始图像中放置的目标遮挡图像的类型还可以基于目标原始图像确定,例如,基于目标原始图像包含的运动对象确定,或者,还可以基于目标原始图像中的背景图像确定。
目标遮挡图像中包括的遮挡图像的数量可以是一个,也可以是多个,例如,2个、3个或者更多,本申请实施例对目标遮挡图像中包括的遮挡图像的数量不作限定。目标遮挡图像中包括的遮挡图像的数量可以基于目标原始图像确定,也可以是默认数值。
在可能的实现方式中,服务器放置目标遮挡图像的目标原始图像可以包括一个或多个原始图像,目标原始图像包括的原始图像的数量可以由技术人员进行设置,本申请实施例对此不作限定。
在可能的实现方式中,目标遮挡图像在目标原始图像中的遮挡方式包括目标遮挡图像在目标原始图像中的遮挡位置、遮挡尺寸和遮挡颜色。基于前景图像序列,服务器可以确定放置目标遮挡图像的目标原始图像,以及目标遮挡图像在目标原始图像中的遮挡尺寸和遮挡颜色。当服务器放置目标遮挡图像的目标原始图像包括多个原始图像时,该多个原始图像中添加的目标遮挡图像可以一致,也可以不一致。目标遮挡图像在该多个原始图像中的遮挡方式可以一致,也可以不一致。示例性地,当目标原始图像包括多个原始图像时,该多个原始图像中添加的目标遮挡图像都为条纹图像,且该条纹图像在该多个原始图像中的遮挡方式一致,也即,该条纹图像在该多个原始图像中的遮挡位置、遮挡尺寸和遮挡颜色一致。
步骤204,基于遮挡方式在目标原始图像中添加目标遮挡图像,得到最终图像。
在可能的实现方式中,前景图像的显示层级高于目标遮挡图像的显示层级,目标遮挡图像的显示层级高于原始图像中的背景图像的显示层级。
在可能的实现方式中,服务器在目标原始图像的遮挡位置处放置遮挡尺寸和遮挡颜色的目标遮挡图像,得到最终图像。
步骤205,基于最终图像和原始视频,生成具有三维效果的目标视频。
在可能的实现方式中,服务器按照原始视频的时间发展顺序,将最终图像和原始视频中包括的除目标原始图像中的其它原始图像进行组合,生成具有三维效果的目标视频。
综上所述,本申请实施例提供的技术方案中,通过基于遮挡方式在包含运动对象的原始图像中放置遮挡图像,原始视频中包含的运动对象可以在遮挡图像间进行运动,从而可以在单位时间内出现相交、掩盖、遮蔽、完全展现、半遮蔽、完全相交、不相交等多种变化状态,从而让用户的大脑产生真实空间的运动模式,因为遮挡图像的关系产生一前一后的两个平面出来,形成视觉上的3D感受。因为本申请实施例仅是通过简单的添加遮挡图像的方式形成视觉上的三维感受,因此本申请实施例不会导致原始图像的模糊,从而不会丢失原始图像中的信息,因而不会影响信息传递的完整性,提高了信息传递的完整性。
另外,具有三维效果的视频可以让视频内容在某些画面上更有冲击力,更能突出要展示的物品,从而有助于提升画面冲击力,提升物品的视觉突出程度。
请参考图4,其示出了本申请另一个实施例提供的具有三维效果的视频的生成方法的流程图。该方法可以由服务器执行,该方法可以包括如下几个步骤。
步骤401,获取原始视频。
步骤402,从原始视频的至少一帧原始图像中分割出包含运动对象的前景图像序列。
在本申请实施例中,前景图像序列中包括至少一帧前景图像。
有关步骤401至步骤402的介绍说明可参见上文实施例,此处不再赘述。
步骤403,基于前景图像序列,确定运动对象的类型和运动对象的运动轨迹。
示例性地,基于前景图形序列,确定运动对象的类型可以称之为运动目标检测(Target Detection),运动目标检测是指将图像序列或视频中发生空间位置变化的对象作为前景提出并标示的过程,广泛应用于智能监控、多媒体应用等领域。在可能的实现方式中,运动目标检测还包括对运动对象进行定位,即运动目标检测包括对象定位和对象分类两个任务,同时确定物体的类别和位置。运动目标检测可以用于找出适合做3D效果的运动对象。本申请实施例中可以对多个运动对象进行检测,如图5中的(a)部分所示,其示出了本申请可以对单个物体的类型和位置进行检测,如图5中的(b)部分所示,其示出了本申请可以对多个物体的类型和位置进行检测。
如图6所示,服务器首先在前景图像中选择一些候选的区域,然后对这些区域提取特征,最后使用训练的分类器根据提取到的特征进行分类。由于运动目标可能出现在前景图像的任何位置,而且运动对象的大小、长宽比例也不确定,所以最初采用滑动窗口的策略对整幅图像进行遍历,而且需要设置不同的尺度,不同的长宽比,这种穷举的策略包含了目标对象所有可能出现的位置。提取特征阶段常用的特征有SIFT(Scale-Invariant FeatureTransform,尺度不变特征转换)、HOG(Histogram of Oriented Gradient,方向梯度直方图)等。分类器可以使用SVM(Support Vector Machines,支持向量机)、AdaBoost(AdaptiveBoosting,自适应增强)等。
在一个示例中,服务器确定出前景图像序列中各个前景图像包括的运动对象的类型,然后再基于各个前景图像包括的运动对象的类型,确定最终运动对象的类型。
在另一个示例中,服务器直接选取前景图像序列中的任意一帧前景图像或预设位置的前景图像,然后再基于该前景图像确定最终运动对象的类型。
在可能的实现方式中,服务器需要确定前景图像序列中各帧前景图像中包括的运动对象的位置;在可能的实现方式中,服务器只需要确定前景图像序列中第一帧前景图像包括的运动对象的位置。
示例性地,基于前景图像序列,确定运动对象的运动轨迹可以称之为运动目标追踪(Target Tracking)。运动目标追踪是指追踪目标对象的运动轨迹的过程,运动目标追踪可以用于确定目标遮挡图像的遮挡位置。运动目标追踪是在给定前景图像序列的初始帧的目标对象的大小与位置的情况下,预测后续帧中该目标对象的大小与位置。运动目标追踪基于运动目标检测得到的目标对象的大小与位置,预测后续帧中该目标对象的大小与位置。运动目标追踪中输入初始化目标框,在下一帧中产生众多候选框(Motion Model),提取这些候选框的特征(Feature Extractor),然后对这些候选框评分(Observation Model),最后在这些评分中找一个得分最高的候选框作为预测的目标(Prediction A),或者对多个预测值进行融合(Ensemble)得到更优的预测目标。
如图7所示,其示出了本申请一个实施例提供的运动目标追踪流程的框图。运动模型71用于解决如何产生众多的候选样本。在可能的实现方式中,可以采用粒子滤波(Particle Filter)和滑动窗口(Sliding Window)。粒子滤波是一种贯穿贝叶斯推断方法,通过递归的方式推断目标的隐含状态;而滑动窗口是一种穷举搜索方法,它列出目标附近的所有可能的杨本作为候选样本。特征提取模块72用于解决利用何种特征表示目标。常用的特征被分为两种类型:手工设计的特征(Hand-crafted Feature)和深度特征(DeepFeature)。常用的手工设计的特征有灰度特征(Gray)、HOG、哈尔特征(Haar-like)、SIFT等。观测模型73用于解决如何为众多候选样本进行评分。根据不同的思路,观测模型可以分为两类:生成式模型(Generative Model)和判别式模型(Discriminative Model)。生成式模型通常寻找与目标模板最相似的候选作为追踪结果。观测模型更新模块74用于解决如何更新观测模型使其适应目标的变化,防止跟踪过程发生漂移,模型更新没有一个统一的标准,通常认为目标的表观连续变化,所以常常会每一帧都更新一次模型。集成方法用于解决如何融合多个决策使得一个更优的决策结果,可以把集成方法分为两类:在多个预测结果中选择一个最好的,或是利用所有的预测加权平均。
在可能的实现方式中,运动目标检测和运动目标追踪的输入为原始图像,对原始图像进行运动目标检测,得到运动对象的类型;对原始图像进行运动目标追踪,得到运动对象的运动轨迹。
步骤404,从遮挡物素材库中,确定与运动对象的类型相匹配的目标遮挡图像,遮挡物素材库中包括至少一个遮挡图像。
在可能的实现方式中,服务器通过如下方式确定目标遮挡图像:
在运动对象为人物的情况下,基于人物的运动类型,从遮挡物素材库中确定与运动类型相匹配的目标遮挡图像。
在可能的实现方式中,可以基于AI进行人体行为的识别,将行为识别的数据与数据库进行匹配,如各种舞蹈动作的数据库、运动的数据库、健身的数据库等(常见数据库有:Weizmann、KTH、Hollywood等)。通过不同的运动类型添加相应符合画面感的遮挡图像。遮挡物素材库可以包括与各种运动类型分别匹配的素材库,当服务器确定好运动类型后,服务器直接从与该运动类型相匹配的素材库中确定目标遮挡图像。
在运动对象为物品的情况下,基于物品的物品类型,从遮挡物素材库中确定与物品类型相匹配的目标遮挡图像。
在可能的实现方式中,将识别到的物品特征与数据库进行匹配,形成相应的物品类型,例如,鞋子、衣服、羽毛球、篮球等,基于物品类型调取遮挡物素材库中符合这类物品场景的目标遮挡图像。
示例性地,遮挡物素材库可以是本地的,也可以是线上的,本申请实施例对此不作限定。
步骤405,基于运动轨迹,确定放置目标遮挡图像的目标原始图像,以及目标遮挡图像在目标原始图像中的遮挡位置。
在可能的实现方式中,基于运动轨迹,服务器可以选择运动对象的运动轨迹足够长位置处的目标原始图像放置目标遮挡物。
在可能的实现方式中,基于运动轨迹,服务器可以选择在运动轨迹朝向镜头方向的位置放置目标遮挡图像。
有关步骤405的介绍说明可参见下文实施例,此处先不作说明。
步骤406,基于目标原始图像,确定目标遮挡图像的遮挡尺寸和遮挡颜色。
在可能的实现方式中,服务器可以基于目标原始图像的尺寸,确定目标遮挡图像的遮挡尺寸;基于目标原始图像的颜色,确定目标遮挡图像的遮挡颜色。
有关步骤406的介绍说明可参见下文实施例,此处先不作说明。
步骤407,在目标原始图像的遮挡位置上放置遮挡尺寸和遮挡颜色的目标遮挡图像,得到最终图像。
当服务器确定好目标原始图像,以及目标遮挡图像的遮挡位置、遮挡尺寸和遮挡颜色后,服务器可以在目标原始图像的遮挡位置上放置遮挡尺寸和遮挡颜色目标遮挡图像,得到最终图像。
步骤408,基于最终图像和原始视频,生成具有三维效果的目标视频。
综上所述,本申请实施例提供的技术方案中,基于前景图像序列,先确定出运动对象的类型和运动对象的运动轨迹;然后基于运动轨迹,确定放置目标遮挡图像的目标原始图像,以及目标遮挡图像的遮挡位置;然后再基于目标原始图像,确定目标遮挡图像的遮挡尺寸和遮挡颜色。本申请实施例中的目标遮挡图像的遮挡方式的确定合理。
另外,本申请通过动态捕捉的方式,确定要突出的物品或动作,通过智能增加目标遮挡图像的方式,产生运动对象的3D视觉感觉,从而让突出的物品或动作更有视觉吸引力。本申请不需要通过3D眼镜,可以实现裸眼3D的视觉感受。
在示意性实施例中,以目标原始图像为一个原始图像为例进行介绍说明。服务器可以通过如下方式确定目标原始图像和目标遮挡图像在目标原始图像中的遮挡位置:
第一、基于运动轨迹,分别确定运动对象在至少一帧前景图像中的位置。
第二、从至少一帧前景图像中,选取满足遮挡条件的前景图像作为目标前景图像。
其中,遮挡条件包括:运动对象在目标前景图像中的目标位置位于安全区域内,且与安全区域中的第一安全边界或第二安全边界距离最短;第一安全边界与原始图像的第一边缘的距离为第三倍数的原始图像的第二边缘的像素长度,第二安全边界与原始图像的第三边缘的距离为第三倍数的原始图像的第二边缘的像素长度,第一安全边界与第二安全边界平行,第一边缘与第三边缘平行,第二边缘分别与第一边缘和第三边缘垂直。
如图8所示,其示出了本申请一个实施例提供的安全区域的示意图。图8中的(a)部分示出了安全区域810处于第一状态时的示意图,图8中的(b)部分示出了安全区域810处于第二状态时的示意图。如图8中的(a)部分所示,第一状态可以是指竖直状态;如图8中的(b)部分所示,第二状态可以是指水平状态,本申请实施例中的安全区域的水平状态和竖直状态是针对终端处于同一状态下的描述,当终端的状态发生改变时,例如,从横屏变成竖屏时,安全区域的水平状态和竖直状态的描述也会随之发生改变。
安全区域810中的第一安全边界811与原始图像820的第一边缘821的距离为第三倍数的原始图像820的第二边缘822的像素长度,第二安全边界812与原始图像的第三边缘823的距离为第三倍数的原始图像820的第二边缘822的像素长度。
需要说明的是,当安全区域处于不同状态时,其与实际中与目标原始图像对应的边缘可能会发生改变,图8中仅是以原始图像处于横屏状态进行描述的。例如,当安全区域处于第一状态(即竖直状态)时,目标原始图像中的短边代表第一边缘和第三边缘,长边代表第二边缘;当安全区域处于第二状态(即水平状态)时,目标原始图像中的长边代表第一边缘和第三边缘,短边代表第二边缘。
在可能的实现方式中,第三倍数可以是1/5,目标遮挡图像距离图像边缘的距离需要大于等于图像长度的1/5,从而保证运动对象在运动时与目标遮挡图像产生的交集在画面较为核心的区域。当然,在其它可能的实现方式中,第三倍数还可以是其它数值,其可以根据实际情况进行设置。
如图9所示,假设运动对象在至少一帧前景图像中的位置分别为x1、x2、x3……,则将x1对应的前景图像确定为目标前景图像。
第三、将与目标前景图像对应的原始图像,确定为目标原始图像。
服务器将包含目标前景图像的原始图像,确定为目标原始图像。
第四、将目标位置对应的区域,确定为目标遮挡图像在目标原始图像中的遮挡位置,目标位置对应的区域与第一边缘相对。
目标位置对应的区域,是指包括目标位置,且所处的状态与安全区域所处的状态相同的区域。当安全区域处于第一状态时,目标位置对应的区域也处于第一状态;当安全区域处于第二状态时,目标位置对应的区域也处于第二状态。目标位置对应的区域位于安全区域内。目标位置对应的区域的形状尺寸与目标遮挡图像的形状尺寸相匹配。示例性地,服务器可以确定出目标遮挡图像的遮挡尺寸后,再确定目标位置对应的区域大小。
当安全区域处于第一状态时,目标遮挡图像也处于第一状态;当安全区域处于第二状态时,目标遮挡图像也处于第二状态。不管目标遮挡图像处于第一状态还是第二状态,当目标遮挡图像与目标原始图像的第一边缘较近时,目标遮挡图像的位置与目标原始图像的第一边缘的距离需要大于等于第三倍数的目标原始图像的第二边缘;不管目标遮挡图像处于第一状态还是第二状态,当目标遮挡图像与目标原始图像的第三边缘较近时,目标遮挡图像的位置与目标原始图像的第三边缘的距离需要大于等于第三倍数的目标原始图像的第二边缘。
选择与安全区域中的第一安全边界或第二安全边界距离最短的目标位置对应的区域放置目标遮挡图像,保证了运动对象的运动轨迹足够长,视觉差异感足够大。
综上所述,本申请实施例提供的技术方案中,通过从至少一帧前景图像中选取满足遮挡条件的前景图像作为目标前景图像,并将该目标前景图像对应的原始图像确定为目标原始图像,并在该目标原始图像上放置目标遮挡图像,保证了运动对象在运动时与目标遮挡图像产生的交集在画面较为核心的区域,用户体验较好。
另外,选择与安全区域中的第一安全边界或第二安全边界距离最短的目标位置对应的区域放置目标遮挡图像,保证了运动对象的运动轨迹足够长,视觉差异感足够大。
在示意性实施例中,服务器通过如下方式确定目标遮挡图像的遮挡尺寸和遮挡颜色:
第一、将第一倍数的目标原始图像的像素宽度,确定为目标遮挡图像的宽度。
由于每个视频的像素和画幅不同,为了更好的适应画面效果,目标遮挡图像的尺寸可以根据原始图像的像素进行适配,使得最终的视频效果较佳。
其中,目标原始图像的像素宽度是指目标原始图像在宽上所包括的像素点个数,目标遮挡图像的宽度是指目标遮挡图像在宽上所包括的最大像素点个数。不管安全区域处于第一状态还是第二状态,目标原始图像的宽是指第二边缘,则目标原始图像的像素宽度是指第二边缘包括的像素点个数。因为目标遮挡图像可能是不规则图形,所以目标遮挡图像的宽度以目标遮挡图像在宽上所包括的最大像素点个数为准。
本申请实施例中的宽与水平面是反方向,本申请实施例中的长与水平面同方向。
假设目标原始图像在宽上所包括的像素点个数为W,第一倍数为a%,则目标遮挡图像的宽度为W*a%。
第二、将第二倍数的目标原始图像的像素长度,确定为目标遮挡图像的长度。
其中,目标原始图像的像素长度是指目标原始图像在长上所包括的像素点个数,目标遮挡图像的长度是指目标遮挡图像在长上所包括的最大像素点个数。不管安全区域处于第一状态还是第二状态,目标原始图像的长是指第三边缘或第一边缘,则目标原始图像的像素长度是指第一边缘或第三边缘包括的像素点个数。因为目标遮挡图像可能是不规则图形,所以目标遮挡图像的长度以目标遮挡图像在长上所包括的最大像素点个数为准。
假设目标原始图像在长上所包括的像素点个数为H,第一倍数为b%,则目标遮挡图像的长度为H*b%。
在可能的实现方式中,第一倍数和第二倍数可以相同,也可以不同,本申请实施例对此不作限定。例如,第一倍数和第二倍数可以都为2%,当第一倍数和第二倍数都为2%时,视频显示效果最佳。
在可能的实现方式中,当目标遮挡图像是条纹图像时,条纹图像的长度可以默认与目标原始图像的第一边缘或第三边缘相同,条纹图像的宽度是第一倍数的目标原始图像的第二边缘包括的像素点个数。当条纹图像处于水平状态时,条纹图像的长度与目标原始图像的横向相同;当条纹图像处于竖直状态时,条纹图像的长度与目标原始图像的纵向相同。以目标遮挡图像为条纹图像为例进行介绍说明,如图10所示,图10中的(a)部分示出了条纹图像1000处于第一状态(竖直状态)时,基于第二边缘1010确定条纹图像的粗细,此时,第二边缘是指目标原始图像的长边;图10中的(b)部分示出了条纹图像1000处于第二状态(水平状态)时,基于第二边缘1010确定条纹图像的粗细,此时,第二边缘是指目标原始图像的短边。
以目标遮挡图像为条纹图像为例进行介绍说明,在目标原始图像中增加两个平行的条纹图像,通过两个条纹图像与运动对象产生画面前后层级变化。当然,在其它可能的实现方式中,可以使用一个条纹图像,或者大于等于三个条纹图像,可以根据实际情况进行设定。如图11所示,图11中的(a)部分示出了在目标原始图像中放置两个竖直的条纹图像1100,图11中的(b)部分示出了在目标原始图像中放置两个水平的条纹图像1100,图11中的(c)部分示出了在目标原始图像中放置一个竖直的条纹图像1100,图11中的(d)部分示出了在目标原始图像中放置一个水平的条纹图像1100。
需要说明的是,本申请实施例中提到的目标原始图像的宽和目标遮挡图像的宽处于同一个方向,目标原始图像的长和目标遮挡图像的长处于同一个方向。
第三、根据目标原始图像的画面灰度值,确定遮挡颜色。
RGB(Red Green Blue,红绿蓝)分为256阶亮度,当三色的灰度值相同时,产生不同灰度值的灰色调,即三色灰度都为0时,是最暗的黑色调;当三色灰度值都为255时,是最亮的白色调。
在可能的实现方式中,通过如下方式确定遮挡颜色:
1、将目标原始图像中包括的每个像素点的灰度值相加,得到灰度值之和。
服务器遍历目标原始图像中包括的像素点,得到每个像素点的灰度值;将每个像素点的灰度值相加,得到灰度值之和。
2、确定目标原始图像中包括的像素点总数。
将目标原始图像的像素宽度和像素长度相乘,得到目标原始图像中包括的像素点总数。目标原始图像的像素宽度是指目标原始图像在宽上所包括的像素点个数,目标原始图像的像素长度是指目标原始图像在长上所包括的像素点个数。假设目标原始图像的像素宽度是W,目标原始图像的像素长度是H,则目标原始图像中包括的像素点总数n为W*H。
3、将灰度值之和与像素点总数之商,确定为目标原始图像的画面灰度值。
假设灰度值之和为sum,则目标原始图像的画面灰度值L为sum/n。
4、将与画面灰度值的差值最大的灰度值,确定为遮挡颜色。
将0-255中与画面灰度值的差值最大的灰度值,确定为遮挡颜色。例如,如图12所示,图12中的(a)部分示出了当画面灰度值为255时,目标遮挡图像1200的遮挡颜色的灰度值为0;图12中的(b)部分示出了当画面灰度值为0时,目标遮挡图像1200的遮挡颜色的灰度值为255(黑色)。
在可能的实现方式中,如图13所示,其示出了本申请一个实施例提供的遮挡图像匹配的流程示意图。服务器先进行条纹图像匹配和非条纹图像匹配,确定选择条纹图像作为目标遮挡图像还是选择非条纹图像作为目标遮挡图像。若服务器确定选择条纹图像作为目标遮挡图像,则进行位置匹配、尺寸匹配、数量匹配和颜色匹配后,在目标原始图像中添加条纹图像。若服务器确定选择非条纹图像作为目标遮挡图像,则确定运动对象是人物还是物体;然后进行人体行为识别或物品识别;基于人物的运动类型或物品的物品类型,进行相关素材匹配,确定目标遮挡物图像;在目标原始图像中添加非条纹图像。遮挡图像匹配根据运动对象自动匹配最优的遮挡图像,比如是增加单个或多个条纹图像;是增加丝带还是云等非条纹图像。在目标原始图像中添加遮挡物是根据运动轨迹在画面中添加遮挡图像,形成视觉差,产生3D效果。
请参考图14,其示出了本申请一个实施例提供的具有三维效果的视频的生成方法的架构图。本方法包括四个模块:输入模块1401、目标处理模块1402、效果处理模块1403、输出模块1404。输入模块1401用于获取原始视频。目标处理模块1402用于执行运动目标分割、运动目标检测和运动目标跟踪操作。运动目标分割是指像素级的将前景图像与背景图像进行分割,将背景图像剔除,找出运动目标的过程;运动目标检测是指将图像序列或视频中发生空间位置变化的对象作为前景提出并标示的过程;运动目标追踪是指追踪目标对象的运动轨迹的过程。效果处理模块1403用于基于上述目标处理模块1402得到的运动轨迹进行遮挡图像匹配(也可以称之为遮挡物匹配)。遮挡图像匹配包括条纹图像匹配和非条纹图像匹配(特殊素材匹配),确定好遮挡物后,在目标原始图像上添加遮挡图像(也可以称之为遮挡物)。输出模块用于输出具有三维效果的目标视频。
需要说明的是,在一些实施例中,上述具有三维效果的视频的生成方法也可以由终端执行,例如,由终端中的视频播放程序执行。
请参考图15,其示出了本申请一个实施例提供的具有三维效果的视频的播放方法的流程图,该方法可以由终端执行,该方法可以包括如下步骤:
步骤1501,显示用于播放目标视频的播放界面。
在本申请实施例中,播放界面是指视频播放程序中的界面,播放界面可以用于播放目标视频。
步骤1502,接收对应于目标视频的获取指令。
在可能的实现方式中,目标视频的获取指令可以由播放界面中的三维效果控件触发;在可能的实现方式中,目标视频的获取指令还可以通过手势、语音、双击屏幕、三击屏幕、长按屏幕等操作触发,本申请实施例对此不作限定。
本申请实施例以目标视频的获取指令由播放界面中的三维效果控件触发为例进行介绍说明。示例性地,如图16所示,其示出了本申请一个实施例提供的播放界面的示意图。该播放界面1600上包括三维效果控件1601,用户通过勾选该三维效果控件1601触发对应于目标视频的获取指令。该播放界面1600上还显示有对三维效果控件1601的相关说明:酷炫的效果就在瞬间,坚持3秒能看到惊喜的瞬间。
步骤1503,根据获取指令,获取具有三维效果的目标视频。
当终端接收到对应于目标视频的获取指令时,向服务器发送目标视频获取请求,该目标视频获取请求中包括原始视频;服务器接收到该视频获取请求后,对原始视频进行处理,得到具有三维效果的目标视频,然后向终端发送该具有三维效果的目标视频;相应地,终端接收该具有三维效果的目标视频。
服务器在接收到原始视频后,会对原始视频中出现面向镜头的动作或者物品进行智能抠图,为了效果明显,抠图对象的动作(包括人和物品)会倾向于向前(朝向终端的屏幕外)的运动轨迹。如图16中的加粗部分1602示意了部分抠图对象(主要示意了运动变化较明显的部分)。
步骤1504,在播放界面中播放目标视频。
其中,三维效果由目标视频中包含的运动对象在目标原始图像中的目标遮挡图像间进行运动产生,目标原始图像以及目标遮挡图像在目标原始图像中的遮挡方式是基于从原始视频的至少一帧原始图像中分割出的包含运动对象的前景图像序列确定的。
服务器会根据画面特征差异化目标遮挡图像。如图17所示,图17中的(a)部分示出的播放界面1700中显示的目标视频中包括两个白色的条纹图像1710(需要说明的是,在实际应用时,白色的条纹图像1710可能不存在黑色边界,图17中只是为了示意条纹图像的颜色为白色而示出了黑色边界),图17中的(b)部分示出的播放界面1700中显示的目标视频中包括两个黑色的条纹图像1720,图17中的(c)部分示出的播放界面1700中显示的目标视频中包括一个黑色的条纹图像1730,图17中的(d)部分示出的播放界面1700中显示的目标视频中包括一个彩带1740。
运动对象在运动时间内与目标遮挡图像出现相交、掩盖、遮蔽、完全展现、半遮蔽、完全相交、不相交等多种变化状态,从而产生距离的变化,产生3D的视觉感受。如图18所示,以目标遮挡图像为两个黑色的条纹图像1810、目标原始图像包括多个原始图像为例进行介绍说明。由图18可以看出,运动对象1820在运动时间内与两个黑色的条纹图像1810依次出现不相交、掩盖、遮蔽、完全展现的变化状态,从而产生距离的变化,产生3D的视觉感受。
综上所述,本申请实施例提供的技术方案中,通过基于遮挡方式在包含运动对象的原始图像中放置遮挡图像,原始视频中包含的运动对象可以在遮挡图像间进行运动,从而可以在单位时间内出现相交、掩盖、遮蔽、完全展现、半遮蔽、完全相交、不相交等多种变化状态,从而让用户的大脑产生真实空间的运动模式,因为遮挡图像的关系产生一前一后的两个平面出来,形成视觉上的3D感受。因为本申请实施例仅是通过简单的添加遮挡图像的方式形成视觉上的三维感受,因此本申请实施例不会导致原始图像的模糊,从而不会丢失原始图像中的信息,因而不会影响信息传递的完整性,提高了信息传递的完整性。
在示意性实施例中,如图19所示,其示出了本申请一个实施例提供的具有三维效果的视频的播放方法的流程架构图。
步骤1901,用户浏览视频。
步骤1902,用户在播放界面中勾选三维效果控件,触发对应于目标视频的获取指令。
步骤1902中视频播放程序开启3D视觉效果。
步骤1903,服务器根据原始视频确定运动对象的运动轨迹和运动对象的类型。
步骤1903中服务器确定原始视频中可3D化的画面。原始视频中可3D化的画面是指包含运动对象的原始图像,且该运动对象的运动轨迹是从后往前的。
步骤1904,服务器确定与运动对象的类型匹配的遮挡图像。
服务器搜索匹配适合的遮挡图像(也可以称之为素材资源)。
步骤1905,服务器根据运动轨迹添加遮挡图像。
服务器基于遮挡方式在目标原始图像中添加遮挡图像,得到最终图像;服务器基于最终图像和原始视频,生成具有三维效果的目标视频,服务器将该具有三维效果的目标视频发送给终端。
步骤1906,视频播放程序呈现三维效果。
视频播放程序接收到目标视频后,播放该目标视频,目标视频能呈现出三维效果。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图20,其示出了本申请一个实施例提供的具有三维效果的视频的生成装置的框图。该装置具有实现上述服务器侧的具有三维效果的视频的生成方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置2000可以包括:视频获取模块2010、图像分割模块2020、方式确定模块2030、图像添加模块2040和视频生成模块2050。
视频获取模块2010,用于获取原始视频;
图像分割模块2020,用于从所述原始视频的至少一帧原始图像中分割出包含运动对象的前景图像序列,所述前景图像序列中包括至少一帧前景图像;
方式确定模块2030,用于基于所述前景图像序列,确定放置目标遮挡图像的目标原始图像,以及所述目标遮挡图像在所述目标原始图像中的遮挡方式;
图像添加模块2040,用于基于所述遮挡方式在所述目标原始图像中添加所述目标遮挡图像,得到最终图像;
视频生成模块2050,用于基于所述最终图像和所述原始视频,生成具有三维效果的目标视频。
综上所述,本申请实施例提供的技术方案中,通过基于遮挡方式在包含运动对象的原始图像中放置遮挡图像,原始视频中包含的运动对象可以在遮挡图像间进行运动,从而可以在单位时间内出现相交、掩盖、遮蔽、完全展现、半遮蔽、完全相交、不相交等多种变化状态,从而让用户的大脑产生真实空间的运动模式,因为遮挡图像的关系产生一前一后的两个平面出来,形成视觉上的3D感受。因为本申请实施例仅是通过简单的添加遮挡图像的方式形成视觉上的三维感受,因此本申请实施例不会导致原始图像的模糊,从而不会丢失原始图像中的信息,因而不会影响信息传递的完整性,提高了信息传递的完整性。
在示意性实施例中,所述遮挡方式包括遮挡位置、遮挡尺寸和遮挡颜色;
所述方式确定模块2030,包括:轨迹确定单元、图像匹配单元、位置确定单元和尺寸确定单元(图中未示出)。
轨迹确定单元,用于基于所述前景图像序列,确定所述运动对象的类型和所述运动对象的运动轨迹;
图像匹配单元,用于从遮挡物素材库中,确定与所述运动对象的类型相匹配的所述目标遮挡图像,所述遮挡物素材库中包括至少一个遮挡图像;
位置确定单元,用于基于所述运动轨迹,确定放置所述目标遮挡图像的所述目标原始图像,以及所述目标遮挡图像在所述目标原始图像中的遮挡位置;
尺寸确定单元,用于基于所述目标原始图像,确定所述目标遮挡图像的遮挡尺寸和遮挡颜色。
在示意性实施例中,所述尺寸确定单元,包括:宽度确定子单元、长度确定子单元和颜色确定子单元(图中未示出)。
宽度确定子单元,用于将第一倍数的目标原始图像的像素宽度,确定为所述目标遮挡图像的宽度;其中,所述目标原始图像的像素宽度是指所述目标原始图像在宽上所包括的像素点个数,所述目标遮挡图像的宽度是指所述目标遮挡图像在宽上所包括的最大像素点个数;
长度确定子单元,用于将第二倍数的目标原始图像的像素长度,确定为所述目标遮挡图像的长度;其中,所述目标原始图像的像素长度是指所述目标原始图像在长上所包括的像素点个数,所述目标遮挡图像的长度是指所述目标遮挡图像在长上所包括的最大像素点个数;
颜色确定子单元,用于根据所述目标原始图像的画面灰度值,确定所述遮挡颜色。
在示意性实施例中,所述颜色确定子单元,用于:
将所述目标原始图像中包括的每个像素点的灰度值相加,得到灰度值之和;
确定所述目标原始图像中包括的像素点总数;
将所述灰度值之和与所述像素点总数之商,确定为所述目标原始图像的画面灰度值;
将与所述画面灰度值的差值最大的灰度值,确定为所述遮挡颜色。
在示意性实施例中,所述位置确定单元,用于:
基于所述运动轨迹,分别确定所述运动对象在所述至少一帧前景图像中的位置;
从所述至少一帧前景图像中,选取满足遮挡条件的前景图像作为目标前景图像;其中,所述遮挡条件包括:所述运动对象在所述目标前景图像中的目标位置位于安全区域内,且与所述安全区域中的第一安全边界或第二安全边界距离最短;所述第一安全边界与所述原始图像的第一边缘的距离为第三倍数的所述原始图像的第二边缘的像素长度,所述第二安全边界与所述原始图像的第三边缘的距离为所述第三倍数的所述原始图像的第二边缘的像素长度,所述第一安全边界与所述第二安全边界平行,所述第一边缘与所述第三边缘平行,所述第二边缘分别与所述第一边缘和所述第三边缘垂直;
将与所述目标前景图像对应的原始图像,确定为所述目标原始图像;
将所述目标位置对应的区域,确定为所述目标遮挡图像在所述目标原始图像中的遮挡位置,所述目标位置对应的区域与所述第一边缘相对。
在示意性实施例中,所述图像添加模块2040,用于:
在所述目标原始图像的遮挡位置上放置所述遮挡尺寸和所述遮挡颜色的目标遮挡图像,得到最终图像。
在示意性实施例中,所述从遮挡物素材库中,确定与所述运动对象的类型相匹配的所述目标遮挡图像,包括:
在所述运动对象为人物的情况下,基于所述人物的运动类型,从所述遮挡物素材库中确定与所述运动类型相匹配的目标遮挡图像;
在所述运动对象为物品的情况下,基于所述物品的物品类型,从所述遮挡物素材库中确定与所述物品类型相匹配的目标遮挡图像。
在示意性实施例中,所述运动对象的运动趋势为朝向终端的屏幕外的趋势。
在示意性实施例中,所述目标遮挡图像包括以下至少一种:条纹图像、非条纹图像。
在示意性实施例中,所述前景图像的显示层级高于所述目标遮挡图像的显示层级,所述目标遮挡图像的显示层级高于所述原始图像中的背景图像的显示层级。
请参考图21,其示出了本申请一个实施例提供的具有三维效果的视频的播放装置的框图。该装置具有实现上述服务器侧的具有三维效果的视频的播放方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置2100可以包括:界面显示模块2110、指令获取模块2120、视频获取模块2130和视频播放模块2140。
界面显示模块2110,用于显示用于播放目标视频的播放界面;
指令获取模块2120,用于接收对应于所述目标视频的获取指令;
视频获取模块2130,用于根据所述获取指令,获取具有三维效果的所述目标视频;
视频播放模块2140,用于在所述播放界面中播放所述目标视频;
其中,所述三维效果由所述目标视频中包含的运动对象在目标原始图像中的目标遮挡图像间进行运动产生,所述目标原始图像以及所述目标遮挡图像在所述目标原始图像中的遮挡方式是基于从原始视频的至少一帧原始图像中分割出的包含所述运动对象的前景图像序列确定的。
综上所述,本申请实施例提供的技术方案中,通过基于遮挡方式在包含运动对象的原始图像中放置遮挡图像,原始视频中包含的运动对象可以在遮挡图像间进行运动,从而可以在单位时间内出现相交、掩盖、遮蔽、完全展现、半遮蔽、完全相交、不相交等多种变化状态,从而让用户的大脑产生真实空间的运动模式,因为遮挡图像的关系产生一前一后的两个平面出来,形成视觉上的3D感受。因为本申请实施例仅是通过简单的添加遮挡图像的方式形成视觉上的三维感受,因此本申请实施例不会导致原始图像的模糊,从而不会丢失原始图像中的信息,因而不会影响信息传递的完整性,提高了信息传递的完整性。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内容结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图22,其示出了本申请一个实施例提供的服务器2200的结构示意图。该服务器2200可用于实施上述实施例中提供的服务器侧的具有三维效果的视频的生成方法。该服务器2200可以是图1实施例中介绍的服务器20。具体来讲:
所述服务器2200包括中央处理单元(Central Processing Unit,CPU)2201、包括RAM(Random Access Memory,随机存取存储器)2202和ROM(Read-Only Memory,只读存储器)2203的系统存储器2204,以及连接系统存储器2204和中央处理单元2201的系统总线2205。所述服务器2200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统,Input/Output系统)2206,和用于存储操作系统2213、应用程序2214和其他程序模块2215的大容量存储设备2207。
所述基本输入/输出系统2206包括有用于显示信息的显示器2208和用于用户输入信息的诸如鼠标、键盘之类的输入设备2209。其中所述显示器2208和输入设备2209都通过连接到系统总线2205的输入输出控制器2210连接到中央处理单元2201。所述基本输入/输出系统2206还可以包括输入输出控制器2210以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器2210还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备2207通过连接到系统总线2205的大容量存储控制器(未示出)连接到中央处理单元2201。所述大容量存储设备2207及其相关联的计算机可读介质为服务器2200提供非易失性存储。也就是说,所述大容量存储设备2207可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory,只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存(Flash Memory)或其他固态存储设备,CD-ROM、DVD(Digital Versatile Disc,数字通用光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器2204和大容量存储设备2207可以统称为存储器。
根据本申请的各种实施例,所述服务器2200还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器2200可以通过连接在所述系统总线2205上的网络接口单元2211连接到网络2212,或者说,也可以使用网络接口单元2211来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于实现上述服务器侧的具有三维效果的视频的生成方法的指令。
请参考图23,其示出了本申请一个实施例提供的终端2300的结构框图。该终端2300可以是手机、平板电脑、智能电视、多媒体播放设备、PC等。该终端2300可以是图1实施例中介绍的终端10。
通常,终端2300包括有:处理器2301和存储器2302。
处理器2301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器2301可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器2301可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器2301还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器2302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器2302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。
在一些实施例中,终端2300还可选包括有:外围设备接口2303和至少一个外围设备。处理器2301、存储器2302和外围设备接口2303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口2303相连。具体地,外围设备可以包括:显示屏2304、音频电路2305、通信接口2306和电源2307中的至少一种。
本领域技术人员可以理解,图23中示出的结构并不构成对终端2300的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示意性实施例中,还提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行,以实现上述终端侧的具有三维效果的视频的播放方法。
在示意性实施例中,还提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行,以实现上述服务器侧的具有三维效果的视频的生成方法。
在示意性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述终端侧的具有三维效果的视频的播放方法,或者实现上述服务器侧的具有三维效果的视频的生成方法。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该终端执行上述终端侧的具有三维效果的视频的播放方法。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。服务器的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该服务器执行上述服务器侧的具有三维效果的视频的生成方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (14)

1.一种具有三维效果的视频的生成方法,其特征在于,所述方法包括:
获取原始视频;
从所述原始视频的至少一帧原始图像中分割出包含运动对象的前景图像序列,所述前景图像序列中包括至少一帧前景图像;
基于所述前景图像序列,确定放置目标遮挡图像的目标原始图像,以及所述目标遮挡图像在所述目标原始图像中的遮挡方式,所述遮挡方式包括遮挡位置,所述目标原始图像是满足遮挡条件的目标前景图像所对应的原始图像,所述目标前景图像从所述至少一帧前景图像中选取得到,所述遮挡条件包括:所述运动对象在所述目标前景图像中的目标位置位于安全区域内,且与所述安全区域中的第一安全边界或第二安全边界距离最短,所述第一安全边界与第一边缘的距离为第三倍数的第二边缘的像素长度,所述第二安全边界与第三边缘的距离为所述第三倍数的所述第二边缘的像素长度,所述第一安全边界与所述第二安全边界平行,所述第一边缘、所述第二边缘以及所述第三边缘是所述原始图像的边缘,所述第一边缘与所述第三边缘平行,所述第二边缘分别与所述第一边缘和所述第三边缘垂直,所述目标位置基于所述运动对象的运动轨迹确定得到,所述目标位置对应的区域与所述第一边缘相对,所述目标遮挡图像的所述遮挡位置为所述目标位置对应的区域;
基于所述遮挡方式在所述目标原始图像中添加所述目标遮挡图像,得到最终图像;
基于所述最终图像和所述原始视频,生成具有三维效果的目标视频。
2.根据权利要求1所述的方法,其特征在于,所述遮挡方式包括所述遮挡位置、遮挡尺寸和遮挡颜色;
所述基于所述前景图像序列,确定放置目标遮挡图像的目标原始图像,以及所述目标遮挡图像在所述目标原始图像中的遮挡方式,包括:
基于所述前景图像序列,确定所述运动对象的类型和所述运动对象的所述运动轨迹;
从遮挡物素材库中,确定与所述运动对象的类型相匹配的所述目标遮挡图像,所述遮挡物素材库中包括至少一个遮挡图像;
基于所述运动轨迹,确定放置所述目标遮挡图像的所述目标原始图像,以及所述目标遮挡图像在所述目标原始图像中的遮挡位置;
基于所述目标原始图像,确定所述目标遮挡图像的遮挡尺寸和遮挡颜色。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标原始图像,确定所述目标遮挡图像的遮挡尺寸和遮挡颜色,包括:
将第一倍数的目标原始图像的像素宽度,确定为所述目标遮挡图像的宽度;其中,所述目标原始图像的像素宽度是指所述目标原始图像在宽上所包括的像素点个数,所述目标遮挡图像的宽度是指所述目标遮挡图像在宽上所包括的最大像素点个数;
将第二倍数的目标原始图像的像素长度,确定为所述目标遮挡图像的长度;其中,所述目标原始图像的像素长度是指所述目标原始图像在长上所包括的像素点个数,所述目标遮挡图像的长度是指所述目标遮挡图像在长上所包括的最大像素点个数;
根据所述目标原始图像的画面灰度值,确定所述遮挡颜色。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标原始图像的画面灰度值,确定所述遮挡颜色,包括:
将所述目标原始图像中包括的每个像素点的灰度值相加,得到灰度值之和;
确定所述目标原始图像中包括的像素点总数;
将所述灰度值之和与所述像素点总数之商,确定为所述目标原始图像的画面灰度值;
将与所述画面灰度值的差值最大的灰度值,确定为所述遮挡颜色。
5.根据权利要求2所述的方法,其特征在于,所述基于所述遮挡方式在所述目标原始图像中添加所述目标遮挡图像,得到最终图像,包括:
在所述目标原始图像的遮挡位置上放置所述遮挡尺寸和所述遮挡颜色的目标遮挡图像,得到最终图像。
6.根据权利要求2所述的方法,其特征在于,所述从遮挡物素材库中,确定与所述运动对象的类型相匹配的所述目标遮挡图像,包括:
在所述运动对象为人物的情况下,基于所述人物的运动类型,从所述遮挡物素材库中确定与所述运动类型相匹配的目标遮挡图像;
在所述运动对象为物品的情况下,基于所述物品的物品类型,从所述遮挡物素材库中确定与所述物品类型相匹配的目标遮挡图像。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述运动对象的运动趋势为朝向终端的屏幕外的趋势。
8.根据权利要求1至6任一项所述的方法,其特征在于,所述目标遮挡图像包括以下至少一种:条纹图像、非条纹图像。
9.根据权利要求1至6任一项所述的方法,其特征在于,所述前景图像的显示层级高于所述目标遮挡图像的显示层级,所述目标遮挡图像的显示层级高于所述原始图像中的背景图像的显示层级。
10.一种具有三维效果的视频的播放方法,其特征在于,所述方法包括:
显示用于播放目标视频的播放界面;
接收对应于所述目标视频的获取指令;
根据所述获取指令,获取具有三维效果的所述目标视频;
在所述播放界面中播放所述目标视频;
其中,所述三维效果由所述目标视频中包含的运动对象在目标原始图像中的目标遮挡图像间进行运动产生,所述目标原始图像以及所述目标遮挡图像在所述目标原始图像中的遮挡方式是基于从原始视频的至少一帧原始图像中分割出的包含所述运动对象的前景图像序列确定的,所述遮挡方式包括遮挡位置,所述目标原始图像是满足遮挡条件的目标前景图像所对应的原始图像,所述目标前景图像从所述至少一帧前景图像中选取得到,所述遮挡条件包括:所述运动对象在所述目标前景图像中的目标位置位于安全区域内,且与所述安全区域中的第一安全边界或第二安全边界距离最短,所述第一安全边界与第一边缘的距离为第三倍数的第二边缘的像素长度,所述第二安全边界与第三边缘的距离为所述第三倍数的所述第二边缘的像素长度,所述第一安全边界与所述第二安全边界平行,所述第一边缘、所述第二边缘以及所述第三边缘是所述原始图像的边缘,所述第一边缘与所述第三边缘平行,所述第二边缘分别与所述第一边缘和所述第三边缘垂直,所述目标位置基于所述运动对象的运动轨迹确定得到,所述目标位置对应的区域与所述第一边缘相对,所述目标遮挡图像的所述遮挡位置为所述目标位置对应的区域。
11.一种具有三维效果的视频的生成装置,其特征在于,所述装置包括:
视频获取模块,用于获取原始视频;
图像分割模块,用于从所述原始视频的至少一帧原始图像中分割出包含运动对象的前景图像序列,所述前景图像序列中包括至少一帧前景图像;
方式确定模块,用于基于所述前景图像序列,确定放置目标遮挡图像的目标原始图像,以及所述目标遮挡图像在所述目标原始图像中的遮挡方式,所述遮挡方式包括遮挡位置,所述目标原始图像是满足遮挡条件的目标前景图像所对应的原始图像,所述目标前景图像从所述至少一帧前景图像中选取得到,所述遮挡条件包括:所述运动对象在所述目标前景图像中的目标位置位于安全区域内,且与所述安全区域中的第一安全边界或第二安全边界距离最短,所述第一安全边界与第一边缘的距离为第三倍数的第二边缘的像素长度,所述第二安全边界与第三边缘的距离为所述第三倍数的所述第二边缘的像素长度,所述第一安全边界与所述第二安全边界平行,所述第一边缘、所述第二边缘以及所述第三边缘是所述原始图像的边缘,所述第一边缘与所述第三边缘平行,所述第二边缘分别与所述第一边缘和所述第三边缘垂直,所述目标位置基于所述运动对象的运动轨迹确定得到,所述目标位置对应的区域与所述第一边缘相对,所述目标遮挡图像的所述遮挡位置为所述目标位置对应的区域;
图像添加模块,用于基于所述遮挡方式在所述目标原始图像中添加所述目标遮挡图像,得到最终图像;
视频生成模块,用于基于所述最终图像和所述原始视频,生成具有三维效果的目标视频。
12.一种具有三维效果的视频的播放装置,其特征在于,所述装置包括:
界面显示模块,用于显示用于播放目标视频的播放界面;
指令获取模块,用于接收对应于所述目标视频的获取指令;
视频获取模块,用于根据所述获取指令,获取具有三维效果的所述目标视频;
视频播放模块,用于在所述播放界面中播放所述目标视频;
其中,所述三维效果由所述目标视频中包含的运动对象在目标原始图像中的目标遮挡图像间进行运动产生,所述目标原始图像以及所述目标遮挡图像在所述目标原始图像中的遮挡方式是基于从原始视频的至少一帧原始图像中分割出的包含所述运动对象的前景图像序列确定的,所述遮挡方式包括遮挡位置,所述目标原始图像是满足遮挡条件的目标前景图像所对应的原始图像,所述目标前景图像从所述至少一帧前景图像中选取得到,所述遮挡条件包括:所述运动对象在所述目标前景图像中的目标位置位于安全区域内,且与所述安全区域中的第一安全边界或第二安全边界距离最短,所述第一安全边界与第一边缘的距离为第三倍数的第二边缘的像素长度,所述第二安全边界与第三边缘的距离为所述第三倍数的所述第二边缘的像素长度,所述第一安全边界与所述第二安全边界平行,所述第一边缘、所述第二边缘以及所述第三边缘是所述原始图像的边缘,所述第一边缘与所述第三边缘平行,所述第二边缘分别与所述第一边缘和所述第三边缘垂直,所述目标位置基于所述运动对象的运动轨迹确定得到,所述目标位置对应的区域与所述第一边缘相对,所述目标遮挡图像的所述遮挡位置为所述目标位置对应的区域。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一项所述的具有三维效果的视频的生成方法,或实现如权利要求10所述的具有三维效果的视频的播放方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一项所述的具有三维效果的视频的生成方法,或实现如权利要求10所述的具有三维效果的视频的播放方法。
CN202011158075.4A 2020-10-26 2020-10-26 具有三维效果的视频的生成方法、播放方法、装置及设备 Active CN112272295B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011158075.4A CN112272295B (zh) 2020-10-26 2020-10-26 具有三维效果的视频的生成方法、播放方法、装置及设备
PCT/CN2021/122662 WO2022089168A1 (zh) 2020-10-26 2021-10-08 具有三维效果的视频的生成方法、播放方法、装置及设备
US17/959,649 US20230021533A1 (en) 2020-10-26 2022-10-04 Method and apparatus for generating video with 3d effect, method and apparatus for playing video with 3d effect, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011158075.4A CN112272295B (zh) 2020-10-26 2020-10-26 具有三维效果的视频的生成方法、播放方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112272295A CN112272295A (zh) 2021-01-26
CN112272295B true CN112272295B (zh) 2022-06-10

Family

ID=74342949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011158075.4A Active CN112272295B (zh) 2020-10-26 2020-10-26 具有三维效果的视频的生成方法、播放方法、装置及设备

Country Status (3)

Country Link
US (1) US20230021533A1 (zh)
CN (1) CN112272295B (zh)
WO (1) WO2022089168A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112272295B (zh) * 2020-10-26 2022-06-10 腾讯科技(深圳)有限公司 具有三维效果的视频的生成方法、播放方法、装置及设备
CN113747227B (zh) * 2021-09-09 2024-02-02 北京有竹居网络技术有限公司 视频播放方法、装置、存储介质以及电子设备
CN114782901B (zh) * 2022-06-21 2022-09-09 深圳市禾讯数字创意有限公司 基于视觉变动分析的沙盘投影方法、装置、设备及介质
CN117271809B (zh) * 2023-11-21 2024-02-09 浙江大学 基于任务场景和上下文感知的虚拟代理交流环境生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303491A (zh) * 2015-05-27 2017-01-04 深圳超多维光电子有限公司 图像处理方法及装置
CN110996087A (zh) * 2019-12-10 2020-04-10 腾讯科技(深圳)有限公司 视频显示方法、装置
CN111246196A (zh) * 2020-01-19 2020-06-05 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150116458A1 (en) * 2013-10-30 2015-04-30 Barkatech Consulting, LLC Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications
CN104597610B (zh) * 2015-02-10 2016-12-07 京东方科技集团股份有限公司 一种裸眼3d的显示处理方法、装置及显示设备
CN109840881B (zh) * 2018-12-12 2023-05-05 奥比中光科技集团股份有限公司 一种3d特效图像生成方法、装置及设备
CN111815786A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 信息显示方法、装置、设备和存储介质
CN111815666B (zh) * 2020-08-10 2024-04-02 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN112272295B (zh) * 2020-10-26 2022-06-10 腾讯科技(深圳)有限公司 具有三维效果的视频的生成方法、播放方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303491A (zh) * 2015-05-27 2017-01-04 深圳超多维光电子有限公司 图像处理方法及装置
CN110996087A (zh) * 2019-12-10 2020-04-10 腾讯科技(深圳)有限公司 视频显示方法、装置
CN111246196A (zh) * 2020-01-19 2020-06-05 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20230021533A1 (en) 2023-01-26
WO2022089168A1 (zh) 2022-05-05
CN112272295A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN112272295B (zh) 具有三维效果的视频的生成方法、播放方法、装置及设备
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN110111236B (zh) 基于渐进式对抗生成网络的多目标草图生成图像的方法
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN110795925A (zh) 基于人工智能的图文排版方法、图文排版装置及电子设备
CN113705316A (zh) 获取虚拟图像的方法、装置、设备及存储介质
CN113411550B (zh) 视频上色方法、装置、设备及存储介质
CN112101344B (zh) 一种视频文本跟踪方法及装置
CN114973349A (zh) 面部图像处理方法和面部图像处理模型的训练方法
CN112257729A (zh) 图像识别方法、装置、设备及存储介质
CN115222858A (zh) 动画重构网络的训练及其图像重构、视频重构方法与设备
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
Musat et al. Depth-sims: Semi-parametric image and depth synthesis
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
Kubiak et al. S3R-Net: A Single-Stage Approach to Self-Supervised Shadow Removal
Liu et al. Video decolorization based on the CNN and LSTM neural network
CN115272057A (zh) 卡通素描图像重构网络的训练及其重构方法与设备
Dale 3d object detection using virtual environment assisted deep network training
CN113505866B (zh) 基于边缘素材数据增强的图像分析方法和装置
Li Optimization Algorithm of Integrating Folk Art into VR Vision Under Deep Learning
CN113709559B (zh) 视频划分方法、装置、计算机设备及存储介质
CN117156078B (zh) 一种视频数据处理方法、装置、电子设备及存储介质
Mejjati et al. Generating object stamps
Liu et al. 3D Animation Graphic Enhancing Process Effect Simulation Analysis
Montserrat Machine Learning-Based Multimedia Analytics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40038205

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant