CN113422914A - 一种视频生成方法、装置、设备及介质 - Google Patents
一种视频生成方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113422914A CN113422914A CN202110704110.6A CN202110704110A CN113422914A CN 113422914 A CN113422914 A CN 113422914A CN 202110704110 A CN202110704110 A CN 202110704110A CN 113422914 A CN113422914 A CN 113422914A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- segmented
- video
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000003709 image segmentation Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 20
- 230000007306 turnover Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 230000000149 penetrating effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 7
- 125000004122 cyclic group Chemical group 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Circuits (AREA)
Abstract
本公开实施例涉及一种视频生成方法、装置、设备及介质，其中该方法包括：获取背景图像；获取包括目标对象的待分割图像；对待分割图像进行目标对象的图像分割，得到目标对象对应的轮廓图像；将轮廓图像作为目标显示视频的前景图像；将背景图像进行循环翻转，并结合所述前景图像生成目标显示视频。本公开能够增加视频拍摄的趣味性。
Description
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频生成方法、装置、设备及介质。
背景技术
随着视频处理技术的发展，普通的视频已经无法满足人们对内容的获取需求，充满新奇玩法的视频逐渐吸引了人们的注意力。目前，用户在拍摄视频时，通常只能显示用户当前所处的真实场景，这在很大程度上限制了视频的特效玩法，不能满足用户对视频的趣味性追求。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种视频生成方法、装置、设备及介质。
本公开实施例提供了一种视频生成方法，包括：
获取背景图像；
获取包括目标对象的待分割图像；
对所述待分割图像进行目标对象的图像分割，得到所述目标对象对应的轮廓图像；
将所述轮廓图像作为目标显示视频的前景图像；
将所述背景图像进行循环翻转，并结合所述前景图像生成目标显示视频。
可选的，所述获取背景图像，包括：
获取用户输入的至少一张第一图像；
实时获取当前时刻拍摄得到的第二图像；
将所述至少一张第一图像和所述第二图像作为背景图像；
所述将所述背景图像进行循环翻转，包括：将所述至少一张第一图像和所述第二图像进行循环翻转切换。
可选的，所述获取包括目标对象的待分割图像，包括：
将所述第一图像和/或所述第二图像中包括目标对象的图像确定为待分割图像。
可选的，所述将所述背景图像进行循环翻转，包括：
以所述目标对象的中心线为翻转轴，按照水平翻转或者垂直翻转的方式将所述背景图像进行循环翻转。
可选的，所述将所述轮廓图像作为目标显示视频的前景图像，包括：
确定所述轮廓图像在所述待分割图像中的位置；将所述目标显示视频上与所述位置对应的区域图像替换为所述轮廓图像；
或者，将所述轮廓图像作为前景图像覆盖在所述目标显示视频上。
可选的，当所述待分割图像为包括多个所述目标对象的图像时，所述方法还包括：
将所述待分割图像上多个所述目标对象的轮廓图像划分为至少一个目标对象图像组合。
可选的，当所述目标对象图像组合为多种时，所述方法还包括：
每当所述背景图像进行翻转时，切换对应的目标对象图像组合。
可选的，将所述背景图像进行循环翻转，包括：
将所述第二图像作为循环翻转的起始帧图像，从所述起始帧图像开始，按照预设的展示顺序展示依次翻转切换到的对应的背景图像；其中，所述展示顺序包括：所述第一图像的输入顺序、所述目标对象的数量的顺序和/或所述目标对象在所述第二图像上的空间排列顺序。
可选的，所述对所述待分割图像进行目标对象的图像分割，包括：
确定所述目标对象在所述待分割图像上的面积占比；
当所述面积占比小于预设的第一占比时，从所述待分割图像上截取候选图像，使得所述目标对象在所述候选图像上的位置和面积占比满足预设条件；
对所述候选图像进行目标对象的图像分割。
可选的，所述方法还包括：
在将所述背景图像进行循环翻转的过程中，所述轮廓图像始终采用穿透所述背景图像的方式进行展示。
可选的，所述翻转的方式包括：以视频拍摄界面的横向中线为翻转轴的垂直翻转、以视频拍摄界面的竖直中线为翻转轴的水平翻转和/或以视频拍摄界面的中心点为旋转中心的圆周翻转。
可选的，所述方法还包括：
在将所述背景图像进行循环翻转过程中，所述第二图像和所述第一图像发生与所述翻转的方式对应的形变。
可选的，所述翻转的方式还为：擦除切换方式、透明度变化切换方式或溶解切换方式。
可选的，所述第二图像根据预设时间间隔进行获取，所述预设时间间隔与循环翻转的周期有关。
本公开实施例还提供了一种视频生成装置，包括：
第一获取模块，用于获取背景图像；
第二获取模块，用于获取包括目标对象的待分割图像；
图像分割模块，用于对所述待分割图像进行目标对象的图像分割，得到所述目标对象对应的轮廓图像；
视频生成模块，用于将所述轮廓图像作为目标显示视频的前景图像；还用于将所述背景图像进行循环翻转，并结合所述前景图像生成目标显示视频。
本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的视频生成方法。
本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的视频生成方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供的一种视频生成方法、装置、设备及介质，该技术包括：首先获取背景图像；获取包括目标对象的待分割图像；然后对待分割图像进行目标对象的图像分割，得到目标对象对应的轮廓图像；最后将轮廓图像作为目标显示视频的前景图像；以及将背景图像进行循环翻转，并结合前景图像生成目标显示视频。
通过上述方案，用户在日常拍摄视频的过程中，可以实现目标对象与用户需求的背景图像相结合，同时，通过循环翻转背景图像为用户带来场景动态变化的特效玩法，使用户能够代入并沉浸在场景中，增加了视频拍摄的趣味性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种视频生成方法的流程示意图；
图2为本公开实施例提供的一种背景图像翻转过程的示意图；
图3为本公开实施例提供的一种穿透效果的示意图；
图4为本公开实施例提供的一种视频生成装置的结构示意图；
图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
图1为本公开实施例提供的一种视频生成方法的流程示意图，该方法可以由视频生成装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：
步骤102，获取背景图像。
在实际应用中，用户当前可能正在拍摄视频过程中；本实施例获取背景图像，可以包括：
获取用户输入的至少一张第一图像；实时获取当前时刻拍摄得到的第二图像；将至少一张第一图像和第二图像作为背景图像。其中，第一图像是用户根据个人喜好、需求输入的图像，能够满足拍摄视频时对场景趣味性的追求；第二图像是在视频拍摄过程中实时得到的真实场景下的图像。
步骤104，获取包括目标对象的待分割图像；其中，目标对象诸如为人体、人脸、动物或车辆等对象，待分割图像包括的目标对象可以为一个或者多个。本实施例可以将第一图像和/或第二图像中包括目标对象的图像确定为待分割图像。
步骤106，对待分割图像进行目标对象的图像分割，得到目标对象对应的轮廓图像。
在本实施例中，首先检测待分割图像中目标对象的轮廓的关键点，根据轮廓的关键点确定目标对象的轮廓区域，再从待分割图像上对该轮廓区域进行剪裁，得到目标对象对应的轮廓图像。
步骤108，将轮廓图像作为目标显示视频的前景图像。
将轮廓图像作为前景图像的方式可以有多种，例如：确定轮廓图像在待分割图像中的位置；将目标显示视频上与该位置对应的区域图像替换为轮廓图像。在具体实现时，可以目标显示视频上与上述位置对应的区域图像的各个像素值，替换为轮廓图像上相应的各个像素值，从而在目标显示视频的展示界面上，将轮廓图像作为目标显示视频的前景图像进行展示。
或者，与上述方式类似，还可以确定待分割图像上除轮廓图像之外的第一区域图像，以及确定目标显示视频上与该第一区域图像位置相同的第二区域图像；然后将待分割图像上的第一区域图像替换为第二区域图像，由此将轮廓图像作为目标显示视频的前景图像。
或者，在另一种实现方式中，可以直接将轮廓图像作为前景图像覆盖在目标显示视频上。
步骤110，将背景图像进行循环翻转，并结合前景图像生成目标显示视频。
背景图像包括至少一张第一图像和第二图像，基于此，将背景图像进行循环翻转可以包括：将至少一张第一图像和第二图像进行循环翻转切换。
由于第二图像为真实场景下的图像，因此，在翻转切换背景图像的过程中，通常将第二图像作为循环翻转的起始帧图像，由此开始翻转切换第一图像，从而实现背景图像的动态变化。第一图像和第二图像进行循环翻转切换的方式可以为但不限于：以目标对象的中心线为翻转轴，按照水平翻转或者垂直翻转的方式将背景图像进行循环翻转；具体的，当以目标对象的横向中心线为翻转轴时，对应于垂直翻转，当以目标对象的竖直中心线为翻转轴时，对应于水平翻转。
基于上述前景图像和该循环翻转的背景图像，可以生成目标显示视频，也即目标显示视频展示的内容包括：在背景区域展示循环翻转切换的第一图像和第二图像，在前景区域展示作为前景图像的轮廓图像。
本公开实施例提供的一种视频生成方法，基于待分割图像得到目标对象对应的轮廓图像，将轮廓图像作为目标显示视频的前景图像；将获取的目标显示视频的背景图像进行循环翻转，并结合前景图像生成目标显示视频。通过上述方案，用户在日常拍摄视频的过程中，可以实现目标对象与用户需求的背景图像相结合，同时，通过循环翻转背景图像为用户带来场景动态变化的特效玩法，使用户能够代入并沉浸在场景中，增加了视频拍摄的趣味性。
考虑到实际拍摄中，可能会由于拍摄距离较远或者拍摄角度较偏，而导致目标对象在待分割图像上表现为一个很小的目标，或者在待分割图像上处于极偏的空间位置，在此情况下，通过图像分割得到的轮廓图像会不清楚。针对于此，本实施例提供一种对待分割图像进行目标对象的图像分割的实现方法，参照如下所示：
确定目标对象在待分割图像上的面积占比；当面积占比小于预设的第一占比时，从待分割图像上截取候选图像，使得目标对象在候选图像上的位置和面积占比满足预设条件；而后再对候选图像进行目标对象的图像分割，以得到目标对象对应的轮廓图像。
上述预设条件具体可以包括：目标对象在候选图像上的面积占比高于预设的第二占比，比如高于30％，以及，目标对象在候选图像上的位置为在候选图像的竖直中心线两侧的预设偏离距离之内。当满足上述预设条件时，目标对象能够在候选图像上占据合适的空间位置，在视频拍摄界面上具有较强的画面表现力，由此得到的轮廓图像能够清楚、完整且尺寸大小合适。
通过图像分割得到轮廓图像后，将其作为目标显示视频的前景图像。以及，将背景图像进行循环翻转，并结合前景图像生成目标显示视频。
本实施例提供几种将背景图像进行循环翻转的方式，参照如下所示。
实现方式一，当有一张第一图像和一张第二图像时，采用预设的翻转切换方式，从第二图像翻转切换至第一图像。如图2所示，提供了一种以人体为翻转轴的翻转方式，具体为图像以人体纵向中心垂线为轴，显示背景图像垂直于屏幕进行翻转的方式；从视频拍摄过程中的第二图像开始，采用该水平翻转的方式对第二图像进行翻转，直至第二图像翻转至垂直于屏幕90度时，第一图像从该90度的角度开始，采用同样的水平翻转方式继续进行翻转，直至翻转一周至第一图像开始位置时，切换回第二图像继续翻转，以确定完成一次翻转切换，如此循环。可以理解，随着视频拍摄的进行，上述翻转切换的动画循环执行。翻转切换的频次可以预先设置，比如0.7秒完成一次翻转切换；和/或，每一次翻转切换完成后，第一图像和第二图像作为背景图像的展示时间也可以预先设置，比如展示1秒。具体的示例如，当以实时拍摄的第二图像为背景图像进行展示并达到预设的第一时间后，在预设的第二时间内，采用预设的翻转切换方式翻转至第一图像，以第一图像为背景图像进行展示并达到预设的第三时间，该第三时间可以与第一时间相同或不同。随着视频的拍摄，循环上述背景图像的翻转切换的动画。
实现方式二：当第一图像为多张时，可以按照如下方式将背景图像进行循环翻转切换：
将第二图像作为循环翻转的起始帧图像，从起始帧图像开始，按照预设的展示顺序展示依次翻转切换到的对应的背景图像；其中，展示顺序包括：第一图像的输入顺序。
在一种具体示例中，假设输入的第一图像依次包括图像A、图像B和图像C，那么，从视频拍摄过程中实时得到的第二图像开始，展示由第二图像翻转切换到图像A、由图像A翻转切换到图像B、由图像B翻转切换到图像C，以及由图像C翻转切换到第二图像的翻转切换动画。
实现方式三：当待分割图像为包括多个目标对象的图像时，本实施例首先将待分割图像上多个目标对象的轮廓图像划分为至少一个目标对象图像组合。各目标对象图像组合中可以包括至少一个目标对象的轮廓图像。将背景图像进行循环翻转的方式可以为：将视频拍摄过程中实时获取的第二图像作为循环翻转切换的起始帧图像，从起始帧图像开始，按照预设的展示顺序展示依次翻转切换到的对应的背景图像，且每当背景图像进行翻转时，切换对应的目标对象图像组合；其中，展示顺序包括：第一图像的输入顺序、目标对象的数量的顺序和/或目标对象在待分割图像上的空间排列顺序。
在一种具体示例中，假设在对以五个人体为目标对象的视频拍摄场景中，第二图像为包括五个目标对象的图像，相应地，目标对象图像组合(简称组合)A包括人体1的轮廓图像，组合B包括人体2、人体3各自的轮廓图像，组合C包括人体4和人体5各自的轮廓图像，第一图像为一张，以及，展示顺序为目标对象的数量由少到多的顺序和目标对象在第二图像上的空间排列由左到右的顺序。
在此情况下，当视频拍摄实时获取到第二图像并将第二图像作为背景图像展示时，当前展示的是第二图像P1上的全部目标对象；从该第二图像P1开始，展示由第二图像P1翻转切换到第一图像，与此同时，将上一个背景图像上展示的全部目标对象切换为组合A，也即在以第一图像为背景图像的目标显示视频中，前景图像是人体1的轮廓图像。
接下来，展示由第一图像翻转切换到实时获取的第二图像P2，与此同时，将上一个背景图像上展示的组合A切换为组合B或者组合C；考虑到组合B和组合C对应的目标对象的数量相同，基于此，可以结合目标对象在第二图像上的空间排列顺序确定组合的切换顺序；在本示例中，可以将上一个背景图像上展示的组合A切换为组合B，也即在以第二图像P2为背景图像的目标显示视频中，前景图像是人体2和人体3对应的轮廓图像。
再接下来，展示由第二图像P2翻转切换到第一图像，与此同时，将上一个背景图像上展示的组合B切换为组合C，也即在以第一图像为背景图像的目标显示视频中，前景图像是人体4和人体5对应的轮廓图像。
在以上多种实现方式中，第二图像是随着视频拍摄，实时获取的当前时刻的图像，基于此，第二图像可以根据预设时间间隔进行获取，预设时间间隔与循环翻转切换的周期有关。针对该周期，在上述实现方式一中，从第二图像翻转切换至第一图像，且将第一图像作为背景图像持续展示至预设时长时，确定为一个周期；在上述实现方式二中，从第二图像依次翻转切换至各第一图像，且将展示顺序为最后的第一图像作为背景图像持续展示至预设时长时，确定为一个周期；在上述实现方式三中，从前景为全部目标对象的第二图像开始翻转切换，每当第二图像与第一图像循环翻转切换时均同时切换组合，直至切换至最后一个组合时，相对应的背景图像持续展示至预设时长时，确定为一个周期。
可以理解，以上仅为将背景图像进行循环翻转的几种示例性描述，在实际应用中可以有更多种翻转切换的实施例，对此不应理解为限制。
在以上任意一种将背景图像进行循环翻转的过程中，如图3所示，轮廓图像始终采用穿透背景图像的方式进行展示。通过采用穿透背景图像的方式展示轮廓图像，令轮廓图像呈现立体效果，能够增强目标对象与翻转切换的背景图像之间进行交互的趣味性体验。
在以上将背景图像进行循环翻转的过程中，翻转的方式还可以包括：以视频拍摄界面的横向中线为翻转轴的垂直翻转、以视频拍摄界面的竖直中线为翻转轴的水平翻转和/或以视频拍摄界面的中心点为旋转中心的圆周翻转。相应的，在将背景图像进行循环翻转过程中，第二图像和第一图像发生与翻转的方式对应的形变，该形变可参照图2所示。
此外，在其他实现方式中，翻转切换的方式还可以为但不限于：擦除切换方式、透明度变化切换方式或溶解切换方式。
综上，上述公开实施例提供的视频生成方法，在用户日常拍摄视频的过程中，可以实现目标对象与用户需求的背景图像相结合，同时，通过循环翻转背景图像为用户带来场景动态变化的特效玩法，使用户能够代入并沉浸在场景中；以及，在背景图像循环翻转过程中，通过切换用户输入的第一图像和实时拍摄的第二图像，将该第一图像和第二图像作为翻转切换的不同的背景图像，为用户营造场景切换或场景穿越的特效玩法，以上明显增加了视频拍摄的趣味性。
图4为本公开实施例提供的一种视频生成装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中，可通过执行视频生成方法来生成背景可以循环翻转的趣味性视频。如图4所示，该视频生成装置包括：
第一获取模块402，用于获取背景图像；
第二获取模块404，用于获取包括目标对象的待分割图像；
图像分割模块406，用于对待分割图像进行目标对象的图像分割，得到目标对象对应的轮廓图像；
视频生成模块408，用于将轮廓图像作为目标显示视频的前景图像；还用于将背景图像进行循环翻转，并结合前景图像生成目标显示视频。
在一些实施例中，第一获取模块402包括：
图像输入单元，用于获取用户输入的至少一张第一图像；
图像拍摄单元，用于实时获取当前时刻拍摄得到的第二图像；
确定背景单元，用于将至少一张第一图像和第二图像作为背景图像；
相应的，上述视频生成模块408用于：将至少一张第一图像和第二图像进行循环翻转切换。
在一些实施例中，第二获取模块404用于：将第一图像和/或第二图像中包括目标对象的图像确定为待分割图像。
在一些实施例中，上述视频生成模块408用于：以目标对象的中心线为翻转轴，按照水平翻转或者垂直翻转的方式将背景图像进行循环翻转。
在一些实施例中，上述视频生成模块408用于：确定轮廓图像在待分割图像中的位置；将目标显示视频上与位置对应的区域图像替换为轮廓图像；或者，将轮廓图像作为前景图像覆盖在目标显示视频上。
在一些实施例中，当待分割图像为包括多个目标对象的图像时，视频生成装置还包括：
组合划分模块，用于将待分割图像上多个目标对象的轮廓图像划分为至少一个目标对象图像组合。
在一些实施例中，当目标对象图像组合为多种时，视频生成装置还包括：
组合切换模块，用于每当背景图像进行翻转时，切换对应的目标对象图像组合。
在一些实施例中，上述视频生成模块408还用于：将第二图像作为循环翻转的起始帧图像，从起始帧图像开始，按照预设的展示顺序展示依次翻转切换到的对应的背景图像；其中，展示顺序包括：第一图像的输入顺序、目标对象的数量的顺序和/或目标对象在第二图像上的空间排列顺序。
在一些实施例中，图像分割模块406用于：
确定目标对象在待分割图像上的面积占比；
当面积占比小于预设的第一占比时，从待分割图像上截取候选图像，使得目标对象在候选图像上的位置和面积占比满足预设条件；
对候选图像进行目标对象的图像分割。
在一些实施例中，视频生成装置还包括：
穿透展示模块，用于在将背景图像进行循环翻转的过程中，轮廓图像始终采用穿透背景图像的方式进行展示。
在一些实施例中，视频生成装置还包括：
形变模块，用于在将背景图像进行循环翻转过程中，第二图像和第一图像发生与翻转的方式对应的形变。
本公开实施例所提供的视频生成装置可执行本发明任意实施例所提供的视频生成方法，具备执行方法相应的功能模块和有益效果。
图5为本公开实施例提供的一种电子设备的结构示意图。如图5所示，电子设备500包括一个或多个处理器501和存储器502。
处理器501可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备500中的其他组件以执行期望的功能。
存储器502可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行所述程序指令，以实现上文所述的本公开的实施例的视频生成方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备500还可以包括：输入装置503和输出装置504，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置503还可以包括例如键盘、鼠标等等。
该输出装置504可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备500中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备500还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所述视频生成方法。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的视频生成方法。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开实施例中的方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (17)
1.一种视频生成方法，其特征在于，包括：
获取背景图像；
获取包括目标对象的待分割图像；
对所述待分割图像进行目标对象的图像分割，得到所述目标对象对应的轮廓图像；
将所述轮廓图像作为目标显示视频的前景图像；
将所述背景图像进行循环翻转，并结合所述前景图像生成所述目标显示视频。
2.根据权利要求1所述的方法，其特征在于，所述获取背景图像，包括：
获取用户输入的至少一张第一图像；
实时获取当前时刻拍摄得到的第二图像；
将所述至少一张第一图像和所述第二图像作为背景图像；
所述将所述背景图像进行循环翻转，包括：将所述至少一张第一图像和所述第二图像进行循环翻转切换。
3.根据权利要求2所述的方法，其特征在于，所述获取包括目标对象的待分割图像，包括：
将所述第一图像和/或所述第二图像中包括目标对象的图像确定为待分割图像。
4.根据权利要求1所述的方法，其特征在于，所述将所述背景图像进行循环翻转，包括：
以所述目标对象的中心线为翻转轴，按照水平翻转或者垂直翻转的方式将所述背景图像进行循环翻转。
5.根据权利要求1所述的方法，其特征在于，所述将所述轮廓图像作为目标显示视频的前景图像，包括：
确定所述轮廓图像在所述待分割图像中的位置；将所述目标显示视频上与所述位置对应的区域图像替换为所述轮廓图像；
或者，将所述轮廓图像作为前景图像覆盖在所述目标显示视频上。
6.根据权利要求2所述的方法，其特征在于，当所述待分割图像为包括多个所述目标对象的图像时，所述方法还包括：
将所述待分割图像上多个所述目标对象的轮廓图像划分为至少一个目标对象图像组合。
7.根据权利要求6所述的方法，其特征在于，当所述目标对象图像组合为多种时，所述方法还包括：
每当所述背景图像进行翻转切换时，切换对应的目标对象图像组合。
8.根据权利要求6所述的方法，其特征在于，将所述背景图像进行循环翻转切换，包括：
将所述第二图像作为循环翻转切换的起始帧图像，从所述起始帧图像开始，按照预设的展示顺序展示依次翻转切换到的对应的背景图像；其中，所述展示顺序包括：所述第一图像的输入顺序、所述目标对象的数量的顺序和/或所述目标对象在所述第二图像上的空间排列顺序。
9.根据权利要求1所述的方法，其特征在于，所述对所述待分割图像进行目标对象的图像分割，包括：
确定所述目标对象在所述待分割图像上的面积占比；
当所述面积占比小于预设的第一占比时，从所述待分割图像上截取候选图像，使得所述目标对象在所述候选图像上的位置和面积占比满足预设条件；
对所述候选图像进行目标对象的图像分割。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在将所述背景图像进行循环翻转的过程中，所述轮廓图像始终采用穿透所述背景图像的方式进行展示。
11.根据权利要求2所述的方法，其特征在于，所述翻转的方式包括：以视频拍摄界面的横向中线为翻转轴的垂直翻转、以视频拍摄界面的竖直中线为翻转轴的水平翻转和/或以视频拍摄界面的中心点为旋转中心的圆周翻转。
12.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在将所述背景图像进行循环翻转过程中，所述第二图像和所述第一图像发生与所述翻转的方式对应的形变。
13.根据权利要求2所述的方法，其特征在于，所述翻转的方式还为：擦除切换方式、透明度变化切换方式或溶解切换方式。
14.根据权利要求2所述的方法，其特征在于，所述第二图像根据预设时间间隔进行获取，所述预设时间间隔与循环翻转切换的周期有关。
15.一种视频生成装置，其特征在于，包括：
第一获取模块，用于获取背景图像；
第二获取模块，用于获取包括目标对象的待分割图像；
图像分割模块，用于对所述待分割图像进行目标对象的图像分割，得到所述目标对象对应的轮廓图像；
视频生成模块，用于将所述轮廓图像作为目标显示视频的前景图像；还用于将所述背景图像进行循环翻转，并结合所述前景图像生成目标显示视频。
16.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-14中任一所述的视频生成方法。
17.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被计算设备执行时，使所述计算机设备实现上述权利要求1-14中任一所述的视频生成方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110704110.6A CN113422914B (zh) | 2021-06-24 | 2021-06-24 | 一种视频生成方法、装置、设备及介质 |
| PCT/SG2022/050293 WO2022271085A1 (zh) | 2021-06-24 | 2022-05-10 | 一种视频生成方法、装置、设备及介质 |
| US18/543,969 US20240135501A1 (en) | 2021-06-23 | 2023-12-18 | Video generation method and apparatus, device and medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110704110.6A CN113422914B (zh) | 2021-06-24 | 2021-06-24 | 一种视频生成方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113422914A true CN113422914A (zh) | 2021-09-21 |
| CN113422914B CN113422914B (zh) | 2023-11-21 |
Family
ID=77716513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110704110.6A Active CN113422914B (zh) | 2021-06-23 | 2021-06-24 | 一种视频生成方法、装置、设备及介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240135501A1 (zh) |
| CN (1) | CN113422914B (zh) |
| WO (1) | WO2022271085A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023226814A1 (zh) * | 2022-05-23 | 2023-11-30 | 北京字跳网络技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1971622A (zh) * | 2006-12-12 | 2007-05-30 | 北京中星微电子有限公司 | 数字摄像装置的视频动画背景处理方法和系统 |
| US20100302446A1 (en) * | 2009-05-26 | 2010-12-02 | Cisco Technology, Inc. | Video Superposition for Continuous Presence |
| JP2010278813A (ja) * | 2009-05-29 | 2010-12-09 | M Soft:Kk | 映像合成方法、映像合成システム |
| CN105975239A (zh) * | 2016-04-29 | 2016-09-28 | 广东远峰电子科技股份有限公司 | 一种车载电子设备显示屏动态背景的生成方法和装置 |
| CN109361888A (zh) * | 2018-10-25 | 2019-02-19 | 北京小鱼在家科技有限公司 | 通话背景的调整方法和装置、视频通话设备及存储介质 |
| CN109726632A (zh) * | 2018-11-22 | 2019-05-07 | 深圳艺达文化传媒有限公司 | 背景推荐方法及相关产品 |
| CN110047034A (zh) * | 2019-03-27 | 2019-07-23 | 北京大生在线科技有限公司 | 在线教育场景下的抠图换背景方法、客户端及系统 |
| CN110784662A (zh) * | 2019-09-09 | 2020-02-11 | 天脉聚源(杭州)传媒科技有限公司 | 一种视频背景的更换方法、系统、装置和存储介质 |
| CN110913267A (zh) * | 2019-11-29 | 2020-03-24 | 上海赛连信息科技有限公司 | 图像处理方法、装置、系统、界面、介质和计算设备 |
| CN111491123A (zh) * | 2020-04-17 | 2020-08-04 | 维沃移动通信有限公司 | 视频背景处理方法、装置及电子设备 |
| CN112188266A (zh) * | 2020-09-24 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置及电子设备 |
| US10891030B1 (en) * | 2018-10-18 | 2021-01-12 | Facebook, Inc. | Compound animation showing user interactions |
| CN112822542A (zh) * | 2020-08-27 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 视频合成方法、装置、计算机设备和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106303288A (zh) * | 2015-06-05 | 2017-01-04 | 福建凯米网络科技有限公司 | 合成演唱视频的方法、装置及系统 |
| CN105654471B (zh) * | 2015-12-24 | 2019-04-09 | 武汉鸿瑞达信息技术有限公司 | 应用于互联网视频直播的增强现实ar系统及方法 |
| CN111464761A (zh) * | 2020-04-07 | 2020-07-28 | 北京字节跳动网络技术有限公司 | 视频的处理方法、装置、电子设备及计算机可读存储介质 |
| CN111669502B (zh) * | 2020-06-19 | 2022-06-24 | 北京字节跳动网络技术有限公司 | 目标对象显示方法、装置及电子设备 |
-
2021
- 2021-06-24 CN CN202110704110.6A patent/CN113422914B/zh active Active
-
2022
- 2022-05-10 WO PCT/SG2022/050293 patent/WO2022271085A1/zh active Application Filing
-
2023
- 2023-12-18 US US18/543,969 patent/US20240135501A1/en active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1971622A (zh) * | 2006-12-12 | 2007-05-30 | 北京中星微电子有限公司 | 数字摄像装置的视频动画背景处理方法和系统 |
| US20100302446A1 (en) * | 2009-05-26 | 2010-12-02 | Cisco Technology, Inc. | Video Superposition for Continuous Presence |
| JP2010278813A (ja) * | 2009-05-29 | 2010-12-09 | M Soft:Kk | 映像合成方法、映像合成システム |
| CN105975239A (zh) * | 2016-04-29 | 2016-09-28 | 广东远峰电子科技股份有限公司 | 一种车载电子设备显示屏动态背景的生成方法和装置 |
| US10891030B1 (en) * | 2018-10-18 | 2021-01-12 | Facebook, Inc. | Compound animation showing user interactions |
| CN109361888A (zh) * | 2018-10-25 | 2019-02-19 | 北京小鱼在家科技有限公司 | 通话背景的调整方法和装置、视频通话设备及存储介质 |
| CN109726632A (zh) * | 2018-11-22 | 2019-05-07 | 深圳艺达文化传媒有限公司 | 背景推荐方法及相关产品 |
| CN110047034A (zh) * | 2019-03-27 | 2019-07-23 | 北京大生在线科技有限公司 | 在线教育场景下的抠图换背景方法、客户端及系统 |
| CN110784662A (zh) * | 2019-09-09 | 2020-02-11 | 天脉聚源(杭州)传媒科技有限公司 | 一种视频背景的更换方法、系统、装置和存储介质 |
| CN110913267A (zh) * | 2019-11-29 | 2020-03-24 | 上海赛连信息科技有限公司 | 图像处理方法、装置、系统、界面、介质和计算设备 |
| CN111491123A (zh) * | 2020-04-17 | 2020-08-04 | 维沃移动通信有限公司 | 视频背景处理方法、装置及电子设备 |
| CN112822542A (zh) * | 2020-08-27 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 视频合成方法、装置、计算机设备和存储介质 |
| CN112188266A (zh) * | 2020-09-24 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| HUI ZHU: "Adaptive Background Image Calculation for video Squences Based on Optical Flow", 《SCIENTIFIC.NET》 * |
| 德旻晖 等: "通过XtenDD数字切换台在新闻直播中实现特技方式", 《现代电视技术》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023226814A1 (zh) * | 2022-05-23 | 2023-11-30 | 北京字跳网络技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113422914B (zh) | 2023-11-21 |
| WO2022271085A1 (zh) | 2022-12-29 |
| US20240135501A1 (en) | 2024-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10832086B2 (en) | Target object presentation method and apparatus | |
| US11335379B2 (en) | Video processing method, device and electronic equipment | |
| US10832069B2 (en) | Living body detection method, electronic device and computer readable medium | |
| JP6185675B2 (ja) | スクリーンショットの生成 | |
| CN110058685B (zh) | 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质 | |
| CN108156520B (zh) | 视频播放方法、装置、电子设备及存储介质 | |
| CN107909022B (zh) | 一种视频处理方法、装置、终端设备和存储介质 | |
| US11494071B2 (en) | Method for displaying handwritten input content, electronic device and computer storage medium | |
| CN111970532B (zh) | 视频播放方法、装置及设备 | |
| WO2016095342A1 (zh) | 一种移动终端屏幕截图方法及装置、存储介质 | |
| CN108845741B (zh) | 一种ar表情的生成方法、客户端、终端和存储介质 | |
| CN107707965B (zh) | 一种弹幕的生成方法和装置 | |
| US20240135501A1 (en) | Video generation method and apparatus, device and medium | |
| CN111476852B (zh) | 阅读器刷新方法、计算设备及计算机存储介质 | |
| CN111683267A (zh) | 媒体信息的处理方法、系统、设备及存储介质 | |
| CN111131876A (zh) | 视频直播的控制方法、装置、终端及计算机可读存储介质 | |
| CN111538697A (zh) | 电子书的翻页处理方法、电子设备及计算机存储介质 | |
| CN111107427B (zh) | 图像处理的方法及相关产品 | |
| CN111131910A (zh) | 弹幕实现方法、装置、电子设备和可读存储介质 | |
| US20210084241A1 (en) | Interactive augmented reality (ar) based video creation from existing video | |
| CN112333498A (zh) | 一种展示控制方法、装置、计算机设备及存储介质 | |
| CN111954022A (zh) | 视频播放方法、装置、电子设备和可读存储介质 | |
| CN113709389A (zh) | 一种视频渲染方法、装置、电子设备及存储介质 | |
| US11715425B2 (en) | Display method, display device, display system and storage medium | |
| GB2536060B (en) | Virtual trying-on experience |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |