CN109697689B - 存储介质、电子设备、视频合成方法及装置 - Google Patents
存储介质、电子设备、视频合成方法及装置 Download PDFInfo
- Publication number
- CN109697689B CN109697689B CN201710994493.9A CN201710994493A CN109697689B CN 109697689 B CN109697689 B CN 109697689B CN 201710994493 A CN201710994493 A CN 201710994493A CN 109697689 B CN109697689 B CN 109697689B
- Authority
- CN
- China
- Prior art keywords
- image
- current frame
- foreground
- frame
- foreground mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 6
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000009499 grossing Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 13
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 7
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 8
- 241000435809 Sarea Species 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种存储介质、电子设备、视频合成方法及视频合成装置视频合成方法，涉及图像处理技术领域。本公开的视频合成方法包括：对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像，其中，前景图像包含目标对象；根据当前帧的前景掩模图像的面积以及第一帧至当前帧的前景掩模图像的平均面积，对当前帧的前景图像的尺寸进行平滑处理；根据当前帧的前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量；根据偏移量将当前帧平滑处理后的前景图像与背景图像合成。
Description
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种存储介质、电子设备、视频合成方法及视频合成装置。
背景技术
目前，随着图像处理技术的发展，在商业展示、影视作品制作、视频监控等领域，经常需要针对目标对象，提取一段视频中的每一帧前景图像，然后将各帧前景图像合成至其它背景图像中，从而可改变目标对象的背景，以获得多种显示效果。
但是，在视频的拍摄过程中，因为拍摄设备的抖动或者目标对象本身的运动，会导致目标对象在视觉上不稳定，使得目标对象在时序上的连续性和空间形状上的稳定性均较差，即运动一致性较差，从而导致最终的合成效果较差。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种存储介质、电子设备、视频合成方法及视频合成装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开的一个方面，提供一种视频合成方法，包括：
对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像，其中，所述前景图像包含目标对象；
根据当前帧的所述前景掩模图像的面积以及第一帧至当前帧的所述前景掩模图像的平均面积，对当前帧的所述前景图像的尺寸进行平滑处理；
根据当前帧的所述前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量；
根据所述偏移量将当前帧平滑处理后的所述前景图像与所述背景图像合成。
在本公开的一种示例性实施例中，对当前帧的所述前景图像的尺寸进行平滑处理包括：
确定当前帧的所述前景掩模图像的面积以及第一帧至当前帧的所述前景掩模图像的平均面积；
确定当前帧的所述前景掩模图像的面积与第一帧至当前帧的所述前景掩模图像的平均面积的比值；
对所述比值进行开方，得到调节参数；
根据所述调节参数调节当前帧的所述前景图像的尺寸。
在本公开的一种示例性实施例中，确定当前帧的所述前景掩模图像的面积包括：
根据第一预设公式确定当前帧的所述前景掩模图像的面积，所述第一预设公式为：
其中，Tareai为第i帧的前景掩模图像的面积；Pixelrc为所述前景掩模图像在坐标点(r，c)处的像素值；当前帧为第i帧，0＜i＜N，N为所述视频的总帧数。
在本公开的一种示例性实施例中，确定第一帧至当前帧的所述前景掩模图像的平均面积包括：
根据第二预设公式确定第一帧至当前帧的所述前景掩模图像的平均面积，所述第二预设公式为：
其中，Sareai为第一帧至第i帧的所述前景掩模图像的平均面积；Tareai为第i帧的所述前景掩模图像的面积；当前帧为第i帧，0＜i＜N，N为所述视频的总帧数。
在本公开的一种示例性实施例中，确定所述偏移量包括：
确定当前帧的所述前景掩模图像的质心位置的质心坐标；
确定所述背景图像的中心位置的中心坐标；
确定所述质心坐标和所述中心坐标的偏差值，以作为所述偏移量。
在本公开的一种示例性实施例中，所述质心坐标为：
其中，xm为质心的横坐标，ym为质心的纵坐标，xt为当前帧的所述前景掩模图像中第t个像素的横坐标，yt为当前帧的所述前景掩模图像中第t个像素的纵坐标，mt为当前帧的所述前景掩模图像中第t个像素的像素值。
在本公开的一种示例性实施例中，对包括连续多帧图像的视频进行目标分割包括：
通过深度学习确定一分割模型；
根据所述分割模型对包括连续多帧图像的视频进行目标分割，得到每一帧图像的所述前景图像及所述前景掩模图像。
在本公开的一种示例性实施例中，所述分割模型嵌入一交叉熵损失函数，所述交叉熵损失函数为：
其中，β＝|Y-|/|Y+|，Y_为负标记像素，Y+为正标记像素，X表示像素。
根据本公开的一个方面，提供一种视频合成装置，包括：
分割模块，用于对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像，其中，所述前景图像包含目标对象；
处理模块，用于根据当前帧的所述前景掩模图像的面积以及第一帧至当前帧的所述前景掩模图像的平均面积，对当前帧的所述前景图像的尺寸进行平滑处理；
偏移模块，用于根据当前帧的所述前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量；
合成模块，用于根据所述偏移量将当前帧平滑处理后的所述前景图像与所述背景图像合成。
根据本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的视频合成方法。
根据本公开的一个方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的视频合成方法。
本公开的存储介质、电子设备、视频合成方法及视频合成装置，可根据当前帧的前景掩模图像的面积以及当前帧之前各帧的前景掩模图像的平均面积，对当前帧的前景图像的尺寸进行平滑处理，改善因目标对象的运动或拍摄抖动而造成各帧前景图像的尺寸突变，使各帧前景图像的一致性提高，有利于提高合成后的显示效果。此后，可根据当前帧的前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量，为平滑处理后的前景图像与待合成的背景图像的合成提供了依据，根据偏移量合成的图像可使各前景图像的位置保持稳定。由此，可从尺寸和位置两个角度对前景图像和背景图像的合成进行改善，以提高合成后的显示效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施方式中视频合成方法的流程图。
图2示意性示出图1中步骤S110的流程图。
图3示意性示出图1中步骤S120的流程图。
图4示意性示出步骤S120的效果图。
图5示意性示出图1中步骤S130的流程图。
图6示意性示出本公开示例实施方式的视频合成方法的方框图。
图7示意性示出本公开示例性实施方式中电子设备的示意图。
图8示意性示出本公开示例性实施方式中程序产品的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
用语“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“包含”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”等仅作为标记使用，不是对其对象的数量限制
本示例实施方式中提供了一种视频合成方法，可用于将一视频中的前景图像与一待合成的背景图像合成。该前景图像包含一运动的目标对象，该目标对象可以是一运动的物体，其运动方式在此不做特殊限定，该背景图像可为静态图像。如图1所示，本示例实施方式的视频合成方法可以包括：
步骤S110、对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像，其中，所述前景图像包含目标对象。
步骤S120、根据当前帧的所述前景掩模图像的面积以及当前帧之前各帧的所述前景掩模图像的平均面积，对当前帧的所述前景图像的尺寸进行平滑处理。
步骤S130、根据当前帧的所述前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量。
步骤S140、根据所述偏移量将当前帧平滑处理后的所述前景图像与所述背景图像合成。
本示例实施方式的视频合成方法，可根据当前帧的前景掩模图像的面积以及当前帧之前各帧的前景掩模图像的平均面积，对当前帧的前景图像的尺寸进行平滑处理，改善因目标对象的运动或拍摄抖动而造成各帧前景图像的尺寸突变，使各帧前景图像的一致性提高，有利于提高合成后的显示效果。此后，可根据当前帧的前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量，为平滑处理后的前景图像与待合成的背景图像的合成提供了依据，根据偏移量合成的图像可使各前景图像的位置保持稳定。由此，可从尺寸和位置两个角度对前景图像的合成进行改善，以提高合成后的显示效果。
下面，将对本示例实施方式中的视频合成方法的各步骤进行进一步的说明。
在步骤S110中，对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像，其中，所述前景图像包含目标对象。
前景图像可以仅包含目标对象，也可以包含其它对象，前景掩膜图像为前景图像的二值图。如图2所示，对包括连续多帧图像的视频进行目标分割可以采用单次视频目标分割(OSVOS，One-Shot Video Object Segmentation)的方法，其可以包括步骤S1110和步骤S1120，其中：
在步骤S1110中，通过深度学习确定一分割模型。
该分割模型可嵌入一交叉熵损失函数，该交叉熵损失函数可以是基于二分类的损失函数，其可以是：
其中，β＝|Y-|/|Y+|，Y_为负标记像素，Y+为正标记像素，X表示像素值。
在步骤S1120中，根据上述分割模型对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像。
举例而言：可先选择一个网络(比如VGG-16)在ImageNet数据库上进行分类预训练，训练结束时删去全连接层，并将其转换全卷积神经网络(FCN)，从而保存空间信息。
然后，嵌入上述交叉熵损失函数，将各帧图像中的每一个像素分类成前景像素或背景像素，学习如何将包含目标对象的前景图像从背景中分割出来，得到底层网络。
接下来，在DAVIS数据集上，将随机梯度下降设置momentum 0.9并做50000次迭代；并通过反射和放大来处理数据，学习率初始设置为10^-8，并逐渐减小。在离线训练后，网络学习如何分割前景图像和背景图像，得到上层网络。
最后，基于上述的上层网络可对视频进行分割，并可在视频的第一帧图像给出标注，创建一分割模型，使用训练上层网络的权重进行初始化，并对第一帧图像进行调整以重新适应新的分割任务，从而对视屏逐帧进行分割，最终得到每一帧图像的前景图像及前景掩模图像。
需要说明的是，以上仅为对单次视频目标分割的方法的示例性说明，该方法的在本说明书中未记载的细节及原理可参考现有的单次视频目标分割的方法，在此不再详述。同时，在本公开的其它示例实施方式中，还可以采用其它方法对上述视频进行目标分割，只要能得到包含目标物体的每一帧图像的前景图像及前景掩模图像即可，在此不再一一列举。
在步骤S120中，根据当前帧的所述前景掩模图像的面积以及第一帧至当前帧的所述前景掩模图像的平均面积，对当前帧的所述前景图像的尺寸进行平滑处理。
前景掩模图像的面积可用前景掩膜图像范围内的像素的个数表示。第一帧至当前帧的前景掩模图像的平均面积，即为第一帧至当前帧的前景掩模图像的面积的平均值。
如图3所示，对当前帧的所述前景图像的尺寸进行平滑处理可以包括步骤S1210-步骤S1240，其中：
在步骤S1210中，确定当前帧的所述前景掩模图像的面积和第一帧至当前帧的所述前景掩模图像的平均面积。
确定当前帧的前景掩模图像的面积可以包括：
根据第一预设公式确定当前帧的前景掩模图像的面积，该第一预设公式为：
其中，Tareai为第i帧的前景掩模图像的面积，当前帧为第i帧；Pixelrc为前景掩模图像在坐标点(r，c)处的像素值；0＜i＜N，N为上述视频的总帧数。
确定第一帧至当前帧的前景掩模图像的平均面积可以包括：
根据第二预设公式确定第一帧至当前帧的前景掩模图像的平均面积，该第二预设公式为：
其中，Sareai为第一帧至第i帧的前景掩模图像的平均面积，当前帧为第i帧；Tareai为第i帧的前景掩模图像的面积；0＜i＜N，N为上述视频的总帧数。
在本公开的其它示例实施方式中，还可以通过其它方法确定当前帧的前景掩模图像的面积和当前帧之前各帧的所述前景掩模图像的平均面积，例如：通过图像识别技术确定前景图像的轮廓图形，并通过积分法计算该轮廓图形内的区域的面积，从而可确定当前帧的前景掩模图像的面积和当前帧之前各帧的所述前景掩模图像的平均面积，对于图像识别技术和积分法具体可参考现有技术，在此不再详述。
在步骤S1220中，确定当前帧的前景掩模图像的面积与第一帧至当前帧的前景掩模图像的平均面积的比值。
具体而言，可通过下述公式计算该比值：
Scalei＝Tareai/Sareai；
其中，Scalei为第i帧的前景掩模图像的面积与第一帧至第i帧的前景掩模图像的平均面积的比值，Tareai为第i帧的前景掩模图像的面积，Sareai为第一帧至第i帧的前景掩模图像的平均面积。
在步骤S1230中，对所述比值进行开方，得到调节参数。
具体而言，可通过下述公式计算该调节参数：
Ratioi＝Scalei 1/2；
其中，Ratioi为调节参数，Scalei为上述比值。
在步骤S1240中，根据所述调节参数调节当前帧的所述前景图像的尺寸。
可根据调节参数对前景图像的尺寸进行放缩，便于减小不同帧的图像的尺寸的差异，使当前帧的前景图像与之前帧的前景图像的尺寸相符，使前景图像更加平滑，减小因拍摄抖动或目标对象的运动造成的影响，有利于提高合成效果。对前景图像的尺寸进行放缩可以是是对前景图像的长和宽进行放缩。
如图4所示，图4中的柱状图为一视频的各帧前景掩模图像的平均面积Sarea；图4中的曲线为一视频的各帧前景掩模图像的面积Tarea。可以看出，Tarea的趋势相较于Sarea的趋势更加平滑。
在步骤S130中，根据当前帧的所述前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量。
如图5所示，确定该偏移量可以是包括步骤S1310-步骤S1330，其中：
在步骤S1310中，确定当前帧的所述前景掩模图像的质心位置的质心坐标。
该质心坐标为(xm，ym)，具体而言：
其中，xm为质心位置的横坐标，ym为质心位置的纵坐标，xt为当前帧的前景掩模图像中第t个像素的横坐标，yt为当前帧的前景掩模图像中第t个像素的纵坐标，mt为当前帧的前景掩模图像中第t个像素的像素值，0＜t＜T，T为当前帧的前景掩模图像包含的像素总数。
在步骤S1320中，确定所述背景图像的中心位置的中心坐标。
该中心位置可为背景图像的几何中心，具体计算方式可参考现有技术中计算图形几何中心的方式，在此不再详述。
在步骤S1330中，确定所述质心坐标和所述中心坐标的偏差值，以作为所述偏移量。
该偏差值可以是质心坐标和中心坐标间的距离。
在步骤S140中，根据所述偏移量将当前帧平滑处理后的所述前景图像与所述背景图像合成。
在将当前帧的前景图像与背景图像合成时，可将当前帧的前景图像的各像素按照偏移量相对背景图像的中心平移。同时，对于每一帧的前景图像均可按照步骤S140与背景图像合成，在背景图像上形成目标对象的动态图像，从而保证各帧前景图像的位置的稳定，提高各帧前景图像的连续性，有利于提高与背景图像的合成效果。
下述为本公开装置示例实施方式，可以用于执行本公开方法示例实施方式。对于本公开装置示例实施方式中未披露的细节，请参照本公开方法示例实施方式。
本示例实施方式还提供了一种视频合成装置，如图6所示，本示例实施方式的视频合成装置可以包括分割模块1、处理模块2、偏移模块3和合成模块4。
在本示例实施方式中，分割模块1可用于对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像，其中，所述前景图像包含目标对象。
处理模块2可用于根据当前帧的所述前景掩模图像的面积以及当前帧之前的所述前景掩模图像的平均面积，对当前帧的所述前景图像的尺寸进行平滑处理。
偏移模块3可用于根据当前帧的所述前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量。
合成模块4可用于根据所述偏移量将当前帧平滑处理后的所述前景图像与所述背景图像合成。
上述视频合成装置中各模块的具体细节已经在对应的视频合成方法中进行了详细描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块，但是这种划分并非强制性的。实际上，根据本公开的示例实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本公开的示例性实施例中，还提供了一种能够实现上述视频合成方法的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图7来描述根据本发明的这种示例实施方式的电子设备600。图7所示的电子设备600仅仅是一个示例，不应对本公开示例实施方式的功能和使用范围带来任何限制。
如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。
其中，存储单元620存储有程序代码，所述程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述示例性方法部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤S110、对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像，其中，所述前景图像包含目标对象。步骤S120、根据当前帧的所述前景掩模图像的面积以及当前帧之前各帧的所述前景掩模图像的平均面积，对当前帧的所述前景图像的尺寸进行平滑处理。步骤S130、根据当前帧的所述前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量。步骤S140、根据所述偏移量将当前帧平滑处理后的所述前景图像与所述背景图像合成。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述视频合成方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述示例性方法部分中描述的根据本发明各种示例性实施方式的步骤。
如图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (10)
1.一种视频合成方法，其特征在于，包括：
对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像，其中，所述前景图像包含目标对象；
根据当前帧的所述前景掩模图像的面积以及第一帧至当前帧的所述前景掩模图像的平均面积，对当前帧的所述前景图像的尺寸进行平滑处理；
根据当前帧的所述前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量；
根据所述偏移量将当前帧平滑处理后的所述前景图像与所述背景图像合成；
对当前帧的所述前景图像的尺寸进行平滑处理包括：
确定当前帧的所述前景掩模图像的面积以及第一帧至当前帧的所述前景掩模图像的平均面积；
确定当前帧的所述前景掩模图像的面积与第一帧至当前帧的所述前景掩模图像的平均面积的比值；
对所述比值进行开方，得到调节参数；
根据所述调节参数调节当前帧的所述前景图像的尺寸。
2.根据权利要求1所述的视频合成方法，其特征在于，确定当前帧的所述前景掩模图像的面积包括：
根据第一预设公式确定当前帧的所述前景掩模图像的面积，所述第一预设公式为：
其中，Tareai为第i帧的前景掩模图像的面积；Pixelrc为所述前景掩模图像在坐标点(r，c)处的像素值；当前帧为第i帧，0＜i＜N，N为所述视频的总帧数。
3.根据权利要求1所述的视频合成方法，其特征在于，确定第一帧至当前帧的所述前景掩模图像的平均面积包括：
根据第二预设公式确定第一帧至当前帧的所述前景掩模图像的平均面积，所述第二预设公式为：
其中，Sareai为第一帧至第i帧的所述前景掩模图像的平均面积；Tareai为第i帧的所述前景掩模图像的面积；当前帧为第i帧，0＜i＜N，N为所述视频的总帧数。
4.根据权利要求1-3任一项所述的视频合成方法，其特征在于，确定所述偏移量包括：
确定当前帧的所述前景掩模图像的质心位置的质心坐标；
确定所述背景图像的中心位置的中心坐标；
确定所述质心坐标和所述中心坐标的偏差值，以作为所述偏移量。
5.根据权利要求4所述的视频合成方法，其特征在于，所述质心坐标为：
其中，xm为质心的横坐标，ym为质心的纵坐标，xt为当前帧的所述前景掩模图像中第t个像素的横坐标，yt为当前帧的所述前景掩模图像中第t个像素的纵坐标，mt为当前帧的所述前景掩模图像中第t个像素的像素值。
6.根据权利要求1-3任一项所述的视频合成方法，其特征在于，对包括连续多帧图像的视频进行目标分割包括：
通过深度学习确定一分割模型；
根据所述分割模型对包括连续多帧图像的视频进行目标分割，得到每一帧图像的所述前景图像及所述前景掩模图像。
7.根据权利要求6所述的视频合成方法，其特征在于，所述分割模型嵌入一交叉熵损失函数，所述交叉熵损失函数为：
其中，β＝|Y0|/|23|，Y_为负标记像素，Y+为正标记像素，X表示像素。
8.一种视频合成装置，其特征在于，包括：
分割模块，用于对包括连续多帧图像的视频进行目标分割，得到每一帧图像的前景图像及前景掩模图像，其中，所述前景图像包含目标对象；
处理模块，用于根据当前帧的所述前景掩模图像的面积以及第一帧至当前帧的所述前景掩模图像的平均面积，对当前帧的所述前景图像的尺寸进行平滑处理；
偏移模块，用于根据当前帧的所述前景掩模图像的质心位置和待合成的背景图像的中心位置确定偏移量；
合成模块，用于根据所述偏移量将当前帧平滑处理后的所述前景图像与所述背景图像合成；
对当前帧的所述前景图像的尺寸进行平滑处理包括：
确定当前帧的所述前景掩模图像的面积以及第一帧至当前帧的所述前景掩模图像的平均面积；
确定当前帧的所述前景掩模图像的面积与第一帧至当前帧的所述前景掩模图像的平均面积的比值；
对所述比值进行开方，得到调节参数；
根据所述调节参数调节当前帧的所述前景图像的尺寸。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的视频合成方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的视频合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710994493.9A CN109697689B (zh) | 2017-10-23 | 2017-10-23 | 存储介质、电子设备、视频合成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710994493.9A CN109697689B (zh) | 2017-10-23 | 2017-10-23 | 存储介质、电子设备、视频合成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109697689A CN109697689A (zh) | 2019-04-30 |
| CN109697689B true CN109697689B (zh) | 2023-09-01 |
Family
ID=66225844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710994493.9A Active CN109697689B (zh) | 2017-10-23 | 2017-10-23 | 存储介质、电子设备、视频合成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109697689B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309721B (zh) * | 2019-05-31 | 2021-06-29 | 百度在线网络技术（北京）有限公司 | 视频处理方法、终端和存储介质 |
| CN110401796B (zh) * | 2019-07-05 | 2020-09-29 | 浙江大华技术股份有限公司 | 一种图像采集装置的抖动补偿方法和装置 |
| CN110944230B (zh) * | 2019-11-21 | 2021-09-10 | 北京达佳互联信息技术有限公司 | 视频特效的添加方法、装置、电子设备及存储介质 |
| CN111260679B (zh) * | 2020-01-07 | 2022-02-01 | 广州虎牙科技有限公司 | 图像处理方法、图像分割模型训练方法及相关装置 |
| CN111275800B (zh) | 2020-01-15 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 动画生成方法、装置、电子设备及计算机可读存储介质 |
| CN111292337B (zh) * | 2020-01-21 | 2024-03-01 | 广州虎牙科技有限公司 | 图像背景替换方法、装置、设备及存储介质 |
| CN111507997B (zh) * | 2020-04-22 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、设备及计算机存储介质 |
| CN112598687B (zh) * | 2021-01-05 | 2023-07-28 | 网易（杭州）网络有限公司 | 图像分割方法和装置、存储介质、电子设备 |
| CN114520878A (zh) * | 2022-02-11 | 2022-05-20 | 维沃移动通信有限公司 | 视频拍摄方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204567A (zh) * | 2016-07-05 | 2016-12-07 | 华南理工大学 | 一种自然背景视频抠图方法 |
| CN106530305A (zh) * | 2016-09-23 | 2017-03-22 | 北京市商汤科技开发有限公司 | 语义分割模型训练和图像分割方法及装置、计算设备 |
| CN106651918A (zh) * | 2017-02-16 | 2017-05-10 | 国网上海市电力公司 | 抖动背景下的前景提取方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6912313B2 (en) * | 2001-05-31 | 2005-06-28 | Sharp Laboratories Of America, Inc. | Image background replacement method |
| US9111444B2 (en) * | 2012-10-31 | 2015-08-18 | Raytheon Company | Video and lidar target detection and tracking system and method for segmenting moving targets |
-
2017
- 2017-10-23 CN CN201710994493.9A patent/CN109697689B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204567A (zh) * | 2016-07-05 | 2016-12-07 | 华南理工大学 | 一种自然背景视频抠图方法 |
| CN106530305A (zh) * | 2016-09-23 | 2017-03-22 | 北京市商汤科技开发有限公司 | 语义分割模型训练和图像分割方法及装置、计算设备 |
| CN106651918A (zh) * | 2017-02-16 | 2017-05-10 | 国网上海市电力公司 | 抖动背景下的前景提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 足球比赛视频中的目标检测与跟踪算法研究;杨斌;《计算机测量与控制》;20170930;第266-268、306页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109697689A (zh) | 2019-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109697689B (zh) | 存储介质、电子设备、视频合成方法及装置 | |
| US11170210B2 (en) | Gesture identification, control, and neural network training methods and apparatuses, and electronic devices | |
| CN108229479B (zh) | 语义分割模型的训练方法和装置、电子设备、存储介质 | |
| CN110503703B (zh) | 用于生成图像的方法和装置 | |
| US11270158B2 (en) | Instance segmentation methods and apparatuses, electronic devices, programs, and media | |
| US20190318153A1 (en) | Methods and apparatus for video-based facial recognition, electronic devices, and storage media | |
| CN109872379B (zh) | 数据处理装置和方法 | |
| US20230237841A1 (en) | Occlusion Detection | |
| US20130121409A1 (en) | Methods and Apparatus for Face Fitting and Editing Applications | |
| WO2016077000A1 (en) | Systems and methods for tracking an object | |
| WO2023035531A1 (zh) | 文本图像超分辨率重建方法及其相关设备 | |
| CN111294665A (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
| KR20220153667A (ko) | 특징 추출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN114073071A (zh) | 视频插帧方法及装置、计算机可读存储介质 | |
| CN113393468A (zh) | 图像处理方法、模型训练方法、装置和电子设备 | |
| US20220207917A1 (en) | Facial expression image processing method and apparatus, and electronic device | |
| CN113657396B (zh) | 训练方法、译文展示方法、装置、电子设备以及存储介质 | |
| CN113766117B (zh) | 一种视频去抖动方法和装置 | |
| CN113112398A (zh) | 图像处理方法和装置 | |
| CN109598206B (zh) | 动态手势识别方法及装置 | |
| US20190188833A1 (en) | A method, apparatus and computer program product for removing weather elements from images | |
| CN112929562B (zh) | 视频抖动的处理方法、装置、设备以及存储介质 | |
| CN115311403A (zh) | 深度学习网络的训练方法、虚拟形象生成方法及装置 | |
| CN113177483B (zh) | 视频目标分割方法、装置、设备以及存储介质 | |
| CN113065585B (zh) | 图像合成模型的训练方法、装置与电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |