CN110730381A - 基于视频模板合成视频的方法、装置、终端及存储介质 - Google Patents
基于视频模板合成视频的方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN110730381A CN110730381A CN201910964346.6A CN201910964346A CN110730381A CN 110730381 A CN110730381 A CN 110730381A CN 201910964346 A CN201910964346 A CN 201910964346A CN 110730381 A CN110730381 A CN 110730381A
- Authority
- CN
- China
- Prior art keywords
- video
- video materials
- candidate video
- materials
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 33
- 239000000463 material Substances 0.000 claims abstract description 242
- 230000008030 elimination Effects 0.000 claims description 9
- 238000003379 elimination reaction Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本公开提供了提供了一种基于视频模板合成视频的方法、装置、终端及存储介质，旨在提高合成视频的效率，优化用户体验。所述基于视频模板合成视频的方法包括：根据视频模板的主题，对多个视频素材进行聚类，得到与所述主题匹配的候选视频素材的集合；从所述候选视频素材的集合中，确定预设数量个目标视频素材；将所述预设数量个目标视频素材填入所述视频模板，以合成视频。
Description
本公开要求在2019年07月12日提交至中华人民共和国知识产权局、申请号为2019106313411、发明名称为“基于视频模板合成视频的方法、装置、终端及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及计算机技术领域，尤其涉及一种基于视频模板合成视频的方法、装置、终端及存储介质。
背景技术
随着计算机技术的不断发展，以及智能硬件终端的普及，越来越多的专业人员或业余爱好者可以投身至视频编辑领域。用户借助专业的、非专业的、复杂的或简单的各种视频编辑软件，基于已有的图片或视频素材，合成新的视频。通常，为了提高合成视频的效率，或者为了提高视频质量，用户可以利用视频编辑软件提供的视频模板，针对视频模板的不同位置，选择合适的图像或视频素材填入，以合成视频。
然而相关技术中，视频模板各处所需的素材量通常较多，用户需要花费较多的精力从多个素材中挑选合适的素材填充视频模块，导致合成视频的效率仍然较低，合成成本高，用户体验低。
发明内容
本申请实施例提供一种基于视频模板合成视频的方法、装置、终端及存储介质，旨在提高合成视频的效率，优化用户体验。
根据本公开实施例的第一方面，提供了一种基于视频模板合成视频的方法，所述方法包括：
根据视频模板的主题，对多个视频素材进行聚类，得到与所述主题匹配的候选视频素材的集合；
从所述候选视频素材的集合中，确定预设数量个目标视频素材；
将所述预设数量个目标视频素材填入所述视频模板，以合成视频。
可选地，从所述候选视频素材的集合中，确定预设数量个目标视频素材，包括：
对所述候选视频素材的集合中的每个候选视频素材进行分析，得到每个候选视频素材的质量分；
对所述候选视频素材的集合中每两个候选视频素材进行相似度比较，在相似度大于预设阈值时，去除质量分较低的候选视频素材；
每去除一个候选视频素材，确定所述候选视频素材的集合中剩余的候选视频素材的数量；
在剩余候选视频素材的数量大于所述预设数量时继续去重，直到剩余的候选视频素材的数量等于所述预设数量时停止去重；
将停止去重后剩余的预设数量个候选视频素材确定为预设数量个目标视频素材。
可选地，从所述候选视频素材的集合中，确定预设数量个目标视频素材，包括：
在停止去重后剩余的候选视频素材的数量大于所述预设数量的情况下，根据质量分高低，对剩余的候选视频素材进行排序；
将剩余的候选视频素材中质量分靠前的预设数量个候选视频素材确定为预设数量个目标视频素材。
可选地，对所述候选视频素材的集合中每两个候选视频素材进行相似度比较，包括：
在所述候选视频素材是图像的情况下，确定每两个图像下采样后像素值的SAD，和/或，确定每两个图像的直方图的相似度；
根据每两个图像的所述SAD和/或所述直方图的相似度，对所述两个候选视频素材进行相似度比较。
根据本公开实施例的第二方面，提供一种基于视频模板合成视频的装置，所述装置包括：
聚类模块，用于根据视频模板的主题，对多个视频素材进行聚类，得到与所述主题匹配的候选视频素材的集合；
素材确定模块，用于从所述候选视频素材的集合中，确定预设数量个目标视频素材；
素材填入模块，用于将所述预设数量个目标视频素材填入所述视频模板，以合成视频。
可选地，所述素材确定模块包括：
分析子模块，用于对所述候选视频素材的集合中的每个候选视频素材进行分析，得到每个候选视频素材的质量分；
相似度比较子模块，用于对所述候选视频素材的集合中每两个候选视频素材进行相似度比较，在相似度大于预设阈值时，去除质量分较低的候选视频素材；
数量确定子模块，用于每去除一个候选视频素材，确定所述候选视频素材的集合中剩余的候选视频素材的数量；
循环子模块，用于在剩余候选视频素材的数量大于所述预设数量时继续去重，直到剩余的候选视频素材的数量等于所述预设数量时停止去重；
素材确定第一子模块，用于将停止去重后剩余的预设数量个候选视频素材确定为预设数量个目标视频素材。
可选地，所述素材确定模块包括：
排序子模块，用于在停止去重后剩余的候选视频素材的数量大于所述预设数量的情况下，根据质量分高低，对剩余的候选视频素材进行排序；
素材确定第二子模块，用于将剩余的候选视频素材中质量分靠前的预设数量个候选视频素材确定为预设数量个目标视频素材。
可选地，所述相似度比较子模块包括：
确定子单元，用于在所述候选视频素材是图像的情况下，确定每两个图像下采样后像素值的SAD，和/或，确定每两个图像的直方图的相似度；
比较子单元，用于根据每两个图像的所述SAD和/或所述直方图的相似度，对所述两个候选视频素材进行相似度比较。
根据本公开实施例的第三方面，提供一种终端，该终端包括：
处理器；
用于存储该处理器可执行指令的存储器；
其中，该处理器被配置为执行以实现如本公开提供的基于视频模板合成视频的方法所执行的操作。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当该存储介质中的指令由终端的处理器执行时，使得终端能够执行一种以实现如本公开提供的基于视频模板合成视频的方法所执行的操作。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过根据视频模板的主题，对多个视频素材进行聚类，可以从多个视频素材中，过滤掉与视频模板主题不相关的视频素材，得到与主题匹配的候选视频素材的集合，从而缩小挑选范围。由于候选视频素材的集合相比于原本的多个视频素材，缩小了挑选范围，因此通过从候选视频素材的集合中，确定预设数量个目标视频素材，可以提高目标视频素材的确定效率。再通过将预设数量个目标视频素材填入视频模板，从而更高效地合成视频，优化用户体验。此外，由于候选视频素材的集合与视频模板的主题相匹配，因此该集合中的视频素材更能反映视频模板主题，通过从该集合中选择目标视频素材填充视频模板，可以合成更贴合主题的视频，提高视频质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本申请实施例提出的基于视频模板合成视频的方法的流程图；
图2是本申请实施例提出的确定目标视频素材的流程图；
图3是本申请另一实施例提出的确定目标视频素材的流程图；
图4是本申请实施例提出的基于视频模板合成视频的装置的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中，视频编辑软件可以为用户提供视频模板，或者可以兼容用户从别处获得的视频模板，使得用户可以利用该视频模板，针对该视频模板的不同位置，选择合适的图像或视频素材填入，以合成视频。然而本申请发明人发现，视频模板各处所需的素材量通常较多，用户需要花费较多的精力从多个素材中挑选合适的素材填充视频模块，导致合成视频的效率仍然较低，合成成本高，用户体验低。
有鉴于此，本申请发明人通过以下实施例，提供一种基于视频模板合成视频的方法、装置、终端及存储介质，旨在提高合成视频的效率，优化用户体验。
参考图1，图1是本申请实施例提出的基于视频模板合成视频的方法的流程图。如图1所示，该方法包括以下步骤：
步骤S11：根据视频模板的主题，对多个视频素材进行聚类，得到与所述主题匹配的候选视频素材的集合。
本实施例中，视频模板的主题是用于表征视频模板的中心思想的抽象化概念。例如某些视频模板的主题是“对过往一年的回顾”，某些视频模板的主题是“对集体出游的展示”，或者某些视频模板的主题是“对团建当天活动的总结”。用户可以根据自身对视频的需求，从各种视频模板中，选择对应主题的视频模板。
本实施例中，视频素材是指广义的媒体素材，比如视频素材可以是由连续视频帧所组成的视频，也可以是静态图像或动态图像。
本实施例中，在对多个视频素材进行聚类时，需要以视频模板的主题为依据。例如视频模板的主题为“对过往一年的回顾”，则可以将多个视频素材中，拍摄时间在一年以内的视频素材聚类为候选视频素材的集合。例如视频模板的主题为“对集体出游的展示”，则可以将多个视频素材中，拍摄地点在出游地点的视频素材聚类为候选视频素材的集合。又例如视频模板的主题为“对团建当天活动的总结”，则可以将多个视频素材中，拍摄时间在团建当天的视频素材聚类为候选视频素材的集合。
作为示例，考虑到每个视频素材自带的meta信息通常包括视频素材的一些基本信息，例如拍摄时间、修改时间、拍摄地点、拍摄时长、画面特效等信息。因此在对多个视频素材进行聚类时，具体地，可以针对多个视频素材各自的meta信息进行聚类。例如视频模板的主题为“对过往一年的回顾”，则可以将多个meta信息中，包括的拍摄时间信息为一年以内的meta信息，聚类为目标meta信息集合。该目标meta信息集合中每个目标meta信息对应的视频素材，组成候选视频素材的集合。
应当理解的，上述示例仅作为本申请多种可实施方式中的一种示例，不应理解为对本申请的限定。
步骤S12：从所述候选视频素材的集合中，确定预设数量个目标视频素材。
本实施例中，预设数量通常等于视频模板对视频素材的需求量。例如主题为“对集体出游的展示”的视频模板，对视频素材的需求是6个，6个视频素材分别用于填充视频模板的不同空间位置或时间位置处，则步骤S12中，预设数量通常为6。
考虑到候选视频素材的集合中各个候选视频素材的质量不一致，为了能尽可能从该集合中确定出质量较高地预设数量个目标视频素材，从而提高最终合成视频的质量。参考图2，图2是本申请实施例提出的确定目标视频素材的流程图。如图2所示，步骤S12可具体包括以下步骤：
S12-1：对所述候选视频素材的集合中的每个候选视频素材进行分析，得到每个候选视频素材的质量分；
S12-2：对所述候选视频素材的集合中每两个候选视频素材进行相似度比较，在相似度大于预设阈值时，去除质量分较低的候选视频素材；
S12-3：每去除一个候选视频素材，确定所述候选视频素材的集合中剩余的候选视频素材的数量；
S12-4：在剩余候选视频素材的数量大于所述预设数量时继续去重，直到剩余的候选视频素材的数量等于所述预设数量时停止去重；
S12-5：将停止去重后剩余的预设数量个候选视频素材确定为预设数量个目标视频素材。
其中，在步骤S12-1中，如果候选视频素材是一张图像，则可以直接针对这张图像进行分析，从而确定该候选视频素材的质量分。如果候选视频素材是一段视频，则可以从这段视频中抽取至少一帧视频帧，然后对抽取出的至少一帧视频帧进行分析，从而确定该候选视频素材的质量分。
示例地，可以针对候选视频素材，确定该候选视频素材的以下几种子分值中的至少两者，并根据确定的各子分值以及各子分值的权重，确定该候选视频素材的质量分。
子分值1：图像清晰程度分值。可通过对图像边缘进行检测，例如使用拉普拉斯算子进行检测，然后计算边缘检测结果的方差，从而确定图像清晰程度分值。其中，方差越大，表示图像中的细节越多、图像越清晰，相应的图像清晰程度分值越高。
子分项2：图像色彩丰富度分值。可通过计算YUV颜色空间中UV分量各自的方差及均值，之后计算UV方差之和的平方根A，以及UV均值平方和的平方根B，再对A与B加权求和，从而确定图像色彩丰富度分值。
子分项3：图像有意义程度分值。通常，如果图像过于简单(例如能够轻易地通过编码预测)或者过于复杂(例如非常难预测)，则该图像无意义的概率较大。例如，拍摄的白墙、底板等，通常是无意义的过于简单的图像。又例如，拍摄的草丛、草地等，通常是无意义的过于复杂的图像。因此，可通过计算图像帧内失真的方差和平均值，再加上色彩丰富度，形成一个三维的特征向量，利用现有的机器学习模型进行分类，从而确定图像有意义程度分值。
子分项4：人脸清晰度分值。可针对人脸区域进行边缘进行检测，然后计算边缘检测结果的方差，从而确定图像清晰程度分值。或者对人脸区域进行模糊处理，然后和原始人脸区域进行作差对比，如果差异较大，则说明原始人脸较清晰，从而确定图像清晰程度分值。需要说明的是，这里说的人脸区域，即可以是人脸检测的框形区域，也可以是根据人脸特征点框出的人脸轮廓区域，还可以是两眼及下巴(或嘴)形成的人脸内部区域。
子分项5：睁眼程度分值。可通过计算双眼各自上下眼睑的距离与内外眼角的距离之比R1与R2，从而确定睁眼程度分值。其中，如果R1与R2接近，则认为双眼睁眼程度一致，将R1与R2相加之和确定为睁眼程度分值；否则，认为可能是在做睁一只眼闭一只眼的表情，将2*max(R1,R2)确定为睁眼程度分值。此外，如果R1和R2均很小，即双眼都闭上，可以对睁眼程度分值做一定的惩罚，例如取为零或负值。
子分项6：张嘴程度分值。可通过计算两个嘴角A、B连成的直线与下嘴唇中点C的夹角∠BAC和夹角∠ABC，从而确定张嘴程度分值。其中，角度越大，张嘴程度分值越高。
子分项7：人脸构图分值。可通过计算各个人脸中心点连线形成的多边形的重心，并比较该重心与理想的构图重心(如竖版图像的中心偏上，或横版图像的左侧偏上或右侧偏上等)的距离，从而确定人脸构图分值。其中，距离越近，人脸构图分值越高。
子分项8：人脸方向分值。通过计算人脸的方向(例如抬头/低头、左转/右转、向左/向右歪头)，从而确定人脸方向分值。例如其中，低头角度在适当范围内，人脸方向分值较大；左转/右转方向在一定范围内，人脸方向分值较大；歪头方向在一定范围内，人脸方向分值较大。
应当理解的，在候选视频素材中包括人脸的情况下，可以针对该候选视频素材，确定上述子分项4至子分项8。
此外，还可以根据视频素材的稳定性，例如视频是否抖动，场景是否频繁切换等，对候选视频素材的质量分进行调整。
在步骤S12-2中，对候选视频素材的集合中每两个候选视频素材进行相似度比较时，可以对该集合中的任意两个候选视频素材进行相似度比较。也可以对相邻两个候选视频素材进行相似度比较，例如，在基于主题为“对团建当天活动的总结”的视频模板进行视频合成时，通过步骤S11聚类得到的候选视频素材的集合中，包括多个团建当天拍摄的候选视频素材，且各个候选视频素材是按照拍摄时刻的先后顺序排列的，考虑到相邻拍摄时刻的候选视频素材更可能具有较高的相似度，因此可针对相邻两个候选视频素材进行相似度比较。
具体地，在步骤S12-2中，在进行相似度比较时，可具体包括：在所述候选视频素材是图像的情况下，确定每两个图像下采样后像素值的SAD，和/或，确定每两个图像的直方图的相似度；根据每两个图像的所述SAD和/或所述直方图的相似度，对所述两个候选视频素材进行相似度比较。
其中，绝对值之和(Sum of absolute differences，SAD)是一种图像匹配算法，具体是指：两个图像对应像素点之差的绝对值之和。通常情况下，SAD的数值越小，说明两个图像的差异越小，换言之，两个图像的相似度越大。
其中，如果同时计算了两个图像下采样后像素值的SAD，以及两个图像的直方图的相似度，则对这两个计算结果进行加权求和，得到两个图像的相似度。
在步骤S12-3中，示例地，假设候选视频素材的集合中包括的20个候选视频素材，组成10对需要进行相似度比较的组合。在每个组合进行完相似度比较后，如果从这个组合中去除了其中一个候选视频素材，则需要确定候选视频素材的集合中所剩余的所有候选视频素材的数量。假设在对第6对组合进行比较前，前5对组合中已经去除了2个候选视频素材。在对第6对组合进行比较后，又去除了该组合中的一个候选视频素材，则此时确定出候选视频素材的集合中，所剩余的所有候选视频素材的数量为17。
应当理解的，上述示例中，对20个候选视频素材进行两两组合的方式并不局限于组合成10对。上述组合方式不应理解为对本申请的限定。
在步骤S12-4中，沿用上述示例，假设预设数量是16。在对第6对组合进行比较，并去除了该组合中的一个候选视频素材后，集合中所剩余的所有候选视频素材的数量为17，大于预设数量，因此为继续针对第7对组合进行比较。假设在对第7对组合进行比较后，又去除了该组合中的一个候选视频素材，则此时确定出候选视频素材的集合中，所剩余的所有候选视频素材的数量为16，等于预设数量，此时可停止对其余的第8至第10对组合的比较。
在步骤S12-5中，沿用上述示例，将集合中剩余的16个候选视频素材确定为预设数量个目标视频素材。这16个素材可用于填充视频模板。
通过执行上述步骤S12-1至步骤S12-5，一方面，不仅可以去除候选视频素材集合中，相似度很高的候选视频素材，使确定出的目标视频素材具有多样性和丰富性，有利于提高最终合成视频的精彩程度。另一方面，在进行相似度比较和去重期间，将质量分较低的重复候选视频素材去除，使确定出的目标视频素材具有更高的质量，有利于提高最终合成视频的质量。
此外，考虑到如果在针对候选视频素材的集合中，每两个候选视频素材进行相似度比较，并去除重复候选视频素材后，剩余的候选视频素材的数量可能大于预设数量。因此，参考图3，图3是本申请另一实施例提出的确定目标视频素材的流程图。如图3所示，步骤S12还可具体包括以下步骤：
S12-6：在停止去重后剩余的候选视频素材的数量大于所述预设数量的情况下，根据质量分高低，对剩余的候选视频素材进行排序；
S12-7：将剩余的候选视频素材中质量分靠前的预设数量个候选视频素材确定为预设数量个目标视频素材。
示例地，假设候选视频素材的集合中包括的20个候选视频素材，组成10对需要进行相似度比较的组合，并假设预设数量是12。在对最后一个组合(第10对)进行完相似度比较后，集合中剩余的候选视频素材为15个，大于预设数量。于是可以对这15个剩余的候选视频素材进行质量分排序，取其中质量分靠前的12个候选视频素材，作为12个目标视频素材。
应当理解的，上述示例中，对20个候选视频素材进行两两组合的方式并不局限于组合成10对。上述组合方式不应理解为对本申请的限定。
步骤S13：将所述预设数量个目标视频素材填入所述视频模板，以合成视频。
通过执行上述包括步骤S11至步骤S13的基于视频模板合成视频的方法：通过根据视频模板的主题，对多个视频素材进行聚类，可以从多个视频素材中，过滤掉与视频模板主题不相关的视频素材，得到与主题匹配的候选视频素材的集合，从而缩小挑选范围。
由于候选视频素材的集合相比于原本的多个视频素材，缩小了挑选范围，因此通过从候选视频素材的集合中，确定预设数量个目标视频素材，可以提高目标视频素材的确定效率。再通过将预设数量个目标视频素材填入视频模板，从而更高效地合成视频，优化用户体验。
此外，由于候选视频素材的集合与视频模板的主题相匹配，因此该集合中的视频素材更能反映视频模板主题，通过从该集合中选择目标视频素材填充视频模板，可以合成更贴合主题的视频，提高视频质量。
基于同一发明构思，本申请一实施例提供一种基于视频模板合成视频的装置。参考图4，图4是本申请实施例提出的基于视频模板合成视频的装置的示意图。如图4所示，该装置包括：
聚类模块41，用于根据视频模板的主题，对多个视频素材进行聚类，得到与所述主题匹配的候选视频素材的集合；
素材确定模块42，用于从所述候选视频素材的集合中，确定预设数量个目标视频素材；
素材填入模块43，用于将所述预设数量个目标视频素材填入所述视频模板，以合成视频。
可选地，所述素材确定模块包括：
分析子模块，用于对所述候选视频素材的集合中的每个候选视频素材进行分析，得到每个候选视频素材的质量分；
相似度比较子模块，用于对所述候选视频素材的集合中每两个候选视频素材进行相似度比较，在相似度大于预设阈值时，去除质量分较低的候选视频素材；
数量确定子模块，用于每去除一个候选视频素材，确定所述候选视频素材的集合中剩余的候选视频素材的数量；
循环子模块，用于在剩余候选视频素材的数量大于所述预设数量时继续去重，直到剩余的候选视频素材的数量等于所述预设数量时停止去重；
素材确定第一子模块，用于将停止去重后剩余的预设数量个候选视频素材确定为预设数量个目标视频素材。
可选地，所述素材确定模块包括：
排序子模块，用于在停止去重后剩余的候选视频素材的数量大于所述预设数量的情况下，根据质量分高低，对剩余的候选视频素材进行排序；
素材确定第二子模块，用于将剩余的候选视频素材中质量分靠前的预设数量个候选视频素材确定为预设数量个目标视频素材。
可选地，所述相似度比较子模块包括：
确定子单元，用于在所述候选视频素材是图像的情况下，确定每两个图像下采样后像素值的SAD，和/或，确定每两个图像的直方图的相似度；
比较子单元，用于根据每两个图像的所述SAD和/或所述直方图的相似度，对所述两个候选视频素材进行相似度比较。
基于同一发明构思，本申请另一实施例提供一种终端，包括：处理器、以及用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行以实现本申请上述任一实施例所述的基于视频模板合成视频的方法所执行的操作。
基于同一发明构思，本申请另一实施例提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种以实现本申请上述任一实施例所述的基于视频模板合成视频的方法所执行的操作。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种基于视频模板合成视频的方法、装置、终端及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于视频模板合成视频的方法，其特征在于，所述方法包括：
根据视频模板的主题，对多个视频素材进行聚类，得到与所述主题匹配的候选视频素材的集合；
从所述候选视频素材的集合中，确定预设数量个目标视频素材；
将所述预设数量个目标视频素材填入所述视频模板，以合成视频。
2.根据权利要求1所述的方法，其特征在于，从所述候选视频素材的集合中，确定预设数量个目标视频素材，包括：
对所述候选视频素材的集合中的每个候选视频素材进行分析，得到每个候选视频素材的质量分；
对所述候选视频素材的集合中每两个候选视频素材进行相似度比较，在相似度大于预设阈值时，去除质量分较低的候选视频素材；
每去除一个候选视频素材，确定所述候选视频素材的集合中剩余的候选视频素材的数量；
在剩余候选视频素材的数量大于所述预设数量时继续去重，直到剩余的候选视频素材的数量等于所述预设数量时停止去重；
将停止去重后剩余的预设数量个候选视频素材确定为预设数量个目标视频素材。
3.根据权利要求2所述的方法，其特征在于，从所述候选视频素材的集合中，确定预设数量个目标视频素材，包括：
在停止去重后剩余的候选视频素材的数量大于所述预设数量的情况下，根据质量分高低，对剩余的候选视频素材进行排序；
将剩余的候选视频素材中质量分靠前的预设数量个候选视频素材确定为预设数量个目标视频素材。
4.根据权利要求2或3所述的方法，其特征在于，对所述候选视频素材的集合中每两个候选视频素材进行相似度比较，包括：
在所述候选视频素材是图像的情况下，确定每两个图像下采样后像素值的绝对值之和SAD，和/或，确定每两个图像的直方图的相似度；
根据每两个图像的所述SAD和/或所述直方图的相似度，对所述两个候选视频素材进行相似度比较。
5.一种基于视频模板合成视频的装置，其特征在于，所述装置包括：
聚类模块，用于根据视频模板的主题，对多个视频素材进行聚类，得到与所述主题匹配的候选视频素材的集合；
素材确定模块，用于从所述候选视频素材的集合中，确定预设数量个目标视频素材；
素材填入模块，用于将所述预设数量个目标视频素材填入所述视频模板，以合成视频。
6.根据权利要求5所述的装置，其特征在于，所述素材确定模块包括：
分析子模块，用于对所述候选视频素材的集合中的每个候选视频素材进行分析，得到每个候选视频素材的质量分；
相似度比较子模块，用于对所述候选视频素材的集合中每两个候选视频素材进行相似度比较，在相似度大于预设阈值时，去除质量分较低的候选视频素材；
数量确定子模块，用于每去除一个候选视频素材，确定所述候选视频素材的集合中剩余的候选视频素材的数量；
循环子模块，用于在剩余候选视频素材的数量大于所述预设数量时继续去重，直到剩余的候选视频素材的数量等于所述预设数量时停止去重；
素材确定第一子模块，用于将停止去重后剩余的预设数量个候选视频素材确定为预设数量个目标视频素材。
7.根据权利要求6所述的装置，其特征在于，所述素材确定模块包括：
排序子模块，用于在停止去重后剩余的候选视频素材的数量大于所述预设数量的情况下，根据质量分高低，对剩余的候选视频素材进行排序；
素材确定第二子模块，用于将剩余的候选视频素材中质量分靠前的预设数量个候选视频素材确定为预设数量个目标视频素材。
8.根据权利要求6或7所述的装置，其特征在于，所述相似度比较子模块包括：
确定子单元，用于在所述候选视频素材是图像的情况下，确定每两个图像下采样后像素值的SAD，和/或，确定每两个图像的直方图的相似度；
比较子单元，用于根据每两个图像的所述SAD和/或所述直方图的相似度，对所述两个候选视频素材进行相似度比较。
9.一种终端，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行以实现如权利要求1至4中任一项所述的基于视频模板合成视频的方法所执行的操作。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种以实现如权利要求1至4中任一项所述的基于视频模板合成视频的方法所执行的操作。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019106313411 | 2019-07-12 | ||
| CN201910631341 | 2019-07-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110730381A true CN110730381A (zh) | 2020-01-24 |
Family
ID=69220986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910964346.6A Pending CN110730381A (zh) | 2019-07-12 | 2019-10-11 | 基于视频模板合成视频的方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110730381A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111246289A (zh) * | 2020-03-09 | 2020-06-05 | Oppo广东移动通信有限公司 | 视频生成方法及装置、电子设备、存储介质 |
| CN111432205A (zh) * | 2020-04-17 | 2020-07-17 | 杭州趣维科技有限公司 | 一种视频合成正确性的自动化测试方法 |
| CN111601039A (zh) * | 2020-05-28 | 2020-08-28 | 维沃移动通信有限公司 | 视频拍摄方法、装置及电子设备 |
| CN112732977A (zh) * | 2021-01-21 | 2021-04-30 | 网娱互动科技(北京)股份有限公司 | 一种基于模板快速生成短视频的方法 |
| CN113938751A (zh) * | 2020-06-29 | 2022-01-14 | 北京字节跳动网络技术有限公司 | 视频转场类型确定方法、设备及存储介质 |
| CN114363641A (zh) * | 2020-10-13 | 2022-04-15 | 阿里巴巴集团控股有限公司 | 目标视频生成方法及装置 |
| WO2022141533A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 视频处理方法、视频处理装置、终端设备以及存储介质 |
| CN117333495A (zh) * | 2023-12-01 | 2024-01-02 | 浙江口碑网络技术有限公司 | 图像检测方法、装置、设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170060089A1 (en) * | 2015-08-31 | 2017-03-02 | City University Of Hong Kong | Fast generation of digital holograms |
| CN108391063A (zh) * | 2018-02-11 | 2018-08-10 | 北京秀眼科技有限公司 | 视频剪辑方法及装置 |
| CN108829893A (zh) * | 2018-06-29 | 2018-11-16 | 北京百度网讯科技有限公司 | 确定视频标签的方法、装置、存储介质和终端设备 |
| CN108882000A (zh) * | 2018-06-27 | 2018-11-23 | 深圳市九洲电器有限公司 | 视频截图管理方法及系统 |
| CN108958592A (zh) * | 2018-07-11 | 2018-12-07 | Oppo广东移动通信有限公司 | 视频处理方法及相关产品 |
| CN108984628A (zh) * | 2018-06-20 | 2018-12-11 | 北京达佳互联信息技术有限公司 | 内容描述生成模型的损失值获取方法及装置 |
| CN109151558A (zh) * | 2018-07-27 | 2019-01-04 | 努比亚技术有限公司 | 一种视频处理方法、终端及计算机可读存储介质 |
| CN109408478A (zh) * | 2018-11-06 | 2019-03-01 | 北京达佳互联信息技术有限公司 | 图片生成方法、装置、终端及存储介质 |
| CN109460481A (zh) * | 2018-11-13 | 2019-03-12 | 北京中网易企秀科技有限公司 | 一种多媒体文件生成方法及装置 |
| JP2019050473A (ja) * | 2017-09-08 | 2019-03-28 | 富士通株式会社 | 映像データ共有システム、映像データ共有プログラム、映像データ共有方法および映像データ共有装置 |
| CN109688463A (zh) * | 2018-12-27 | 2019-04-26 | 北京字节跳动网络技术有限公司 | 一种剪辑视频生成方法、装置、终端设备及存储介质 |
-
2019
- 2019-10-11 CN CN201910964346.6A patent/CN110730381A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170060089A1 (en) * | 2015-08-31 | 2017-03-02 | City University Of Hong Kong | Fast generation of digital holograms |
| JP2019050473A (ja) * | 2017-09-08 | 2019-03-28 | 富士通株式会社 | 映像データ共有システム、映像データ共有プログラム、映像データ共有方法および映像データ共有装置 |
| CN108391063A (zh) * | 2018-02-11 | 2018-08-10 | 北京秀眼科技有限公司 | 视频剪辑方法及装置 |
| CN108984628A (zh) * | 2018-06-20 | 2018-12-11 | 北京达佳互联信息技术有限公司 | 内容描述生成模型的损失值获取方法及装置 |
| CN108882000A (zh) * | 2018-06-27 | 2018-11-23 | 深圳市九洲电器有限公司 | 视频截图管理方法及系统 |
| CN108829893A (zh) * | 2018-06-29 | 2018-11-16 | 北京百度网讯科技有限公司 | 确定视频标签的方法、装置、存储介质和终端设备 |
| CN108958592A (zh) * | 2018-07-11 | 2018-12-07 | Oppo广东移动通信有限公司 | 视频处理方法及相关产品 |
| CN109151558A (zh) * | 2018-07-27 | 2019-01-04 | 努比亚技术有限公司 | 一种视频处理方法、终端及计算机可读存储介质 |
| CN109408478A (zh) * | 2018-11-06 | 2019-03-01 | 北京达佳互联信息技术有限公司 | 图片生成方法、装置、终端及存储介质 |
| CN109460481A (zh) * | 2018-11-13 | 2019-03-12 | 北京中网易企秀科技有限公司 | 一种多媒体文件生成方法及装置 |
| CN109688463A (zh) * | 2018-12-27 | 2019-04-26 | 北京字节跳动网络技术有限公司 | 一种剪辑视频生成方法、装置、终端设备及存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111246289A (zh) * | 2020-03-09 | 2020-06-05 | Oppo广东移动通信有限公司 | 视频生成方法及装置、电子设备、存储介质 |
| CN111432205A (zh) * | 2020-04-17 | 2020-07-17 | 杭州趣维科技有限公司 | 一种视频合成正确性的自动化测试方法 |
| CN111432205B (zh) * | 2020-04-17 | 2021-10-26 | 杭州小影创新科技股份有限公司 | 一种视频合成正确性的自动化测试方法 |
| CN111601039A (zh) * | 2020-05-28 | 2020-08-28 | 维沃移动通信有限公司 | 视频拍摄方法、装置及电子设备 |
| CN111601039B (zh) * | 2020-05-28 | 2021-10-15 | 维沃移动通信有限公司 | 视频拍摄方法、装置及电子设备 |
| CN113938751A (zh) * | 2020-06-29 | 2022-01-14 | 北京字节跳动网络技术有限公司 | 视频转场类型确定方法、设备及存储介质 |
| CN113938751B (zh) * | 2020-06-29 | 2023-12-22 | 抖音视界有限公司 | 视频转场类型确定方法、设备及存储介质 |
| CN114363641A (zh) * | 2020-10-13 | 2022-04-15 | 阿里巴巴集团控股有限公司 | 目标视频生成方法及装置 |
| WO2022141533A1 (zh) * | 2020-12-31 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 视频处理方法、视频处理装置、终端设备以及存储介质 |
| CN112732977A (zh) * | 2021-01-21 | 2021-04-30 | 网娱互动科技(北京)股份有限公司 | 一种基于模板快速生成短视频的方法 |
| CN117333495A (zh) * | 2023-12-01 | 2024-01-02 | 浙江口碑网络技术有限公司 | 图像检测方法、装置、设备及存储介质 |
| CN117333495B (zh) * | 2023-12-01 | 2024-03-19 | 浙江口碑网络技术有限公司 | 图像检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110730381A (zh) | 基于视频模板合成视频的方法、装置、终端及存储介质 | |
| AU2017261537B2 (en) | Automated selection of keeper images from a burst photo captured set | |
| US7844135B2 (en) | Detecting orientation of digital images using face detection information | |
| US8391645B2 (en) | Detecting orientation of digital images using face detection information | |
| CN110996169B (zh) | 剪辑视频的方法、装置、电子设备及计算机可读存储介质 | |
| US8983202B2 (en) | Smile detection systems and methods | |
| US7627146B2 (en) | Method and apparatus for effecting automatic red eye reduction | |
| CN110996183B (zh) | 视频摘要的生成方法、装置、终端及存储介质 | |
| US7450778B2 (en) | Artifact reduction in a digital video | |
| CN108830175A (zh) | 虹膜图像局部增强方法、装置、设备及存储介质 | |
| JP6511950B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US10643661B2 (en) | Systems and methods for determining highlight segment sets | |
| JP2014229092A (ja) | 画像処理装置、画像処理方法、および、そのプログラム | |
| Nguyen et al. | Novel evaluation metrics for seam carving based image retargeting | |
| US20240020952A1 (en) | Image crop | |
| US20240054748A1 (en) | Finding the semantic region of interest in images | |
| CN110222207B (zh) | 图片的整理方法、装置和智能终端 | |
| JP4323559B2 (ja) | 撮像装置および方法並びにプログラム | |
| Souza et al. | Generating an Album with the Best Media Using Computer Vision | |
| CN116758043A (zh) | 一种生成封面图像的方法、装置和设备 | |
| CN116385944A (zh) | 图像帧选择方法、装置、电子设备及存储介质 | |
| Corcoran | Facial enhancement and beautification for HD video cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200124 |
|
| RJ01 | Rejection of invention patent application after publication |