CN112035685A - 相册视频生成方法、电子设备和存储介质 - Google Patents
相册视频生成方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112035685A CN112035685A CN202010826809.5A CN202010826809A CN112035685A CN 112035685 A CN112035685 A CN 112035685A CN 202010826809 A CN202010826809 A CN 202010826809A CN 112035685 A CN112035685 A CN 112035685A
- Authority
- CN
- China
- Prior art keywords
- materials
- video
- image
- album
- album video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000000463 material Substances 0.000 claims abstract description 226
- 238000012216 screening Methods 0.000 claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims 2
- 239000000126 substance Substances 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 239000013598 vector Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 238000012163 sequencing technique Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 239000005338 frosted glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
- G06F16/4387—Presentation of query results by the use of playlists
- G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/44—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
Abstract
本发明实施例涉及视频制作领域,特别涉及相册视频生成方法、电子设备和存储介质。本发明实施例使用聚类算法对素材集中的素材的人脸特征聚类,获取聚类结果,其中,聚类结果包括多个类别的人物簇;从所述聚类结果中获取第一类别的人物簇;根据所述多个类别的人物簇对应的人物与所述第一类别人物簇对应的人物的关联度筛选素材,得到关联度满足预设门限的素材;根据所述筛选得到的素材生成相册视频。本发明的实施方式无需用户进行手动筛选素材等繁琐操作,节约用户时间,解决了无法自动化和批量化的进行相册视频生成、不适用于实际生产环境的问题,能够按照素材中出现的人物的关联度来筛选素材,使生成的相册视频更贴近用户的实际需求。
Description
技术领域
本发明实施例涉及视频制作领域,特别涉及相册视频生成方法、电子设备和存储介质。
背景技术
随着智能手机日益普及,以及智能手机的拍摄功能日益强大,在日常生活中它基本取代了相机功能,方便了用户之间分享照片与视频。为了更好的管理、展示与分享自己拍摄的照片,用户通常会把手机拍摄好的照片制作成配乐的相册视频。现有的自动生成相册视频的方法可以通过用户输入关键字,根据主题筛选素材生成相册视频,也可以通过素材的参数筛选素材生成相册视频等。
发明人发现现有技术至少存在如下问题:用户输入关键字筛选素材依赖于关键字的准确程度而且需要花费用户时间成本,无法自动化和批量化生成相册视频,不适用于大规模生成环境;通过拍摄参数筛选素材不适用于没有拍摄参数的素材,另外,在现实生活中拍照时,通常会出现许多与主要拍摄对象无关的人物,现有的相册视频生成方法中经常会把这些照片作为素材,生成相册视频。
发明内容
本发明实施方式的目的在于提供一种相册视频生成方法、电子设备和存储介质,能够按照素材中出现的人物的关联度来筛选素材,根据筛选的素材自动相册视频。
为解决上述技术问题,本发明的实施方式提供了一种相册视频生成方法,包括以下步骤:使用聚类算法对素材集中的素材的人脸特征聚类,获取聚类结果,其中,聚类结果包括多个类别的人物簇;从所述聚类结果中获取第一类别的人物簇;根据所述多个类别的人物簇对应的人物与所述第一类别人物簇对应的人物的关联度筛选素材,得到关联度满足预设门限的素材;根据所述筛选得到的素材生成相册视频。
本发明的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的相册视频生成方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的相册视频生成方法。
本发明实施方式相对于现有技术而言,利用人脸聚类算法对素材聚类得到多个类别的人物簇,从人物簇中获取第一类别人物簇,根据与第一类别人物簇的关联度筛选素材来生成相册视频。本发明的实施方案能够自动筛选素材生成相册视频,无需用户进行手动筛选素材等繁琐操作,节约用户时间,解决了无法自动化和批量化的进行相册视频生成、不适用于实际生产环境的问题,另外,本发明的实施方案在筛选素材时对拍摄参数无需求,能够按照素材中出现的人物的关联度来筛选素材,使生成的相册视频更贴近用户的实际需求。
另外,根据所述多个类别的人物簇对应的人物与所述第一类别人物簇对应的人物的关联度从所述素材集中筛选素材之前,还包括:从所述人物簇中获取第二类别的人物簇;在所述素材集中剔除所述第二类别的人物簇。该实现中,筛选素材前先去掉用户不需要的素材,提高了筛选素材的效率,更加贴合用户对相册视频素材筛选的需求。
另外,根据所述筛选得到的素材生成相册视频之前,还包括:获取所述筛选得到的素材中的图像素材的图像相似度;根据所述图像相似度获取相似图像集合;使用第一深度神经网络算法在所述相似图像集合中进行图像筛选,得到筛选后的图像素材,其中,一个所述相似图像集合筛选出一个图像素材;所述根据所述筛选得到的素材生成相册视频,包括:根据所述筛选后的图像素材生成相册视频。该实现中,相较于传统的相似推荐方法,随机挑选或者使用图像亮度、对比度、清晰度等低级图像特征进行推荐,利用深度神经网络算法进行相似图像推荐这种数据驱动的方法可以较好的学习训练数据集中的数据特征,得到高级的图像语义特征进行图像推荐,更符合一般用户在相似图像序列中挑选素材的规则。
另外,根据所述筛选后的图像素材生成相册视频,包括:按照所述筛选后的图像素材的亮度信息,依据预设的排序规则进行排序,形成有序列的图像素材,其中,所述排序规则包括从亮度中值到亮度最高值,再从亮度最高值到亮度最低值;根据所述排序后的图像素材生成相册视频。该实现,基于素材亮度排序的方法较好得模拟了一天从早到晚的效果,避免了随机顺序的景色差异或者使用拍摄时间排序中不同日期的素材中语义间隙产生的突兀感,让生成的相册视频更加流畅。
另外,根据所述筛选后的图像素材生成相册视频前,还包括:获取所述筛选得到的素材中的视频素材;所述根据所述筛选后的图像素材生成相册视频,包括:根据所述筛选后的图像素材,以及所述视频素材,生成相册视频。该实现中,获取视频素材,将视频素材加入生成相册视频的素材,生成相册视频的原始素材既可以是视频也可以是图片,增加了供筛选的素材的种类,能使用户拍摄的图片和视频都参与相册视频的生成。
另外,根据所述素材生成相册视频,包括:使用第二深度神经网络算法对所述筛选得到的素材进行分类;根据分类结果筛选音乐;根据所述筛选得到的素材和所述音乐生成相册视频。该实现中,使用深度神经网络对素材分类,根据分类结果筛选音乐,相对于传统的手动选择背景音乐的繁琐操作,提高了选择背景音乐的效率;相对于随机选择背景音乐,使得音频更贴合视频内容,增加相册视频的趣味性;同时神经网络具有运行速度快的优点,算法的运行效率高,选取背景音乐时效高。
另外,根据所述筛选得到的素材和所述音乐生成相册视频,包括:若所述筛选得到的素材中包括视频素材,则获取所述视频素材的音频文件;根据所述筛选得到的素材、所述音乐以及所述音频文件生成相册视频。该实现中,将视频素材的音频文件加入相册视频中,使生成的相册视频的背景音乐中包含用户拍摄视频的音频,更加贴合用户的拍摄素材。
另外,使用聚类算法对素材集中的素材的人脸特征聚类之前,包括:使用第三深度神经网络算法获取人脸包围盒,得到人脸图像;使用第四深度神经网络算法提取所述人脸图像的人脸特征。该实现中,使用深度神经网络算法素材提取人脸特征向量时,充分考虑了深度神经网络算法运行效率高的特点,提高生成相册视频的效率。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定。
图1是第一实施方式的相册视频生成方法的流程图;
图2是第二实施方式的相册视频生成方法的流程图;
图3是第三实施方式的相册视频生成方法的流程图;
图4是基于深度神经网络的相似图像推荐结果示意图;
图5是基于素材亮度排序的序列结果示意图;
图6是第四实施方式的相册视频生成方法的流程图;
图7是第五实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种相册视频生成方法。本实施例中,相册视频生成方法可用于能够生成相册视频的设备,例如智能手机,平板,电脑,拍摄设备,服务器等。下面对本实施例的相册视频生成方法的实现细节具体的说明,说明内容仅为方便理解提供的实现细节,并非实施本方案的必须。本实施例的相册视频生成方法的流程图如图1所示,包括:
步骤101,使用聚类算法对素材集中的素材的人脸特征聚类,获取聚类结果,其中,聚类结果包括多个类别的人物簇。
在一个例子中,使用人脸特征提取算法获取人脸特征,然后使用聚类算法,如Chinese_whispers对人脸特征向量分析聚类,即,根据人脸特征向量对素材集中的素材里出现的人物进行人脸对比,属于同一身份对应同一张人脸的人划分到一个组,一个组对应一个人物簇,获取聚类结果,聚类结果中包含多个类别的人物簇。
步骤102,从聚类结果中获取第一类别的人物簇。
在一个例子中,从多个类别的人物簇中选择包含人脸数量最多的人物簇,作为主要人物簇,将主要人物簇作为第一类别的人物簇。
步骤103,根据多个类别的人物簇对应的人物与第一类别人物簇对应的人物的关联度筛选素材,得到关联度满足预设门限的素材。
在一个例子中,在素材集中,聚类结果中的人物簇对应的人物与主要人物簇人物共同出现在素材的次数,即共现次数,作为关联度的参照,以共现次数来筛选素材,判断素材集中的素材的关联度是否满足预设门限,得到关联度满足预设门限的素材,另外,主要人物簇对应的素材也是满足预设门限的素材。例如,关联度即共现次数为3次,主要人物是A,人物A与人物B共同出现在照片上,同时出现A和B的照片超过三张,则该人物A与人物B的关联度满足预设的门限,人物A与人物B对应的素材均为关联度满足预设门限的素材。
步骤104,根据所述筛选得到的素材生成相册视频。
在一个例子中,将满足预设门限的素材修改尺寸,对素材进行美化处理,例如,添加毛玻璃效果,然后,随机添加缩放或平移等动画效果、挑选背景音乐,生成相册视频。
在一个例子中,从手机的相册文件夹中读取素材集,获取素材集中人脸的人脸特征向量,使用聚类算法Chinese_whispers对素材集中的素材聚类,形成多种人物簇,选择包含人脸数量最多的簇作为主要人物簇,然后判断除主要人物簇之外其他人物簇对应的人物与主要人物簇对应的人物在同一素材中出现的次数,例如,预设门限为三,则不小于三次即为满足预设门限的素材,主要人物簇也为满足预设门限的素材,将满足预设门限的素材修改尺寸,对素材加入美化处理,再添加视频的动画特效,随机挑选音乐,音乐可以来自本地音乐,也可以联网获取,根据音乐和满足预设门限的素材生成相册视频。
本实施例中,使用聚类算法对素材集中的素材的人脸特征聚类,获取聚类结果,其中,聚类结果包括多个类别的人物簇;从聚类结果中获取第一类别的人物簇;根据多个类别的人物簇对应的人物与所述第一类别人物簇对应的人物的关联度筛选素材,得到关联度满足预设门限的素材;根据筛选得到的素材生成相册视频。本发明的实施方案能够自动筛选素材生成相册视频,无需要用户进行手动筛选素材等繁琐操作,节约用户时间,解决了无法自动化和批量化的进行相册视频生成、不适用于实际生产环境的问题,另外,本发明的实施方案在筛选素材时对拍摄参数无需求,能够按照素材中出现的人物的关联度来筛选素材,使生成的相册视频更贴近用户的实际需求。
本发明的第二实施方式涉及一种相册视频生成方法。第二实施方式与第一实施方式大致相同,主要区别之处在于,本发明第二实施方式给出了一种提取人脸特征向量的方式,另外,在根据多个类别的人物簇对应的人物与第一类别人物簇对应的人物的关联度筛选素材,得到关联度满足预设门限的素材之前,增加了步骤:从人物簇中获取第二类别的人物簇;在素材集中剔除所述第二类别的人物簇。本实施例的相册视频生成方法的流程图如图2所示,包括:
步骤201:使用预先训练好的深度神经网络算法获取人脸包围盒,得到人脸图像;使用预先训练好的另一深度神经网络算法提取所述人脸图像的人脸特征。
在一个例子中,可以将素材集中的素材使输入到神经网络MTCNN中,获取人脸包围盒得到人脸图像,再使用深度神经网络ArcFace,提取人脸特征向量。
步骤202:使用聚类算法对素材集中的素材的人脸特征聚类,获取聚类结果,其中,聚类结果包括多个类别的人物簇。
步骤203:从聚类结果中获取第一类别的人物簇。
本实施例中步骤202至步骤203和本发明实施例一步骤101和102相同,此处不再赘述。
步骤204:从聚类结果中获取第二类别的人物簇。
在一个例子中,从多个类别的人物簇中选择人脸特征向量方差最大的簇做为第二类别的人物簇,人脸特征向量方差最大的簇也称为陌生人簇,陌生人簇形成陌生人集合。
步骤205:在素材集中剔除所述第二类别的人物簇。
在一个例子中,从素材集中删除第二类别人物簇,或者,生成一个新的素材集存放不含第二类别人物簇簇的素材。
步骤206:根据多个类别的人物簇对应的人物与第一类别人物簇对应的人物的关联度筛选素材,得到关联度满足预设门限的素材。
步骤207:根据所述筛选得到的素材生成相册视频。
步骤206至步骤207与第一实施方式中的步骤103至步骤104相同,此处不再赘述。
在一个例子中,从智能设备获取素材集,对素材集中的素材使用MTCNN获取人脸包围盒得到人脸包围盒,再使用ArcFace提取人脸特征向量,使用聚类算法Chinese_whispers对素材集中的素材聚类,形成多种人物簇,选择包含人脸数量最多的簇作为主要人物簇,选择人脸特征向量最大的簇作为陌生人簇,在素材集中剔除陌生人簇,然后判断除主要人物簇之外其他人物簇对应的人物与主要人物簇对应的人物在同一素材中出现的次数,例如,预设门限为三,则不小于三次即为满足预设门限的素材,主要人物簇也为满足预设门限的素材,将满足预设门限的素材修改尺寸,对素材加入美化处理,再添加视频的动画特效,随机挑选音乐,音乐可以来自本地音乐,也可以联网获取,根据音乐和满足预设门限的素材生成相册视频。
本实施例中,使用深度神经网络获取人脸特征向量,再使用聚类算法对素材集中的素材的人脸特征聚类,获取聚类结果;从聚类结果中获取第一类别的人物簇和第二类别的人物簇;在素材集中剔除第二类别人物簇,根据多个类别的人物簇对应的人物与所述第一类别人物簇对应的人物的关联度筛选素材,得到关联度满足预设门限的素材;根据筛选得到的素材生成相册视频。本发明的实施方案使用深度神经网络算法素材提取人脸特征向量时,充分考虑了深度神经网络算法运行效率高的特点,提高生成相册视频的效率,另外,筛选素材前先去掉用户不需要的素材,提高了筛选素材的效率,更加贴合用户对相册视频素材筛选的需求。
本发明的第三实施方式涉及一种相册视频生成方法。第三实施方式与第二实施方式大致相同,主要区别之处在于,本发明第三实施方式在得到关联度满足预设门限的素材之后:在筛选的相似素材中使用深度神经网络再次筛选素材,并将素材按照亮度规则排列。本实施例的相册视频生成方法的流程图如图3所示,包括:
步骤301:从素材集中筛选关联度满足预设门限的素材。
步骤301与实施例2中步骤201至步骤206大体相同,此处不再赘述。
步骤302:获取所述筛选得到的素材中的图像素材的图像相似度,根据图像相似度获取相似图像集合。
在一个例子中,将筛选得到的素材,通过深度神经网络,如ResNet50,提取特征向量,再通过距离度量函数,如余弦距离,得到图像相似度,根据预设的相似度阈值判断相似图像集合,例如,图像相似度阈值为百分之六十,假如两张图像相似度不小于相似度阈值百分之六十,则这两张图像属于同一相似图像集合。
步骤303:使用第一深度神经网络算法在所述相似图像集合中进行图像筛选,得到筛选后的图像素材,其中,一个所述相似图像集合筛选出一个图像素材。
在一个例子中,使用深度神经网络如孪生网络等在相似图像序列中推荐其中最好的照片,例如,图4展示了基于深度神经网络的相似图像推荐结果示意图,图4中相似图像集合有三张照片,在三张照片都出现同一风景建筑时,使用孪生网络剔除了存在陌生人遮挡风景建筑的照片。
步骤304:按照所述筛选后的图像素材的亮度信息,依据预设的排序规则进行排序,形成有序列的图像素材。
在一个例子中,按照亮度规则对筛选出来的图像素材排序,例如,按照亮度排序中从亮度中值到最亮,再从亮度中值到最暗进行重排序,以此模拟一天中从上午到中午再到夜晚的亮度顺序,图5展示了基于素材亮度排序的序列结果示意图,较好得模拟了一天从早到晚的效果。
步骤305:获取所述筛选得到的素材中的视频素材。
若筛选得到的素材集中有视频时,获取视频素材,视频素材可以是视频,也可以是视频的截帧,将视频素材加入排序后的图像素材中,例如,在视频中截取一帧,以截帧的亮度作为该视频的亮度,按照亮度加入图像素材。
步骤306:根据所述排序后的图像素材及视频素材生成相册视频。
在一个例子中,对排序后的素材进行美化处理,例如,添加毛玻璃效果,然后,随机添加缩放或平移等动画效果、挑选背景音乐,生成相册视频,相册视频中图像素材以及视频素材出现的顺序即为排序后的图像素材的顺序。
本实施例中,利用深度神经网络算法进行相似图像推荐,相较于传统的相似推荐方法,例如,随机挑选或者使用图像亮度、对比度、清晰度等低级图像特征进行推荐,可以较好的学习训练数据集中的数据特征,得到高级的图像语义特征进行图像推荐,更符合一般用户在相似图像序列中挑选素材的规则,对推荐后的素材基于素材亮度进行排序排序,较好的模拟了一天从早到晚的效果,避免了随机顺序的景色差异或者使用拍摄时间排序中不同日期的素材中语义间隙产生的突兀感,让生成的相册视频更加流畅。
本发明的第四实施方式涉及一种相册视频生成方法。第四实施方式与第三实施方式大致相同,主要区别之处在于,本发明第四实施方式使用深度神经网络对筛选得到的神经网络分类匹配背景音乐,本实施例的相册视频生成方法的流程图如图6所示,包括:
步骤601:从素材集中筛选关联度满足预设门限的素材。
步骤602:获取所述筛选得到的素材中的图像素材的图像相似度,根据图像相似度获取相似图像集合。
步骤603:使用第一深度神经网络算法在所述相似图像集合中进行图像筛选,得到筛选后的图像素材,其中,一个所述相似图像集合筛选出一个图像素材。
步骤604:按照所述筛选后的图像素材的亮度信息,依据预设的排序规则进行排序,形成有序列的图像素材。
步骤605:获取所述筛选得到的素材中的视频素材。
步骤601至步骤605与第三实施例中步骤301至步骤305相同,此处不再赘述。
步骤606:使用第二深度神经网络对所述筛选得到的素材进行分类,根据分类结果筛选音乐。
在一个例子中,将筛选得到的图像素材和视频素材合成无声视频,将无声视频通过深度神经网络如ResNet50等得到视频的分类,如宠物、美食、聚会、风景等,不同的分类对应不同的背景音乐集合,根据分类结果查找到相应的背景音乐集合,在查找到的背景音乐集合中随机挑选音频文件。
步骤607:获取所述视频素材的音频文件。
在一个例子中,得到视频素材在无声视频中的时间信息,提取视频素材的音频文件。
步骤608:根据图像素材,视频素材、音乐以及音频文件生成相册视频。
在一个例子中,按照视频素材在无声视频的时间信息,将音乐与音频文件结合,使得音频素材的播放时间对应无声视频中相册视频的播放时间,另外,将音乐与视频原音量按照一定比值,例如2:1,合成音乐,合成的音乐作为背景音乐与无声视频结合生成相册视频。
在本实施例中,使用深度神经网络对素材分类,根据分类结果筛选音乐,相对于传统的手动选择背景音乐的繁琐操作,提高了选择背景音乐的效率;相对于随机选择背景音乐,使得音频更贴合视频内容,增加相册视频的趣味性;同时神经网络具有运行速度快的优点,算法的运行效率高,选取背景音乐时效高,将视频素材的音频文件加入相册视频中,使生成的相册视频的背景音乐中包含用户拍摄视频的音频,更加贴合用户的拍摄素材。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第五实施方式涉及一种电子设备,如图7所示,包括至少一个处理器701;以及,与所述至少一个处理器通信连接的存储器702;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的相册视频生成方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第六实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (10)
1.一种相册视频生成方法,其特征在于,包括:
使用聚类算法对素材集中的素材的人脸特征聚类,获取聚类结果,其中,聚类结果包括多个类别的人物簇;
从所述聚类结果中获取第一类别的人物簇;
根据所述多个类别的人物簇对应的人物与所述第一类别人物簇对应的人物的关联度筛选素材,得到关联度满足预设门限的素材;
根据所述筛选得到的素材生成相册视频。
2.根据权利要求1所述的相册视频生成方法,其特征在于,所述根据所述多个类别的人物簇对应的人物与所述第一类别人物簇对应的人物的关联度从所述素材集中筛选素材之前,还包括:
从所述人物簇中获取第二类别的人物簇;
在所述素材集中剔除所述第二类别的人物簇。
3.根据权利要求1所述的相册视频生成方法,其特征在于,所述根据所述筛选得到的素材生成相册视频之前,还包括:
获取所述筛选得到的素材中的图像素材的图像相似度;
根据所述图像相似度获取相似图像集合;
使用第一深度神经网络算法在所述相似图像集合中进行图像筛选,得到筛选后的图像素材,其中,一个所述相似图像集合筛选出一个图像素材;
所述根据所述筛选得到的素材生成相册视频,包括:
根据所述筛选后的图像素材生成相册视频。
4.根据权利要求3所述的相册视频生成方法,其特征在于,所述根据所述筛选后的图像素材生成相册视频,包括:
按照所述筛选后的图像素材的亮度信息,依据预设的排序规则进行排序,形成有序列的图像素材,其中,所述排序规则包括从亮度中值到亮度最高值,再从亮度最高值到亮度最低值;
根据所述排序后的图像素材生成相册视频。
5.根据权利要求3所述的相册视频生成方法,其特征在于,在所述根据所述筛选后的图像素材生成相册视频前,还包括:
获取所述筛选得到的素材中的视频素材;
所述根据所述筛选后的图像素材生成相册视频,包括:
根据所述筛选后的图像素材,以及所述视频素材,生成相册视频。
6.根据权利要求1至5中任一项所述的相册视频生成方法,其特征在于,所述根据所述素材生成相册视频,包括:
使用第二深度神经网络算法对所述筛选得到的素材进行分类;
根据分类结果筛选音乐;
根据所述筛选得到的素材和所述音乐生成相册视频。
7.根据权利要求6所述的相册视频生成方法,其特征在于,所述根据所述筛选得到的素材和所述音乐生成相册视频,包括:
若所述筛选得到的素材中包括视频素材,则获取所述视频素材的音频文件;
根据所述筛选得到的素材、所述音乐以及所述音频文件生成相册视频。
8.根据权利要求1至5中任一项所述的相册视频生成方法,其特征在于,所述使用聚类算法对素材集中的素材的人脸特征聚类之前,包括:
使用第三深度神经网络算法获取人脸包围盒,得到人脸图像;
使用第四深度神经网络算法提取所述人脸图像的人脸特征。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8中任一所述的相册视频生成方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的相册视频生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010826809.5A CN112035685A (zh) | 2020-08-17 | 2020-08-17 | 相册视频生成方法、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010826809.5A CN112035685A (zh) | 2020-08-17 | 2020-08-17 | 相册视频生成方法、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112035685A true CN112035685A (zh) | 2020-12-04 |
Family
ID=73578547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010826809.5A Pending CN112035685A (zh) | 2020-08-17 | 2020-08-17 | 相册视频生成方法、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112035685A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113177131A (zh) * | 2021-04-09 | 2021-07-27 | 深圳时空引力科技有限公司 | 图片处理的方法、装置以及存储介质 |
CN115278296A (zh) * | 2021-04-29 | 2022-11-01 | 汉海信息技术(上海)有限公司 | 视频生成方法、装置、电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060074771A1 (en) * | 2004-10-04 | 2006-04-06 | Samsung Electronics Co., Ltd. | Method and apparatus for category-based photo clustering in digital photo album |
CN103793446A (zh) * | 2012-10-29 | 2014-05-14 | 汤晓鸥 | 音乐视频的生成方法和系统 |
CN107360383A (zh) * | 2017-07-26 | 2017-11-17 | 北京百思科技有限公司 | 一种自动生成视频的方法及系统 |
CN108921918A (zh) * | 2018-07-24 | 2018-11-30 | Oppo广东移动通信有限公司 | 视频创建方法及相关装置 |
WO2019114508A1 (zh) * | 2017-12-13 | 2019-06-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
CN110532426A (zh) * | 2019-08-27 | 2019-12-03 | 新华智云科技有限公司 | 一种基于模板抽取多媒体素材生成视频的方法及系统 |
CN110545476A (zh) * | 2019-09-23 | 2019-12-06 | 广州酷狗计算机科技有限公司 | 视频合成的方法、装置、计算机设备及存储介质 |
CN111488477A (zh) * | 2019-01-25 | 2020-08-04 | 中国科学院半导体研究所 | 相册处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-17 CN CN202010826809.5A patent/CN112035685A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060074771A1 (en) * | 2004-10-04 | 2006-04-06 | Samsung Electronics Co., Ltd. | Method and apparatus for category-based photo clustering in digital photo album |
CN103793446A (zh) * | 2012-10-29 | 2014-05-14 | 汤晓鸥 | 音乐视频的生成方法和系统 |
CN107360383A (zh) * | 2017-07-26 | 2017-11-17 | 北京百思科技有限公司 | 一种自动生成视频的方法及系统 |
WO2019114508A1 (zh) * | 2017-12-13 | 2019-06-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
CN108921918A (zh) * | 2018-07-24 | 2018-11-30 | Oppo广东移动通信有限公司 | 视频创建方法及相关装置 |
CN111488477A (zh) * | 2019-01-25 | 2020-08-04 | 中国科学院半导体研究所 | 相册处理方法、装置、电子设备及存储介质 |
CN110532426A (zh) * | 2019-08-27 | 2019-12-03 | 新华智云科技有限公司 | 一种基于模板抽取多媒体素材生成视频的方法及系统 |
CN110545476A (zh) * | 2019-09-23 | 2019-12-06 | 广州酷狗计算机科技有限公司 | 视频合成的方法、装置、计算机设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113177131A (zh) * | 2021-04-09 | 2021-07-27 | 深圳时空引力科技有限公司 | 图片处理的方法、装置以及存储介质 |
CN115278296A (zh) * | 2021-04-29 | 2022-11-01 | 汉海信息技术(上海)有限公司 | 视频生成方法、装置、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8032539B2 (en) | Method and apparatus for semantic assisted rating of multimedia content | |
CN111259192B (zh) | 音频推荐方法和装置 | |
WO2019137185A1 (zh) | 一种图片筛选方法及装置、存储介质、计算机设备 | |
CN111444357A (zh) | 内容信息确定方法、装置、计算机设备及存储介质 | |
CN108475283A (zh) | 用于搜索多个视频流的文本文摘生成 | |
CN112257661A (zh) | 低俗图像的识别方法、装置、设备及计算机可读存储介质 | |
US9129216B1 (en) | System, method and apparatus for computer aided association of relevant images with text | |
CN112231563B (zh) | 一种内容推荐方法、装置及存储介质 | |
CN112487207A (zh) | 图像的多标签分类方法、装置、计算机设备及存储介质 | |
CN112035685A (zh) | 相册视频生成方法、电子设备和存储介质 | |
CN113329261B (zh) | 视频处理方法及装置 | |
CN111432206A (zh) | 基于人工智能的视频清晰度处理方法、装置及电子设备 | |
CN111488477A (zh) | 相册处理方法、装置、电子设备及存储介质 | |
CN112579822A (zh) | 一种视频数据的推送方法、装置、计算机设备和存储介质 | |
CN116051192A (zh) | 处理数据的方法和装置 | |
CN112883234A (zh) | 标签数据的生成方法及装置、存储介质、电子设备 | |
CN116095363A (zh) | 基于关键行为识别的移动端短视频高光时刻剪辑方法 | |
CN111383289A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
CN116261009A (zh) | 智能转化影视受众的视频检测方法、装置、设备及介质 | |
CN115115049A (zh) | 神经网络模型的训练方法、装置、设备、介质及程序产品 | |
CN115935049A (zh) | 基于人工智能的推荐处理方法、装置及电子设备 | |
CN113936078A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN113177131A (zh) | 图片处理的方法、装置以及存储介质 | |
CN111813936A (zh) | 基于深度学习的新闻资讯呈现方法及相关设备 | |
CN105677696A (zh) | 检索设备和检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |