CN110442748A - 一种视频生成方法、装置、电子设备及存储介质 - Google Patents

一种视频生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110442748A
CN110442748A CN201910630675.7A CN201910630675A CN110442748A CN 110442748 A CN110442748 A CN 110442748A CN 201910630675 A CN201910630675 A CN 201910630675A CN 110442748 A CN110442748 A CN 110442748A
Authority
CN
China
Prior art keywords
video
target
picture
resource
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910630675.7A
Other languages
English (en)
Inventor
赵旭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910630675.7A priority Critical patent/CN110442748A/zh
Publication of CN110442748A publication Critical patent/CN110442748A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开是关于一种视频生成方法、装置、电子设备及存储介质,该方法包括:至少基于用户的资源库中的图片和/或视频的拍摄特征,查找出所有候选资源;确定每一个候选资源的内容特征,基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源;至少基于查找出的所有目标资源,生成目标视频,以及将目标视频提供给用户。实现了通过对资源库中的图片和/或视频的内容特征进行分析,查找出高质量的资源库中的高质量的图片和/或视频,利用查找出的资源库中的高质量的图片/或视频生成优质的目标视频,简化了在生成目标视频的过程中用户的操作,缩短了生成目标视频的时长,提升生成的目标视频的质量。

Description

一种视频生成方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机领域,具体涉及视频生成方法、装置、电子设备及存储介质。
背景技术
用户在使用资源库(例如电子相册)的过程中,经常有利用资源库中的图片和/或视频制作个性化的目标视频的需求。目前,通常采用的方式为向用户提供一个模板,模版中仅提供需要生成的目标视频的主题、封面等信息,需要由用户选择出用于生成目标视频的图片和/或视频,根据用户选择出的图片和/或视频,生成目标视频。
一方面,在生成目标视频的过程中,用户需要自己选择出用于生成目标视频的图片和/或视频,导致用户需要进行繁琐的操作并且生成目标视频的时长较长。另一方面,由于用户的识别能力有限,难以去确定资源库中的各个资源的优劣,从而,难以选择出高质量的图片和/或视频,导致生成的目标视频的质量不佳。
发明内容
为克服相关技术中存在的问题,本公开提供一种视频生成方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面,提供一种视频生成方法,包括:
至少基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从所述资源库中查找出所有候选资源,其中,每一个候选资源的类型为以下之一:图片、视频;
对每一个候选资源的内容进行分析,得到所述每一个候选资源的内容特征,以及基于所述每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源;
至少基于查找出的所有目标资源,生成目标视频,以及将目标视频提供给所述用户。
在一些实施例中,所述图片的拍摄特征包括:图片的拍摄地点、图片的拍摄时间、图片中的人物,所述视频的拍摄特征包括:视频的拍摄地点、视频的拍摄时间、视频中的人物。
在一些实施例中,所述至少基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从所述资源库中查找出所有候选资源包括:
基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征和过滤条件,从所述资源库中查找出所有候选资源,其中,过滤条件与以下一项或多项相关联:在预设时长的时间段内拍摄的图片的总数量、图片占用的存储空间的大小、视频占用的存储空间的大小、图片的长宽比。
在一些实施例中,所述候选资源的内容特征包括以下一项或多项:候选资源的清晰度或候选资源的显著区域的清晰度、候选资源的色彩丰富度或候选资源的显著区域的色彩丰富度、当候选资源包括预设类型的对象时预设类型的对象对应的面积比例、当候选资源包括预设类型的对象时预设类型的对象对应的时长比例、候选资源是否包括人脸、当候选资源包括人脸时人脸的表情类型。
在一些实施例中,所述至少基于查找出的所有目标资源,生成目标视频包括:
基于目标资源的与音乐相关的特征,确定目标音乐类型;
获取所述目标音乐类型的目标背景音乐;
基于所有目标资源和目标背景音乐,生成目标视频。
在一些实施例中,在将目标视频提供给所述用户之后,所述方法还包括:
响应于所述用户的编辑指示操作,执行编辑指示操作对应的编辑操作,编辑指示操作对应的编辑操作包括以下之一:播放目标视频片段、删除目标视频片段、调整目标视频片段的时长、调整目标视频片段在所述目标视频中的位置、将图片和/或视频加入到所述目标视频,所述目标视频片段为所述用户选择的所述目标视频中的待编辑的视频片段。
根据本公开实施例的第二方面,提供一种视频生成装置,包括:
候选资源查找模块,被配置为至少基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从所述资源库中查找出所有候选资源,其中,每一个候选资源的类型为以下之一:图片、视频;
目标资源查找模块,被配置为对每一个候选资源的内容进行分析,得到所述每一个候选资源的内容特征,以及基于所述每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源;
目标视频生成模块,被配置为至少基于查找出的所有目标资源,生成目标视频,以及将目标视频提供给所述用户。
在一些实施例中,所述图片的拍摄特征包括:图片的拍摄地点、图片的拍摄时间、图片中的人物,所述视频的拍摄特征包括:视频的拍摄地点、视频的拍摄时间、视频中的人物。
在一些实施例中,候选资源查找模块进一步被配置为:基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征和过滤条件,从所述资源库中查找出所有候选资源,其中,过滤条件与以下一项或多项相关联:在预设时长的时间段内拍摄的图片的总数量、图片占用的存储空间的大小、视频占用的存储空间的大小、图片的长宽比。
在一些实施例中,所述候选资源的内容特征包括以下一项或多项:候选资源的清晰度或候选资源的显著区域的清晰度、候选资源的色彩丰富度或候选资源的显著区域的色彩丰富度、当候选资源包括预设类型的对象时预设类型的对象对应的面积比例、当候选资源包括预设类型的对象时预设类型的对象对应的时长比例、候选资源是否包括人脸、当候选资源包括人脸时人脸的表情类型。
在一些实施例中,目标视频生成模块进一步被配置为:基于目标资源的与音乐相关的特征,确定目标音乐类型;获取所述目标音乐类型的目标背景音乐;基于所有目标资源和目标背景音乐,生成目标视频。
在一些实施例中,视频生成装置还包括:
目标资源编辑模块,被配置为响应于所述用户的编辑指示操作,执行编辑指示操作对应的编辑操作,编辑指示操作对应的编辑操作包括以下之一:播放目标视频片段、删除目标视频片段、调整目标视频片段的时长、调整目标视频片段在所述目标视频中的位置、将图片和/或视频加入到所述目标视频,所述目标视频片段为所述用户选择的所述目标视频中的待编辑的视频片段。
本公开的实施例提供的技术方案可以包括以下有益效果:
在生成目标视频时,通过对资源库中的图片和/或视频的内容特征进行分析,查找出高质量的资源库中的高质量的图片和/或视频,利用查找出的资源库中的高质量的图片/或视频生成优质的目标视频,简化了在生成目标视频的过程中用户的操作,缩短了生成目标视频的时长,提升生成的目标视频的质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种视频生成方法的一个实施例的流程图;
图2是在资源库中展示目标视频的缩略图的一个效果示意图;
图3是目标视频的编辑页面的一个效果示意图;
图4是根据一示例性实施例示出的一种视频生成装置的结构框图;
图5是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1是根据一示例性实施例示出的视频生成方法的一个实施例的流程图。该方法包括以下步骤:
步骤101,至少基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从资源库中查找出所有候选资源。
在本公开中,用户的资源库中包括图片和/或视频。用户的资源库中的图片和视频均可以称之为资源。用户的资源库可以为用户的电子相册。
在本公开中,可以基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从资源库中查找出所有候选资源。
在本公开中,当用户的资源库中包括图片和视频时,可以基于用户的资源库中的图片的拍摄特征和视频的拍摄特征,从资源库中查找出所有候选资源。
在本公开中,图片的拍摄特征可以包括图片的拍摄地点、图片的拍摄时间,视频的拍摄特征可以包括视频的拍摄地点、视频的拍摄时间。拍摄地点可以为一个兴趣点例如景点。
在本公开中,当基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从资源库中查找出所有候选资源时,可以查找出拍摄时间位于同一拍摄时间段内并且拍摄地点位于同一个区域内的图片和/或视频,将查找出的所有图片和/或所有视频作为所有候选资源。
例如,用户在一个城市旅游,用户在一天中拍摄了多个图片和多个视频,时间段为该天,区域为该城市占据的区域。可以根据图片的拍摄地点、拍摄时间以及视频的拍摄地点、拍摄时间,确定多个图片和多个视频均在该天内拍摄并且拍摄地点均在该城市占据的区域内,则该多个图片和多个视频均作为候选资源。
在一些实施例中,图片的拍摄特征包括:图片的拍摄地点、图片的拍摄时间、图片的中的人物,视频的拍摄特征包括:视频的拍摄地点、视频的拍摄时间、视频中的人物。
在本公开中,可以通过人脸识别确定图片的中的人物和/或视频中的人物。图片的中的人物可以是指图片中的主要人物,而不是在拍摄过程中与用户无关的人物。主要人物包括用户自己、与用户进行合影的朋友等。图片中的主要人物可以通过将图片与资源库中的用户的自拍图片、用户与其关系密切的人的合影图片等进行比对,确定图片中的主要人物,同时,还可以根据图片中的人脸的姿态,例如是否为基本正对相机的姿态,判断图片中的人脸所属的人物是否为主要人物。同理,视频中的人物可以是指在视频中出现的主要人物,而不是在拍摄过程中拍摄到的与用户无关的人物。可以从视频中抽取出一些包括人物的图像,根据判断图片中的人物是否为主要人物的方式判断抽取出的图像出的人物是否为主要人物,从而,确定视频中出现的人物是否为主要人物。
在本公开中,当基于图片的拍摄地点、图片的拍摄时间、图片的中的人物以及视频的拍摄地点、视频的拍摄时间、视频中的人物,从资源库中查找出所有候选资源时,可以查找出位于同一拍摄时间段内并且拍摄地点在同一区域内以及包括至少一个同样的人物的图片和/或视频,将查找出的所有图片和/或所有视频作为所有候选资源。
在一些实施例中,至少基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从资源库中查找出所有候选资源包括:基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征和过滤条件,从资源库中查找出所有候选资源,其中,过滤条件与以下一项或多项相关联:在预设时长的时间段内拍摄的图片的总数量、图片占用的存储空间的大小、视频占用的存储空间的大小、图片的长宽比。
在本公开中,在预设时长的时间段内拍摄的图片的总数量反映在预设时长的时间段内拍摄图片的密集程度,拍摄图片的密集程度又可以进一步反映在预设时长的时间段内拍摄的图片对于用户的重要程度。
在本公开中,可以每间隔预设时长判断新拍摄的图片的总数量是否大于或等于数量阈值,从而,分别判断时长为预设时长的多个时间段内拍摄的图片的总数量是否大于或等于数量阈值。
例如,预设时长为2小时,数量阈值为10,在一天中,可以每间隔2小时判断在时长为2小时的时间段内拍摄的图片的总数量是否大于或等于10。
在本公开中,当在某一个预设时长的时间段内拍摄的图片的总数量大于或等于数量阈值时,在该预设时长的时间段内拍摄的所有图片才有可能作为候选资源。
在本公开中,可以设置针对图片的多个过滤条件,针对图片的多个过滤条件可以包括以下过滤条件:图片占用的存储空间的大小小于或等于照片最小阈值、图片的长宽比大于或等于长宽比阈值、在图片的生成时刻所在的预设时长的时间段内拍摄的图片的总数量小于数量阈值。当一个图片满足任意一个针对图片的过滤条件时,则该图片不作为候选资源。照片最小阈值为针对照片占用的存储空间的大小设置的下限阈值。
在本公开中,可以设置针对视频的过滤条件,针对视频的过滤条件为视频占用的存储空间的大小大于或等于视频最小阈值并且时长大于或等于视频时长阈值。当一个视频满足针对视频的过滤条件时,则该视频不作为候选资源。视频最小阈值为针对视频占用的存储空间的大小设置的下限阈值。
在本公开中,可以通过针对图片的多个过滤条件确定不作为候选资源的图片。可以针对视频的过滤条件确定不作为候选资源的视频。在基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,查找出所有可能作为候选资源的资源之后,进一步去除所有可能作为候选资源的资源中的满足针对图片的任意一个过滤条件的图片和/或满足针对视频的过滤条件的视频,将剩余的图片和/或视频作为候选资源。
例如,照片最小阈值为540p,视频最小阈值为40M,视频时长阈值为5min、长宽比阈值为25/9。用户的资源库中包括多个图片和多个视频。当基于用户的资源库中的图片的拍摄特征和视频的拍摄特征,从资源库中查找出所有候选资源时,首先查找出拍摄时间位于同一拍摄时间段内并且拍摄地点位于同一个区域内的图片和视频。然后,判断查找出的所有图片和所有视频中的每一个资源是否满足相应的过滤条件。当查找出的所有图片中的一个图片占用的存储空间的大小小于或等于540p时,该图片被过滤,不作为候选资源。当查找出的所有视频中的一个视频占用的存储空间大于或等于40M或视频时长大于或等于5min时,该视频被过滤,不作为候选资源。当查找出的所有图片中的一个图片的长宽比大于或等于25/9时,该图片被过滤,不作为候选资源。通过针对图片的过滤条件和针对视频的过滤条件,去除查找出的所有图片和视频中的满足针对图片的过滤条件的图片和满足针对视频的过滤条件的视频,将剩余的图片和视频作为候选资源。
步骤102,确定每一个候选资源的内容特征,基于每一个候选资源的内容特征,从所有候选资源中查找出所有目标资源。
在本公开中,可以对每一个候选资源的内容进行分析,得到候选资源的内容特征。当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,可以根据候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源。
例如,资源的内容特征包括:候选资源的清晰度、色彩丰富度。当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,可以将所有候选资源中清晰度小于清晰度阈值的候选资源不作为目标资源。然后,可以按照色彩丰富度,对于所有候选资源中除了清晰度小于清晰度阈值的候选资源之外的候选资源进行排序,将排序之后位置靠前的候选资源作为目标资源。
在一些实施例中,候选资源的内容特征包括以下一项或多项:候选资源的清晰度或候选资源的显著区域的清晰度、候选资源的色彩丰富度或候选资源的显著区域的色彩丰富度、当候选资源包括预设类型的对象时预设类型的对象对应的面积比例、当候选资源包括预设类型的对象时预设类型的对象对应的时长比例、候选资源是否包括人脸、当候选资源包括人脸时人脸的表情类型。
在本公开中,可以基于候选资源的内容特征中的一项或多项,从所有候选资源中选取出高质量、色彩丰富、内容优质的候选资源作为目标资源。
在本公开中,作为候选资源的图片的中的人脸可以是指图片中的主要人物的人脸,而不是在拍摄过程中拍摄到的与用户无关的人物的人脸。主要人物包括用户自己、与用户进行合影的朋友等。作为候选资源的图片中的主要人物可以通过将作为候选资源的图片与资源库中的用户的自拍图片、用户与其关系密切的人的合影图片等进行比对,确定图片中的主要人物,同时,还可以根据作为候选资源的图片中的人脸的姿态,例如是否为基本正对相机的姿态,判断作为候选资源的人脸所属的人物是否为主要人物。同理,作为候选资源的视频中的人物可以是指在作为候选资源的视频中出现的主要人物,而不是在拍摄过程中拍摄到的与用户无关的人物。可以从视频中抽取出一些包括人脸的图像,根据判断图片中的人物是否为主要人物的方式判断抽取出的图像出的人脸所属的人物是否为主要人物来确定视频中出现的人脸是否为主要人物的人脸。
在本公开中,对于作为候选资源的图片,当作为候选资源的图片包括预设类型的对象时,作为候选资源的图片中的预设类型的对象对应一个面积比例,作为候选资源的图片中的预设类型的对象对应的面积比例为预设类型的对象在图片中的大小除以图片的大小。
在本公开中,对于作为候选资源的视频,当作为候选资源的视频中包括预设类型的对象时,作为候选资源的视频中的预设类型的对象对应一个时长比例,作为候选资源的视频中的预设类型的对象对应的时长比例为预设类型的对象在视频中出现的时长除以视频的时长。
在本公开中,对于作为候选资源的图片,可以对每一个作为候选资源的图片的清晰度进行分析,得到每一个图片的清晰度。
在本公开中,当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,对于作为候选资源的图片,当作为候选资源的图片的清晰度小于清晰度阈值时,则作为候选资源的图片不作为目标资源。换言之,当一个作为候选资源的图片的清晰度小于清晰度阈值时,则该作为候选资源的图片不用于生成目标视频。
在本公开中,可以通过显著性区域检测算法确定每一个作为候选资源的图片的显著区域,对每一个作为候选资源的图片的显著区域的清晰度进行分析,得到每一个图片的显著区域的清晰度。当一个作为候选资源的图片的显著区域的清晰度小于清晰度阈值时,则该作为候选资源的图片不作为目标资源。
此外,通过确定图片的显著区域可以进一步Ken Burns效果中的缩放中心的确定,使得后续生成的目标视频更有张力。
在本公开中,对于作为候选资源的每一个视频,均可以从该视频中抽取出多个图像,对抽取出的多个图像中的每一个图像的清晰度进行分析,得到抽取出的多个图像中的每一个图像的清晰度,根据抽取出的多个图像中的每一个图像的清晰度,确定作为候选资源的视频的清晰度。当视频中的多个抽取的图像的清晰度均小于清晰度阈值时,则可以确定视频的视频清晰度小于清晰度阈值。
在本公开中,当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,对于作为候选资源的视频,当作为候选资源的视频的视频清晰度小于清晰度阈值时,则作为候选资源的视频可以不作为目标视频。换言之,当一个作为候选资源的视频的视频清晰度小于清晰度阈值时,则该作为候选资源的视频不用于生成目标视频。
在本公开中,对于作为候选资源的图片,可以分别确定每一个作为候选资源的图片是否包括预设类型的对象。每一个作为候选资源的图片是否包括预设类型的对象可以利用预先训练的用于检测图像中是否包括预设类型的对象的神经网络确定。
在本公开中,预设类型的对象可以为水泥地、白墙、草地等用户通道不会关注的类型的对象。
在本公开中,当作为候选资源的图片包括预设类型的对象时,可以将预设类型的对象在图片中的大小除以图片的大小,得到预设类型的对象对应的面积比例。预设类型的对象对应的面积比例越大,预设类型的对象在图片中占据的区域越大。
在本公开中,当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,对于作为候选资源的图片,当作为候选资源的包括预设类型的对象图片中预设类型的对象对应的比例大于比例阈值时,相当于在作为候选资源的包括预设类型的对象的图片中,绝大部分为预设类型的对象,则作为候选资源的图片可以不作为目标资源。
换言之,当一个作为候选资源的包括预设类型的对象图片中预设类型的对象对应的比例大于比例阈值时,相当于在作为候选资源的包括预设类型的对象的图片中,绝大部分为预设类型的对象,则该作为候选资源的图片不用于生成目标视频。
在本公开中,对于作为候选资源的每一个视频,均可以从该视频中抽取出多个图像,确定抽取出的多个图像中的每一个图像是否包括预设类型的对象,当确定抽取出的多个图像中的任意一个图像包括预设类型的对象时,则可以确定视频包括预设类型的对象。
在本公开中,对于作为候选资源的每一个视频,可以根据抽取出的多个图像中包括预设类型的对象的拍摄时间,确定预设类型的对象在视频中出现的时间段。然后,可以确定预设类型的对象在视频中出现的时长,将预设类型的对象在视频中出现的时长除以视频的时长,得到预设类型的对象对应的时长比例。
在本公开中,当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,对于作为候选资源的视频,当作为候选资源的包括预设类型的对象的视频中的预设类型的对象对应的时长比例大于比例阈值时,相当于作为候选资源的包括预设类型的对象的视频中绝大部分内容为预设类型的对象,则作为候选资源的包括预设类型的对象的视频不作为目标资源。
换言之,当一个作为候选资源的包括预设类型的对象的视频中预设类型的对象对应的时长比例大于比例阈值时,则该作为候选资源的包括预设类型的对象的视频不用于生成目标视频。
在本公开中,对于作为候选资源的图片,可以对每一个作为候选资源的图片的色彩丰富度进行分析,得到每一个图片的色彩丰富度。
在本公开中,可以根据色彩丰富度的大小,生成每一个作为候选资源的图片的色彩丰富度得分。图片的色彩丰富度越大,图片的色彩丰富度得分越高。换言之,图片的色彩越丰富,图片的色彩丰富度得分越高。
在本公开中,对于作为候选资源的每一个视频,均可以从该视频中抽取出多个图像,对抽取出的多个图像中的每一个图像的色彩的丰富度进行分析,得到抽取出的多个图像中的每一个图像的色彩丰富度,根据抽取出的多个图像中的每一个图像的色彩丰富度,确定作为候选资源的视频的色彩丰富度。例如,将所有抽取出的图像的色彩丰富度的平均值或所有抽取出的图像的色彩丰富度的中位数作为视频的色彩丰富度。
在本公开中,对于作为候选资源的图片,可以通过人脸识别,分别确定每一个作为候选资源的图片是否包括人脸。
在本公开中,可以根据是否包括人脸,生成每一个作为候选资源的图片的与人脸相关的得分。可以将包括人脸的作为候选资源的图片的与人脸相关的得分设置为一个高分数,将未包括人脸的作为候选资源的图片的与人脸相关的得分设置为一个低分数。
在本公开中,对于作为候选资源的每一个视频,均可以从该视频中抽取出多个图像,确定抽取出的多个图像中的每一个图像是否包括人脸,当确定抽取出的多个图像中的任意一个图像包括人脸时,则可以确定视频包括人脸。
在本公开中,可以根据作为候选资源的视频是否包括人脸,生成每一个作为候选资源的视频的与人脸相关的得分。可以将包括人脸的作为候选资源的视频的与人脸相关的得分设置为一个高分数,将未包括人脸的作为候选资源的视频的与人脸相关的得分设置为一个低分数。
在本公开中,对于作为候选资源的包括人脸的图片,可以通过表情识别,分别确定每一个作为候选资源的包括人脸的图片中人脸的表情类型。
在本公开中,可以根据人脸的表情类型,生成每一个作为候选资源的图片的与人脸的表情类型相关的得分。例如,当人脸的表情类型为高兴时,与人脸的表情类型相关的得分可以为高分数,当人脸的表情类型为未有表情时,与人脸的表情类型相关的得分可以为中等分数,当人脸的表情类型为闭眼时,与人脸的表情类型相关的得分可以为低分数。
在本公开中,对于作为候选资源的每一个包括人脸的视频,均可以确定从作为候选资源的视频中抽取出的每一个包括人脸的图像中的人脸的表情类型。
在本公开中,可以根据视频中的包括人脸的图像中的人脸的表情类型,生成视频的与人脸的表情类型相关的得分。例如,对于一个作为候选资源的包括人脸的视频,从该视频中抽取出的每一个包括人脸的图像均具有一个与人脸的表情类型相关的得分,可以将最高的得分作为该作为候选资源的包括人脸的视频的与人脸的表情类型相关的得分。
在本公开中,当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,对于所有作为候选资源的图片,可以去除所有作为候选资源的图片中的清晰度小于清晰度阈值的图片和包括预设类型的对象并且预设类型的对象对应的面积比例大于比例阈值的图片。
在去除去除所有作为候选资源的图片中的清晰度小于清晰度阈值的图片和包括预设类型的对象并且对应的面积比例大于比例阈值的图片之后,对于所有剩余的图片,可以根据图片的色彩丰富度得分、图片的与人脸相关的得分、包括人脸的图片的与人脸的表情类型相关的得分,从所有剩余的图片中进一步查找出目标资源。
例如,在去除所有作为候选资源的图片中的清晰度小于清晰度阈值的图片和包括预设类型的对象并且预设类型的对象对应的面积比例大于比例阈值的图片之后,对于所有剩余的图片中的每一个图片,将图片具有的所有得分进行一个加权计算,得到图片的加权得分。在进行加权计算时,可以将图片的色彩丰富度得分具有的权重、图片的与人脸相关的得分具有的权重、包括人脸的图片的与人脸的表情类型相关的得分具有的权重设置为具有基本相同。也可以将图片的与人脸相关的得分、包括人脸的视频的与人脸的表情类型相关的得分设置为具有较高的权重,将视频的色彩丰富度得分设置为具有较低的权重。然后,可以根据加权得分,对所有剩余的图片进行排序,将排序之后位置靠前的一些图片作为候选资源的视频作为目标资源。
在本公开中,当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,对于所有作为候选资源的图片,也可以将所有清晰度大于清晰度阈值并且当图片包括预设类型的对象时预设类型的对象对应的面积比例小于面积比例阈值的作为候选资源的图片均作为目标资源。
在本公开中,当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,对于所有作为候选资源的视频,可以去除所有作为候选资源的视频中的清晰度低于清晰度阈值的视频和包括预设类型的对象并且包括预设类型的对象对应的时长比例大于比例阈值的视频,在去除了清晰度低于清晰度阈值的视频和包括预设类型的对象并且对应的时长比例大于比例阈值的视频之后,对于所有剩余的视频,可以根据视频的色彩丰富度得分、视频的与人脸相关的得分、包括人脸的视频的与人脸的表情类型相关的得分,从所有剩余的视频中进一步查找出目标资源。
例如,在去除所有作为候选资源的视频中的清晰度小于清晰度阈值并且当包括预设类型的对象时预设类型的对象对应的时长比例大于比例阈值的视频之后,对于所有剩余的视频中的每一个视频,将视频具有的所有得分进行一个加权计算,得到视频的加权得分。在进行加权计算时,视频的色彩丰富度得分、视频的与人脸相关的得分、包括人脸的视频的与人脸的表情类型相关的得分可以具有基本相同的权重,也可以为视频的与人脸相关的得分、包括人脸的视频的与人脸的表情类型相关的得分具有较高的权重,视频的色彩丰富度得分具有较低的权重。然后,可以根据加权得分,对所有剩余的视频进行排序,将排序之后位置靠前的一些作为候选资源的视频作为目标资源。
在本公开中,当基于每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源时,也可以将所有清晰度大于清晰度阈值并且当包括预设类型的对象时预设类型的对象对应的时长比例小于比例阈值的作为候选资源的视频均作为目标资源。
步骤103,至少基于查找出的所有目标资源,生成目标视频,以及将目标视频提供给用户。
在本公开中,对于所有作为目标资源的图片,可以根据拍摄地点对所有作为目标资源的图片进行聚类,得到至少一个图片集合。拍摄地点可以为兴趣点例如景点。每一个图片集合中包括在同一个拍摄地点拍摄的图片。
在本公开中,对于每一个图片集合,分别基于图片集合生成视频。当基于图片集合生成的视频播放时,均按照顺序展示图片集合中的图片。
换言之,当基于图片集合生成的视频播放时,会动态展示图片集合中的每一个图片。可以将基于每一个图片集合生成的视频和所有作为目标资源的视频进行合成,得到目标视频。基于每一个图片集合生成的视频均成为目标视频的一个视频片段。每一个作为目标资源的视频均成为目标视频的一个视频片段。
例如,一个用户到上海旅游,该用户在一天中分别游览了迪士尼乐园、外滩,并且均在迪士尼乐园、外滩拍摄了多个图片和多个视频。资源库中包括该用户在一天中拍摄的所有图片和所有视频。可以根据拍摄地点对所有作为目标资源的图片进行聚合,得到两个图片集合。一个图片集合包括用户在迪士尼乐园拍摄的所有作为目标资源的图片,另一个图片集合包括用户在外滩拍摄的所有作为目标资源的图片。可以将每基于每一个图片集合生成的视频和所有作为目标资源的视频进行合成,得到目标视频。基于包括用户在迪士尼乐园拍摄的所有作为目标资源的图片的图片集合生成的视频和基于包括用户在外滩拍摄的所有作为目标资源的图片的图片集合生成的视频均作为目标视频的一个视频片段。用户在迪士尼乐园拍摄的每一个作为目标资源的视频均成为目标视频的一个视频片段。用户在外滩拍摄的每一个作为目标资源的视频均成为目标视频的一个视频片段。
在本公开中,对于所有作为目标资源的图片,也可以将所有作为目标资源的图片中的每一个图片分别生成各自对应的一小段视频。所有作为目标资源的图片中的每一个图片各自对应的一小段视频的时长较短,例如时长为2s。当一个作为目标资源的图片对应的一小段视频播放时,在该一个作为目标资源的图片对应的一小段视频的播放的时间段内仅展示该一个作为目标资源的图片,并且可以对该一个作为目标资源的图片进行旋转、缩放等操作,使得该一个作为目标资源的图片具有旋转、缩放等增强显示效果。然后,可以将每一个作为目标资源的图片各自对应的一小段视频与目标资源视频合成,得到目标视频。例如,按照拍摄时间的顺序,将每一个作为目标资源的图片各自对应的一小段视频与目标资源视频进行合成,得到目标视频。
在本公开中,目标视频在播放时,按照视频片段的顺序,逐一播放视频片段。若目标视频中的当前需要播放的视频片段为基于作为目标资源的图片生成的视频,则该视频播放时会动态展示作为目标资源的图片,若目标视频中的当前需要播放的视频片段为作为目标资源的视频,则播放该视频。
在本公开中,在生成目标视频之后,可以向用户提供目标视频。
在本公开中,目标视频可以称之为智能影集。可以在用户的资源库中显示智能影集缩略图,用户可以通过点击缩略图,触发向用户展示智能影集的主页面,从而,将智能影集提供给用户。当向用户展示智能影集的主页面时,可以自动播放智能影集,用户也可以通过通过点击指示播放的按钮触发播放智能影集。
在本公开中,当用户打开资源库时,若在用户上一次关闭资源库之后资源库中有新生成的智能影集,则可以在资源库中显示多个智能影集的缩略图。当所有智能影集的数量大于显示的多个智能影集的数量时,用户可以进行滑动操作来触发当前未展示的其他的智能影集的缩略图进行显示。当用户打开资源库时,若在用户上一次关闭资源库之后资源库中没有新生成的智能影集时,可以不在资源库中显示智能影集的缩略图,可以通过诸如名称为“下拉”的图片提升用户可以通过下拉操作显示智能影集的缩略图。当用户打开资源库时,在资源库中显示智能影集的缩略图时,用户可以点击照片展示页面对应的按钮来触发向用户展示照片展示页面,用户可以点击视频展示页面对应的按钮来触发向用户展示视频展示页面。用户可以通过点击诸如名称“查看全部”的按钮来触发向用户展示智能影集列表页,在智能影集列表页中根据智能影集的生成时间的顺序显示全部智能影集的缩略图。用户在智能影集列表页中可点击封面查看所有智能影集。点击诸如名称为“更多”的按钮,可删除单个智能影集。
请参考图2,其示出了在资源库中展示目标视频的缩略图的一个效果示意图。
当用户打开资源库时,除了展示资源库中的部分图片,还在资源库的上部展示了名称为“上海市的时光”、“烟台之旅”、“4月9日的回忆”三个目标视频的缩略图。用户可以点击缩略图触发向用户展示目标视频的主页面。当向用户展示智能影集的主页面时,可以自动播放目标视频,用户也可以通过通过点击指示播放的按钮触发播放目标视频。
在一些实施例中,至少基于查找出的所有目标资源,生成目标视频包括:基于目标资源的与音乐相关的特征,确定目标音乐类型,目标资源的与音乐相关的特征包括:目标资源包括的对象、目标资源的拍摄特征;获取目标音乐类型的目标背景音乐;基于所有目标资源和目标背景音乐,生成目标视频。
在本公开中,可以基于目标资源的与音乐相关的特征,确定目标音乐类型。
在本公开中,当所有目标资源中包括作为目标资源的图片时,作为目标资源的图片与音乐相关的特征可以包括拍摄时间、具体的拍摄地点等。
例如,当图片的拍摄时间在白天并且图片的具体的拍摄地点为诸如迪士尼乐园的游乐型景点时,可以将欢快类型作为目标音乐类型。当图片的拍摄时间在晚上并且图片的具体的拍摄地点为诸如外滩的观光型景点时,可以将舒缓类型作为目标音乐类型。
在本公开中,当所有目标资源中包括作为目标资源的视频时,作为目标资源的视频与音乐相关的特征可以包括拍摄时间、拍摄视频时相机的移动速度等。可以根据视频中的多个位置连续的图像对应的拍摄角度,确定拍摄角度的变换速度,然后,可以确定拍摄视频时相机的移动速度。
例如,当视频的拍摄时间在白天并且拍摄视频时相机的移动速度较快时,可以将节奏较快的类型作为目标音乐类型。当视频的拍摄时间在晚上并且拍摄视频时相机的移动速度较慢时,可以将节奏较慢的类型作为目标音乐类型。
在本公开中,在确定目标音乐类型之后,可以获取目标音乐类型的目标背景音乐。
例如,在本公开中,当获取目标音乐类型的目标背景音乐时,可以从音乐库中的多个音乐中选取出一个音乐作为目标音乐类型的目标背景音乐。也可以由用户通过诸如点击按钮的方式来触发向用户展示音乐选择页面,音乐选择页面中包括音乐库中的多个音乐类型的音乐的图标,用户通过点击页面中的音乐的图标来目标背景音乐,将用户点击的图标所属的音乐作为目标音乐类型的目标背景音乐。
在本公开中,在获取目标音乐类型的目标背景音乐之后,可以基于所有目标资源和目标背景音乐,生成目标视频。对于多个作为目标资源的图片,可以生成一个或多个视频。可以将基于作为目标资源的图片生成的一个或多个视频与作为目标资源的所有视频进行合成,得到合成的视频。然后,可以将目标背景音乐与合成的视频进行绑定,使得合成的视频具有目标背景音乐,具有目标背景音乐的合成的视频作为目标视频。目标视频播放时,向用户播放合成的视频并且播放目标背景音乐。
在一些实施例中,在将目标视频提供给用户之后,还包括:响应于所述用户的编辑指示操作,执行编辑指示操作对应的编辑操作,编辑指示操作对应的编辑操作包括以下之一:播放目标视频片段、删除目标视频片段、调整目标视频片段的时长、调整目标视频片段在目标视频中的位置、将图片和/或视频加入到目标视频,目标视频片段为用户选择的所述目标视频中的待编辑的视频片段。
在本公开中,在将目标视频提供给用户之后,用户可以点击目标视频的主页面中的指示对目标视频进行编辑的按钮来触发向用户展示目标视频的编辑页面。
在向用户展示目标视频的编辑页面之后,可以自动播放目标视频,在目标视频的编辑页面的上部显示区域播放目标视频。也可以由用户来点击目标视频的编辑页面上的指示播放的按钮来触发在上部显示区域显示目标视频播放目标视频。同时,可以在目标视频的编辑页面的下部显示区域显示目标视频中的所有视频片段的缩略图。
在本公开中,用户可以点击视频片段的缩略图来选择需要编辑的视频片段。当用户选择的目标视频片段为作为目标资源的视频时,可以在目标视频的编辑页面的上部显示区域显示作为目标资源的视频中的图像。当用户选择的视频片段为基于作为目标资源的多个图片生成的视频,可以在目标视频的编辑页面的上部显示区域动态显示作为目标资源的多个图片。
在本公开中,当用户需要删除用户选择的视频片段时,用户可以进行诸如点击名称为“删除”按钮的编辑指示操作,然后,可以执行该编辑指示操作对应的编辑操作,该编辑指示操作对应的编辑操作包括:暂停播放目标视频;将用户选择的目标视频片段从目标视频中删除;将位于用户选择的被删除的目标视频片段之后距离用户选择的被删除的视频片段最近的视频片段移动到用户选择的被删除的目标视频片段的位置;其他的位于用户选择的被删除的目标视频片段之后的视频片段的位置也进行相应的调整。
在本公开中,当用户选择了目标资源之后,可以在目标视频的编辑页面中的显示框中显示视频片段中的所有图像。用户可以在显示框中进行诸如手指水平滑动的编辑指示操作,滑动操作结束的结束位置和起始位置之间的所有图像作为保留的图像,将其他的图像从目标视频片段中去除,从而,调整用户选择的目标视频片段的时长。
在本公开中,当用户选择了目标视频片段之后,用户可以进行指示调整用户选择的目标视频片段在目标视频中的位置的编辑指示操作,然后,可以执行该编辑指示操作对应的编辑操作,调整用户选择的目标视频片段在目标视频中的位置,从而,在调整用户选择的目标视频片段在目标视频中的位置之后,目标视频中的所有视频片段具有新的顺序。
在本公开中,用户可以进行指示将图片和/或视频加入到目标视频的编辑指示操作,该编辑指示操作可以指示图片和/或视频的加入位置,然后,可以执行该编辑指示操作对应的编辑操作,将图片和/或视频加入到编辑指示操作指示的加入位置。
在本公开中,用户可以根据需求对目标视频中的视频片段进行多方面的编辑。
请参考图3,其示出了目标视频的编辑页面的一个效果示意图。
在向用户展示目标视频的编辑页面之后,可以自动播放目标视频,在目标视频的编辑页面的上部显示区域播放目标视频。也可以由用户来点击目标视频的编辑页面上的指示播放的按钮301来触发在上部显示区域显示目标视频播放目标视频。同时,可以在目标视频的编辑页面的下部显示区域显示目标视频中的视频片段1、视频片段2、视频片段3等视频片段的缩略图。
用户可以点击视频片段的缩略图来选择需要编辑的视频片段。当用户选择的目标视频片段为作为目标资源的视频时,可以在目标视频的编辑页面的上部显示区域显示作为目标资源的视频中的图像。当用户选择的视频片段为基于作为目标资源的多个图片生成的视频,可以在目标视频的编辑页面的上部显示区域动态显示作为目标资源的多个图片。
假设目标视频为名称为“上海市的时光”的目标视频,目标视频基于用户在上海旅游拍摄的图片和视频中的作为目标资源的图片和作为目标资源的视频而生成。该用户在一天中分别游览了迪士尼乐园、外滩,并且均在迪士尼乐园、外滩拍摄了多个图片和多个视频。
假设视频片段1为基于包括用户在迪士尼乐园拍摄的所有作为目标资源的图片的图片集合生成,视频片段2为用户用户在迪士尼乐园拍摄的一个视频,视频片段3为基于基于包括用户在外滩拍摄的所有作为目标资源的图片的图片集合生成。
当用户点击假设视频片段1的缩略图时,可以自动在上部显示区域按照顺序动态显示用户在迪士尼乐园拍摄的所有作为目标资源的图片,用户可以对视频片段1进行各种编辑指示操作来触发编辑指示操作对应的编辑操作的执行,从而,对视频片段1进行编辑。
当用户点击假设视频片段2的缩略图时,可以自动播放用户在迪士尼乐园拍摄的视频在上部显示区域显示用户在迪士尼乐园拍摄的视频中的图像,用户可以对视频片段2进行各种编辑指示操作来触发编辑指示操作对应的编辑操作的执行,从而,对视频片段2进行编辑。
当用户点击假设视频片段3的缩略图时,可以自动在上部显示区域按照顺序动态显示用户在外滩拍摄的所有作为目标资源的图片,用户可以对视频片段3进行各种编辑指示操作来触发编辑指示操作对应的编辑操作的执行,从而,对视频片段3进行编辑。
在本公开中,用户可以在滤镜选择页面中选择目标视频的滤镜。用户可以通过点击按钮来触发向用户展示音乐选择页面,用户通过点击页面中的音乐的图标来重新选择目标视频的目标背景音乐。用户可以从封面设置页面中选择目标视频的封面图像和设置目标视频的封面的标题。用户还可以在贴纸和文字设置页面中选择需要在目标视频的页面展示的贴纸对象以及设置在目标目标视频的页面展的个性化文字等。
在本公开中,用户可以通过相应的操作从音乐库中选择自己喜欢的音乐作为目标视频的目标背景音乐、在目标视频的主页面中加入贴纸对象、个性化文字等内容,从而,满足用户的个性化的需求。
图4是根据一示例性实施例示出的一种视频生成装置的结构框图。装置实施例与图1所示的方法实施例相对应。视频生成装置中的各个模块被配置为完成的相应的操作的具体实现方式可以参考方法实施例中描述的相应的操作的具体实现方式。参照图4,视频生成装置包括:候选资源查找模块401,目标资源查找模块402,目标视频生成模块403。
候选资源查找模块401被配置为至少基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从所述资源库中查找出所有候选资源,其中,每一个候选资源的类型为以下之一:图片、视频;
目标资源查找模块402被配置为对每一个候选资源的内容进行分析,得到所述每一个候选资源的内容特征,以及基于所述每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源;
目标视频生成模块403被配置为至少基于查找出的所有目标资源,生成目标视频,以及将目标视频提供给所述用户。
在一些实施例中,所述图片的拍摄特征包括:图片的拍摄地点、图片的拍摄时间、图片中的人物,所述视频的拍摄特征包括:视频的拍摄地点、视频的拍摄时间、视频中的人物。
在一些实施例中,候选资源查找模块401进一步被配置为:基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征和过滤条件,从所述资源库中查找出所有候选资源,其中,过滤条件与以下一项或多项相关联:在预设时长的时间段内拍摄的图片的总数量、图片占用的存储空间的大小、视频占用的存储空间的大小、图片的长宽比。
在一些实施例中,所述候选资源的内容特征包括以下一项或多项:候选资源的清晰度或候选资源的显著区域的清晰度、候选资源的色彩丰富度或候选资源的显著区域的色彩丰富度、当候选资源包括预设类型的对象时预设类型的对象对应的面积比例、当候选资源包括预设类型的对象时预设类型的对象对应的时长比例、候选资源是否包括人脸、当候选资源包括人脸时人脸的表情类型。
在一些实施例中,目标视频生成模块403进一步被配置为:基于目标资源的与音乐相关的特征,确定目标音乐类型;获取所述目标音乐类型的目标背景音乐;基于所有目标资源和目标背景音乐,生成目标视频。
在一些实施例中,视频生成装置还包括:目标资源编辑模块,被配置为响应于所述用户的编辑指示操作,执行编辑指示操作对应的编辑操作,编辑指示操作对应的编辑操作包括以下之一:播放目标视频片段、删除目标视频片段、调整目标视频片段的时长、调整目标视频片段在所述目标视频中的位置、将图片和/或视频加入到所述目标视频,所述目标视频片段为所述用户选择的所述目标视频中的待编辑的视频片段。
图5是根据一示例性实施例示出的一种电子设备的结构框图。参照图5,电子设备500包括处理组件522,其进一步包括一个或多个处理器,以及由存储器532所代表的存储器资源,用于存储可由处理组件522执行的指令,例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件522被配置为执行指令,以执行上述方法。
电子设备500还可以包括一个电源组件526被配置为执行电子设备500的电源管理,一个有线或无线网络接口550被配置为将电子设备500连接到网络,和一个输入输出(I/O)接口558。电子设备500可以操作基于存储在存储器532的操作系统,例如WindowsServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器,上述指令可由电子设备执行以完成上述视频生成方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请还提供一种计算机程序,该计算机程序包括如图1所示的操作步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频生成方法,其特征在于,所述方法包括:
至少基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从所述资源库中查找出所有候选资源,其中,每一个候选资源的类型为以下之一:图片、视频;
对每一个候选资源的内容进行分析,得到所述每一个候选资源的内容特征,以及基于所述每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源;
至少基于查找出的所有目标资源,生成目标视频,以及将目标视频提供给所述用户。
2.根据权利要求1所述的方法,其特征在于,所述图片的拍摄特征包括:图片的拍摄地点、图片的拍摄时间、图片中的人物,所述视频的拍摄特征包括:视频的拍摄地点、视频的拍摄时间、视频中的人物。
3.根据权利要求2所述的方法,其特征在于,所述至少基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从所述资源库中查找出所有候选资源包括:
基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征和过滤条件,从所述资源库中查找出所有候选资源,其中,过滤条件与以下一项或多项相关联:在预设时长的时间段内拍摄的图片的总数量、图片占用的存储空间的大小、视频占用的存储空间的大小、图片的长宽比。
4.根据权利要求3所述的方法,其特征在于,所述候选资源的内容特征包括以下一项或多项:候选资源的清晰度或候选资源的显著区域的清晰度、候选资源的色彩丰富度或候选资源的显著区域的色彩丰富度、当候选资源包括预设类型的对象时预设类型的对象对应的面积比例、当候选资源包括预设类型的对象时预设类型的对象对应的时长比例、候选资源是否包括人脸、当候选资源包括人脸时人脸的表情类型。
5.根据权利要求4所述的方法,其特征在于,所述至少基于查找出的所有目标资源,生成目标视频包括:
基于目标资源的与音乐相关的特征,确定目标音乐类型;
获取所述目标音乐类型的目标背景音乐;
基于所有目标资源和目标背景音乐,生成目标视频。
6.根据权利要求5所述的方法,其特征在于,在将目标视频提供给所述用户之后,所述方法还包括:
响应于所述用户的编辑指示操作,执行编辑指示操作对应的编辑操作,编辑指示操作对应的编辑操作包括以下之一:播放目标视频片段、删除目标视频片段、调整目标视频片段的时长、调整目标视频片段在所述目标视频中的位置、将图片和/或视频加入到所述目标视频,所述目标视频片段为所述用户选择的所述目标视频中的待编辑的视频片段。
7.一种视频生成装置,其特征在于,所述装置包括:
候选资源查找模块,被配置为至少基于用户的资源库中的图片的拍摄特征和/或视频的拍摄特征,从所述资源库中查找出所有候选资源,其中,每一个候选资源的类型为以下之一:图片、视频;
目标资源查找模块,被配置为对每一个候选资源的内容进行分析,得到所述每一个候选资源的内容特征,以及基于所述每一个候选资源的内容特征,从所有候选资源中查找出所有用于生成目标视频的目标资源;
目标视频生成模块,被配置为至少基于查找出的所有目标资源,生成目标视频,以及将目标视频提供给所述用户。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
目标资源编辑模块,被配置为响应于所述用户的编辑指示操作,执行编辑指示操作对应的编辑操作,编辑指示操作对应的编辑操作包括以下之一:播放目标视频片段、删除目标视频片段、调整目标视频片段的时长、调整目标视频片段在所述目标视频中的位置、将图片和/或视频加入到所述目标视频,所述目标视频片段为所述用户选择的所述目标视频中的待编辑的视频片段。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的方法。
10.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至6中任一项所述的方法。
CN201910630675.7A 2019-07-12 2019-07-12 一种视频生成方法、装置、电子设备及存储介质 Pending CN110442748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910630675.7A CN110442748A (zh) 2019-07-12 2019-07-12 一种视频生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910630675.7A CN110442748A (zh) 2019-07-12 2019-07-12 一种视频生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110442748A true CN110442748A (zh) 2019-11-12

Family

ID=68430299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910630675.7A Pending CN110442748A (zh) 2019-07-12 2019-07-12 一种视频生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110442748A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111128252A (zh) * 2019-12-31 2020-05-08 深圳市米兰显示技术有限公司 数据处理方法及相关设备
WO2021115346A1 (zh) * 2019-12-13 2021-06-17 北京字节跳动网络技术有限公司 媒体文件处理方法、装置、可读介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284252A (zh) * 2014-09-10 2015-01-14 康佳集团股份有限公司 一种自动生成电子相册的方法
CN105931658A (zh) * 2016-04-22 2016-09-07 成都涂鸦科技有限公司 一种自适应场景的音乐播放方法
CN108805279A (zh) * 2017-04-26 2018-11-13 北京邮电大学 一种利用照片快速生成视频的方法
CN109068070A (zh) * 2018-07-10 2018-12-21 Oppo广东移动通信有限公司 视频生成方法及相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284252A (zh) * 2014-09-10 2015-01-14 康佳集团股份有限公司 一种自动生成电子相册的方法
CN105931658A (zh) * 2016-04-22 2016-09-07 成都涂鸦科技有限公司 一种自适应场景的音乐播放方法
CN108805279A (zh) * 2017-04-26 2018-11-13 北京邮电大学 一种利用照片快速生成视频的方法
CN109068070A (zh) * 2018-07-10 2018-12-21 Oppo广东移动通信有限公司 视频生成方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
匿名: "荣耀 Note10 相册如何智能分类并生成精彩时刻", 《HTTPS://JINGYAN.BAIDU.COM/ARTICLE/925F8CB8B665EAC0DDE056CB.HTML》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115346A1 (zh) * 2019-12-13 2021-06-17 北京字节跳动网络技术有限公司 媒体文件处理方法、装置、可读介质及电子设备
CN111128252A (zh) * 2019-12-31 2020-05-08 深圳市米兰显示技术有限公司 数据处理方法及相关设备
CN111128252B (zh) * 2019-12-31 2021-07-06 深圳市米兰显示技术有限公司 数据处理方法及相关设备

Similar Documents

Publication Publication Date Title
US9569533B2 (en) System and method for visual search in a video media player
CN109905782B (zh) 一种控制方法及装置
CN101138233B (zh) 用于选择视听节目部分的方法和设备
US9031389B2 (en) Image editing apparatus, image editing method and program
US8548249B2 (en) Information processing apparatus, information processing method, and program
JP5355422B2 (ja) ビデオの索引付けとビデオシノプシスのための、方法およびシステム
JP4702743B2 (ja) コンテンツ表示制御装置およびコンテンツ表示制御方法
TWI361619B (en) Image managing apparatus and image display apparatus
CN112449231A (zh) 多媒体文件素材的处理方法、装置、电子设备及存储介质
US7904815B2 (en) Content-based dynamic photo-to-video methods and apparatuses
US20110243452A1 (en) Electronic apparatus, image processing method, and program
JP6366626B2 (ja) 生成装置、生成方法、及び生成プログラム
TW200536389A (en) Intelligent key-frame extraction from a video
TW201610816A (zh) 內容觀看之藝廊應用程式
JP2003283981A (ja) 映像コメント入力・表示方法およびシステムと、クライアント装置と、映像コメント入力・表示プログラム及びその記録媒体
CN110502117B (zh) 电子终端中的截图方法以及电子终端
CN110442748A (zh) 一种视频生成方法、装置、电子设备及存储介质
JP2006140559A (ja) 画像再生装置及び画像再生方法
CN113918522A (zh) 一种文件生成方法、装置及电子设备
CN107315781A (zh) 一种相册标签的管理系统和实现方法
JP2006217046A (ja) 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム
US20070296737A1 (en) Apparatus And Method For Displaying Image Data
JP2006228059A (ja) ポインタの位置情報を利用するプレゼンテーションコンテンツ検索システムおよびその方法、ならびにコンピュータ読み取り可能な記録媒体
CN108427739A (zh) 页面跳转方法、服务器及页面跳转系统
JP2000209541A (ja) 動画像再生装置、及び動画像再生プログラムが記憶された記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination