CN115567660A - 一种视频处理方法和电子设备 - Google Patents

一种视频处理方法和电子设备 Download PDF

Info

Publication number
CN115567660A
CN115567660A CN202210187280.6A CN202210187280A CN115567660A CN 115567660 A CN115567660 A CN 115567660A CN 202210187280 A CN202210187280 A CN 202210187280A CN 115567660 A CN115567660 A CN 115567660A
Authority
CN
China
Prior art keywords
video
information
duration
clip
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210187280.6A
Other languages
English (en)
Other versions
CN115567660B (zh
Inventor
李启冒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210187280.6A priority Critical patent/CN115567660B/zh
Publication of CN115567660A publication Critical patent/CN115567660A/zh
Application granted granted Critical
Publication of CN115567660B publication Critical patent/CN115567660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请公开了一种视频处理方法,应用于电子设备,该方法包括:确定电子设备拍摄的原视频的特征信息,特征信息包括主题信息、场景信息、用户操作和运镜信息以及精彩帧信息,其中,不同特征信息的优先级不同;根据预设的特征信息的优先级高低,从高到低依次从原视频中选择特征信息对应的预设数量的第一预设时长的视频片段作为目标视频片段;以及根据特征信息确定视频编辑信息;并且根据目标视频片段和视频编辑信息,生成原视频对应的第二预设时长的剪辑视频。如此,可以更为简单、方便地自动实现视频剪辑,并且可以基于特征信息得到更能体现原视频内容的剪辑视频,可以有效地提升用户体验。本申请还公开了一种电子设备。

Description

一种视频处理方法和电子设备
技术领域
本申请涉及计算机技术领域,特别涉及一种视频处理方法和电子设备。
背景技术
当前,在例如手机等电子设备的使用过程中,用户通过手机可以拍摄视频。后续,用户如果想要剪辑拍摄的视频,则需要用户先在手机中安装额外的视频剪辑应用,然后需要用户将视频导入至该视频剪辑应用中手动对视频进行剪辑。
这种剪辑方式,不仅需要安装额外的视频剪辑应用,而且还需要用户手动进行剪辑,存在用户操作不方便,影响用户体验的问题。
发明内容
本申请提供了一种视频处理方法和电子设备,可以解决上述问题,即可以更为简单、方便地实现视频剪辑。
为解决上述技术问题,第一方面,本申请的实施例提供了一种视频处理方法,应用于电子设备,该方法包括:确定电子设备拍摄的原视频的特征信息,特征信息包括主题信息、场景信息、用户操作和运镜信息以及精彩帧信息,其中,不同特征信息的优先级不同;根据预设的特征信息的优先级高低,从高到低依次从原视频中选择特征信息对应的预设数量的第一预设时长的视频片段作为目标视频片段,预设数量大于等于第一数量阈值,且小于等于第二数量阈值,第一预设时长大于等于第一时长阈值,且小于等于第二时长阈值;以及根据特征信息确定视频编辑信息,视频编辑信息包括风格信息,风格信息包括背景音乐、转场、滤镜、特效、变速、贴纸、文字中的一种或者多种;根据目标视频片段和视频编辑信息,生成原视频对应的第二预设时长的剪辑视频,第二预设时长大于等于第三时长阈值,且小于等于第四时长阈值。
其中,特征信息可以基于人工智能识别算法对原视频进行图像识别处理和特征识别处理得到。
另外,第一数量阈值可以是2个,第二数量阈值可以是5个,第一时长阈值可以是2秒,第二时长阈值可以是6秒,第三时长阈值可以是10秒,第四时长阈值可以是15秒。当然,这些阈值也可以是其他任意值,其可以根据需要选择和设置。
本实施例中,电子设备根据电子设备拍摄的原视频的特征信息的优先级高低,从高到低依次从原视频中选择特征信息对应的预设数量的视频片段,可以优先得到更能体现原视频内容的目标视频片段,并且根据特征信息可以得到与原视频更加匹配的视频编辑信息。从而,使得根据目标视频片段和视频编辑信息得到的剪辑视频,更能体现原视频的内容,以及更加符合用户期望,可以有效地提升用户体验。
并且,本实施例中,电子设备是自动生成原视频对应的剪辑视频,不需要用户额外下载安装视频剪辑应用,以及通过视频剪辑应用手动剪辑视频,可以更为简单、方便地自动实现视频剪辑,减少了用户操作,也有效地提升了用户体验。
另外,从原视频中选择特征信息对应的预设数量的视频片段,可以避免生成的剪辑视频过于单调、缺少变化,从而可以得到质量更好的剪辑视频,即可以得到更能符合用户期望的剪辑视频,也可以有效地提升用户体验。
以及,选择的各视频片段的时长为第一预设时长,可以避免每段视频片段太短失去意义,或太长过于乏味,从而可以得到更能符合用户期望的剪辑视频,也可以有效地提升用户体验。
以及,得到的剪辑视频的时长为第二预设时长,可以使得得到的剪辑视频的时长更加满足用户的浏览需求,可以有效地提升用户体验。
在上述第一方面的一种可能的实现中,根据预设的特征信息的优先级高低,从高到低依次从原视频中选择特征信息对应的视频片段,包括:若选择的优先级高的特征信息对应的视频片段的数量总和小于第一数量阈值,和/或时长总和小于第三预设时长,则继续选择下一优先级的特征标签对应的视频片段,以使选择的视频片段的数量总和大于等于第一数量阈值,且小于等于第二数量阈值,以及时长总和大于等于第三时长阈值,且小于等于第四时长阈值,其中根据不同优先级的特征信息选择视频片段时,第三预设时长的值不同,并且精彩帧信息的优先级高于用户操作和运镜信息的优先级,用户操作和运镜信息的优先级高于场景信息的优先级;若选择的优先级高的特征信息对应的视频片段的数量总和大于等于第一数量阈值,且小于等于第二数量阈值,以及时长总和大于等于第三时长阈值,且小于等于第四时长阈值,则停止选择视频片段。
如此,根据特征信息的优先级高低,可以优先得到优先级高的特征信息对应的视频片段以用于剪辑视频的生成,可以得到更能体现原视频内容的目标视频片段,从而使得剪辑视频更能体现原视频的内容,以及更加符合用户期望,可以有效地提升用户体验。
在上述第一方面的一种可能的实现中,高优先级对应的第三预设时长大于低优先级对应的第三预设时长。
例如,在根据优先级最高(即第一优先级)的精彩帧信息选择视频片段时,第三预设时长例如可以是14秒,根据第二优先级的用户操作和运镜信息选择视频片段时,第三预设时长例如可以是12秒,根据第三优先级的场景信息选择视频片段时,第三预设时长例如可以是10秒。当然,不同优先级对应的第三预设时长也可以是其他大于等于第三时长阈值,小于等于第四时长阈值的其他任意值,其可以根据需要选择和设置。
不同优先级对应的第三预设时长不同,并且高优先级对应的第三预设时长大于低优先级对应的第三预设时长,可以使得电子设备更快地得到满足剪辑需求的视频片段,可以提升剪辑片段的生成效率。
在上述第一方面的一种可能的实现中,根据预设的特征信息的优先级高低,从高到低依次从原视频中选择特征信息对应的视频片段,还包括:确定特征信息对应的子特征信息,特征信息至少包括两个子特征信息,其中,不同子特征信息的优先级不同;根据预设的子特征信息的优先级高低,从高到低依次从原视频中选择子特征信息对应的视频片段。
针对同一优先级的特征信息,可以根据其包括的不同子特征信息的优先级高低选择视频片段,如此,可以更进一步得从原视频中选择出更能代表原视频的视频片段,即可以得到更能符合用户期望的剪辑视频,也可以有效地提升用户体验。
例如,以精彩帧信息为第一优先级,可以优先得到原视频中的精彩帧对应的视频片段以生成剪辑视频,使得剪辑视频更加能体现原视频中的精彩内容,从而使得得到的剪辑视频可以更加符合用户期望,从而可以有效地提升用户体验。
在上述第一方面的一种可能的实现中,场景信息对应的子特征信息例如可以是人物特征、食物特征等,并且子特征信息的优先级例如可以是人物特征>食物特征,或者与精彩帧在时间上的距离小的场景信息的优先级高于距离大的场景信息的优先级,即距离精彩帧近的场景信息的优先级高于距离精彩帧远的场景信息的优先级。当然,场景信息对应的子特征信息还可以是其他的特征信息,以及子特征信息的优先级高低也可以是其他类型,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,用户操作和运镜信息对应的子特征信息例如可以是变速(例如慢速、快速)、变焦、镜头切换、对焦、暂停等。并且子特征信息的优先级例如可以是变速>变焦>镜头切换>对焦>暂停。当然,用户操作和运镜信息对应的子特征信息还可以是其他的特征信息,以及子特征信息的优先级高低也可以是其他类型,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,精彩帧信息对应的子特征信息例如可以是精彩帧1、精彩帧2等,并且子特征信息的优先级例如可以是精彩帧1>精彩帧2。当然,精彩帧信息对应的子特征信息还可以是其他的特征信息,以及子特征信息的优先级高低也可以是其他类型,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,前述特征信息的优先级高低,以及子特征信息的优先级高低,皆可以根据需要预先选择和设置。
在上述第一方面的一种可能的实现中,从原视频中选择精彩帧信息对应的视频片段,包括:确定原视频包括的至少一个精彩帧区域,每个精彩帧区域包括至少一个精彩帧(例如n个),不同精彩帧的优先级高低不同;根据预设的精彩帧的优先级高低,从高到低依次确定时长大于等于第四预设时长的精彩帧区域中的精彩帧;并且以精彩帧为基准,若确定精彩帧至少一侧的第五预设时长内存在其他精彩帧,则从原视频中截取第六预设时长的包括精彩帧的视频片段作为选择的精彩帧对应的视频片段;若确定精彩帧至少一侧的第五预设时长内不存在其他精彩帧,则从原视频中截取第七预设时长的包括精彩帧的视频片段作为选择的精彩帧对应的视频片段。
在上述第一方面的一种可能的实现中,第四预设时长例如可以大于等于前述的第一时长阈值,第一时长阈值可以是2秒。当然,第四预设时长也可以大于等于第五时长阈值,第五时长阈值例如可以是2.5秒等,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第六预设时长的视频片段包括作为基准的精彩帧,以及该精彩帧周侧的第五预设时长内存在的其他精彩帧以及视频帧。第五预设时长例如可以是1秒。
在上述第一方面的一种可能的实现中,第七预设时长的视频片段包括作为基准的精彩帧,以及该精彩帧一侧或者两侧一定时长的视频帧。该一定时长例如可以是1秒等,其可以根据需要选择和设置。
另外,第六预设时长和第七预设时长例如可以是模板分割时长的整数倍,该模板分割时长即为背景音乐节奏时长(即相邻两个节奏点之间的时长)。另外,第六预设时长大于第七预设时长。
例如,第六预设时长的取值可以是大于等于第五时长阈值,小于等于第六时长阈值,第五时长阈值可以是2.5秒,第六时长阈值可以是6秒。当然,第五时长阈值和第六时长阈值也可以是其他任意值,其可以根据需要选择和设置。
根据精彩帧的优先级高低,以及精彩帧周围是否存在其他精彩帧,选择精彩帧对应的视频片段,可以提升视频片段选择的准确性,以及提升剪辑视频的流畅性,可以得到更加符合用户期望的剪辑视频,可以有效地提升用户体验。
在上述第一方面的一种可能的实现中,从原视频中截取包括精彩帧的视频片段作为选择的精彩帧对应的视频片段,包括:根据精彩帧在精彩帧区域中的位置,以及精彩帧区域的边界位置,确定精彩帧两侧的截取时长;根据截取时长截取视频片段,以得到精彩帧对应的视频片段。
例如,在选择精彩帧对应的视频片段时,可以是以选中的精彩帧为基准,向精彩帧两侧(即向前和向后)同时延伸同样的时长,得到前述第六预设时长(或者第七预设时长)的视频片段作为精彩帧对应的视频片段。并且,在延时过程中,若有一侧达到该精彩帧所在的精彩时刻区域的边界位置,则向另一侧延伸较多的时长以达到该第六预设时长(或者第七预设时长)。
如此,可以保证得到所需时长的视频片段作为精彩帧对应的视频片段,可以保证剪辑视频的顺利生成。
在上述第一方面的一种可能的实现中,该方法还包括:若确定选择的精彩帧对应的视频片段与已截取的视频片段存在重合的情况,则放弃重合部分视频片段的选择,确定精彩帧对应的截取视频片段;以及若确定精彩帧对应的截取视频片段的时长大于等于第一时长阈值,则使得精彩帧对应的截取视频片段与已截取的视频片段之间间隔预设的间隔时长。
如此,可以避免视频片段的重复选择,可以使得生成的剪辑视频包括更多不同的视频片段,也可以提升生成的剪辑视频的质量,从而可以有效地提升用户体验。
在上述第一方面的一种可能的实现中,若确定精彩帧对应的截取视频片段的时长小于第一时长阈值,则放弃该截取视频片段的选择。
在上述第一方面的一种可能的实现中,选择用户运镜及操作信息对应的视频片段,包括:选择包括用户运镜及操作信息对应的视频帧的视频片段作为选择的视频片段。
在上述第一方面的一种可能的实现中,选择场景信息对应的视频片段,包括:选择包括场景信息对应的视频帧的视频片段作为选择的视频片段。
在上述第一方面的一种可能的实现中,根据目标视频片段和视频编辑信息,生成原视频对应的剪辑视频,包括:对目标视频片段进行片段去重处理,以去除目标视频片段中相同或者相似的视频片段;根据片段去重处理后的目标视频片段和视频编辑信息,生成原视频对应的剪辑视频。
如此,可以避免视频片段的重复选择,可以使得生成的剪辑视频包括更多不同的视频片段,也可以提升生成的剪辑视频的质量,从而可以有效地提升用户体验。
在上述第一方面的一种可能的实现中,根据目标视频片段和视频编辑信息,生成原视频对应的剪辑视频,包括:按照目标视频片段的时间顺序依次拼接目标视频片段,并且在目标视频片段之间添加转场,以及对目标视频片段进行背景音乐卡点处理,以将目标视频片段的转场位置卡点在背景音乐的节奏点上,得到第一中间视频;若确定第一中间视频的时长为第二预设时长,则对第一中间视频进行编辑信息添加处理得到剪辑视频,编辑信息添加处理包括滤镜添加处理、特效添加处理、变速添加处理、贴纸添加处理、文字添加处理中的一种或者多种;若确定第一中间视频的时长并非第二预设时长,则对第一中间视频进行时长调整处理,得到第二预设时长的第二中间视频,并对第二中间视频进行编辑信息添加处理得到剪辑视频,时长调整处理包括对至少一个视频片段进行变速处理、对至少一个视频片段进行片段增删处理、对至少一个转场进行转场调整处理中的一种或者多种。
通过对目标视频片段进行背景音乐卡点处理、时长调整处理以及编辑信息添加处理,可以得到符合用户期望的剪辑视频。并且,将视频片段卡点在背景音乐的节奏点上,可以得到效果更好的剪辑视频,可以有效地提升用户体验。
在上述第一方面的一种可能的实现中,对第一中间视频的最尾视频片段进行上述时长调整处理。
在上述第一方面的一种可能的实现中,该方法还包括:若某一视频片段对应的转场位置无法卡点在背景音乐的节奏点上,则放弃对某一视频片段进行背景音乐卡点处理,按照预设的片段布局策略布局该视频片段。如此,可以保证剪辑视频的顺利生成。
在上述第一方面的一种可能的实现中,该方法还包括:显示包括原视频的第一界面;接收用户对第一界面的第一操作;响应于第一操作,根据对原视频进行特征识别处理得到的特征信息,生成剪辑视频。
如此,可以基于用户操作生成剪辑视频。并且,电子设备对原视频进行特征识别处理得到特征信息,可以是响应于第一操作进行特征识别处理,也可以是在拍摄原视频的过程中,或者原视频拍摄结束后,对原视频进行特征识别处理得到特征信息。当然,电子设备也可以在其他条件下,对原视频进行特征识别处理得到特征信息,其可以根据需要选择和设置。
在上述第一方面的一种可能的实现中,第一界面包括“一键大片”控件,用户对第一界面的第一操作,即为用户对“一键大片”控件的点击操作。“一键大片”控件用于标识电子设备可以生成原视频对应的剪辑视频,或者电子设备中当前存在该原视频对应的剪辑视频。即电子设备根据用户对“一键大片”控件的点击操作,可以先确定原视频的特征信息,再根据特征信息生成并显示原视频对应的剪辑视频,或者也可以根据预先已得到的特征信息生成并显示原视频对应的剪辑视频,或者直接显示预先已生成的原视频对应的剪辑视频等。即,“一键大片”控件用于触发特征信息的确定、剪辑视频的生成、或剪辑视频的显示等相关功能。另外,该“一键大片”控件也可以是其他的文字控件或者图标控件,其可以根据需要进行选择和设置。
在上述第一方面的一种可能的实现中,电子设备也可以在确定原视频拍摄完成后,自动生成原视频对应的剪辑视频,并且根据用户对前述第一界面的第一操作,直接显示该剪辑视频。
在上述第一方面的一种可能的实现中,该方法还包括:显示包括剪辑视频的第二界面,第二界面还包括编辑控件;接收用户对编辑控件的第二操作;响应于第二操作,对剪辑视频进行编辑处理。
该编辑控件例如可以包括音乐、编辑、风格、分享、保存等编辑控件,也可以是其他类型的编辑控件,其可以根据需要选择和设置。
另外,电子设备还可以根据用户对保存控件的点击操作,将剪辑视频保存至预设目录(例如相册目录)下,以用于用户查看和操作。
在上述第一方面的一种可能的实现中,该方法还包括:显示第三界面,第三界面包括预设控件;若接收到用户对预设控件的第三操作,并且接收到用户对第一界面的第一操作,则响应于第一操作,显示包括剪辑视频的第二界面。
该预设控件例如可以是“一录多得”控件等开启特征识别处理及剪辑视频生成功能的控件,如此可以满足用户对的不同使用需求,即可以用于用户选择是否开启视频自动剪辑功能,从而可以有效地提升用户体验。
在上述第一方面的一种可能的实现中,若最终从原视频中选择的特征信息对应的视频片段的数量总和小于第一数量阈值,和/或时长总和小于第三预设时长,则不生成原视频对应的剪辑视频。以及,在第一界面上不显示“一键大片”控件,即不向用户推送原视频对应的剪辑视频。
在上述第一方面的一种可能的实现中,该方法还包括:根据精彩帧信息在第一界面上显示至少一个精彩帧,作为精彩照片,以用于用户查看以及进行保存等操作。
第二方面,本申请实施例提供了一种电子设备,包括:存储器,用于存储计算机程序,计算机程序包括程序指令;控制器,用于执行程序指令,以使电子设备执行如上述第一方面和/或第一方面的任意一种可能的实现方式所提供的视频处理方法。
第三方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质存储有计算机程序,计算机程序包括程序指令,程序指令被电子设备运行以使电子设备执行如上述第一方面和/或第一方面的任意一种可能的实现方式所提供的视频处理方法。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施方式描述中所使用的附图作简单介绍。
图1是根据本申请的一些实施方式,示出了本申请提供的视频处理方法的一种应用场景示意图;
图2是根据本申请的一些实施方式,示出了一种视频处理方法的过程示意图;
图3是根据本申请的一些实施方式,示出了一种手机的结构示意图;
图4是根据本申请的一些实施方式,示出了一种手机的软件框架结构示意图;
图5A-5G是根据本申请的一些实施方式,示出了本申请提供的手机的一些显示界面示意图;
图6是根据本申请的一些实施方式,示出了本申请提供的视频处理方法的一种流程示意图;
图7是根据本申请的一些实施方式,示出了本申请提供的视频处理方法中视频片段选择过程的一种流程示意图;
图8是根据本申请的一些实施方式,示出了本申请提供的视频处理方法中精彩帧对应的视频片段选择过程的一种过程示意图;
图9是根据本申请的一些实施方式,示出了本申请提供的视频处理方法中视频卡点拼接过程的一种流程示意图;
图10是根据本申请的一些实施方式,示出了本申请提供的视频处理方法中时长调整过程的一种流程示意图;
图11是根据本申请的一些实施方式,示出了本申请提供的视频处理方法中时长调整过程的另一种流程示意图;
图12是根据本申请的一些实施方式,示出了本申请提供的视频处理方法的另一种流程示意图;
图13是根据本申请的一些实现方式,示出了一种电子设备的结构示意图;
图14是根据本申请的一些实现方式,示出了一种片上系统(SoC)的结构示意图。
具体实施方式
下面将结合附图对本申请的技术方案作进一步详细描述。
请参见图1,图1示出了手机的一种结构示意图。
以手机为电子设备的一种示例,如前所述,在用户使用手机的过程中,使用手机相机的录像功能进行视频拍摄或者录制,只能得到普通的原视频。若用户需要对原视频进行剪辑,做一些炫酷的视频效果等,则需要将原视频导入至手机中安装的额外的视频剪辑应用中,手动进行剪辑视频。在该通过手机剪辑视频的场景中,存在用户操作不方便,以及无法很好地得到用户期望的剪辑视频,影响用户体验的问题。
本申请实现方式提供一种视频处理方法,可以应用于手机剪辑视频的场景,以得到原视频对应的短视频作为剪辑视频。请参见图2,该视频处理方法实现短视频成片的基本原理可以包括以下过程:
手机在拍摄视频的过程中,对拍摄得到的原视频进行人工智能(ArtificialIntelligence,AI)图像识别处理,以识别出原视频包括的内容,并且对原视频进行AI特征识别处理,以识别原视频的特征信息,并且可以为相应的视频片段添加对应的特征信息,或者也可以添加特征信息对应的特征标签。该特征信息例如可以包括主题信息、场景信息、用户操作和运镜信息以及精彩帧(best shot)信息等信息,对应的,特征标签例如可以包括主题标签、场景标签、用户操作和运镜标签以及精彩帧标签等。
例如,手机可以为原视频中的视频片段添加特征信息对应的特征标签。如图2所示,其中主题标签例如可以是“生日”,场景标签例如可以包括“人物”和“食物”等。进一步地,场景标签可以包括“场景1”、“场景2”和“场景3”,其中“场景1”为“人物A”,“场景2”为“人物B”,即“人物”包括“人物A”和“人物B”,“场景3”为“蛋糕”,即“食物”为“蛋糕”。用户操作和运镜标签例如包括“转场”,精彩帧标签例如包括“吹蜡烛”等。
进一步地,如图2所示,手机可以将用于记录特征标签的信息划分为例如Lv0~Lv3四个等级,其中,Lv0级用于提供整体视频的主题标签(TAG),Lv1级和Lv2级用于提供各个视频片段的场景标签以及用户操作和运镜标签,Lv3级用于提供精彩帧标签,精彩帧标签基于更精细化的AI语义识别和美学评分提供“精彩时刻”信息。
更进一步地,如图2所示,前述用户操作和运镜信息可以包括用户操作镜头切换信息、用户操作对焦信息、用户操作变焦信息、用户操作变速信息、用户操作暂停信息等信息,即用户操作和运镜信息可以表明用户有特殊的创作意图或者关注的对象,可协助后续优选视频片段的选择,以及协助选择片段使用的剪辑特效(即视频编辑信息)的选择。
如图2所示,手机在视频拍摄完成后得到原始长视频,即得到预设时长的原视频,该原视频的预设时长例如可以是15秒(s)以上,或者理想情况可以是大于等于(≥)30秒。
对于拍摄得到的原视频,手机首先根据前述特征标签(即特征信息)的优先级高低,从高到低依次从原视频中优选剪辑例如2~5个视频片段(作为目标视频片段的一种示例),每个视频片段的时长为2秒~6秒。其中,特征标签的优先级高低例如可以是精彩帧标签的优先级高于用户操作和运镜标签的优先级,用户操作和运镜标签的优先级高于场景标签的优先级。即,精彩帧对应的视频片段的优先级高于用户操作和运镜信息对应的视频片段的优先级,高于基于例如Lv2场景标签对应的视频片段的优先级。在选择视频片段时,高优先级片段不足时用低优先级片段补足。
接着,手机根据前述特征信息或者特征标签确定原视频对应的背景音乐、滤镜、特效(也可以称为动画特效)、变速、转场、贴纸、文字等视频编辑信息,该视频编辑信息例如可以基于主题标签确定,例如手机可以根据主题标签确定主题标签对应的一个风格(即风格信息),该风格包括背景音乐、滤镜、特效、变速、转场、贴纸、文字等视频编辑信息。当然,手机也可以基于前述用户操作和运镜标签等其他特征标签确定视频编辑信息,其可以根据需要选择和设置。
然后,如图2所示,手机根据该视频编辑信息,将选择的多个视频片段重新拼接为一个时长在10秒~15秒范围内的短视频,并且在视频片段上运用滤镜、特效、变速等视频编辑信息,在视频片段间运用转场等视频编辑信息,以及根据原视频的主题标签为短视频添加对应的卡点背景音乐(BGM),即将各视频片段对应到卡点的背景音乐上。如此,可以得到原视频对应的短视频,该短视频即为剪辑视频。
例如,如图2所示,手机编辑原视频对应的浓缩视频得到原视频对应的短视频可以是,手机从原视频中选择了视频片段0、视频片段1和视频片段2三个视频片段,并且手机分别将视频片段0、视频片段1和视频片段2按照时间顺序依次拼接,在视频片段0和视频片段1之间运用转场,在视频片段1和视频片段2之间运用转场,以及为视频片段0添加滤镜,为视频片段1添加特效,对视频片段2进行变速处理等。并且,手机将视频片段0、视频片段1和视频片段2卡点在背景音乐音频上,即得到原视频对应的短视频。
手机得到短视频后,可以将短视频存储至预设的某一目录(例如隐藏推荐目录)下,并且可以在原视频的显示界面上显示该短视频的标识信息(例如“一键大片”控件(也可以称为按钮)等)。则,若手机接收到用户对该标识信息的点击操作,手机可以直接显示该短视频以用于用户查看。
本实现方式提供的视频处理方法,手机在拍摄视频的过程中,可以自动识别视频的特征信息,并且在拍摄完视频后,手机可以根据原视频的特征信息预先自动生成原视频对应的短视频,以用于用户查看,而不需要用户再通过额外的视频编辑应用进行视频剪辑,简化了用户的视频剪辑操作,同时也不需要通过额外的视频剪辑用于手动进行视频剪辑,降低了视频剪辑的门槛,从而可以有效地提升用户体验。
进一步地,本实现方式中,手机根据原视频的特征标签(即特征信息)从原视频中选择视频片段进行视频剪辑,特征标签包括主题标签、场景标签、用户操作和运镜标签以及精彩帧标签等。如此,可以从原视频中选择出更能代表原视频的视频片段,或者可以选择出更有意义的视频片段,即可以得到更能符合用户期望的短视频,也可以有效地提升用户体验。
进一步地,本实现方式中,手机可以根据前述特征标签(即特征信息)的优先级的高低,从高到低依次选择对应的视频片段进行视频剪辑。如此,可以更进一步得从原视频中选择出更能代表原视频的视频片段,即可以得到更能符合用户期望的剪辑视频,也可以有效地提升用户体验。
进一步地,本实现方式中,手机根据原视频的特征标签(即特征信息)确定视频编辑信息,可以提高视频编辑信息与原视频的匹配度。如此,可以得到更能符合用户期望的短视频,或者得到更能体现原视频优质内容的剪辑视频,也可以有效地提升用户体验。
进一步地,本实现方式中,为避免生成的短视频过于单调缺少变化,在选择视频片段时,需要避免只剪取单段视频,例如可以限定至少剪取2个视频片段。选取的视频片段的数量的范围例如可以是前述的2~5个,在原始素材充足时(即特征信息对应的视频片段较多时),尽可能采用3个或3个以上的视频片段,并对视频片段做转场拼接等编辑处理。
进一步地,本实现方式中,为避免每段视频片段太短失去意义,或太长过于乏味,可以限定选择的每个视频片段时长在前述的2秒~6秒范围内。
进一步地,本实现方式中,在选择得到视频片段后,还可以对选择的视频片段进行片段去重处理,以去除相同或者相似的视频片段,使得得到的短视频可以更多地包括不相同的视频片段。如此,可以有效地提升短视频的质量,从而也可以有效地提升用户体验。
综上,本申请实现方式提供的视频处理方法,主要是根据手机在录像过程中根据底层图像识别算法抓拍的精彩帧信息、用户操作和运镜信息以及场景信息等对应的优选视频片段作为视频剪辑的源数据,通过分析、组合运用视频编辑的多种特效、滤镜、转场、添加卡点背景音乐等视频编辑信息,在视频拍摄结束后,自动编辑生成能够概括原视频主题的浓缩短视频的视频剪辑方法。如此,可以得到与原视频的特征信息对应的短视频,可以得到更能符合用户期望的短视频,也可以有效地提升用户体验。
在本申请的另一些实现方式中,手机在拍摄视频的过程中,也可以不预先生成原视频对应的短视频,而是在拍摄完原视频后,若接收到用户的短视频生成指令,再进行前述的特征信息识别等处理以生成原视频对应的短视频。
下面先对本申请实现方式提供的手机的硬件结构和软件架构进行说明。
请参见图3,图3示出了手机的一种硬件结构示意图。
手机可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接头130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实现方式示意的结构并不构成对手机的具体限定。在本申请另一些实施例中,手机可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-networkprocessing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器110用于实现本申请实现方式提供的视频处理方法。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现手机的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
手机的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实现方式以分层架构的Android系统为例,示例性说明手机的软件结构。
请参见图4,图4是本申请实现方式提供的手机的一种软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,硬件抽象层(Hardware Abstraction Layer,HAL)和系统层。
应用程序层可以包括一系列应用程序包。
如图4所示,应用程序包可以包括相机应用、图库应用和视频编辑应用等应用程序。
相机应用包括控制模块和录像模块,其中控制模块用于提供相机应用拍摄相关的控制功能,例如用于向媒体录制器下发控制指令以控制媒体录制器启动录制视频,以及用于向算法模块下发控制指令以控制算法模块对视频进行图像识别处理和特征识别处理等,录像模块用于提供相机的录像功能。
图库应用包括界面显示模块和媒体信息库,其中媒体信息库用于提供图库应用中的视频、图片的预览图、名称等基本信息,并且用于将该基本信息发送给界面显示模块,界面显示模块用于显示该基本信息,以用于用户查看和操作。
视频编辑应用用于提供视频编辑相关的功能,例如用于提供视频特效、滤镜、背景音乐、片段剪辑等视频编辑功能,以及提供视频保存、视频播放等视频处理功能。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示,应用程序框架层可以包括相机框架、媒体录制器(Media Recoder)、媒体提供者(Media Provider)、媒体播放器(Media Player)和媒体编码器/混合器(MediaCodec/Muxer)等。
相机框架用于提供视频拍摄相关的摄像头切换等录制准备相关功能,媒体录制器(Media Recoder)用于实现视频的录制,媒体提供者(Media Provider)用于向媒体信息库提供媒体录制器录制的视频的基本信息,媒体播放器(Media Player)用于播放视频,媒体编码器/混合器(Media Codec/Muxer)用于实现视频的图像和音频的编码、混合等处理。媒体编码器/混合器可以支持多种音视频编码格式,例如MPEG4、H.264、MP3、AAC、AMR、JPG、PNG等。
HAL层包括算法模块,该算法模块包括图像识别算法模块和特征识别算法模块,图像识别算法模块和特征识别算法模块分别为基于AI算法的算法模块,并且其中,图像识别算法模块用于提供对视频的图像内容的识别功能,特征识别算法模块用于提供对视频的主题识别、场景识别、精彩帧识别、用户操作和运镜识别等特征识别功能。
系统层包括图形引擎,图形引擎用于提供图像生成或者处理相关的功能。
下面将结合本实现方式提供的剪辑视频生成场景,示例性说明手机的工作流程。
手机中的相机应用包括的控制模块在接收到视频拍摄指令后,执行步骤S10,向相机框架发送视频拍摄指令,以使相机框架做好视频拍摄准备。并且,控制模块执行步骤S11,向录像模块发送视频拍摄指令,使得录像模块在接收到视频拍摄指令后,执行步骤S12,向媒体录制器发送视频拍摄指令。另外,相机框架准备好拍摄准备后,执行步骤S13,向媒体录制器发送视频拍摄指令,以使媒体录制器开始拍摄视频,以及执行步骤S14,向算法模块发送图像识别指令,以使算法模块执行步骤S15,在媒体录制器录制视频的过程中,对媒体录制器录制的视频进行图像识别处理以及主题等特征识别处理,得到对应的特征信息。然后,媒体录制器执行步骤S16,录制得到视频作为原视频进行存储。并且,媒体录制器还可以将算法模块上报的原视频的特征信息等信息记录并保存到例如图库应用对应的配置文件模块(图中未示出)中,或者也可以将特征信息与原视频一起存储。
进一步地,媒体录制器得到原视频后,执行步骤S17,主动将录制得到的新增的原视频的一些例如目录、名称、预览图等基本信息发送给媒体提供者。然后,媒体库执行步骤S18,将原视频的基本信息发送给媒体信息库,并且媒体信息库执行步骤S19,将原视频的基本信息发送给界面显示模块,界面显示模块则可以根据用户操作在图库应用中显示原视频的基本信息。即显示原视频的预览界面,以及还可以显示例如“一键大片”控件,以用于根据用户对“一键大片”控件的点击操作,生成并播放该短视频。
进一步地,若图库应用接收到用户生成并播放原视频对应的短视频的指令(例如,接收到用户对“一键大片”控件的点击操作),图库应用可以执行步骤S20,向视频编辑应用发送视频剪辑指令,以使视频编辑应用执行步骤S21,即通过视频编辑框架能力对原视频进行解析、片段剪辑等处理,同时调用图形引擎对视频片段进行增加特效、增加滤镜、设置背景音乐等视频编辑处理。并且,若视频编辑应用接收到用户保存剪辑后的视频的指令,视频编辑应用可以执行步骤S22,通过媒体编码器/混合器得到剪辑后得到短视频,并且执行步骤S23,保存剪辑得到的短视频。例如,可以将视频对应的json配置文件和封面缩略图等信息保存至相机应用对应的隐藏推荐目录下。后续,可以根据该json配置文件呈现对应的短视频。
另外,若视频编辑应用接收用户播放短视频的指令,视频编辑应用还可以执行步骤S24,通过媒体播放器基于背景音乐播放功能和视频播放功能播放短视频。
如此,手机在视频拍摄完成后,可以自动根据一系列图像识别算法和视频编辑算法,方便、准确地生成原视频对应的例如15秒左右的短视频,以便用户进行查看,减少了用户操作,可以有效地提升用户体验。
需要说明的是,相机应用还可以向拍摄的原视频插入一录多得分组ID标签,并且根据该一录多得分组ID标签将json配置文件存储至对应的预设隐藏推荐目录下。并且,后续视频编辑应用可以依据该一录多得分组ID标签索引得到原视频对应的json配置文件,以播放短视频。
另外,相机应用还可以向拍摄的精彩帧中插入一录多得分组ID标签,后续图库应用可以依据该一录多得分组ID标签索引得到原视频对应的精彩照片文件,以显示精彩帧。
在本申请的另一些实现方式中,手机在拍摄视频的过程中,也可以不预先进行特征信息识别处理,而是在接收到用户的短视频生成指令后,再进行特征信息识别处理生成对应的短视频。则,相机框架在接收到视频拍摄指令后,可以先不执行步骤S14,以及算法模块先不执行步骤S15。后续,若图库应用接收到用户的短视频生成指令,再向算法模块发送图像识别指令,以使算法模块对原视频进行图像识别处理以及特征识别处理等以得到特征信息,以及图库应用向视频编辑应用发送视频编辑指令,以使视频编辑应用根据原视频和特征信息进行前述的视频编辑处理,得到原视频对应的短视频。
在本申请的另一些实现方式中,手机在拍摄视频的过程中,也可以预先生成原视频对应的短视频,并且在确定视频拍摄完成后,根据用户操作播放对应的短视频。
需要说明的是,本申请实现方式提供的视频处理方法,可以认为是一种基于AI识别的视频主题场景生成音乐短视频的方案,因此,本申请实现方式中的短视频也可以称为AI主题视频,或者AI主题音乐短片等。
可以理解的是,本申请实现方式示意的结构并不构成对手机的具体限定。在本申请另一些实现方式中,手机可以包括比图示更多或更少的层以及部件,或者组合某些部件,或者拆分某些部件,其皆可以根据需要选择和设置。
下面将结合手机的显示界面对本申请实现方式提供的视频处理方法进行说明。
请参见图5A,如图5A所示,手机显示相机的“设置”界面(作为第三界面的一种示例),该“设置”界面包括“一录多得”控件(作为预设控件的一种示例),以及其他照片拍摄和视频拍摄对应的设置项控件。如图5A所示,若手机接收到用户对“一录多得”控件的开启操作(作为第三操作的一种示例),手机开启一录多得功能,在录像过程中则可以对通过相机应用普通拍摄的原视频自动进行图像识别处理以及特征识别处理,以智能识别精彩瞬间(即精彩帧)等信息,并且识别到对应内容后将自动生成拍摄的原视频对应的短视频,以及还可以自动生成原视频对应的精彩照片等。
进一步地,请参见图5B,手机根据用户的视频拍摄操作,通过相机应用拍摄视频,显示如图5B所示的视频拍摄界面。并且手机在拍摄视频的过程中,可以对拍摄的原视频自动进行图像识别处理以及特征识别处理,以得到前述的特征信息。
如图5B所示,手机若接收到用户对停止控件“■”的点击操作,手机确定视频拍摄完成得到原视频,并且手机根据前述特征信息预先自动对原视频进行前述的剪辑处理,生成对应的短视频进行存储,并且显示如图5C所示的显示界面。
进一步地,如图5C所示,手机根据用户对显示界面左下角显示的相机应用拍摄的上一个对象的点击操作,打开图库应用,并且显示如图5D所示的视频预览界面(作为第一界面的一种示例),该视频浏览显示界面包括拍摄的原视频的预览信息,该原视频的时长例如为30秒,以及包括“一键大片”控件。若手机接收到用户对图5D所示的“一键大片”控件的点击操作(作为第一操作的一种示例),手机直接播放该原视频对应的短视频,并且显示如图5E所示的显示界面(作为第二界面的一种示例),即显示短视频播放界面,该短视频的时长例如为15秒。
本实现方式中,手机在打开“一录多得”开关后,使用普通的录像功能拍摄或者录制视频,在拍摄或者录制完视频后,手机可以预先自动剪辑生成原视频对应的短视频(即剪辑视频)进行存储。并且,手机可以根据用户对原视频的视频预览界面包括的“一键大片”控件的点击操作,直接播放该短视频以便用户查看(即预览)和操作,而不需要用户再通过额外的视频编辑应用去手动剪辑视频,从而提高了用户体验。
进一步地,本实现方式中,图5E所示的显示界面,还包括“音乐”控件、“编辑”控件、“风格”控件(作为编辑控件的一些示例),以用于用户根据需要进一步对短视频进行相应音乐、文字、风格的编辑操作。并且手机可以根据用户对例如“音乐”控件的点击操作(作为第二操作的一种示例),对短视频进行进一步背景音乐更换等编辑处理,以得到新的短视频。
另外,该显示界面还包括“保存”控件(作为编辑控件的另一种示例),并且若手机接收到用户对“保存”控件的点击操作(作为第二操作的一种示例),可以根据用户操作将该短视频保存至图库目录(作为预设目录的一种示例)下,以便用户后续进行查看和进行对应操作。
以及,该显示界面还包括“分享”控件、“返回”控件等其他编辑控件,以用于用户进行对应操作,其可以根据需要选择和设置。
当然,在本申请的另一些实现方式中,图5E所示的短视频显示界面还可以包括更多或者更少的其他控件,其可以根据需要选择和设置。
在本申请的另一种实现方式中,手机在拍摄原视频的过程中,也可以不对原视频进行前述图像识别处理和特征识别处理以预先生成短视频,而是在接收到用户对图5D所示的“一键大片”控件的点击操作的时候,再对原视频进行前述图像识别处理和特征识别处理,以生成原视频对应的短视频,并且可以直接播放该短视频。或者,手机在拍摄原视频的过程中,先对原视频进行前述图像识别处理和特征识别处理得到特征信息,然后在接收到用户对图5D所示的“一键大片”控件的点击操作的时候,再根据特征信息对原视频进行剪辑处理,以生成原视频对应的短视频,并且播放该短视频。当然,手机也可以根据在其他情况下生成以及播放原视频对应的短视频,其可以根据需要选择和设置。
并且,请参见图5F,在本申请的一种实现方式中,手机在接收到用户对图5D所示的“一键大片”控件的点击操作的时候,若手机确定此时为手机第一次进行短视频生成处理,手机可以显示如图5F所示的显示界面,即手机显示提醒信息“请确认是否进行短视频编辑”,以及显示“确定”控件和“取消”控件。若手机接收到用户对“确认”控件的点击操作,手机确定开启短视频存储权限等相关权限,进行后续的短视频生成处理,若手机接收到用户对“取消”控件的点击操作,手机不再进行后续的短视频生成处理。该显示界面也可以理解为视频编辑用户协议确认界面。
需要说明的是,本申请实现方式中,若手机在拍摄得到原视频后,确定原视频的时长过短,例如时长小于10秒,则手机不会执行前述视频处理方法以生成原视频对应的短视频,并且,手机在例如图5D所示的显示界面上,也不会显示“一键大片”控件。
进一步地,请参见图5G,在本申请的另一种实现方式中,手机在拍摄得到原视频后,还可以显示如图5G所示的显示界面。即,手机在原视频的预览界面上,还可以显示手机进行特征识别处理得到的精彩帧(即精彩照片)。例如显示所有的精彩帧,或者按照精彩帧的优先级高低显示优先级最高的3个精彩帧,或者显示任意的2个精彩帧等。如此,还可以使得用户查看原视频中的精彩帧,并且可以将精彩帧存储至相册目录下,以用于用户查看,也可以有效地提升用户体验。
下面将结合流程图对本申请实现方式提供的视频处理方法进行说明。
请参见图6,对于本申请实现方式提供的视频处理方法,手机生成原视频对应的短视频的过程,即短视频的成片流程,可以包括以下步骤:
S100,手机确定手机拍摄的原视频的特征标签(即特征信息)。
S200,手机生成候选片段集合。
具体的,手机解析原视频的特征标签,根据拍摄原视频过程中通过特征识别处理得到的特征标签,对原视频进行分割,并且从原视频中选取可用于成片的高价值片段,以生成候选片段集合,以及将没有选中的片段删除。
S300,手机对候选片段集合中的视频片段进行相同或者相似片段去重处理,以去除相同或者相似的视频片段。后续根据片段去重处理后的多个视频片段和视频编辑信息,即可生成原视频对应的短视频。
例如,可以根据前述的场景标签进行片段去重处理,以去除相同场景标签对应的相同或者相似的视频片段,从而降低内容重复片段的选取。
S400,手机根据特征信息或者特征标签选定影响片段拼接布局的美化策略,即确定视频编辑信息。
例如,手机根据特征识别处理得到的主题标签选定对应的风格,每个主题标签对应于至少一个风格,每个风格会默认匹配一个背景音乐,以及同时每个风格内会对应至少一个滤镜、贴纸、转场、特效等视频编辑信息。手机选择主题标签对应的视频编辑信息具体可以根据预设的视频编辑信息选择策略(即算法)确定,该视频编辑信息选择策略可以根据需要具体选择和设置。例如,手机可以根据片段裁剪情况按照一定的算法进行匹配,以确定对应的视频编辑信息。
手机确定背景音乐后,确定视频片段间的转场位置要卡点背景音乐的节奏,即视频片段的拼接布局依赖背景音乐节奏点信息。以及,手机可以根据主题标签或者用户操作和运镜标签选定转场类型等,从转场资源库中选择确定对应的转场类型,转场类型包括重叠转场类型、非重叠转场类型等转场类型,转场类型会影响拼接后形成的短视频的总时长,例如重叠转场类型会缩短视频时长,非重叠转场类型会增加视频时长。另外,手机还可以根据特征标签确定其他特效等视频编辑信息。
S500,手机进行片段拼接布局处理,即可以认为是进行背景音乐卡点处理。
手机对选择的视频片段进行片段拼接布局处理过程中,片段拼接布局(或者编排)策略例如可以是选择高价值片段按照时间顺序编排拼接成片,并且分镜头约束为,成片包括2~5个片段(尽可能至少3个),每个片段的时长为2秒~6秒。以及,背景音乐卡点约束为,片段拼接转场位置尽可能匹配背景音乐节奏点。成片时长约束为,成片时长在10秒~15秒之间。以及,每两个视频片段之间增加转场。
手机将经过片段拼接布局处理的视频作为中间视频。
S600,手机为成片(即中间视频)添加其他美化策略,即添加其他视频编辑信息,可以认为是进行编辑信息添加处理。
该其他美化策略包括添加风格包括的滤镜、贴纸、特效、文字等其他美化效果,即其他视频编辑信息。
S700,手机得到短视频。
即,手机确定自动编辑策略完成,得到短视频对应的描述文件,并将自动编辑策略保存成编辑工程描述json文件输出并存储,即存储短视频。
请参见图7,在本申请的一种实现方式中,对于前述步骤S200,手机从原视频中选择视频片段得到候选片段集合的过程,即候选片段的选择流程,可以包括以下步骤:
S201,手机根据预设的特征标签的优先级高低,优先从原视频中选择优先级最高的精彩帧标签对应的视频片段。此时,可以认为是选择视频片段的第一阶段。
具体的,请参见图8,精彩帧和包括精彩帧的精彩时刻片段的算法示例可以是,如图8第一个方框中所示,一个原视频可划分出n个精彩时刻区域,每个精彩时刻区域可能包含n个精彩帧。根据预设的精彩帧处理算法,可以得到精彩帧的优先级排序。该精彩帧处理算法可以根据需要选择和设置。
在选择视频片段时,可以根据精彩帧优先级从高到低的原则,以各精彩帧为基准点截取视频片段用于最终成片。
以及,需要注意的是,为保证成片效果,例如若精彩时刻区域的时长不足2.5秒(作为第四预设时长的一种示例),其所包含的精彩帧不计入选取队列。即手机从时长超过2.5秒的精彩时刻区域中,按照精彩帧的优先级高低选择精彩帧。
手机从优先级最高的精彩帧开始逐个往后遍历寻找最佳片段,以截取视频片段。本实现方式中,基础截取方法包括,在截取视频片段的过程中,手机是以选择的每个“精彩帧”为基准点(例如图示第二个方框中的精彩帧2),优先向一侧或者两侧(向前或者向后)扩展(例如扩展1s,作为第五预设时长的一种示例)寻找是否有其他精彩帧。若有,则在该“精彩帧”位置处向前或/或向后再扩展延伸同样的时长(长度),直至达到符合模板分割步长(即背景音乐对应的节奏点时长)的整数倍,作为选择的一个视频片段。该延伸时长例如可以是1秒(作为第六预设时长的视频片段的一种示例),也可以是2.5秒~6秒之间的随机值(可以认为此为最理想情况),也可以是最多不超过4.5秒,其可以根据需要选择和设置。另外,如以精彩帧为基准点向前或/或向后延伸时,达到精彩时刻的时长边界(例如图示第三个方框中的精彩帧4),无法保证前后延伸时长一致,此时可根据情况延长精彩帧另一侧(前或后)的时长,以满足截取片段的时长需求。即,在确定截取的视频片段时,需要考虑精彩帧在精彩帧区域中的位置,以及精彩帧区域的边界位置,确定精彩帧两侧的截取时长。
以及,需要说明的是,例如,若“精彩帧”前侧存在其他精彩帧,则向“精彩帧”前侧延伸,或者也可以向“精彩帧”两侧延伸;若“精彩帧”后侧存在其他精彩帧,则向“精彩帧”后侧延伸,或者也可以向“精彩帧”两侧延伸。若精彩帧两侧都存在其他精彩帧,则向“精彩帧”两侧延伸。皆可以根据需要选择和设置。
另外,当截取片段重叠时(例如图示第四个方框中的精彩帧2和精彩帧4),即当计算出的需截取的视频片段与已截取视频片段时间段发生重叠时,应避开已截取的视频片段,截取的视频片段之间需要有2秒间隔时间(原视频30秒以下要有1秒的间隔,作为预设的间隔时长的一种示例)。另外,若避让后导致视频片段的时长不足2.5秒,或者不足2秒,则放弃此次截取。
另外,本实现方式中,若选择的精彩帧周侧不存在其他精彩帧,则手机根据预设的截取策略确定截取长度,然后按一定截取规则选取包括该“精彩时刻”视频片段的判断作为选择的视频片段。例如,选择精彩帧以及精彩帧两侧1秒(作为第七预设时长的视频片段的一种示例)内的视频帧作为选择的视频片段。该截取策略和截取规则,例如也可以是截取包括精彩帧的时长为背景音乐对应的节奏点时长的整数倍的视频片段,当然截取策略和截取规则也可以是其他策略,其可以根据需要具体选择和设置。
进一步地,手机可以根据前述精彩帧处理算法,为选取的片段赋予[90,100]的优先级。精彩帧对应的视频片段的优先级为第一优先级,多个精彩帧对应的视频片段的内部优先级可以根据精彩帧的优先级高低确定。
S202,手机判断包括根据精彩帧标签选择的视频片段的候选片段是否满足最低要求。
该最低要求为选取的视频片段的个数大于等于2段,并且视频片段的总时长大于等于14秒。若是,手机执行步骤S209。若否,手机执行步骤S203。
需要说明的是,当存在精彩帧标签对应的多个视频片段时,手机在选择精彩帧标签对应的视频片段时,会根据各精彩帧对应视频片段的优先级高低,从高到低依次最多选择5个视频片段。
S203,手机次优选前述精彩帧对应片段以外的用户操作和运镜标签对应的视频片段,例如次优选特殊运镜片段。此时,可以认为是选择视频片段的第二阶段。
具体的,针对特殊运镜片段可以根据一定规则进行截取,例如根据变焦、变速、镜头切换、对焦、暂停等子特征信息的优先级的高低从高到低依次选择。可以为用户操作和运镜片段赋予较高优先级[70,80],子特征信息的内部相对优先级例如可以是:变速>变焦>镜头切换>对焦>暂停等。当然,优先级高低也可以根据需要设置为其他形式。
S204,手机确定当前选择的视频片段是否满足最低要求。
此时,该最低要求为选取的视频片段的个数大于等于2,并且视频片段的总时长大于等于12秒。若是,手机执行步骤S209。若否,手机执行步骤S205。
S205,手机补充选取原视频剩余内容中以“人物”场景标签为主体的视频片段。此时,可以认为是选择视频片段的第三阶段。
具体的,以“人物”场景标签为主体的视频片段赋予较高优先级[60,70],其为第三优先级。另外,场景标签对应的多个视频片段的内部相对优先级(即子特征信息的优先级),可以依据视频片段与精彩帧在时间上的距离大小排序,即距离精彩帧近的视频片段的优先级高于距离精彩帧远的视频片段的优先级。另外,还可以是以“人物”场景标签为主体的视频片段的优先级,高于以“食物”场景标签为主体的视频片段的优先级等。
本实现方式中,根据场景标签选择视频片段的步骤可以循环执行,直到不再有此类的视频片段,或者直至选择的视频片段满足预设的选择条件,例如时长在10秒~15秒内,片段数在2~5个之间等,其可以根据需要选择和设置。
S206,手机确定当前选择的视频片段是否满足最低要求。
此时,该最低要求为选取的视频片段的个数是否大于等于2,并且视频片段的总时长大于等于10秒。若是,手机执行步骤S209。若否,手机执行步骤S207。
S207,手机从原视频剩余内容中强行补充所有不跨前述Lv2范围的视频片段。此时,可以认为是选择视频片段的第四阶段。
例如,可以选择以食物为主体的视频片段,或者选择未被选择的距离精彩帧近的视频片段等。
S208,手机确定当前选择的视频片段是否满足最低要求。
此时,该最低要求为选取的视频片段的个数是否大于2,并且视频片段的总时长大于等于10s。若是,手机执行步骤S209。若否,手机执行步骤S210。
S209,手机得到视频片段集合,成功完成片段选择,即停止选择视频片段。
S210,手机确定用于短视频生成的有效视频片段不足,无法成片,失败结束片段选择。
需要说明的是,本实现方式中,若手机确定无法成片,则结束后续短视频生成处理,并且如前所述,手机在原视频对应的预览界面上不显示“一键大片”控件。
本实现方式中,手机依次按照精彩帧标签、用户操作和运镜标签以及场景标签的优先级高低,依次从高到低依次选择视频片段,可以得到更符合用户期望的视频片段。
需要说明的是,本申请实现方式中,前述的多个精彩帧、多个场景、多个用户操作和运镜信息等作为各特征信息对应的子特征信息的一些示例,不同子特征信息的优先级不同。各特征信息包括的子特征信息还可以是除上述子特征信息以外的其他信息,其可以根据需要选择和设置。
另外,对于前述每个阶段的片段选择和片选选择要求判断,可以是在每个阶段至少进行一次前述的片段选择和片选选择要求判断处理,片段选择和片选选择要求判断次数,可以根据需要选择和设置。
请参见图9,在本申请的一种实现方式中,对于前述步骤S500,手机可以根据预设的片段拼接布局策略,对多个视频片段进行编辑处理(即背景音乐卡点处理),以将多个视频片段卡点在背景音乐的节奏点上。手机将视频片段卡点在背景音乐的节奏点上的过程,即卡点拼接流程,可以包括以下步骤:
S5101,手机完成当前视频片段(例如第一个视频片段)的卡点布局,将当前视频片段卡点在背景音乐的节奏点上,并且确定下一个待布局的视频片段。
需要说明的是,手机可以依据各视频片段的时间顺序,依次布局每个视频片段完成卡点拼接。布局第一个视频片段即为将第一个视频片段卡点在背景音乐的第一个节奏点上。
S5102,手机确定下一个待布局的视频片段是否为最尾视频片段。若否,手机执行步骤S5103。若是,手机执行步骤S5113。
S5103,若按照默认策略布局后续所有视频片段时,得到的视频的总时长是否大于等于(≥)13秒。若否,手机执行步骤S5104。若是,手机执行步骤S5108。
需要说明的是,该默认策略布局即为将各视频片段按照时间顺序进行拼接,以及各视频片段之间为前述风格对应的转场类型。
S5104,手机尝试将该视频片段尾端向相邻的后一个节奏点卡点。并且手机执行步骤S5105。
S5105,手机确定是否成功匹配卡点。若是,手机执行步骤S5102,以继续下一个视频片段的卡点。若否,手机执行步骤S5106。
S5106,手机尝试将该视频片段尾端向相邻的前一个节奏点卡点。并且手机执行步骤S5107。
S5107,手机确定是否成功匹配卡点。若是,手机执行步骤S5102,以继续下一个视频片段的卡点。若否,手机执行步骤S5112。
S5108,手机尝试将该视频片段尾端向相邻的前一个节奏点卡点。并且手机执行步骤S5109。
S5109,手机确定是否成功匹配卡点。若是,手机执行步骤S5102,以继续下一个视频片段的卡点。若否,手机执行步骤S5110。
S5110,手机尝试将该视频片段尾端向相邻的后一个节奏点卡点。并且手机执行步骤S5111。
S5111,手机确定是否成功匹配卡点。若是,手机执行步骤S5102,以继续下一个视频片段的卡点。若否,手机执行步骤S5112。
S5112,手机若通过以上尝试如果均不能实现卡点,则可以基于视频内容优于卡点的原则(即避免为了强行卡点对视频内容裁切或改变过多,影响内容呈现),按照默认的片段布局策略(即布局参数)直接布局该视频片段,即对视频片段进行强制布局,放弃对该视频片段的卡点。然后手机接着执行步骤S5102,以继续下一个视频片段的卡点。
该默认的片段布局策略即为将各视频片段按照时间顺序进行拼接,以及各视频片段之间为前述风格对应的转场类型。
S5113,手机将该最尾视频片段卡点在背景音乐的节奏点上,完成卡点布局,并且进行下一个阶段的成片总时长调整处理。
本实现方式中,手机可以将选择的视频片段,依据视频片段的时间顺序,依次布局每个视频片段,完成卡点拼接,卡点拼接后得到的视频可以认为是第一中间视频。并且在卡点拼接的过程中,将视频片段之间的转场位置卡点在背景音乐的节奏点上,并且可以通过调整部分转场时长、部分转场类型、部分视频片段的速度来确定视频片段尾端的卡点布局,可以使得得到的短视频更加有动感,能提高用户的体验。
需要说明的是,本实现方式中,手机也可以按照其他的背景音乐卡点策略将视频片段卡点在背景音乐的节奏点上,其可以根据需要选择和设置。
若进行卡点拼接后的视频的时长在10秒~15秒范围内,则直接对该视频进行前述步骤S600的处理,以得到短视频。
若进行卡点拼接后的视频的时长不在10秒~15秒范围内,则需要对该视频进行时长调整处理,调整该视频的时长在10秒~15秒范围内,再进行前述步骤S600的处理,以得到短视频。
请参见图10,在本申请的一种实现方式中,对于前述步骤S500,若手机进行卡点拼接后得到的视频(即第一中间视频)的时长不足10秒,则手机进行时长调整处理以调整视频时长的过程,即成片总时长调整流程,可以包括以下步骤:
S5201,手机确定视频的最尾视频片段。
S5202,手机对最尾视频片段做不明显慢放处理(作为变速处理的一种示例),例如将最尾视频片段慢放至0.8到0.9倍,以增加片长。
S5203,手机确定经过慢放的视频的时长是否大于等于10秒。若否,手机执行步骤S5204。若是,手机执行步骤S5212。
S5204,手机确定最尾视频片段前段的转场是否为叠加型转场。若是,手机执行步骤S5205。若否,手机执行步骤S5207。
S5205,手机调整该转场的时长,或者将该转场调整为非叠加型的转场(作为转场调整处理的一些示例),以增加片长。
S5206,手机确定经过转场调整的视频的时长是否大于等于10秒。若否,手机执行步骤S5207。若是,手机执行步骤S5212。
S5207,手机确定最尾视频片段可伸展范围内前后是否还有未被选择的相邻视频内容。若是,手机执行步骤S5208。若否,手机执行步骤S5210。
S5208,手机伸展最尾视频片段(作为片段增删处理的一种示例),以增加最尾视频片段的时长。并且执行步骤S5209。
S5209,手机确定经过延伸处理的视频的时长是否大于等于10秒。若否,手机执行步骤S5210。若是,手机执行步骤S5212。
S5210,手机确定原视频中是否还存在可选的候选视频片段,能将视频补足至至少10s。若是,手机执行步骤S5211。若否,手机执行步骤S5213。
S5211,手机再添加至少一个视频片段,以将视频至少补足至10秒。然后手机执行步骤S5212。
S5212,手机成功结束时长调整处理,以完成片长调整。
S5213,手机确定无法满足最低10秒要求,成片失败。并且在前述图5D所示的显示界面上,不显示“一键大片”控件,即不向用户推荐对应视频的短视频。
本实现方式中,若进行拼接处理后的视频的时长不足10秒,则手机可以通过调整视频片段之间的转场类型、转场时长、补充视频片段等方式,调整该视频的时长,以使视频的时长在预设的10秒~15秒的范围内。
另外,本实现方式中,可以在完成所有非最尾片段卡点布局后,可以根据最尾片段进一步控制最终生成的视频时长在10~15秒范围。并且,若按默认参数布局最尾片段,整体成片的短视频时长在10秒~15秒范围内,则正常结束布局拼接。若不在该范围内,则通过调整最尾片段的卡点布局的方式,利用最尾片段进一步可以控制最终生成的视频时长在10秒~15秒范围,不会影响成片,提高了成片效率。另外,得到的视频可以认为是第二中间视频。
需要说明的是,在本申请的另一些实现方式中,手机也可以通过其他方式增加视频的时长,其可以根据需要选择和设置。
请参见图11,在本申请的一种实现方式中,对于前述步骤S500,若手机进行卡片拼接后得到的视频的时长超过15秒,则手机进行时长调整处理以调整视频时长的过程,即成片总时长调整流程,可以包括以下步骤:
S5301,手机确定视频的最尾视频片段。
S5302,手机对最尾视频片段做不明显快放处理(作为变速处理的一种示例),例如将最尾视频片段快放至1.1到1.2倍,以缩短片长。
S5303,手机确定经过快放的视频的时长是否缩短到15秒。若否,手机执行步骤S5304。若是,手机执行步骤S5310。
S5304,手机通过调整转场时长或将非叠加型转场替换为叠加型转场的方式缩短片长(作为转场调整处理的一些示例)。
具体的,例如手机可以先确定最尾视频片段前段的转场是否为非叠加型转场。若是,手机则通过将非叠加型转场替换为叠加型转场的方式缩短片长。若否,手机通过调整转场时长的方式缩短片长。
S5305,手机确定经过转场调整的视频的时长缩短到15秒。若否,手机执行步骤S5306。若是,手机执行步骤S5310。
S5306,手机将最尾视频片段截短(作为片段增删处理的一种示例),并且最短不能低于2秒,并且要保留精彩帧片段。
S5307,手机确定经过截取处理的视频的时长是否缩短到15秒。若否,手机执行步骤S5308。若是,手机执行步骤S5310。
S5308,手机丢弃该最尾视频片段,将原来的倒数第二倒数片段作为最尾视频片段。
S5309,手机确定当前视频时长是否缩短到15秒。若是,手机执行步骤S5310。若否,手机执行步骤S5302,对该新确定的最尾视频片段执行前述调整处理。
S5310,手机成功结束时长调整处理,以完成片长调整。
本实现方式中,若进行拼接处理后的视频的时长超过15秒,则手机可以通过调整视频片段之间的转场类型、转场时长、删除最尾视频片段等方式,调整该视频的时长,以使视频的时长在预设的10秒~15秒的范围内。另外,得到的视频可以认为是第二中间视频。
另外,本实现方式中,可以在完成所有非最尾片段卡点布局后,通过调整最尾片段的卡点布局的方式,利用最尾片段进一步可以控制最终生成的视频时长在10秒~15秒范围,不会影响成片,提高了成片效率。
需要说明的是,在本申请的另一些实现方式中,手机也可以通过其他方式减少视频的时长,其可以根据需要选择和设置。
下面将结合前述的图4,对本申请实现方式提供的视频处理方法进行说明。
请参见图12,在本申请的一种实现方式中,手机生成原视频对应的短视频的过程包括以下步骤:
S801,相机应用接收到用户对相机应用的点击操作。
S802,相机应用确定“一录多得”开关已打开。
S803,相机应用开始进行视频拍摄,录制得到15秒以上的原视频进行存储,并且进行前述的图像识别处理、特征识别处理等处理,向拍摄的原视频中插入一录多得分组ID标签,以及向拍摄的原视频中插入主题、场景等特征标签,并且根据前述的短视频生成过程生成对应的短视频进行存储。
S804,图库应用接收到如图5C所示的用户通过相机应用对原视频的打开操作,显示如前述图5D所示的显示界面,即显示原视频的预览界面,图库应用确定该预览界面包括“一键大片”控件。
S805,图库应用接收到如图5D所示的用户对“一键大片”控件的点击操作,向视频编辑应用发送短视频生成指令。
S806,视频编辑应用接收到短视频生成指令,显示例如图5F所示的视频编辑用户协议确认界面,以用于用户确认是否开启短视频生成。
若视频编辑应用接收到用户对确认控件的点击操作,视频编辑应用执行后续步骤,以生成原视频对应的短视频。
S807,视频编辑应用根据原视频的主题信息确定对应的风格模板。
S808,视频编辑应用优先根据精彩帧选择裁剪视频片段。
S809,视频编辑应用若根据精彩帧选择的视频片段段数不够2段,或者时长不足14秒,则,视频编辑应用通过选取场景为人物主体的片段等方式以补齐视频片段的段数和时长。
S810,视频编辑应用根据前述选定的风格模板确定对应的背景音乐,以及确定对应的滤镜、特效等编辑信息,并且对视频片段进行编辑处理,得到短视频。
S811,视频编辑应用自动进入短视频的预览界面,该预览界面例如可以如前述的图5E所示。
S812,视频编辑应用若接收到用户对前述图5E所示的“保存”控件的点击操作,视频编辑应用将短视频存储至图库应用对应的目录下,以便用户查看和操作。并且图库应用保存短视频成功后,执行步骤S813。
S813,图库应用向相机应用发送指令,以使相机应用从图库大图返回相机应用对应的视频拍摄界面。
本实现方式中,相机应用、图库应用和视频编辑应用之间配合,可以方便地生成原视频对应的短视频,以用于用户查看和操作,可以有效地提升用户体验。
在本申请的另一种实现方式中,手机也可以不按照视频片段的时间顺序拼接视频片段,例如可以根据视频片段之间的相关性等因素拼接视频片段。另外,手机还可以根据预设的策略确定短视频的片头和片尾。即视频的拼接顺序可以根据需要选择和设置。
在本申请的另一种实现方式中,相机应用执行步骤S803的过程中,还可以根据原视频中的精彩帧得到精彩照片,并且在精彩照片中添加一录多得分组ID标签。另外,相机应用还可以自动将精彩照片存储中图库应用对应的目录下,以便用户进行查看和操作。
在本申请的另一些实现方式中,手机从原视频选择预设数量的视频片段用于短视频生成,该预设数量的取值范围为大于等于第一数量阈值,小于等于第二数量阈值。其中,第一数量阈值例如可以是前述的2,第二数量阈值例如可以是前述的5。当然,该第一数量阈值和第二数量阈值的取值也可以为其他任意值,其可以根据需要选择和设置。
在本申请的另一些实现方式中,选择的视频片段的时长为第一预设时长,第一预设时长的取值范围为大于等于第一时长阈值,小于等于第二时长阈值。其中,第一时长阈值可以是前述的2秒,第二时长阈值可以是前述的6秒。当然,该第一时长阈值和第二时长阈值的取值也可以为其他任意值,其可以根据需要选择和设置。
在本申请的另一些实现方式中,手机生成的短视频的时长为第二预设时长,第二预设时长的取值范围为大于等于第三时长阈值,小于等于第四时长阈值。其中,第三时长阈值例如可以是前述的10秒,第四时长阈值例如可以是前述的15秒。当然,该第三时长阈值和第四时长阈值的取值也可以为其他任意值,其可以根据需要选择和设置。
在本申请的另一些实现方式中,在根据优先级选择视频片段时,前述的14秒、12秒、10秒等作为第三预设时长的一些示例,并且根据不同优先级的特征信息选择视频片段时,第三时长阈值的值不同。另外,优先级高的特征信息对应的第三时长阈值可以大于优先级低的特征信息对应的第三时长阈值。当然,该第三预设时长的取值也可以为其他任意值,其可以根据需要选择和设置。在本申请的另一些实现方式中,手机也可以根据其他的方式从原视频中选择用于生成短视频的视频片段,和/或基于其他的方式选择对应的视频编辑信息,从而生成原视频对应的短视频,其可以根据需要选择和设置。
在本申请的另一些实现方式中,精彩帧也可以是原视频中其他的关键帧,例如可以是指定时间点的视频帧等,另外,精彩时刻区域也可以是其他的关键帧区域,其可以根据需要选择和设置。
在本申请的另一些实现方式中,前述的电子设备也可以是手机以外的其他例如车载设备、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如包括:智能手表、智能手环、计步器等)、个人数字助理、便携式媒体播放器、导航设备、视频游戏设备、机顶盒、虚拟现实和/或增强现实设备、物联网设备、工业控制设备、流媒体客户端设备、电子书、阅读设备、POS机以及其他设备。
下面对本申请实现方式提供的电子设备的另一些可能的结构进行说明。
请参见图13,图13所示为根据本申请的一种实现方式提供的电子设备900的结构示意图。电子设备900可以包括耦合到控制器中枢904的一个或多个处理器901,处理器901包括GPU。对于至少一个实现方式,控制器中枢904经由诸如前端总线(Front Side Bus,FSB)之类的多分支总线、诸如快速通道互连(QuickPath Interconnect,QPI)之类的点对点接口、或者类似的连接与处理器901进行通信。处理器901执行控制一般类型的数据处理操作的指令。在一实现方式中,控制器中枢904包括,但不局限于,图形存储器控制器中枢(Graphics Memory controller hub,GMCH)(图中未示出)和输入/输出中枢(IOH)(其可以在分开的芯片上)(图中未示出),其中GMCH包括存储器和图形控制器并与IOH耦合。
电子设备900还可包括耦合到控制器中枢904的协处理器906和存储器902。或者,存储器902和GMCH中的一个或两者可以被集成在处理器901内(如本申请中所描述的),存储器902和协处理器906直接耦合到处理器901以及控制器中枢904,控制器中枢904与IOH处于单个芯片中。
存储器902可以是例如动态随机存取存储器(Dynamic Random Access Memory,DRAM)、相变存储器(Phase Change Memory,PCM)或这两者的组合。
在一个实现方式中,协处理器906是专用处理器,诸如例如高吞吐量众核(ManyIntegrated Core,MIC)处理器、网络或通信处理器、压缩引擎、图形处理器、通用图形处理器(General Purpose Graphics Processing Units,GPGPU)等GPU、或嵌入式处理器等等。协处理器906的任选性质用虚线表示在图13中。
在一个实现方式中,电子设备900可以进一步包括网络接口(Network InterfaceCard,NIC)903。网络接口903可以包括收发器,用于为电子设备900提供无线电接口,进而与任何其他合适的设备(如前端模块,天线等)进行通信。在各种实现方式中,网络接口903可以与电子设备900的其他组件集成。网络接口903可以实现上述实现方式中的通信单元的功能。
电子设备900可以进一步包括输入/输出(I/O)设备905。输入/输出(I/O)设备905可以包括:用户界面,该设计使得用户能够与电子设备900进行交互;外围组件接口的设计使得外围组件也能够与电子设备900交互;和/或传感器设计用于确定与电子设备900相关的环境条件和/或路径信息。
值得注意的是,图13仅是示例性的。即虽然图13中示出了电子设备900包括处理器901、控制器中枢904、存储器902等多个器件,但是,在实际的应用中,使用本申请各方法的设备,可以仅包括电子设备900各器件中的一部分器件,例如,可以仅包含处理器901和NIC903。图13中可选器件的性质用虚线示出。
在该电子设备900的存储器中可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。计算机可读存储介质中存储有指令,具体而言,存储有该指令的暂时和永久副本。
本申请中,该电子设备900具体可以是手机、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)或台式电脑等终端设备。该电子设备的存储器中存储的指令可以包括:由处理器中的至少一个单元执行时导致电子设备实施如前述提到的视频处理方法的指令。
请参见图14,图14所示为根据本申请的一种实现方式提供的SoC(System onChip,片上系统)1000的结构示意图。在图14中,相似的部件具有同样的附图标记。另外,虚线框是更先进的SoC 1000的可选特征。该SoC 1000可以被用于根据本申请的任一电子设备,根据其所在的设备不同以及其内所存储的指令的不同,可以实现相应的功能。
在图14中,SoC1000包括:互连单元1002,其被耦合至处理器1001;系统代理单元1006;总线控制器单元1005;集成存储器控制器单元1003;一组或一个或多个协处理器1007,其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器;静态随机存取存储器(Static Random-Access Memory,SRAM)单元1008;直接存储器存取(Direct MemoryAccess,DMA)单元1004。在一个实现方式中,协处理器1007包括专用处理器,诸如例如网络或通信处理器、压缩引擎、GPGPU等GPU、高吞吐量MIC处理器、或嵌入式处理器等等。
SRAM单元1008中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令,具体而言,存储有该指令的暂时和永久副本。该指令可以包括:由处理器1001中的至少一个单元执行时导致电子设备实施如前述所提到的视频处理方法的指令。
需要说明的是,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实现方式中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实现方式中都需要这样的特征,并且在一些实现方式中,可以不包括这些特征或者可以与其他特征组合。
虽然通过参照本申请的某些实现方式,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,以上内容是结合具体的实现方式对本申请所作的进一步详细说明,不能认定本申请的具体实现方式只局限于这些说明。本领域技术人员可以在形式上和细节上对其作各种改变,包括做出若干简单推演或替换,而不偏离本申请的精神和范围。

Claims (10)

1.一种视频处理方法,其特征在于,应用于电子设备,所述方法包括:
确定所述电子设备拍摄的原视频的特征信息,所述特征信息包括主题信息、场景信息、用户操作和运镜信息以及精彩帧信息,其中,不同所述特征信息的优先级不同;
根据预设的所述特征信息的优先级高低,从高到低依次从所述原视频中选择所述特征信息对应的预设数量的第一预设时长的视频片段作为目标视频片段,所述预设数量大于等于第一数量阈值,且小于等于第二数量阈值,所述第一预设时长大于等于第一时长阈值,且小于等于第二时长阈值;以及
根据所述特征信息确定视频编辑信息,所述视频编辑信息包括风格信息,所述风格信息包括背景音乐、转场、滤镜、特效、变速、贴纸、文字中的一种或者多种;
根据所述目标视频片段和所述视频编辑信息,生成所述原视频对应的第二预设时长的剪辑视频,所述第二预设时长大于等于第三时长阈值,且小于等于第四时长阈值。
2.根据权利要求1所述的视频处理方法,其特征在于,根据预设的所述特征信息的优先级高低,从高到低依次从所述原视频中选择所述特征信息对应的视频片段,包括:
若选择的优先级高的所述特征信息对应的视频片段的数量总和小于所述第一数量阈值,和/或时长总和小于第三预设时长,则继续选择下一优先级的所述特征标签对应的视频片段,以使选择的视频片段的数量总和大于等于所述第一数量阈值,且小于等于所述第二数量阈值,以及时长总和大于等于所述第三时长阈值,且小于等于所述第四时长阈值,其中,根据不同优先级的所述特征信息选择视频片段时,所述第三预设时长的值不同,并且所述精彩帧信息的优先级高于所述用户操作和运镜信息的优先级,所述用户操作和运镜信息的优先级高于所述场景信息的优先级;
若选择的优先级高的所述特征信息对应的视频片段的数量总和大于等于所述第一数量阈值,且小于等于所述第二数量阈值,以及时长总和大于等于所述第三时长阈值,且小于等于所述第四时长阈值,则停止选择视频片段。
3.根据权利要求1或2所述的视频处理方法,其特征在于,根据预设的所述特征信息的优先级高低,从高到低依次从所述原视频中选择所述特征信息对应的视频片段,还包括:
确定所述特征信息对应的子特征信息,所述特征信息至少包括两个子特征信息,其中,不同所述子特征信息的优先级不同;
根据预设的所述子特征信息的优先级高低,从高到低依次从所述原视频中选择所述子特征信息对应的视频片段。
4.根据权利要求1-3任意一项所述的视频处理方法,其特征在于,从所述原视频中选择所述精彩帧信息对应的视频片段,包括:
确定所述原视频包括的至少一个精彩帧区域,每个所述精彩帧区域包括至少一个精彩帧,不同所述精彩帧的优先级高低不同;
根据预设的所述精彩帧的优先级高低,从高到低依次确定时长大于等于第四预设时长的所述精彩帧区域中的所述精彩帧;并且
以所述精彩帧为基准,若确定所述精彩帧至少一侧的第五预设时长内存在其他精彩帧,则从所述原视频中截取第六预设时长的包括所述精彩帧的视频片段作为选择的所述精彩帧对应的视频片段;
若确定所述精彩帧至少一侧的所述第五预设时长内不存在其他精彩帧,则从所述原视频中截取第七预设时长的包括所述精彩帧的视频片段作为选择的所述精彩帧对应的视频片段。
5.根据权利要求4所述的视频处理方法,其特征在于,从所述原视频中截取包括所述精彩帧的视频片段作为选择的所述精彩帧对应的视频片段,包括:
根据所述精彩帧在所述精彩帧区域中的位置,以及所述精彩帧区域的边界位置,确定所述精彩帧两侧的截取时长;
根据所述截取时长截取视频片段,以得到所述精彩帧对应的视频片段。
6.根据权利要求4或5所述的视频处理方法,其特征在于,所述方法还包括:
若确定选择的所述精彩帧对应的视频片段与已截取的视频片段存在重合的情况,则放弃重合部分视频片段的选择,确定所述精彩帧对应的截取视频片段;以及
若确定所述精彩帧对应的截取视频片段的时长大于等于所述第一时长阈值,则使得所述精彩帧对应的截取视频片段与所述已截取的视频片段之间间隔预设的间隔时长。
7.根据权利要求1-6任意一项所述的视频处理方法,其特征在于,根据所述目标视频片段和所述视频编辑信息,生成所述原视频对应的剪辑视频,包括:
对所述目标视频片段进行片段去重处理,以去除所述目标视频片段中相同或者相似的视频片段;
根据所述片段去重处理后的所述目标视频片段和所述视频编辑信息,生成所述原视频对应的剪辑视频。
8.根据权利要求1-7任意一项所述的视频处理方法,其特征在于,根据所述目标视频片段和所述视频编辑信息,生成所述原视频对应的剪辑视频,包括:
按照所述目标视频片段的时间顺序依次拼接所述目标视频片段,并且在所述目标视频片段之间添加转场,以及对所述目标视频片段进行背景音乐卡点处理,以将所述目标视频片段的转场位置卡点在所述背景音乐的节奏点上,得到第一中间视频;
若确定所述第一中间视频的时长为所述第二预设时长,则对所述第一中间视频进行编辑信息添加处理得到所述剪辑视频,所述编辑信息添加处理包括滤镜添加处理、特效添加处理、变速添加处理、贴纸添加处理、文字添加处理中的一种或者多种;
若确定所述第一中间视频的时长并非所述第二预设时长,则对所述第一中间视频进行时长调整处理,得到所述第二预设时长的第二中间视频,并对所述第二中间视频进行编辑信息添加处理得到所述剪辑视频,所述时长调整处理包括对至少一个视频片段进行变速处理、对至少一个视频片段进行片段增删处理、对至少一个转场进行转场调整处理中的一种或者多种。
9.根据权利要求1-8任意一项所述的视频处理方法,其特征在于,所述方法还包括:
显示包括所述原视频的第一界面;
接收用户对所述第一界面的第一操作;
响应于所述第一操作,根据对所述原视频进行特征识别处理得到的所述特征信息,生成所述剪辑视频,并且显示包括所述剪辑视频和编辑控件的第二界面;
接收用户对所述编辑控件的第二操作;
响应于所述第二操作,对所述剪辑视频进行编辑处理。
10.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序,所述计算机程序包括程序指令;
处理器,用于执行所述程序指令,以使所述电子设备执行根据权利要求1-9任意一项所述的视频处理方法。
CN202210187280.6A 2022-02-28 2022-02-28 一种视频处理方法和电子设备 Active CN115567660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210187280.6A CN115567660B (zh) 2022-02-28 2022-02-28 一种视频处理方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210187280.6A CN115567660B (zh) 2022-02-28 2022-02-28 一种视频处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN115567660A true CN115567660A (zh) 2023-01-03
CN115567660B CN115567660B (zh) 2023-05-26

Family

ID=84737366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210187280.6A Active CN115567660B (zh) 2022-02-28 2022-02-28 一种视频处理方法和电子设备

Country Status (1)

Country Link
CN (1) CN115567660B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116347009A (zh) * 2023-02-24 2023-06-27 荣耀终端有限公司 视频生成方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092561A1 (en) * 2014-09-30 2016-03-31 Apple Inc. Video analysis techniques for improved editing, navigation, and summarization
US10319410B1 (en) * 2015-12-21 2019-06-11 Amazon Technologies, Inc. Video story assembly
CN109889920A (zh) * 2019-04-16 2019-06-14 威比网络科技(上海)有限公司 网络课程视频剪辑方法、系统、设备及存储介质
CN110381371A (zh) * 2019-07-30 2019-10-25 维沃移动通信有限公司 一种视频剪辑方法及电子设备
CN110612721A (zh) * 2018-01-19 2019-12-24 深圳市大疆创新科技有限公司 视频处理方法及终端设备
CN110740262A (zh) * 2019-10-31 2020-01-31 维沃移动通信有限公司 背景音乐的添加方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160092561A1 (en) * 2014-09-30 2016-03-31 Apple Inc. Video analysis techniques for improved editing, navigation, and summarization
US10319410B1 (en) * 2015-12-21 2019-06-11 Amazon Technologies, Inc. Video story assembly
CN110612721A (zh) * 2018-01-19 2019-12-24 深圳市大疆创新科技有限公司 视频处理方法及终端设备
CN109889920A (zh) * 2019-04-16 2019-06-14 威比网络科技(上海)有限公司 网络课程视频剪辑方法、系统、设备及存储介质
CN110381371A (zh) * 2019-07-30 2019-10-25 维沃移动通信有限公司 一种视频剪辑方法及电子设备
CN110740262A (zh) * 2019-10-31 2020-01-31 维沃移动通信有限公司 背景音乐的添加方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116347009A (zh) * 2023-02-24 2023-06-27 荣耀终端有限公司 视频生成方法及电子设备
CN116347009B (zh) * 2023-02-24 2023-12-15 荣耀终端有限公司 视频生成方法及电子设备

Also Published As

Publication number Publication date
CN115567660B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN113475092B (zh) 一种视频处理方法和移动设备
CN115002340B (zh) 一种视频处理方法和电子设备
WO2021190078A1 (zh) 短视频的生成方法、装置、相关设备及介质
US12096120B2 (en) Photographing method in telephoto scenario and mobile terminal
US11676395B2 (en) Automated capture of image data for points of interest
CN113365013A (zh) 一种音频处理方法及设备
CN114363527B (zh) 视频生成方法和电子设备
CN115689963B (zh) 一种图像处理方法及电子设备
CN115484403B (zh) 录像方法和相关装置
CN115567660B (zh) 一种视频处理方法和电子设备
CN111480158A (zh) 文件管理方法及电子设备
CN114926351A (zh) 图像处理方法、电子设备以及计算机存储介质
CN115529378A (zh) 一种视频处理方法及相关装置
CN107392850A (zh) 图像处理方法及其系统
CN116861019A (zh) 图片显示方法及电子设备
CN115225756A (zh) 确定目标对象的方法、拍摄方法和装置
CN116405776A (zh) 多镜头视频录制方法及相关设备
US11900681B2 (en) Visual media management for mobile devices
CN116033261B (zh) 一种视频处理方法、电子设备、存储介质和芯片
EP4429224A1 (en) Video generation system and method, and related apparatus
CN116055861B (zh) 一种视频编辑方法和电子设备
CN116567394A (zh) 一种分享多媒体文件的方法、发送端设备和接收端设备
CN118590714A (zh) 视觉媒体数据处理方法、程序产品、存储介质及电子设备
CN118474448A (zh) 视频处理方法、电子设备、芯片系统以及存储介质
CN116962777A (zh) 一种视频播放方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant