CN116055799B - 多轨道视频编辑方法、图形用户界面及电子设备 - Google Patents

多轨道视频编辑方法、图形用户界面及电子设备 Download PDF

Info

Publication number
CN116055799B
CN116055799B CN202210911228.0A CN202210911228A CN116055799B CN 116055799 B CN116055799 B CN 116055799B CN 202210911228 A CN202210911228 A CN 202210911228A CN 116055799 B CN116055799 B CN 116055799B
Authority
CN
China
Prior art keywords
video
electronic device
picture
track
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210911228.0A
Other languages
English (en)
Other versions
CN116055799A (zh
Inventor
刘广新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Publication of CN116055799A publication Critical patent/CN116055799A/zh
Application granted granted Critical
Publication of CN116055799B publication Critical patent/CN116055799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本申请公开了一种多轨道视频编辑方法、图形用户界面及电子设备。在该方法中,电子设备可以根据接收到的操作将素材添加在视频中,并记录该素材在视频中的时间范围。之后,根据接收到的针对已经添加过素材的视频的编辑操作,对视频执行裁剪视频时长/更改视频片段顺序/删除视频片段等编辑操作,并且,还会根据素材在视频中的时间范围,以及,编辑后的视频的时间范围,相应的调整素材在视频中的时间范围,使得在编辑视频前后,素材开始时间和/或结束时间在视频中画面一致,从而在编辑视频的同时辅助用户编辑已经添加的素材,简化用户进行视频编辑的步骤,提高用户编辑视频的效率。

Description

多轨道视频编辑方法、图形用户界面及电子设备
技术领域
本申请涉及终端领域,尤其涉及一种多轨道视频编辑方法、图形用户界面及电子设备。
背景技术
随着多媒体技术的快速发展,用户乐忠于以视频的方式录制日常生活,并将视频分享到网络上。此外,用户还会对录制好的原始视频进行编辑,例如添加文字、音乐和特效等多种素材,以及裁剪视频的时长,更改每段视频的顺序等,得以分享更加精彩丰富的视频。
当对已经添加过素材后的视频进行裁剪时长、更改顺序、删除视频片段等的编辑操作时,如何实现同步编辑视频以及其他各个素材,使得编辑后的素材和视频对应关系,仍然具有编辑前素材和视频的对应关系,从而使得用户无需再对素材进行行裁剪时长、更改顺序等的编辑操作,简化用户的编辑操作,则是亟待解决的问题。
发明内容
本申请提供了一种多轨道视频编辑方法、图形用户界面及电子设备。在该方法中,电子设备可以根据接收到的操作将素材添加在视频中,并记录该素材在视频中的时间范围。之后,根据接收到的针对已经添加过素材的视频的编辑操作,对视频执行裁剪视频时长/更改视频片段顺序/删除视频片段等编辑操作,并且,还会根据素材在视频中的时间范围,以及,编辑后的视频的时间范围,相应的调整素材在视频中的时间范围,使得在编辑视频前后,素材开始时间和/或结束时间在视频中画面一致,从而在编辑视频的同时辅助用户编辑已经添加的素材,简化用户进行视频编辑的步骤,提高用户编辑视频的效率。
第一方面,本申请提供了一种多轨道视频编辑方法,该方法应用于电子设备,该方法包括:该电子设备获取素材与第一视频的对应关系,该对应关系指示了:该素材的起始位置、结束位置,分别对应于,该第一视频中的第一画面、第二画面;接收到用于裁剪该第一视频的第一操作,将该第一视频中的第一部分裁剪掉,得到第二视频,该第一部分为该第一视频中一段连续的内容,且该第一部分包含该第一视频中第二画面之前的内容且不包含该第一画面;调整该素材,使得该素材的起始位置对应于该第二视频中的该第一画面。
实施第一方面提供的方法后,电子设备能够实现,在裁剪视频时长的同时,对已添加在该视频中的素材进行相应的调整,使得调整前的素材开始时间在编辑前的视频中的对应画面,与调整后的素材开始时间在编辑后的视频中的对应画面相同。从而实现辅助用户处理已经添加的素材,无需用户再重新输入编辑素材的操作,简化用户进行视频编辑的步骤,提高用户裁剪视频时长的效率。
结合第一方面提供的方法,在该电子设备获取素材与第一视频的对应关系之前,该方法还包括:显示第一用户界面,该第一用户界面中包括:用于展示该第一视频的第一轨道、用于展示该素材的第二轨道;该素材在该第二轨道中的起始位置、结束位置,分别对应于,该第一轨道中该第一视频中的该第一画面、该第二画面。
这样,电子设备可以根据用户作用在显示界面上的操作,对视频进行编辑,例如滑动视频轨道实现裁剪视频。
结合第一方面提供的方法,在该第一操作为从该第一视频的开始位置处开始裁剪的操作且该第一部分为该第一画面之前的内容的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,移动该素材,使得该素材的起始位置对应于该第二视频中的该第一画面;或者,在该第一操作为从该第一视频的结束位置处开始裁剪的操作且在该第一部分为该第一画面之后并且包含该第二画面的内容的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,将该素材对应于该第一部分的开始位置之后的内容裁剪掉。
这样,当用户输入不同的裁剪视频的操作时,相应的对素材的调整程度也不相同,从而实现输入多种调整操作,也能够使得对素材做出相应的调整,保证素材与视频的对应关系。
结合第一方面提供的方法,在该电子设备获取素材与第一视频的对应关系之前,该方法还包括:该电子设备接收到第二操作,该电子设备在该第二轨道中添加该素材,该素材的时长为默认时长。
这样,电子设备对素材进行相应的调整时,此时素材可以是预先添加在视频中的,并且未被用户调整过素材时长的。此时的素材的时长为默认时长,因此这个时候考虑到用户主要关心素材的插入位置,即素材的开始时间在视频中的对应画面,和默认时长,而不关心素材的结束时间在视频中的对应画面。因此在这种情况下,对素材进行相应调整时,只需要保证调整前后,素材开始时间在视频中对应的画面相同即都为第一画面即可,从而满足用户的编辑需求,提高用户体验。
结合第一方面提供的方法,该方法还包括:该电子设备接收到用于撤回该第一操作的第三操作,将该第二视频还原为该第一视频,并且,撤销对该素材的调整操作。
这样,当用户输入误触的编辑操作导致编辑错误的时,用户可以撤销编辑错误的操作,提高视频编辑效率。
结合第一方面提供的方法,该方法还包括:该电子设备接收到第四操作,生成第三视频,该第三视频为根据调整后的该素材和该第二视频合成得到的视频。
这样,当用户完成对视频的编辑后,可以生成编辑后的视频,该编辑后的视频即裁剪时长后的视频和做出相应调整的素材合成得到的新视频。
第二方面,本申请提供了一种多轨道视频编辑方法,该方法应用于电子设备,该方法包括:该电子设备获取素材与第一视频的对应关系,该对应关系指示了:该素材的起始位置、结束位置,分别对应于,该第一视频中的第一画面、第二画面;接收到用于裁剪该第一视频的第一操作,将该第一视频中的第一部分裁剪掉,得到第二视频,该第一部为该第一视频中一段连续的内容,且该第一部分包含该第一视频中第二画面之前的内容;调整该素材,使得该素材的起始位置对应于该第二视频中的该第一画面,和/或,使得该素材的结束位置对应于该第二视频中的该第二画面。
实施第二方面提供的方法后,电子设备能够实现,在裁剪视频时长的同时,对已添加在该视频中的素材进行相应的调整,使得调整前的素材开始时间在编辑前的视频中的对应画面与调整后的素材开始时间在编辑后的视频中的对应画面相同(都为第一画面),和/或,使得调整前的素材结束时间在编辑前的视频中的对应画面与调整后的素材结束时间在编辑后的视频中的对应画面相同(都为第二画面)。从而实现辅助用户处理已经添加的素材,无需用户再重新输入编辑素材的操作,简化用户进行视频编辑的步骤,提高用户裁剪视频时长的效率。
结合第二方面提供的方法,在该电子设备获取素材与第一视频的对应关系之前,该方法还包括:显示第一用户界面,该第一用户界面中包括:用于展示该第一视频的第一轨道、用于展示该素材的第二轨道;该素材在该第二轨道中的起始位置、结束位置,分别对应于,该第一轨道中该第一视频中的该第一画面、该第二画面。
这样,电子设备可以根据用户作用在显示界面上的操作,对视频进行编辑,例如滑动视频轨道实现裁剪视频。
结合第二方面提供的方法,在该第一操作为从该第一视频的开始位置处开始裁剪的操作且该第一部分为该第一画面之前的内容的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,移动该素材,使得该素材的起始位置对应于该第二视频中的该第一画面,并且,该素材的结束位置对应于该第二视频中的该第二画面;或者,在该第一操作为从该第一视频的结束位置处开始裁剪的操作且在该第一部分为该第一画面之后并且包含该第二画面的内容的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,将该素材对应于该第一部分的开始位置之后的内容裁剪掉;或者,在该第一操作为从该第一视频的开始位置处开始裁剪的操作且该第一部分为该第二画面之前包含该第一画面的内容的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,将该素材中对应于该第一部分的结束位置之前的内容裁剪掉,裁剪后的该素材的起始位置、结束位置分别对应于该第一视频中的第三画面、该第二画面;在该第二轨道中移动裁剪后的该素材,使得裁剪后的该素材的起始位置对应于该第二视频中的该第三画面,并且裁剪后的该素材的结束位置对应于该第二视频中的该第二画面;或者,在该第一部分包含该第一画面和该第二画面的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,删除该素材。
这样,当用户输入不同的裁剪视频的操作时,相应的对素材的调整程度也不相同,从而实现输入多种编辑操作,也能够使得对素材做出相应的调整,保证素材与视频的对应关系,具体可以保证以下任意一项或多项:素材的开始时间对应的画面在调整前后一致,即都为第一画面,素材的结合素时间对应的画面在调整前后一致,即都为第二画面。
结合第二方面提供的方法,在该电子设备获取素材与第一视频的对应关系之前,该方法还包括:该电子设备接收到第二操作,该电子设备在该第二轨道中添加该素材,该素材的时长为默认时长;该电子设备接收到用于缩短或者延长该素材的操作,该电子设备将该素材的时长由该默认的时长缩短或者延长为第一时长,该第一时长为该第一视频中该第一画面到该第二画面之间的时长。
这样,电子设备对素材进行相应的调整时,此时素材是预先添加在视频中的并且已经被用户调整过素材时长的。此时的素材的时长不再是默认时长而是调整过时长后的素材,因此这个时候考虑到用户既关心素材的插入位置,即素材的开始时间在视频中的对应画面,也关心素材的结束时间在视频中的对应画面。因此在这种情况下,对素材进行相应调整时,最好需要保证调整前后素材开始时间在视频中对应的画面相同即都为第一画面,并且,调整前后素材结束时间在视频中对应的画面相同即都为第二画面。除非,视频中的第一画面或第二画面被裁剪掉的情况下,才需要保证对应的其中一项。从而满足用户的编辑需求,提高用户体验。
结合第二方面提供的方法,该方法还包括:该电子设备接收到用于撤回该第一操作的第三操作,将该第二视频还原为该第一视频,并且,撤销对该素材的调整操作。
这样,当用户输入误触的编辑操作导致编辑错误的时,用户可以撤销编辑错误的操作,提高视频编辑效率。
结合第二方面提供的方法,该方法还包括:该电子设备接收到第四操作,生成第三视频,该第三视频为根据调整后的该素材和该第二视频合成得到的视频。
这样,当用户完成对视频的编辑后,可以生成编辑后的视频,该编辑后的视频即裁剪时长后的视频和做出相应调整的素材合成得到的新视频。
第三方面本申请提供了一种多轨道视频编辑方法,该方法应用于电子设备,该方法包括:该电子设备获取素材与第一视频的对应关系,该对应关系指示了:该素材的起始位置、结束位置,分别对应于,该第一视频中的第一画面、第二画面;接收到第一操作,调整该第一视频中第一部分和/或第二部分在该第一视频中的位置,得到第二视频,该第一部分为该第一视频中一段连续的内容,且该第一部包含该第一画面,该第二部分包含该第二画面;调整该素材,使得该素材的起始位置对应于该第二视频中的该第一画面。
实施第三方面提供的方法后,电子设备能够实现,在更改视频顺序的同时,对已添加在该视频中的素材进行相应的调整,使得调整前的素材开始时间在更改视频顺序前的视频中的对应画面与调整后的素材开始时间在更改视频顺序后的视频中的对应画面相同(都为第一画面)。从而实现辅助用户处理已经添加的素材,无需用户再重新输入编辑素材的操作,简化用户进行视频编辑的步骤,提高用户编辑视频的效率。
结合第三方面提供的方法,在该电子设备获取素材与第一视频的对应关系之前,该方法还包括:显示第一用户界面,该第一用户界面中包括:用于展示该第一视频的第一轨道、用于展示该素材的第二轨道;该素材在该第二轨道中的起始位置、结束位置,分别对应于,该第一轨道中该第一视频中的该第一画面、该第二画面。
这样,电子设备可以根据用户作用在显示界面上的操作,对视频进行编辑,例如拖拽视频片段实现更改视频顺序。
结合第三方面提供的方法,在该第一部分与该第二部分,在该第二视频中的相对位置,和,在该第一视频中的相对位置相同的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,将该素材的起始位置,移动至,对应于该第二视频中的该第一画面处;在该第一部分与该第二部分,在该第二视频中的相对位置,和,在该第一视频中的相对位置不同的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,将该素材对应于该第一部分的结束位置之后的内容裁剪掉,并且移动裁剪后的该素材,使得裁剪后的该素材的起始位置对应于该第二视频中的该第一画面。
这样,当用户输入不同的拖拽视频片段来更改顺序的操作时,相应的对素材的调整程度也不相同,从而实现输入多种编辑操作,也能够使得对素材做出相应的调整,保证素材与视频的对应关系,具体可以保证素材的开始时间对应的画面在调整前后一致,即都为第一画面。
结合第三方面提供的方法,在该电子设备获取素材与第一视频的对应关系之前,该方法还包括:该电子设备接收到第二操作,该电子设备在该第二轨道中添加该素材,该素材的时长为默认时长;该电子设备接收到用于缩短或者延长该素材的操作,该电子设备将该素材的时长由该默认的时长缩短或者延长为第一时长,该第一时长为该第一视频中该第一画面到该第二画面之间的时长。
这样,电子设备对素材进行相应的调整时,此时素材是预先添加在视频中的,该素材的时长可以是默认时长也可以是已经被用户调整过素材时长的,无论素材是默认时长还是调整后的时长,这种情况都只考虑素材的插入位置,即素材的开始时间在视频中的对应画面,而不考虑素材的结束时间在视频中的对应画面。因此在这种情况下,若素材跨越两个连续的视频片段,当更改顺序后的两个视频片段不再连续时,为了避免素材被分割导致不连续的情况出现,因此对素材进行相应调整时,只需要保证调整前后素材开始时间在视频中对应的画面相同即都为第一画面。
结合第三方面提供的方法,该方法还包括:该电子设备接收到用于撤回该第一操作的第三操作,将该第二视频还原为该第一视频,并且,撤销对该素材的调整操作。
这样,当用户输入误触的编辑操作导致编辑错误的时,用户可以撤销编辑错误的操作,提高视频编辑效率。
结合第三方面提供的方法,该方法还包括:该电子设备接收到第四操作,生成第三视频,该第三视频为根据调整后的该素材和该第二视频合成得到的视频。
这样,当用户完成对视频的编辑后,可以生成编辑后的视频,该编辑后的视频即裁剪时长后的视频和做出相应调整的素材合成得到的新视频。
第四方面本申请提供了一种多轨道视频编辑方法,该方法应用于电子设备,该方法包括:该电子设备获取素材与第一视频的对应关系,该对应关系指示了:该素材的起始位置、结束位置,分别对应于,该第一视频中的第一画面、第二画面;接收到第一操作,将该第一视频中第一部分删除,得到第二视频,该第一部分为该第一视频中一段连续的内容且包含该第二画面之前的内容;调整该素材,使得该素材的起始位置对应于该第二视频中的该第一画面。
实施第四方面提供的方法后,电子设备能够实现,在更改删除视频片段的同时,对已添加在该视频中的素材进行相应的调整,使得调整前的素材开始时间在删除视频片段前的视频中的对应画面与调整后的素材开始时间在删除视频片段后的视频中的对应画面相同(都为第一画面)。从而实现辅助用户处理已经添加的素材,无需用户再重新输入编辑素材的操作,简化用户进行视频编辑的步骤,提高用户编辑视频的效率。
结合第四方面提供的方法,在该电子设备获取素材与第一视频的对应关系之前,该方法还包括:显示第一用户界面,该第一用户界面中包括:用于展示该第一视频的第一轨道、用于展示该素材的第二轨道;该素材在该第二轨道中的起始位置、结束位置,分别对应于,该第一轨道中该第一视频中的该第一画面、该第二画面。
这样,电子设备可以根据用户作用在显示界面上的操作,对视频进行编辑,例如选中视频片段实现删除视频片段。
结合第四方面提供的方法,在该第一部分包含该第一画面的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,删除该素材;在该第一部分为该第一画面之前的内容的情况下,该电子设备调整该素材,具体包括:在该第二轨道中,移动该素材,使得该素材的起始位置对应于该第二视频中的该第一画面。
这样,当用户删除不同的视频片段的操作时,相应的对素材的调整程度也不相同,从而实现输入多种编辑操作,也能够使得对素材做出相应的调整,保证素材与视频的对应关系,具体可以保证素材的开始时间对应的画面在调整前后一致,即都为第一画面。
结合第四方面提供的方法,在该电子设备获取素材与第一视频的对应关系之前,该方法还包括:该电子设备接收到第二操作,该电子设备在该第二轨道中添加该素材,该素材的时长为默认时长。
结合第四方面提供的方法,在该电子设备接收到第二操作之后,获取素材与第一视频的对应关系之前,该方法还包括:该电子设备接收到用于缩短或者延长该素材的操作,该电子设备将该素材的时长由该默认的时长缩短或者延长为第一时长,该第一时长为该第一视频中该第一画面到该第二画面之间的时长。
这样,电子设备对素材进行相应的调整时,此时素材是预先添加在视频中的,该素材的时长可以是默认时长也可以是已经被用户调整过素材时长的,无论素材是默认时长还是调整后的时长,这种情况都只考虑素材的插入位置,即素材的开始时间在视频中的对应画面,而不考虑素材的结束时间在视频中的对应画面。因此在这种情况下,若素材跨越两个连续的视频片段,当删除两个视频片段中的任意一个时,为了避免素材被分割导致不连续的情况出现,因此对素材进行相应调整时,只需要保证调整前后素材开始时间在视频中对应的画面相同即都为第一画面。
结合第四方面提供的方法,该方法还包括:该电子设备接收到用于撤回该第一操作的第三操作,将该第二视频还原为该第一视频,并且,撤销对该素材的调整操作。
这样,当用户输入误触的编辑操作导致编辑错误的时,用户可以撤销编辑错误的操作,提高视频编辑效率。
结合第四方面提供的方法,该方法还包括:该电子设备接收到第四操作,生成第三视频,该第三视频为根据调整后的该素材和该第二视频合成得到的视频。
这样,当用户完成对视频的编辑后,可以生成编辑后的视频,该编辑后的视频即裁剪时长后的视频和做出相应调整的素材合成得到的新视频。
第五方面,本申请提供了一种芯片,该芯片应用于电子设备,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面到第四方面中任一项所描述的方法。
第六方面,本申请提供了一种计算机可读存储介质,该计算机可读存储介质包括指令,当该指令在电子设备上运行时,使得该电子设备执行如第一方面到第四方面中任一项所描述的方法。
第七方面,本申请提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器;其中,该一个或多个存储器与该一个或多个处理器耦合,该一个或多个存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,当该一个或多个处理器执行该计算机指令时,使得该电子设备执行如第一方面到第四方面中任一项所描述的方法。
附图说明
图1A为本申请实施例提供的一种电子设备的硬件架构示意图;
图1B为本申请实施例提供的一种素材与视频的对应关系的存储结构示意图;
图1C为本申请实施例提供的一种电子设备的软件架构示意图;
图1D为本申请实施例提供的一种视频编辑类应用的架构框图;
图2A-图2B为本申请实施例提供的一种选择待编辑视频的操作界面示意图;
图2C-图2F为本申请实施例提供的一种添加素材的操作界面示意图;
图2G-图2H为本申请实施例提供的一种裁剪视频时长的操作界面示意图;
图2I-图2J为本申请实施例提供的一种分割视频的操作界面示意图;
图2K-图2L为本申请实施例提供的一种更改视频片段顺序的操作界面示意图;
图2M-图2N为本申请实施例提供的一种删除视频的操作界面示意图;
图3A为本申请实施例提供的一种裁剪视频时长时编辑素材的规则示意图;
图3B为本申请实施例提供的另一种裁剪视频时长时编辑素材的规则示意图;
图4为本申请实施例提供的一种更改视频片段顺序时编辑素材的规则示意图;
图5为本申请实施例提供的一种删除视频片段顺序时编辑素材的规则示意图;
图6为本申请实施例提供的一种为视频添加素材的交互流程图;
图7为本申请实施例提供的一种添加素材后裁剪视频的交互流程图;
图8为本申请实施例提供的一种添加素材后更改视频片段顺序的交互流程图;
图9为本申请实施例提供的一种多轨道视频编辑方法流程图;
图10为本申请实施例提供的一种Magic player处理operation数据包的方法流程。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请以下实施例中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
随着视频编辑功能的丰富,精彩的视频已经不能只以单调的视频来呈现,需要通过添加更多的素材,例如添加声音、音乐、字幕、特效等多种素材,来丰富视频画面的质感,提升视频的视听体验。为了呼应多素材呈现的需求,需要使用多轨道功能来独立控制视频,和每一个素材,使得每一个素材都能定制自己的位置,这样可以实现播放视频的同时,还可以同步播放声音、音乐,以及同步显示字幕、特效等。
在视频编辑场景中,编辑操作包括但不限于:添加素材、裁剪视频时长、将视频分割为一个或多个视频片段、更改视频包含的多个视频片段的顺序、删除视频片段、裁剪已添加的素材的时长等等。当在视频编辑过程中添加了素材后,相当于在单轨道视频编辑的基础上变为多轨道视频编辑,也就是说电子设备除了配有最初的视频轨道外,还配置了声音、音乐、字幕、特效等素材对应的多个独立轨道,以为视频叠加多种素材和满足更为复杂的视频编辑需求。
当对待编辑的视频执行添加素材的编辑操作后,已添加的素材与待编辑视频则有了绑定关系,该绑定关系是指素材在视频中的时间范围,素材在视频中的时间范围具体包含了:素材开始时间对应在视频中的画面,素材时长(电子设备默认的初始时长)。值得注意的是,当素材已经被调整过时长的情况下,素材与视频的绑定关系还包括:素材结束时间对应在视频中的画面,素材的时间范围等。
之后,对已经添加过素材的视频执行裁剪视频时长、更改视频包含的多个视频片段的顺序或者删除视频片段的编辑操作后,响应于该操作,电子设备会修改视频在视频轨道中的时长、更改视频中包含的多个视频片段在视频轨道中的顺序,删除相应的视频片段。由于,电子设备未接收到对已添加的素材的相应编辑操作,因此,在素材轨道中并未发生变化或者发生的变化与视频在视频轨道发生的变化不对应时,这样会破坏之前添加素材后,视频与素材的绑定关系,进而出现在对视频编辑前后,素材开始时间和/或结束时间在视频中画面不一致的情况。针对上述情况,则需要用户再手动更改素材在素材轨道中的时间范围,使得手动更改后的素材与视频还具有此前的绑定关系,即在视频编辑前后,素材开始时间和/或结束时间在视频中画面一致。
可见,上文介绍的视频编辑操作过于繁琐,需要用户多次手动更改视频/素材,降低视频编辑效率。
为了解决上述问题,本申请提供了多轨道视频编辑方法、图形用户界面及电子设备。在该方法中,电子设备可以根据接收到的操作将素材添加在视频中,并记录该素材在视频中的时间范围。之后,根据接收到的针对已经添加过素材的视频的编辑操作,对视频执行裁剪视频时长/更改视频片段顺序/删除视频片段等编辑操作,并且,还会根据素材在视频中的时间范围,以及,编辑后的视频的时间范围,相应的调整素材在视频中的时间范围,使得在编辑视频前后,素材开始时间和/或结束时间在视频中画面一致。
接下来,对本申请涉及的自定义词汇进行解释,如下:
素材包括但不限于以下类型:声音、音乐、字幕、特效等,或者还可以包括标题、表情包、视频。这些素材可用于在播放视频的同时,叠加播放声音、音乐,或者叠加显示字幕、特效等。本申请实施例对素材的种类不作限制。
多轨道是指,在视频编辑场景中通过为视频添加一个或多个素材之后,在视频轨道的基础上叠加了一个或多个素材轨道,从而形成的多个独立的用于承载不同的内容轨道。该多轨道具体包含视频轨道,声音轨道,音乐轨道,字幕轨道以及特效等等。并且,通过作用于各个轨道上呈现的视频/素材的操作,可以实现裁剪视频时长/更改视频片段顺序/删除视频片段,或者裁剪素材时长和位置等。
该绑定关系是指示素材在视频中的时间范围的信息,指示素材在视频中的时间范围的信息具体包含了:素材开始时间对应在视频中的画面,素材时长(电子设备默认的初始时长)。值得注意的是,当素材已经被调整过时长的情况下,素材与视频的绑定关系还包括:素材结束时间对应在视频中的画面,素材的时间范围等。在本申请中,素材开始时间对应在视频中的画面还可以被称为第一画面,素材结束时间对应在视频中的画面又称第二画面。
在本申请实施例中,上述绑定关系可以根据两类操作确定:根据为视频添加素材的操作而确定的,根据用于对已添加的素材进行裁剪素材时长的操作而确定。可以理解的是,根据前者确定的绑定关系为初始绑定关系,当电子设备接收到对已添加的素材进行调整的操作后,将会根据该调整的操作对初始绑定关系进行更新。在后续的裁剪视频时长/更改视频片段顺序/删除视频片段的过程中,以更新后的绑定关系为准,来实现辅助用户调整已经添加的素材。
在本申请中,承载视频的视频轨道可以被称为第一轨道,承载素材的素材轨道可以被称为第二轨道。在本申请中,对视频进行上述裁剪视频时长/更改视频片段顺序/删除视频片段的操作之前的视频还可以被称为第一视频,被执行过上述编辑操作之后的视频则还可以被称为第二视频。在本申请中,上述用于裁剪视频时长/更改视频片段顺序/删除视频片段的操作还可以被称为第一操作,上述用于添加素材的操作还可以被称为第二操作,用于撤销第一操作的操作还可以被称为第三操作,该撤销操作不可以是点击电子设备中的视频编辑类APP提供的撤销控件,也可以是用于滑动视频把手,拖拽视频片段的操作。用于生成第二视频和调整后的素材合成的视频的操作可以被称为第四操作,该第四操作例如是点击后文UI实施例中介绍的导出控件。
可见,实施本申请提供的方法后,可达到以下技术效果:
在视频编辑过程中,在对已经添加过素材的视频进行裁剪时长,更改视频片段顺序或者删除视频片段等编辑操作时,电子设备可以根据上述针对视频的操作,相应的对已将添加的素材在视频中的时间范围进行调整,从而实现辅助用户处理已经添加的素材,无需用户再重新输入编辑素材的操作,简化用户进行视频编辑的步骤,提高用户编辑视频的效率。
接下来,先介绍本申请提供的多轨道视频编辑方法所应用的电子设备。
电子设备可以是搭载或者其它操作系统的便携式终端设备,例如手机、平板电脑、可穿戴设备、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备等等。本申请对电子设备的形态不作限制。
参考图1A,图1A示例性示出一种电子设备的硬件架构示意图。
如图1A所示,电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,显示屏140,摄像头150,音频模块160,扬声器160A,受话器160B,麦克风160C,耳机接口160D,以及视频编解码器170。电子设备100还可能包括以下未示出的一项或多项:充电管理模块,电源管理模块,电池,天线,移动通信模块,无线通信模块,传感器模块,按键,马达,指示器以及用户标识模块(subscriber identification module,SIM)卡接口等。其中传感器模块可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
在本申请实施例中,处理器110可用于控制电子设备运行视频编辑应用,以根据用户操作对视频进行编辑。对视频进行编辑具体包括:处理器110可以根据接收到的用户操作将一个或多个素材添加至待编辑视频的目标位置处,并存储已添加的素材与视频之间的绑定关系。之后,处理器110可以根据接收到的用户操作裁剪视频时长、更改视频包含的多个视频片段的顺序或者删除视频片段,与此同时,处理器110还根据读取到的绑定关系,以及上述操作对应的裁剪视频时长后、更改视频片段的顺序后,或者删除视频片段后得到的视频的时间范围,相应的去调整素材在视频中的时间范围。从而使得在编辑视频前后,素材开始时间和/或结束时间在视频中画面一致。关于处理器110执行的上述操作的具体实现方法可以参考后文的UI实施例,以及方法实施例的详细描述,在此暂不赘述。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。
随机存取存储器可以包括静态随机存储器(static random-access memory,SRAM)、动态随机存储器(dynamic random access memory,DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM,例如第五代DDR SDRAM一般称为DDR5 SDRAM)等;
非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等,按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单元(multi-level cell,MLC)、三阶储存单元(triple-level cell,TLC)、四阶储存单元(quad-level cell,QLC)等,按照存储规范划分可以包括通用闪存存储(英文:universalflash storage,UFS)、嵌入式多媒体存储卡(embedded multi media Card,eMMC)等。
随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
在本申请实施例中,上述存储器可用于存储编辑前的视频,和编辑后的视频,和编辑过程中产生的数据,该数据包括但不限于绑定关系。绑定关系具体体现在电子设备的中的素材与视频的对应关系的存储结构(又称Material Time Info)中。
参考图1B,图1B示例性示出一种素材与视频的对应关系的存储结构示意图。
如图1B所示,Material Time Info中可以包括但不限于以下信息:开始时间点(StartTimePoint)、结束时间点(EndTimePoint),时间范围(TimeRange)、手动调整(AdjustManual)以及持续时长(Duration)。
其中,StartTimePoint是指素材开始时间与视频对应画面绑定的点;
EndTimePoint是指素材结束时间与视频片段对应画面绑定的点。
TimeRange是指素材在整个视频中的时间范围。
AdjustManaul用于指示素材是否被用户手动调整过。以及用于区分素材是初始添加的素材还是经过用户裁剪时长/更改位置的素材。例如,当AdjustManaul的值为“0”时,则指示素材未被调整过,当AdjustManaul的值为“1”时,则指示素材被调整过。
Duration是用于记录未经用户调整过的素材的初始时长。
电子设备100通过GPU,显示屏140,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏140和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏140用于显示图像,视频等。显示屏140包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)。显示屏面板还可以采用有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flexlight-emitting diode,FLED),miniled,microLed,micro-oled,量子点发光二极管(quantum dot light emitting diodes,QLED)等制造。在一些实施例中,电子设备100可以包括1个或N个显示屏140,N为大于1的正整数。
在本申请实施例中,上述显示屏140可用于显示运行视频编辑类应用程序时所提供的用户界面具体可以参考后文UI实施例中对图2A-图2N的介绍,此外上述显示屏140还可用于显示图库应用提供的用户界面,该界面中包括但不限于待编辑的或者已经编辑成功后导出到图库中的视频。
电子设备100可以通过ISP,摄像头150,视频编解码器,GPU,显示屏140以及应用处理器等实现拍摄功能。
ISP用于处理摄像头150反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头150中。
摄像头150用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头150,N为大于1的正整数。
在本申请实施例中,电子设备100可以通过摄像头150拍摄视频,并将拍摄好的视频存储在图库中,以供后续对其进行编辑等。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器170用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
在本申请实施例中,视频编解码器170则是硬件编解码器和/或软件编解码器,视频编解码器170可以在Mediacodec通过msm_vidc的控制下,对待压缩的视频进行解码后再按照压缩策略中的目标规格对解码后的视频进行编码,编码后的视频即压缩后的视频。
电子设备100可以通过音频模块160,扬声器160A,受话器160B,麦克风160C,耳机接口160D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块160用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块160还可以用于对音频信号编码和解码。在一些实施例中,音频模块160可以设置于处理器110中,或将音频模块160的部分功能模块设置于处理器110中。
扬声器160A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器160A收听音乐,或收听免提通话。
受话器160B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器160B靠近人耳接听语音。
麦克风160C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风160C发声,将声音信号输入到麦克风160C。电子设备100可以设置至少一个麦克风160C。在另一些实施例中,电子设备100可以设置两个麦克风160C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风160C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口160D用于连接有线耳机。耳机接口160D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
在本申请实施例中,电子设备100可以通过音频模块160可用于在播放视频的同时播放该添加到该视频中的声音或者音乐。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏140。压力传感器的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏140,电子设备100根据压力传感器检测所述触摸操作强度。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
触摸传感器,也称“触控面板”。触摸传感器可以设置于显示屏140,由触摸传感器与显示屏140组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏140提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备100的表面,与显示屏140所处的位置不同。
在本申请实施例中,电子设备100可以通过压力传感器或者触摸传感器检测到用户输入至显示屏140上的操作,关于用户操作的具体介绍可以参考后文UI实施例中图2A-图2N中介绍的点击操作、触摸操作、拖拽、滑动操作等等,在此暂不赘述。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
参考图1C,图1C是本申请实施例的电子设备100的软件架构示意图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图1C所示,应用程序包可以包括视频编辑类APP,图库,相机,音乐等应用程序,或者还可以包括未示出的通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序,本申请对此不作限制。
视频编辑类APP是指为用户提供编辑视频服务的应用,编辑视频例如包括添加素材、裁剪视频时长,分割视频得到多个视频片段,调整视频片段的顺序,裁剪素材时长、更改素材添加在视频中的位置等等,具体的可以参考后文UI实施的详细描述,在此暂不赘述。
视频编辑类APP可以是在现有的应用程序中集成视频编辑服务的应用程序,也可以是一个新研发的专用于视频编辑的独立的应用程序。
可以理解的是,视频编辑类APP可以是电子设备100的系统APP也可以是第三方APP。其中,系统APP是指电子设备的生产商所提供或研发的APP,第三方APP是指非电子设备的生产商所提供或研发的APP。电子设备的生产商可以包括该电子设备的制造商、供应商、提供商或运营商等。
当视频编辑类APP具体是集成有视频编辑服务的现有应用程序时,该视频编辑类APP例如可以是图库这一应用程序。图库是一款用于存储图像、视频以及编辑图像、视频的应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图1C所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
Mediacodec是系统提供的用于对视频进行编解码的类,即为上层应用提供的一个用于对视频进行编解码的统一接口,该接口通过访问底层的编解码器来实现编解码的功能。在本申请实施例中,对视频进行编辑的过程中,相当于对视频进行解码后重新编码,因此上层应用例如视频编辑类APP可以调用Mediacodec进行编解码器的创建,即初始化编解码器,然后采用创建的编解码对视频进行编码。
内核层是硬件和软件之间的层。内核层至少包含编解码器驱动(msm_vidc),显示驱动,摄像头驱动,音频驱动,传感器驱动。
msm_vidc用于与硬件层中的编解码器进行交互,负责控制编解码器执行对视频的编解码任务。
在本申请实施例中,电子设备100的软件架构还包括系统库。系统库中的AndroidRuntime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
下面结合捕获拍摄场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头150捕获静态图像或视频。
参考图1D,图1D示例性示出一种视频编辑类应用的架构框图。
如图1D所示,该视频编辑类应用的架构框图包括:UI控制层、数据处理层、数据模型层、音视频流处理层等。可以理解的是,该视频编辑类应用的架构框图所包含的UI控制层、数据处理层、数据模型层、音视频流处理层都为图1C中的应用程程序层安装的视频编辑类应用程序所包含的各个子层。
UI控制层包括但不限于以下模块:视频轨道、文字轨道、音乐轨道和特效轨道。其中视频轨道用于承载视频,并为用户提供通过滑动视频、拖拽视频以实现裁剪视频时长,更改视频片段的顺序的服务。相应的,文字轨道、音乐轨道和特效轨道分别用于承载文字、音乐和特效等素粗,并为用户提供通过滑动轨道上的素材、拖拽素材以实现裁剪视频时长,更改素材添加在视频的位置的服务。
数据处理层包括:数据管理模块、模块影音(Magic player)和操作模块(Operation)。
数据管理模块中存储有视频编辑类APP界面中提供的视频、文字、音乐和特效等的相关数据,这些相关数据用于管理模块在接收到UI控制层传送的用户编辑操作时,获知编辑操作的对象的相关数据,然后根据接收到的编辑操作的相关数据,将编辑操作和编辑操作作用的对象封装为Operation数据包。例如,当编辑操作具体为添加素材且素材对象具体为某段文字时,数据管理模块则将添加文字的操作和具体的文字封装Operation数据包。并将该Operation数据包发送至Magic Player。
Magic Player用于接收Operation数据包,并对该Operation数据包进行处理以得到电子设备可执行的数据,然后根据可执行的数据控制刷新数据模型中的数据,并控制UI控制层刷新UI界面。从而实现了根据接收到的用户输入的编辑视频的操作,通过分析操作,根据该操作更新对应的视频数据、素材数据,并通过UI来输出编辑后的效果。
数据模型层中包含数据模型,数据模型用于存储视频编辑过程中生成的数据,具体的,数据模型可以在Magic Player的控制下,更新所存储的数据。例如,当Magic Player通过处理Operation数据包生成添加为视频添加素材的指令,则控制数据模型将其中存储的视频更新为添加素材后的视频,或者Magic Player通过处理Operation数据包生成裁剪视频的指令,则控制数据模型将原始视频为裁剪时长后的视频,并且将原始视频中的素材也做出相应的调整等。
音视频流处理模块包括:编码模块、视频播放器、音频播放器和渲染模块等。这些模块用于根据上层应用的指令与系统框架能力进行交互,即用于通过图1C所示的应用程序框架层、内核层来调用底层的软硬件为其提供对应的服务,例如对视频的编解码服务、对音频的编解码服务,以及播放音视频的服务等等。
基于上文对电子设备的软硬件架构的介绍,接下来结合附图来介绍本申请提供的UI实施例。
参考图2A-图2B,图2A-图2B示例性示出一种选择待编辑视频的操作界面示意图。
如图2A所示,图2A示例性示出图库提供的用户界面,该用户界面具体显示有预览窗口211,和编辑控件212。其中,预览窗口211可用于显示图库中存储的视频,编辑控件212用于选中预览窗口211中所显示的视频作为待编辑视频。
当电子设备检测到作用于编辑控件212上的操作,响应于该操作,电子设备将预览窗口211中的视频导入至视频编辑类APP中,以供用户在该视频编辑类APP中对导入的视频进行编辑。关于将选中导入视频编辑类APP后的用户界面具体参考图2B。
如图2B所示,图2B示例性示出一种视频编辑界面,该用户界面具体可由视频编辑类APP提供。该界面显示有预览窗口221,时间指示符222,时间刻度条223,视频轨道224,视频把手225A,未示出的视频把手225B,视频编辑操作栏226、视频编辑操作栏227、撤回控件229,导出控件等等。
预览窗口221用于显示用户正在编辑的视频,该视频对象是用户通过图2A所示的操作导入在该视频编辑类APP中的视频。当用户对该视频进行编辑时,该预览窗口221中显示的视频也会根据用户的编辑操作做出相应的变化,例如当用户对该视频添加文字时,则当该预览窗口221则会显示相应的文字;又例如,当用户滑动视频轨道时,则该预览窗口221中显示的视频画面也会相应的变化,直至用户停止滑动视频轨道后保持显示变化后的最后一帧画面。
时间指示符222用于指示视频包含的总时长,和当前预览窗口221中显示的视频画面在视频中的时间也即视频轨道224中的时间刻度线指示在时间刻度条223上的时间。
时间刻度条223用于显示时间刻度,从00:00到该视频的总时长。
视频轨道224用于承载视频内容,以及用于接收用户作用在其上的滑动操作。视频轨道中还显示有视频把手,当视频轨道只有一段视频时,则只有前后两个把手,例如此时只有视频把手225A和未示出的视频把手225B。当视频轨道上有分割而成的N段视频时,则每段视频都用于自己的前后两个把手,共计2*N个把手。
视频把手用于接收用户的滑动操作来裁剪所述视频片段的时长。
视频编辑操作栏226包含一系列对视频进行的编辑的操作控件,包括但不限于:分割、截取、音量、变速、删除等控件。
视频编辑操作栏227页包含另一系列对视频进行添加素材的操作控件,包括但不限于:文字、音乐、特效、滤镜等控件。
撤回控件229是指用于撤回上一次输入的用于编辑视频的控件。当用户输入编辑视频的操作后,并且电子设备相应的对视频进行了调整,若紧接着接收到作用于撤回控件229上的操作,则电子设备撤回对视频的编辑并且撤回对素材的调整等操作。
导出控件可用于将编辑后的视频和调整后的素材进行编码以合成一个新的视频(又称第三视频),并将其导出到图库进行存储。
在本申请实施例中,视频编辑操作栏226和视频编辑操作栏227显示的一系列控件还可以称为第一控件。
可以理解的是,图2B所示的用户界面仅仅示例性示出视频编辑类APP为用户提供的用于编辑视频的一系列操作控件,不应构成对本申请的限制,本申请实施例对视频编辑类APP所显示的视频编辑界面包括的内容不做限制。
可以理解的是,图2A-图2B仅仅示例性示出一种选择待编辑视频的操作,即先从图库中选择视频,然后再将选择好的视频导入至视频编辑类APP。或者,在本申请另一些示例中,用户还可以通过先进入到视频编辑类APP中,然后再从图库中调取视频。或者,在本申请另一些示例中,用户还可以通过先进入到视频编辑类APP,然后调用相机拍摄视频。本申请实施例对选择待编辑视频的操作不作限制。
参考图2C-图2F,图2C-图2F示例性示出一种添加素材的操作界面示意图。
如图2C所示,用户可以通过作用在视频轨道224上的滑动操作来选择在视频的任意位置处添加素材。例如,用户想要在视频的第3秒处添加素材,则用户可以通过滑动视频轨道,使得时间刻度指示在该视频的第00:03秒处,来确定待添加素材的位置。
如图2D所示,当用户确定添加素材的位置,即该视频中第3秒所对应的画面后,则可以通过点击视频编辑操作栏227中的文字控件来添加文字,响应于上述作用于文字控件的操作,电子设备则弹出数字键盘,供用户输入文字,具体参见图2E。
如图2E所示,电子设备显示数据数字键盘,用户可以通过数字键盘输入想要添加的文字。例如,当用户输入“起跳”时,相应的预览窗口221中也会显示“起跳”,本申请实施例添加的文字在预览窗口221中的显示大小、字体、显示位置等不作限制,可选的,用户还可以手动调整其在预览窗221中的大小、字体、显示位置等。当电子设备检测到用户以输入完要添加的文字,并且点击确定控件之后,则将文字添加至视频的第3秒对应的画面处,具体见图2F。
如图2F所示,视频的预览窗口221中显示的第3秒的画面中包含文字“起跳”,并且视频轨道下方显示有已添加的文字轨道228,该文字轨道228中显示有文字内容“起跳”,通常添加的素材都有默认的时长,例如,此时文字的默认时长为2秒钟时,则该文字轨道的开始时间为视频第3秒钟,结束位置为视频的第5秒钟。
在本申请中,图2F所示的界面还可以称为第一用户界面,图2F中的视频轨道224可以称为第一轨道,文字轨道228可以称为第二轨道。素材轨道228中显示的素材开始时间在视频轨道中对应的视频画面可以称为第一画面(例如第3s处的画面),素材轨道228中显示的素材结束时间在视频轨道中对应的视频画面可以称为第二画面(例如第5s处的画面)
上文图2C-图2F介绍添加素材的操作界面仅仅以添加文字这一种素材为例来示出,在本申请另一些示例中,用户还可以为该视频添加其他文字素材,或者添加音乐、特效等其他种类的素材,本申请实施例在此不一一赘述。
在本申请实施例中,视频轨道224的初始长度为视频的总时长,例如图2B-图2F中时间指示符222中指示的总时长10秒钟。文字轨道228的初始长度为电子设备的默认的时长,例如为图2F所示的第3秒到第5秒共计2秒钟,或者默认时长还可以为其他。视频轨道224和文字轨道228的时长还受用户的操作的控制,例如用户可用于拖拽视频轨道中视频把手或者文字轨道228中的文字把手来裁剪对应的时长关于裁剪视频时长和文字时长的具体操作可以参考后文对图2G-图2H的描述。
参考图2G-图2H,图2G-图2H示例性示出一种裁剪视频时长的操作界面示意图。
如图2G所示,电子设备此时显示的界面具体可以参考上文介绍的图2D所显示的界面,当电子设备检测到作用于图2G中的视频把手225A上的向右滑动的操作,响应于该操作,电子设备对视频进行裁剪,裁剪后的视频具体如图2H所示。
如图2H所示,通过时间指示符222可以看出电子设备中显示的视频时长已经被缩短,该时间指示符222指示的视频总时长已经由原来图2G所示的10s变为9s,也就是谁视频被裁剪掉1s钟。此外触发此次裁剪的操作具体是通过向右滑动视频的始端把手即视频把手225A,因此裁掉的1秒钟的视频具体为原来视频的第0-1s中的视频,其中被裁减掉的视频的时长具体受到用户作用在显示屏上的滑动距离的控制。
在本申请另一些实施例中,用户还可以通过向左滑动视频的尾端把手即视频把手225B来裁剪视频,该中情况下被裁剪掉的视频具体为尾端把手处向滑动方向的一段视频。或者,当待编辑视频被分割为多个视频片段时,每个视频片段都有首尾两个视频把手,都可用于用户通过滑动操作来实现视频的裁剪,关于滑动把手以裁剪视频时长的方式和图2G-图2H示出的操作类似,在此暂不赘述。
在本申请另一些实施例中,素材轨道中也会显示与视频轨道中显示的类似的把手,即每个素材片段也具有首尾两个素材把手,以供用户通过向右滑动素材的始端把手来裁剪视频时长,该种情况下被裁剪掉的素材具体为从始端把手处开始并向右移动的一段素材;或者以供用户通过向左滑动素材的尾端把手来裁剪素材,该种情况下被裁剪掉的素材具体为从尾端把手处开始并向左移动的一段素材。关于滑动把手以裁剪素材时长的方式和图2G-图2H示出的操作类似,在此暂不赘述。
参考图2I-图2J,图2I-图2J示例性示出一种分割视频的操作界面示意图。
如图2I所示,电子设备此时显示的界面具体可以参考上文介绍的图2D所显示的界面,此时,时间刻度指示在该视频的第00:03秒处,若此时电子设备检测到作用于图2I中视频编辑操作栏中的分割控件上的操作,响应于该操作,电子设备第00:03秒处对视频进行分割,分割后的视频具体如图2J所示。
如图2J所示,视频轨道224中新增了两个视频把手即视频把手225C和视频把手225D。该两个视频把手分别显示在视频轨道第00:03秒处的左右两端,可以看出原来图2I所示的一个视频已经被从第00:03秒处分割为两个视频片段。
可以理解的是,用户还可以用户上述操作继续分割视频,将视频分割为更多的视频片段,并且分割位置可以由用户自己去选择,具体的,可以通过上文图2C介绍的作用于视频轨道224上的滑动操作来选择在视频的任意位置处进行分割。本申请实施例对此不作限制。
参考图2K-图2L,图2K-图2L示例性示出一种更改视频片段顺序的操作界面示意图。
如图2K所示,电子设备显示的界面是在图2J所示的界面的基础上继续在视频的第00:05s处进行分割后得到的界面,此时视频被分为三个视频片段,第一个视频片段为第00:00-00:03秒的视频,第二视频片段为第00:03-00:05秒的视频,第三个视频片段为第00:05-00:10秒的视频。每个视频片段都有首尾两个视频把手,例如第一个视频片段的首端把手为视频把手225A,尾端把手为视频把手225C;第二个视频片段的首端把手为视频把手225D,尾端把手为视频把手225E;第三个视频片段的首端把手为视频把手225F,尾端把手为视频把手225B(未示出)。
若电子设备在图2K所示的界面中,检测到作用于该三个视频片段中的某一个视频片段上的拖拽操作时,则对视频片段的顺序进行更改。具体的,例如电子设备检测到作用于图2K中的第二视频片段上的长按后将其拖拽至第一个视频片段的前面拖拽操作时,响应于该操作,电子设备则更改该视频片段的顺序,更改视频片段顺序的界面具体件图2L。
如图2L所示,此时电子设备中显示的视频轨道224上包含的多个视频片段的顺序已经在原来图2K所示的顺序的基础上进行了更改,具体的此时第一个视频片段为图2K所示第二个视频片段,而此时的第二个视频片段则是图2K中的第一个视频片段,第三个视频片段的顺序则保持不变。
参考图2M-图2N,图2M-图2N示例性示出一种删除视频的操作界面示意图。
如图2M所示,电子设备此时显示的界面具体可以参考上文介绍的图2J所显示的界面。此时视频轨道224中有三个视频片段,用户可以删除其中任意一个或多个视频片段。
若电子设备检测到作用于图2M所示的第二视频片段上的点击操作后又检测到作用于视频编辑操作栏226中的删除控件,响应于该操作,电子设备将第二视频片段从视频轨道224中删除,删除后的界面见图2N。
如图2N所示,此时电子设备中显示的视频轨道224上仅包含原来图2M中的第一个视频片段和第二个视频片段,且时间指示符222指示的视频总时长也由原来的10s变为7s。
可以理解的是,上文图2G-图2N所介绍的裁剪视频长度、将视频分为多个视频片段、更改视频片段的顺序以及删除视频片段等多个基础的编辑操作都是以没有添加素材的情况下为例进行介绍的,倘若在添加素材之后,再对视频执行上述编辑操作时,则需要对被编辑的视频所对应的素材也做出相应的调整,从而才能使得在编辑视频前素材与视频的绑定关系,与编辑视频后素材与视频的绑定关系不变,避免用户单独再对素材进行调整,从而简化了视频编辑操作,提高用户体验感。
接下来则基于上文图2A-图2N介绍的选择待编辑视频,为视频添加素材,裁剪视频长度、将视频分为多个视频片段、更改视频片段的顺序以及删除视频片段等多个基础操作,分别以三种具体的编辑场景来介绍电子设备根据用户输入的对视频的编辑操作对视频进行编辑,并且相应的对已经添加的素材进行自动编辑的规则。
本申请实施例提供的三种场景具体包括:
场景1:电子设备接收到用于裁剪视频时长的操作,对视频时长进行裁剪,并且对该视频绑定的素材进行相应的调整,使得该素材开始时间在视频中的画面点在调整前后仍保持一致,和/或使得该素材结束时间在视频中的画面点在调整前后仍保持一致。
场景2:电子设备接收到用于更改视频片段顺序的操作,对视频片段进行移动,并且对该视频片段中添加的素材进行相应的调整,使得该素材开始时间在视频中的画面点在调整前后仍保持一致。
场景3:电子设备接收到用于删除视频片段顺序的操作,对视频片段进行删除,并且对该视频片段中添加的素材进行删除,使得素材开始时间在视频中的画面点属于被删除的视频片段,对应的完整素材,进行全部删除,以避免遗留部分素材在未被删除的视频片段中,
接下来先介绍在场景1的素材调整规则。
在场景1中,当用户添加素材但未调整素材时长的情况时,素材的时长为默认时长。此时用户主要关心素材开始时间在视频中的对应画面,但不关心素材开始时间在视频中的对应画面。当用户添加素材并且也调整了素材时长的情况时,素材的时长为则为调整后的时长。此时用户既关心素材开始时间在视频中的对应画面和素材开始时间在视频中的对应画面,也关心素材开始时间在视频中的对应画面。
因此场景1还可以被划分为以下两种子场景:
具体的,由于素材与视频的绑定关系还受到是否调整素材时长的影响,也就是说,当用户输入添加素材的操作后并且输入调整素材时长的操作之前,素材的开始时间与视频中的画面绑定,但是素材的结束时间没有与视频中的画面进行绑定,也就是说,这种情况下,电子设备存储的绑定关系只包括:素材开始时间对应在视频中的画面,素材时长(电子设备默认的初始时长)。当用户输入添加素材的操作后并且也输入了调整素材时长的操作之后,素材的开始时间与视频中的画面绑定,并且素材的结束时间也与视频中的画面进行绑定。也就是说,这种情况下,电子设备存储的绑定关系包括:素材开始时间对应在视频中的画面,素材结束时间对应在视频中的画面,素材的时间范围等
因此,场景1具体还可以被划分以下两种场景:
场景1-1:未手动编辑素材时长,根据裁剪视频时长的操作相应的编辑素材的时长;
场景1-2:已经手动调整过素材时长,根据裁剪视频时长的操作相应的编辑素材的时长。
这两种子场景下,在对视频进行编辑的过程中,对素材的调整规则是不同的。例如在场景1-1中,素材的调整规则,需要保证调整后的素材的开始时间在经过裁剪的视频中对应的画面,与,调整前的素材的开始时间在未被裁剪的视频中对应的画面,一致,而素材的时长在调整前后可能相同可能不同。例如在场景1-2中,素材的调整规则,需要保证调整后的素材的开始时间在经过裁剪的视频中对应的画面与调整前的素材的开始时间在未被裁剪的视频中对应的画面一致,和/或,需要保证调整后的素材的结束时间在经过裁剪的视频中对应的画面与调整前的素材的结束时间在未被裁剪的视频中对应的画面一致,而素材的时长在调整前后可能相同可能不同。
接下来参考图3A和图3B分别介绍场景1-1和场景1-2下的素材调整规则。
参考图3A,图3A示例性示出场景1-1中裁剪视频时长时的素材调整规则示意图。
在本申请中,图3A所示的被裁剪的视频部分还可以被称为第一部分。
(1)如图3A所示,图3A中的(a)示出了滑动视频始端把手时的素材调整规则示意图。
当视频编辑的初始状态即State0为:待编辑视频为的时长为10s,即视频轨道长度为10s,已添加的素材的默认(未被手动调整)时长为2s,即素材轨道长度为2s,该素材的开始时间与视频中的画面绑定点为视频第3s对应的画面,由于该素材被添加之后未被用户调整时长,因此素材的结束时间未与视频中的画面进行绑定。
若电子设备接收到作用于State0中视频始端把手上的向右滑动的操作,响应于该操作,则视频编辑的状态则变为State1。
在视频编辑的状态为State1时,由于State0中视频的第0-1秒被裁剪掉了,视频整体前移1s,包括视频中绑定点对应的画面也前移了1s,因此,视频的总时长变为9s,素材前移了1s即素材的开始时间对应与State1中的第2s的视频中的画面,素材的时长保持不变,这样便可以保持素材的开始时间对应State0中初始视频的第3s处的画面。
若电子设备继续接收到作用于State1中视频始端把手上的向右滑动的操作,响应于该操作,则视频编辑的状态则变为State2。
在视频编辑的状态为State2时,由于State1中视频的第0-3秒被裁剪掉了,因此视频的总时长变为6s,素材的时长保持不变,但是由于素材在视频中的开始时间的绑定点即State1中第2s的视频中的画面也被裁剪掉了,并且绑定点之前也没有剩余的视频轨道来添加素材,因此素材仅仅前移了2s即素材的开始时间对应与State1中的第0s的视频中的画面。
虽然在State2中,素材的开始时间在视频中的绑定点的画面被裁减掉了,但电子设备内部存储了绑定点,因此电子设备支持恢复操作/撤回操作,即若电子设备继续接收到作用于State2中视频始端把手上的向左滑动的操作或者接收到2次作用于撤回控件229的操作,响应于该操作,则视频编辑的状态则变为State3。
对视频编辑的状态为State3时的描述与State0相同,在此暂不赘述。
综上所述,在场景1-1中,当视频的开始位置上的始端把手向右滑动时,视频时长相应的缩短,素材时长不变即保持为默认时长(不包括裁剪后的绑定点后的剩余视频轨道不足默认时长),若素材开始时间对应的绑定点在视频中的画面也被裁剪掉了,素材时长也保持不变。但是由于视频时长缩短即前面的视频被裁剪掉了,视频的绑定点前移或裁剪掉,因此素材的开始时间也需前移,以保持素材的开始时间对应的绑定点在视频中的画面与视频被裁剪之前素材的开始时间对应的绑定点在视频中的画面一致。并且由于电子设备记录素材的开始时间对应的绑定点在视频中的画面,因此,反向滑动或者点击撤回控件229可恢复该操作,以保持素材的开始时间在视频中的画面与视频被裁剪之前素材的开始时间在视频中的画面一致。
(2)如图3A所示,图3A中的(b)示出了滑动视频尾端把手时的素材调整规则示意图。
当视频编辑的初始状态即State0为:待编辑视频为的时长为10s,即视频轨道长度为10s,共分为9s的一个视频片段和1s的一个视频片段,已添加的素材的默认(未被手动调整)时长为2s,即素材轨道长度为2s,该素材的开始时间与视频中的画面绑定点为视频第3s对应的画面,由于该素材被添加之后未被用户调整时长,因此素材的结束时间未与视频中的画面进行绑定。
若电子设备接收到作用于State0中视频尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State1。
在视频编辑的状态为State1时,由于State0中视频的第一个视频尾端第8-9秒被裁剪掉了,即第一个视频片段的尾端被裁掉1s,视频中绑定点对应的画面没有移动,因此视频的总时长变为9s,第一个视频片段无需移动,第二个视频片段前移1s,素材的时长保持不变,并且素材也无需前移1s,即素材的开始时间对应与State1中的第3s的视频中的画面,这样仍然可以保持素材的开始时间对应State0中初始视频的第3s处的画面。
若电子设备继续接收到作用于State1中视频尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State2。
在视频编辑的状态为State2时,由于State1中视频的第3.5-8秒被裁剪掉了,视频中绑定点对应的画面没有移动,因此视频的总时长变为4.5s,第一个视频片段无需移动,第二个视频片段前移4.5s,由于绑定点之后的剩余的视频轨道仅有1.5s不足以支持叠加2s长的素材,因此素材的时长被裁剪为1.5s,但素材无需前移,这样仍然可以保持素材的开始时间对应State0中的第3s的视频中的画面。
由于电子设备内部存储有默认时长,因此电子设备支持恢复操作/撤回操作,即若电子设备继续接收到作用于State2中视频尾端把手上的向右滑动的操作或者接收到两次作用在撤回控件229上的操作,响应于该操作,则视频编辑的状态则变为State3。当电子设备在State2中仅接收一次作用于撤回控件229上的操作,则电子设备控制视频编辑状态由State2变为State1.
对视频编辑的状态为State3时的描述与State0相同,在此暂不赘述。
综上所述,在场景1-1中,当视频的结束位置上的尾端把手向左滑动时,视频时长相应的缩短,素材时长不变即保持为默认时长(不包括裁剪后的绑定点之后的剩余视频轨道不足默认时长)。但是由于视频时长缩短即后面的视频被裁剪掉了,视频的绑定点没有移动,因此素材的开始时间也需前移,以保持素材的开始时间在视频中的画面与视频被裁剪之前素材的开始时间在视频中的画面一致。
(3)如图3A所示,图3A中的(c)示出了滑动视频中间把手时的素材调整规则示意图。
当视频编辑的初始状态即State0为:待编辑视频为的时长为10s,即视频轨道长度为10s,共分为4s的一个视频片段和6s的一个视频片段,已添加的素材的默认(未被手动调整)时长为2s,即素材轨道长度为2s,该素材的开始时间与视频中的画面绑定点为视频第3s对应的画面,由于该素材被添加之后未被用户调整时长,因此素材的结束时间未与视频中的画面进行绑定。
若电子设备接收到作用于State0中视频中间的把手例如4s视频片段的尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State1。
在视频编辑的状态为State1时,由于State0中第一个视频片段的尾端第3.5-4秒被裁剪掉了,即第一个视频片段的尾端被裁掉0.5s,视频中绑定点对应的画面没有移动,因此视频的总时长变为9.5s,第一个视频片段无需移动,第二个视频片段整体前移0.5s,素材的时长保持不变,并且素材也无需前移0.5s,即素材的开始时间对应与State1中的第3s的视频中的画面,这样仍然可以保持素材的开始时间对应State0中初始视频的第3s处的画面。
若电子设备继续接收到作用于State1中第一个视频片段尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State2。
在视频编辑的状态为State2时,由于State1中第一个视频片段的第2-3.5秒被裁剪掉了,视频中绑定点(第3s对应的画面)被裁剪掉了,因此视频的总时长变为8s,第一个视频片段无需移动,第二个视频片段整体前移1.5s,由于绑定点之后的剩余的视频轨道足以支持叠加2s长的素材,因此素材的时长不变,但素材的开始时间变为第二个视频的首帧对应的时间,即第二个视频的第一个画面。
由于在素材跨多个视频片段的场景下,素材开始时间对应的绑定点在前一个视频片段中画面被裁剪掉了,因此电子设备不支持恢复操作,即电子设备继续接收到作用于State2中视频尾端把手上的向右滑动的操作,响应于该操作,则视频编辑的状态则变为State3。但是当电子设备在State2接收到作用于撤回控件229上的操作,则可以支持恢复上一次的编辑状态State1,当在State2中接收到两次作用于撤回控件229上的操作,则可以支持恢复到State0所示的状态。
对视频编辑的状态为State3时的描述与State0不同的是,素材的开始时间为第二个视频首帧对应的时间,而不再是第一个视频中的绑定点处。
综上所述,在场景1-1中,当素材添加在包含多个片段上,视频片段的中间把手左右滑动时,如果绑定点即素材开始时间对应的画面未被裁剪时,则素材不移动并且素材时长不变;如果绑定点即素材开始时间对应的画面被裁剪掉了,则素材移动素材长度不变,其中素材的开始时间移动到绑定点后一个视频片段的首帧处,并且反向滑动不可恢复该操作。
参考图3B,图3B示例性示出场景1-2中裁剪视频时长时的素材调整规则示意图。
在本申请中,图3B所示的被裁剪的视频部分还可以被称为第一部分。
(1)如图3B所示,图3B中的(a)示出了滑动视频始端把手时的素材调整规则示意图。
当视频编辑的初始状态即State0为:待编辑视频为的时长为10s,即视频轨道长度为10s,已添加的素材的默认(未被手动调整)时长为3.5s,即素材轨道长度为3.5s,该素材的开始时间与视频中的画面绑定点为视频第3s对应的画面,由于该素材被添加之后未被用户调整时长,因此素材的结束时间未与视频中的画面进行绑定。
若电子设备接收到作用于State0中素材尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State1。
在视频编辑的状态为State1时,素材的开始时间仍然与视频中的画面绑定点保持为视频第3s对应的画面,由于State0中素材的第5-6.5秒被裁剪掉了,相当于素材的时长已经被用户手动调整过。因此,素材的结束时间也与视频中的画面进行绑定,具体为State1中视频的第5秒的画面绑定。
若电子设备接收到作用于State1中视频始端把手上的向右滑动的操作,响应于该操作,则视频编辑的状态则变为State2。
在视频编辑的状态为State2时,由于State1中视频的第0-4秒被裁剪掉了,包括素材开始时间在视频中绑定点对应的画面被裁剪掉了,视频整体前移4s,因此,视频的总时长变为6s,素材前移了3s即素材的开始时间对应与State2中的第0s的视频中的画面即State1中的第4s的视频中的画面,素材的结束时间对应与State2中的第1s的视频中的画面即State1中的第5s的视频中的画面,即素材的时长被裁剪掉1秒,但素材的结束时间的绑定点仍然保持不变。在本申请中,当视频中被裁剪的部分(又称第一部分)包括素材开始时间在该视频中对应的画面(又称第一画面)时,则该视频中第一部分后的首帧画面即第三画面,该第三画面例如是State1中第4s的视频中的画面。
虽然在State2中,素材的开始时间在视频中的绑定点的画面被裁减掉了,但电子设备内部存储了绑定点,因此电子设备支持恢复操作,即若电子设备继续接收到作用于State2中视频始端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State3。与图3A中(a)的撤回操作类似,这种情况下,用户可以通过滑动视频把手和点击撤回控件229来撤销对视频的编辑和素材的调整,即恢复到上一次编辑状态。
对视频编辑的状态为State3时的描述与State1相同,在此暂不赘述。
综上所述,在场景1-2中,当视频的开始位置上的始端把手向右滑动时,视频时长相应的缩短,若素材开始时间对应的绑定点在视频中的画面被裁剪掉了,则素材时长也相应的缩短,但是素材的结束时间对应的绑定点在视频中的画面仍然保持不变。并且由于电子设备记录素材的开始时间对应的绑定点在视频中的画面,因此,反向滑动可恢复该操作,以保持素材的开始时间在视频中的画面与视频被裁剪之前素材的开始时间在视频中的画面一致。
(2)如图3B所示,图3B中的(b)示出了滑动视频尾端把手时的素材调整规则示意图。
当视频编辑的初始状态即State0为:待编辑视频为的时长为10s,即视频轨道长度为10s,已添加的素材的默认(未被手动调整)时长为3.5s,即素材轨道长度为3.5s,该素材的开始时间与视频中的画面绑定点为视频第3s对应的画面,由于该素材被添加之后未被用户调整时长,因此素材的结束时间未与视频中的画面进行绑定。
若电子设备接收到作用于State0中素材尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State1。
在视频编辑的状态为State1时,素材的开始时间仍然与视频中的画面绑定点保持为视频第3s对应的画面,由于State0中素材的第5-6.5秒被裁剪掉了,相当于素材的时长已经被用户手动调整过。因此,素材的结束时间也与视频中的画面进行绑定,具体为State1中视频的第5秒的画面绑定。
若电子设备接收到作用于State1中视频尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State2。
在视频编辑的状态为State2时,由于State1中视频的尾端第4-10秒被裁剪掉了,素材结束时间在视频中绑定点(第5s)对应的画面也被裁剪掉了,但是素材开始时间在视频中绑定点(第3s)对应的画面没有被裁剪,因此视频的总时长变为4s,素材整体无需前移,但是素材的时长缩小1s,即素材的开始时间对应与State2中的第3s的视频中的画面,素材的结束时间对应与State2中的第4s的视频中的画面,这样仍然可以保持素材的开始时间对应State0中初始视频的第3s处的画面。
由于电子设备内部存储有素材时长和素材结束时间在视频中绑定点对应的画面,因此电子设备支持恢复操作,即若电子设备继续接收到作用于State2中视频尾端把手上的向右滑动的操作,响应于该操作,则视频编辑的状态则变为State3。与图3A中(b)的撤回操作类似,这种情况下,用户可以通过滑动视频把手和点击撤回控件229来撤销对视频的编辑和素材的调整,即恢复到上一次编辑状态。
对视频编辑的状态为State3时的描述与State1相同,在此暂不赘述。
综上所述,在场景1-2中,当视频的结束位置上的尾端把手向左滑动时,视频时长相应的缩短,若素材结束时间对应的绑定点在视频中的画面被裁剪掉了,则素材时长也相应的缩短,但是素材的开始时间对应的绑定点在视频中的画面仍然保持不变。并且由于电子设备记录素材的结束时间对应的绑定点在视频中的画面,因此,反向滑动可恢复该操作,以保持素材的结束时间在视频中的画面与视频被裁剪之前素材的结束时间在视频中的画面一致。
(3)如图3B所示,图3B中的(c)示出了滑动视频中间把手时的素材调整规则示意图。
当视频编辑的初始状态即State0为:待编辑视频为的时长为10s,即视频轨道长度为10s,共分为4s的一个视频片段和6s的一个视频片段,已添加的素材的默认(未被手动调整)时长为2s,即素材轨道长度为2s,该素材的开始时间与视频中的画面绑定点为视频第3s对应的画面,由于该素材被添加之后未被用户调整时长,因此素材的结束时间未与视频中的画面进行绑定。
若电子设备接收到作用于State0中素材尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State1。
在视频编辑的状态为State1时,素材的开始时间仍然与视频中的画面绑定点保持为视频第3s对应的画面,由于State0中素材的第5-6.5秒被裁剪掉了,相当于素材的时长已经被用户手动调整过。因此,素材的结束时间也与视频中的画面进行绑定,具体为State1中视频的第5秒的画面绑定。
若电子设备接收到作用于State1中视频中间的把手例如4s视频片段的尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State2。
在视频编辑的状态为State2时,由于State1中第一个视频片段的尾端第3.5-4秒被裁剪掉了,即第一个视频片段的尾端被裁掉0.5s,该第3.5-4秒包含在第3-5秒内,因此为了保证素材的开始时间对应的绑定点在视频中的画面不变,且素材的结束时间对应的绑定点在视频中的画面不变,因此,素材的时长缩短0.5s,即素材的开始时间对应与State2中的第3s的视频中的画面,素材的结束时间对应与State2中的第4.5s的视频中的画面。
若电子设备继续接收到作用于State2中第一个视频片段尾端把手上的向左滑动的操作,响应于该操作,则视频编辑的状态则变为State3。
在视频编辑的状态为State3时,由于State2中第一个视频片段的第2-3.5秒被裁剪掉了即视频缩短1.5秒,并且视频中绑定点(第3s对应的画面)被裁剪掉了,因此素材的第3-3.5s被裁剪掉,即素材的时长缩短0.5s。素材的开始时间变为第二个视频的首帧处即State2中视频的第2s,即第二个视频的第一个画面,素材的结束时间对应的绑定点在State2中视频的第3s,这样仍然可以保持素材的结束时间对应State1中初始视频的第5s处的画面。
由于在素材跨多个视频片段的场景下,素材开始时间对应的绑定点在前一个视频片段中画面被裁剪掉了,因此电子设备不支持恢复操作,即电子设备继续接收到作用于State3中视频尾端把手上的向右滑动的操作,响应于该操作,视频的编辑状态也不会恢复为State1,而是变为和图3A中(c)中的State3。与图3A中(c)的撤回操作类似,这种情况下,用户只能通过点击撤回控件229来撤销对视频的编辑和素材的调整,即恢复到上一次编辑状态。
综上所述,在场景1-2中,当素材添加在包含多个片段上,视频片段的中间把手左右滑动时,如果绑定点例如素材开始时间对应的画面未被裁剪时,则素材不移动,但是素材时长所会缩短,缩短值与视频缩短值相同;如果绑定点即素材开始时间对应的画面被裁剪掉了,则素材移动并且素材的开始时间移动到绑定点后一个视频片段的首帧处,并且反向滑动不可恢复该操作。
接下来介绍场景2下的素材调规则。
参考图4,图4示例性示出更改视频片段顺序时的素材调整规则示意图。
当已添加的一段连续的素材跨越了多个视频片段时,为了避免出现调整视频顺序导致连续的素材的被分割在多个视频片段中而造成混乱的画面,特别是素材为音乐的情况下,当一段连续的跨越两个视频片段的音乐因视频顺序被更换,导致音乐也被分割,这样会出现播放音乐不连续的情况,因此在场景2中,当视频片段顺序被调整,则电子设备仅根据素材开始时间对应的绑定点在视频中的画面来调整素材的开始时间,而素材的结束时间则调整为开始时间对应的绑定点所在的视频片段的最后一帧。
在本申请中,图4所示的包含素材开始时间对应画面的视频片段可以被称为第一部分,包含素材结束时间对应画面的视频片段可以被称为第二部分。例如第一个视频片段即第0-2s的视频被称为第一部分,第二个视频片段即第2-5s的视频可以被称为第二部分。
如图4所示,当视频编辑的初始状态即State0为:待编辑视频为的总时长为10s,该视频被分割为3个视频片段,分割点具体为第2s和第5s。在该3个视频片段中,第一个视频片段为第0-2s的视频,第二个视频为第2-5s的视频,第三个视频为第5-10s的视频。该视频还添加有素材,该素材的开始时间对应的绑定点在State0中视频的第1s的画面处,该素材时长为3.5s,该素材时长可以是默认时长,也可以是在添加素材后经过用户手动调整的,本申请实施例对场景2中的素材时长是否被手动调整过不作限制。
由于在State0中,已添加的素材叠加在第一个视频片段和第二个视频片段中,相当于该素材跨越了两个视频片段,如果两个视频片段中任一个视频片段的顺序发生变化,则该素材也要随之改变,具体的电子设备会预先记录该素材的开始时间的绑定点例如在第一个视频片段中的画面(第2s处),当电子设备在State0中检测到用户拖拽视频片段以更改视频片段的顺序时,电子设备会根据已经记录的素材的开始时间的绑定点,来自动编辑素材,调整后的结果见State1。
在视频编辑的状态为State1时,State0中的第二个视频片段即时长为3s的视频片段被拖动为第一个视频片段,State0中的第一个视频片段即时长为2s的视频片段自动后移为第二个视频片段,State0中的第三个视频片段的顺序在State1中仍然保持不变。随着视频片段顺序的变化,与State0中的第一个视频片段绑定的素材也发生变化,具体的,素材开始时间对应的绑定点随着视频片段的移动,即从State0中视频的第1s的画面处移动至State1中视频的第4s处,因此素材的开始时间为State1中视频的第4s处。值得注意的是,在调整视频片段顺序的场景下,素材与视频的绑定关系以素材的开始时间对应的绑定点为准,而不考虑素材的结束时间,因此在State1中,素材的结束时间为绑定的视频片段的最后一帧对应的画面,这样,既可以保证素材的开始时间对应的绑定点的画面不变,还可以避免因为调整视频顺序导致素材的被分割在多个视频片段中而造成混乱的画面。
若电子设备在视频编辑的状态为State1时继续接收到更改片段顺序的操作,例如将State1中第二视频片段拖拽至第三个视频片段之后的操作,则电子设备将编辑状态切换为State2。
在视频编辑的状态为State2时,原来State1中的第二个视频片段即时长为2s的视频片段被拖动为第三个视频片段,原来State1中的第三个视频片段即时长为5s的视频片段自动前移为第二个视频片段,原来State1中的第一个视频片段的顺序在State1中仍然保持不变。随着视频片段顺序的变化,与State1中的第二个视频片段绑定的素材也发生变化,具体的,素材开始时间对应的绑定点随着视频片段的移动,即从State1中视频的第4s的画面处移动至State2中视频的第9s处,因此素材的开始时间为State2中视频的第9s处。值得注意的是,State1中素材仅添加在第二视频片段中,没有跨越多个视频片段,因此,电子设备可以根据素材开始时间对应的绑定点编辑素材的开始时间,并且素材的时长保持不变,即素材的结束时间仍然保持为开始时间对应的绑定点所述的视频片段的最后一帧对应的画面。
这种调整顺序的场景下,用户可以通过点击撤回控件229来撤销对视频的编辑和素材的调整,即恢复到上一次编辑状态。
最后来介绍场景3的素材调规则。
参考图5,图5示例性示出删除视频片段时的素材调整规则示意图。
在本申请中,图5所示的包含素材开始时间对应画面的视频片段可以被称为第一部分。例如第一个视频片段即第0-2s的视频被称为第一部分。
当某一个视频片段中已经添加有素材,并且该素材的结束时间没有超出该视频片段的时间,若电子设备接收到删除该视频片段的操作,相应的该素材也被同步删除,从而避免保留该素材,使得素材被移动至其他视频片段中。关于上述介绍具体见图5中的(a)。
如图5中的(a)所示,当视频编辑的初始状态即State0为:待编辑视频为的总时长为10s,该视频被分割为3个视频片段,分割点具体为第2s和第5s。在该3个视频片段中,第一个视频片段还添加有素材,该素材的开始时间对应的绑定点在State0中视频的第1s的画面处,该素材的结束时间在第一个视频片段的最后一帧,该素材时长为1s,该素材时长可以是默认时长,也可以是在添加素材后经过用户手动调整的,本申请实施例对场景3中的素材时长是否被手动调整过不作限制。当电子设备检测到用于删除第一个视频片段的操作,响应于该操作,电子设备变为State0,即删除了该第一个视频片段,并且删除了该素材。
当某一个视频片段中已经添加有素材,并且该素材的结束时间超出该视频片段的时间延续到后一个视频后者后几个视频时,相当于已添加的一段连续的素材跨越了多个视频片段,若电子设备接收到删除该某一个视频片段(即素材开始时间对应的视频片段)的操作,相应的该素材一整个也被同步删除,从而避免出现删除视频片段导致连续的素材的被分割在多个视频片段中而造成混乱的画面。关于上述介绍具体见图5中的(b)。
如图5中的(b)所示,当视频编辑的初始状态即State0为:待编辑视频为的总时长为10s,该视频被分割为3个视频片段,分割点具体为第2s和第5s。在该3个视频片段中,第一个视频片段还添加有素材,该素材的开始时间对应的绑定点在State0中视频的第1s的画面处,该素材的结束时间在State0中视频的第4.5s的画面处即第二个视频片段中的某一帧处,该素材时长为3.5s,该素材时长可以是默认时长,也可以是在添加素材后经过用户手动调整的,本申请实施例对场景3中的素材时长是否被手动调整过不作限制。当电子设备检测到用于删除第一个视频片段的操作,响应于该操作,电子设备变为State0,即删除了该第一个视频片段,并且删除了该素材,并未将素材在第二片段处的部分进行保留,这样可以避免一个完整的素材被分割为不完整的素材片段,特别的当素材为音乐、人声等时,避免给用户带来跳跃、割裂等不完整的体验。
这种删除视频片段的场景下,用户也可以通过点击撤回控件229来撤销对视频的编辑和素材的调整,即恢复到上一次编辑状态。
基于上文对三种场景下的素材调整规则的介绍,接下来结合图6-图8所示的交互流程,来详细介绍本申请提供的视频编辑方法。
参考图6,图6示例性示出为视频添加素材的交互流程。
如图6所示,该交互流程具体为电子设备中安装的视频编辑类APP来执行,关于视频编辑类APP的定义可以参考前文对图2C中的应用程序层的描述,以及视频编辑类APP的框架和包含的模块可以参考上文对图2D的描述,在此暂不赘述。该交互流程包括以下步骤:
S601,电子设备的UI模块接收到添加素材的操作。
具体的,电子设备通过显示屏检测到用于添加素材的操作,并将该操作的相关数据传送至电子设备的UI模块。当该操作指示添加的素材为文字时,则该操作例如可以是上文图2C-图2F介绍的用于添加文字的操作。在本申请中添加的素材还可以是其他,例如音乐、特效等等,当素材为其他时,则该操作具体可以是通过作用于上文图2C中的接收的视频编辑操作栏中的音乐控件、特效控件来添加对应的素材,本申请在此不进行详细描述。
S602,电子设备的UI模块向数据管理模块发送添加素材的指令并携带素材信息和插入位置。
具体的,UI模块接收到添加素材的操作后,可以获知该操作指示的素材信息和素材在视频中的插入位置,该素材信息包括但不限于素材的标识,该插入位置根据添加操作的相关数据而得到,例如参考上文图2C-图2D描述的选择插入位置为刻度线指示时间轴的第00:03s处的位置,则此时插入位置即视频轨道的第素材的第00:03s处的位置。
S603,电子设备的数据管理模块将插入位置转化为插入时间,并将素材信息和插入时间封装为operation数据包。
具体的,数据管理模块接收到UI模块传送的素材信息和插入位置后,可以将其封装为operation数据包,该operation数据包中包括指示素材信息和插入位置的数据,但是这些数据的形式可能与从UI模块处接收到的形式不同,例如指示插入位置这一数据的形式可能由插入位置变为插入时间,这样便可用于电子设备的Magic Player能够识别该数据并根据该数据执行对应的事件。
S604,电子设备的数据管理模块将operation数据包发送至Magic Player。
S605,电子设备的Magic Player根据素材信息从数据模型中获取素材。
具体的,电子设备的Magic Player接收到operation数据包后,根据operation数据中指示的素材信息的数据,从数据模型中获取素材。其中,素材信息例如可以是素材的标识、素材的存储路径等。其中,当获取到的素材为用户添加的文字时,该素材还包括文字的显示时长,当获取到的素材为用户添加的音乐、特效时,该素材还包括音乐的播放时长、特效的显示时长。
S606,电子设备的Magic Player根据获取到的素材的时长和插入时间生成素材与视频的对应关系。
具体的,电子设备获取到的素材的时长为电子设备默认的素材的初始时长,电子设备可以根据初始时长和插入时间得到素材与视频的对应关系,即的得到素材在视频中的开始时间、结束时间。除此之外,素材与视频的对应关系还可以包括指示素材否被调整过时长、素材的时间范围和素材的持续时长等信息。
素材与视频的对应关系又可以称为(Material Time Info),该对应关系具体包括:素材的开始时间点、素材的结束时间点、指示素材否被调整过时长、素材的时间范围和素材的持续时长。
其中,素材的开始时间点是指素材插入在视频的某个画面处的对应时间点,该画面也是前文所述的素材开始时间对应的绑定点的画面。
其中,素材的结束时间点是指素材结束时在视频的某个画面处的对应时间点。当素材未被用户调整过时长,则素材的结束点为素材的开始时间点之后经过素材的初始时长后对应的时间点,此时该时间点并未与视频中的画面进行绑定。当素材被用户调整过时长,则素材的结束点为调整后素材的结束位置在视频中对应时间点,此时该时间点与视频中的画面进行绑定,该画面也是前文所述的素材结束时间对应的绑定点的画面。
其中,指示素材否被调整过时长过是指素材是否经过用户操作被裁剪过时长,例如则“1”指示素材是被调整过,“0”则指示素材未被调整过。
其中,时间范围是指,素材经过用户调整后,素材的开始时间点到素材的结束时间点之间的范围。
其中。持续时长是指,素材未经过用户调整时,素材的初始时长。
S607,电子设备的Magic Player向数据模型发送数据的指令。
具体的,该指令用于数据模型根据生成素材与视频的对应关系,将其中存储的视频、素材等数据更新为添加素材后的新视频。
S608,电子设备的数据模型将素材更新至数据模型中存储的视频中的对应位置。
具体的,数据模型可以通过框架层、内核层调用对应的底层硬件例如视频编解码器对原视频进行解码后编码得到添加素材后的新视频,并将该更新后的视频存储在数据模型中。
S609,电子设备的Magic Player向UI模块发送UI的指令。
S610,电子设备的UI模块输出添加素材后的信息。
具体的,UI模块可以根据数据模型中更新后的视频来更新UI界面,以输出添加素材后的信息。
当添加的素材具体为文字时,则电子设备的UI模块输出的添加素材后的信息具体可参见上文对图2E-图2F的描述,即在预览窗口221中显示视频和文字,并且在视频轨道224的下方显示文字轨道228。
当添加的素材具体为音乐、特效时,则电子设备的UI模块输出的添加素材后的信息具体可除了在视频轨道224的下方显示音乐轨道、特效轨道外,还会播放音乐或特效。
参考图7,图7示例性示出添加素材后裁剪视频的交互流程。
如图7所示,该交互流程具体为电子设备中安装的视频编辑类APP来执行,关于视频编辑类APP的定义可以参考前文对图2C中的应用程序层的描述,以及视频编辑类APP的框架和包含的模块可以参考上文对图2D的描述,在此暂不赘述。该交互流程包括以下步骤:
S701,电子设备的UI模块接收到裁剪视频的操作。
具体的,电子设备通过显示屏检测到用于裁剪视频的操作,并将该操作的相关数据传送至电子设备的UI模块。当该用于裁剪视频的操作具体为滑动视频把手时,则该操作例如可以是上文图2G介绍的作用于视频把手225A上的操作。
S702,电子设备的UI模块向数据管理模块发送裁剪视频的指令并携带视频信息和滑动距离。
具体的,UI模块接收到用于裁剪视频的操作后,可以获知该操作指示的视频信息和滑动距离,该视频信息包括但不限于视频的标识。
S703,电子设备的数据管理模块将滑动距离转化为裁剪时间范围,并将视频信息和裁剪时间范围封装为operation数据包。
具体的,数据管理模块接收到UI模块传送的视频信息和滑动距离后,可以将其封装为operation数据包,该operation数据包中包括指示视频信息和滑动距离的数据,但是这些数据的形式可能与从UI模块处接收到的形式不同,例如指示裁剪时间范围这一数据的形式可能由滑动距离变为裁剪时间范围,这样便可用于电子设备的Magic Player能够识别该数据并根据该数据执行对应的事件。S704,电子设备的数据管理模块将operation数据包发送至Magic Player。
S705,电子设备的Magic Player根据视频信息从数据模型中获取视频和添加在该视频中的素材。
具体的,电子设备的Magic Player接收到operation数据包后,根据operation数据中指示的视频信息的数据,从数据模型中获取视频,并也获取添加在该视频中的素材。其中,视频信息例如可以是视频的标识、视频的存储路径等。
S706,电子设备的Magic Player根据裁剪时间范围得到新视频的时间范围和更新后的素材与视频的对应关系。
首先,Magic Player可以根据裁剪时间范围得到裁剪后的新视频的时间范围。其具体实现过程可以参考前文对场景1的介绍,例如图3A所示的,根据滑动视频始端把手,将视频始端对应时长裁剪掉,视频整体前移;或者滑动视频尾端把手,将视频尾端对应时长裁剪掉;或者当存在多个视频片段时,若滑动视频中间把手,则将从滑动位置沿着滑动方向的对应时长的视频裁剪掉,并且中间把手之后的视频整体前移。最后新视频的时间范围变为0-9s。
然后,Magic Player根据新视频的时间范围得到更新后的素材与视频的对应关系具体包括:Magic Player根据裁剪视频之前所存储的素材与视频的对应关系,以及,裁剪视频之后新视频的时间范围,更新素材与视频的对应关系。其中更新素材与视频的对应关系相当于获取调整后的素材的时间范围,而获取素材的时间范围具体可分为两种情况,即素材此前是否被调整过时长。
(1)当素材未被调整过时长时,则结合上文图3A来看,视频编辑处于state0时,素材与视频的对应关系为,视频未被裁剪且素材也未被调整时长时,素材与视频的初始对应关系。该对应关系具体包括,素材开始时间点(第3s),素材结束时间点(第5s),素材未被调整过时长(数值为“0”),素材的时间范围(第3-5s),素材的持续时长为(2s)。由于素材未被调整过时长,因此素材的开始时间点即第3s处的画面已经与素材的开始时间进行绑定,而素材的结束时间未被绑定,并且素材的持续时长为固定的默认时长例如2s中,除非裁剪后的视频轨道不足以叠加默认时长的素材,此时素材才会被缩短。或者在素材添加在多个视频片段中若视频在前一个视频中的开始时间点对应的画面被裁剪掉,则素材开始时间点自动变为后一个视频片段的首帧,素材时长不变。
例如图3A中的(a)所示,当裁剪的视频范围为视频的第0-1s时,由于裁剪前素材的开始时间点为第3s,素材的持续时间为2s,更新后的素材与视频的对应关系包括:素材的开始时间点为第2s,素材的持续时间保持为2s,相应的素材的结束时间点为第4s,素材的时间范围第2-4s,素材未被调整过时长即数值保持为“0”。这样,便可以使得裁剪视频后,视频的时间范围发生变化,素材的时间范围相应的变化,以保证素材的开始时间对应的绑定点在视频中的画面,在视频裁剪前后是同一个画面,从而提高视频编辑效率。
例如图3A中的(b)所示,当裁剪的视频范围为视频的第8-9s时,由于裁剪前素材的开始时间点为第3s,素材的持续时间为2s,裁剪的时间范围在素材开始时间点之后,并且也在素材结束时间点之后,因此素材与视频的对应关系保持不变,仅视频的时间范围由裁剪前的0-10s变为0-9s。在第一次裁剪后得到的0-9s的视频基础之上,当裁剪的视频范围为视频的第3.5-8s时,由于裁剪前素材的开始时间点为第3s,素材的持续时间为2s,素材的结束时间点为第5s,可见裁剪的时间范围在素材开始时间点之后,但在素材结束时间点之前,则说明剩余视频轨道不足以支持叠加初始时长(2s)的素材,素材的开始时间点不变,素材时长缩短,因此更新后的素材与视频的对应关系包括:素材的开始时间点为第3s,素材的持续时间为1.5s,相应的素材的结束时间点为第4.5s,素材的时间范围第3-4.5s,素材被调整过时长即数值保持为“0”这里的调整特指根据用户裁剪素材时长的操作来调整。这样,便可以使得裁剪视频后,视频的时间范围发生变化,素材的时间范围相应的变化,以保证素材的开始时间对应的绑定点在视频中的画面,在视频裁剪前后是同一个画面,从而提高视频编辑效率。
例如图3A中的(c)所示,当视频包括多个视频片段时,当裁剪的视频范围为视频的第3.5-4s时,由于裁剪前素材的开始时间点为第3s,素材的持续时间为2s,裁剪的时间范围在素材开始时间点之后,并且也在素材结束时间点之后,因此素材与视频的对应关系保持不变。仅视频的时间范围由裁剪前的0-10s变为0-9.5s。在第一次裁剪后得到的0-9.5s的视频基础之上,当裁剪的视频范围为视频的第2-3.5s时,由于裁剪前素材的开始时间点为第3s,素材的持续时间为2s,素材的结束时间点为第5s,可见裁剪的时间范围包含了素材开始时间点,但裁剪的时间结束点在素材结束时间点之前,则说明素材的开始时间将变为后一段视频的首帧,素材时长不变,因此更新后的素材与视频的对应关系包括:素材的开始时间点为第3s,素材的持续时间保持为2s,相应的素材的结束时间点为第5s,素材的时间范围第3-5s。这样,便可以使得裁剪视频后,视频的时间范围发生变化,素材的时间范围相应的变化,以保证素材的开始时间对应的绑定点在视频中的画面,在视频裁剪前后是同一个画面,从而提高视频编辑效率。
(2)当素材已被调整过时长时,则结合上文图3B来看,视频编辑处于state0时,素材与视频的对应关系为,视频未被裁剪且素材也未被调整时长时的初始对应关系,视频编辑处于state1时,素材与视频的对应关系为视频未被裁剪但素材被调整时长时更新后的素材与视频的更新的对应关系。该更新应关系具体包括,素材开始时间点(第3s),素材结束时间点(第5s),指示素材否被调整过时长(数值为“1”),素材的时间范围(第3-5s),素材的持续时长为(2s)。由于素材被调整过时长,因此素材的开始时间点即第3s处的画面已经与素材的开始时间进行绑定,并且素材的结束时间也被绑定,即与第5s处的画面绑定。在该中情况下,若视频被裁剪,则素材的时间范围通过素材的开始时间对应的绑定点和素材的结束时间对应的绑定点共同决定。
例如图3B中的(a)所示,当裁剪的视频范围为视频的第0-4s时,由于裁剪前素材的开始时间点为第3s,素材的持续时间为2s,素材的结束时间为第5s,可见裁剪的时间范围包含了素材的开始时间点但未包含素材的结束时间点,因此更新后的素材与视频的对应关系包括:素材的开始时间点为第0s,素材的持续时间缩短为1s,相应的素材的结束时间点为第1s,素材的时间范围第0-1s,指示素材否被调整过时长的数值保持为“1”。这样,便可以使得裁剪视频后,视频的时间范围发生变化,素材的时间范围相应的变化,以保证素材的结束时间对应的绑定点在视频中的画面,在视频裁剪前后是同一个画面,从而提高视频编辑效率。若素材的开始时间对应的绑定点在视频中的画面未被裁剪掉,则还可以保证素材的开始时间对应的绑定点在视频中的画面,在视频裁剪前后是同一个画面。
例如图3B中的(b)所示,当裁剪的视频范围为视频的第4-10s时,由于裁剪前素材的开始时间点为第3s,素材的持续时间为2s,素材的结束时间为第5s,可见裁剪的时间范围包含了素材的结束时间点但未包含素材的开始时间点,因此更新后的素材与视频的对应关系包括:素材的开始时间点为第3s,素材的持续时间缩短为1s,相应的素材的结束时间点为第4s,素材的时间范围第3-4s,指示素材否被调整过时长数值保持为“1”。这样,便可以使得裁剪视频后,视频的时间范围发生变化,素材的时间范围相应的变化,以保证素材的开始时间对应的绑定点在视频中的画面,在视频裁剪前后是同一个画面,从而提高视频编辑效率。若素材的结束时间对应的绑定点在视频中的画面未被裁剪掉,则还可以保证素材的结束时间对应的绑定点在视频中的画面,在视频裁剪前后是同一个画面。
例如图3B中的(c)所示,当视频包括多个视频片段时,当裁剪的视频范围为视频的第3.5-4s时,由于裁剪前素材的开始时间点为第3s,素材的持续时间为2s,素材的结束时间点为第5s。裁剪的时间范围在素材开始时间点之后,但在素材结束时间点之前,因此素材的开始时间点不变但素材时长缩短,因此更新后的素材与视频的对应关系包括:素材的开始时间点为第3s,素材的持续时间保持为1.5s,相应的素材的结束时间点为第4.5s,素材的时间范围第3-4.5s。在第一次裁剪后得到的0-9.5s的视频基础之上,当裁剪的视频范围为视频的第2-3.5s时,由于裁剪前素材的开始时间点为第3s,素材的持续时间为1.5s,素材的结束时间点为第4.5s,可见裁剪的时间范围包含了素材开始时间点,但裁剪的时间结束点在素材结束时间点之前,则说明素材的开始时间将变为后一段视频的首帧,素材时长缩短,因此更新后的素材与视频的对应关系包括:素材的开始时间点为第2s,素材的持续时间缩短为1s,相应的素材的结束时间点为第3s,素材的时间范围第2-3s。这样,便可以使得裁剪视频后,视频的时间范围发生变化,素材的时间范围相应的变化,以保证素材的结束时间对应的绑定点在视频中的画面,在视频裁剪前后是同一个画面,从而提高视频编辑效率。
S707,电子设备的Magic Player向数据模型发送数据的指令。
具体的,该指令用于数据模型根据更新后的素材与视频的对应关系,将其中存储的视频、素材等数据更新为裁剪后的具有新时间范围的新视频和新素材。
S708,电子设备的数据模型对视频进行裁剪得到具有新时间范围的视频,并根据更新后的素材与视频的对应关系调整素材。
具体的,数据模型可以通过框架层、内核层调用对应的底层硬件例如视频编解码器对原视频进行解码后编码得到裁剪时长后并且调整素材时间范围后的新视频,并将该更新后的视频存储在数据模型中。
S709,电子设备的Magic Player向UI模块发送UI的指令。
S710,电子设备的UI模块输出裁剪后的视频和素材。
具体的,UI模块可以根据数据模型中更新后的视频和素材来UI界面,以输出裁剪后的视频以及做出相应调整后的素材的信息。
参考图8,图8示例性示出添加素材后更改视频片段的交互流程。
如图8所示,该交互流程具体为电子设备中安装的视频编辑类APP来执行,关于视频编辑类APP的定义可以参考前文对图2C中的应用程序层的描述,以及视频编辑类APP的框架和包含的模块可以参考上文对图2D的描述,在此暂不赘述。该交互流程包括以下步骤:
S801,电子设备的UI模块接收到拖拽视频片段的操作。
具体的,电子设备通过显示屏检测到用于更改视频片段顺序的操作,并将该操作的相关数据传送至电子设备的UI模块。当该用于更改视频片段顺序的操作具体为拖拽视频片段时,则该操作例如可以是上文图2K介绍的作用于视频片段上的拖拽操作。
S802,电子设备的UI模块向数据管理模块发送更改视频片段顺序的指令并携带视频片段信息和拖拽方向和距离。
具体的,UI模块接收到用于更改视频片段顺序的操作后,可以获知该操作指示的视频片段信息和拖拽方向和距离,该视频片段信息包括但不限于视频的标识和视频包含的视频片段的个数以及每个视频片段的时间范围等。
S803,电子设备的数据管理模块将拖拽方向和距离转化为视频片段的目标顺序并将视频片段信息和目标顺序封装为operation数据包。
具体的,数据管理模块接收到UI模块传送的视频片段信息和拖拽距离方向后,可以将其封装为operation数据包,该operation数据包中包括指示视频片段信息和拖拽距离方向的数据,但是这些数据的形式可能与从UI模块处接收到的形式不同,例如指示拖拽距离方向这一数据的形式可能由拖拽距离方向变为视频片段的目标顺序,这样便可用于电子设备的Magic Player能够识别该数据并根据该数据执行对应的事件。
S804,电子设备的数据管理模块将operation数据包发送至Magic Player。
S805,电子设备的Magic Player根据视频信息从数据模型中获取视频和添加在该视频中的素材。
具体的,电子设备的Magic Player接收到operation数据包后,根据operation数据中指示的视频片段信息的数据,从数据模型中获取对应的视频片段,并也获取添加在该视频片段中的素材。
S806,电子设备的Magic Player根据目标顺序得到新视频的时间范围和更新后的素材与视频的对应关系。
具体的,Magic Player可以根据目标顺序得到更改顺序后的新视频的时间范围。其具体实现过程可以参考前文对场景2的介绍,例如图4所示的,拖拽某一个视频片段到前一个视频片段之前,则该被拖拽的视频片段前移,而前一个视频片段整体后移;或者,拖拽某一个视频片段到后一个视频片段之后,则该被拖拽的视频片段后移,而后一个视频片段整体前移。虽然视频的总时长保持不变,但视频包含的多个视频片段的顺序发生变化,也就是说,视频片段在整个视频轨道上的时间范围发生了变化,从而得到更改视频顺序后的视频片段的新时间范围。
然后,Magic Player根据更改视频顺序后的视频片段的新时间范围得到更新后的素材与视频的对应关系具体包括:Magic Player根据裁剪视频之前所存储的素材与视频的对应关系,以及,裁剪视频之后新视频的时间范围,更新素材与视频的对应关系。其中更新素材与视频的对应关系相当于获取调整后的素材的时间范围。
结合图4所示的拖拽示例来看,当电子设备处于state0时,素材与视频的对应关系包括:素材开始时间点(第1s),素材结束时间点(第4.5s),指示素材否被调整过时长(数值可以为“0”或“1”),素材的时间范围(第1-4.5s),素材的持续时长为(3.5s)。素材的开始时间点即第3s处的画面已经与素材的开始时间进行绑定,而素材的结束时间可能与视频画面进行绑定也可能与视频画面未绑定,此处不对其进行区分,因为在更改视频片段的顺序的场景下。素材的调整规则以素材的开始时间对应的绑定点的画面保持不变为准。
S807,电子设备的Magic Player向数据模型发送数据的指令。
具体的,该指令用于数据模型根据更新后的素材与视频的对应关系,将其中存储的视频、素材等数据更新为调整顺序后的具有新时间范围的新视频和新素材。
S808,电子设备的数据模型对视频进行更改顺序得到具有新时间范围的视频,并根据更新后的素材与视频的对应关系调整素材。
具体的,数据模型可以通过框架层、内核层调用对应的底层硬件例如视频编解码器对原视频进行解码后编码得到更改顺序后并且调整其中素材的时间范围后的新视频,并将该更新后的视频存储在数据模型中。
S809,电子设备的Magic Player向UI模块发送UI的指令。
S810,电子设备的UI模块输出更改顺序后的视频和素材。
具体的,UI模块可以根据数据模型中更新后的视频和素材来UI界面,以输出更改顺序后的视频以及做出相应调整后的素材的信息。
基于上文图6-图8介绍的对视频进行添加素材,以及对添加素材后的视频进行裁剪、更改顺序等编辑操作所涉及的内部交互流程,接下来以电子设备为执行主体介绍本申请提供的多轨道视频编辑方法的总流程。
参考图9,图9示例性示出一种多轨道视频编辑方法流程图。
如图9所示,该方法包括以下步骤:
S901,电子设备接收到对已添加素材的视频的编辑操作。
具体的,该编辑操作包括但不限于:裁剪视频时长、更改视频片段顺序、删除视频片段的操作。
S902,电子设备生成编辑操作对应的operation数据包。
具体的,电子设备接收到对已添加素材的视频的编辑操作后,可以根据编辑操作的相关数据生成operation数据包,该operation数据包的作用是将用户操作的相关数据转换为电子设备内部的Magic player能够识别并对其进行相应处理的数据。关于不同的编辑操作对应的operation数据包的介绍可以参考前文图6-图8中对operation数据包的描述,在此暂不赘述。
S903,电子设备调用Magic player处理operation数据包,以得到编辑后的新视频,和,按照更新后的素材与视频的对应关系调整后的素材。
具体的,电子设备通过调用Magic player根据operation数据包中的数据,对视频执行对应的编辑例如裁剪视频、更改视频片段顺序或者删除视频片段,以得到新的视频,该新的视频具有新的时间范围。之后,Magic player根据新的时间范围和之前存储的素材与视频的对应关系来更新素材与视频的对应关系。最后,Magic player根据更新后的素材与视频的对应关系来调整素材在新视频中的时间范围。
其中,关于步骤S903中描述的Magic player处理operation数据包,以实现编辑视频并相应调整素材的具体方法可以参考前文图6-图8中描述的不同编辑操作下的实现方法,也可以参考下文图10所示出的方法。
参考图10,图10示例性示出Magic player处理operation数据包的方法流程。
通过上文所述可知,根据编辑操作的类型可以将场景划分为的场景1、场景2和场景3这三个场景。场景1是指编辑操作为裁剪视频时长的操作;场景2是指编辑操作为更改视频片段顺序;场景3是指编辑操作为删除视频片段的操作。由于在场景1中,在对视频进行编辑后,调整素材的规则受到素材之前是否被调整过时长的影响,而在场景2和场景3中,在对视频进行编辑后,调整素材的规则不受素材之前是否被调整过时长的影响。因此图10所示的方法流程先根据编辑操作类型进行介绍,然后根据素材之前是否被调整过时长来进行介绍。
如图10所示,当Magic player接收到的operation数据包中指示的编辑操作为裁剪视频时长时,则Magic player处理operation数据包具体包括步骤S1011-S1014。
S1011,计算裁剪后的视频的开始时间和结束时间。
具体的,计算裁剪后的视频的开始时间和结束时间是根据裁剪前的视频的开始时间和结束时间(相当于时间范围),和裁剪时间范围来获取的。其中,裁剪前的视频的开始时间和结束时间(相当于时间范围)是Magic player从数据模型中获取的,其中裁剪时间范围是根据UI模块接收的操作确定的。
S1012,判断添加在该视频中的素材时长是否被调整过。
具体的,判断素材时长是否被调整过的方法可以从上文所述的Material TimeInfo中获取,当电子设备接收到作用于素材轨道上的用于裁剪素材时长的操作,则在Material Time Info中记载素材已经被调整过时长的指示信息,否则记载素材未被调整过时长的指示信息。
当确定素材已经被调整过时长则继续执行步骤S1013-1;当确定素材未被调整过时长则继续执行步骤S1013-2。
S1013-1,根据Material Time Info中记载的素材开始时间点和裁剪后的视频的开始时间得到调整后的素材的开始时间;根据Material Time Info中记载的素材结束时间点得到调整后的素材的结束时间。
具体的,获取调整后的素材的开始时间和结束时间的具体示例可以参考前文图7中步骤S706的介绍,在此暂不赘述。
S1013-2,根据Material Time Info中记载的素材开始时间点和裁剪后的视频的开始时间得到调整后的素材的开始时间;根据Material Time Info中记载的素材初始时间得到调整后的素材的结束时间。
具体的,获取调整后的素材的开始时间和结束时间的具体示例可以参考前文图7中步骤S706的介绍,在此暂不赘述。
S1014,根据计算到的素材的开始时间和结束时间更新Material Time Info并且更新UI界面。
当Magic player接收到的operation数据包中指示的编辑操作为更改视频片段顺序、删除视频片段时,则Magic player处理operation数据包具体包括步骤S1021-S1023。
S1021,计算更改顺序后、删除片段后所有视频片段的开始时间和结束时间。
具体的,计算更改顺序后、删除片段后的视频的开始时间和结束时间是根据更改顺序前、删除片段前的视频的开始时间和结束时间(相当于时间范围),和更改的目标顺序、删除的视频片段的时间范围来获取的。其中,更改顺序前、删除片段前的视频的开始时间和结束时间是Magic player从数据模型中获取的,其中更改的目标顺序、删除的视频片段的时间范围是根据UI模块接收的操作确定的。
S1022,根据Material Time Info中记载的素材开始时间点和拖拽后、删除后所有视频片段的时间范围得到调整后的素材的开始时间;根据Material Time Info中记载的素材结束时间和拖拽后、删除后所有视频片段的时间范围得到调整后的素材的结束时间。
具体的,获取调整后的素材的开始时间和结束时间的具体示例可以参考前文图8中步骤S806的介绍,在此暂不赘述。
S1023,根据计算到的素材的开始时间和结束时间更新Material Time Info并且更新UI界面。
应理解,本申请提供的上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
本申请还提供一种电子设备,该电子设备可以包括:存储器和处理器。其中,存储器可用于存储计算机程序;处理器可用于调用所述存储器中的计算机程序,以使得该电子设备执行上述任意一个实施例中的方法。
本申请还提供了一种芯片系统,所述芯片系统包括至少一个处理器,用于实现上述任意一个实施例中电子设备执行的方法中所涉及的功能。
在一种可能的设计中,所述芯片系统还包括存储器,所述存储器用于保存程序指令和数据,存储器位于处理器之内或处理器之外。
该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
可选地,该芯片系统中的处理器可以为一个或多个。该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等。当通过软件实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现。
可选地,该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起,也可以和处理器分离设置,本申请实施例并不限定。示例性地,存储器可以是非瞬时性处理器,例如只读存储器ROM,其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请实施例对存储器的类型,以及存储器与处理器的设置方式不作具体限定。
示例性地,该芯片系统可以是现场可编程门阵列(field programmable gatearray,FPGA),可以是专用集成芯片(application specific integrated circuit,ASIC),还可以是系统芯片(system on chip,SoC),还可以是中央处理器(central processorunit,CPU),还可以是网络处理器(network processor,NP),还可以是数字信号处理电路(digital signal processor,DSP),还可以是微控制器(micro controller unit,MCU),还可以是可编程控制器(programmable logic device,PLD)或其他集成芯片。
本申请还提供一种计算机程序产品,所述计算机程序产品包括:计算机程序(也可以称为代码,或指令),当所述计算机程序被运行时,使得计算机执行上述任一个实施例中电子设备执行的方法。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序(也可以称为代码,或指令)。当所述计算机程序被运行时,使得计算机执行上述任一个实施例中电子设备执行的方法。
本申请的各实施方式可以任意进行组合,以实现不同的技术效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之,以上所述仅为本发明技术方案的实施例而已,并非用于限定本发明的保护范围。凡根据本发明的揭露,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (28)

1.一种多轨道视频编辑方法,其特征在于,所述方法应用于电子设备,所述方法包括:
所述电子设备获取素材与第一视频的对应关系,所述对应关系指示了:所述素材的起始位置、结束位置,分别对应于,所述第一视频中的第一画面、第二画面;
接收到用于裁剪所述第一视频的第一操作,将所述第一视频中的第一部分裁剪掉,得到第二视频,所述第一部分为所述第一视频中一段连续的内容;
在所述第一操作为从所述第一视频的开始位置处开始裁剪的操作,且在所述第一部分为所述第一画面之前的内容的情况下,响应于所述第一操作,所述电子设备还将所述素材的起始位置调整至对应于所述第二视频中的所述第一画面;
在所述第一操作为从所述第一视频的结束位置处开始裁剪的操作,且在所述第一部分为所述第一画面之后并且包含所述第二画面的内容的情况下,响应于所述第一操作,所述电子设备还将所述素材中对应于所述第一部分的开始位置之后的内容裁剪掉。
2.根据权利要求1所述的方法,其特征在于,在所述电子设备获取素材与第一视频的对应关系之前,所述方法还包括:
显示第一用户界面,所述第一用户界面中包括:用于展示所述第一视频的第一轨道、用于展示所述素材的第二轨道;所述素材在所述第二轨道中的起始位置、结束位置,分别对应于,所述第一轨道中所述第一视频中的所述第一画面、所述第二画面。
3.根据权利要求2所述的方法,其特征在于,在接收到用于裁剪所述第一视频的第一操作之后,所述方法还包括:
在所述第一轨道中显示所述第二视频,在所述第二轨道中显示调整后的所述素材。
4.根据权利要求2或3所述的方法,其特征在于,在所述电子设备获取素材与第一视频的对应关系之前,所述方法还包括:
所述电子设备接收到第二操作,所述电子设备在所述第二轨道中添加所述素材,所述素材的时长为默认时长。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述电子设备接收到用于撤回所述第一操作的第三操作,将所述第二视频还原为所述第一视频,并且,撤销对所述素材的调整操作。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述电子设备接收到第四操作,生成第三视频,所述第三视频为根据调整后的所述素材和所述第二视频合成得到的视频。
7.一种多轨道视频编辑方法,其特征在于,所述方法应用于电子设备,所述方法包括:
所述电子设备获取素材与第一视频的对应关系,所述对应关系指示了:所述素材的起始位置、结束位置,分别对应于,所述第一视频中的第一画面、第二画面;
接收到用于裁剪所述第一视频的第一操作,将所述第一视频中的第一部分裁剪掉,得到第二视频,所述第一部分为所述第一视频中一段连续的内容;
在所述第一操作为从所述第一视频的开始位置处开始裁剪的操作,且在所述第一部分为所述第一画面之前的内容的情况下,响应于所述第一操作,所述电子设备还将所述素材的起始位置调整至对应于所述第二视频中的所述第一画面,并且,将所述素材的结束位置调整至对应于所述第二视频中的所述第二画面;
在所述第一操作为从所述第一视频的结束位置处开始裁剪的操作,且在所述第一部分为所述第一画面之后并且包含所述第二画面的内容的情况下,响应于所述第一操作,所述电子设备还将所述素材中对应于所述第一部分的开始位置之后的内容裁剪掉;
在所述第一操作为从所述第一视频的开始位置处开始裁剪的操作,且所述第一部分为所述第二画面之前包含所述第一画面的内容的情况下,响应于所述第一操作,所述电子设备还将所述素材中对应于所述第一部分的结束位置之前的内容裁剪掉,裁剪后的所述素材的起始位置、结束位置分别对应于所述第一视频中的第三画面、所述第二画面;
在所述第一部分包含所述第一画面和所述第二画面的情况下,所述电子设备还删除所述素材。
8.根据权利要求7所述的方法,其特征在于,在所述电子设备获取素材与第一视频的对应关系之前,所述方法还包括:
显示第一用户界面,所述第一用户界面中包括:用于展示所述第一视频的第一轨道、用于展示所述素材的第二轨道;所述素材在所述第二轨道中的起始位置、结束位置,分别对应于,所述第一轨道中所述第一视频中的所述第一画面、所述第二画面。
9.根据权利要求8所述的方法,其特征在于,在接收到用于裁剪所述第一视频的第一操作之后,所述方法还包括:
在所述第一轨道中显示所述第二视频,在所述第二轨道中显示调整后的所述素材。
10.根据权利要求8或9所述的方法,其特征在于,在所述电子设备获取素材与第一视频的对应关系之前,所述方法还包括:
所述电子设备接收到第二操作,所述电子设备在所述第二轨道中添加所述素材,所述素材的时长为默认时长;
所述电子设备接收到用于缩短或者延长所述素材的操作,所述电子设备将所述素材的时长由所述默认的时长缩短或者延长为第一时长,所述第一时长为所述第一视频中所述第一画面到所述第二画面之间的时长。
11.根据权利要求7所述的方法,其特征在于,所述方法还包括:
所述电子设备接收到用于撤回所述第一操作的第三操作,将所述第二视频还原为所述第一视频,并且,撤销对所述素材的调整操作。
12.根据权利要求7所述的方法,其特征在于,所述方法还包括:
所述电子设备接收到第四操作,生成第三视频,所述第三视频为根据调整后的所述素材和所述第二视频合成得到的视频。
13.一种多轨道视频编辑方法,其特征在于,所述方法应用于电子设备,所述方法包括:
所述电子设备获取素材与第一视频的对应关系,所述对应关系指示了:所述素材的起始位置、结束位置,分别对应于,所述第一视频中的第一画面、第二画面;
接收到第一操作,调整所述第一视频中第一部分和/或第二部分在所述第一视频中的位置,得到第二视频,所述第一部分、所述第二部分均为所述第一视频中一段连续的内容,且所述第一部分包含所述第一画面,所述第二部分包含所述第二画面;
在所述第一部分与所述第二部分,在所述第二视频中的相对位置,和,在所述第一视频中的相对位置相同的情况下,响应于所述第一操作,所述电子设备还将所述素材的起始位置,移动至,对应于所述第二视频中的所述第一画面处;
在所述第一部分与所述第二部分,在所述第二视频中的相对位置,和,在所述第一视频中的相对位置不同的情况下,响应于所述第一操作,所述电子设备还将所述素材对应于所述第一部分的结束位置之后的内容裁剪掉,并且移动裁剪后的所述素材,使得裁剪后的所述素材的起始位置对应于所述第二视频中的所述第一画面。
14.根据权利要求13所述的方法,其特征在于,在所述电子设备获取素材与第一视频的对应关系之前,所述方法还包括:
显示第一用户界面,所述第一用户界面中包括:用于展示所述第一视频的第一轨道、用于展示所述素材的第二轨道;所述素材在所述第二轨道中的起始位置、结束位置,分别对应于,所述第一轨道中所述第一视频中的所述第一画面、所述第二画面。
15.根据权利要求14所述的方法,其特征在于,在接收到用于裁剪所述第一视频的第一操作之后,所述方法还包括:
在所述第一轨道中显示所述第二视频,在所述第二轨道中显示调整后的所述素材。
16.根据权利要求14或15所述的方法,其特征在于,在所述电子设备获取素材与第一视频的对应关系之前,所述方法还包括:
所述电子设备接收到第二操作,所述电子设备在所述第二轨道中添加所述素材,所述素材的时长为默认时长;
所述电子设备接收到用于缩短或者延长所述素材的操作,所述电子设备将所述素材的时长由所述默认的时长缩短或者延长为第一时长,所述第一时长为所述第一视频中所述第一画面到所述第二画面之间的时长。
17.根据权利要求13所述的方法,其特征在于,所述方法还包括:
所述电子设备接收到用于撤回所述第一操作的第三操作,将所述第二视频还原为所述第一视频,并且,撤销对所述素材的调整操作。
18.根据权利要求13所述的方法,其特征在于,所述方法还包括:
所述电子设备接收到第四操作,生成第三视频,所述第三视频为根据调整后的所述素材和所述第二视频合成得到的视频。
19.一种多轨道视频编辑方法,其特征在于,所述方法应用于电子设备,所述方法包括:
所述电子设备获取素材与第一视频的对应关系,所述对应关系指示了:所述素材的起始位置、结束位置,分别对应于,所述第一视频中的第一画面、第二画面;
接收到第一操作,将所述第一视频中第一部分删除,得到第二视频,所述第一部分为所述第一视频中一段连续的内容且包含所述第二画面之前的内容;
在所述第一部分包含所述第一画面的情况下,响应于所述第一操作,所述电子设备还删除所述素材;
在所述第一部分为所述第一画面之前的内容的情况下,所述电子设备还将所述素材的起始位置调整至对应于所述第二视频中的所述第一画面。
20.根据权利要求19所述的方法,其特征在于,在所述电子设备获取素材与第一视频的对应关系之前,所述方法还包括:
显示第一用户界面,所述第一用户界面中包括:用于展示所述第一视频的第一轨道、用于展示所述素材的第二轨道;所述素材在所述第二轨道中的起始位置、结束位置,分别对应于,所述第一轨道中所述第一视频中的所述第一画面、所述第二画面。
21.根据权利要求20所述的方法,其特征在于,在接收到用于裁剪所述第一视频的第一操作之后,所述方法还包括:
在所述第一轨道中显示所述第二视频,在所述第二轨道中显示调整后的所述素材。
22.根据权利要求20或21所述的方法,其特征在于,在所述电子设备获取素材与第一视频的对应关系之前,所述方法还包括:
所述电子设备接收到第二操作,所述电子设备在所述第二轨道中添加所述素材,所述素材的时长为默认时长。
23.根据权利要求22所述的方法,其特征在于,在所述电子设备接收到第二操作之后,获取素材与第一视频的对应关系之前,所述方法还包括:
所述电子设备接收到用于缩短或者延长所述素材的操作,所述电子设备将所述素材的时长由所述默认的时长缩短或者延长为第一时长,所述第一时长为所述第一视频中所述第一画面到所述第二画面之间的时长。
24.根据权利要求19所述的方法,其特征在于,所述方法还包括:
所述电子设备接收到用于撤回所述第一操作的第三操作,将所述第二视频还原为所述第一视频,并且,撤销对所述素材的调整操作。
25.根据权利要求19所述的方法,其特征在于,所述方法还包括:
所述电子设备接收到第四操作,生成第三视频,所述第三视频为根据调整后的所述素材和所述第二视频合成得到的视频。
26.一种芯片,所述芯片应用于电子设备,其特征在于,所述芯片包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-25中任一项所述的方法。
27.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-25中任一项所述的方法。
28.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-25中任一项所述的方法。
CN202210911228.0A 2022-05-30 2022-07-29 多轨道视频编辑方法、图形用户界面及电子设备 Active CN116055799B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022106034881 2022-05-30
CN202210603488 2022-05-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410054110.XA Division CN118055290A (zh) 2022-05-30 2022-07-29 多轨道视频编辑方法、图形用户界面及电子设备

Publications (2)

Publication Number Publication Date
CN116055799A CN116055799A (zh) 2023-05-02
CN116055799B true CN116055799B (zh) 2023-11-21

Family

ID=86126379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210911228.0A Active CN116055799B (zh) 2022-05-30 2022-07-29 多轨道视频编辑方法、图形用户界面及电子设备

Country Status (1)

Country Link
CN (1) CN116055799B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198486A (zh) * 2019-05-28 2019-09-03 上海哔哩哔哩科技有限公司 一种预览视频素材的方法、计算机设备及可读存储介质
CN110971957A (zh) * 2018-09-30 2020-04-07 阿里巴巴集团控股有限公司 一种视频编辑方法、装置以及移动终端
CN111901535A (zh) * 2020-07-23 2020-11-06 北京达佳互联信息技术有限公司 视频编辑方法、装置、电子设备、系统及存储介质
WO2021008394A1 (zh) * 2019-07-15 2021-01-21 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质
WO2021093737A1 (zh) * 2019-11-15 2021-05-20 北京字节跳动网络技术有限公司 生成视频的方法、装置、电子设备和计算机可读介质
WO2021104242A1 (zh) * 2019-11-26 2021-06-03 Oppo广东移动通信有限公司 视频处理方法、电子装置和存储介质
CN113382303A (zh) * 2021-05-27 2021-09-10 北京达佳互联信息技术有限公司 编辑视频素材的交互方法、装置及电子设备
WO2022068511A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 视频生成方法和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100040349A1 (en) * 2008-05-01 2010-02-18 Elliott Landy System and method for real-time synchronization of a video resource and different audio resources
US20180061455A1 (en) * 2016-08-26 2018-03-01 Matthew Benjamin Singer Computer device, method, and graphical user interface for automating the digital transformation, enhancement, and editing of videos
CN112437342B (zh) * 2020-05-14 2022-09-23 上海哔哩哔哩科技有限公司 一种视频编辑的方法及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971957A (zh) * 2018-09-30 2020-04-07 阿里巴巴集团控股有限公司 一种视频编辑方法、装置以及移动终端
CN110198486A (zh) * 2019-05-28 2019-09-03 上海哔哩哔哩科技有限公司 一种预览视频素材的方法、计算机设备及可读存储介质
WO2021008394A1 (zh) * 2019-07-15 2021-01-21 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质
WO2021093737A1 (zh) * 2019-11-15 2021-05-20 北京字节跳动网络技术有限公司 生成视频的方法、装置、电子设备和计算机可读介质
WO2021104242A1 (zh) * 2019-11-26 2021-06-03 Oppo广东移动通信有限公司 视频处理方法、电子装置和存储介质
CN111901535A (zh) * 2020-07-23 2020-11-06 北京达佳互联信息技术有限公司 视频编辑方法、装置、电子设备、系统及存储介质
WO2022068511A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 视频生成方法和电子设备
CN113382303A (zh) * 2021-05-27 2021-09-10 北京达佳互联信息技术有限公司 编辑视频素材的交互方法、装置及电子设备

Also Published As

Publication number Publication date
CN116055799A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
JP7414842B2 (ja) コメント追加方法及び電子デバイス
KR20230042523A (ko) 멀티미디어 데이터의 처리 방법, 생성 방법 및 관련 기기
TW201640888A (zh) 生成視頻的方法、裝置及終端
JP6284931B2 (ja) 多重動画再生方法及び装置
US20230367464A1 (en) Multi-Application Interaction Method
CN112004041B (zh) 视频录制方法、装置、终端及存储介质
KR20140042427A (ko) 애니메이션 이모티콘을 생성하는 장치 및 그 방법
WO2021169466A1 (zh) 信息收藏方法、电子设备及计算机可读存储介质
WO2024055797A9 (zh) 一种录像中抓拍图像的方法及电子设备
CN116055799B (zh) 多轨道视频编辑方法、图形用户界面及电子设备
CN114979785B (zh) 视频处理方法、电子设备及存储介质
WO2023071482A1 (zh) 视频编辑方法和电子设备
CN114222187B (zh) 视频编辑方法和电子设备
CN113448658A (zh) 截屏处理的方法、图形用户接口及终端
CN118055290A (zh) 多轨道视频编辑方法、图形用户界面及电子设备
CN116055738B (zh) 视频压缩方法及电子设备
CN115016871B (zh) 多媒体编辑方法、电子设备和存储介质
WO2024046010A1 (zh) 一种界面显示方法、设备及系统
CN116055715B (zh) 编解码器的调度方法及电子设备
KR20150083475A (ko) 터치입력을 이용한 미디어 편집 방법 및 장치
CN116048349B (zh) 一种图片显示方法、装置及终端设备
WO2024027570A1 (zh) 界面显示方法及相关装置
WO2023030198A1 (zh) 批注方法和电子设备
CN117692723A (zh) 视频编辑方法和电子设备
CN117201865A (zh) 一种编辑视频的方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant