CN115484424A - 一种视频数据的转场处理方法及电子设备 - Google Patents

一种视频数据的转场处理方法及电子设备 Download PDF

Info

Publication number
CN115484424A
CN115484424A CN202210056943.0A CN202210056943A CN115484424A CN 115484424 A CN115484424 A CN 115484424A CN 202210056943 A CN202210056943 A CN 202210056943A CN 115484424 A CN115484424 A CN 115484424A
Authority
CN
China
Prior art keywords
interface
video
video data
transition
special effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210056943.0A
Other languages
English (en)
Inventor
牛思月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to US18/257,018 priority Critical patent/US20240106967A1/en
Priority to PCT/CN2022/094793 priority patent/WO2022262537A1/zh
Priority to EP22824018.0A priority patent/EP4240011A4/en
Publication of CN115484424A publication Critical patent/CN115484424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/915Television signal processing therefor for field- or frame-skip recording or reproducing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种视频数据的转场处理方法及电子设备,涉及终端技术领域。解决编辑视频的人机交互效率低的问题。具体方案为:显示第一界面;其中,第一界面包括第一视频数据的第一缩略图;第一视频数据包括第一转场特效;第一转场特效叠加于第一视频数据中连续的多帧第一视频帧上;接收用户对第一缩略图的第一操作;响应于第一操作,显示第二界面;第二界面包括一键大片控件;在接收到用户对一键大片控件的第二操作之后,显示第三界面;第三界面用于显示第二视频数据;第二视频数据包括第一视频数据的视频帧、多帧替代帧、第一音乐及第一音乐对应的第二转场特效;第二转场特效叠加于多帧替代帧上,替代帧用于替换第一视频数据中的第一视频帧。

Description

一种视频数据的转场处理方法及电子设备
本申请要求于2021年6月16日提交国家知识产权局、申请号为202110676709.3、申请名称为“一种基于故事线模式的用户视频创作方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请还要求于2021年11月29日提交国家知识产权局、申请号为202111439351.9、申请名称为“一种视频数据的转场处理方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及终端技术领域,尤其涉及一种视频数据的转场处理方法及电子设备。
背景技术
随着电子技术的发展,手机、平板电脑等电子设备一般都配置有多个摄像头,如前置摄像头、后置摄像头、广角摄像头等等。多个摄像头方便用户利用电子设备进行视频作品的拍摄。
在用户利用电子设备完成拍摄视频之后,还可以通过添加特效、配置音乐等方式编辑该视频,得到观赏性更高的视频作品。目前,用户手动对视频进行编辑的过程中,依然存在人机交互效率比较低的问题。
发明内容
本申请实施例提供一种视频数据的转场处理方法及电子设备,用于提升编辑视频的人机交互效率。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供的一种视频数据的转场处理方法,所述方法应用于电子设备,所述方法包括:所述电子设备显示第一界面;其中,所述第一界面包括第一视频数据的第一缩略图;所述第一视频数据包括第一转场特效;所述第一转场特效叠加于所述第一视频数据中连续的多帧第一视频帧上;所述电子设备接收用户对所述第一缩略图的第一操作;所述电子设备响应于所述第一操作,显示第二界面;所述第二界面是所述第一视频数据的视频编辑界面;所述第二界面包括一键大片控件;在接收到用户对所述一键大片控件的第二操作之后,所述电子设备显示第三界面;所述第三界面用于显示第二视频数据;所述第二视频数据包括所述第一视频数据的视频帧、多帧替代帧、第一音乐及所述第一音乐对应的第二转场特效;所述第二转场特效叠加于所述多帧替代帧上,所述替代帧用于替换所述第一视频数据中的所述第一视频帧。
在上述实施例中,对于已保存的视频数据,如,第一视频数据,电子设备可以响应于用户对一键大片控件的操作,自动编辑并处理第一视频数据,得到第二视频数据。该第二视频数据中配置有第一音乐。在第一视频数据中本存在转场特效,如第一转场特效的情况下,电子设备可以将第一转场特效替换为与第一音乐匹配的第二转场特效,这样,第二视频数据中出现的转场特效可以与第一音乐匹配,提升第二视频数据中音乐和内容的适配度,提升用户对第二视频数据的满意度,降低返工的可能。另外,整个触发创作第二视频数据的操作简单,有效提升创作视频数据的人机交互效率。
在一些可能的实施例中,在所述电子设备显示第一界面之前,所述方法还包括:所述电子设备显示第四界面;所述第四界面是相机应用提供的取景预览界面;所述第四界面包括指示启动拍摄视频的第一控件;所述电子设备接收用户对所述第一控件的第三操作;所述电子设备响应于所述第三操作,显示第五界面,并开始录制所述第一视频数据;其中,所述第五界面是第一镜头模式下的视频录制界面;所述第五界面包括指示切换镜头模式的第二控件;在录制到所述第一视频数据的第一时间点时,所述电子设备响应于用户对所述第二控件的第四操作,显示第六界面,并确定所述第一时间点对应的视频帧为所述第一视频帧;其中,所述第六界面是第二镜头模式下的视频录制界面;所述第六界面包括指示停止拍摄的第三控件;所述电子设备接收用户对所述第三控件的第五操作;所述电子设备显示第一界面,包括:所述电子设备响应于所述第五操作,显示所述第一界面;所述第一界面也是所述相机应用提供的取景预览界面。
在上述实施例中,第一视频数据可以是电子设备在常规模式下拍摄的视频。在拍摄该视频的过程,电子设备在第一时间点,接收到指示切换镜头模式的操作,不仅可以直接切换镜头模式,还可以将第一视频数据中第一时间点对应的视频帧确定为第一视频帧,这样,编辑处理第一视频数据时,可以处理受镜头切换影响的视频帧,提高第二视频数据的可观赏性,提高编辑视频的人机交互效率。
在一些可能的实施例中,在所述电子设备接收用户对所述第三控件的第五操作之后,所述方法还包括:所述电子设备在所述第一视频帧上叠加所述第一转场特效。
在上述实施例中,通过在第一视频数据的第一时间点处添加第一转场特效,利用第一转场特效衔接镜头模式切换前后采集到的视频片段,改善由于镜头模式切换,给视频内容带来的不连贯问题,提高成片质量。
在一些可能的实施例中,在所述电子设备显示第一界面之前,所述方法还包括:所述电子设备显示主界面;所述主界面包括图库应用的图标;所述电子设备接收用户对所述图库应用的图标的第六操作;所述电子设备显示第一界面,包括:所述电子设备响应于所述第六操作,显示所述第一界面,所述第一界面为所述图库应用提供的应用界面。
在上述实施例中,第一视频数据还可以是已存储于图库的视频数据,也就是,可以是其他设备拍摄的视频,或者,已经经过一次创作之后的视频。这样,用户通过电子设备可以处理多样的视频素材,且处理所需操作简单,提高视频创作的人机交互效率。
在一些可能的实施例中,在所述电子设备显示第三界面之前,所述方法还包括:所述电子设备响应于所述第二操作,从多个预配置的效果模板中确定出第一效果模板;所述第一效果模板包括所述第一音乐;所述电子设备将所述第一视频数据中的所述第一视频帧删除;所述电子设备将所述第一视频数据中的第二视频帧定格,得到用于替代所述第一视频帧的所述替代帧;所述第二视频帧是所述第一视频帧的相邻前一帧视频帧,或者,是所述第一视频帧的相邻后一帧视频帧;所述电子设备将所述第二转场特效叠加于所述替代帧之上。
在一些可能的实施例中,所述第一效果模板对应第一风格;所述从多个预配置的效果模板中确定出第一效果模板,包括:所述电子设备利用预置的人工智能模型确定所述第一视频数据与所述第一风格匹配;所述电子设备从属于所述第一风格的效果模板中,确定出所述第一效果模板;或者,所述电子设备从多个预置的所述效果模板中,随机确定出所述第一拍摄模板。
在一些可能的实施例中,在所述电子设备显示第三界面之前,所述方法还包括:所述电子设备确定与所述第一音乐对应的所述第二转场特效。
在一些可能的实施例中,所述电子设备确定与所述第一音乐对应的所述第二转场特效,包括:所述电子设备从多种预置转场特效中,确定与所述第一音乐之间具有关联标识的所述第二转场特效。
在上述实施例中,第二转场特效与第一音乐之间具有绝对关联,这样,确保第二视频数据中的第二转场特效与第一音乐适配,提高第二视频数据的可观赏性。
在一些可能的实施例中,所述电子设备确定与所述第一音乐对应的所述第二转场特效,包括:所述电子设备基于匹配权重,从多种预置转场特效中,确定出所述第二转场特效;其中,每种所述预置转场特效对应有一所述匹配权重,所述匹配权重是所述第一音乐与所述预置转场特效之间适配度的量化比值参数。
在上述实施例中,该第二转场特效与第一音乐之间具有相对关联,并且类型也随机,这样,确保转场特效与第一音乐适配的同时,增加转场特效的多样化,提高第二视频数据的可观赏性。
在一些可能的实施例中,所述第二视频数据中还包括:第三转场特效;所述第三转场特效添加于所述第一视频数据中第二时间点所对应的视频帧上;所述第三转场特效是多种预置转场特效中的一种;所述多种预置转场特效包括所述第二转场特效。
第二方面,本申请实施例提供的一种电子设备,电子设备包括一个或多个处理器和存储器;所述存储器与处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,所述一个或多个处理器,用于:显示第一界面;其中,所述第一界面包括第一视频数据的第一缩略图;所述第一视频数据包括第一转场特效;所述第一转场特效叠加于所述第一视频数据中连续的多帧第一视频帧上;接收用户对所述第一缩略图的第一操作;响应于所述第一操作,显示第二界面;所述第二界面是所述第一视频数据的视频编辑界面;所述第二界面包括一键大片控件;在接收到用户对所述一键大片控件的第二操作之后,显示第三界面;所述第三界面用于显示第二视频数据;所述第二视频数据包括所述第一视频数据的视频帧、多帧替代帧、第一音乐及所述第一音乐对应的第二转场特效;所述第二转场特效叠加于所述多帧替代帧上,所述替代帧用于替换所述第一视频数据中的所述第一视频帧。
在一些可能的实施例中,在显示第一界面之前,所述一个或多个处理器,还用于:显示第四界面;所述第四界面是相机应用提供的取景预览界面;所述第四界面包括指示启动拍摄视频的第一控件;接收用户对所述第一控件的第三操作;响应于所述第三操作,显示第五界面,并开始录制所述第一视频数据;其中,所述第五界面是第一镜头模式下的视频录制界面;所述第五界面包括指示切换镜头模式的第二控件;在录制到所述第一视频数据的第一时间点时,响应于用户对所述第二控件的第四操作,显示第六界面,并确定所述第一时间点对应的视频帧为所述第一视频帧;其中,所述第六界面是第二镜头模式下的视频录制界面;所述第六界面包括指示停止拍摄的第三控件;接收用户对所述第三控件的第五操作;
所述一个或多个处理器,还用于:响应于所述第五操作,显示所述第一界面;所述第一界面也是所述相机应用提供的取景预览界面。
在一些可能的实施例中,在接收用户对所述第三控件的第五操作之后,所述一个或多个处理器,还用于:在所述第一视频帧上叠加所述第一转场特效。
在一些可能的实施例中,在显示第一界面之前,所述一个或多个处理器,还用于:显示主界面;所述主界面包括图库应用的图标;接收用户对所述图库应用的图标的第六操作;显示第一界面,包括:所述电子设备响应于所述第六操作,显示所述第一界面,所述第一界面为所述图库应用提供的应用界面。
在一些可能的实施例中,在显示第三界面之前,所述一个或多个处理器,还用于:响应于所述第二操作,从多个预配置的效果模板中确定出第一效果模板;所述第一效果模板包括所述第一音乐;将所述第一视频数据中的所述第一视频帧删除;将所述第一视频数据中的第二视频帧定格,得到用于替代所述第一视频帧的所述替代帧;所述第二视频帧是所述第一视频帧的相邻前一帧视频帧,或者,是所述第一视频帧的相邻后一帧视频帧;将所述第二转场特效叠加于所述替代帧之上。
在一些可能的实施例中,所述一个或多个处理器,还用于:利用预置的人工智能模型确定所述第一视频数据与所述第一风格匹配;从属于所述第一风格的效果模板中,确定出所述第一效果模板;或者,从多个预置的所述效果模板中,随机确定出所述第一拍摄模板。
在一些可能的实施例中,在显示第三界面之前,所述一个或多个处理器,还用于:确定与所述第一音乐对应的所述第二转场特效。
在一些可能的实施例中,所述一个或多个处理器,还用于:从多种预置转场特效中,确定与所述第一音乐之间具有关联标识的所述第二转场特效。
在一些可能的实施例中,所述一个或多个处理器,还用于:基于匹配权重,从多种预置转场特效中,确定出所述第二转场特效;其中,每种所述预置转场特效对应有一所述匹配权重,所述匹配权重是所述第一音乐与所述预置转场特效之间适配度的量化比值参数。
在一些可能的实施例中,所述第二视频数据中还包括:第三转场特效;所述第三转场特效添加于所述第一视频数据中第二时间点所对应的视频帧上;所述第三转场特效是多种预置转场特效中的一种;所述多种预置转场特效包括所述第二转场特效。
第三方面,本申请实施例提供的一种计算机存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得电子设备执行上述第一方面及其可能的实施例中所述的方法。
第四方面,本申请提供一种计算机程序产品,当计算机程序产品在上述电子设备上运行时,使得电子设备执行上述第一方面及其可能的实施例中所述的方法。
可以理解地,上述各个方面所提供的电子设备、计算机存储介质以及计算机程序产品均应用于上文所提供的对应方法,因此,其所能达到的有益效果可参考上文所提供的对应方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图;
图2为本申请实施例提供的显示界面的示例图之一;
图3为本申请实施例提供的显示界面的示例图之二;
图4概念性地展示了镜头模式从前后模式切换为画中画模式后,对视频数据1产生的影响示例图;
图5概念性地展示了镜头模式从前后模式切换为画中画模式后,处理视频数据1的示例图;
图6为本申请实施例提供的显示界面的示例图之三;
图7A概念性地展示了镜头模式从前后模式切换为后后模式的场景下,处理视频数据1的示例图之一;
图7B概念性地展示了镜头模式从前后模式切换为后后模式的场景下,处理视频数据1的示例图之二;
图8为本申请实施例提供的显示界面的示例图之四;
图9为本申请实施例提供的显示界面的示例图之五;
图10为本申请实施例提供的显示界面的示例图之六;
图11为本申请实施例提供的显示界面的示例图之七;
图12为本申请实施例提供的视频数据的转场处理方法的步骤流程图;
图13概念性地展示了替换视频数据1中原有的转场特效的示例图;
图14为本申请实施例提供的显示界面的示例图之八;
图15为本申请实施例提供的一种芯片系统的组成示意图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
下面将结合附图对本实施例的实施方式进行详细描述。
本申请实施例提供了一种视频数据的转场处理方法,该方法可以应用于具有多个摄像头的电子设备。采用本申请实施例所提供的方法,电子设备可以响应用户的操作,自动处理视频数据,如,添加转场特效、配置视频音乐等。在确保添加转场特效与视频音乐匹配的情况下,降低编辑视频数据的操作复杂性,提高创作视频的人机交互效率。
示例性的,本申请实施例中的电子设备可以是手机、平板电脑、智能手表、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等包括多个摄像头的设备,本申请实施例对该电子设备的具体形态不作特殊限制。
下面将结合附图对本申请实施例的实施方式进行详细描述。请参考图1,为本申请实施例提供的一种电子设备100的结构示意图。如图1所示,电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
其中,上述传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器和骨传导传感器等传感器。
可以理解的是,本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。该显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头293中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括N个摄像头193,N为大于1的正整数。
示例性的,上述N个摄像头193可以包括:一个或多个前置摄像头和一个或多个后置摄像头。例如,以上述电子设备100是手机为例。手机包括至少一个前置摄像头。该前置摄像头配置于手机的前侧,如,图2中的(a)所示的前置摄像头201。另外,手机包括至少一个后置摄像头。该后置摄像头设置于手机的背侧。这样,前置摄像头和后置摄像头朝向不同的方向。
在一些实施例中,电子设备可以启用上述N个摄像头139中至少一个摄像头进行拍摄,并生成对应的照片或视频。例如,单独使用电子设备100的一个前置摄像头进行拍摄。再如,单独使用电子设备100的一个后置摄像头进行拍摄。再例如,同时启用两个前置摄像头进行拍摄。再例如,同时启用两个后置摄像头进行拍摄。再例如,同时启用一个前置摄像头和一个后置摄像头进行拍摄等。
可以理解的,单独启用一个摄像头139进行拍摄,可以称为启用了单摄模式,如,前摄模式(又称为单前模式)、后摄模式(又称为单后模式)。同时启用多个摄像头139进行拍摄,可以统称为启用了多摄模式,如,前前模式、前后模式、后后模式、画中画模式。
以同时启用一个前置摄像头和一个后置摄像头进行举例。在同时启用一个前置摄像头和一个后置摄像头进行拍照后,电子设备可以将前置摄像头和后置摄像头采集到的图像帧进行渲染合并。其中,上述渲染合并可以是将不同摄像头采集的图像帧进行拼接。如,采用前后模式进行竖屏拍照后,可以将不同摄像头采集的图像帧进行上下拼接。再如,采用后后模式进行横屏拍照后,可以将不同摄像头采集的图像帧进行左右拼接。再如,采用画中画模式进行拍照后,可以将一个摄像头采集到的图像帧镶嵌在另一个摄像头采集到的图像帧中。然后,进行编码,生成照片。
另外,在同时启用一个前置摄像头和一个后置摄像头进行视频拍摄后,前置摄像头采集一路视频流,并缓存。后置摄像头采集一路视频流,并缓存。然后,电子设备100对缓存的两路视频流逐帧进行渲染合并处理,也即,渲染合并两路视频流中采集时间点相同或匹配的视频帧。之后,进行编码,生成视频文件。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。这样,电子设备100可以播放音频数据,如,视频音乐等。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏194。陀螺仪传感器可以用于确定电子设备100的运动姿态。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态,应用于横竖屏切换等应用。触摸传感器,也称“触控面板”。触摸传感器可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。
为了下述各实施例的描述清楚简洁,首先给出相关概念或技术的简要介绍:
在用户使用电子设备拍摄的视频之后,可以通过操作电子设备的方式,对所拍摄的视频进行编辑,如,配置视频音乐、加入动画特效、添加转场特效等。这样,经过二次创造的视频会更加生动、丰富,也符合用户的创作意图。其中,添加转场特效不仅能让视频内容过渡更加自然,还能够使视频呈现的内容更加丰富。
然而,相关技术中,在视频中已有转场特效的情况下,如果用户手动更改原有转场特效,操作过程很复杂。如果用户不更改原有转场特效,那么原有转场特效就可能和用户选择的视频音乐风格不符合的问题。显然,在确保视频可观赏性的前提下,添加转场特效的人机交互效率。
针对这一问题,本申请实施例提供了一种视频数据的转场处理方法。下面以上述电子设备100是手机为例,对本申请实施例的方法进行说明。
如图2中的(a)所示,手机包括主界面。上述主界面,又称为桌面202。该主界面可以是手机解锁后显示的用户界面。上述主界面可以包括已安装应用程序(Application,APP)的图标,如,相机APP的图标203。
在一些实施例中,手机可以接收用户在主界面的操作,并启动该操作所指示的APP。示例性地,如图2中的(a)所示,手机可以接收用户对图标203的操作,如点击操作,并响应于该操作,启动相机APP。在相机APP启动之后,可以显示相机APP所提供的应用界面。例如,显示用于执行拍摄功能的取景界面,也即,如图2中的(b)所示的界面204。
在一些实施例中,用户可以在界面204中切换相机APP的不同功能模式,如,人像功能模式、拍照功能模式、录像功能模式和多镜录像功能模式等。也就是,手机可以接收用户在界面204中的操作1,该操作1用于指示相机APP切换不同的功能模式。
示例性地,在界面204中包括相机APP的多个功能模式所对应的控件,如,人像控件、拍照控件、录像控件、多镜录像控件等。其中,拍照控件处于选中状态,用于提示用户当前的取景界面用于执行拍摄功能。
在显示界面204期间,手机可以接收用户对人像控件、录像控件、多镜录像控件中任一控件的操作,并基于该操作确定切换后的功能模式,并显示执行该功能模式前的取景界面。例如,在手机接收到用户对人像控件的操作,如,点击操作时,可以显示执行人像拍摄功能前的取景界面。与此同时,人像控件处于被选中的状态。在手机接收到用户对录像控件的操作,如,点击操作时,可以显示执行录像功能前的取景界面。与此同时,录像控件处于被选中的状态。另外,如图2中的(b)所示,在手机接收到用户对多镜录像控件的操作,如,点击操作时,可以显示执行多镜录像功能前的取景界面,也即,如图2中的(c)所示的界面205,与此同时,多镜录像控件处于被选中的状态。可以理解的,上述界面205是第四界面的一个示例,在另一些实施例中,执行常规的录像功能前的取景界面也可以称为第四界面。
其中,录像功能和多镜录像功能都可以录制视频数据,二者的区别在于:录制开始时,所启用的镜头模式不同。在录像功能下,手机可以响应于用户的操作,启用单前模式或单后模式等单摄镜头模式进行视频的拍摄。而在多镜录像功能下,手机可以响应于用户的操作,启用前后模式、后后模式或画中画等多摄镜头模式进行视频的拍摄。本申请实施例所提供的方法不仅适用于录像功能下拍摄的视频数据,也适用于多镜录像功能下拍摄的视频数据,且实现原理相同。后续实施例中,主要以采用多镜录像功能为例,介绍本申请实施例所提供的方法。
执行多镜录像功能前,如图2中的(c)所示,手机所显示的取景界面(也即,界面205)中包括多个取景框,如,取景框206和取景框207。其中,取景框206和取景框207的排布位置关系与手机的姿态相关。例如,在手机的陀螺仪传感器识别出手机处于竖屏状态的场景下,上述取景框206和取景框207上下排布。在手机的陀螺仪传感器识别出手机处于横屏状态的场景下,上述取景框206和取景框207左右排布。
另外,取景框206和取景框207分别对应有摄像头。例如,取景框206对应摄像头1(如,后置摄像头a),这样,取景框206可以用于显示摄像头1上传的视频流。取景框207对应摄像头2(如,前置摄像头),这样,取景框207可以用于显示摄像头2上传的视频流。可以理解地,各取景框(如,取景框206和取景框207)所对应的摄像头,可以依据用户的操作进行调整。各取景框所对应的摄像头变化后,意味着手机所使用的镜头模式也随之改变,后续实施例中会介绍镜头模式切换的几种场景,在此不赘述。
另外,在界面205中,手机可接收用户的操作2,该操作2用于触发手机在不选择任何特效的情况下直接开始视频拍摄。该操作2又可称为第三操作。示例性的,界面205中包括用于指示启动拍摄的控件208,也即,第一控件。手机接收到用户对控件208的第三操作,如,点击操作时,可以显示正在录制视频的取景界面,如称为第五界面,例如,图2中的(d)所示的界面209。其中,界面209是第一镜头模式下的录制取景界面,如,是前后模式所对应的录制取景界面。
界面209也包括取景框206和取景框207。这样,手机的界面209可以显示前置摄像头和后置摄像头a实时采集到的视频流。与此同时,手机还可以将前置摄像头和后置摄像头a采集的视频流进行渲染合并,之后编码,生成视频数据,并保存。在拍摄过程中,视频数据的视频帧会逐渐增加。
另外,在视频拍摄过程中,手机可以在界面209中接收用户的操作3,上述操作3可以是指示切换镜头模式的操作。手机可以响应于该操作3,启用不同的摄像头或不同的摄像头组合进行视频流的采集,以便于用户创造出布景多样、内容丰富的视频。
示例性地,界面209中可以包括用于指示切换镜头模式的控件,又称为第二控件,如,图3中的(a)所示的控件301。其中,控件301的图标用于指示当前启用的镜头模式。在手机接收到用户对控件301的操作之后,如图3中的(b)所示,可以在界面209中显示镜头模式选择窗,如,窗口302。其中,该窗口302中罗列有多个可供选择的镜头模式,如,前后模式、后后模式、画中画模式、单后模式、单后模式等。在窗口302中,前后模式处于选中状态。在此场景下,手机可以接收用户对后后模式、画中画模式、单后模式或单后模式的选择操作,并响应于该选择操作,切换所使用的镜头模式。上述实现切换镜头模式的操作,可称为第四操作。
例如,手机接收到用户对画中画模式的选择操作时,手机可以将镜头模式切换为画中画模式。也就是,如图3中的(c),手机可以切换显示界面303。其中,界面303是第六界面的一个示例。可以理解的,第六界面是指切换镜头模式(又称为第二镜头模式)之后,对应的视频录制界面。该界面303中也包括取景框206和取景框207。其中,取景框206继续用于显示后置摄像头a上传的视频流,而取景框207也将继续用于显示前置摄像头上传的视频流。
另外,在切换过程中,取景框207缩小。而,取景框206增大。另外,取景框207叠于取景框206之上。在此过程,前置摄像头和后置摄像头a的相机参数也会调整。在调整相机参数之后,前置摄像头和后置摄像头a采集到的视频流可能出现上传不及时的问题。这将致使拍摄到的视频数据1中出现停顿片段。也就是,如图3中的(c)所示,界面303的取景框206和取景框207会出现短暂的黑屏。当然,在相机参数配置完成后,如图3中的(d)所示,界面303的取景框207实时显示前置摄像头上传的视频流,取景框206实时显示后置摄像头a上传的视频流。
参考图4,图4概念性地展示了手机拍摄视频的过程中,镜头模式切换(从前后模式切换为画中画模式)后,对视频数据1的影响。在视频数据1的相对时间轴上,在时刻00:00到00:05之间,前置摄像头和后置摄像头a均可以正常上传视频流,同时,手机也可以依据前置摄像头和后置摄像头a上传的视频流正常地进行编码,生成连续的多帧视频帧,又称为视频片段1。其中,相对时间轴是基于视频数据1创建的时间轴。该相对时间轴的时刻00:00对应于视频数据1的第一帧视频帧(又称为首帧)的采集时间。
在时刻00:05之后,手机检测到指示切换至画中画模式的操作,该时刻00:05是第一时间点的一个示例。该操作可以短暂地影响到前置摄像头和后置摄像头a的视频流回传,故,在时刻00:05至时刻00:06之间出现缺视频帧的问题。而时刻00:06之后,前置摄像头和后置摄像头a又恢复正常,又可以采集并编码得到连续的视频帧,又可称为视频片段2。
在本申请实施例中,如图5所示,手机可以在时刻00:05至时刻00:06之间,插入多帧替代帧1,以使得到视频数据1连贯流程。在时刻00:05(也即,第一时间点)之后插入的替代帧1,又可称为第一时间点所对应的视频帧。
在一些示例中,在手机确定用户指示切换到画中画模式之后,手机可以将视频帧401(视频片段1中的最后一帧)定格,得到替代帧1。在此场景下,替代帧1所显示的画面内容与视频帧401相同。在重新接收到各摄像头回传的视频流之后,手机取消针对视频帧401的帧定格。
在另一些示例中,在确定用户指示切换到画中画模式之后,手机可以在视频帧401之后插入预习配置的图像帧,比如,黑色的图像帧或者白色的图像帧,直至重新接收到各摄像头回传的视频流之后,停止插入替代帧1。可理解地,所插入的图像帧也可以统称为替代帧1。
在其他示例中,在确定用户指示切换到画中画模式之后,手机可以对视频帧401进行标记。这样,在完成视频数据1的拍摄后,手机再自动于视频帧401之后插入多帧替代帧1。其中,该替代帧1可以是与视频帧401相同的图像帧,也可以是预先配置的白色图像帧或黑色图像帧。
再例如,在界面209中包括窗口302的情况下,如图6中的(a)所示,手机可以接收到用户对后后模式的选择操作。这样,手机可以响应于该选择操作,将使用的镜头模式切换为后后模式。也就是,如图6中的(b),手机可以切换显示界面601。该界面601中也包括取景框206和取景框207。其中,取景框206用于显示后置摄像头a所上传的视频流,取景框207用于显示后置摄像头b所上传的视频流。
另外,除了在窗口302中选择后后模式之后,在显示界面209期间,也即,手机采用前后模式拍摄视频期间,手机接收到用户对控件602的操作,如点击操作时,也可以将镜头模式切换为后后模式。
在切换为后后模式的过程中,取景框206和取景框207之间的相对位置和尺寸不变,手机启用后置摄像头b,并关闭前置摄像头,将后置摄像头b与取景框207对应上。这样,手机的取景框206继续显示后置摄像头a上传的视频流,而取景框207则显示后置摄像头b所上传的视频流。
在此过程,后置摄像头a回传视频流不受影响,如图6中的(b)所示,镜头切换期间取景框206的画面显示不受影响。但是,由于硬件反应延迟,前置摄像头关闭到后置摄像头b正常上传视频流之间存在时间间隙。在该时间间隙中,取景框207的画面显示会受影响,如图6中的(b)所示,取景框207出现短暂的黑屏。当然,在后置摄像头b可以正常上传视频流之后,如图6中的(c)所示,界面601的取景框207可以实时显示后置摄像头b上传的视频流,取景框206实时显示后置摄像头a上传的视频流。另外,该界面601也是第六界面的一个示例。
参考图7A,图7A概念性地展示了手机拍摄视频的过程中,出现镜头模式切换(从前后模式切换为后后模式)的情况下,生成视频数据1的示例图。
如图7A中的(a)所示,在视频数据1的相对时间轴上,在时刻00:05(第一时间点)至时刻00:06之间存在画面异常的多帧视频帧。这些画面异常的视频帧是由于镜头模式切换所导致的。
在一些实施例中,手机可以在指示启动后置摄像头b之后,对视频帧进行打点标记。在确定后置摄像头b已正常回传视频流之后,停止标记。这样,如图7A中的(b)所示,手机可以将标记位置所对应的视频帧剔除,这样,可以得到视频片段1和视频片段2。然后,为了确保视频数据的连贯性,如图7A中的(c)所示,手机还可以在视频片段1和视频片段2之间添加替代帧1,也即,也即第一时间点所对应的视频帧,从而,得到视频数据1。
在另一些实施例中,手机确定需启用新的摄像头(也即,后置摄像头b)之后,可以将已采集的最后一帧视频帧定格,如,将图7B中的视频帧701进行帧定格,得到替代帧1,也即第一时间点所对应的视频帧。在确定后置摄像头b已正常回传视频流之后,取消针对视频帧701的帧定格,依据后置摄像头a和后置摄像头b上传的视频流,正常编码,生成视频数据1。
可见,上述实施例中提到的添加替代帧1可以是在视频拍摄完成之后,也可以是在视频拍摄的过程中。
另外,切换镜头模式,不会中断视频的正常拍摄。例如,在手机切换为后后模式之后,手机可以显示界面601,并进行拍摄视频。这样,视频数据1所对应的视频帧数量将继续增加。
以上示例中,枚举了手机将镜头模式从前后模式切换为画中画模式,和从前后模式切换为后后模式。在实际应用中,其他镜头模式之间的切换,也存在类似的问题,也可以通过前述示例描述的,插入替代帧的方式进行解决,在此就不再赘述。
另外,在一些实施例中,手机还可以在界面601中接收用户指示停止拍摄的操作4。然后,手机可以响应于该操作4,停止视频的拍摄。
示例性地,如图8中的(a)所示,界面601中还包括用于指示暂停拍摄的控件,又可称为第三控件,如,控件801。手机可以接收用户对控件801的第五操作,如,点击操作。并响应于针对控件801的点击操作,停止继续拍摄,并保存所拍摄的视频数据1。另外,如图8中的(b)所示,再次显示界面205。拍摄并保存视频数据1(也即,第一视频数据)之后,所显示的界面205又可称为第一界面。在此场景下,第一界面实际为相机应用提供的取景预览界面。
又示例性地,手机可以依据用户指示退出相机APP的操作,如,在界面601上的上滑操作,停止继续拍摄,并保存所拍摄的视频数据1。另外,手机还可以再次显示主界面。
在视频数据1保存之后,手机可以根据用户的操作4,显示所拍摄的视频数据1,方便用户查看或编辑视频数据1。
示例性地,在停止拍摄且手机显示界面205的场景下,该界面205中包括视频数据1的缩略图,如,图标802,又可称为第一缩略图。手机在显示界面205期间,可以接收用户对图标802的操作,并响应于该操作,显示视频编辑界面,如,图8中的(c)所示的界面803。该界面803用于显示视频数据1,又可称为第二界面。
又示例性地,在停止拍摄且手机显示界面205的场景下,手机可以依据用户指示退出相机APP的操作,如上划操作,再次显示手机的主界面,也即,桌面202。该桌面202中还包括图库APP的图标。这样,如图9中的(a)所示,在显示桌面202期间,手机可以接收针对图库APP的图标901的第六操作,如点选操作,并响应于该操作,显示图库APP所提供的应用界面,如图9的(b)所示的界面902。当然,在停止拍摄且手机显示主界面的场景下,手机可以直接接收针对图库APP的图标901的点选操作,并响应于该操作,显示图库APP所提供的应用界面,如图9的(b)所示的界面902。
在一些实施例中,界面902会显示各种图片资源和视频资源的缩略图,这些图片资源或者视频资源可以是手机拍摄并存储的,例如,视频数据1的缩略图903(又称为第一缩略图),或者也可以是从网上下载的图像、视频等的缩略图,或者也可以是同步到云端的图像、视频等的缩略图。在一些示例中,用于显示视频资源缩略图的界面902,也可以称为第一界面。在此场景下,第一界面实际为所述图库应用提供的应用界面。
在一些实施例中,手机可接收用户对界面902中任一视频的缩略图的选择操作,响应于用户对任一视频的缩略图的选择操作,手机可显示对应的视频编辑界面。例如,手机响应于用户对界面902中缩略图903的第一操作,如点击操作,可显示图9中的(c)示出的界面803,界面803是视频数据1对应的视频编辑界面,也可称为第二界面。
在一些实施例中,手机可以依据用户在上述视频编辑界面的操作,播放对应的视频。示例性地,如图10所示,界面803中包括用于指示播放视频数据1的控件,如控件1001。在手机接收到用户针对控件1001的点击操作时,手机在界面803中播放视频数据1。
可以理解的,在视频数据1中添加有替代帧1的情况下,在播放过程中,会出现画面静止的情况。在本申请实施例中,手机在视频数据1中添加替代帧的同时,还可以在多帧替代帧1上叠加转场特效,如称为转场特效1或者称为第一转场特效。实际叠加了第一转场特效的替代帧1又可称为第一视频帧。
在一些示例中,转场特效1可以手机中预先指定的任意一类转场特效,如,左移转场、右移转场、旋转转场、叠化转场、模糊转场、融化转场、黑场转场、白场转场、放大转场、缩小转场、上移转场和下移转场等中的一种。另外,需要说明书,上述转场特效之中,左移转场、右移转场只适用于竖屏拍摄视频的场景,而上移转场和下移转场只适用于横屏拍摄视频的场景。在另一些示例中,上转场特效1可以手机从上述多类转场特效中随机确定出的转场。
这样,播放视频数据1的过程中,转场特效1可以更好地衔接替代帧1前后的视频片段,也即,视频片段1和视频片段2之间可以更好的过度,提高用户的观赏体验,也增提高视频的拍摄质量。
另外,在添加转场特效1的区域,手机还可以对实际叠加转场特效的替代帧1进行标记,以便于手机可以识别出添加转场的位置。
在另一些实施例中,手机可以依据用户在上述视频编辑界面的操作,自动对视频数据1进行二次创作,比如,配置视频音乐、添加转场特效等。示例性地,如图11所示,界面803中还包括用于指示编辑视频数据1的控件,如,一键大片控件1101。在手机接收到用户对一键大片控件1101的操作,如称为第二操作,手机可以自动编辑视频数据1。
在一些实施例中,如图12所示,手机可以自动编辑视频数据1,可以包括以下步骤:
S101,手机确定与视频数据1匹配的效果模板。
在一些实施例中,手机内预先可以配置多类风格的效果模板,每一个效果模板都对应有一首视频音乐。此外,效果模板还对应有滤镜、特效、转场、贴纸。
在一些实施例中,手机可以利用人工智能模型,分析视频数据1的画面内容,确定与视频数据1匹配的效果模板,也即,第一效果模板,又称为效果模板1。例如,手机的人工智能模型依据视频数据1的画面内容,查找相似视频。并获取相似视频所用的视频音乐。这样,再依据获取的视频音乐,确定出对应的效果模板1。再例如,手机的人工智能模型依据视频数据1的画面内容,查找相似视频。依据相似视频的风格名称,确定属于相同风格的多个效果模板。然后,从确定出的多个效果模板中,随机确定效果模板1。在另一些实施例中,手机也可以随机确定出一效果模板,作为效果模板1。
S102,手机依据效果模板1,处理视频数据1。
示例性地,手机可以将视频数据1的原始音轨的音量调整至零,再将拍摄模板1的视频音乐添(也即,第一音乐)加到视频数据1,使视频音乐与视频数据1的视频画面契合。在其他实施例中,还可以按照用户的操作,将原始音轨音量调整至其他分贝值。
又示例性地,手机可以将效果模板1所对应的滤镜、特效、转场、贴纸添加到视频数据1中。其中,在添加转场特效的过程中,手机不仅可以在视频数据1中新增转场特效,还可以替换视频数据1中原有的转场特效(如,叠加在替代帧1上的转场特效1)。
可以理解得,效果模板与各类转场特效之间的适配度不同。通常适配度越高的转场特效,相对而言,越适合该效果模板的风格和所对应的视频音乐。适配度越低的转场特效,相对而言,越不适合该效果模板的风格和所对应的视频音乐。在本实施例中,通过替换转场特效1的方式,改善利用效果模版处理视频数据之后,原有的转场特效1与处理后的视频风格冲突的问题。
在一些实施例中,如图13所示,手机可以先识别视频数据1中是否存在转场特效1。例如,可以通过检测视频数据1中是否存在标记。在识别出标记的情况下,将被标记的视频帧(也就是,叠加了转场特效1的替代帧1)删除,这样,视频数据1被分为视频片段1和视频片段2。然后,手机生成多张替代帧2和多张替代帧3。其中,替代帧2可以与视频片段1的尾帧相同,而替代帧3与视频片段2的首帧相同。上述视频片段1的尾帧和视频片段2的首帧可以统称为第二视频帧。
在一些示例中,替代帧2可以是手机对视频片段1的尾帧进行定格处理后,得到的图像帧。上述替代帧2可以是手机对视频片段2的首帧进行定格处理后,得到的图像帧。另外,替代帧2和替代帧3的总数量与删除的视频帧的数量相同,确保不影响最终视频数据1的长度。然后,手机依据效果模板1与各类转场特效之间的适配度,确定出转场特效2,并将转场特效2叠加到替代帧2和替代帧3之间,实现衔接视频片段1和视频片段2。
在一些实施例中,效果模板与转场特效之间的适配度可以量化为匹配权重。这样,在确定转场特效2时,手机可以结合效果模板1与各转场特效之间匹配权重,从多类转场特效中,随机选出与效果模板1匹配的转场特效2。可理解地,匹配权重越高的转场特效,相对而言,更容易被选为与效果模板1匹配的转场特效2。匹配权重越低的转场特效,相对而言,更难被选为与效果模板1匹配的转场特效2。
在一些示例中,效果模板与转场特效的匹配权重可以预先配置。示例性地,如下表1所示:
表1
Figure BDA0003476704850000141
上述表1例举了,不同效果模板与视频音乐、风格、不同转场特效的匹配权重之间的对应关系。其中,表格中各转场特效所对应的百分比值,为该转场特效与效果模板之间的匹配权重。效果模板1所对应的风格又称为第一风格。
以表1中记录的你好夏天效果模板为例。该效果模板与叠化转场之间的匹配权重为50%,也即,叠化转场有50%的概率被选为匹配的转场特效。另外,该效果模板与模糊转场之间的匹配权重为0%,也即,模糊转场也不会被选为匹配的转场特效。该效果模板与融化转场之间的匹配权重为0%,也即,融化转场也不会被选为匹配的转场特效。该效果模板与上移转场之间的匹配权重为50%,也即,手机需处理的横屏视频数据1的场景下,上移转场有50%的概率被选为匹配的转场特效。该效果模板与下移转场之间的匹配权重为50%,当然,手机需处理的横屏视频数据1的场景下,下移转场有50%的概率被选为匹配的转场特效。该效果模板与左移转场之间的匹配权重为50%,也即,手机需处理的竖屏视频数据1的场景下,左移转场有50%的概率被选为匹配的转场特效。该效果模板与右移转场之间的匹配权重为50%,当然,手机需处理的竖屏视频数据1的场景下,右移转场有50%的概率被选为匹配的转场特效。该效果模板与黑场转场之间的匹配权重为90%,也即,黑场转场有90%的概率被选为匹配的转场特效。该效果模板与白场转场之间的匹配权重为90%,也即,白场转场有90%的概率被选为匹配的转场特效。该效果模板与放大转场之间的匹配权重为90%,也即,放大转场有90%的概率被选为匹配的转场特效。该效果模板与缩小转场之间的匹配权重为90%,也即,缩小转场有90%的概率被选为匹配的转场特效。该效果模板与旋转转场之间的匹配权重为30%,也即,旋转转场有30%的概率被选为匹配的转场特效。
也就是,手机可以利用各转场特效所对应的匹配权重,随机选出替换转场特效1的转场特效2。这种选择方式不仅灵活性高,又可以保障选出的转场特效2与效果模板1之间大概率存在高关联。另外,手机在视频数据1中新增转场特效场景下,也可以利用各转场特效所对应的匹配权重,随机确定出与效果模板1匹配的转场特效3(又称为第三转场特效),并将转场特效3添加于视频数据1中,如,添加于视频数据1中第二时间点所对应的视频帧上。其中,第二时间点所对应的视频帧可以是:在视频数据1中,位于第二时间点前后的视频帧。如此,处理得到的视频数据1可呈现的风格可以更加接近效果模型的预期效果。
在另一些实施例中,效果模板1还可以与一个或多个转场特效之间存在关联标识,利用效果模板1处理视频数据1时,可以优先选用存在关联标识的转场特效,以作为转场特效2。
在另一些实施例中,在利用匹配的效果模板1处理视频数据1之后,手机还可以依据用户的操作,更换处理视频数据1时所用的效果模板,或单独更改所用的视频音乐。
示例性地,如图14中的(a)所示,在手机利用效果模板处理视频数据1之后,手机可以显示预览界面,如界面1401,如称为第三界面。该第三界面用于显示视频数据2,又称为第二视频数据,其中,视频数据2是在视频数据1的基础上,经过效果模板处理后得到的视频。该第二视频数据中包括视频数据1中的视频帧、替代帧(如,替代帧2和替代帧3)、效果模板1对应的视频音乐(如,称为第一音乐)和转场特效2(又称为第二转场特效)。手机可以接收用户在界面1401上的操作6,如,点击界面1401上的风格控件1402的操作。并响应该操作6,如图14中的(b)所示,显示界面1403。其中,界面1403是指引用户选择效果模板的引导界面。上述界面1403中包括多个指示不同效果模板的模板窗口。例如,窗口1404、窗口1405、窗口1406和窗口1407。其中,上述窗口1404用于指示命名为你好夏天的效果模板,窗口1405用于指示命名为sunny的效果模板,窗口1406用于指示命名为HAPPY的效果模板,窗口1407用于指示命名为小美好的效果模板。在这些效果模板中,你好夏天效果模板的模板窗口处于选中状态,指示效果模板1为你好夏天效果模板。这样,手机可以依据用户对其他模板窗口的操作,确定出用户选择的效果模板2。例如,手机接收到用户对窗口1405的点击操作后,界面1403中的预览窗口1408可以显示sunny效果模板的样片。这样,手机如果接收到用户对界面1403中的控件1409的操作,可以确定将sunny效果模板是选出的效果模板2。之后,手机可以利用效果模板2处理原始的视频数据1,得到符合效果模板2风格的视频数据1,并如图14中的(c)所示,再次显示界面1401,此时的界面1401中包括基于效果模板2处理后的视频数据1。
另外,在显示界面1403期间,手机并未接收到用户指示选择其他效果模板的操作的情况下,接收到用户对控件1409的操作。手机可以确定用户指示利用效果模板1重新处理原始的视频数据1。在重新处理的过程中,依然可以利用各转场特效与效果模板1之间的匹配权重,重新随机确定转场特效2和转场特效3,并用于重新处理原始的视频数据1。可以理解的,重新随机出的转场特效2和转场特效3,可能与第一次利用效果模板1确定出的转场特效不同。这样,再次处理后得到的视频数据1的视觉效果也会不同,提升一键成片的多样性。
又示例性地,手机可以接收用户在界面1401上的操作7,如,点击界面1401上的音乐控件1410的操作。并响应该操作7,更换不同的视频音乐。所更换的视频音乐可以是与效果模板2对应相同风格的音乐,也可以随机的一首音乐,对此不作限定。
另外,在界面1401中还包括指示确定的控件1411。如图14中的(c)所示,手机接收到用户对控件1411的操作,如点击操作之后,保存处理后的视频数据1,如,将基于效果模板处理后的视频数据1又称为视频数据2。此外,手机还可以显示视频数据2所对应的视频编辑界面,如图14中的(d)所示的界面1412。该界面1412可以显示视频数据2。手机可以依据用户在界面1412中的操作,播放视频数据2。
在可能的实施例中,界面1401中还可以包括指示撤销效果模板的控件,如,图14中的(a)所示的控件1413。手机可接收用户针对控件1413的点击操作,删除基于效果模板处理后的视频数据1,并再次显示界面803。在手机再次显示界面803的情况下,交界803中依然包括一键大片控件1101。若手机再次接收到用户对一键大片1101的操作时,则可以再次确定一匹配的效果模板,利用新确定出的效果模板再次处理视频数据1,处理过程可参考前述实施例,在此不再赘述。另外,针对同一段视频数据1,手机可以使相邻两次通过一键大片确定的效果模板不同,提升二次创作视频数据的多样性。
本申请实施例还提供一种电子设备,该电子设备可以包括:存储器和一个或多个处理器。该存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,可使得电子设备执行上述实施例中手机执行的各个步骤。当然,该电子设备包括但不限于上述存储器和一个或多个处理器。例如,该电子设备的结构可以参考图1所示的手机的结构。
本申请实施例还提供一种芯片系统,该芯片系统可以应用于前述实施例中的电子设备。如图15所示,该芯片系统包括至少一个处理器2201和至少一个接口电路2202。该处理器2201可以是上述电子设备中的处理器。处理器2201和接口电路2202可通过线路互联。该处理器2201可以通过接口电路2202从上述电子设备的存储器接收并执行计算机指令。当计算机指令被处理器2201执行时,可使得电子设备执行上述实施例中手机执行的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
在一些实施例中,通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种视频数据的转场处理方法,其特征在于,所述方法应用于电子设备,所述方法包括:
所述电子设备显示第一界面;其中,所述第一界面包括第一视频数据的第一缩略图;所述第一视频数据包括第一转场特效;所述第一转场特效叠加于所述第一视频数据中连续的多帧第一视频帧上;
所述电子设备接收用户对所述第一缩略图的第一操作;
所述电子设备响应于所述第一操作,显示第二界面;所述第二界面是所述第一视频数据的视频编辑界面;所述第二界面包括一键大片控件;
在接收到用户对所述一键大片控件的第二操作之后,所述电子设备显示第三界面;所述第三界面用于显示第二视频数据;所述第二视频数据包括所述第一视频数据的视频帧、多帧替代帧、第一音乐及所述第一音乐对应的第二转场特效;所述第二转场特效叠加于所述多帧替代帧上,所述替代帧用于替换所述第一视频数据中的所述第一视频帧。
2.根据权利要求1所述的方法,其特征在于,
在所述电子设备显示第一界面之前,所述方法还包括:
所述电子设备显示第四界面;所述第四界面是相机应用提供的取景预览界面;所述第四界面包括指示启动拍摄视频的第一控件;
所述电子设备接收用户对所述第一控件的第三操作;
所述电子设备响应于所述第三操作,显示第五界面,并开始录制所述第一视频数据;其中,所述第五界面是第一镜头模式下的视频录制界面;所述第五界面包括指示切换镜头模式的第二控件;
在录制到所述第一视频数据的第一时间点时,所述电子设备响应于用户对所述第二控件的第四操作,显示第六界面,并确定所述第一时间点对应的视频帧为所述第一视频帧;其中,所述第六界面是第二镜头模式下的视频录制界面;所述第六界面包括指示停止拍摄的第三控件;
所述电子设备接收用户对所述第三控件的第五操作;
所述电子设备显示第一界面,包括:所述电子设备响应于所述第五操作,显示所述第一界面;所述第一界面也是所述相机应用提供的取景预览界面。
3.根据权利要求2所述的方法,其特征在于,在所述电子设备接收用户对所述第三控件的第五操作之后,所述方法还包括:
所述电子设备在所述第一视频帧上叠加所述第一转场特效。
4.根据权利要求1所述的方法,其特征在于,
在所述电子设备显示第一界面之前,所述方法还包括:所述电子设备显示主界面;所述主界面包括图库应用的图标;所述电子设备接收用户对所述图库应用的图标的第六操作;
所述电子设备显示第一界面,包括:所述电子设备响应于所述第六操作,显示所述第一界面,所述第一界面为所述图库应用提供的应用界面。
5.根据权利要求1-4任一项所述的方法,其特征在于,在所述电子设备显示第三界面之前,所述方法还包括:
所述电子设备响应于所述第二操作,从多个预配置的效果模板中确定出第一效果模板;所述第一效果模板包括所述第一音乐;
所述电子设备将所述第一视频数据中的所述第一视频帧删除;
所述电子设备将所述第一视频数据中的第二视频帧定格,得到用于替代所述第一视频帧的所述替代帧;所述第二视频帧是所述第一视频帧的相邻前一帧视频帧,或者,是所述第一视频帧的相邻后一帧视频帧;
所述电子设备将所述第二转场特效叠加于所述替代帧之上。
6.根据权利要求5所述的方法,其特征在于,所述第一效果模板对应第一风格;所述从多个预配置的效果模板中确定出第一效果模板,包括:
所述电子设备利用预置的人工智能模型确定所述第一视频数据与所述第一风格匹配;所述电子设备从属于所述第一风格的效果模板中,确定出所述第一效果模板;
或者,所述电子设备从多个预置的所述效果模板中,随机确定出所述第一拍摄模板。
7.根据权利要求1所述的方法,其特征在于,在所述电子设备显示第三界面之前,所述方法还包括:
所述电子设备确定与所述第一音乐对应的所述第二转场特效。
8.根据权利要求7所述的方法,其特征在于,所述电子设备确定与所述第一音乐对应的所述第二转场特效,包括:
所述电子设备从多种预置转场特效中,确定与所述第一音乐之间具有关联标识的所述第二转场特效。
9.根据权利要求7所述的方法,其特征在于,所述电子设备确定与所述第一音乐对应的所述第二转场特效,包括:
所述电子设备基于匹配权重,从多种预置转场特效中,确定出所述第二转场特效;
其中,每种所述预置转场特效对应有一所述匹配权重,所述匹配权重是所述第一音乐与所述预置转场特效之间适配度的量化比值参数。
10.根据权利要求1所述的方法,其特征在于,所述第二视频数据中还包括:第三转场特效;所述第三转场特效添加于所述第一视频数据中第二时间点所对应的视频帧上;所述第三转场特效是多种预置转场特效中的一种;所述多种预置转场特效包括所述第二转场特效。
11.一种电子设备,其特征在于,电子设备包括一个或多个处理器和存储器;所述存储器与处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,所述一个或多个处理器,用于执行如权利要求1-10任一项所述的方法。
12.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-10任一项所述的方法。
CN202210056943.0A 2021-06-16 2022-01-18 一种视频数据的转场处理方法及电子设备 Pending CN115484424A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/257,018 US20240106967A1 (en) 2021-06-16 2022-05-24 Video Data Transition Processing Method and Electronic Device
PCT/CN2022/094793 WO2022262537A1 (zh) 2021-06-16 2022-05-24 一种视频数据的转场处理方法及电子设备
EP22824018.0A EP4240011A4 (en) 2021-06-16 2022-05-24 TRANSITION PROCESSING METHOD FOR VIDEO DATA AND ELECTRONIC DEVICE

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202110676709 2021-06-16
CN2021106767093 2021-06-16
CN202111439351 2021-11-29
CN2021114393519 2021-11-29

Publications (1)

Publication Number Publication Date
CN115484424A true CN115484424A (zh) 2022-12-16

Family

ID=84420486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210056943.0A Pending CN115484424A (zh) 2021-06-16 2022-01-18 一种视频数据的转场处理方法及电子设备

Country Status (4)

Country Link
US (1) US20240106967A1 (zh)
EP (1) EP4240011A4 (zh)
CN (1) CN115484424A (zh)
WO (1) WO2022262537A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279968A (ja) * 2006-04-05 2006-10-12 Hitachi Ltd 映像アクセス装置及び映像アクセスプログラムを記録した記録媒体
CN104184960A (zh) * 2014-08-19 2014-12-03 厦门美图之家科技有限公司 一种对视频文件进行特效处理的方法
JP2015219817A (ja) * 2014-05-20 2015-12-07 オリンパス株式会社 表示装置、表示方法、およびプログラム
WO2016124095A1 (zh) * 2015-02-04 2016-08-11 腾讯科技(深圳)有限公司 生成视频的方法、装置及终端
CN107888988A (zh) * 2017-11-17 2018-04-06 广东小天才科技有限公司 一种视频剪辑方法及电子设备
US20180176481A1 (en) * 2016-12-21 2018-06-21 Samsung Electronics Co., Ltd. Method for producing media file and electronic device thereof
CN111866404A (zh) * 2019-04-25 2020-10-30 华为技术有限公司 一种视频编辑方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072070B (zh) * 2019-03-18 2021-03-23 华为技术有限公司 一种多路录像方法及设备、介质
CN111835986B (zh) * 2020-07-09 2021-08-24 腾讯科技(深圳)有限公司 视频编辑处理方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279968A (ja) * 2006-04-05 2006-10-12 Hitachi Ltd 映像アクセス装置及び映像アクセスプログラムを記録した記録媒体
JP2015219817A (ja) * 2014-05-20 2015-12-07 オリンパス株式会社 表示装置、表示方法、およびプログラム
CN104184960A (zh) * 2014-08-19 2014-12-03 厦门美图之家科技有限公司 一种对视频文件进行特效处理的方法
WO2016124095A1 (zh) * 2015-02-04 2016-08-11 腾讯科技(深圳)有限公司 生成视频的方法、装置及终端
US20170332020A1 (en) * 2015-02-04 2017-11-16 Tencent Technology (Shenzhen) Company Ltd. Video generation method, apparatus and terminal
US20180176481A1 (en) * 2016-12-21 2018-06-21 Samsung Electronics Co., Ltd. Method for producing media file and electronic device thereof
CN107888988A (zh) * 2017-11-17 2018-04-06 广东小天才科技有限公司 一种视频剪辑方法及电子设备
CN111866404A (zh) * 2019-04-25 2020-10-30 华为技术有限公司 一种视频编辑方法及电子设备

Also Published As

Publication number Publication date
EP4240011A1 (en) 2023-09-06
EP4240011A4 (en) 2024-04-24
US20240106967A1 (en) 2024-03-28
WO2022262537A1 (zh) 2022-12-22

Similar Documents

Publication Publication Date Title
CN112532857B (zh) 一种延时摄影的拍摄方法及设备
CN113475092B (zh) 一种视频处理方法和移动设备
US11870951B2 (en) Photographing method and terminal
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
CN113727017B (zh) 拍摄方法、图形界面及相关装置
CN113630545B (zh) 一种拍摄方法及设备
CN115914826A (zh) 一种图像内容的去除方法及相关装置
WO2022252660A1 (zh) 一种视频拍摄方法及电子设备
CN113099146B (zh) 一种视频生成方法、装置及相关设备
EP4258632A1 (en) Video processing method and related device
CN111479059B (zh) 拍照处理方法、装置、电子设备及存储介质
CN115484423A (zh) 一种转场特效添加方法及电子设备
EP4273684A1 (en) Photographing method and electronic device
CN115484424A (zh) 一种视频数据的转场处理方法及电子设备
CN115734032A (zh) 视频剪辑方法、电子设备及存储介质
CN115484400B (zh) 一种视频数据处理方法及电子设备
CN115225756A (zh) 确定目标对象的方法、拍摄方法和装置
CN114285963B (zh) 多镜头视频录制方法及相关设备
CN114615421B (zh) 图像处理方法及电子设备
CN115484425A (zh) 一种转场特效的确定方法及电子设备
CN115623319A (zh) 一种拍摄方法及电子设备
CN115914823A (zh) 拍摄方法及电子设备
KR20170028593A (ko) 움직이는 영상 생성방법 및 생성프로그램
CN114915722A (zh) 处理视频的方法和装置
CN115883957A (zh) 一种拍摄模式推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination