CN114827342B - 视频处理方法、电子设备及可读介质 - Google Patents

视频处理方法、电子设备及可读介质 Download PDF

Info

Publication number
CN114827342B
CN114827342B CN202210255907.7A CN202210255907A CN114827342B CN 114827342 B CN114827342 B CN 114827342B CN 202210255907 A CN202210255907 A CN 202210255907A CN 114827342 B CN114827342 B CN 114827342B
Authority
CN
China
Prior art keywords
video
highlight
camera
tag data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210255907.7A
Other languages
English (en)
Other versions
CN114827342A (zh
Inventor
任福健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310429145.2A priority Critical patent/CN116781822A/zh
Priority to CN202210255907.7A priority patent/CN114827342B/zh
Publication of CN114827342A publication Critical patent/CN114827342A/zh
Priority to EP22899596.5A priority patent/EP4273716A1/en
Priority to PCT/CN2022/138961 priority patent/WO2023173850A1/zh
Application granted granted Critical
Publication of CN114827342B publication Critical patent/CN114827342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/745Browsing; Visualisation therefor the internal structure of a single video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请实施例提供一种视频处理方法、电子设备及计算机可读存储介质,该视频处理方法包括:响应于第一操作,显示第一界面并开始拍摄第一视频;第一视频的拍摄过程中,获取第一视频;识别第一视频的主题、转场和精彩时刻,得到第一视频的各个转场的标签数据以及第一视频的标签数据;利用精彩时刻,从第一视频中抓取多张精彩图像;响应于第二操作,保存第一视频的各个转场的标签数据以及第一视频的标签数据,并保存精彩图像。可以看出:电子设备可得到拍摄的第一视频,以及第一视频的标签数据。电子设备还可利用第一视频的标签数据中的精彩时刻,从第一视频中抓取出多个精彩图像,实现了用户在拍摄视频的同时获得精彩瞬间照片。

Description

视频处理方法、电子设备及可读介质
技术领域
本申请涉及电子设备技术领域,尤其涉及一种视频处理方法、电子设备、程序产品及计算机可读存储介质。
背景技术
目前,拍照以及视频录制功能已经成为电子设备的必备功能。用户对录制和拍照的需求与体验也在不断增强。在一些拍摄视频的应用场景下,用户期望在拍摄视频的同时捕捉到值得纪念的精彩瞬间照片。
因此,需要提供一种在拍摄视频的同时得到值得纪念的精彩瞬间照片的方法。
发明内容
本申请提供了一种视频处理方法、电子设备、程序产品及计算机可读存储介质,目的在于能够使得用户在拍摄视频的同时获得精彩瞬间照片。
为了实现上述目的,本申请提供了以下技术方案:
第一方面,本申请提供了一种应用于电子设备的视频处理方法,该视频处理方法包括:响应于第一操作,显示第一界面并开始拍摄第一视频,第一界面为相机应用的拍摄界面,第一界面中包括第一控件,第一控件用于停止第一视频的拍摄;第一视频的拍摄过程中,获取第一视频;识别第一视频的主题、转场和精彩时刻,得到第一视频的各个转场的标签数据以及第一视频的标签数据;转场用于将第一视频划分为多个视频片段,每个转场的标签数据包括:转场对应的视频片段的信息;第一视频的标签数据包括第一视频的主题标签、精彩时刻和分组ID;利用精彩时刻,从第一视频中抓取多张精彩图像;响应于第二操作,保存第一视频的各个转场的标签数据以及第一视频的标签数据,并保存精彩图像,精彩图像包括第一视频的分组ID,第二操作为针对第一控件的触发操作。
由上述内容可以看出:用户利用电子设备拍摄视频,电子设备可得到拍摄的第一视频,以及第一视频的标签数据。电子设备还可利用第一视频的标签数据中的精彩时刻,从第一视频中抓取出多个精彩图像,实现了用户在拍摄视频的同时获得精彩瞬间照片。
在一个可能的实施方式中,识别第一视频的主题、转场和精彩时刻,得到第一视频的各个转场的标签数据以及第一视频的标签数据,包括:识别第一视频中的一个转场结束时,利用转场对应的视频片段的信息,生成转场的标签数据;在第一视频拍摄结束时,利用第一视频的主题、精彩时刻和分组ID,生成第一视频的标签数据。
在一个可能的实施方式中,响应于第二操作,保存第一视频的各个转场的标签数据以及第一视频的标签数据,包括:响应于第二操作,将各个转场的标签数据和第一视频的标签数据,写入第一视频的视频头。
在一个可能的实施方式中,将各个转场的标签数据和第一视频的标签数据,写入第一视频的视频头,包括:媒体录制器接收相机应用发送的各个转场的标签数据和第一视频的标签数据;媒体录制器将各个转场的标签数据和第一视频的标签数据,写入第一视频的视频头。
在一个可能的实施方式中,识别第一视频的主题、转场和精彩时刻,得到第一视频的各个转场的标签数据以及第一视频的标签数据,包括:相机Hal识别第一视频的主题、转场和精彩时刻,得到第一视频的各个转场的标签数据以及第一视频的标签数据。
在一个可能的实施方式中,相机Hal识别第一视频的主题、转场和精彩时刻,得到第一视频的各个转场的标签数据以及第一视频的标签数据之前,还包括:相机Hal接收相机应用发送的第一控制命令,第一控制命由相机应用响应第一操作得到,第一操作包括用户对控制拍摄的控件的触控操作。
在一个可能的实施方式中,利用精彩时刻,从第一视频中抓取多张精彩图像,包括:从第一视频中抓取精彩时刻的图像;选择精彩时刻的图像中,精彩度评分高的多个图像,作为精彩图像。
在一个可能的实施方式中,利用精彩时刻,从第一视频中抓取多张精彩图像,包括:相机Hal利用精彩时刻,从第一视频中抓取多张精彩图像。
在一个可能的实施方式中,该视频处理方法还包括:在第一视频拍摄结束时,相机应用向媒体提供者发送第一视频的存储路径;媒体提供者保存第一视频的存储路径。
在一个可能的实施方式中,该视频处理方法还包括:媒体信息库获取媒体提供者保存的数据,数据至少包括第一视频的存储路径;媒体信息库利用第一视频的存储路径,获取第一视频;媒体信息库获取第一视频的视频头中保存的第一视频的分组ID。
在一个可能的实施方式中,该视频处理方法还包括:响应于第三操作,获取第一视频,第三操作为第一视频的浏览操作;获取第一视频中的精彩图像;显示第一视频的浏览界面,第一视频的浏览界面包括:第一视频以及第一视频中的精彩图像的缩略图。
在本可能的实施方式中,用户通过输入第三操作以浏览第一视频时,电子设备可通过获取第一视频中的精彩图像,并将第一视频和第一视频中的精彩图像显示在第一视频的浏览界面,可实现用户在视频的浏览界面查阅视频和视频中精彩图像。
在一个可能的实施方式中,响应于第三操作,获取第一视频,获取第一视频中的精彩图像;显示第一视频的浏览界面,包括:图库应用响应于第三操作,获取第一视频;图库应用获取第一视频中的精彩图像;图库应用显示第一视频的浏览界面。
在一个可能的实施方式中,图库应用响应于第三操作,获取第一视频,包括:图库应用响应于第三操作,从媒体信息库中获取第一视频的存储路径;图库应用利用第一视频的存储路径,获取第一视频。
在一个可能的实施方式中,该视频处理方法还包括:响应于精选视频的生成操作,获取第一视频;利用第一视频,生成精选视频,精选视频包括第一视频的精彩时刻的图像。
在本可能的实施方式中,电子设备响应于精选视频的生成操作,获取第一视频;并利用第一视频,生成精选视频,实现了用户在拍摄视频的同时获得精彩瞬间照片,以及进一步获得第一视频的小视频,以方便用户分享。
在一个可能的实施方式中,响应于精选视频的生成操作,获取第一视频;以及利用第一视频,生成精选视频,精选视频包括第一视频的精彩时刻的图像,包括:视频编辑应用响应于精选视频的生成操作,获取第一视频;视频编辑应用利用第一视频,生成精选视频,精选视频包括第一视频的精彩时刻的图像。
在一个可能的实施方式中,视频编辑应用响应于精选视频的生成操作,获取第一视频,包括:视频编辑应用响应于精选视频的生成操作,接收图库应用发送的第一视频的存储路径;视频编辑应用利用第一视频的存储路径,获取第一视频。
在一个可能的实施方式中,该视频处理方法还包括:响应于精选视频的保存操作,保存精选视频。
第二方面,本申请提供了一种电子设备,包括:一个或多个处理器、存储器,摄像头和显示屏;存储器、摄像头和显示屏与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,电子设备执行如第一方面中任意一项的视频处理方法。
第三方面,本申请提供了一种计算机可读存储介质,用于存储计算机程序,计算机程序被执行时,具体用于实现如第一方面中任意一项的视频处理方法。
第四方面,本申请提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面中任意一项的视频处理方法。
附图说明
图1为本申请提供的电子设备的硬件结构图;
图2为本申请实施例提供的一例开启“一录多得”的示意图;
图3为本申请实施例提供的一例“一录多得”的图形用户界面的示意图;
图4为本申请实施例提供的另一例“一录多得”的图形用户界面的示意图;
图5为本申请实施例提供的另一例“一录多得”的图形用户界面的示意图;
图6为本申请实施例提供的另一例“一录多得”的图形用户界面的示意图;
图7为本申请实施例提供的另一例“一录多得”的图形用户界面的示意图;
图8为本申请实施例提供的另一例“一录多得”的图形用户界面的示意图;
图9为本申请实施例提供的电子设备的软件框架图;
图10为本申请实施例提供的一种视频处理方法的信令图;
图11为本申请实施例提供的一种视频处理方法的另一信令图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例涉及的多个,是指大于或等于两个。需要说明的是,在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
在介绍本申请实施例之前,首先对本申请实施例涉及的一些术语或概念进行解释。应理解,本申请对以下术语的命名不作具体限定。以下术语可以有其他命名。重新命名的术语仍满足以下相关的术语解释。
1)一录多得,可以理解为用户使用相机应用拍摄视频时,通过一次按下“拍摄”图标,可以得到包括拍摄的原视频、一张或多张精彩照片、以及一段或多段精选视频的功能。可以理解的是,通过一录多得获得的精彩短视频的时长小于整段完整视频的时长。例如,录制的整段完整视频为1分钟,可以得到5张精彩时刻照片和时长为15秒的精彩短视频。还可以理解的是,一录多得也可有其他名称,比如,一键多得,一键多拍,一键出片,一键大片,AI一键大片等。
2)精彩图像,是指视频录制过程中的一些精彩瞬间的画面。例如,精彩图像可以是最佳运动瞬间画面,最佳表情时刻画面或最佳打卡动作画面。可以理解的是,本申请对术语精彩图像不作限定,精彩图像也可以称作美好时刻图像,神奇时刻图像,精彩瞬间图像,决定性瞬间图像,最佳拍摄(best shot,BS)图像,或AI图像等。在不同的场景下,精彩图像可以是不同类型的瞬间画面。例如当拍摄足球比赛视频时,精彩图像可以是射门或传球时,运动员脚与足球接触瞬间的图像、足球被远动员踢开瞬间的图像,精彩图像也可以是足球飞进球门瞬间的图像、守门员接住足球瞬间的图像。当拍摄人物从地面起跳的视频时,精彩图像可以是人物在空中最高点的瞬间的图像,也可以是人物在空中时动作最舒展的瞬间的图像。当拍摄景色时,精彩图像可以是景色中出现建筑物的图像,也可以是夕阳或朝阳的图像。
3)精选视频,是指包含精彩图像的视频。可以理解的是,本申请对术语精选视频也不作限定,精选视频也可以称作精彩视频,精彩短视频,精彩小视频,或AI视频等。
4)标签(TAG),TAG可分为主题TAG,场景TAG,精彩图像TAG以及分镜TAG等;主题TAG用于指示视频的风格或氛围;场景TAG用于指示视频的场景;精彩图像TAG用于指示精彩图像在拍摄的视频中的位置,分镜TAG(也可称转场TAG)用于指示拍摄的视频中的转换场景的位置。例如,在视频中包括一个或多个精彩图像TAG,精彩图像TAG可指示在该视频的第10秒、第1分20秒等时刻的图像帧为精彩图像。在视频中也包括一个或多个分镜TAG,分镜TAG可指示在该视频的第15秒由第一场景切换为第二场景、第3分43秒由第二场景切换为第三场景。
目前,拍照以及视频录制功能已经成为电子设备的必备功能。用户对录像和拍照的需求与体验也在不断增强。在一些拍摄视频的应用场景下,用户期望在拍摄视频的同时捕捉到值得纪念的精彩瞬间照片。基于此,本申请在电子设备中设置“一录多得”模式,即在电子设备以录像模式拍摄视频时,通过分析视频流,自动提取视频流中的精彩图像。并且,当视频拍摄完成时,电子设备还可生成一段或多段精选视频。另外,用户可在图库等应用查看到拍摄的视频,精彩图像以及精选视频。
为支持电子设备的“一录多得”模式,本申请实施例提供一种视频处理方法。并且,本申请实施例提供的一种视频处理方法可以适用于手机,平板电脑,桌面型、膝上型、笔记本电脑,超级移动个人计算机(Ultra-mobile Personal Computer,UMPC),手持计算机,上网本,个人数字助理(Personal Digital Assistant,PDA),可穿戴电子设备和智能手表等。
以手机为例,图1为本申请实施例提供的一种电子设备的组成示例。如图1所示,电子设备100可以包括处理器110,内部存储器120,摄像头130,显示屏140,天线1,天线2,移动通信模块150,以及无线通信模块160,音频模块170,传感器模块180,以及按键190等。
可以理解的是,本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,智能传感集线器(sensorhub)和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
内部存储器120可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器120的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器120可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器120的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
一些实施例中,内部存储器120存储的是用于执行视频处理方法的指令。处理器110可以通过执行存储在内部存储器120中的指令,实现控制电子设备以“一录多得”模式拍摄视频,得到拍摄的视频,一张或多张精彩照片,以及一段或多段精选视频。
电子设备通过GPU,显示屏140,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏140和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏140用于显示图像,视频等。显示屏140包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oled,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏140,N为大于1的正整数。
一些实施例中,电子设备以“一录多得”模式拍摄视频,得到拍摄的视频,一张或多张精彩照片,以及一段或多段精选视频,由显示屏140向用户显示。
电子设备100可以通过ISP,摄像头130,视频编解码器,GPU,显示屏140以及应用处理器等实现拍摄功能。
ISP用于处理摄像头130反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头130中。
摄像头130用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头130,N为大于1的正整数。
一些实施例中,摄像头130用于拍摄本申请实施例提及的视频。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)4,MPEG2,MPEG3,MPEG4等。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备可以设置至少一个麦克风170C。在另一些实施例中,电子设备可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
传感器模块180中,压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏140。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏140,电子设备根据压力传感器180A检测触摸操作强度。电子设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
触摸传感器180B,也称“触控器件”。触摸传感器180B可以设置于显示屏140,由触摸传感器180B与显示屏140组成触摸屏,也称“触控屏”。触摸传感器180B用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏140提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180B也可以设置于电子设备的表面,与显示屏140所处的位置不同。
一些实施例中,压力传感器180A和触摸传感器180B可用于检测用户对显示屏140展示的控件、图像、图标、视频等的触控操作。电子设备可响应压力传感器180A和触摸传感器180B检测的触控操作,执行对应流程。电子设备执行的流程的具体内容,可参考下述实施例内容。
按键190包括开机键,音量键等。按键190可以是机械按键,也可以是触摸式按键。电子设备可以接收按键输入,产生与电子设备的用户设置以及功能控制有关的键信号输入。
以下实施例中所涉及的技术方案均可以在具有上述硬件架构的电子设备100中实现。
为了便于理解,本申请以下实施例将以具有图1所示结构的电子设备为例,对本申请实施例提供的视频处理方法进行具体阐述。
本申请以下实施例将以电子设备为手机,手机中安装相机应用,由相机应用启动摄像头拍摄视频为例,详细介绍本申请提供的视频处理方法。
在本申请的一些实施例中,用户可以手动开启或关闭本申请实施例提供的“一录多得”功能。以下结合图2描述“一录多得”的入口。
示例性的,用户可以通过触摸手机屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式,指示手机开启相机应用。图2中(a)展示了用户开启相机应用的一种实现方式。如图2中(a)所示,用户点击手机显示屏展示的相机应用图标以输入开启相机的指示,手机响应于接收到用户开启相机的指示后,手机启动相机,显示图2中(b)或(c)展示的拍摄界面。
图2中(b)展示的拍摄界面为手机处于拍照模式时的拍摄界面,图2中(c)展示的拍摄界面为手机处于录像模式时的拍摄界面。以图2中(b)为例,手机的拍摄界面包括:开启或关闭闪光灯的控件201、设置的控件202、切换列表203、展示前一次拍摄的图像的控件204、控制拍摄的控件205以及切换前后摄像头的控件206等。
其中,开启或关闭闪光灯的控件201用于控制摄像头拍摄时是否启动闪光灯。
设置的控件202可用于拍摄参数以及拍摄功能的设置,比如,照片比例的设置、手势拍照的设置、笑脸抓拍的设置、视频分辨率的设置等。
切换列表203包括摄像头的多种模式,用户可通过左右滑动该切换列表,实现摄像头的多种模式的切换运行。示例性的,图2中(b)展示的切换列表包括人像、夜景、拍照、录像、全景。其他未展示于图2中(b)的模式属于隐藏显示,用户可通过左右滑动切换列表的方式,显示出处于隐藏显示的模式。
展示前一次拍摄的图像的控件204,用于展示摄像头前一次拍摄的图像的缩略图或视频的封面缩略图。用户可通过触控展示前一次拍摄的图像的控件204,由显示屏展示摄像头前一次拍摄的图像或视频。其中,摄像头前一次拍摄的图像或视频是指:摄像头拍摄时间在本次拍摄前拍摄、且拍摄时间距本次拍摄时间最近的图像或视频。
控制拍摄的控件205为提供于用户启动拍摄的控件。在手机的拍照模式,用户触控一次控制拍摄的控件205,摄像头可拍摄一帧图像。当然,摄像头也可以拍摄多帧图像,而仅选择一帧图像出图。在手机的录像模式,用户点击控制拍摄的控件205,摄像头开始录像。
切换前后摄像头的控件206用于实现手机的多个摄像头的切换运行。通常情况下,手机包括与显示屏同侧的摄像头(简称前置摄像头),以及位于手机的外壳上的摄像头(简称后置摄像头),用户可通过点击切换前后摄像头的控件206,实现对手机的前置摄像头和后置摄像头的切换运行。
用户如图2中(b)或图2中(c)所示,通过点击设置的控件202,控制手机显示设置界面。示例性的,设置界面可如图2中(d)所示。图2中(d)所示的设置界面中显示开启“一录多得”的选项207,用于开启一录多得的功能。也就是说,当用户开启该功能后,手机处于录像模式拍摄视频像时,手机会自动采用本申请实施例提供的视频处理方法,在拍摄视频的同时自动生成精彩图像和短视频。当然,用户也可以通过该选项207,手动关闭录像模式下的一录多得功能。
通常情况下,图2中(d)所示的“一录多得”的选项207属于默认开启状态。也就是说,手机首次开机或更新系统以具有“一录多得”功能,图2中(d)展示的设置界面中的“一录多得”的选项207则处于开启状态,手机的“一录多得”功能被启动。
可以理解的是,设置界面还可以包括其他功能设置的控件。比如,图2中(d)所示的拍照设置的控件和视频设置的控件,其中:拍照设置的控件包括:照片比例的设置控件、声控拍照的设置控件、手势拍照的设置控件、笑脸抓拍的设置控件等;视频设置的控件包括:视频分辨率的设置控件、视频帧率的设置控件等。
以上介绍了控制手机进入“一录多得”模式的方法,但本申请不限于在录像模式进入“一录多得”。在本申请的一些实施例中,用户开启“一录多得”功能可以有其他方式。
在开启一录多得功能后,用户可以控制手机开始拍摄视频。
示例性的,参见图2中(a),用户可点击相机应用启动摄像头开始采集图像并给用户展示预览界面,并如图3中(a)所示,点击控制拍摄的控件301控制手机开始录制摄像头采集的图像。其中,手机开始录制摄像头采集的图像可以理解成:录制摄像头采集的图像并将其保存到内部存储器。图3中(b)绘示的界面展示了用户利用手机拍摄一场足球比赛过程中的一个画面。图3中(b)绘示的界面包括:停止控件302、暂停控件303以及拍照键304。在视频的拍摄过程中,用户可以通过点击暂停控件303暂停拍摄,也可通过点击停止控件302结束拍摄,还可通过点击拍照键304手动抓取照片。
如图3中(c)所示的界面中,用户在56秒可以点击停止控件302结束拍摄过程,可得到时长为56秒的视频。拍摄结束后,手机的显示屏可进入拍摄界面。并且,在手机的“一录多得”功能的首次使用时,还可在拍摄界面引导一录多得的生成提示。示例性的,图3中(d)绘示的拍摄界面,展示有一录多得的生成提示的对话框,该对话框展示有“已生成“一录多得”精彩照片并可一键创作大片”的文字提示。用户可通过点击图3中(d)展示的界面的任何区域,控制一录多得的生成提示的对话框消失。亦或者,手机也可被配置一录多得的生成提示的对话框展示一定时长,如5秒,自动消失。
当然,在手机的“一录多得”功能被启动一次之后,用户再一次拍摄视频,点击停止控件结束拍摄,手机的显示屏展示的拍摄界面则不会包括引导一录多得的生成提示。
需要说明的是,手机拍摄视频的时长满足一定时长要求,例如15秒,手机会以一录多得模式的要求,从手机拍摄的视频中抓取出一张或多张精彩图像,以及生成精选视频。在手机能够抓取出一张或多张精彩图像时,图3中(d)绘示的拍摄界面,可展示一录多得的生成提示的对话框,该对话框展示“已生成“一录多得”精彩照片并可一键创作大片”的文字提示。
然而,用户拍摄视频的应用场景,还可包括下述两种应用场景:第一种应用场景:视频拍摄时长较短,未满足一录多得模式的视频拍摄时长要求。第二种应用场景:视频拍摄时长满足一录多得模式的视频拍摄时长要求,但手机未从拍摄的视频中识别到精彩图像。另外,在第二个应用场景,通常要求用户拍摄的时间大于另一个时长要求,该时长大于一录多得模式的视频拍摄时长,例如30秒。并且,手机虽然未从拍摄的视频中识别到精彩图像,但是能识别到质量较好的图像,该质量较好的图像可用于生成下述提出的精选视频。
在第一种应用场景下,在用户首次以一录多得模式拍摄视频,且如图4中(a)所示,在拍摄到10秒时点击停止控件302,手机显示的拍摄界面如图4中(b)所示,一录多得的生成提示的对话框的文字为:已生成“一录多得”精彩照片。
在第二种应用场景下,在用户首次以一录多得模式拍摄视频,且如图4中(c)所示,在拍摄到56秒时点击停止控件302,手机显示的拍摄界面如图4中(d)所示,一录多得的生成提示的对话框的文字为:“一录多得”视频可一键创作大片。
另外,手机以图4中(b)显示了手机的拍摄界面之后,在手机首次确定手机拍摄出满足第二种应用场景的视频,手机还可在用户点击如图4中(c)所示的停止控件302之后,展示一次图4中(d)所示拍摄界面。或者,在手机首次确定拍摄出满足时长满足一录多得模式的视频拍摄时长要求,且能被识别出精彩图像的视频,手机在用户点击如图3中(c)所示的停止控件302之后,展示一次图3中(d)所示拍摄界面。
并且,手机以图4中(d)显示了手机的拍摄界面之后,在手机首次确定满足第一种应用场景的视频,手机还可在用户点击如图4中(a)所示的停止控件302之后,展示一次图4中(b)所示拍摄界面。或者,在手机首次确定拍摄出满足时长满足一录多得模式的视频拍摄时长要求,且能被识别出精彩图像的视频,手机在用户点击如图3中(c)所示的停止控件302之后,展示一次图3中(d)所示拍摄界面。
需要说明的是,用户以手机的一录多得模式拍摄视频时,手机可利用识别模型自动识别拍摄的视频中的精彩图像。一些实施例中,手机设置有精彩图像的识别模型,在拍摄视频的过程中,将视频输入到精彩图像的识别模型,该识别模型可对输入的视频中的图像进行精彩度的评分,得到视频中的图像的精彩度评分值。手机可利用图像的精彩度评分值,确定视频中的精彩图像。通常情况下,图像的精彩度评分值越大,说明图像属于精彩图像的概率越高。
一些实施例中,手机可被配置得到固定数量的精彩图像,例如5张精彩图像。基于此,手机选择精彩度评分值较高的5张图像,作为精彩图像。
另一些实施例中,手机也可不配置精彩图像的限制数量,手机可选择精彩度评分值高于一定数值的图像,均作为精彩图像。
在手机拍摄视频结束之后,手机得到拍摄的视频,视频中的一张或多张精彩图像,手机还可将拍摄的视频和精彩图像保存到图库。一个示例中,图5中(a)展示了图库的相册展示界面,该相册展示界面以文件夹的形式展示手机保存的所有照片及视频。示例性的,图5中(a)展示的相册展示界面包括:相机文件夹401、所有照片文件夹402、视频文件夹403以及一录多得文件夹404。当然,相册展示界面还可以包括其他文件夹,本申请并不限制相机展示界面展示的文件夹。
通常情况下,相机文件夹401包括手机的摄像头拍摄的所有照片和视频,所有照片文件夹402包括手机保存的所有照片和视频,视频文件夹403包括手机保存的所有视频,一录多得文件夹404包括手机保存的以一录多得模式拍摄的所有精彩图像。
图5中(b)绘示了一录多得文件夹的展示界面,该展示界面展示了手机以一录多得拍摄的前述提及的56秒视频中的5张精彩图像的缩略图,并且,5张精彩图像由手机自动从拍摄的56秒视频中抓取。
手机在图库保存拍摄的视频和视频中的精彩图像之后,用户可通过图库应用查阅视频和视频的精彩图像。示例性的,用户在图6中(a)展示的拍摄界面中点击展示前一次拍摄的图像的控件501,或者用户在图6中(b)展示的图库的照片展示界面,点击视频502的封面缩略图。手机响应于用户的点击操作,在手机的显示屏展示视频502的浏览界面。
图6中(b)所示的视频502的封面缩略图的左下角显示有“一录多得”功能的视频专属角标。该视频专属角标用于向用户说明该封面缩略图对应的视频502是手机利用“一录多得”功能拍摄得到。
图6中(b)所示的视频502的封面缩略图与图像A、图像B的缩略图大小不同,图像A和图像B可指代手机未开启一录多得功能而拍摄的图像。示例性的,图6中(b)所示的视频502的封面缩略图大于与图像A、图像B的缩略图。当然,图6中(b)所示的视频502的封面缩略图也可以与图库中其他照片和视频(指未开启一录多得功能的视频)的缩略图相同,本申请实施例对此不作限定。
手机的显示屏首次展示视频502的浏览界面,在浏览界面显示有蒙层引导。手机的显示屏非首次展示视频502的浏览界面,在浏览界面不显示有蒙层。示例性的,显示有蒙层引导的视频502的浏览界面如图6中(c)所示,不显示有蒙层引导的视频502的浏览界面如图6中(d)所示。还需要指出的是,视频502可以理解成手机首次采用一录多得模式拍摄得到的视频,因此,手机的显示屏首次展示视频502的浏览界面,可以理解成手机首次展示手机首次采用一录多得模式拍摄得到的视频,在此种情况下,视频的浏览界面才会显示有蒙层引导。并且,手机首次展示手机首次采用一录多得模式拍摄得到的视频,在视频的浏览界面显示蒙层引导,可以起到提醒用户一录多得功能的作用。
图6中(c)展示的视频502的浏览界面包括:视频502的精彩图像的缩略图区域504,控件505,以及播放控件506。其中,视频502的精彩图像的缩略图区域504露出不被蒙层覆盖,显示屏的其他区域被蒙层覆盖。
视频502的精彩图像的缩略图区域504包括:视频502的封面缩略图,以及视频502的多张精彩图像的缩略图。视频502的封面缩略图通常处于第一位,多张精彩图像的缩略图可按照精彩图像的拍摄时间排列,且位于视频502的封面缩略图之后。精彩图像可如前述内容,是手机拍摄视频时,自动识别视频中包含的精彩瞬间的画面,并从视频中提取得到。并且,视频502的浏览界面还包括一个提醒对话框,该提醒对话框显示有“一录多得”为您智能抓拍多个精彩瞬间的文字。提醒对话框通常如图6中(c)所示,位于视频502的精彩图像的缩略图区域504上方,用于提示用户视频502的精彩图像的缩略图区域504展示的内容,以引导用户查阅视频502的精彩图像。当然,图6中(c)展示的提醒对话框展示的文字和设置位置是一种示例性的展示,不构成对提醒对话框的限定。用户可通过点击图6中(c)展示的视频502的浏览界面的任何区域,控制提醒对话框消失。亦或者,手机也可被配置提醒对话框展示一定时长,如5秒,自动消失。
控件505用于基于视频502的精彩图像,生成精选视频。
播放控件506用于对视频502的播放进行控制。示例性的,如图6中(d)所示,播放控件506包括:启动或停止的控件507、可滑动进度条508和喇叭控件509。启动或停止的控件507用于控制视频502播放或者停止视频502播放;喇叭控件509用于选择是否静音播放视频502。可滑动进度条508用于显示视频502的播放进度,用户还可通过左右拖动进度条上的圆形控件,来实现调整视频502的播放进度。
视频502的浏览界面还包括分享、收藏、编辑、删除、更多等选项。如果用户点击分享,可以分享视频502;如果用户点击收藏,可以将视频502收藏于文件夹;如果用户点击编辑,可以对视频502执行编辑;如果用户点击删除,则可以删除视频502;如果用户点击更多,则可以进入对视频的其他操作功能(比如移动、复制、添加备注、隐藏、重命名等等)。
视频502的浏览界面还包括的视频502的拍摄信息,通常如图6中(c)或(d)所示,位于视频502的上方。该视频502的拍摄信息包括:视频502的拍摄日期、拍摄时间和拍摄地址。并且,视频502的浏览界面还可以包括一个圆形控件,该圆形控件内填充字母“i”。用户点击该圆形控件,手机可响应用户的点击操作,在视频502的浏览界面上显示视频502的属性信息,示例性的,该属性信息可包括视频502的存储路径、分辨率、拍摄时摄像头的配置信息等。
图6中(c)展示的蒙层属于一种蒙版图层。蒙版图层一般指图层蒙版,图层蒙版是在显示屏显示的界面的图层上面覆盖一层玻璃片图层。并且,玻璃片图层分为透明的、半透明的、完全不透明。半透明的、完全不透明的蒙层能够遮挡显示屏的光线,实现对显示屏显示的界面对用户模糊可见或完全不可见。图6中(c)展示的蒙层,可以理解成是一种半透明的玻璃片图层。
图6中(c)展示的蒙层引导是一种示例性的展示,并不构成首次展示一录多得拍摄的视频的浏览界面的蒙层引导的限定。一些实施例中,蒙层引导也可以设置为带蒙层及其他特效的引导,如蒙层加气泡的引导。
并且,用户可通过在图6中(c)展示的视频502的浏览界面的任意区域输入操作,以控制蒙层消失。当然,手机还可设置成蒙层展示一定时长,如3秒自动消失。图6中(c)展示的视频502的浏览界面中蒙层消失,以及提醒对话框消失后,该视频502的浏览界面即如图6中(d)所示。
需要说明的是,图6中(c)展示的视频502的浏览界面上的蒙层未消失之前,视频502处于静止状态,不会播放。蒙层消失后,视频502可自动播放。通常情况下,视频502还可静音播放。当然,用户可通过点击图6中(d)展示的喇叭控件509控制手机带音播放视频502。
用户还可在图6中(d)展示的视频502的精彩图像的缩略图区域504,执行左右滑动操作或点击操作。一些实施例中,用户点击缩略图区域504中的一张精彩图像的缩略图,手机响应用户的点击操作,在显示屏上显示用户点击的精彩图像,以替换图6中(d)展示的视频502。另一实施例中,用户在缩略图区域504进行向左,或向右滑动操作,手机也可响应用户的滑动操作,在显示屏上跟随用户的滑动方向显示缩略图区域504的精彩图像。缩略图区域504显示的精彩图像的缩略图对应的图像没有保存在图库中,而是保存在了一录多得的相册中,也就是说,在图6中的(b)所示的界面中,没有精彩图像对应的缩略图,但是当用户点击视频502的缩略图进入视频502的浏览界面时,在视频502的浏览界面下方可以展示视频502关联的精彩图像的缩略图。
用户还可在图6中(d)展示的视频502输入左右滑动操作,手机响应用户的滑动操作,在显示屏上显示手机的图库保存的其他图像或视频。一些实施例中,用户在图6中(d)展示的视频502输入向右滑动操作,手机在显示屏显示图库中保存的视频502的后一个视频或图像。用户在图6中(d)展示的视频502输入向左滑动操作,手机在显示屏显示图库中保存的视频502的前一个视频或图像。其中,前一个视频或图像是指拍摄时间早于视频502,且与视频502的拍摄时间最近的视频或图像,后一个视频或图像是指拍摄时间晚于视频502,且与视频502的拍摄时间最近的视频或图像。
需要说明的是,若用户拍摄的视频502为前述提及的第一种应用场景的视频,视频502的浏览界面与图6中(c)和图6中(d)会有所区别,区别点在于:视频502的浏览界面不包括控件505。若用户拍摄的视频502为前述提及的第二种应用场景的视频,视频502的浏览界面与图6中(c)和图6中(d)也会有所区别,区别点在于:视频502的浏览界面不包括缩略图区域504。
还需要说明的是,用户以手机的一录多得模式拍摄视频时,手机可得到拍摄的视频,视频中的一张或多张精彩图像之外,手机还可得到标签数据,该标签数据包括视频的多种标签(TAG)。并且,该标签数据可添加与视频中,通常位于视频头。
在一个可能的实现方式中,视频的多种标签(TAG)可基于视频的层级信息确定。视频的层级信息可包括:第一层级信息LV0、第二层级信息LV1、第三层级信息LV2和第四层级信息LV3。其中:
第一层级信息LV0用于表征视频的主题类别,用于给出整段视频的风格或氛围TAG。
第二层级信息LV1用于表征视频的场景,用于给出视频的场景TAG。
第三层级信息LV2用于表征视频的场景发生变化,也可以理解成是转场分镜变化。第三层级信息LV2的信息可以给出视频转场位置(比如,发生转场的帧号),以及转场类型(人物主角切换、快速运镜、场景类别变化、其他情况引起的图像内容变化),以防止相似场景推荐数量过多。LV2的信息用于表征视频场景变化(或者也可以简称为转场),包括但不限于以下变化中的一种或多种:人物主体(或主角)变化,图像内容构成发生较大变化,语义层面场景发生变化,以及图像亮度或颜色发生变化。手机可利用第三层级信息LV2,在视频中产生场景变化时,对视频添加分镜TAG。
第四层级信息LV3用于表征精彩时刻,即精彩图像的拍摄时刻,用于给出视频的精彩图像TAG。
第一层级信息LV0、第二层级信息LV1、第三层级信息LV2和第四层级信息LV3按照粒度由粗到细的次序提供决策信息,以识别到视频中的精彩图像以及生成精选视频。
以下表1给出了LV0和LV1的定义的举例。
表1
Figure BDA0003548450840000141
Figure BDA0003548450840000151
手机可利用拍摄的视频和标签数据,生成拍摄的视频的精选视频。当然,在手机能够从拍摄的视频中识别到精彩图像时,该精选视频包括拍摄的视频的精彩图像,且带有一些特效和音乐。另外,手机从拍摄的视频中未能识别到精彩图像,但却能识别到质量好的图像,手机生成的精选视频包括质量好的图像。当然,该精选视频也带有一些特效和音乐。还需要说明的是,标签数据也会包括质量好的图像的TAG,该TAG用于指示质量好的图像的拍摄时刻,即在拍摄视频中的位置。
本申请提及的质量好的图像是指:图像较为清晰,例如分辨率较高;或者图像较为完整。
本申请所提及的特效是指:能够由素材支持,在视频帧上添加后可呈现出特殊效果,例如:雪花、放烟花等等动画效果,以及滤镜、贴纸、边框等。在一些实施例中,也可将特效称为风格或风格主题等。
本申请下述内容,以手机利用精彩图像生成精选视频为例进行介绍。
示例性的,用户如图7中(a)所示,点击视频的浏览界面的控件601。手机响应用户的点击操作,生成一定时长的精选视频。
通常情况下,因生成视频的精选视频需要耗费一定时间,因此,用户如图7中(a)所示,点击视频的浏览界面的控件601之后,手机的显示屏会显示如图7中(b)所示的精选视频602的缓冲界面。在精选视频602生成完成之后,手机的显示屏显示精选视频602的展示界面。当然,在手机的性能较强的情况下,用户如图7中(a)所示,点击视频的浏览界面的控件601之后,手机的显示屏可不显示图7中(b)的缓冲界面,而直接显示精选视频602的展示界面。
示例性的,精选视频602的展示界面中,正在播放精选视频602。且精选视频602的展示界面如图7中(c)所示,包括:风格控件603、保存控件604、分享控件605、音乐控件606、编辑控件607等。
用户点击风格控件603,手机响应于用户的点击操作,显示屏展示手机保存的多种视频风格。用户可为精选视频602选择不同的视频风格。一些实施例中,视频风格可以是滤镜,即通过套用滤镜来对该精选视频602进行调色处理。滤镜是视频特效的一种,用来实现精选视频602的各种特殊效果。另一些实施例中,视频风格也可以是快放、慢放等视频效果。另一些实施例中,视频风格还可以指各种主题,不同的主题包括各自对应的滤镜和音乐等内容。
用户点击分享控件605,手机响应于用户的点击操作,可以分享精选视频602。
用户点击音乐控件606,手机响应于用户的点击操作,显示屏展示为该精彩视频602添加不同的配乐的界面。该界面展示有多个配乐控件,用户可点击任一个配乐控件,为该精彩短视频选择配乐,比如,舒缓、浪漫、温暖、惬意、恬静等,为精选视频602添加配乐。
用户点击编辑控件607,手机响应于用户的点击操作,显示屏显示精彩视频602的剪辑界面。用户可在编辑界面输入对精彩视频602进行剪辑、分割、音量调整、画幅调整等编辑操作。
保存控件604用于保存精选视频602。
以下结合图8,对精选视频的保存过程进行介绍。
示例性的,用户点击图8中(a)展示的精选视频602的展示界面的保存控件604。手机响应于用户的点击操作,保存精选视频602。示例性的,如图8中(c)所示,手机在图库中保存精选视频602。一些实施例中,精选视频602可跟随精选视频602的原视频502保存,即精选视频602和原视频502存储于相同存储区域。另一些实施例中,精选视频602也可不跟随精选视频602的原视频502保存,即精选视频602和原视频502存储于不同存储区域。需要指出的是,原视频502是指用户拍摄的视频,精选视频602来自于原视频502。
用户点击图8中(a)展示的精选视频602的展示界面的保存控件604。手机响应于用户的点击操作,保存精选视频602之外,手机的显示屏还可展示精选视频602的浏览界面。示例性的,如图8中(b)展示了精选视频602的浏览界面。一些实施例中,在精选视频602的浏览界面中,精选视频602可自动播放。
精选视频602的浏览界面,与图6中(d)展示的视频502的浏览界面基本相同,区别在于精选视频602的浏览界面播放的精选视频602。精选视频602的浏览界面包含的控件及其作用,可参见前述内容提及的图6中(d)展示的视频502的浏览界面的内容,此处不做赘述。
需要说明的是,在用户点击图8中(a)展示的保存控件604之前,手机可生成精选视频602,但不将其保存在内部存储器中。只有在用户点击了图8中(a)展示的保存控件604之后,手机还会将生成的精选视频602保存在内部存储器中。
图9是本申请实施例提出的电子设备的软件结构示意图。
分层架构将电子设备的操作系统分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,电子设备的操作系统为Android系统。Android系统可以分为五层,从上至下分别为应用程序(application,APP)层、应用程序框架层(简称为FWK)、系统库、硬件抽象层(HAL)以及内核层。
应用程序层可以包括一系列应用程序包。如图9所示,应用程序包可以包括相机,图库,媒体信息库(Media Library),视频编辑,地图,通话,日历等应用程序。
一些实施例中,相机用于拍摄图像或视频。当然,相机可响应用户的操作,以一录多得模式拍摄视频。
媒体信息库(Media Library)用于提供图库应用中的视频、图像的存储路径、名称等信息。媒体信息库还可保存视频、图像的一些扩展信息。一些实施例中,媒体信息库保存电子设备以一录多得模式拍摄的视频的分组ID和视频类型。
并且,媒体信息库还可同步媒体提供者(Media Provider)中保存的信息。媒体信息库中保存的信息还可提供于图库应用,图库应用读取媒体信息库中的信息,显示该信息,以用于用户查看和操作。一些实施例中,Media Library也可设置于应用程序框架层。
视频编辑应用用于提供视频编辑相关的功能,例如用于提供视频特效、滤镜、背景音乐、片段剪辑等视频编辑功能,以及提供视频保存、视频播放等视频处理功能。一些实施例中,视频编辑应用可编辑得到精选视频。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图9所示,应用程序框架层可以包括窗口管理器,内容提供器,电话管理器,资源管理器,相机后处理通路(Post Camera),相机框架(CameraFwk),媒体录制器(Media Recorder),媒体提供者(Media Provider)等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
相机框架(CameraFwk)也可以称为相机应用对应的接口,用于提供相机应用和下层模块之间的数据传输功能。通常情况下,相机应用可通过相机框架向下层模块发送数据,以控制下层模块采集视频或图像,下层模块采集的视频或图像也可通过相机框架上传到相机应用。一些实施例中,相机应用还可通过相机框架向相机Hal发送指令,以控制相机Hal分析视频或停止分析视频。当然,相机Hal分析视频得到的数据,也可通过相机框架上传到相机应用。
相机后处理通路(Post Camera)用于将下层模块得到的图像数据传输至应用程序层的相应模块。一些实施例中,视频中的精彩图像的图像数据,可通过相机后处理通路传输至应用程序层的相机应用。
媒体录制器(Media Recorder)用于实现视频的录制。
媒体提供者(Media Provider)用于向媒体信息库提供媒体录制器录制的视频的基本信息。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。在本申请一些实施例中,应用冷启动会在Android runtime中运行,Android runtime由此获取到应用的优化文件状态参数,进而Android runtime可以通过优化文件状态参数判断优化文件是否因系统升级而导致过时,并将判断结果返回给应用管控模块。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),三维图形处理库(例如:OpenGL ES),以及二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。三维图形处理库用于实现三维图形绘图,图像渲染、合成和图层处理等。二维图形引擎是2D绘图的绘图引擎。
硬件抽象层(HAL)是位于操作系统内核与硬件电路之间的接口层,其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节,为操作系统提供虚拟硬件平台,使其具有硬件无关性,可在多种平台上进行移植。
一些实施例中,如图9所示,硬件抽象层包括相机Hal。相机Hal可包括编码模块,抓取队列和算法识别模块等功能模块。
算法识别模块为可加载AI算法的算法模块,用于提供对视频的图像内容的识别功能,以及用于提供对视频的主题识别、场景识别、精彩时刻识别、用户操作和运镜识别等功能。一些实施例中,算法识别模块也可不属于相机Hal,属于硬件抽象层(HAL)的一个功能模块。
抓取队列用于保存算法识别模块从视频中识别出的精彩图像。
编码模块用于编辑抓取队列中的图像。一些实施例中,抓取队列保存的精彩图像可为RAW图像,编码模块编辑RAW图像,得到JPEG格式或其他格式的图像。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,传感器驱动,音频驱动等。一些实施例中,显示驱动用于控制显示屏显示图像;摄像头驱动用于控制摄像头运行。传感器驱动用于控制多个传感器运行,如控制压力传感器和触摸传感器运行。
硬件层可包括前述提出的可折叠的电子设备硬件部件。示例性的,图9展示了显示屏和摄像头。
需要说明的是,本申请实施例虽然以Android系统为例进行说明,但是其基本原理同样适用于基于iOS、Windows等操作系统的电子设备。
以下结合图9,对本申请实施例提供的视频处理方法的流程进行介绍。
本申请实施例提供的视频处理方法,可分为下述两个环节:第一环节为:以一录多得模式拍摄视频,得到拍摄的视频和视频中的精彩图像;第二环节为:查阅拍摄的视频、视频中的精彩图像,生成并保存精选视频。以下分别结合图10和图11分别对上述两个环节的具体实现过程进行介绍。
图10展示了图9展示的电子设备的软件框架中的多个工作模块配合执行第一环节流程的信令图。参见图10,第一环节提出的以一录多得模式拍摄视频,得到拍摄的视频和视频中的精彩图像的方法,包括下述步骤:
S101、相机应用接收第一操作,该第一操作用于启动录制。
用户如图3中(a)所示,点击控制拍摄的控件301以输入第一操作。相机应用接收第一操作,解析第一操作可确定该操作用于启动录制。
需要说明的是,用户如图2中(a)所示,点击相机应用。手机响应该点击操作,显示拍摄界面。手机的摄像头被同步控制运行以拍摄视频,拍摄界面则可显示拍摄的视频,形成视频的预览界面。需要指出的是,手机仅以视频的预览界面显示摄像头拍摄的视频,但摄像头拍摄的视频并未保存。因此,用户点击相机应用的操作可以理解成是启动预览录像。
相机应用接收第一操作之后,相机应用才可控制开始录制摄像头拍摄的视频,当然也可用于控制手机保存视频。
S102、相机应用响应于第一操作,生成一个UUID作为分组ID。
因在一录多得模式拍摄视频,可得到拍摄的视频,视频中的精彩图像,还可得到精选视频。因此,需要将拍摄的视频,视频中的精彩图像以及精选视频进行关联,以方便视频进行显示时,可同步显示视频中的精彩图像。
一些实施例中,电子设备以同一个分组身份标识号码(Identity document,ID)将视频、视频中的精彩图像进行关联,电子设备可通过分组ID,来确定视频,以及属于该视频的精彩图像。
另一些实施例中,电子设备以同一个分组身份标识号码(Identity document,ID)将视频、视频中的精彩图像以及精选视频进行关联。电子设备可通过分组ID,来确定视频,属于该视频的精彩图像,以及该视频对应的精选视频。
通用唯一识别码(Universally Unique Identifier,UUID)可作为分组ID。基于此,相机应用通过解析第一操作,确定用户想要拍摄视频时,相机应用响应于该第一操作,生成一个UUID。需要说明的是,针对用户拍摄的不同视频,相机应用需生成不同的UUID。
需要说明的是,相机应用响应于该第一操作生成UUID之前,相机应用还可先确定电子设备的一录多得功能处于启动状态。一些实施例中,电子设备还可进一步确定后置摄像头被启动拍摄视频,相机应用才可生成UUID。
如前述软件框架的内容,相机应用包括控制模块,该控制模块可响应于第一操作,生成分组ID。
S103、相机应用通过相机框架向相机Hal发送分组ID。
如前述软件框架的内容,应用程序框架层包括相机框架。相机应用通过相机框架向相机Hal发送分组ID。一些实施例中,相机应用可向相机框架发送分组ID,相机框架接收到分组ID后,向相机Hal发送分组ID。其中,相机应用的控制模块向相机框架发送分组ID。
S104、相机应用通过相机框架向相机Hal发送抓拍分辨率。
因电子设备在一录多得模式拍摄视频,还可抓取视频中的精彩图像。因此,电子设备需要设定抓取出的精彩图像的分辨率。抓拍分辨率则指代电子设备设定的从视频中抓取出精彩图像的分辨率。
一些实施例中,相机应用接收到第一操作,响应于第一操作,可通过相机框架向相机Hal发送抓拍分辨率。相机应用可向相机框架发送抓拍分辨率,相机框架接收到抓拍分辨率后,向相机Hal发送抓拍分辨率。其中,相机应用的控制模块向相机框架发送抓拍分辨率。
另一实施例中,用户如图2中(a)所示,击相机应用。相机应用接收到该点击操作,可响应于该点击操作,通过相机框架向相机Hal发送抓拍分辨率。相机应用可向相机框架发送抓拍分辨率,相机框架接收到抓拍分辨率后,向相机Hal发送抓拍分辨率。其中,相机应用的控制模块向相机框架发送抓拍分辨率。
S105、相机应用通过相机框架向相机Hal发送第一控制命令,该第一控制命令用于控制相机Hal运行以分析视频。
相机应用接收到第一操作,响应于第一操作,控制相机Hal分析摄像头拍摄的视频。其中,相机Hal分析视频可以理解成:识别视频中的精彩时刻,视频的主题、场景以及转场,还可抓取精彩时刻的图像。相机应用可下发第一控制命令,以控制相机Hal分析摄像头拍摄的视频。一些实施例中,相机应用可向相机框架发送第一控制命令,相机框架接收到第一控制命令之后,向相机Hal发送第一控制命令。其中,相机应用的控制模块向相机框架发送第一控制命令。并且,第一控制命令可控制相机Hal中的算法识别模块分析视频。
S106、相机Hal获取摄像头拍摄的视频。
需要说明的是,用户如图2中(a)所示,点击相机应用。手机响应该操作,控制摄像头采集图像。相机Hal可获取摄像头采集的图像并上传到相机应用,由相机应用形成并展示预览界面。因此,在相机Hal接收到第一控制命令时,可通过步骤S106继续获取摄像头采集的图像(也可以理解成拍摄的视频)。当然,相机Hal获取的视频还可上传到相机应用。
S107、相机Hal向Media Recorder发送摄像头拍摄的视频。
相机Hal获取到摄像头拍摄的视频,除上传到相机应用形成预览界面之后,还可向Media Recorder发送,以便Media Recorder录制视频。
S108、Media Recorder录制视频。
Media Recorder录制视频是指:录制相机Hal发送的摄像头拍摄的视频。当然,录制视频可以理解成:Media Recorder对摄像头拍摄的视频进行视频编码,并将编码后的视频保存。
并且,相机应用启动时,可向Media Recorder指定摄像头拍摄的视频的存储位置。Media Recorder接收到相机Hal发送的视频,可在相机应用指定的存储位置保存视频。
需要说明的是,图10展示的是前述步骤S102和步骤S103,步骤S104,以及步骤S105执行顺序的一种示例,但前述步骤S102和步骤S103,步骤S104,以及步骤S105执行顺序并不限于图10展示的内容。一些实施例中,步骤S102和步骤S103这两个步骤,可以与步骤S104,以及步骤S105并行执行。另一实施例中,步骤S103可以与步骤S104,以及步骤S105并行执行。
并且,相机应用执行步骤S104以及步骤S105之前,也可如执行步骤S102之前一样,先确定电子设备的一录多得功能处于启动状态,甚至在一些实施例中,电子设备进一步确定后置摄像头被启动拍摄视频。当然,相机应用可进行电子设备的一录多得功能是否启动,以及后置摄像头是否被启动以拍摄视频的一次检测,相机应用根据一次检测的结果,并行执行步骤S102和步骤S103,步骤S104以及步骤S105。
S109、相机Hal响应于第一控制命令,识别视频的主题,场景,转场以及精彩时刻。
同样如前述软件框架的内容,相机Hal包括算法识别模块,该算法识别模块可加载AI算法。在算法识别模块加载有AI算法之后,算法识别模块可识别视频中的精彩时刻,视频的主题、场景和转场,以及抓取精彩时刻的图像。
前述步骤S105提及的相机应用通过相机框架向相机Hal发送第一控制命令,可以理解成:相机应用通过相机框架向算法识别模块发送第一控制命令。算法识别模块接收到该第一控制命令之后,可加载AI算法。在算法识别模块加载AI算法完毕之后,则动态的识别摄像头拍摄的视频(也可称为视频流)的主题,场景,转场以及精彩时刻。
在摄像头拍摄视频的过程中,算法识别模块通过一定策略对从视频中捕获的图像帧进行主题、场景的分析,以及精彩时刻的识别。具体的:
针对视频的主题分析方面:算法识别模块可从拍摄的视频中捕获不同时刻的图像帧,或连续的图像帧,算法识别模块可分析捕获的图像帧,以确定摄像头拍摄的视频的所属主题。
针对视频的场景和转场分析方面:算法识别模块对比两帧图像帧,检测是否发生场景转换(如是否发生主角变化/环境变化/场景变化)。如果发生场景转换,则标记该场景的起止时间、所属场景类型、转场切换类型。转场切换类型可以理解成指示场景转换的种类,如主角变化/环境变化/场景变化,其中,场景变化可包括图像内容构成等语义层面的场景变化。通常情况下,算法识别模块可利用下一次确定场景发生转换的时间,来确定场景的停止时间。并且,算法识别模块可通过分析一个场景的多帧图像帧,来确定该场景的类型。
针对视频的精彩时刻分析方面:算法识别模块可从拍摄的视频中捕获不同时刻的图像帧,并基于画质、人物、动作等因素判断该图像帧是否属于精选图像,即该图像帧的发生时刻是否属于精彩时刻。一些实施例中,算法识别模块从识别出的每一个场景下,捕获多帧图像帧,对图像帧的发生时刻是否属于精彩时刻进行识别。
以下表2给出了算法识别模块识别出场景变化以及精彩时刻的一些举例。
表2
Figure BDA0003548450840000211
需要说明的是,算法识别模块,识别出视频的主题以及视频中的精彩时刻,可被记录下来。识别出的场景和转场,则可通过下述步骤S110和步骤S111向相机应用上报。
还需要说明的是,相机Hal还可识别视频中的质量好的图像帧的拍摄时刻,并保存质量好的图像帧的拍摄时刻。
S110、相机Hal识别到视频中的一个转场结束时,将转场对应的视频片段的信息,映射成视频片段的标签数据。
因摄像头拍摄视频过程中,相机Hal中的算法识别模块同步分析被拍摄的视频。因此,算法识别模块在确定视频中的发生场景变化,则可确定视频的一个场景(或称一个转场)已经结束。算法识别模块可上报已结束场景的信息。
因一个场景会对应视频的一个视频片段,因此,场景的信息即为转场对应的视频片段的信息。通常包括前述步骤S109中提及的场景的起止时间,所属场景类型以及转场切换类型。
并且,转场对应的视频片段的信息通常可以标签数据的形式进行上报,因此,算法识别模块可将转场对应的视频片段的信息,映射成视频片段的标签数据。视频片段的标签数据包括:以标签形式记载的该视频片段对应的场景的起止时间,所属场景类型,以及转场切换类型。一个示例中,以标签形式记载的场景的起止时间,可以为场景的起始时刻和停止时刻本身,或者经过格式变化的场景的起始时刻和停止时刻,亦或者用标签指代的场景的起始时刻和停止时刻。
示例性的,摄像头拍摄的视频可称为视频1,摄像头在08:00:00(绝对时间)拍摄视频1,08:00:15(绝对时间)结束第一个场景的拍摄。相机Hal识别该场景属于人物场景,转场切换类型为主角变化。基于此,第一个场景对应的视频片段的标签数据包括:起始时刻为08:00:00,停止时刻为08:00:15,场景类型为人物场景,转场切换类型为主角变化。并且,相机Hal识别到第一个场景中有精彩时刻,精彩时刻包括08:00:10。
进一步的,摄像头在08:00:35(绝对时间)结束视频2中第二个场景的拍摄。第二相机Hal识别该场景也属于人物场景,转场切换类型为主角变化。基于此,第二个场景对应的视频片段的标签数据包括:起始时刻为08:00:15,停止时刻为08:00:35,场景类型为人物场景,转场切换类型为主角变化。并且,相机Hal识别到第二个场景中也有精彩时刻,精彩时刻包括08:00:22。
本示例中,以视频1中的前两个场景为例进行介绍,相机Hal可通过步骤S110识别视频1中的其他场景,此处不一一说明。
需要说明的是,步骤S110也可以选择性执行的步骤。在一些实施例中,算法识别模块识别到一个场景的信息之后,可直接通过下述步骤S111向相机应用上报,而无需执行步骤S110。
S111、相机Hal通过相机框架向相机应用发送视频片段的标签数据。
相机Hal中的算法识别模块通过相机框架向相机应用发送视频片段的标签数据。一些实施例中,算法识别模块向相机框架发送视频片段的标签数据,相机框架接收到视频片段的标签数据之后,向相机应用发送视频片段的标签数据。相机应用接收到视频片段的标签数据之后,可缓存视频片段的标签数据。
如前述软件框架的内容,相机应用包括TAG管理模块,相机Hal通过相机框架向相机应用中的TAG管理模块发送视频片段的标签数据。TAG管理模块接收到视频片段的标签数据之后,可缓存视频片段的标签数据。
需要说明的是,相机Hal通过步骤S110得到一个转场对应的视频片段的标签数据之后,可通过步骤S111向相机应用上报该视频片段的标签数据。并且,在相机Hal执行步骤S111向相机应用上报一个视频片段的标签数据的过程中,相机Hal还可并行的执行对视频的分析流程,即并行的分析视频的下一场景,得到下一场景的信息。
S112、相机Hal从视频中抓取精彩图像,该精彩图像的分辨率为抓拍分辨率,抓取时刻为精彩时刻。
如前述步骤S109的内容,在摄像头拍摄视频的过程中,相机Hal中的算法识别模块不断识别视频中的精彩时刻,并记录该精彩时刻。除此之外,相机Hal在识别出的每一个精彩时刻,还可从拍摄的视频中抓取该精彩时刻的一帧或多帧图像帧。相机Hal还可从抓取的多帧图像帧中选择一帧质量好的图像帧,并由算法识别模块对该图像帧进行精彩度评分,得到精彩度分值。一个示例中,相机Hal从拍摄的视频中抓取该精彩时刻的8帧图像帧,并选择一帧图像帧进行精彩度评分。
相机Hal抓取并选择出的一帧图像帧,可缓存于抓取队列中。因抓取队列保存的图像帧的数量有限,一个示例中,抓取队列可保存5帧图像帧。因此,算法识别模块可根据图像帧的精彩度评分,动态地覆盖抓取队列已缓存的图像帧。针对相机Hal抓取出新的图像帧,算法识别模块将其精彩度评分与抓取队列已缓存的图像帧的精彩度评分进行比对,算法识别模块控制从抓取队列中删除精彩度评分比新的图像帧低的图像帧,并控制在抓取队列缓存新的图像帧。
需要说明的是,从拍摄的视频中抓取该精彩时刻的一帧或多帧图像帧的动作,以及选择一帧质量好的图像帧的动作,可由相机Hal的其他模块来执行,该模块未在图9展示的软件框架图中绘示。
还需要说明的是,前述步骤S109中提及:视频中的精彩时刻会被保存下来。在一些实施例中,一个视频中被保存的精彩时刻可以为有限数量。一个示例中,精彩时刻限制在64个以内。基于此,若被保存的精彩时刻的数量达到限制值时,可通过该精彩时刻的图像帧的精彩度分值,将被保存的精彩时刻进行动态调整。可以理解的是,要将保存的精彩时刻中,其图像帧的精彩度分值低的删除,保存精彩度分值高的精彩时刻。
还需要说明的是,图10绘示了步骤S110和步骤S111,与步骤S112的一种执行顺序,但步骤S110和步骤S111,与步骤S112的执行顺序并不限制于此。一些实施例中,步骤S110和步骤S111这两个步骤,可与步骤S112并行执行。另一些实施例中,步骤S110与步骤S112可并行执行。
S113、相机应用接收第二操作,第二操作用于停止拍摄视频。
用户判断视频拍摄完毕,则可如图3中(c)所示,点击停止控件302以输入第二操作。相机应用接收第二操作,解析第二操作可确定该操作用于结束拍摄视频。
S114、相机应用响应于第二操作,通过相机框架向相机Hal发送第二控制命令,该第二控制命令用于控制相机Hal停止分析视频。
相机应用解析第二操作,确定该操作用于结束拍摄视频。相机应用响应于第二操作,下发第二控制命令。一些实施例中,相机应用向相机框架发送第二控制命令,相机框架接收到第二控制命令之后,向相机Hal发送第二控制命令。并且,第二控制命令可由相机应用中的控制模块发送。
相机Hal接收到第二控制命令之后,可响应该第二控制命令,停止分析视频。即停止识别视频中的精彩时刻,视频的主题、场景以及转场,还可停止抓取精彩时刻的图像。
本实施例中,视频拍摄停止后,相机应用向相机Hal下发第二控制命令,相机Hal会停止进行视频分析,以降低电子设备功耗。
S115、相机Hal停止识别视频的主题,场景,转场以及精彩时刻。
相机Hal接收到第二控制命令之后,响应于该命令,停止分析视频,即停止识别视频的主题,场景,转场以及精彩时刻。
还需要说明的是,相机Hal还会继续获取视频拍摄的视频,并上报到相机应用,以维持形成预览界面。一些实施例中,相机Hal还可将获取的视频向Media Recorder发送,但Media Recorder会受相机应用控制,不在继续录制视频。另一些实施例中,相机Hal也可不将获取的视频向Media Recorder发送,Media Recorder不会收到视频,因此也不会继续录制视频。
S116、相机Hal在精彩图像中写入分组ID。
相机Hal接收到第二控制命令之后,除停止分析视频,还可响应于第二控制命令,在精彩图像中写入分组ID。一些实施例中,相机Hal在抓取队列中缓存的每一帧图像帧中,均写入分组ID。一些实施例中,相机Hal在图像帧中写入分组ID,可以理解成:相机Hal在图像帧对应的图像数据中写入分组ID。图像帧对应的图像数据通常可分为头部数据部分和图像数据部分,头部数据部分包括图像的属性信息,图像数据部分包括图像的像素数据,相机Hal在图像帧对应的图像数据中写入分组ID可以理解成在头部数据部分写入分组ID。示例性的,分组ID可以写入头部数据部分的扩展字段。
需要说明的是,如前述软件框架的内容。抓取队列中保存的图像帧,通常可为RAW图像。相机Hal中的编码模块可编辑RAW图像,得到JPEG格式或其他格式的图像。在编码模块编辑RAW图像之后,还可在编辑后的图像中写入分组ID。通常情况下,分组ID可写入图像Exif信息,图像Exif信息则指代前述内容提出的图像帧对应的图像数据。
另一些实施例中,相机Hal在图像帧中写入分组ID,也可以理解成:相机Hal在图像帧的名称中写入分组ID,或者以分组ID作为图像帧的名称。
S117、相机Hal通过相机后处理通路向相机应用发送精彩图像。
相机Hal将写有分组ID的精彩图像,通过相机后处理通路向相机应用发送。一些实施例中,相机Hal向相机后处理通路发送写有分组ID的精彩图像,相机后处理通路接收到写有分组ID的精彩图像之后,向相机应用发送写有分组ID的精彩图像。
S118、相机应用保存精彩图像。
相机应用接收到写有分组ID的精彩图像,将其保存。如前述软件框架的内容,相机应用包括保存模块,该保存模块用于保存写有分组ID的精彩图像。
S119、相机Hal将视频的主题和精彩时刻,以及分组ID,映射成视频的标签数据。
如前述步骤S109的内容,相机Hal将识别出的视频的主题以及精彩时刻进行保存。在相机Hal接收到第二控制命令之后,相机Hal可将保存的视频的主题和精彩时刻,以及分组ID,映射成视频的标签数据。一些实施例中,视频的标签数据中还可包括视频长度。另一些实施例中,视频的标签数据中还可包括视频中质量好的图像帧的拍摄时刻。
一些实施例中,算法识别模块将视频的主题和精彩时刻,以及分组ID,映射成视频的标签数据。当然,本步骤的具体实现方式可参考前述步骤S110中提及的内容,此处不做过多说明。
在步骤S110提及的示例中,相机Hal识别的视频1的结束时刻为:08:00:60,且视频的主题为人物,精彩时刻包括:08:00:10和08:00:22。因此,相机Hal通过步骤S119得到的视频的标签数据包括:视频1的主题为人物,精彩时刻至少包括:08:00:10和08:00:22,当然还包括视频1的分组ID,视频长度为60秒。
需要说明的是,步骤S120也可以选择性执行的步骤。在一些实施例中,相机Hal可直接通过下述步骤S121向相机应用上报视频的主题和精彩时刻,以及分组ID,而无需执行步骤S120。
S120、相机Hal通过相机框架发送视频的标签数据。
相机Hal中的算法识别模块通过相机框架向相机应用发送视频的标签数据。一些实施例中,算法识别模块向相机框架发送视频的标签数据,相机框架接收到视频的标签数据之后,向相机应用发送视频的标签数据。相机应用接收到视频的标签数据之后,可缓存视频的标签数据。
如前述软件框架的内容,相机应用包括TAG管理模块,相机Hal通过相机框架向相机应用中的TAG管理模块发送视频的标签数据。TAG管理模块接收到视频的标签数据之后,可缓存视频的标签数据。
下表3展示了TAG管理模块缓存的视频的标签数据,以及前述步骤S110提及的视频片段的标签数据的示例。
表3
一级标签 二级子标签 说明
主题Type 标记视频类型
id 分组ID
duration 视频长度
精彩时刻magicMoment
场景scene 视频总体场景信息
photoCnt 自动抓拍张数
bestShots 精彩时刻时间戳
视频片段slices 片段信息
startTime 起始时刻
endTime 停止时刻
scene 场景类型
transition 转场切换类型
表3展示的示例中,视频的标签数据可包括:一级标签中的主题、id、duration和精彩时刻。当然,该精彩时刻下的二级子菜单会包括与视频的标签数据中。视频片段的标签数据可包括:一级标签中的视频片段slices下的每一个二级子标签。即视频片段包括的startTime、endTime、scene和transition。
还需要说明的是,图10绘示了步骤S116和步骤S117,与步骤S119和步骤S120的一种执行顺序,但步骤S116和步骤S117,与步骤S119和步骤S120的执行顺序并不限制于此。一些实施例中,步骤S116和步骤S117,可与步骤S119和步骤S120并行执行。
前述内容介绍了第一环节提出的以一录多得模式拍摄视频,得到拍摄的视频和视频中的精彩图像的方法,下述以一些实施例介绍第二环节的流程内容。
图11展示了图9展示的电子设备的软件框架中的多个工作模块配合执行第二环节流程的信令图。图9展示的电子设备的软件框架中的多个工作模块,可在执行完图10绘示步骤S120之后,继续执行图11绘示的步骤S121至步骤S137。参见图11,第二环节提出的查阅拍摄的视频、视频中的精彩图像,生成并保存精选视频的方法,包括下述步骤:
S121、相机应用处理视频片段的标签数据和视频的标签数据,得到Json数据。
相机Hal执行步骤S110,可得到视频的每一个转场对应的视频片段的标签数据。并且,相机Hal每识别到一个转场结束,可通过前述实施例的步骤S111,向相机应用发送的视频片段的标签数据。相机Hal还可通过前述实施例的步骤S120,向相机应用发送的视频的标签数据。如此,相机应用可得到视频的标签数据,以及每一个转场对应的视频片段的标签数据。相机应用可处理视频片段的标签数据和视频的标签数据,得到Json数据。一些实施例中,相机应用的TAG管理模块接收并处理视频片段的标签数据和视频的标签数据,得到Json数据。
需要说明的是,视频片段的标签数据中,该视频片段对应的场景的起止时间通常为绝对时间,其属于拍摄该视频片段的真实时刻。基于此,相机应用处理视频片段的标签数据可包括:TAG管理模块可将视频片段对应的场景的起止时间转换成相对时间,即将视频的第一帧图像的起始时刻定义为第零秒,以从第二帧图像开始的每一帧图像的拍摄时长为时间间隔,得到从第二帧图像开始的每一帧图像的相对拍摄时刻。
在步骤S110提及的示例中,摄像头从08:00:00(绝对时间)拍摄视频1,08:00:15(绝对时间)结束第一个场景的拍摄,在08:00:35(绝对时间)结束第二个场景的拍摄,在08:00:60结束视频1的拍摄。本示例中,TAG管理模块处理视频1中视频片段1(即第一个场景对应的视频片段)的场景的起止时间时,将视频1的起始时刻定义为0秒,第一个场景对应的视频片段1的停止时刻则处理为15秒;同理,第二场景对应的视频片段2的起始时刻为15秒,停止时间则为35秒。此时,第一个场景的相对时间形式的起始时刻为第0秒,可表达为00:00:00,相对时间形式的停止时刻为第15秒,可表达为00:00:15;第二个场景的相对时间形式的起始时刻为第15秒,可表达为00:00:15,相对时间形式的停止时刻为第35秒,可表达为00:00:35。
还需要说明的是,相机应用中的TAG管理模块采用前述内容处理完视频片段的标签数据之后,TAG管理模块还可进一步将每一个处理后的视频片段的标签数据,以及标签数据进行格式转换,得到Json格式的数据。当然,TAG管理模块还可将每一个处理后的视频片段的标签数据,以及标签数据进行格式转换成其他格式的数据,本实施例中是以Json格式的数据为例进行说明,但不构成对本步骤中提及的格式转换的限定。
S122、相机应用向Media Recorder发送Json数据。
Media Recorder可在摄像头拍摄的视频中写入数据,因此,相机应用采用前述步骤S121得到Json数据,可将其向Media Recorder发送。
一些实施例中,TAG管理模块向Media Recorder发送Json数据。
S123、Media Recorder将Json数据写入视频的视频头。
Media Recorder接收到Json数据之后,将其写入视频的视频头。本实施例中,视频指代视频文件。通常情况下,视频文件包括视频头和视频内容,视频头设置有自定义扩展信息字段,Json数据可写入视频头中的自定义扩展信息字段。
需要说明的是,如前述实施例中步骤S115的内容,用户输入第二操作停止拍摄视频之后,Media Recorder可受相机应用的控制,不再继续录制视频,或者Media Recorder不再收到相机Hal发送的视频,也不会再继续录制视频。并且,Media Recorder还可在录制视频的视频头写入Json数据。
一些实施例中,用户输入第二操作停止拍摄视频之后,Media Recorder可先通过步骤S122接收Json数据,并通过步骤S123将Json数据写入录制视频的视频头。再之后,Media Recorder再停止录制视频,并将写有Json数据的录制视频进行常规处理,如封装并保存等。
S124、相机应用向Media Provider发送视频的属性信息和存储路径。
摄像头拍摄的视频,会保存电子设备的内部存储器。为了便于管理内部存储器中保存的视频,Media Provider可建立内部存储器存储的视频的相关信息的管理库。基于此,相机应用可将摄像头拍摄的视频的属性信息和存储路径向Media Provider发送。
Media Provider接收到视频的属性信息和存储路径之后,可将其存储于管理库中。视频的属性信息用于指示视频的基本属性,可包括:视频的生成时间、编解码格式、分辨率信息等。一些实施例中,视频的基本属性还可包括指示标签,该指示标签用于指示该视频为电子设备采用一录多得模式拍摄得到。
S126、Media Provider触发Media Library同步Media Provider保存的数据。
Media Library可获取Media Provider的管理库中存储的数据。因此,MediaProvider触发Media Library同步Media Provider保存的数据。
Media Provider可向Media Library发送自身保存的数据。一些实施例中,MediaLibrary可设置统一资源标识符(Uniform Resource Identifier,URI),利用URI监听MediaProvider的数据。若Media Provider存储的数据发生变化,Media Provider发送数据到Media Library。
当然,Media Library也可获取Media Provider保存的数据。一些实施例中,MediaLibrary利用URI监听Media Provider的数据。若Media Provider存储的数据发生变化,Media Library获取Media Provider保存的数据。
S127、Media Library利用视频的存储路径,获取视频,并从视频的视频头中获取视频的分组ID和视频类型。
Media Provider中的管理库保存的数据类型有限,一些数据无法保存于管理库中。因此,不能保存于Media Provider中的数据,会保存于Media Library。一些实施例中,Media Library保存视频的分组ID和视频类型。
Media Library可根据视频的存储路径查询视频,并获取查询到的视频。在该视频的视频头中获取标签数据,解析标签数据,得到视频的分组ID和视频类型。
还需要说明的是,Media Library中存储的数据可提供于图库应用。
S127、Media Library利用分组ID,生成视频和精彩图像的对应关系。
Media Library遍历电子设备保存的精彩图像,解析精彩图像,如解析精彩图像的图像Exif信息,获得精彩图像中写入的分组ID。并且,Media Library遍历电子设备保存的视频,解析该视频的视频头中的自定义扩展信息字段,获得自定义扩展信息字段中的分组ID。Media Library利用分组ID,生成视频和精彩图像的对应关系。其中,Media Library将具有相同分组ID的视频和精彩图像,建立对应关系。
S128、图库应用接收第三操作,第三操作用于展示视频和精彩图像。
用户如图6中(a)所示,点击展示前一次拍摄的图像的控件501以输入第三操作。或者用户在图6中(b)展示的图库的照片展示界面,点击视频502的封面缩略图以输入第三操作。图库应用解析第三操作可确定该操作用于展示视频和精彩图像。
并且,图库应用解析第三操作可还确定第三操作指定要展示的视频。
S129、图库应用获取Media Library保存的视频的分组ID和存储路径。
图库应用响应于第三操作,遍历Media Library保存视频的信息,确定第三操作指定的视频的信息,获取该视频的分组ID和存储路径。
S130、图库应用利用视频的存储路径,获取视频,并利用视频和精彩图像的对应关系获取精彩图像。
其中,视频的存储路径用于指示视频的保存地址。因此,图库应用可利用视频的存储路径,查询并获取视频。图库应用并利用视频和精彩图像的对应关系,获取该视频对应的精彩图像。
S131、图库应用根据分组ID,将视频和精彩图像进行关联显示。
摄像头采用一录多得模块拍摄的视频,以及识别视频中的精彩图像,设置有相同的分组ID。因此,图库应用获取到视频,以及该视频对应的精彩图像时,可依据其设置的分组ID,将视频和精彩图像进行关联显示。
其中,图库应用根据分组ID,将视频和精彩图像进行关联显示的界面可如图6中(c)或(d)所示。
S132、图库应用接收第四操作,第四操作用于生成精选视频。
用户如图7中(a)所示,点击控件601以输入第四操作。图库应用解析第四操作可确定该操作用于生成精选视频。
S133、图库应用向视频编辑应用发送视频的存储路径。
图库应用响应于第四操作,跳转视频编辑应用运行,以展示视频编辑应用的界面。由相机应用跳转到视频编辑应用过程中,相机应用向视频编辑应用发送视频信息的存储路径。
其中,图库应用以视频信息的存储路径作为接口的写入参数,调用视频编辑应用的接口,实现由相机应用跳转到视频编辑,以及将视频信息的存储路径向视频编辑应用发送。
S134、视频编辑应用利用视频的存储路径,获取视频。
视频编辑应用获取视频的存储路径,利用该视频的存储路径获取视频。
S135、视频编辑应用利用视频,得到精选视频。
如前述步骤S123的内容,视频编辑应用获取的视频,其视频头包括Json格式的标签数据。基于此,视频编辑应用可从视频头中获取标签数据。
视频编辑应用解析标签数据,得到视频片段的标签数据,并根据每个视频片段的起止时间对视频进行分割。视频编辑应用从视频中选取可用于成片的高价值片段,以生成候选片段集合,以及将没有选中的片段删除。一些实施例中,视频编辑应用可利用标签数据中的精彩时刻,选择高价值片段。
其中,视频编辑应用对候选片段集合中的视频片段进行相同或者相似片段去重处理,以去除相同或者相似的视频片段。
视频编辑应用还可根据标签数据中的主题标签选定对应的风格,每个主题标签对应于至少一个风格,每个风格会默认匹配一个背景音乐,以及同时每个风格内会对应至少一个滤镜、贴纸、转场、特效等视频编辑信息。视频编辑应用确定背景音乐后,确定视频片段间的转场位置要卡点背景音乐的节奏。以及,视频编辑应用可以根据主题标签或者用户操作和运镜标签选定转场类型等,从转场资源库中选择确定对应的转场类型。
视频编辑应用对视频片段进行片段拼接布局。其中,拼接布局的编排策略例如可以是选择高价值片段按照时间顺序编排拼接成片,每两个视频片段之间增加转场。分镜头约束可以为:成片包括2~5个片段(尽可能至少3个),每个片段的时长为2秒~6秒。以及,背景音乐卡点约束可以为:片段拼接转场位置尽可能匹配背景音乐节奏点。成片时长约束可以为:成片时长在10秒~15秒之间。
视频编辑应用将经过片段拼接布局处理的视频作为中间视频,并为其添加其他美化策略。该其他美化策略包括添加风格包括的滤镜、贴纸、特效等其他美化效果。视频编辑应用确定添加为其他美化策略完成,即可得到精选视频。
需要说明的是,若候选片段集合中的视频片段不足以生成精选视频,视频编辑应用可根据场景标签和主题标签的匹配度,选择匹配度高的场景对应的视频片段,生成精选视频。
还需要说明的是,若标签数据不包括精彩时刻,则视频编辑应用可利用质量好的图像帧的拍摄时刻,选择该拍摄时刻对应的视频片段,生成精选视频。
S136、视频编辑应用接收第五操作,第五操作用于保存精选视频。
用户如图8中(a)所示,点击保存控件604以输入第五操作。图库应用解析第五操作可确定该操作用于保存精选视频。
S137、视频编辑应用响应于第五操作,保存精选视频。
其中,视频编辑应用保存精选视频到内部存储器,通常可与视频的存储位置相同,也为相机应用指定的存储位置。
还需要说明的是,一些实施例中,视频编辑应用保存精选视频之前,视频编辑应用还可在精选视频中写入分组ID,具体可在精选视频的视频头中写入分组ID。该分组ID也可以写入视频头中的自定义扩展信息字段。
本申请另一实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
计算机可读存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请另一实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

Claims (19)

1.一种视频处理方法,其特征在于,应用于电子设备,所述视频处理方法,包括:
响应于第一操作,显示第一界面并开始拍摄第一视频,所述第一界面为相机应用的拍摄界面,所述第一界面中包括第一控件,所述第一控件用于停止所述第一视频的拍摄;
在所述第一视频的拍摄过程中,获取所述第一视频;
识别所述第一视频的主题、转场和精彩时刻,得到所述第一视频的各个转场的标签数据以及所述第一视频的标签数据;所述转场用于将所述第一视频划分为多个视频片段,所述转场用于指示所述第一视频中场景的转换,每个所述转场的标签数据包括:所述转场对应的视频片段的信息;所述第一视频的标签数据包括第一视频的主题标签、精彩时刻和分组ID;
利用所述精彩时刻,从所述第一视频中抓取多张精彩图像;
响应于第二操作,保存所述第一视频的各个转场的标签数据以及第一视频的标签数据,并保存所述精彩图像,所述精彩图像包括所述第一视频的分组ID,所述第二操作为针对所述第一控件的触发操作。
2.根据权利要求1所述的视频处理方法,其特征在于,所述识别所述第一视频的主题、转场和精彩时刻,得到所述第一视频的各个转场的标签数据以及所述第一视频的标签数据,包括:
识别所述第一视频中的一个转场结束时,利用所述转场对应的视频片段的信息,生成所述转场的标签数据;
在所述第一视频拍摄结束时,利用所述第一视频的主题、精彩时刻和分组ID,生成所述第一视频的标签数据。
3.根据权利要求1所述的视频处理方法,其特征在于,所述响应于第二操作,保存所述第一视频的各个转场的标签数据以及第一视频的标签数据,包括:
响应于第二操作,将所述各个转场的标签数据和所述第一视频的标签数据,写入所述第一视频的视频头。
4.根据权利要求3所述的视频处理方法,其特征在于,所述将所述各个转场的标签数据和所述第一视频的标签数据,写入所述第一视频的视频头,包括:
媒体录制器接收相机应用发送的各个转场的标签数据和所述第一视频的标签数据;
所述媒体录制器将所述各个转场的标签数据和所述第一视频的标签数据,写入所述第一视频的视频头。
5.根据权利要求1至4中任意一项所述的视频处理方法,其特征在于,所述识别所述第一视频的主题、转场和精彩时刻,得到所述第一视频的各个转场的标签数据以及所述第一视频的标签数据,包括:
相机Hal识别所述第一视频的主题、转场和精彩时刻,得到所述第一视频的各个转场的标签数据以及所述第一视频的标签数据。
6.根据权利要求5所述的视频处理方法,其特征在于,所述相机Hal识别所述第一视频的主题、转场和精彩时刻,得到所述第一视频的各个转场的标签数据以及所述第一视频的标签数据之前,还包括:
相机Hal接收相机应用发送的第一控制命令,所述第一控制命由所述相机应用响应第一操作得到,所述第一操作包括用户对控制拍摄的控件的触控操作。
7.根据权利要求1所述的视频处理方法,其特征在于,所述利用所述精彩时刻,从所述第一视频中抓取多张精彩图像,包括:
从所述第一视频中抓取所述精彩时刻的图像;
选择所述精彩时刻的图像中,精彩度评分高的多个图像,作为所述精彩图像。
8.根据权利要求1所述的视频处理方法,其特征在于,所述利用所述精彩时刻,从所述第一视频中抓取多张精彩图像,包括:
相机Hal利用所述精彩时刻,从所述第一视频中抓取多张精彩图像。
9.根据权利要求1所述的视频处理方法,其特征在于,还包括:
在所述第一视频拍摄结束时,相机应用向媒体提供者发送所述第一视频的存储路径;
所述媒体提供者保存所述第一视频的存储路径。
10.根据权利要求9所述的视频处理方法,其特征在于,还包括:
媒体信息库获取所述媒体提供者保存的数据,所述数据至少包括所述第一视频的存储路径;
所述媒体信息库利用所述第一视频的存储路径,获取所述第一视频;
所述媒体信息库获取所述第一视频的视频头中保存的第一视频的分组ID。
11.根据权利要求1所述的视频处理方法,其特征在于,还包括:
响应于第三操作,获取所述第一视频,所述第三操作为所述第一视频的浏览操作;
获取所述第一视频中的精彩图像;
显示所述第一视频的浏览界面,所述第一视频的浏览界面包括:所述第一视频以及所述第一视频中的精彩图像的缩略图。
12.根据权利要求11所述的视频处理方法,其特征在于,所述响应于第三操作,获取所述第一视频;获取所述第一视频中的精彩图像;以及显示所述第一视频的浏览界面,包括:
图库应用响应于所述第三操作,获取所述第一视频;
所述图库应用获取所述第一视频中的精彩图像;
所述图库应用显示所述第一视频的浏览界面。
13.根据权利要求12所述的视频处理方法,其特征在于,所述图库应用响应于所述第三操作,获取所述第一视频,包括:
所述图库应用响应于所述第三操作,从媒体信息库中获取所述第一视频的存储路径;
所述图库应用利用所述第一视频的存储路径,获取所述第一视频。
14.根据权利要求11所述的视频处理方法,其特征在于,还包括:
响应于精选视频的生成操作,获取所述第一视频;
利用所述第一视频,生成所述精选视频,所述精选视频包括所述第一视频的精彩时刻的图像。
15.根据权利要求14所述的视频处理方法,其特征在于,所述响应于精选视频的生成操作,获取所述第一视频;以及利用所述第一视频,生成所述精选视频,所述精选视频包括所述第一视频的精彩时刻的图像,包括:
视频编辑应用响应于精选视频的生成操作,获取所述第一视频;
所述视频编辑应用利用所述第一视频,生成所述精选视频,所述精选视频包括所述第一视频的精彩时刻的图像。
16.根据权利要求15所述的视频处理方法,其特征在于,所述视频编辑应用响应于精选视频的生成操作,获取所述第一视频,包括:
所述视频编辑应用响应于精选视频的生成操作,接收图库应用发送的第一视频的存储路径;
所述视频编辑应用利用所述第一视频的存储路径,获取所述第一视频。
17.根据权利要求14至16中任意一项所述的视频处理方法,其特征在于,还包括:
响应于精选视频的保存操作,保存所述精选视频。
18.一种电子设备,其特征在于,包括:
一个或多个处理器、存储器,摄像头和显示屏;
所述存储器、所述摄像头和所述显示屏与所述一个或多个所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行如权利要求1至17任意一项所述的视频处理方法。
19.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序被执行时,具体用于实现如权利要求1至17任意一项所述的视频处理方法。
CN202210255907.7A 2022-03-15 2022-03-15 视频处理方法、电子设备及可读介质 Active CN114827342B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202310429145.2A CN116781822A (zh) 2022-03-15 2022-03-15 视频处理方法、电子设备及可读介质
CN202210255907.7A CN114827342B (zh) 2022-03-15 2022-03-15 视频处理方法、电子设备及可读介质
EP22899596.5A EP4273716A1 (en) 2022-03-15 2022-12-14 Video processing method, electronic device and readable medium
PCT/CN2022/138961 WO2023173850A1 (zh) 2022-03-15 2022-12-14 视频处理方法、电子设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210255907.7A CN114827342B (zh) 2022-03-15 2022-03-15 视频处理方法、电子设备及可读介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310429145.2A Division CN116781822A (zh) 2022-03-15 2022-03-15 视频处理方法、电子设备及可读介质

Publications (2)

Publication Number Publication Date
CN114827342A CN114827342A (zh) 2022-07-29
CN114827342B true CN114827342B (zh) 2023-06-06

Family

ID=82528895

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310429145.2A Pending CN116781822A (zh) 2022-03-15 2022-03-15 视频处理方法、电子设备及可读介质
CN202210255907.7A Active CN114827342B (zh) 2022-03-15 2022-03-15 视频处理方法、电子设备及可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310429145.2A Pending CN116781822A (zh) 2022-03-15 2022-03-15 视频处理方法、电子设备及可读介质

Country Status (3)

Country Link
EP (1) EP4273716A1 (zh)
CN (2) CN116781822A (zh)
WO (1) WO2023173850A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708649A (zh) * 2022-02-28 2023-09-05 荣耀终端有限公司 视频处理方法、电子设备及可读介质
CN116781822A (zh) * 2022-03-15 2023-09-19 荣耀终端有限公司 视频处理方法、电子设备及可读介质
CN117119285A (zh) * 2023-02-27 2023-11-24 荣耀终端有限公司 一种拍摄方法
CN117692791A (zh) * 2023-07-27 2024-03-12 荣耀终端有限公司 一种图像抓拍方法、终端、存储介质及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866404A (zh) * 2019-04-25 2020-10-30 华为技术有限公司 一种视频编辑方法及电子设备
CN112532859A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 视频采集方法和电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464075B1 (ko) * 2001-12-28 2004-12-30 엘지전자 주식회사 비디오 하이라이트 자동 생성 방법 및 장치
JP2007067518A (ja) * 2005-08-29 2007-03-15 Fujitsu Ltd ハイライトシーン抽出方法及び装置
CN111061912A (zh) * 2018-10-16 2020-04-24 华为技术有限公司 一种处理视频文件的方法及电子设备
CN112532865B (zh) * 2019-09-19 2022-07-19 华为技术有限公司 慢动作视频拍摄方法及电子设备
CN112445935B (zh) * 2020-11-25 2023-07-04 开望(杭州)科技有限公司 一种基于内容分析的视频精选合集的自动生成方法
CN113852858A (zh) * 2021-08-19 2021-12-28 阿里巴巴(中国)有限公司 视频处理方法及电子设备
CN113852755A (zh) * 2021-08-24 2021-12-28 荣耀终端有限公司 拍摄方法、设备、计算机可读存储介质及程序产品
CN115866390B (zh) * 2021-09-14 2023-11-07 荣耀终端有限公司 一种拍摄方法、电子设备及存储介质
CN113792694A (zh) * 2021-09-23 2021-12-14 长沙鹏阳信息技术有限公司 基于人工智能的幼稚园儿童精彩时刻视频智能生成方法
CN116781822A (zh) * 2022-03-15 2023-09-19 荣耀终端有限公司 视频处理方法、电子设备及可读介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866404A (zh) * 2019-04-25 2020-10-30 华为技术有限公司 一种视频编辑方法及电子设备
CN112532859A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 视频采集方法和电子设备

Also Published As

Publication number Publication date
WO2023173850A1 (zh) 2023-09-21
CN116781822A (zh) 2023-09-19
EP4273716A1 (en) 2023-11-08
CN114827342A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114827342B (zh) 视频处理方法、电子设备及可读介质
US11922005B2 (en) Screen capture method and related device
CN115002340B (zh) 一种视频处理方法和电子设备
CN114461111B (zh) 启动功能的方法及电子设备
CN109981885B (zh) 一种电子设备在来电时呈现视频的方法和电子设备
CN114201097B (zh) 一种多应用程序之间的交互方法
CN111935516B (zh) 音频文件的播放方法、装置、终端、服务器及存储介质
WO2024055797A9 (zh) 一种录像中抓拍图像的方法及电子设备
CN114979465B (zh) 视频处理方法、电子设备及可读介质
CN112015943A (zh) 一种哼唱识别方法及相关设备
CN113448658A (zh) 截屏处理的方法、图形用户接口及终端
WO2023045597A1 (zh) 大屏业务的跨设备流转操控方法和装置
WO2022237317A1 (zh) 显示方法及电子设备
CN115037872A (zh) 视频处理方法和相关装置
WO2023160142A1 (zh) 视频处理方法、电子设备及可读介质
CN116033261B (zh) 一种视频处理方法、电子设备、存储介质和芯片
US20240223889A1 (en) Video processing method, electronic device, and readable medium
WO2023226695A1 (zh) 录像方法、装置及存储介质
CN113747098B (zh) 一种带有音频标识的照片文件生成方法、照片显示方法和设备
WO2023226699A1 (zh) 录像方法、装置及存储介质
WO2023226725A9 (zh) 录像方法和相关装置
WO2023226694A1 (zh) 录像方法、装置及存储介质
WO2022228010A1 (zh) 一种生成封面的方法及电子设备
CN116708650A (zh) 视频的浏览方法及装置
CN116414280A (zh) 图片显示方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant