CN114173189A - 视频编辑方法和电子设备 - Google Patents

视频编辑方法和电子设备 Download PDF

Info

Publication number
CN114173189A
CN114173189A CN202111276128.7A CN202111276128A CN114173189A CN 114173189 A CN114173189 A CN 114173189A CN 202111276128 A CN202111276128 A CN 202111276128A CN 114173189 A CN114173189 A CN 114173189A
Authority
CN
China
Prior art keywords
video
electronic device
color
memory
color values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111276128.7A
Other languages
English (en)
Other versions
CN114173189B (zh
Inventor
吴孟函
周建东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202111276128.7A priority Critical patent/CN114173189B/zh
Publication of CN114173189A publication Critical patent/CN114173189A/zh
Priority to PCT/CN2022/114891 priority patent/WO2023071482A1/zh
Priority to EP22879666.0A priority patent/EP4224870A4/en
Application granted granted Critical
Publication of CN114173189B publication Critical patent/CN114173189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请实施例提供了一种视频编辑方法和电子设备。在该电子设备的图像处理器不支持通过现有的输出函数输出10bit位深的视频的情况下,实施上述视频编辑方法的电子设备可以依据用户选择的编辑操作对10bit位深的视频进行编辑,并利用现有的输出8bit位深的视频的函数输出10bit位深的视频。这样,在检测到编辑10bit位深的视频(例如HDR10视频、LOG灰片等)的用户操作时,上述电子设备可以为用户提供编辑并保存10bit位深的视频的服务,不会降低被编辑的10bit位深的视频的质量。

Description

视频编辑方法和电子设备
技术领域
本申请涉及终端领域,尤其涉及视频编辑方法和电子设备。
背景技术
随着拍摄技术、图像处理技术的发展,手机、平板电脑等智能终端可以支持拍摄更高质量的图片、视频等图像内容,例如HDR10,DolbyVision,HLG,TechniColorHDR等格式的HDR视频。
HDR视频画面支持更丰富的色彩和更生动自然的细节表现,能给用户带来更好的视觉体验。但是,大多数的智能终端还不支持直接对HDR视频进行图像操作,需要将HDR视频转换为质量较低的SDR视频。这样,进行图像编辑操作之后得到的视频为质量较低的SDR视频。这降低了用户的使用体验。
发明内容
本申请提供了一种视频编辑方法和电子设备。在图像处理器不支持通过现有的输出函数输出10bit位深的视频的情况下,电子设备可以实施上述视频编辑方法实现输出10bit位深的视频的功能,从而为用户提供编辑并保存10bit位深的视频的服务,且不会降低被编辑的10bit位深的视频的质量。
第一方面,本申请实施例提供了一种视频编辑方法,该方法包括:检测到作用于第一视频的第一编辑操作,第一编辑操用于编辑第一视频,第一视频的第一视频帧中的像素点的颜色通道的颜色值为第一颜色值,第一颜色值为整型数据,第一颜色值的位深为第一位深,第一视频帧为第一视频的任意视频帧;响应于第一编辑操作,基于第一颜色值生成第二颜色值,第二颜色值为浮点型数据;基于第二颜色值生成N个第三颜色值,N个第三颜色值为浮点型数据,N个第三颜色值的位深为第二位深,N为大于1的正整数;基于N个第三颜色值生成第四颜色值,第四颜色值的位深为第一位深,第四颜色值为整型数据;基于第四颜色值生成第二视频帧;基于第二视频帧生成第二视频。
实施第一方面提供的方法,在编辑和保存10bit(即第一位深)视频的过程中,电子设备可以将视频帧中一个像素点的一个颜色通道存储的一个浮点型数拆分为两个浮点型数,这两个浮点型数的对应的整型组成的一个整型数与上述一个浮点型颜色对应的整型数相同。这样,基于现有的输出8bit(即第二位深)视频帧的方式输出上述拆分后各个颜色通道的数值后,电子设备按10bit格式确定一个颜色通道的数值就可实现输出10bit视频帧,从而得到编辑后的10bit的视频。于是,电子设备可以为用户提供编辑和保存10bit视频的服务。
结合第一方面提供的实施例,在一些实施例中,基于第二颜色值生成N个第三颜色值,包括:确定第二颜色值对应的第六颜色值,第六颜色值的位深为第一位深,第六颜色值为整型数据;以第二位深为单位,将第六颜色值拆分为N个第二位深的整型数据;根据N个第二位深的整型数据确定N个第三颜色值。
这样,电子设备在将一个浮点型数拆分为两个浮点型数时,可以先确定上述一个浮点型数对应的整型数,然后,将该整型数按高八位、低八位拆分为两个整型数,上述拆分后的上述两个整型数对应的浮点型数即为上述两个浮点型数。
结合第一方面提供的实施例,在一些实施例中,电子设备包括图形处理器GPU、编码器和第一内存,基于N个第三颜色值生成第四颜色值,包括:GPU将N个第三颜色值写入第一内存,得到N个第五颜色值,N个第五颜色值为整型数据;编码器以第一位深从第一内存中读取N个第五颜色值得到第四颜色值。
这样,电子设备中的GPU在将8bit(第二位深)的第三颜色值输出到surface(第一内存)后,surface可以以10bit(第一位深)确定一个颜色值,即将2个第三颜色值确定为一个颜色值,从而使得编码器可以按10bit识别一个颜色通道的颜色值。
结合第一方面提供的实施例,在一些实施例中,在GPU将N个第三颜色值写入第一内存之前,该方法还包括:设置第一内存中承载的视频帧的位深为第一位深。
这样,电子设备可以设置第一内存(即surface)的位深为10bit,这样,GPU在按照8bit输出视频帧时,surface可以将该视频中连续的两个8bit数据识别为一个颜色通道的颜色值,即得到位深为10bit的视频帧。进一步,编码器也可以确定按两个8bit数据确定一个颜色通道的颜色值。
结合第一方面提供的实施例,在一些实施例中,电子设备包括Java原生接口JNI,设置第一内存中承载的视频帧的位深为第一位深,包括:JNI设置第一内存中承载的视频帧的位深为第一位深。
这样,电子设备可以通过JNI接口设置第一内存(即surface)的位深。
结合第一方面提供的实施例,在一些实施例中,GPU将N个第三颜色值写入第一内存,包括:JNI向GPU发送获取N个第三颜色值的请求;JNI接收GPU发送的N个第三颜色值;JNI将N个第三颜色值写入到第一内存。
这样,电子设备可以调用JNI从GPU获取编辑后的视频帧。
结合第一方面提供的实施例,在一些实施例中,电子设备包括开放图形库OpenGL,基于第一颜色值生成第二颜色值,包括:OpenGL对第一颜色值进行归一化,确定第七颜色值,第七颜色值的为浮点型数据;OpenGL确定第二编辑操作的计算逻辑;OpenGL基于计算逻辑对第七颜色值进行处理,得到第二颜色值。
这样,电子设备可以依据用户选定的编辑操作确定对视频帧中的像素点的计算逻辑,然后指示GPU按上述逻辑处理各个像素点,从而得到编辑后的视频帧。
结合第一方面提供的实施例,在一些实施例中,第二编辑操作包括:变更视频帧数量的编辑操作、变更视频帧像素点数量的编辑操作和变更像素点颜色值的编辑操作中的一个或多个。
结合第一方面提供的实施例,在一些实施例中,电子设备包括编辑应用,OpenGL确定第二编辑操作的计算逻辑,包括:OpenGL通过编辑应用获取第二编辑操作;OpenGL基于第二编辑操作确定第二编辑操作对应的计算逻辑。
结合第一方面提供的实施例,在一些实施例中,电子设备包括解码器和编辑应用,检测到作用于第一视频的第一编辑操作,具体为:编辑应用检测到作用于第一视频的第一编辑操作;在检测到作用于第一视频的第一编辑操作之后,该方法还包括:编辑应用向解码器发送第一视频;响应于接收第一视频,解码器将第一视频解码为M个原始视频帧,第一视频帧为M个原始视频帧中的任意一个,M为大于1的正整数。
结合第一方面提供的实施例,在一些实施例中,N等于2。
结合第一方面提供的实施例,在一些实施例中,第一位深为10比特;第二位深为8比特。
结合第一方面提供的实施例,在一些实施例中,以第二位深为单位,将第六颜色值拆分为N个第二位深的整型数据,包括:当第一位深为第二位深的正整数倍时,则N为正整数;当第一位深不能被第二位深整除时,则N为第一位深除第二位深的后向上取整得到的商。
这样,对于不足8bit的情况,电子设备可以高位补0地方式得到一个8bit的数据。
结合第一方面提供的实施例,在一些实施例中,获取N个第三颜色值的请求中携带第二内存的地址,第二内存为JNI申请的用于存储数据的内存,方法还包括:响应于接收获取N个第三颜色值的请求,GPU向第二内存写入N个第三颜色值;JNI接收GPU发送的N个第三颜色值,具体包括:JNI的第二内存接收到GPU发送的N个第三颜色值;JNI将N个第三颜色值写入到第一内存,具体为:JNI将第二内存中存放的N个第三颜色值写入第一内存。
这样,电子设备可以在从GPU获取编辑后的视频帧后,将上述视频帧存储自身申请的图像缓冲区(即第二内存)中,然后在将上述视频帧输入surface(即第一内存)中。
结合第一方面提供的实施例,在一些实施例中,电子设备包括开放图形库OpenGL,JNI向GPU发送获取N个第三颜色值的请求,包括:JNI向OpenGL发送获取N个第三颜色值的第一请求;OpenGL向GPU发送获取N个第三颜色值的第二请求;响应于接收获取N个第三颜色值的请求,GPU向第二内存写入N个第三颜色值,具体为:响应于第二请求,GPU向OpenGL发送N个第三颜色值的请求;OpenGL将N个第三颜色值的请求写入第二内存。
结合第一方面提供的实施例,在一些实施例中,解码器将第一视频解码为M个原始视频帧之后,方法还包括,解码器将M个原始视频帧发送给OpenGL;在OpenGL确定第二编辑操作的计算逻辑之前,该方法还包括:OpenGL将第一视频帧的颜色编码格式设置为RGB颜色格式。
结合第一方面提供的实施例,在一些实施例中,第一视频包括高动态范围HDR视频、LOG视频中的一个。
结合第一方面提供的实施例,在一些实施例中,当第二编辑操作为变更视频帧数量的编辑操作和/或变更视频帧像素点数量的编辑操作时:第二视频为HDR视频,第二视频为HDR视频;或者第二视频为LOG视频,第二视频为LOG视频;当第二编辑操作为变更像素点颜色值的编辑操作时,第二视频为LOG视频,第二视频为HDR视频。
第二方面,本申请提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器;其中,一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第三方面,本申请提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第四方面,本申请提供一种包含指令的计算机程序产品,当上述计算机程序产品在电子设备上运行时,使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
可以理解地,上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的计算机程序产品均用于执行本申请第一方面提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1A-图1K为本申请实施例提供的一组用户界面示意图;
图2为本申请实施例提供的电子设备处理编辑视频业务的流程图;
图3为本申请实施例提供的电子设备的软件架构图;
图4为本申请实施例提供的另一个电子设备的软件架构图;
图5为本申请实施例提供的电子设备进行视频编辑环境初始化的数据流图;
图6A为本申请实施例提供的电子设备执行视频帧颜色编码格式转换的示意图;
图6B-图6C为本申请实施例提供的电子设备使用两个浮点数替换一个浮点数使GPU输出10bit视频帧的示意图;
图6D为本申请实施例提供的电子设备对视频帧进行填充的示意图;
图7为本申请实施例提供的电子设备编辑视频的流程图;
图8为本申请实施例提供的电子设备的硬件结构图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。
随着拍摄技术和图像技术的发展,现在,手机、平板电脑等电子设备(后续简称电子设备100)可支持拍摄动态范围(High Dynamic Range,HDR)的视频。相比于标准动态范围(StanDard Dynamic Range,SDR)的视频,HDR视频画面支持更丰富的色彩和更生动自然的细节表现,能给用户带来更好的视觉体验。
大部分SDR视频中,表示颜色的位深为8bit。位深是指计算机使用“位”(bit)记录数字图像的颜色的方法。位深为8bit可表示计算机使用记数单位bit的数量为8,计算机可通过这8个bit表示28(256,0-255)种颜色。而在HDR视频中,表示颜色的位深为10bit,HDR视频所能使用的颜色包括210(1024,0-1023)种。
色域表示视频编码时,所能显示的色彩范围。HDR视频使用BT2020色域,SDR视频使用BT709色域。HDR相比于SDR视频,HDR视频的所能使用的颜色种类更多,颜色表示范围更广,显示的亮度范围也更高,进一步的,HDR视频能够支持更丰富的图像色彩表现和更生动的图像细节表现。这也就使得HDR视频能够为用户提供观影效果,从而提升用户的使用体验。
在拍摄视频之后,用户通常会需要对拍摄的视频进行编辑操作,以使得编辑后的视频更能满足用户个性化的需求。例如,在拍摄视频之后,响应于用户的裁剪操作,电子设备100可将拍摄的视频剪切为视频长度较短的视频;响应于用户添加特效的操作,电子设备100可为拍摄的视频添加特效的图像内容(包括滤镜、动画特效、文字、贴纸等等),从而使得编辑后的视频具有上述对应的图像效果。
通常情况下,视频的每帧数据为8bit的YUV数据(视频采样的一种颜色格式)。在执行编辑操作时,视频被编辑时数据的颜色格式会被转换为8bit的RGB数据,在执行完编辑操作后,电子设备100可以直接使用图形处理器(Graphics Processing Unit,GPU)提供的C2D引擎,将8bitRGB格式的视频数据转换为8bitYUV格式的视频数据,上述转换后的8bitYUV数据格式用作最终视频编码成片时的数据格式。然后,电子设备100可将编辑后的视频保存到存储设备中。这样,在用户需要浏览或使用上述编辑后的视频时,电子设备100可从上述存储设备中读取上述编辑后的视频。
一般的,SDR类型的视频的颜色位深为8bit,视频数据颜色格式为YUV。在经过上述编辑处理后,电子设备100可以编码输出8bitYUV格式的视频。这样,上述8bitYUV格式的SDR视频,在经过编辑后,仍然为8bitYUV格式的视频。
但是,通常情况下,HDR类型的视频的位深为10bit,视频数据颜色格式为YUV。由于GPU提供的C2D引擎不支持10bitRGB格式转换为10bitYUV,而此时待编辑的视频的格式为10bitYUV,因此,若仍然使用上述编辑方法,上述10bitYUV格式的待编辑视频在转化为10bitRGB后,无法再利用C2D引擎将自身恢复为10bitYUV。这也就是说,在编辑HDR视频的场景下,电子设备100无法利用现有的GPU提供的C2D引擎得到与输入的10bitYUV格式的HDR视频一致的输出视频。若输出的视频的位深由10bit变为8bit,则编辑后输出的视频的质量也会下降。
为了满足用户编辑HDR视频的需求,且保证原HDR视频的质量,本申请实施例提供了一种视频编辑方法和电子设备。该方法可应用于具备图像处理能力的电子设备上,上述电子设备(即电子设备100)例如手机、平板电脑。
实施该方法,电子设备100可支持编辑10bitYUV格式转换为10bitRGB格式,并支持将编辑后的视频保存为10bitYUV格式的视频。上述10bitYUV格式的视频包括HDR10,DolbyVision,HLG,TechniColorHDR等HDR视频,还包括LOG模式拍摄的10bit灰片(LOG灰片)。上述编辑操作包括但不限于裁剪、图像反转、缩放,添加文字,添加滤镜,添加片头(或片尾或其他页面),添加视频水印或贴纸等等。
具体的,在接收到待编辑的10bitYUV格式的视频的操作后,电子设备100可使用开放图形库(Open Graphics Library,OpenGL)提供的能力,可首先将10bitYUV格式的视频数据转化为10bitRGB格式的视频数据,对被编辑的10bitRGB格式的视频数据进行渲染,从而得到编辑后的视频数据。进一步的,通过RGB-YUV转换算法,电子设备100可将编辑后的10bitRGB格式的视频数据转换为10bitYUV格式的视频数据。该YUV数据经过视频编码器进行HDR视频格式的编码,生成HDR视频数据。然后,电子设备100可将编辑后的视频保存到存储设备中。这样,在用户需要浏览或使用上述编辑后的视频时,电子设备100可从上述存储设备中读取上述编辑后的视频,并显示给用户浏览和查看。
实施上述方法,电子设备100既满足了用户编辑10bit视频的需求,又保证了编辑后保存的视频仍然为10bit视频,不会降低被编辑的视频的质量。
不限于手机、平板电脑,电子设备100还可以是桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,上述电子设备的图形处理器不具备直接编辑和保存10bit位深视频的能力。本申请实施例对该电子设备的具体类型不作特殊限制。
图1A-图1K示例性示出了电子设备100上一组用户界面,下面结合图1A-图1K具体介绍实施本申请实施例提供的视频编辑方法的应用场景。
首先,图1A示例性示出了电子设备100上展示已安装应用程序的用户界面,即主页面(homepage)。如图1A所示,主页面中显示有一个或多个应用程序图标,例如“时钟”应用程序图标、“日历”应用程序图标、“天气”应用程序图标等等。
上述一个或多个应用程序图标包括“图库”应用程序(后简称“图库”)图标,即图标111。电子设备100可检测到作用于图标111的用户操作。上述操作例如是点击操作、长按操作等等。响应于上述操作,电子设备100可显示图1B所示的用户界面。
图1B示例性示出了电子设备100上运行“图库”时“图库”的主界面。该界面可展示有一个或多个图片或视频。其中,上述一个或多个视频包括HDR视频、LOG视频,以及其他类型的视频,例如SDR视频。上述LOG视频是指采用LOG灰模式拍摄的低饱和、低亮度的视频,也可称为LOG灰片。
HDR视频、LOG视频的位深为10bit。SDR视频的位深为8bit。
如图1B所示,图标121指示的视频可以为HDR视频;图标122指示的视频可以为LOG视频;图标123指示的视频可以为SDR视频。在电子设备100展示HDR视频或LOG视频时,指示该视频的图标可显示该视频所属的类型。这样,用户可以通过图标中显示的信息,了解该视频的类型。例如,图标121中左下角显示有HDR;图标122中左下角显示有LOG。
电子设备100可检测到作用于图标122的用户操作,响应于该操作,电子设备100可显示图1C所示的用户界面。图1C为电子设备100具体展示某一图片或视频的用户界面。
如图1C所示,该用户界面可包括窗口131。窗口131可用于显示用户选择浏览的图片或视频。例如,在图1B中,用户选择浏览的图片或视频为图标122指示的LOG视频(“视频A”)。于是,窗口131中可显示“视频A”。
该用户界面还包括图标132、控件133。图标132可用于表示窗口131中显示的视频的类型。例如,当前图标132中显示的“LOG”可指示“视频A”为LOG类型的视频。结合图1B,当用户选中的视频为HDR视频(例如选中图标121指示的视频)时,图标132中可显示“HDR”字样;当用户选中的视频为SDR视频(例如选中图标123指示的视频)时,图标132中可显示“SDR”字样等等。
控件133可用于接收用户编辑视频(或图片)的操作,并显示编辑视频(或图片)的用户界面。当检测到作用于控件133的用户操作后,响应于该操作,电子设备100可显示图1D所示的用户界面。
该用户界面还可包括控件134、分享控件(135)、收藏控件(136)、删除控件(137)等等。控件134可用于展示视频的详细信息,例如拍摄时间、拍摄位置、颜色编码格式、码率、帧率、像素大小等等。
分享控件(135)可用于将视频A发送给其他应用使用。例如,当检测到作用于分享控件的用户操作后,响应于该操作,电子设备100可显示一个或多个应用的图标,上述一个或多个应用的图标包括社交软件A(例如QQ、微信等)的图标。当检测到作用于社交软件A的应用图标后,响应于该操作,电子设备100可将视频A发送给社交软件A,进一步的,用户可通过该社交软件将上述视频分享给好友。
收藏控件(136)可用于标记视频。在图1C所示的用户界面中,当检测到作用于收藏控件的用户操作后,响应于该操作,电子设备100可将视频A标记为用户喜爱的视频。电子设备100可生成一个相册,该相册用于展示被标记为用户喜爱的视频。这样,在视频A被标记为用户喜爱的视频的情况下,用户可通过上述展示用户喜爱的视频的相册快速地查看视频A。
删除控件(137)可用于删除视频A。
图1D示例性示出了用户编辑视频(或图片)的用户界面。如图1D所示,该用户界面可包括窗口141、窗口142、操作栏143、操作栏144。
窗口141可用于预览被编辑的视频。一般的,窗口141会显示该视频的封面视频帧。当检测到作用于播放按钮145的用户操作后,窗口141可依次显示该视频的视频帧流,即播放该视频。
窗口142可用于显示被编辑的视频的视频帧流。用户可以拖动窗口142来调整窗口141中显示地视频帧。具体地,图1D中还显示有标尺147。电子设备100可以检测到作用于窗口142左滑或右滑的用户操作,响应于上述用户操作,标尺147所处的视频帧流的位置不同,这时,电子设备100可在窗口141中显示当前标尺147所在位置的视频帧。
操作栏143、操作栏144中可显示多个视频编辑操作的图标。一般的,操作栏143中显示的一个图标指示一个编辑操作大类。操作栏144可根据当前操作栏143中被选中的操作大类显示属于该类的视频编辑操作。例如,操作栏143中包括“剪辑”。粗体显示的“剪辑”可表示用户当前选中的操作为“剪辑”。此时,操作栏144中显示的为一些“剪辑”类的操作,例如“分割”、“截取”、“音量”、“删除”等。
操作栏143还包括“LUT”。“LUT”是指通过颜色表查找算法(lookup table)调整图像色彩的方法。一种颜色调整方式可称为一个滤镜。因此,“LUT”操作可为用户提供一个或多个滤镜,用于调整视频画面的色彩。
该用户界面还包括保存控件146。当检测到作用于保存控件146的用户操作时,响应于该操作,电子设备100可当前状态的视频保存下来。当前状态的视频可以是附加有编辑操作的视频,也可以未进行编辑操作的视频。后续实施例将会详细介绍电子设备100保存视频的处理流程,这里先不展开。
电子设备100可检测到作用于“LUT”的用户操作,响应于该操作,电子设备100可显示图1E所示的用户界面。图1E示例性示出了电子设备100显示提供给用户调整视频画面色彩的LUT滤镜的用户界面。
如图1E所示,此时,编辑视频的画面可包括多个LUT滤镜控件(例如“无”、“LUT1”、“LUT2”、“LUT3”、“LUT4”)。
首先,在显示图1E所示的用户界面时,电子设备100可默认地设定当前使用的LUT滤镜为“无”,即不添加任何LUT滤镜。然后,当检测到用户作用在某一LUT滤镜控件上的操作时,响应于该操作,电子设备100可显示使用上述LUT滤镜控件指示的LUT滤镜编辑视频的用户界面。例如,电子设备100可检测到作用于“LUT4”滤镜控件的用户操作,响应于该操作,电子设备100可显示图1F所示所述的用户界面。
如图1F所示,在检测到用户作用在“LUT4”滤镜控件上的操作后,电子设备100可突出该LUT滤镜控件,例如将该LUT滤镜控件增大,将该控件的边框加粗,或设置该控件高亮等等,本申请实施例对此不做限制。
同时,电子设备100还将在窗口141中显示使用上述LUT滤镜控件指示的LUT滤镜渲染后视频。例如,此时窗口141中显示的“视频A”的视频帧的画面颜色与图1E中窗口141中的画面颜色不同,且此时窗口141中显示的“视频帧的画面颜色与LUT4的画面颜色一致。可以理解的,此时电子设备100并非执行了使用上述LUT滤镜渲染整个视频。一般的,为了节省计算资源,电子设备100往往只渲染当前窗口显示的视频帧,或者,在一些实施例中,电子设备100还可使用其他简单的图像处理手段处理上述封面视频帧,使得处理后的图像在预览时具备上述LUT滤镜的效果。
该用户界面还包括确认控件147、取消控件148。当确定当前选择的LUT滤镜满足自身需求时,用户可点击确认控件147。当检测到上述用户操作时,响应于该操作,电子设备100可显示图1G所示的用户界面。此时,电子设备100可检测到作用于保存控件146的用户操作,响应于上述操作,电子设备100可显示图1H所示的用户界面。
当然,当确定当前选择的LUT滤镜不满足自身需求时,用户可点击其他的LUT滤镜控件,选择其他的LUT滤镜。响应于作用在任一LUT滤镜控件上的用户操作,电子设备100可在窗口141中显示使用上述任一LUT滤镜控件指示的LUT滤镜渲染后视频。当电子设备100提供的LUT滤镜均不满足用户的需求时,或用户暂停编辑LUT滤镜时,用户可点击取消控件148。响应于上述用户操作,电子设备100可显示图1D所示的用户界面。
图1H示例性示出了电子设备100显示保存视频时的分辨率选项的用户界面。该用户界面包括窗口151,即在检测到作用于保存控件146的用户操作,电子设备100可显示窗口151。
窗口151可显示有多个视频分辨率选项。例如,选项1:原尺寸(2160p,约50MB);选项2:全高清(1080p,约21MB);选项3:高清(720p,约15MB);选项4:中画质(480p,约10MB)。
每个选项后现有一个按钮,例如按钮152。用户可点击该按钮选择与该按钮对应的分辨率选项。例如,电子设备100可检测到作用于按钮152的用户操作,响应于该操作,电子设备100可显示图1I所示的用户界面。在图1I所示的用户界面中,按钮152由原来的圆圈变换一个圆环。此时,圆环可表示用户当前选择分辨率选项为选项1。在其他实施例中,当检测到作用于每个选项的文字时,电子设备100也可将该选项对应的按钮更换为圆圈。
然后,电子设备100可检测到作用于确认控件153的用户操作,响应于该操作,电子设备100可显示图1J所示的用户界面。如图1J所示,此时,电子设备100可显示窗口155。窗口155可用于提示用户保存进度。
当保存完成时,电子设备100可显示电子设备100具体展示某一图片或视频的用户界面,此时,该用户界面中显示的视频(或图片)为编辑后的视频(或图片)。
如图1K所示,在保存完成后,原来图1C所示的“视频A”的视频的用户界面,变为图1K中所示的样子。此时,窗口131中显示的“视频A”的视频与原图1C所示的“视频A”的视频不同。例如,参考前述用户界面指示的添加LUT滤镜的编辑操作,此时,图1K中“视频A”的画面颜色与原图1C所示的“视频A”的画面颜色可以不同。
此外,图标132指示的视频的类型也会发生变化。具体的,LOG类型的视频在添加LUT滤镜后,可转换为HDR类型的视频。
图1A-图1K示例性示出了电子设备100显示用户编辑LOG视频(为LOG视频添加LUT滤镜)的用户界面。在其他实施例中,上述被编辑的视频也可以为HDR视频,或SDR视频。
例如,在图1B所示的用户界面中,电子设备100也可检测到作用于图标121的用户操作,响应于该操作,图1C所示的用户界面中窗口131中显示的视频可也为图标121指示的视(“视频B”)。进一步的,电子设备100也可显示编辑“视频B”的视频的用户界面。在完成编辑后,电子设备100可以将编辑后的视频保存为HDR类型的视频。
实施图1A-图1K所述的方法,用户可以编辑已拍摄的10bit的LOG视频和10bit的HDR视频,并在完成编辑后,将上述编辑后的视频保存为10bit的HDR视频。对比一般的将编辑后的10bit视频保存为8bit视频的方法,该方法可以保证被编辑的视频的视频质量不会降低,从而不会降低用户的使用体验。
图2示例性示出了电子设备100处理编辑视频业务的流程图。下面,结合图2和上述图1A-图1K所述的用户界面,后续实施例将详细介绍电子设备100处理编辑视频业务的流程。
如图2所示,电子设备100处理编辑视频业务的流程包括:S201~S204。
S201:电子设备100检测到用户编辑视频的操作,然后显示编辑视频的用户界面。
参考图1B所示的用户界面,在运行图库应用的场景下,电子设备100可显示一个或多个图片或视频。上述视频包括10bit位深的HDR视频、LOG视频,也包括8bit位深的SDR视频。在电子设备100显示该用户界面时,用户可通过该界面浏览电子设备100中保存的图片或视频。
在上述场景下,电子设备100可检测到用户选定某一视频并编辑该视频的操作。此时,电子设备100可确定被编辑的视频的详细信息,包括该视频的类型、位深、编码格式等等。例如,在检测到作用于图标133(LOG视频)的用户操作的情况下,电子设备100可确定被编辑的视频为窗口131中显示的视频,且该视频为LOG类型的视频、该视频的位深为10bit、颜色编码格式为YUV。
在确定被编辑的视频的位深后,电子设备100可确定后续具体采用的视频编辑方法。例如,当确定被编辑的视频为8bit的视频后,电子设备100可确定采用现有的将编辑后的视频保存为8bit视频的编辑方法,例如前述介绍的通过调用C2D引擎实现渲染后视频编码颜色格式转化的方法。当确定被编辑的视频为10bit的视频后,电子设备100可确定采用本申请实施例提供的将编辑后的视频保存为10bit视频的编辑方法。
在确定被编辑的视频的类型的同时,电子设备100还可显示提供用户编辑视频的用户界面,参考图1D-图1G所示的用户界面。
S202:电子设备100记录用户发起的编辑操作。
在显示图1D所示的编辑视频的用户界面时,电子设备100可检测用户作用于该界面的编辑控件的操作。例如,电子设备100可检测到作用于操作栏143中LUT滤镜控件的操作。电子设备100还可检测到其他编辑控件(剪辑、音乐等)的操作等等。
可以理解的,在电子设备100检测到用户操作中,一部分用户操作是有效操作,一部分操作是无效操作。这里,有效操作是指电子设备100在编辑视频的过程中会执行的操作;无效操作是指电子设备100在编辑视频的过程中不会执行的操作。例如,参考图1F,在检测到作用于确认控件147的操作后,电子设备100可确认用户选择LUT4滤镜的操作为有效操作,反之,若电子设备100检测到作用于取消控件148的用户操作,电子设备100可确认前述用户选择LUT4滤镜的操作为无效操作。
在确定用户发起的所有编辑操作中的有效操作后,电子设备100可记录下上述有效操作。被记录有效操作可按用户发起该操作的时间排列。
S203:响应于检测到的保存操作,电子设备100执行对被编辑视频的编辑操作,并保存编辑后的视频。
在显示提供用户编辑视频的用户界面(图1D-图1G)的过程中,电子设备100可检测到用户在编辑完成后保存视频的操作。例如,如图1G所示,电子设备100可检测到作用于保存控件146的用户操作。
此时,电子设备100可进行环境初始化。上述进行环境初始化是指电子设备100创建视频编辑过程需要的工具以及申请视频编辑过程中需要的存储空间的过程。在完成初始化后,电子设备100根据S202中记录的编辑操作,依次执行对被编辑视频的编辑操作,从而得到编辑后的视频。
若被编辑的视频为10bit类型的视频,电子设备100可将编辑后的视频保存为10bit类型的视频;若被编辑的视频为8bit类型的视频,电子设备100可将编辑后的8bit视频保存为8bit视频。其中,将将编辑后的8bit视频保存为8bit视频的方法为现有技术,这里不再赘述。本申请实施例将主要介绍将主要介绍电子设备100将编辑后的10bit视频保存为10bit视频的处理流程,参考后续实施例,这里先不展开。
可选的,在保存视频的过程中,电子设备100可显示进度条。例如,电子设备100可显示图1J所示的窗口155(进度条)。
S204:显示编辑后被保存的视频。
在完成保存编辑后的视频后,电子设备100可显示以保存的编辑后的视频。参考图1J,此时,窗口131中展示的视频为编辑后的视频。而在图1C所示的用户界面中,窗口131中展示的视频为用户编辑前的视频。
S204为可选的。在其他实施例中,在完成保存编辑后的视频后,电子设备100可以显示分享界面等等。本申请实施例对此不作限制。
图3示例性示出了电子设备100的软件架构。下面本申请实施例将结合图3说明电子设备100将编辑后的10bit视频保存为10bit视频的软件架构。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图3所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
在本申请实施例中,应用程序层还包括视频编辑应用。视频编辑应用具备视频数据处理能力,能够为用户提供编辑视频的功能,包括裁剪、渲染、等视频数据处理。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图3所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
在本申请实施例中,应用程序框架层还包括媒体框架。媒体框架中提供有多个编辑视频、音频的工具。其中,上述工具包括MediaCodec。MediaCodec是Android提供的用于对音视频进行编解码的类。它包括编码器、解码器以及surface类型缓存。
MediaCodec提供的编码器可将输入该编码器的一种格式的视频或音频通过压缩技术转换成另一种格式,而解码器执行编码的反向过程,可将输入该解码器的一种格式的视频或音频通过解压缩技术转换成另一种格式。
例如,假设被解码的视频为10bitYUV格式的HDR视频,在接收到应用输入上述HDR视频后,解码器可以对上述HDR视频进行解帧,从而将上述经过封装的HDR视频拆分一帧一帧的10bitYUV格式的图像数据。然后,编码器可重新编码上述被拆分的10bitYUV格式的图像数据,进而将被拆分的10bitYUV格式的图像数据重新封装为一个10bitYUV格式的HDR视频。
MediaCodec还可以申请一块类型为surface的内存(后续简称surface)。Surface可用于缓存视频数据。例如,在电子设备100执行编辑操作,得到被渲染的视频图像帧后,电子设备100可将上述图像帧输入surface缓存。然后,应用程序可从上述surface中获取渲染后的视频图像帧,用于存储或显示等等。
在本申请实施例中,应用程序框架层还包括Java本地接口(Java NativeInterface,JNI)。JNI可以用于设置surface支持承载的视频数据的颜色格式。Surface具有默认的支持承载的视频数据的颜色格式。一般的,Surface支持接收8bit格式的视频数据,即默认接收8bit格式的视频数据。利用JNI,电子设备100可将上述Surface支持接收的视频数据的格式修改为10bit。这样,Surface就可用于缓存10bit格式的视频数据了。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
开放图形库(Open Graphics Library,OpenGL)提供有多个图像渲染函数,可用来绘制从简单的图形到复杂的三维景象。在本申请实施例中,系统库提供的OpenGL可用于支持视频编辑应用执行图像编辑操作,例如前述实施例介绍的视频裁剪操作、添加滤镜的操作等等。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
参考图3所示的软件架构图,进一步的,图3所示的软件架构可具体表示为图4所示的样子。特别的,图4还包括硬件层。图3中的内核层在图4中未体现。
硬件层包括内存(memory)和图形处理器(GPU)。内存可用于暂时存放中央处理器(central processing unit,CPU)中的运算数据,和与硬盘等外部存储器交换的数据。GPU是执行图像和图形相关运算工作的处理器。在本申请实施例中,电子设备100运行视频编辑应用所需的存储空间可通过内存提供,包括前述介绍的surface、数据传送带bufferqueue等等。电子设备100利用OpenGL编辑视频、处理视频帧的过程可通过GPU完成。
下面,本申请实施例将结合图4具体介绍在S203中所示的步骤中电子设备100将编辑后的10bit视频保存为10bit视频的处理流程。
在图1A-图1K所示的编辑并保存10bit视频的场景中,在检测到保存视频的用户操作后,电子设备100执行的操作可包括两部分:一是初始化编辑环境;二是执行编辑操作、输出编辑后视频。
下面首先介绍初始化编辑环境这一过程。
参考S204的介绍,进行编辑环境初始化包括:创建视频编辑过程需要的工具以及申请视频编辑过程中需要地存储空间等。在本申请实施例中,上述工具包括用于视频数据格式编码的编码器和用于视频数据格式解码的解码器,以及用户图像渲染的工具OpenGL。上述存储空间包括内存提供的surface、数据传送带(BufferQueue)等,以及GPU提供的显存。
具体的,图5示例性示出了电子设备100进行环境初始化的数据流图。
1)首先,在检测到保存视频的用户操作之前,APP可检测到编辑视频的操作。如图1C所示,当检测到作用于控件133的用户操作时,电子设备100可确定检测到编辑视频的操作。
此时,2)电子设备100可确定待编辑视频的格式。这里,视频的格式包括位深信息、颜色编码格式等。例如,在图1C中,电子设备100可确定待编辑的视频(视频A)的位深为10bit、颜色编码格式为YUV。
然后,电子设备100可显示编辑视频的用户界面(图1D~图1J)。在显示编辑视频的用户界面的过程中,电子设备100可记录用户选定的编辑操作,包括编辑操作的类型、执行的先后顺序等。例如,电子设备100可记录图1F所示的添加LUT4滤镜的编辑操作等等。当在添加LUT4滤镜后还检测到剪切视频的操作时,电子设备100会记录上述剪切操作,以及添加滤镜在前、剪切操作在后的顺序。
这时,电子设备100并不会在检测到一个编辑操作后,就对待编辑的视频执行上述编辑操作指示的图像处理。只是为了提升计算效率,避免重复计算和无效计算。
3)在完成编辑后,APP可检测到保存视频的操作。如图1G所示,当检测到作用于控件146(和控件153)的用户操作时,电子设备100可确定检测到保存视频的操作。在其他实施例中,上述保存操作还可是预设的周期性地保存操作。本申请实施例对此不作限制。
4)随后,电子设备100可确定编辑后输出的视频的格式。具体的,当待编辑视频的为10bit LOG视频,且编辑操作包括添加LUT滤镜时,电子设备100可确定编辑后输出的视频的为10bit HDR视频;当待编辑视频的为10bit HDR视频,且编辑操作包括编辑音频/裁剪操作但不包括添加滤镜操作时,电子设备100可确定编辑后输出的视频的为10bit HDR视频;当待编辑视频的为10bit HDR视频,且编辑操作包括添加滤镜操作时,电子设备100可确定编辑后输出的视频的为8bit SDR视频。
在图1D~图1J所示的编辑场景中,待编辑的视频为10bit LOG视频,编辑操作包括加LUT滤镜的操作,因此,在检测到保存视频的操作后,电子设备100确定的编辑后输出的视频的应该为10bit HDR视频。在检测到保存操作后,即在确定待编辑视频的格式、编辑操作、编辑后输出的视频的格式后,电子设备100可初始化编辑环境(5~25)。
首先,5)APP可向MediaCodec发送创建编码器的请求。该请求可携带:被创建编码器的支持承载视频帧的位深、颜色编码格式。但是由于10bitYUV格式是一种特殊的位深、颜色编码格式组合,因此,APP无法直接向MediaCode传达10bit、YUV这两个参数,即APP无法直接指示MediaCodec创建用于编码10bitYUV格式的视频帧的编码器。此时,APP向MediaCodec发送创建编码器的请求中包括的指示信息包括:指示MediaCodec创建一个支持编码位深为10bit视频帧的编码器(传达参数10bit)、指示编码器可以根据surface支持承载的视频帧的颜色编码格式设置自身支持的视频帧的颜色编码格式。
响应于上述请求,6)MediaCodec可根据上述请求创建用于编码位深为10bit的视频的编码器,并设定该编码器根据surface支持承载的视频帧的颜色编码格式确定自身支持的视频帧的颜色编码格式。
例如,当待编辑的视频为10bitYUV格式的视频时,APP向MediaCodec发送的创建编码器的请求包括:位深信息(10bit),颜色编码格式的指示信息,用于指示编码器根据surface支持承载的视频帧的颜色编码格式确定自身支持的视频帧的颜色编码格式。响应于上述请求,MediaCodec可创建支持编码位深为10bit视频帧的编码器。同时,MediaCodec先不设置该编码器支持编码的视频帧的颜色编码格式,而是在编码器确定surface支持承载的视频帧的颜色编码格式后,编码器设置该编码器的颜色编码格式。
在创建好编码器之后,7)MediaCodec可向APP返回指示创建完成的信息。上述指示创建完成的确认信息例如确认字符ACK等等。
在接收到上述指示创建成功的确认信息后,8)APP可向上述编码器发送创建surface的请求。响应于上述请求,9)编码器可向内存申请用于承载数据的surface。Surface是具有特定数据结构的对象。一般的,surface专用于承载待编码的图像帧。响应于上述申请,内存可为编码器分配一块内存,即上述surface。通常情况,内存给编码器分配的内存支持承载的视频帧数据的位深为8bit,这里,编码器申请到的surface支持承载的视频帧数据的位深为8bit。
内存可提供多个surface。每一个surface携带有指示该surface的身份标识(ID)。对任一surface而言,该surface的ID与该surface的地址是一一对应的。例如,surface-01的ID为01,该surface的地址为0011-0100。当识别到某一surface的ID为01时,电子设备100可确定上述surface为surface-01,同时也可确定上述surface的地址为0011-0100;反之,当识别到某一surface所使用的地址为0011-0100时,电子设备100可确定该surface为surface-01。
10)在接收到编码器申请surface的请求后,内存可为该编码器划分一块surface类型的内存空间作为编码器申请surface,以供编码器使用。然后,11)内存可向该编码器返回指示申请成功的确认信息和该surface,包括该surface的ID,和/或,该surface的地址。进一步的,12)编码器可向APP返回申请成功和该surface。这样,APP可确定上述编码器申请的surface的ID,和/或,该surface的地址。
在申请surface之后,13)APP可以通知OpenGL进行初始化。该通知中可包括待编辑视频的位深和前述申请的surface的ID。上述待编辑视频的位深在步骤2)时可确定。在接收到上述通知后,14)OpenGL可确定被编辑的视频的位深,并创建相应位深的数据通道。例如10bit格式视频,就创建10bit位深的数据通道,当前数据通道就可以传输10bit(1024)的颜色格式的视频帧。
15)同时,根据通知中携带的surface的ID,OpenGL可向应用(APP)发送查询surface的ID对应的surface的地址请求,该请求中携带有上述surface的ID,16)响应于上述请求,APP可通过surface的ID确定该surface的地址,并向OpenGL传回上述地址。后续OpenGL就可以将编辑后的视频帧存储到该surface的地址对应的内存。
此外,在接收到上述初始化通知后,17)OpenGL还会向GPU申请一个存储块,即一块显存(显存401)。该显存可用于缓存待编辑的视频。上述显存401可以为OpenGL中的纹理(texture)、或帧缓存对象(Frame BufferObject)。申请成功时,18)GPU可向OpenGL返回指示申请成功的信息以及上述显存的地址。进一步的,19)OpenGL可向APP返回确认信息。该确认信息可指示OpenGL已完成初始化。
然后,与创建编码器类似的,20)APP可向MediaCodec发送创建解码器的请求,该解码器的请求用于创建解码器。21)响应于上述请求,MediaCodec可创建解码器。后续解码器可根据输入的待解码视频的格式,确定解码何种类型的视频。
同时,在创建解码器时,22)解码器也会向内存申请一块内存(记为BufferQueue)。该内存可以用于缓存视频数据,并且可以将解码后的视频数据传输给应用。23)响应于上述请求,内存可为解码器划分一段内存空间作为上述BufferQueue,以供解码器使用。申请成功后,24)内存会向解码器返回该BufferQueue的地址。进一步的,25)解码器可向APP返回指示创建解码器成功的确认信息。
在其他实施例中,APP也可先创建解码器,再创建编码器。本申请实施例对此不做限制。
图5所示的步骤1)~25)详细地介绍了在检测到保存视频的操作后,APP进行初始化的过程,包括创建编码器、surface、解码器、数据传送带以及初始化OpenGL的工作环境。在完成步骤1)~25)所示的初始化之后,电子设备100可开始编辑并保存视频。
回到图4所示的软件架构图,在完成初始化过程后,视频编辑应用(APP)可将待编辑视频和描述该待编辑视频的信息发送解码器,该描述该待编辑视频的信息中可以携带有视频的位深和颜色格式等(步骤1,即灰色圆圈标识1:①)。这是因为APP中的视频是封装好的视频,在编辑视频之前,APP需要先将上述视频解封为一帧一帧图像,即视频帧,以便于后续执行对视频帧的渲染,实现用户指定的视频编辑。
在接收到上述待编辑的视频后,首先,解码器可识别上述描述待编辑视频的信息,包括该视频的位深、颜色编码格式等等。根据上述信息,解码器可确定适用于上述类型的待编辑视频的解码方式,进而将上述待编辑视频解码为一帧一帧的图像,即视频帧(步骤2,参考上述步骤1在图4中的标识,后续其他步骤也同样参考步骤1,不再赘述)。
例如,视频编辑应用可向解码器发送位深为10bit、颜色格式为YUV格式的HDR视频(待编辑视频)。描述该待编辑视频的信息中可包括上述位深10bit和颜色格式(YUV格式)等内容。识别该描述待编辑视频的信息,解码器可获得该待编辑视频的信息,进而确定该待编辑视频的类型(10bitYUV)。然后,解码器可解码上述10bitYUV格式的视频。在经过解码器解码后,解码器可输出上述待编辑视频的视频帧(待编辑视频帧)。每一帧视频的格式也均为10bitYUV。
在执行完视频解码后,解码器输出的视频帧序列可被发送到系统库OpenGL(步骤3)。
由于OpenGL只支持对RGB格式的视频帧进行处理(如计算操作),因此,(步骤4)在接收到解码器发送的视频帧序列时,当上述视频帧序列的颜色编码格式为YUV时,OpenGL可将上述接收到的待编辑YUV格式的视频帧转换为RGB格式的视频帧。同时,OpenGL可对10bit位深的视频帧进行归一化,转化为浮点型(float)RGB格式的视频帧。
在处理视频帧的过程中,GPU的显存用于承载被处理的视频帧,而OpenGL主要用于向OpenGL下发计算逻辑,以指导GPU进行图像计算。因此,在得到floatRGB格式的待编辑视频帧之后,OpenGL会将上述待编辑视频帧存入到GPU中。具体的,在图5所示的初始化过程中,参考17),OpenGL在初始化时向GPU预先申请的一块显存(显存401)。这时,OpenGL可将floatRGB格式的待编辑视频帧写入上述预先申请的显存中,即写入显存401(步骤5)。
(步骤6)在成功写入后,OpenGL可向APP返回写成功。(步骤7)然后,APP可将S202中记录的用户的编辑操作发送给OpenGL。以图1F所示的添加LUT4滤镜的编辑操作为例,OpenGL可使用上述LUT滤镜渲染待编辑视频帧。在S202中,在检测到使用LUT4滤镜的用户操作后,APP可记录上述使用LUT4绿滤镜的编辑操作。上述编辑操作不限于添加LUT滤镜,本申请实施例对此不作限制。
OpenGL中预置有不同编辑操作对应的计算逻辑,以使用LUT4滤镜渲染视频的编辑操作为例,上述编辑操作对应的计算逻辑为:将视频帧中每一个像素点灰度值设置为128(上述计算逻辑为示例性例举)。(步骤8)当接收到APP下发的编辑操作后,OpenGL可根据上述编辑操作确定与之对应的计算逻辑,然后,OpenGL可向GPU下发上述计算逻辑,以指示GPU执行与上述编辑操作对应的视频帧计算。
(步骤9)在接收到OpenGL下发的计算逻辑后,GPU可依次执行上述计算逻辑指示的计算操作,然后,GPU可得到处理后的视频帧。例如,在接收到将视频帧中每一个像素点灰度值设置为128的计算逻辑后,GPU可将待处理视频帧的像素点的灰度值设置为128。这时,处理后的视频帧可具备LUT4滤镜的深灰的显示效果。
上述设置视频帧灰度值的处理过程可称为使用LUT4渲染视频帧。在渲染完成后,GPU可得到编辑后视频帧,该编辑后视频帧是具备上述LUT滤镜视觉效果的视频帧。其中,渲染前,待编辑的视频帧的数据格式为floatRGB,这时,渲染后的视频帧的数据格式也为floatRGB。
在本申请实施例中,为了使后续能够输出10bitYUV格式的编辑后视频帧,在得到上述floatRGB格式的编辑后视频帧之后,OpenGL需要转换编辑后视频帧的编码格式和设置数据格式。上述数据格式是指描述一个像素点的一个颜色通道(R、G、B、A)的数据的格式。
在位深为8bit的视频中,描述一个颜色通道所使用的二进制位为8位,即1byte;而在位深为10bit的视频中,描述一个颜色通道所使用的二进制位为16位,即2byte。由于输出编辑后视频仍使用OpenGL中现有的输出8bit视频的读函数(readpixel),而readpixel只支持输出1byte格式的颜色通道,即输出的数据为8位整型,因此,可以通过OpenGL将编辑后描述一个颜色通道的2byte数据拆分为2个1byte数据,从而调用readpixel函数依次输出上述2个1byte数据,进而达到输出2byte数据的效果。
可以理解的,readpixel实际是直接输出每一个像素点都经过上述处理视频帧,而不是调用一次输出一个像素点的一个颜色通道。而本申请实施例是以一个像素点的一个颜色通道为例,说明readpixel输出视频帧的过程。
具体的,图6A~图6C示出了上述调整的过程。首先图6A示例性示出了OpenGL将RGB格式的视频帧转化为YUV格式的视频帧的过程。
首先,如图6A中左方的视频帧(编辑后RGB格式的视频帧)所示,假设该视频帧的尺寸为2160*3180(宽*高)。视频帧的尺寸2160*3180指示了X的数量为2160*3180。其中,一个X可表示一个像素点,一个X由4个颜色通道(R,G,B,A)组成。每一个颜色通道占8位二进制(8bit)存储单元。每个颜色通道中存储的数值为该颜色通道的取值(颜色值)。此时,(R,G,B,A)中存储的数据为float型的数据。
在YUV编码格式下,一个Y可表示一个描述一个像素点的明亮度(Luminance或Luma)也就是灰阶值;一组UV可表示4个像素点的色度(Chrominance或Chroma)。在本申请实施例中,此处所使用的YUV编码格式为具体为YUV420。YUV420先记录Y,后记录UV。
在本申请实施例中,RGB格式转为YUV格式所使用的转换公式为:
Figure BDA0003329344740000161
不限于上述转换公式,在其他实施例中,转置矩阵中的取值可与上述示出的值不同。
由一个X(R,G,B,A)可计算得到一组(Y,U,V)。进一步的,OpenGL可将4组(Y,U,V)中的U,V合并为一组U,V,并用这一组U,V表示上述4组(Y,U,V)中的U,V。
例如,假设有4个像素点,分别为X1(R1,G1,B1),X2(R2,G2,B2),X3(R3,G3,B3),X4(R4,G4,B4)。将X1(R1,G1,B1)输入上述转换公式可得到(Y1,U1,V1);同理,可得到(Y2,U2,V2),(Y3,U3,V3),(Y4,U4,V4)。进一步的,U=(U1+U2+U3+U4)/4;V=(V1+V2+V3+V4)/4。于是,在YUV420格式中,描述上述4个像素点的YUV数值为(Y1,U,V),(Y2,U,V),(Y3,U,V),(Y4,U,V)。
例如,以图6A中的一个像素点X(0.121212,0.121212,0.121212,0.121212)为例,其中,像素点X的R=0.121212,G=0.121212,B=0.121212,A=0.121212。通过上述转换公式可得到上述像素点的Y=0.31313131(UV这里不具体计算)。
如图6A中右边格式为YUV的图像帧,一个P可表示上述4个颜色通道(R,G,B,A)提供的32位存储单元。一个P中可存储两个Y,或一组(U,V)。
当一个P中存储了两个Y时,这个P对应了原来的两个X。当一个P中存储了一组(U,V)时,这个P对应了原来的4个X,。因此,用于存储Y的P的数量为X的数量的一半,即2160*3180/2,用于存储(U,V)的P的数量为X的数量的四分之一,即2160*3180/4。因此,转换后的视频帧的尺寸变为1080*4770。
OpenGL提供了输出像素点的函数readPixel。readPixel在读出数据的时候会将像素点中的每个颜色通道中的float数值*255并保存为整型,而对于10bit位深的视频帧而言,颜色通道存储的float应该*1023后输出。若直接使用OpenGL提供的readPixel输出上述Y,则会使得Y面临精度丢失。例如,如图6B所示,Y=0.31313131*255的输出为80。而实际上,Y的输出应该是Y=0.31313131*1023=320。因此,不能直接使用readPixel读取转换后的YUV格式的视频帧。
这时,在本申请实施例中,OpenGL会将上述Y=0.31313131拆分为两个float。然后使用readPixel按输出8bit读取上述两个浮点数,这样,两次输出的8bit整型数连接起来指示的就是Y=0.31313131*1023=320的结果。图6C示例性示出了上述过程。
具体的,OpenGL可先计算出Y=0.31313131*1023=320(1 0100 0000),这时,将上述二进制数按高八位,和低八位进行划分,可得到“0000 0001”(高八位)和“0100 0000”(低八位)。在划分时,高位不足可补0。然后OpenGL可计算上述高八位、低八位对应的float,并使用计算后的高八位float和低八位float替换原来存储的Y。
高八位“0000 0001”可转换一个float(float1):0.003921(1/255);低八位“01000000”也可转换为一个float(float2):0.250980(64/255)。这时,OpenGL可两次调用readPixel分别输出上述float1、float2。ReadPixel输出float1可得到0000 0001;ReadPixel输出float2可得到0100 0000。上述0000 0001、0100 0000直接组合,即得到0000000101000000,即得到理论上应该输出的Y=0.31313131*1023=320。
这样,OpenGL也就实现了将floatRGB格式的编辑后视频帧恢复为10bitYUV格式的视频帧输出的功能。
在执行RGB转换YUV时,OpenGL还会根据视频宽高返回的给Surface适配的宽高。这里,适配的宽高是指根据视频原始的宽高进行填补之后的宽高。这是因为,芯片平台对10bitYUV格式的视频的宽高有要求。其要求为视频帧的宽的尺寸要支持被128整除;高的尺寸要支持被32整除。
参考图6D,在将RGB格式的视频帧转化为YUV格式后,其尺寸变为1080*4770。这时,上述视频帧的宽1080不能被128整除;4770不能被32整除。这时OpenGL需要重新计算视频帧的尺寸,以满足芯片平台的要求。大于1080且能被128整除的宽为1152;大于4770且能被32整除的高为4800。这时,OpenGL会将上述原尺寸为1080*4770的视频帧的尺寸调整为1152*4800。其中,宽由原来的1080增加到1152;高由原来的4770增加到4800。其中,增加的像素点可被随机填补。图6D中“O”可表示随机填补的数据点。上述1152*4800可称为适配的宽高。然后,OpenGL可将上述适配的宽高返回的给Surface。进而,surface可按照上述视频帧尺寸接收从显存401中取出的编辑后视频帧。
(步骤10)在转换编码格式和设置数据格式后,GPU可向OpenGL返回处理完成,即渲染视频帧完成。同时,GPU还可向OpenGL返回存放上述渲染后视频帧的显存地址。可以理解的,这里GPU返回的显存地址可以是前述接收待编辑视频帧的显存401的地址,也可以是GPU中其他显存空间的地址。这也就是说,GPU存储渲染后的视频帧的显存空间可以是原来存储待处理视频的显存401,也可以是GPU中其他显存空间。
(步骤11)然后,OpenGL可以向APP返回处理完成和存放上述渲染后视频帧的显存地址。
在接收到上述返回信息后,APP可从上述显存地址从获取渲染后的视频帧,并将该视频帧写入到编码器申请的surface中,以供编码器编码渲染后的视频帧,斤而输出编辑后的视频。
具体的,首先,(步骤12)APP可调用JNI。其中,JNI可包括两个参数:显存地址和surface地址。显存地址可指示JNI从GPU的哪一存储空间获取编辑后视频帧;surface地址可指示JNI将获取到的编辑后视频帧存入内存的哪一存储空间。示例性的,APP可以向JNI传递显存地址A1和surface地址A2。上述显存地址A1为显存401的地址,上述surface地址A2为图5中编码器申请的surface的地址。
可选的,JNI还可包括位深参数。JNI可根据上述位深参数设置surface支持承载的视频帧的位深。例如,JNI的位深参数可设置为10bit,这时,JNI可将surface支持承载的视频帧的位深设置为10bit,这样,surface可用于承载10bit位深的视频帧。在其他实施例中,JNI也可不包括上述位深参数。此时,在接收到APP调用JNI时,JNI可以默认地将surface支持承载的视频帧的位深设置为10bit,而无需位深参数的指示。
(步骤13)响应于APP的调用,JNI可首先将surface支持承载的视频帧的位深设置为10bit、颜色编码格式设置为YUV格式。同时,由于编码器可根据surface支持承载的视频帧的颜色编码格式设置自己支持承载的视频帧的颜色编码格式,参考图5中的步骤8)的介绍。因此,在将surface设置为10bitYUV后,编码器可将自身支持编码的视频帧的颜色编码格式设置为YUV。这样,surface可承载10bitYUV格式的视频帧,进一步的,编码器可编码10bitYUV格式的视频帧。这样,编码器可以10bit(即2byte)的读方式识别表征一个颜色通道的颜色值。可以理解的,在将surface的位深设置为10bit后,该surface可以接收GPU输出的8bit的视频帧。
(步骤14)在设置surface支持承载的视频帧的格式(位深、颜色编码格式)后,JNI可向内存发送申请一块内存(记为图形缓冲区)的请求,响应于上述请求,内存可为JNI分配一块内存空间(即图形缓冲区),随后,内存可向JNI返回该图形缓冲区的内存地址。然后,JNI可利用该图形缓冲区接收GPU输出的编辑后视频帧。
(步骤15)然后,JNI可调用OpenGL提供的读函数(readpixel)。Readpixel可以将float型的数据输出为8位整型。例如,GPU中存储的一个像素点的一个颜色通道的颜色值为0.31313131,调用Readpixel函数输出上述颜色通道的颜色值,可以得到8位二进制描述的整型数80,即01010000。
在调用Readpixel时,JNI可将显存地址和图形缓冲区的地址传送给OpenGL,响应于JNI调用Readpixel的请求,OpenGL可执行Readpixel,从显存地址指示的GPU存储空间中读取编辑后的视频帧,(步骤16)进一步的,将上述视频帧写入到图形缓冲区地址指示的图形缓冲区。
在本申请实施例中,考虑到Readpixel无法直接输出10bit整型数,因此,在渲染视频帧完成后,OpenGL还对GPU中存储的渲染后的视频帧的数据格式进行了转换,参考步骤9的介绍,这里不再赘述。在经过了上述处理后,两次调用Readpixel输出的16位二进制数即为渲染后float型数据对应的10bit整型,从而实现了输出10bit位深的视频帧的能力。
(步骤17)JNI可在将上述图形缓冲区中缓存的编辑后视频帧输入到surface地址指示surface。这样,编码器可编码surface中存储的编辑后的视频,从而向APP输出编辑后的视频。在一些实施例中,JNI也可不申请图形缓冲区,而是直接将取出的编辑后视频发送到surface中。
(步骤18)在surface中承载有编辑后的视频帧之后,编码器可对surface中承载的编辑后视频帧(10bitYUV)进行编码,进而将一帧一帧的编辑后视频帧封装为10bitYUV格式的视频,即编辑后视频。(步骤19)然后,编码器可将封装好的10bitYUV格式的视频返回给视频编辑应用。
在接收到编码器传回的编辑后视频后,视频编辑应用可显示或保存上述编辑后视频。这样,电子设备100就完成了编辑并保存10bitHDR视频的过程。在图1A-图1K所述的编辑场景中,待编辑视频可以为LOG视频,进行的编辑操作可以为添加LUT滤镜,这样,编辑后视频可称为HDR视频。
图7示例性示出了上述从视频编辑应用(APP)向解码器发送待编辑视频到编码器传回编辑后视频的流程图。图7中各模块之间的数据交互(步骤1-19)与图4中标记为1-19的步骤相对应,这里不再赘述。
图8示例性示出了电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserialinterface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocalarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long termevolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigationsatellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
在本申请实施例中,电子设备100显示图1A-图1K所示的用户界面可通过GPU,显示屏194完成。特别的,响应于用户编辑视频的操作,电子设备100利用OpenGL编辑视频,并将编辑后视频保存为10bit视频的过程也依赖于GPU,显示屏194。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
在本申请实施例中,被编辑的10bit位深的视频可以是电子设备100通过无线通信功能从其他电子设备上获取的,也可以是电子设备100通过ISP,摄像头193,视频编解码器、GPU,显示屏194拍摄得到的。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。
随机存取存储器可以包括静态随机存储器(static random-access memory,SRAM)、动态随机存储器(dynamic random access memory,DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM,例如第五代DDR SDRAM一般称为DDR5 SDRAM)等。非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等,按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单元(multi-level cell,MLC)、三阶储存单元(triple-level cell,TLC)、四阶储存单元(quad-level cell,QLC)等,按照存储规范划分可以包括通用闪存存储(英文:universalflash storage,UFS)、嵌入式多媒体存储卡(embedded multi media Card,eMMC)等。
随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。
非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
在本申请实施例中,内部存储器121可支持电子设备100向内存申请surface、传送带bufferqueue。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。在本申请实施例中,电子设备100拍摄10bit视频时可通过麦克风170C采集声音。在播放视频的过程中,扬声器170A或耳机接口170D连接的扬声器可支持播放视频中的音频。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
在本申请实施例中,电子设备100检测是否有作用于电子设备100显示屏194的用户操作可通过触摸传感器180K完成。在触摸传感器180K检测到上述用户操作后,电子设备100可执行上述用户操作指示的操作,进而编辑并保存10bit视频。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
实施本申请实施例提供的视频编辑方法,电子设备100可以为用户提供编辑10bit位深视频(HDR10、HLG、LOG灰片)的能力,并将编辑后的视频保存为10bit位深的视频。这样,电子设备100既满足了用户编辑10bit视频的需求,又保证了编辑后保存的视频仍然为10bit视频,不会降低被编辑的视频的质量。
在本申请实施例中:
图1C中示出的用户选择编辑的视频可称为第一视频;图1K中示出的编辑后保存的视频可称为第二视频。第一视频中任意一帧可称为第一视频帧,该第一视频帧经过图4中步骤4-17处理后得到的视频帧可称为第二视频帧。
图1G中示出的用户点击保存控件的操作可称为第一编辑操作;图1D-图1F中示出的用户选择LUT滤镜(和/或剪辑,和/或添加音乐)等操作可称为第二编辑操作。
如图4所示,步骤1-3中,用户选择编辑的视频中任意像素点的任意颜色通道的颜色值可称为第一颜色值(10bit整型)。步骤4中,OpenGL在接收到编码器发送的待编辑视频帧后,将该视频帧归一化后,得到的一个颜色通道的颜色值可称为第七颜色值。步骤9中,上述第七颜色值经过用户选择的编辑操作处理后得到的颜色值可称为第二颜色值,例如图6B所示的Y=0.313131。将上述第二颜色值按对应的10bit整型进行高八位低八位拆分得到的2个浮点型数可称为2个(N=2)第三颜色值,例如图6C中Y1=0.003921,Y2=0.250980。其中,第二颜色值对应的整型数表示的第二颜色值可称为第六颜色值,例如Y=0.313131对应的0000000101000000。将上述101000000拆分得到00000001和01000000可称为以第二位深为单位,将所述第六颜色值拆分为N个所述第二位深的整型数据。这2个第二位深的整型数据对应的浮点型数据即为上述2个第三颜色值。步骤15中,OpenGL执行readpixel()输出GPU中存储的2个浮点型数时,得到的这2个浮点型数对应的整型数可称为2个(N=2)第五颜色值。步骤17中,surface以10bit承载上述2个第五颜色值时,上述2个第五颜色值组合形成的整型数据可称为第四颜色值,即将上述00000001和01000000又重新组合形成0000000101000000。
Surface可称为第一内存,图形缓冲区可称为第二内存。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界面源代码在终端设备上经过解析,渲染,最终呈现为用户可以识别的内容,比如图片、文字、按钮等控件。控件(control)也称为部件(widget),是用户界面的基本元素,典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的,比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性,节点经过解析和渲染之后呈现为用户可视的内容。此外,很多应用程序,比如混合应用(hybrid application)的界面中通常还包含有网页。网页,也称为页面,可以理解为内嵌在应用程序界面中的一个特殊的控件,网页是通过特定计算机语言编写的源代码,例如超文本标记语言(hyper text markup language,GTML),层叠样式表(cascading style sheets,CSS),java脚本(JavaScript,JS)等,网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的,比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (21)

1.一种视频编辑方法,应用于电子设备,其特征在于,所述方法包括:
检测到作用于第一视频的第一编辑操作,所述第一编辑操用于编辑所述第一视频,所述第一视频的第一视频帧中的像素点的颜色通道的颜色值为第一颜色值,所述第一颜色值为整型数据,所述第一颜色值的位深为第一位深,所述第一视频帧为所述第一视频的任意视频帧;
响应于所述第一编辑操作,基于所述第一颜色值生成第二颜色值,所述第二颜色值为浮点型数据;
基于所述第二颜色值生成N个第三颜色值,所述N个第三颜色值为浮点型数据,所述N个第三颜色值的位深为第二位深,所述N为大于1的正整数;
基于所述N个第三颜色值生成第四颜色值,所述第四颜色值的位深为所述第一位深,所述第四颜色值为整型数据;
基于所述第四颜色值生成第二视频帧;
基于所述第二视频帧生成第二视频。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第二颜色值生成N个第三颜色值,包括:
确定所述第二颜色值对应的第六颜色值,所述第六颜色值的位深为第一位深,所述第六颜色值为整型数据;
以第二位深为单位,将所述第六颜色值拆分为N个所述第二位深的整型数据;
根据所述N个所述第二位深的整型数据确定所述N个第三颜色值。
3.根据权利要求1或2所述的方法,其特征在于,所述电子设备包括图形处理器GPU、编码器和第一内存,所述基于所述N个第三颜色值生成第四颜色值,包括:
所述GPU将所述N个第三颜色值写入所述第一内存,得到N个第五颜色值,所述N个第五颜色值为整型数据;
所述编码器以所述第一位深从所述第一内存中读取所述N个第五颜色值得到所述第四颜色值。
4.根据权利要求3所述的方法,其特征在于,在所述GPU将所述N个第三颜色值写入所述第一内存之前,所述方法还包括:
设置所述第一内存中承载的视频帧的位深为第一位深。
5.根据权利要求4所述的方法,其特征在于,所述电子设备包括Java原生接口JNI,所述设置所述第一内存中承载的视频帧的位深为第一位深,包括:
所述JNI设置所述第一内存中承载的视频帧的位深为第一位深。
6.根据权利要求5所述的方法,其特征在于,所述GPU将所述N个第三颜色值写入所述第一内存,包括:
所述JNI向所述GPU发送获取所述N个第三颜色值的请求;
所述JNI接收所述GPU发送的所述N个第三颜色值;
所述JNI将所述N个第三颜色值写入到所述第一内存。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述电子设备包括开放图形库OpenGL,所述基于所述第一颜色值生成第二颜色值,包括:
所述OpenGL对所述第一颜色值进行归一化,确定第七颜色值,所述第七颜色值的为浮点型数据;
所述OpenGL确定第二编辑操作的计算逻辑;
所述OpenGL基于所述计算逻辑对所述第七颜色值进行处理,得到所述第二颜色值。
8.根据权利要求7所述的方法,其特征在于:所述第二编辑操作包括:变更视频帧数量的编辑操作、变更视频帧像素点数量的编辑操作和变更像素点颜色值的编辑操作中的一个或多个。
9.根据权利要求7或8所述的方法,其特征在于,所述电子设备包括编辑应用,所述OpenGL确定第二编辑操作的计算逻辑,包括:
所述OpenGL通过所述编辑应用获取所述第二编辑操作;
所述OpenGL基于所述第二编辑操作确定所述第二编辑操作对应的计算逻辑。
10.根据权利要求1-9中任一项所述的方法,其特征在于,所述电子设备包括解码器和编辑应用,所述检测到作用于第一视频的第一编辑操作,具体为:所述编辑应用检测到作用于第一视频的第一编辑操作;
在检测到作用于第一视频的第一编辑操作之后,所述方法还包括:
所述编辑应用向所述解码器发送所述第一视频;
响应于接收所述第一视频,所述解码器将所述第一视频解码为M个原始视频帧,所述第一视频帧为所述M个原始视频帧中的任意一个,所述M为大于1的正整数。
11.根据权利要求1-10中任一项所述的方法,其特征在于,所述N等于2。
12.根据权利要求1-11中任一项所述的方法,其特征在于,所述第一位深为10比特;所述第二位深为8比特。
13.根据权利要求2所述的方法,其特征在于,所述以第二位深为单位,将所述第六颜色值拆分为所述N个第二位深的整型数据,包括:
当所述第一位深为所述第二位深的正整数倍时,则所述N为所述正整数;
当所述第一位深不能被所述第二位深整除时,则所述N为所述第一位深除所述第二位深的后向上取整得到的商。
14.根据权利要求6所述的方法,其特征在于,所述电子设备还包括第二内存,所述获取所述N个第三颜色值的请求中携带所述第二内存的地址,所述第二内存为所述JNI申请的用于存储数据的内存,所述方法还包括:
响应于接收所述获取所述N个第三颜色值的请求,所述GPU向所述第二内存写入所述N个第三颜色值;
所述JNI接收所述GPU发送的所述N个第三颜色值,具体包括:所述JNI的所述第二内存接收到所述GPU发送的所述N个第三颜色值;
所述JNI将所述N个第三颜色值写入到所述第一内存,具体为:所述JNI将所述第二内存中存放的所述N个第三颜色值写入所述第一内存。
15.根据权利要求14所述的方法,其特征在于,所述电子设备包括开放图形库OpenGL,
所述JNI向所述GPU发送获取所述N个第三颜色值的请求,包括:所述JNI向所述OpenGL发送获取所述N个第三颜色值的第一请求;所述OpenGL向所述GPU发送获取所述N个第三颜色值的第二请求;
所述响应于接收所述获取所述N个第三颜色值的请求,所述GPU向所述第二内存写入所述N个第三颜色值,具体为:响应于所述第二请求,所述GPU向所述OpenGL发送所述N个第三颜色值;所述OpenGL将所述N个第三颜色值写入所述第二内存。
16.根据权利要求7-9中任一项所述的方法,其特征在于,所述解码器将所述第一视频解码为M个原始视频帧之后,所述方法还包括,所述解码器将所述M个原始视频帧发送给所述OpenGL;
在所述OpenGL确定第二编辑操作的计算逻辑之前,所述方法还包括:
所述OpenGL将所述第一视频帧的颜色编码格式设置为RGB颜色格式。
17.根据权利要求7-16中任一项所述的方法,其特征在于,所述第一视频包括高动态范围HDR视频、LOG视频中的一个。
18.根据权利要求17所述的方法,其特征在于:
当所述第二编辑操作为所述变更视频帧数量的编辑操作和/或变更视频帧像素点数量的编辑操作时:所述第二视频为HDR视频,所述第二视频为HDR视频;或者所述第二视频为LOG视频,所述第二视频为LOG视频;
当所述第二编辑操作为变更像素点颜色值的编辑操作时,所述第二视频为LOG视频,所述第二视频为HDR视频。
19.一种电子设备,其特征在于,包括一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得执行如权利要求1-18任一项所述的方法。
20.一种包含指令的计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如权利要求1-18任一项所述的方法。
21.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得执行如权利要求1-18任一项所述的方法。
CN202111276128.7A 2021-10-29 2021-10-29 视频编辑方法、电子设备和存储介质 Active CN114173189B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111276128.7A CN114173189B (zh) 2021-10-29 2021-10-29 视频编辑方法、电子设备和存储介质
PCT/CN2022/114891 WO2023071482A1 (zh) 2021-10-29 2022-08-25 视频编辑方法和电子设备
EP22879666.0A EP4224870A4 (en) 2021-10-29 2022-08-25 VIDEO EDITING METHOD AND ELECTRONIC DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111276128.7A CN114173189B (zh) 2021-10-29 2021-10-29 视频编辑方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114173189A true CN114173189A (zh) 2022-03-11
CN114173189B CN114173189B (zh) 2023-02-07

Family

ID=80477828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111276128.7A Active CN114173189B (zh) 2021-10-29 2021-10-29 视频编辑方法、电子设备和存储介质

Country Status (3)

Country Link
EP (1) EP4224870A4 (zh)
CN (1) CN114173189B (zh)
WO (1) WO2023071482A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071482A1 (zh) * 2021-10-29 2023-05-04 荣耀终端有限公司 视频编辑方法和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160261885A1 (en) * 2014-03-04 2016-09-08 Microsoft Technology Licensing, Llc Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths
CN106791858A (zh) * 2017-01-09 2017-05-31 国家新闻出版广电总局电影数字节目管理中心 一种高采样率rgb视频数据无损压缩方法
CN108337516A (zh) * 2018-01-31 2018-07-27 宁波大学 一种面向多用户的hdr视频动态范围可分级编码方法
CN108769677A (zh) * 2018-05-31 2018-11-06 宁波大学 一种基于感知的高动态范围视频动态范围可分级编码方法
CN109600618A (zh) * 2018-12-19 2019-04-09 上海数迹智能科技有限公司 视频压缩方法、解压缩方法、装置、终端和介质
CN110933416A (zh) * 2019-11-12 2020-03-27 宁波大学 高动态范围视频自适应预处理方法
CN112087637A (zh) * 2020-09-09 2020-12-15 中国电子科技集团公司第五十八研究所 一种高像素位深视频图像数据编解码处理方法
CN112235571A (zh) * 2020-08-31 2021-01-15 咪咕文化科技有限公司 视频位深扩展方法、装置、电子设备及存储介质
CN113489930A (zh) * 2021-06-10 2021-10-08 中央广播电视总台 一种视频信号处理方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10277771B1 (en) * 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
CN111083516B (zh) * 2019-12-31 2021-12-28 广州酷狗计算机科技有限公司 直播处理的方法和装置
CN114173189B (zh) * 2021-10-29 2023-02-07 荣耀终端有限公司 视频编辑方法、电子设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160261885A1 (en) * 2014-03-04 2016-09-08 Microsoft Technology Licensing, Llc Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths
CN106791858A (zh) * 2017-01-09 2017-05-31 国家新闻出版广电总局电影数字节目管理中心 一种高采样率rgb视频数据无损压缩方法
CN108337516A (zh) * 2018-01-31 2018-07-27 宁波大学 一种面向多用户的hdr视频动态范围可分级编码方法
CN108769677A (zh) * 2018-05-31 2018-11-06 宁波大学 一种基于感知的高动态范围视频动态范围可分级编码方法
CN109600618A (zh) * 2018-12-19 2019-04-09 上海数迹智能科技有限公司 视频压缩方法、解压缩方法、装置、终端和介质
CN110933416A (zh) * 2019-11-12 2020-03-27 宁波大学 高动态范围视频自适应预处理方法
CN112235571A (zh) * 2020-08-31 2021-01-15 咪咕文化科技有限公司 视频位深扩展方法、装置、电子设备及存储介质
CN112087637A (zh) * 2020-09-09 2020-12-15 中国电子科技集团公司第五十八研究所 一种高像素位深视频图像数据编解码处理方法
CN113489930A (zh) * 2021-06-10 2021-10-08 中央广播电视总台 一种视频信号处理方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071482A1 (zh) * 2021-10-29 2023-05-04 荣耀终端有限公司 视频编辑方法和电子设备

Also Published As

Publication number Publication date
EP4224870A4 (en) 2024-05-22
CN114173189B (zh) 2023-02-07
WO2023071482A1 (zh) 2023-05-04
EP4224870A1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
WO2020253719A1 (zh) 一种录屏方法及电子设备
CN109559270B (zh) 一种图像处理方法及电子设备
CN113726950B (zh) 一种图像处理方法和电子设备
CN112348732A (zh) 基于图形渲染管线的模型推理方法、装置及存储介质
CN113838490B (zh) 视频合成方法、装置、电子设备及存储介质
CN111831281A (zh) 电子设备的显示方法、图形用户界面及电子设备
WO2021213351A1 (zh) 图片加载方法及相关装置
CN116048933A (zh) 一种流畅度检测方法
CN114173189B (zh) 视频编辑方法、电子设备和存储介质
CN115145436A (zh) 一种图标处理方法及电子设备
WO2023016014A1 (zh) 视频编辑方法和电子设备
CN114708289A (zh) 一种图像帧预测的方法及电子设备
WO2023000746A1 (zh) 增强现实视频的处理方法与电子设备
CN116939559A (zh) 蓝牙音频编码数据分发方法、电子设备及存储介质
CN116828100A (zh) 蓝牙音频播放方法、电子设备及存储介质
CN115686403A (zh) 显示参数的调整方法、电子设备、芯片及可读存储介质
CN114527903A (zh) 一种按键映射方法、电子设备及系统
CN116193275B (zh) 视频处理方法及相关设备
CN117692714A (zh) 视频显示方法和电子设备
CN115482143B (zh) 应用的图像数据调用方法、系统、电子设备及存储介质
CN117692723A (zh) 视频编辑方法和电子设备
CN115802144B (zh) 视频拍摄方法及相关设备
WO2024046010A1 (zh) 一种界面显示方法、设备及系统
CN114385282A (zh) 主题色变换方法、电子设备以及计算机可读存储介质
CN116939090A (zh) 切换蓝牙设备播放音频数据的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40071387

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant