CN116095412B - 视频处理方法及电子设备 - Google Patents
视频处理方法及电子设备 Download PDFInfo
- Publication number
- CN116095412B CN116095412B CN202210897315.5A CN202210897315A CN116095412B CN 116095412 B CN116095412 B CN 116095412B CN 202210897315 A CN202210897315 A CN 202210897315A CN 116095412 B CN116095412 B CN 116095412B
- Authority
- CN
- China
- Prior art keywords
- editing control
- material editing
- control
- moving
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 239000000463 material Substances 0.000 claims abstract description 446
- 238000000034 method Methods 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 74
- 230000008569 process Effects 0.000 claims abstract description 66
- 238000009877 rendering Methods 0.000 claims abstract description 60
- 230000000875 corresponding effect Effects 0.000 claims description 123
- 238000006073 displacement reaction Methods 0.000 claims description 63
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000002596 correlated effect Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 26
- 238000004891 communication Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 22
- 238000007726 management method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 230000004044 response Effects 0.000 description 16
- 238000012217 deletion Methods 0.000 description 12
- 230000037430 deletion Effects 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种视频处理方法及电子设备,应用于电子技术领域。该方法在接收到对素材编辑界面的视频预览框内的素材编辑控件的移动操作时,素材编辑控件计算移动过程中的位置参数,并通过界面控制模块和播放控制模块向渲染处理模块,发送包括位置参数和素材编辑控件内输入的素材内容的移动指令,使得渲染处理模块根据位置参数、素材内容和视频画面进行渲染处理,得到视频预览框对应的预览视图。这样,本申请实施例可以通过拖拽、缩放或者旋转等移动操作,移动素材编辑控件在视频预览框内的位置,并据素材编辑控件的位置参数,实时地在视频预览框内显示素材编辑控件内输入的素材内容,从而丰富了视频中添加的素材内容的显示效果。
Description
本申请要求在2022年05月30日提交中国专利局、申请号为202210601434.1、申请名称为“视频处理方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及电子技术领域,尤其涉及一种视频处理方法及电子设备。
背景技术
随着电子技术的不断发展,智能手机、平板电脑等电子设备在人们的生活和工作中得到了广泛的应用。在用户使用电子设备的过程中,可采用电子设备拍摄视频,并且,可以在拍摄得到的视频中添加多种素材效果,如在视频中添加文字等。
发明内容
本申请实施例提供一种视频处理方法及电子设备,在移动素材编辑控件的过程中,实时地在视频预览框内显示移动后的素材编辑控件内输入的素材内容,丰富了视频中添加的素材内容的显示效果。
第一方面,本申请实施例提出一种视频处理方法,应用于电子设备,该电子设备包括素材编辑控件、界面控制模块、播放控制模块和渲染处理模块,该方法包括:在电子设备的显示屏上显示素材编辑界面,素材编辑界面包括视频预览框,视频预览框内显示有视频画面,素材编辑控件位于视频预览框内;在接收到对素材编辑控件的移动操作时,素材编辑控件计算移动过程中的位置参数,移动操作包括旋转操作、缩放操作以及拖拽操作中的至少一者;素材编辑控件通过界面控制模块和播放控制模块,向渲染处理模块发送移动指令,移动指令包括位置参数和素材编辑控件内输入的素材内容;渲染处理模块根据位置参数、素材内容和视频画面进行渲染处理,得到视频预览框对应的预览视图。
这样,本申请可以在视频上添加文字、贴纸、图片等素材内容,并且,还可以通过拖拽、缩放或者旋转等移动操作,移动素材编辑控件在素材编辑界面的视频预览框内的位置,使得在移动素材编辑控件的过程中,可以根据素材编辑控件的位置参数,实时地在视频预览框内显示素材编辑控件内输入的素材内容,从而丰富了视频中添加的素材内容的显示效果。
在一种可能的实现方式中,素材编辑控件计算移动过程中的位置参数,包括:素材编辑控件根据移动操作对应的移动轨迹,以及移动操作对应的初始触控位置与素材编辑控件所处的位置之间的位置关系,确定移动操作对应的移动类型,移动操作对应的移动类型包括旋转、缩放以及拖拽中的任一者;素材编辑控件根据移动类型和移动轨迹对应的位移参数,确定移动过程中的位置参数。其中,当移动操作为旋转操作时,位置参数包括旋转角度;当移动操作为缩放操作时,位置参数包括沿第一方向和/或第二方向上的缩放比例;当移动操作为拖拽操作时,位置参数包括沿第一方向和/或第二方向上的目标坐标位置。这样,可根据不同类型的移动参数,以准确确定移动过程中的位置参数。
在一种可能的实现方式中,素材编辑控件根据移动操作对应的移动轨迹,以及移动操作对应的初始触控位置与素材编辑控件所处的位置之间的位置关系,确定移动操作对应的移动类型,包括:素材编辑控件采用第一坐标转换公式,将素材编辑控件在视频预览框内的第一坐标位置,转换为在显示屏的屏幕显示区域内的第二坐标位置;素材编辑控件根据移动操作对应的移动轨迹,以及移动操作对应的初始触控位置与素材编辑控件的第二坐标位置之间的位置关系,确定移动操作对应的移动类型。由于初始触控位置是以屏幕显示区域作为参考坐标的,而素材编辑控件在渲染时是以视频预览框作为参考坐标的,因此,可将素材编辑控件在视频预览框内的第一坐标位置,转换为在显示屏的屏幕显示区域内的第二坐标位置,以准确判断初始触控位置与素材编辑控件所处的位置之间的位置关系。
在一种可能的实现方式中,移动操作为拖拽操作,素材编辑控件根据移动类型和移动轨迹对应的位移参数,确定移动过程中的位置参数,包括:素材编辑控件根据拖拽操作时的移动轨迹对应的位移参数,确定拖拽过程中素材编辑控件的平移位移;位移参数与平移位移呈正相关;素材编辑控件根据拖拽操作前的素材编辑控件的初始坐标位置和平移位移,确定拖拽操作后的素材编辑控件的目标坐标位置。
在一种可能的实现方式中,素材编辑控件根据拖拽操作前的素材编辑控件的初始坐标位置和平移位移,确定拖拽操作后的素材编辑控件的目标坐标位置,包括:素材编辑控件根据拖拽操作前其在显示屏的屏幕显示区域内的初始坐标位置和平移位移,确定拖拽操作后素材编辑控件在屏幕显示区域内的第三坐标位置;素材编辑控件采用第二坐标转换公式,将素材编辑控件在屏幕显示区域内的第三坐标位置,转换为在视频预览框内的目标坐标位置。由于素材编辑控件在渲染时是以视频预览框作为参考坐标的,因此,可将拖拽操作后素材编辑控件在屏幕显示区域内的第三坐标位置,转换为在视频预览框内的目标坐标位置,使得后续可以准确依据目标坐标位置进行渲染处理。
在一种可能的实现方式中,移动操作为旋转操作,素材编辑控件根据移动类型和移动轨迹对应的位移参数,确定移动过程中的位置参数,包括:素材编辑控件根据旋转操作时的移动轨迹对应的位移参数,确定旋转过程中素材编辑控件的旋转角度;位移参数与旋转角度呈正相关。
在一种可能的实现方式中,移动操作为缩放操作,素材编辑控件根据移动类型和移动轨迹对应的位移参数,确定移动过程中的位置参数,包括:素材编辑控件根据缩放操作时的移动轨迹对应的位移参数,确定缩放过程中素材编辑控件的缩放比例;位移参数与缩放比例呈正相关。
在一种可能的实现方式中,素材编辑控件通过界面控制模块和播放控制模块,向渲染处理模块发送移动指令,包括:素材编辑控件检测移动操作的移动距离是否满足预设条件;当移动距离满足预设条件时,素材编辑控件通过界面控制模块和播放控制模块,向渲染处理模块发送移动指令。这样,在移动距离不满足预设条件时,可忽略本次触控操作,从而防止用户误触控而依旧移动素材编辑控件内的素材内容的显示位置。
在一种可能的实现方式中,移动指令还包括素材类型;素材编辑控件通过界面控制模块和播放控制模块,向渲染处理模块发送移动指令,包括:素材编辑控件通过界面控制模块向播放控制模块发送移动指令;播放控制模块根据移动指令中的素材类型,唤醒对应的数据监听对象;播放控制模块通过数据监听对象向渲染处理模块发送移动指令。这样,可根据移动指令中的素材类型唤醒对应的vistior,而其余的vistior不唤醒,以降低因唤醒所有vistior带来的耗时增加,从而在移动素材编辑控件时,使得素材编辑控件内输入的素材内容实时地改变显示位置时会更加流畅,提高用户的体验效果。
在一种可能的实现方式中,该方法还包括:当素材编辑控件的中心点被拖拽至预设位置时,在屏幕显示区域内显示引导线;引导线用于指示素材编辑控件的中心点所处的位置。这样,通过引导线的提示效果来指导素材编辑控件内输入的素材内容拖拽过程中的显示位置,可以更方便地将素材编辑控件内输入的素材内容拖拽到符合要求的显示位置处。
在一种可能的实现方式中,该方法还包括:当素材编辑控件的旋转角度等于预设角度时,在视频预览框内显示旋转角度。这样,通过旋转角度的提示效果来指导素材编辑控件内输入的素材内容的旋转角度,可以更方便地将素材编辑控件内输入的素材内容旋转到符合要求的旋转角度。
在一种可能的实现方式中,该方法还包括:在接收到对素材编辑控件的删除操作时,界面控制模块向播放控制模块发送删除指令;播放控制模块根据删除指令,停止向渲染处理模块发送素材编辑控件内输入的素材内容;播放控制模块根据删除指令,通过界面控制模块向素材编辑控件返回控件删除指令;控件删除指令用于删除视频预览框内的素材编辑控件。
在一种可能的实现方式中,该方法还包括:在接收到对素材编辑控件的添加操作时,界面控制模块向播放控制模块发送添加指令;播放控制模块根据添加指令,向渲染处理模块发送素材编辑控件内输入的素材内容;播放控制模块根据添加指令,通过界面控制模块向素材编辑控件返回控件添加指令;控件添加指令用于在视频预览框内添加素材编辑控件。
第二方面,本申请实施例提出一种电子设备,包括存储器和处理器,存储器用于存储计算机程序,处理器用于调用计算机程序,以执行上述的视频处理方法。
第三方面,本申请实施例提出一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序或指令,当计算机程序或指令被运行时,实现上述的视频处理方法。
第四方面,本申请实施例提出一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行上述的视频处理方法。
第二方面至第四方面各可能的实现方式,效果与第一方面以及第一方面的可能的设计中的效果类似,在此不再赘述。
附图说明
图1为本申请实施例提供的视频处理过程中的一种界面示意图;
图2为本申请实施例提供的视频处理过程中的另一种界面示意图;
图3为本申请实施例提供的电子设备的硬件系统结构示意图;
图4为本申请实施例提供的电子设备的软件系统结构示意图;
图5为本申请实施例提供的素材编辑控件与界面控制模块之间的交互示意图;
图6为本申请实施例提供的一种视频处理方法的流程架构图;
图7为本申请实施例对文字编辑控件进行旋转后的界面示意图;
图8为本申请实施例对文字编辑控件进行拖拽后的界面示意图;
图9为本申请实施例对文字编辑控件进行缩小后的界面示意图;
图10为本申请实施例提供的一种视频处理方法的流程图;
图11为本申请实施例提供的删除素材编辑控件及其内部输入的素材内容的流程架构图;
图12为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一芯片和第二芯片仅仅是为了区分不同的芯片,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
在用户使用电子设备的过程中,可采用电子设备拍摄视频,并且,用户在拍摄视频之后,用户可以对拍摄的视频进行编辑操作,以使得编辑后的视频更能满足用户个性化的需求。然后,电子设备可将编辑后的视频保存到存储设备中。这样,在用户需要浏览或使用上述编辑后的视频时,电子设备可从存储设备中读取上述编辑后的视频,并显示给用户浏览和查看。
例如,在拍摄视频之后,响应于用户的裁剪操作,电子设备可将拍摄的视频剪切为视频长度较短的视频;或者,响应于用户添加素材的操作,电子设备可为拍摄的视频添加多种素材效果,如添加文字、贴纸、图片(也可称为画中画)等,从而使得编辑后的视频具有上述对应的图像效果。
图1中的(a)至图1中的(d)示例性示出了电子设备上的一组用户界面,下面结合图中的(a)至图1中的(d)具体介绍实施本申请实施例提供的视频处理方法的应用场景。
在实际应用场景中,用户在需要对目标视频进行编辑时,用户点亮电子设备后,电子设备可显示如图1中的(a)所示的用户界面。图1中的(a)示例性示出了电子设备上显示的已安装应用程序的用户界面,即主界面(homepage)。如图1中的(a)所示,主界面中显示有一个或多个应用程序图标。例如“时钟”应用程序图标、“计算器”应用程序图标、“天气”应用程序图标、“图库”应用程序图标101以及“音乐”应用程序图标等。
电子设备可检测到作用于“图库”应用程序图标101的用户操作。上述用户操作例如是点击操作、长按操作等等。电子设备可响应于上述用户操作,显示如图1中的(b)所示的用户界面。
图1中的(b)示例性示出了电子设备上运行“图库”应用程序时的主界面。该用户界面可展示有一个或多个图片或视频。电子设备可检测到作用于目标视频102的用户操作,并响应于该用户操作,电子设备可显示图1中的(c)所示的用户界面。
图1中的(c)所示的用户界面为电子设备显示的目标视频102的播放界面,该用户界面还包括视频编辑控件103,视频编辑控件103可用于对目标视频102进行编辑操作。电子设备可检测到作用于视频编辑控件103的用户操作,并响应于该用户操作,电子设备可显示如图1中的(d)所示的用户界面。
此外,在图1中的(c)所示的用户界面中,还包括视频分享控件、视频收藏控件以及视频删除控件等。
视频分享控件可用于将目标视频102发送给其他应用使用。例如,当检测到作用于视频分享控件的用户操作后,响应于该用户操作,电子设备可显示一个或多个应用的应用图标,上述一个或多个应用的应用图标包括社交类软件的应用图标。当检测到作用于其中一个社交类软件A1的应用图标的用户操作后,响应于该用户操作,电子设备可将目标视频102发送给社交类软件A1。
视频收藏控件可用于标记目标视频102。例如,当检测到作用于视频收藏控件的用户操作后,响应于该用户操作,电子设备可将目标视频102标记为用户喜爱的视频。电子设备可生成一个相册,该相册用于展示被标记为用户喜爱的视频。这样,在目标视频102被标记为用户喜爱的视频的情况下,用户可通过上述展示用户喜爱的视频的相册快速地查看该目标视频102。
视频删除控件可用于删除目标视频。例如,当检测到作用于视频删除控件的用户操作后,响应于该用户操作,电子设备可将目标视频102删除。
而如图1中的(d)示例性示出了电子设备上显示的目标视频102的视频编辑界面。该视频编辑界面包括第一视频预览框104,在第一视频预览框104内显示有目标视频102对应的视频画面。此外,该视频编辑界面还包括文字添加控件105。
若用户想要对目标视频102添加文字效果,则用户可以对文字添加控件105进行触控操作,当电子设备检测到作用于文字添加控件105的用户操作后,响应于该用户操作,电子设备可显示如图2中的(a)所示的用户界面。
图2中的(a)所示的用户界面为电子设备显示的一种文字编辑界面,该文字编辑界面包括第二视频预览框201,第二视频预览框201内显示有目标视频102对应的视频画面,并且,第二视频预览框201内还显示有文字编辑控件202。此外,该文字编辑界面还包括文字输入框203,用户可通过对文字输入框203进行操作,则电子设备响应于对文字输入框203的用户操作,显示键盘区域204;接着,用户对键盘区域204内的字符进行操作,电子设备响应于对键盘区域204内的字符的用户操作,在文字输入框203内输入相应的文字内容。例如,用户可以通过对键盘区域204内的字符进行操作,输入文字内容“你好”,并且,该文字内容也可以实时地显示在文字编辑控件202内。
当用户想要输入的文字内容输入完成之后,用户可以对文字编辑界面内的文字确认控件205进行操作,电子设备响应于对文字确认控件205的用户操作,使得电子设备可显示图2中的(b)所示的用户界面。
图2中的(b)所示的用户界面为电子设备显示的另一种文字编辑界面,该文字编辑界面依旧包括第二视频预览框201,且第二视频预览框201内依旧显示有目标视频102对应的视频画面,并且,第二视频预览框201内还显示有文字编辑控件202,以及文字编辑控件202内输入的文字内容,例如,文字内容为图2中的(b)所示的“你好”。
此外,图2中的(a)所示的文字编辑界面还包括键盘取消控件206,用户可对该键盘取消控件206进行操作,则电子设备响应于对键盘取消控件206的用户操作,使得电子设备的文字编辑界面中不再显示键盘区域204。
其中,文字编辑控件202包括第一删除控件2022和第一编辑控件2023。
当用户想要删除文字编辑控件202内输入的文字内容时,用户可以对第一删除控件2022进行操作,则电子设备响应于对第一删除控件2022的用户操作,使得电子设备删除在第二视频预览框201内显示的文字编辑控件202以及文字编辑控件202内输入的文字内容,即电子设备可跳转到如图1中的(d)所示的用户界面。
当用户想要再次编辑文字编辑控件202内输入的文字内容时,用户可以对第一编辑控件2023进行操作,则电子设备响应于对第一编辑控件2023的用户操作,使得电子设备跳转到如图2中的(a)所示的用户界面,即显示文字输入框203和键盘区域204,通过键盘区域204内的字符修改之前输入的文字内容。
在一些实施例中,也可以通过图2中的(b)所示的文字编辑界面中的第二编辑控件208,来再次编辑文字编辑控件202内输入的文字内容,当用户对第二编辑控件208进行操作,则电子设备响应于对第二编辑控件208的用户操作,使得电子设备跳转到如图2中的(a)所示的用户界面。
在另一些实施例中,也可以通过图2中的(b)所示的文字编辑界面中的第二删除控件209,来删除文字编辑控件202内输入的文字内容时,当用户对第二删除控件209进行操作,则电子设备响应于对第二删除控件209的用户操作,使得电子设备删除在第二视频预览框201内显示的文字编辑控件202以及文字编辑控件202内输入的文字内容,即电子设备可跳转到如图1中的(d)所示的用户界面。
若仅在文字编辑界面的视频预览框(即第二视频预览框201)内添加文字内容,而无法对添加的文字内容的位置参数(如旋转角度、缩放比例以及坐标位置)进行调节时,会导致视频中添加的文字内容的显示效果不佳,在某些情况下添加的文字内容不满足用户的实际需求。
为了可以对视频预览框内添加的文字内容的位置参数进行调节,如图2中的(a)和图2中的(b)所示,可以在文字编辑控件202中设置旋转缩放控件2021,即文字编辑控件202还包括旋转缩放控件2021。
当用户想要对文字编辑控件202内的文字内容进行缩放或者旋转时,用户可以对旋转缩放控件2021进行操作,则电子设备响应于对旋转缩放控件2021的用户操作,使得电子设备可以在第二视频预览框201内显示旋转或缩放后的文字内容。
或者,当用户想到移动文字编辑控件202内的文字内容的坐标位置时,用户可以对文字编辑控件202内的任意区域进行拖拽操作,则电子设备响应于对文字编辑控件202的用户操作,使得电子设备可以在第二视频预览框201内显示拖拽后的文字内容。
因此,本申请实施例在文字编辑界面的视频预览框内添加文字内容之后,还可以对添加的文字内容的坐标位置、旋转角度以及缩放比例等进行调节时,以提高视频中添加的文字内容的显示效果。
需要说明的是,上述是以在目标视频102的视频画面上添加文字效果的具体实现场景,在本申请实施例中,也可以是在目标视频102的视频画面上添加贴纸、图片等效果。在本申请实施例中,可以将在目标视频上添加的文字、贴纸以及图片等统称为素材,则在目标视频上添加素材时对应的用户界面可称为素材编辑界面。
因此,本申请实施例提供的视频处理方法及电子设备,在接收到对素材编辑界面的视频预览框内的素材编辑控件的移动操作时,素材编辑控件计算移动过程中的位置参数,并通过界面控制模块和播放控制模块向渲染处理模块,发送包括位置参数和素材编辑控件内输入的素材内容的移动指令,使得渲染处理模块根据位置参数、素材内容和视频画面进行渲染处理,得到视频预览框对应的预览视图。这样,本申请实施例可以在视频上添加文字、贴纸、图片等素材内容,并且,还可以通过拖拽、缩放或者旋转等移动操作,移动素材编辑控件在素材编辑界面的视频预览框内的位置,使得在移动素材编辑控件的过程中,可以根据素材编辑控件的位置参数,实时地在视频预览框内显示素材编辑控件内输入的素材内容,从而丰富了视频中添加的素材内容的显示效果。
本申请实施例提供的电子设备可以是手机、平板电脑(Pad)、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等,具有视频处理能力的电子设备。本申请实施例对电子设备所采用的具体技术和具体设备形态不做限定。
为了能够更好地理解本申请实施例,下面对本申请实施例的电子设备的结构进行介绍。
示例性的,图3为本申请实施例提供的一种电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integratedcircuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code divisionmultipleaccess,WCDMA),时分码分多址(time-division code division multipleaccess,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenithsatellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、显示视频和接收滑动操作等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organiclight-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diod,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
触摸传感器,也称“触控器件”。触摸传感器可以设置于显示屏194,由触摸传感器与显示屏194组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用程序(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构,等。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图4是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用层可以包括一系列应用程序包。如图4所示,应用程序包可以包括电话、邮箱、日历、音乐等应用程序。
在本申请实施例中,应用程序层还包括视频编辑应用。视频编辑应用具备视频数据处理能力,能够为用户提供编辑视频的功能,包括裁剪、渲染等视频数据处理。其中,视频编辑应用分为应用界面和逻辑模块。
应用界面也可称为用户界面(user interface,UI)。应用界面是视频编辑应用与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别。
在一些实施例中,视频编辑应用的应用界面包括图1中的(d)所示的视频编辑界面,以及素材编辑界面。以在视频中添加的素材是文字为例,素材编辑界面可以是如图2中的(a)和图2中的(b)所示的文字编辑界面。当然,若视频中添加的素材为贴纸,素材编辑界面也可以指的是贴纸编辑界面。
其中,素材编辑界面包括视频预览框,如文字编辑界面中的第二视频预览框201。该素材编辑界面中的视频预览框用于显示目标视频对应的视频画面,此外,素材编辑界面中的视频预览框内还设置有素材编辑控件。
该素材编辑控件也可称为MateriaPreviewView,其指的是安卓系统中的一个自定义的控件,通过对该素材编辑控件进行操作,可实现对素材编辑控件内的输入的素材内容进行平移、旋转、缩放等。
在一些实施例中,视频编辑应用的逻辑模块包括界面控制模块、播放控制模块以及渲染处理模块。
界面控制模块也可称为UIController。如图5所示,素材编辑控件实际上包含一些接口,如素材预览容器(MaterialPreviewContainer)接口,以及事件监听(PreviewEventListener)接口。
通过调用MaterialPreviewContainer接口可获取素材编辑控件在视频预览框内的位置参数。事件监听接口可以包括onPreviewShow类、onPreviewHide类、onPreviewDelete类、onPreviewSelected类、onPreviewRepeat类以及onPreviewMove类等,界面控制模块通过监听事件监听接口中的类,可确定素材编辑控件被触发的功能。
onPreviewShow类用于实现素材编辑控件的显示,onPreviewHide类用于实现素材编辑控件的隐藏,onPreviewDelete类用于实现素材编辑控件的删除,onPreviewSelected类用于实现对素材编辑控件内输入的素材内容的编辑,onPreviewRepeat类用于实现素材编辑控件的双击操作,onPreviewMove类用于实现素材编辑控件移动操作。
此外,素材编辑控件还包括:PreviewHelperMarkingController、updateContainer、onTouchEvent以及updateFrameRatio等对象。PreviewHelperMarkingController可通过调用相应的类来控制引导线的显示或隐藏等,例如,其可以通过调用onPreviewShow来显示引导线。updateContainer用于增加或删除列表集合中的素材编辑控件(如文字编辑控件、贴纸编辑控件等)。onTouchEvent用于确定用户的触摸事件是点击操作、滑动操作等操作中的哪一种操作。updateFrameRatio可用于根据视频预览框的画幅变化,来改变素材编辑控件的长度和宽度。
播放控制模块也可称为PlayerController,渲染处理模块也可称为Drawer。渲染处理模块主要用于根据素材编辑控件内输入的素材内容和素材编辑控件的位置参数,绘制、渲染得到模型、视图和投影(model view projection matrix,MVP)矩阵,以及对视频预览框内的视频画面进行渲染,并将MVP矩阵和渲染后的视频画面进行叠加,得到视频预览框对应的预览视图。
应用程序框架层为应用层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示,应用程序框架层可以包括输入系统、活动管理器、位置管理器、通知管理器、资源管理器、视图系统以及媒体框架等。
输入系统用于管理输入设备的程序。例如,输入系统可以确定鼠标点击操作、键盘输入操作和触摸滑动等输入操作。
活动管理器用于管理各个应用程序的生命周期以及导航回退功能。负责Android的主线程创建,各个应用程序的生命周期的维护。
位置管理器用于为应用程序提供位置服务,包括查询上一个已知位置、注册和注销来自某个周期性的位置更新等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端设备振动,指示灯闪烁等。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序的显示界面,每个显示界面可以由一个或多个控件组成。一般而言,控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、微件(Widget)等界面元素例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
媒体框架中提供有多个编辑视频、音频的工具。其中,上述工具包括MediaCodec。MediaCodec是Android提供的用于对音视频进行编解码的类。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用层和应用程序框架层运行在虚拟机中。虚拟机将应用层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
开放图形库(Open Graphics Library,OpenGL)提供有多个图像渲染函数,可用来绘制从简单的图形到复杂的三维景象。
内核层是硬件和软件之间的层。内核层至少包含触控面板驱动、LCD/LED屏幕驱动、显示驱动、蓝牙驱动、WIFI驱动、键盘驱动、共用存储器驱动和相机驱动等。
硬件可以是音频设备、蓝牙设备、相机设备、传感器设备等。
示例性的,图6为本申请实施例提供的一种视频处理方法的流程架构图。参照图6所示,该架构包括素材编辑控件、界面控制模块、播放控制模块以及渲染处理模块,该视频处理方法具体可以包括如下步骤:
S601,素材编辑控件接收用户输入的移动操作。
用户可以对视频编辑界面中的素材编辑控件进行触发操作,则电子设备响应于该用户操作,在电子设备的显示屏上显示素材编辑界面。其中,素材编辑界面包括视频预览框,视频预览框内显示有视频画面,素材编辑控件位于视频预览框内。
用户可以在素材编辑控件内输入相应的素材内容。以素材编辑控件是文字编辑控件202为例,当用户在文字编辑控件202内输入相应的文字内容后,电子设备可显示图2中的(b)所示的文字编辑界面。
当用户想要移动素材编辑控件内输入的素材内容在视频预览框内的显示位置时,用户可以对素材编辑控件对应的位置进行触控操作,并将素材编辑控件朝向一定方向进行移动,则使得素材编辑控件接收用户输入的移动操作。其中,移动操作包括旋转操作、缩放操作以及拖拽操作中的至少一者。
S602,素材编辑控件计算移动过程中的位置参数。
素材编辑控件在接收到用户输入的移动操作后,素材编辑控件可实时计算移动过程中的素材编辑控件的位置参数。
由于用户输入的移动操作不同,使得移动过程中的素材编辑控件发生变化的位置参数也不同。因此,需要先确定移动操作对应的移动类型,再根据移动类型和移动轨迹来确定移动过程中的素材编辑控件发生变化的位置参数。
在一些实施例中,素材编辑控件根据移动操作对应的移动轨迹,以及移动操作对应的初始触控位置与素材编辑控件所处的位置之间的位置关系,确定移动操作对应的移动类型,移动操作对应的移动类型包括旋转、缩放以及拖拽中的任一者;素材编辑控件根据移动类型和移动轨迹对应的位移参数,确定移动过程中的位置参数。
触控面板中的触摸传感器可接收到触摸操作时,内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸力度,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。内核层通过输入处理库将原始输入事件上报至应用程序框架层的输入系统。应用程序框架层的输入系统解析该原始输入事件的信息(包括:操作类型和报点位置等)和根据当前焦点确定焦点应用,并将解析后的信息发送至焦点应用。焦点可以是触摸操作中触碰点或者鼠标点击操作中点击位置。焦点应用为终端设备前台运行的应用或者触摸操作中触碰位置对应的应用。焦点应用根据解析后的原始输入事件的信息(例如,报点位置)确定该原始输入事件所对应的控件。因此,按照上述方式,可确定出用户触控的应用为视频编辑应用,且该原始输入事件所对应的控件为素材编辑控件。
因此,素材编辑控件可通过判断原始输入事件开始时的触摸坐标(即移动操作对应的初始触控位置),与素材编辑控件的中心点在显示屏的屏幕显示区域内的坐标位置之间的位置关系,确定移动操作对应的初始触控位置是否位于素材编辑控件内部。
当移动操作对应的初始触控位置位于素材编辑控件内部,且移动操作对应的移动轨迹为朝向任意方向移动时,可确定用户输入的移动操作对应的移动类型为拖拽,即移动操作是对素材编辑控件的拖拽操作。
此外,素材编辑控件还可判断移动操作对应的初始触控位置,与素材编辑控件中的旋转缩放控件的中心点在屏幕显示区域内的坐标位置之间的位置关系,确定移动操作对应的初始触控位置是否位于旋转缩放控件内部。
当移动操作对应的初始触控位置位于旋转缩放控件内部时,且移动操作对应的移动轨迹为朝向第一预设方向移动时,可确定用户输入的移动操作对应的移动类型为旋转,即移动操作是对素材编辑控件的旋转操作。
当移动操作对应的初始触控位置位于旋转缩放控件内部时,且移动操作对应的移动轨迹为朝向第二预设方向移动时,可确定用户输入的移动操作对应的移动类型为缩放,即移动操作是对素材编辑控件的缩放操作。
其中,第一预设方向和第二预设方向不同。以素材编辑控件的中心点和旋转缩放控件的中线点所形成的连线为基准线,若移动操作的移动轨迹对应的方向与基准线之间的夹角小于预设夹角时,确定移动操作对应的移动轨迹为朝向第二预设方向移动,即确定移动操作是对素材编辑控件的缩放操作;而若移动操作的移动轨迹对应的方向与基准线之间的夹角大于或等于预设夹角时,确定移动操作对应的移动轨迹为朝向第一预设方向移动,即确定移动操作是对素材编辑控件的旋转操作。预设夹角可根据经验值设定,如预设夹角为10°。
示例性的,用户在对旋转缩放控件进行触控操作时,即移动操作对应的初始触控位置位于旋转缩放控件内部,若移动操作对应的移动轨迹为朝向或背离素材编辑控件的中心点的方向时,此时移动操作的移动轨迹对应的方向与基准线之间的夹角也就小于预设夹角,从而实现对素材编辑控件内的素材内容进行缩放。具体的,当朝向素材编辑控件的中心点的方向拖拽该旋转缩放控件时,可以对素材编辑控件内的素材内容进行缩小处理;当向着背离素材编辑控件的中心点的方向拖拽该旋转缩放控件时,可以对素材编辑控件内的素材内容进行放大处理。
示例性的,用户在对旋转缩放控件进行触控操作时,即移动操作对应的初始触控位置位于旋转缩放控件内部,若移动操作对应的移动轨迹为偏离素材编辑控件的中心点的方向时,此时移动操作的移动轨迹对应的方向与基准线之间的夹角也就大于或等于预设夹角,从而实现对素材编辑控件内的素材内容进行旋转。用户在对素材编辑控件内的素材内容进行旋转操作时,可以是顺时针旋转也可以是逆时针旋转。
需要说明的是,也可以采用双指在素材编辑控件内进行触控操作,以实现对素材编辑控件内的素材内容进行缩放。例如,当移动操作对应的初始触控位置位于素材编辑控件内部时,且双指的移动操作对应的移动轨迹为朝向或背离素材编辑控件的中心点所在的方向时,可确定用户输入的移动操作对应的移动类型为缩放,即移动操作是对素材编辑控件的缩放操作。
例如,当用户的两个手指的移动操作对应的移动轨迹为背离素材编辑控件的中心点所在的方向时,可确定移动操作是对素材编辑控件的放大操作,即实现对素材编辑控件内的素材内容进行放大处理。当用户的两个手指的移动操作对应的移动轨迹为朝向素材编辑控件的中心点所在的方向时,可确定移动操作是对素材编辑控件的缩小操作,即实现对素材编辑控件内的素材内容进行缩小处理。
在一种可实现的方式中,可采用如下方式判断移动操作对应的初始触控位置,是否位于素材编辑控件内部:
angle=Math.toRadians(360-rotateAngle); 公式(1)
X0=(clickPoint.x-centerPoint.x)×Math.cos(angle)
-(clickPoint.y-centerPoint.y)×Math.sin(angle)+centerPoint.x; 公式(2)
Y0=(clickPoint.y-centerPoint.y)×Math.cos(angle)
+(clickPoint.x-centerPoint.x)×Math.sin(angle)+centerPoint.y; 公式(3)
其中,rotateAngle指的是素材编辑控件的旋转角度,而参与公式(2)和公式(3)的角度值angle为360°与素材编辑控件的旋转角度rotateAngle之间的差值。clickPoint.x指的是初始触控位置沿X方向上的坐标,clickPoint.y指的是初始触控位置沿Y方向上的坐标;centerPoint.x指的是素材编辑控件的中心点沿X方向上的坐标,centerPoint.y指的是素材编辑控件的中心点沿Y方向上的坐标。
在按照上述公式(2)得到X0坐标以及按照上述公式(3)得到Y0坐标之后,可调用函数src.contains((float)X0,(float)Y0),确定初始触控位置是否位于素材编辑控件内部。在调用src.contains((float)X0,(float)Y0)后,若其输出结果为flase,表示初始触控位置位于素材编辑控件外部,若其输出结果为ture,表示初始触控位置位于素材编辑控件内部。
当然,也可采用这种方式,来确定移动操作对应的初始触控位置是否位于旋转缩放控件内部。
而在实际应用中,由于内核层上报的原始输入事件中的触控坐标是以屏幕显示区域作为参考坐标的,而素材编辑控件在渲染时是以视频预览框作为参考坐标的,视频预览框位于屏幕显示区域中的一部分区域,即视频预览框所在的区域与屏幕显示区域是不相同的,使得视频预览框对应的参考坐标与屏幕显示区域的参考坐标也是不同的。
因此,在根据原始输入事件确定所对应的控件时,素材编辑控件可采用第一坐标转换公式,将素材编辑控件在视频预览框内的第一坐标位置,转换为在显示屏的屏幕显示区域内的第二坐标位置,后续是根据移动操作对应的移动轨迹,以及移动操作对应的初始触控位置与素材编辑控件的第二坐标位置之间的位置关系,确定移动操作对应的移动类型。
第一坐标转换可以公式为:
mCenterPoint.x1=location.getShiftX()×mWidthScale+(1-mWidthScale)/2;
mCenterPoint.y1=location.getShiftY()×mHeightScale+(1-mHeightScale)/2;
其中,mCenterPoint.x1表示在X方向上,素材编辑控件的中心点在屏幕显示区域所在的坐标系中的第二坐标位置,其实际上是通过素材编辑控件的中心点在屏幕显示区域的位置比例来表示的,例如,在X方向上,素材编辑控件的中心点在屏幕显示区域所在的坐标系中的中心,则mCenterPoint.x1可以为0.5,后续坐标位置实际上也用位置比例来表示。location.getShiftX()表示在X方向上,素材编辑控件的中心点在视频预览框所在的坐标系中的第一坐标位置,mWidthScale为X方向上的宽度比例系数。
宽度比例系数mWidthScale=(float)mTextureView.getWidth()/mSurfaceParent.getWidth(),(float)mTextureView.getWidth()指的是视频预览框在X方向上的宽度,mSurfaceParent.getWidth()指的是屏幕显示区域在X方向上的宽度。
相应的,mCenterPoint.y1表示在Y方向上,素材编辑控件的中心点在屏幕显示区域所在的坐标系中的第二坐标位置,location.getShiftY()表示在Y方向上,素材编辑控件的中心点在视频预览框所在的坐标系中的第一坐标位置,mHeightScale为Y方向上的高度比例系数。
高度比例系数mHeightScale=(float)mTextureView.getHeight()/mSurfaceParent.getHeight(),(float)mTextureView.getHeight()是指视频预览框在Y方向上的高度,mSurfaceParent.getHeight()指的是屏幕显示区域在Y方向上的高度。
在按照上述方式确定出移动操作对应的移动类型后,素材编辑控件可根据移动类型和移动轨迹对应的位移参数,确定移动过程中的位置参数。移动轨迹对应的位移参数指的是:移动过程中原始输入事件中的触控坐标的位移变化量,其包括沿第一方向上的坐标变化量和沿第二方向上的坐标变化量,第一方向可以是X方向,即视频预览框的宽度方向,第二方向可以是Y方向,即视频预览框的高度方向。
在一种场景中,移动操作对应的移动类型为拖拽,即移动操作为拖拽操作,则素材编辑控件在移动过程中的位置参数包括沿第一方向和/或第二方向上的目标坐标位置。具体的,素材编辑控件根据拖拽操作时的移动轨迹对应的位移参数,确定拖拽过程中素材编辑控件的平移位移;素材编辑控件根据拖拽操作前的素材编辑控件的初始坐标位置和平移位移,确定拖拽操作后的素材编辑控件的目标坐标位置。
其中,位移参数与平移位移呈正相关。当位移参数越大时,即拖拽过程中原始输入事件中的触控坐标的位移变化量越大时,平移位移越大;当位移参数越小时,即拖拽过程中原始输入事件中的触控坐标的位移变化量越小时,平移位移越小。
在一些实施例中,可以直接将拖拽操作时的移动轨迹对应的位移参数,确定为拖拽过程中素材编辑控件的平移位移。
在计算得到拖拽过程中素材编辑控件的平移位移之后,素材编辑控件根据拖拽操作前其在显示屏的屏幕显示区域内的初始坐标位置和平移位移,确定拖拽操作后素材编辑控件在屏幕显示区域内的第三坐标位置;素材编辑控件采用第二坐标转换公式,将素材编辑控件在屏幕显示区域内的第三坐标位置,转换为在视频预览框内的目标坐标位置。
素材编辑控件接收用户输入的拖拽操作之后,可根据原始输入事件中的触控坐标的变化,计算拖拽操作时素材编辑控件的中心点的平移位移。接着,在拖拽操作前的素材编辑控件的中心点在屏幕显示区域所在的坐标系中的初始坐标位置的基础上,加上该和平移位移,得到拖拽操作后的素材编辑控件的中心点在屏幕显示区域所在的坐标系中的第三坐标位置。最后,素材编辑控件采用第二坐标转换公式,将拖拽操作后的素材编辑控件的中心点在屏幕显示区域所在的坐标系中的第三坐标位置,转换为其在视频预览框所在的坐标系中的目标坐标位置。
第二坐标转换公式可以为:
location.setShiftX=[mCenterPoint.x2-(1-mWidthScale)/2)]/mWidthScale;
location.setShiftY=[mCenterPoint.y2-(1-mHeightScale)/2)]/mHeightScale;
其中,location.setShiftX表示在X方向上,素材编辑控件的中心点在视频预览框所在的坐标系中的目标坐标位置,location.setShiftY表示Y方向上,素材编辑控件的中心点在视频预览框所在的坐标系中的目标坐标位置。mCenterPoint.x2表示X方向上,素材编辑控件的中心点在屏幕显示区域所在的坐标系中的第三坐标位置,mCenterPoint.y2表示Y方向上,素材编辑控件的中心点在屏幕显示区域所在的坐标系中的第三坐标位置。
在另一些场景中,移动操作对应的移动类型为旋转,即移动操作为旋转操作,则素材编辑控件在移动过程中的位置参数包括包括旋转角度。具体的,素材编辑控件根据旋转操作时的移动轨迹对应的位移参数,确定旋转过程中素材编辑控件的旋转角度。
其中,位移参数与旋转角度呈正相关。当位移参数越大时,即旋转过程中原始输入事件中的触控坐标的位移变化量越大时,旋转角度越大;当位移参数越小时,即旋转过程中原始输入事件中的触控坐标的位移变化量越小时,旋转角度越小。这种情况下,素材编辑控件的中心点在视频预览框所在的坐标系中的坐标位置未发生变化。
在再一些场景中,移动操作对应的移动类型为缩放,即移动操作为缩放操作,则素材编辑控件在移动过程中的位置参数包括沿第一方向和/或第二方向上的缩放比例。具体的,素材编辑控件根据缩放操作时的移动轨迹对应的位移参数,确定缩放过程中素材编辑控件的缩放比例。
其中,位移参数与缩放比例呈正相关。当位移参数越大时,即缩放过程中原始输入事件中的触控坐标的位移变化量越大时,缩放比例越大;当位移参数越小时,即缩放过程中原始输入事件中的触控坐标的位移变化量越小时,缩放比例越小。这种情况下,素材编辑控件的中心点在视频预览框所在的坐标系中的坐标位置未发生变化。该缩放比例可以包括X方向上的缩放比例和/或Y方向上的缩放比例。
因此,当移动操作为旋转操作时,移动过程中发生变化的位置参数包括旋转角度,而缩放比例和素材编辑控件的中心点的目标坐标位置未发生变化。当移动操作为缩放操作时,移动过程中发生变化的位置参数包括沿第一方向和/或第二方向上的缩放比例,而旋转角度和素材编辑控件的中心点的目标坐标位置未发生变化。当移动操作为拖拽操作时,移动过程中发生变化的位置参数包括沿第一方向和/或第二方向上的目标坐标位置,而旋转角度和缩放比例未发生变化。
S603,素材编辑控件向界面控制模块发送移动指令;移动指令包括位置参数和素材编辑控件内输入的素材内容。
素材编辑控件在计算得到移动过程中的位置参数之后,根据移动过程中的位置参数和素材编辑控件内输入的素材内容生成控制指令,并将移动指令发送给界面控制模块。
具体的,素材编辑控件在将控制指令发送给界面控制模块时,素材编辑控件内输入的素材内容包括素材时间信息(timeInfo)、素材属性信息(contentInfo)以及素材模板路径(MaterialPath)等。
素材时间信息(timeInfo)是在渲染时判断是否渲染该素材内容时使用,素材时间信息(timeInfo)包括开始时间(startTime)和持续时长(Duration)。素材属性信息(contentInfo)包括素材的Size(字号)、Font(字体)、Content(内容)以及Color(颜色)等。素材模板路径用于在渲染时生成包含素材内容的bitmap(位图)。
此外,该移动指令中还包括素材对象ID和saveStackFlag。素材对象ID可称为subtitleId,其用于标识当前移动操作的对象是哪个素材对象。saveStackFlag表示该移动操作是否记录在“撤销恢复操作栈”中。
需要说明的时,在对素材编辑控件进行移动操作时,素材编辑控件向界面控制模块发送移动指令中的位置参数,可以仅包括发生变化的位置参数,当然,也可以包括未发生变化的位置参数。
S604,界面控制模块将移动指令转发给播放控制模块。
S605,播放控制模块将移动指令转发给渲染处理模块。
S606,渲染处理模块根据位置参数、素材内容和视频画面进行渲染处理,得到视频预览框对应的预览视图。
素材编辑控件在将移动指令发送给界面控制模块,界面控制模块可将该移动指令转发给播放控制模块,播放控制模块再将该移动指令转发给渲染处理模块。
渲染处理模块分别对视频画面,以及素材内容和位置参数进行绘制渲染,并将绘制渲染后的视频画面和素材图层叠加,得到视频预览框对应的预览视图。最后,渲染处理模将包括视频预览框对应的预览视图的渲染指令发送给应用程序框架层,应用程序框架层从图形处理库中获取渲染指令所需的API,以便使用该API对应的功能指示CPU或GPU,将预览视图和素材编辑界面中除视频预览框外的其他view进行绘制渲染等。
如图7所示,以素材编辑控件是文字编辑控件202为例。文字编辑控件202接收用户输入的旋转操作之后,按照上述执行过程可实时改变文字编辑控件202内输入的文字内容的旋转角度。可以看出,图7所示的文字编辑控件202内输入的文字内容,相对于图2中的(b)所示的文字编辑控件202内输入的文字内容,其旋转角度发生变化。
如图8所示,以素材编辑控件是文字编辑控件202为例。文字编辑控件202接收用户输入的拖拽操作之后,按照上述执行过程可实时改变文字编辑控件202内输入的文字内容的显示位置。可以看出,图8所示的文字编辑控件202内输入的文字内容,相对于图2中的(b)所示的文字编辑控件202内输入的文字内容,其在视频预览框内的坐标位置发生变化。
如图9所示,以素材编辑控件是文字编辑控件202为例。文字编辑控件202接收用户输入的缩小操作之后,按照上述执行过程可实时改变文字编辑控件202内输入的文字内容的缩小比例。可以看出,图9所示的文字编辑控件202内输入的文字内容,相对于图2中的(b)所示的文字编辑控件202内输入的文字内容,其宽度和高度都缩小了。
示例性的,图10为本申请实施例提供的一种视频处理方法的流程图,该视频处理方法具体可以包括如下步骤:
S1001,素材编辑控件响应于用户输入的触控操作。
S1002,素材编辑控件确定触控操作是否为移动操作。
素材编辑控件可通过上述S601中的相应描述,确定触控操作是否为旋转操作、缩放操作以及拖拽操作等移动操作。当确定初始触控位置位于素材编辑控件内部,且原始输入事件的触摸坐标实时变化时,确定该触控操作为拖拽操作;当确定初始触控位置位于素材编辑控件中的旋转缩放控件内部,且原始输入事件的触摸坐标朝向第一预设方向移动时,确定该触控操作为旋转操作;当确定初始触控位置位于素材编辑控件中的旋转缩放控件内部,且原始输入事件的触摸坐标朝向第二预设方向移动时,确定该触控操作为缩放操作。
S1003,当触控操作为移动操作时,素材编辑控件检测移动操作的移动距离是否满足预设条件。
S1004,当移动距离满足预设条件时,素材编辑控件通过界面控制模块向播放控制模块发送移动指令。
为了防止用户误触控,当素材编辑控件确定针对其输入的触控操作为移动操作时,需要检测移动操作对应的移动距离是否大于预设距离。当移动距离大于预设距离时,确定移动距离满足条件,其说明用户是需要对素材编辑控件内的素材内容进行移动,则素材编辑控件会发送移动指令,该移动指令用于移动素材编辑控件内的素材内容的显示位置;而当移动距离小于或等于预设距离时,确定移动距离不满足条件,其可能是用户误触控针对素材编辑控件的移动,则忽略本次触控操作,不执行本申请实施例中的发送移动指令的步骤。
S1005,播放控制模块根据移动指令中的素材类型,唤醒对应的数据监听对象。
S1006,播放控制模块通过数据监听对象向渲染处理模块发送移动指令。
S1007,渲染处理模块根据移动指令中的位置参数和素材内容,以及视频画面进行渲染处理,得到视频预览框对应的预览视图。
素材编辑控件通过界面控制模块向播放控制模块发送移动指令还包括素材类型,素材类型可通过素材对象ID来表示。播放控制模块在接收到该移动指令之后,根据移动指令中的素材类型唤醒对应的vistior(抽象访问者,或称为数据监听对象),基于被唤醒的vistior将移动指令发送给渲染处理模块。
而除素材类型对应的vistior外的其他vistior不唤醒,以降低因唤醒所有vistior带来的耗时增加,从而在移动素材编辑控件时,使得素材编辑控件内输入的素材内容实时地改变显示位置时会更加流畅,提高用户的体验效果。
vistior声明了一个或者多个访问操作,形成所有的具体元素角色必须实现的接口。其可以位于播放控制模块内。
例如,当移动操作对应的素材编辑控件为文字编辑控件时,则播放控制模块从移动指令中获取到文字对象ID,则确定其对应的数据类型为文字,则播放控制模块仅唤醒文字对应的vistior,除文字以外的其他数据类型(如贴纸、图片等)的vistior不唤醒。
在本申请实施例一种可实现的方式中,用户在拖拽素材编辑控件时,可增加引导线来指示素材编辑控件所在的位置。具体的,当素材编辑控件的中心点被拖拽至预设位置时,在屏幕显示区域内显示引导线;引导线用于指示素材编辑控件的中心点所处的位置。该预设位置可以是视频预览框沿X方向的中心位置和/或视频预览框沿Y方向的中心位置。
如图8所示,以素材编辑控件为文字编辑控件为例。在Y方向上,若移动过程中文字编辑控件202的中心点靠近视频预览框的中心位置时,会在视频预览框外的左右侧显示引导线,如图8中视频预览框外的左侧显示的第一引导线901,以及视频预览框外的右侧显示的第二引导线902。当然,在X方向上,若移动过程中文字编辑控件202的中心点靠近视频预览框的中心位置时,会在视频预览框外的上下侧也分别显示引导线。
在本申请实施例一种可实现的方式中,用户在旋转素材编辑控件时,可增加角度信息来指示素材编辑控件的旋转角度。具体的,当素材编辑控件的旋转角度等于预设角度时,在视频预览框内显示旋转角度。预设角度可以为30°、45°、60°、90°等角度。
如图7所示,以素材编辑控件为文字编辑控件为例。在将文字编辑控件202旋转60°时,会在视频预览框内靠近上侧的位置显示旋转角度60°。对于旋转角度的显示位置,本申请不做限制,其可以位于视频预览框内的任意位置,也可以位于视频预览框外的任意位置。
另外,在旋转素材编辑控件时,当素材编辑控件的旋转角度等于预设角度时,可通过震动等方式提示用户。例如,当素材编辑控件的旋转角度为0°、90°、180°等特定角度时进行震动提示。
或者,当用户在拖拽素材编辑控件时,当素材编辑控件的中心点被拖拽至预设位置时,也可通过震动等方式提示用户。例如,当素材编辑控件在X方向和/或Y方向移动到视频预览框的中心位置时,进行震动提示。
此外,在缩放素材编辑控件时,当素材编辑控件的缩放比例等于预设比例时,也可以在是视频预览框内显示缩放比例,或者进行震动提示。例如,预设比例可以为2倍、3倍、0.5倍等。
示例性的,图11为本申请实施例提供的删除素材编辑控件及其内部输入的素材内容的流程架构图。参照图11所示,该架构包括素材编辑控件、界面控制模块、播放控制模块,该视频处理方法具体可以包括如下步骤:
S1101,界面控制模块接收用户输入的删除操作。
S1102,界面控制模块将删除指令发送至播放控制模块。
S1103,播放控制模块根据删除指令,停止向渲染处理模块发送素材编辑控件内输入的素材内容。
S1104,播放控制模块根据删除指令,通过界面控制模块向素材编辑控件返回控件删除指令;控件删除指令用于删除视频预览框内的素材编辑控件。
当用户想要删除素材编辑控件以及素材编辑控件内输入的素材内容时,用户可以对素材编辑界面进行触控操作,使得界面控制模块接收用户输入的删除操作。
以素材编辑控件为文字编辑控件202为例,用户可对图2中的(b)所示的文字编辑界面中的第二删除控件209进行触控操作,使得界面控制模块接收到用户输入的删除操作。
在接收到对素材编辑控件的删除操作时,界面控制模块响应于该删除操作,界面控制模块向播放控制模块发送删除指令(如Delete Operator)。播放控制模块根据该删除指令停止向渲染处理模块发送素材编辑控件内输入的素材内容,使得渲染处理模块不会继续对素材编辑控件内输入的素材内容进行渲染处理,从而使得视频预览框内不再显示素材编辑控件内输入的素材内容。
并且,播放控制模块在接收到删除指令之后,还会向界面控制模块发送控件删除指令(如notifyUpdateContainer),界面控制模块将该删除指令转发给素材编辑控件,以通知素材编辑控件不再在视频预览框内显示素材编辑控件。
当然,在视频预览框内添加素材编辑控件以及素材编辑控件内输入的素材内容的操作过程,与上述删除操作的执行过程类似,只是会将上述的删除指令替换为添加指令,通过添加指令可以将素材编辑控件内输入的素材内容发送给渲染处理模块进行渲染处理,以实现素材内容在视频预览框内的显示;并且,播放控制模块会将控件添加指令通过界面控制模块发送给素材编辑控件,以通知素材编辑控件在视频预览框内显示素材编辑控件。
具体的,在接收到对素材编辑控件的添加操作时,界面控制模块向播放控制模块发送添加指令;播放控制模块根据添加指令,向渲染处理模块发送素材编辑控件内输入的素材内容;播放控制模块根据添加指令,通过界面控制模块向素材编辑控件返回控件添加指令;控件添加指令用于在视频预览框内添加素材编辑控件。
综上,以素材编辑控件为文字编辑控件202为例,上述场景针对的是向文字编辑控件202内先输入文字内容“你好”,再进行移动;本申请实施例也可以是先移动文字编辑控件202,再向文字编辑控件202内输入文字内容“你好”,此时,在移动文字编辑控件202的过程中,文字编辑控件202内的文字内容默认为“请输入文字”。
本申请实施例中的素材编辑控件可以是文字编辑控件,用户可以在文字编辑控件内输入文字内容,并在文字编辑控件的移动过程中,实时地在文件编辑控件内显示相应的文字内容。本申请实施例中的素材编辑控件也可以为贴纸编辑控件,用户可以在贴纸编辑控件输入相应的贴纸内容,并在贴纸编辑控件的移动过程中,实时地在贴纸编辑控件内显示相应的贴纸内容。本申请实施例中的素材编辑控件也可以为图片编辑控件,用户可以在图片编辑控件输入相应的图片,并在图片编辑控件的移动过程中,实时地在图片编辑控件内显示输入的图片。从而丰富了视频中添加的素材内容的显示效果。
图12为本申请实施例提供的一种电子设备的结构示意图。电子设备100包括:存储器1201、处理器110和通信接口1202,其中,存储器1201、处理器110、通信接口1202可以通信;示例性的,存储器1201、处理器110和通信接口1202可以通过通信总线通信。
存储器1201可以是只读存储器(read only memory,ROM),静态存储设备,动态存储设备或者随机存取存储器(random access memory,RAM)。存储器1201可以存储计算机程序,由处理器110来控制执行,并由通信接口1202来执行通信,从而实现本申请上述实施例提供的视频处理方法。
芯片中的通信接口1202可以为输入/输出接口、管脚或电路等。
本实施例的电子设备100对应地可用于执行上述方法实施例中执行的步骤,其实现原理和技术效果类似,此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现,则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
一种可能的实现方式中,计算机可读介质可以包括RAM,ROM,只读光盘(compactdisc read-only memory,CD-ROM)或其它光盘存储器,磁盘存储器或其它磁存储设备,或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码,并且可由计算机访问。而且,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,数字用户线(digital subscriber line,DSL)或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘,激光盘,光盘,数字通用光盘(digital versatile disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。
Claims (14)
1.一种视频处理方法,其特征在于,应用于电子设备,所述电子设备包括素材编辑控件、界面控制模块、播放控制模块和渲染处理模块,所述方法包括:
在所述电子设备的显示屏上显示素材编辑界面;所述素材编辑界面包括视频预览框,所述视频预览框内显示有视频画面,所述素材编辑控件位于所述视频预览框内;
在接收到对所述素材编辑控件的移动操作时,所述素材编辑控件计算移动过程中的位置参数;所述移动操作包括旋转操作、缩放操作以及拖拽操作中的至少一者;
所述素材编辑控件通过所述界面控制模块和所述播放控制模块,向所述渲染处理模块发送移动指令;所述移动指令包括所述位置参数和所述素材编辑控件内输入的素材内容;
所述渲染处理模块根据所述位置参数、所述素材内容和所述视频画面进行渲染处理,得到所述视频预览框对应的预览视图;
所述素材编辑控件通过所述界面控制模块和所述播放控制模块,向所述渲染处理模块发送移动指令,包括:
所述素材编辑控件检测所述移动操作的移动距离是否满足预设条件;
当所述移动距离满足预设条件时,所述素材编辑控件通过所述界面控制模块和所述播放控制模块,向所述渲染处理模块发送移动指令。
2.根据权利要求1所述的方法,其特征在于,所述素材编辑控件计算移动过程中的位置参数,包括:
所述素材编辑控件根据所述移动操作对应的移动轨迹,以及所述移动操作对应的初始触控位置与所述素材编辑控件所处的位置之间的位置关系,确定所述移动操作对应的移动类型;所述移动操作对应的移动类型包括旋转、缩放以及拖拽中的任一者;
所述素材编辑控件根据所述移动类型和所述移动轨迹对应的位移参数,确定移动过程中的位置参数;
其中,当所述移动操作为旋转操作时,所述位置参数包括旋转角度;当所述移动操作为缩放操作时,所述位置参数包括沿第一方向和/或第二方向上的缩放比例;当所述移动操作为拖拽操作时,所述位置参数包括沿所述第一方向和/或所述第二方向上的目标坐标位置。
3.根据权利要求2所述的方法,其特征在于,所述素材编辑控件根据所述移动操作对应的移动轨迹,以及所述移动操作对应的初始触控位置与所述素材编辑控件所处的位置之间的位置关系,确定所述移动操作对应的移动类型,包括:
所述素材编辑控件采用第一坐标转换公式,将所述素材编辑控件在所述视频预览框内的第一坐标位置,转换为在所述显示屏的屏幕显示区域内的第二坐标位置;
所述素材编辑控件根据所述移动操作对应的移动轨迹,以及所述移动操作对应的初始触控位置与所述素材编辑控件的所述第二坐标位置之间的位置关系,确定所述移动操作对应的移动类型。
4.根据权利要求2所述的方法,其特征在于,所述移动操作为拖拽操作,所述素材编辑控件根据所述移动类型和所述移动轨迹对应的位移参数,确定移动过程中的位置参数,包括:
所述素材编辑控件根据所述拖拽操作时的移动轨迹对应的位移参数,确定拖拽过程中所述素材编辑控件的平移位移;所述位移参数与所述平移位移呈正相关;
所述素材编辑控件根据拖拽操作前的所述素材编辑控件的初始坐标位置和所述平移位移,确定拖拽操作后的所述素材编辑控件的目标坐标位置。
5.根据权利要求4所述的方法,其特征在于,所述素材编辑控件根据拖拽操作前的所述素材编辑控件的初始坐标位置和所述平移位移,确定拖拽操作后的所述素材编辑控件的目标坐标位置,包括:
所述素材编辑控件根据拖拽操作前其在所述显示屏的屏幕显示区域内的初始坐标位置和所述平移位移,确定拖拽操作后所述素材编辑控件在所述屏幕显示区域内的第三坐标位置;
所述素材编辑控件采用第二坐标转换公式,将所述素材编辑控件在所述屏幕显示区域内的第三坐标位置,转换为在所述视频预览框内的目标坐标位置。
6.根据权利要求2所述的方法,其特征在于,所述移动操作为旋转操作,所述素材编辑控件根据所述移动类型和所述移动轨迹对应的位移参数,确定移动过程中的位置参数,包括:
所述素材编辑控件根据所述旋转操作时的移动轨迹对应的位移参数,确定旋转过程中所述素材编辑控件的旋转角度;所述位移参数与所述旋转角度呈正相关。
7.根据权利要求2所述的方法,其特征在于,所述移动操作为缩放操作,所述素材编辑控件根据所述移动类型和所述移动轨迹对应的位移参数,确定移动过程中的位置参数,包括:
所述素材编辑控件根据所述缩放操作时的移动轨迹对应的位移参数,确定缩放过程中所述素材编辑控件的缩放比例;所述位移参数与所述缩放比例呈正相关。
8.根据权利要求1所述的方法,其特征在于,所述移动指令还包括素材类型;当所述移动指令为所述素材类型时,所述素材编辑控件通过所述界面控制模块和所述播放控制模块,向所述渲染处理模块发送移动指令,包括:
所述素材编辑控件通过所述界面控制模块向所述播放控制模块发送所述移动指令;
所述播放控制模块根据所述移动指令中的素材类型,唤醒对应的数据监听对象;
所述播放控制模块通过所述数据监听对象向所述渲染处理模块发送移动指令。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述素材编辑控件的中心点被拖拽至预设位置时,在屏幕显示区域内显示引导线;所述引导线用于指示所述素材编辑控件的中心点所处的位置。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述素材编辑控件的旋转角度等于预设角度时,在所述视频预览框内显示所述旋转角度。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在接收到对所述素材编辑控件的删除操作时,所述界面控制模块向所述播放控制模块发送删除指令;
所述播放控制模块根据所述删除指令,停止向所述渲染处理模块发送所述素材编辑控件内输入的素材内容;
所述播放控制模块根据所述删除指令,通过所述界面控制模块向所述素材编辑控件返回控件删除指令;所述控件删除指令用于删除所述视频预览框内的所述素材编辑控件。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在接收到对所述素材编辑控件的添加操作时,所述界面控制模块向所述播放控制模块发送添加指令;
所述播放控制模块根据所述添加指令,向所述渲染处理模块发送所述素材编辑控件内输入的素材内容;
所述播放控制模块根据所述添加指令,通过所述界面控制模块向所述素材编辑控件返回控件添加指令;所述控件添加指令用于在所述视频预览框内添加所述素材编辑控件。
13.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以执行如权利要求1至12中任一项所述的视频处理方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序或指令,当所述计算机程序或指令被运行时,实现如权利要求1至12中任一项所述的视频处理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210601434 | 2022-05-30 | ||
CN2022106014341 | 2022-05-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116095412A CN116095412A (zh) | 2023-05-09 |
CN116095412B true CN116095412B (zh) | 2023-11-14 |
Family
ID=86187502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210897315.5A Active CN116095412B (zh) | 2022-05-30 | 2022-07-28 | 视频处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116095412B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007082167A2 (en) * | 2006-01-05 | 2007-07-19 | Eyespot Corporation | System and methods for storing, editing, and sharing digital video |
CN103336817A (zh) * | 2013-06-28 | 2013-10-02 | 北京奇虎科技有限公司 | 一种电子设备上网页缩放的方法和装置 |
CN106385591A (zh) * | 2016-10-17 | 2017-02-08 | 腾讯科技(上海)有限公司 | 视频处理方法及视频处理装置 |
CN106561050A (zh) * | 2015-10-06 | 2017-04-12 | 佳能株式会社 | 图像处理设备、电子设备、显示处理设备及其控制方法 |
CN107633541A (zh) * | 2017-09-14 | 2018-01-26 | 光锐恒宇(北京)科技有限公司 | 一种图像特效的生成方法和装置 |
CN107809581A (zh) * | 2017-09-29 | 2018-03-16 | 天津远翥科技有限公司 | 图像处理方法、装置、终端设备及无人机 |
CN109379631A (zh) * | 2018-12-13 | 2019-02-22 | 广州艾美网络科技有限公司 | 一种通过移动终端编辑视频字幕的方法 |
CN111091608A (zh) * | 2019-11-06 | 2020-05-01 | 稿定(厦门)科技有限公司 | 一种基于移动操作系统图片编辑的图片生成方法 |
CN111770288A (zh) * | 2020-06-23 | 2020-10-13 | Oppo广东移动通信有限公司 | 视频编辑方法、装置、终端及存储介质 |
CN111930994A (zh) * | 2020-07-14 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 视频编辑的处理方法、装置、电子设备及存储介质 |
CN112291627A (zh) * | 2020-10-12 | 2021-01-29 | 广州市百果园网络科技有限公司 | 一种视频编辑方法、装置、移动终端和存储介质 |
CN112631501A (zh) * | 2020-12-30 | 2021-04-09 | 深圳市鸿合创新信息技术有限责任公司 | 一种触控功能控件的显示方法、显示装置及电子设备 |
CN112929683A (zh) * | 2021-01-21 | 2021-06-08 | 广州虎牙科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN113888674A (zh) * | 2021-09-29 | 2022-01-04 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4462654B2 (ja) * | 1998-03-26 | 2010-05-12 | ソニー株式会社 | 映像素材選択装置及び映像素材選択方法 |
-
2022
- 2022-07-28 CN CN202210897315.5A patent/CN116095412B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007082167A2 (en) * | 2006-01-05 | 2007-07-19 | Eyespot Corporation | System and methods for storing, editing, and sharing digital video |
CN103336817A (zh) * | 2013-06-28 | 2013-10-02 | 北京奇虎科技有限公司 | 一种电子设备上网页缩放的方法和装置 |
CN106561050A (zh) * | 2015-10-06 | 2017-04-12 | 佳能株式会社 | 图像处理设备、电子设备、显示处理设备及其控制方法 |
CN106385591A (zh) * | 2016-10-17 | 2017-02-08 | 腾讯科技(上海)有限公司 | 视频处理方法及视频处理装置 |
CN107633541A (zh) * | 2017-09-14 | 2018-01-26 | 光锐恒宇(北京)科技有限公司 | 一种图像特效的生成方法和装置 |
CN107809581A (zh) * | 2017-09-29 | 2018-03-16 | 天津远翥科技有限公司 | 图像处理方法、装置、终端设备及无人机 |
CN109379631A (zh) * | 2018-12-13 | 2019-02-22 | 广州艾美网络科技有限公司 | 一种通过移动终端编辑视频字幕的方法 |
CN111091608A (zh) * | 2019-11-06 | 2020-05-01 | 稿定(厦门)科技有限公司 | 一种基于移动操作系统图片编辑的图片生成方法 |
CN111770288A (zh) * | 2020-06-23 | 2020-10-13 | Oppo广东移动通信有限公司 | 视频编辑方法、装置、终端及存储介质 |
CN111930994A (zh) * | 2020-07-14 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 视频编辑的处理方法、装置、电子设备及存储介质 |
CN112291627A (zh) * | 2020-10-12 | 2021-01-29 | 广州市百果园网络科技有限公司 | 一种视频编辑方法、装置、移动终端和存储介质 |
CN112631501A (zh) * | 2020-12-30 | 2021-04-09 | 深圳市鸿合创新信息技术有限责任公司 | 一种触控功能控件的显示方法、显示装置及电子设备 |
CN112929683A (zh) * | 2021-01-21 | 2021-06-08 | 广州虎牙科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN113888674A (zh) * | 2021-09-29 | 2022-01-04 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置 |
Non-Patent Citations (1)
Title |
---|
"面向虚拟教育的VR内容制作系统的设计与实现";伍双;中国优秀硕士学位论文全文数据库;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116095412A (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110377250B (zh) | 一种投屏场景下的触控方法及电子设备 | |
US11922005B2 (en) | Screen capture method and related device | |
US11722449B2 (en) | Notification message preview method and electronic device | |
US12001612B2 (en) | Air gesture-based interaction method and electronic device | |
WO2021000881A1 (zh) | 一种分屏方法及电子设备 | |
US11762529B2 (en) | Method for displaying application icon and electronic device | |
CN110708596A (zh) | 生成视频的方法、装置、电子设备及可读存储介质 | |
US11914850B2 (en) | User profile picture generation method and electronic device | |
US12112014B2 (en) | Widget display method and electronic device | |
CN111147660B (zh) | 一种控件的操作方法及电子设备 | |
US20240192835A1 (en) | Display method and related apparatus | |
CN116095413B (zh) | 视频处理方法及电子设备 | |
CN114201097B (zh) | 一种多应用程序之间的交互方法 | |
CN112068907A (zh) | 一种界面显示方法和电子设备 | |
CN113448658A (zh) | 截屏处理的方法、图形用户接口及终端 | |
WO2023236794A1 (zh) | 一种音轨标记方法及电子设备 | |
CN115016697A (zh) | 投屏方法、计算机设备、可读存储介质和程序产品 | |
CN114205457B (zh) | 一种移动用户界面元素的方法、电子设备及存储介质 | |
WO2021042881A1 (zh) | 消息通知方法及电子设备 | |
CN115562535B (zh) | 应用控制方法和电子设备 | |
CN116095412B (zh) | 视频处理方法及电子设备 | |
CN116797767A (zh) | 增强现实场景分享的方法和电子设备 | |
CN116204254A (zh) | 一种批注页面生成方法、电子设备及存储介质 | |
CN114356186A (zh) | 一种拖动阴影动画效果的实现方法及相关设备 | |
WO2024046010A1 (zh) | 一种界面显示方法、设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |