CN114845157B - 一种视频处理方法及电子设备 - Google Patents
一种视频处理方法及电子设备 Download PDFInfo
- Publication number
- CN114845157B CN114845157B CN202110131913.7A CN202110131913A CN114845157B CN 114845157 B CN114845157 B CN 114845157B CN 202110131913 A CN202110131913 A CN 202110131913A CN 114845157 B CN114845157 B CN 114845157B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- video file
- detected
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 111
- 230000000694 effects Effects 0.000 claims abstract description 33
- 230000004044 response Effects 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 23
- 230000006798 recombination Effects 0.000 claims description 18
- 238000005215 recombination Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 95
- 239000012535 impurity Substances 0.000 abstract description 93
- 230000006870 function Effects 0.000 description 145
- 230000011218 segmentation Effects 0.000 description 40
- 239000010410 layer Substances 0.000 description 29
- 238000013461 design Methods 0.000 description 26
- 238000004422 calculation algorithm Methods 0.000 description 24
- 238000007726 management method Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 230000008521 reorganization Effects 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 10
- 238000007493 shaping process Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 6
- 239000010813 municipal solid waste Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000005202 decontamination Methods 0.000 description 2
- 230000003588 decontaminative effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001122767 Theaceae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一种视频处理方法及电子设备,以期提高视频处理的效果及性能。该方法应用于电子设备,该方法为:检测到用于打开视频文件的第一操作;响应于第一操作打开视频文件;检测到用于编辑视频文件的第二操作;响应于第二操作显示功能选项;检测到用于选择功能选项的第三操作;响应于第三操作,对所述视频文件的每一帧或每隔一帧或每隔多帧执行以下一项或多项处理过程:除杂、美化、分段或重组。
Description
技术领域
本申请实施例涉及通信技术领域,尤其涉及一种视频处理方法及电子设备。
背景技术
随着移动终端的普及,用户使用移动终端拍摄、制作及分享视频已成为一种趋势。用户会使用移动终端拍摄视频,也可能从网络下载视频到移动终端。用户通常会需要对移动终端中的视频文件进行处理,例如,对视频文件进行剪辑。目前对视频文件进行剪辑的方案大都是由用户手动剪裁,需要用户从整个视频中裁剪出自己需要的分段部分。例如,用户进入视频编辑场景,用手势滑动到想要剪辑的视频的起点,再用手势滑动到想要剪辑的视频的终点,保存起点到终点的视频。用户关注的视频片段在视频中的位置是未知的,并且剪辑视频对用户的能力要求较高,因此很难剪辑到满意的视频效果。
如何对视频进行处理以得到更好的视频效果是需要考虑的问题。
发明内容
本申请实施例提供一种视频处理方法及电子设备,以期提高视频处理效果。
第一方面,提供了一种视频处理方法,应用于电子设备。例如,手机、平板电脑等。该方法可以通过以下方式实现:电子设备检测到用于打开视频文件的第一操作,响应于所述第一操作,打开所述视频文件,检测到用于编辑所述视频文件的第二操作,响应于所述第二操作,显示功能选项,检测到用于选择所述功能选项的第三操作;响应于所述第三操作,执行以下一项或多项处理过程:除去所述视频文件中符合预设条件的帧,得到除去了符合预设条件的帧的视频文件;或者,对所述视频文件中的一个或多个视频帧的指定区域进行美化,得到美化后的视频文件;或者,对所述视频文件进行分段,得到多个分段视频文件;或者,将所述视频文件与其他视频文件进行重组,得到重组后的视频文件;或者,将所述视频文件进行分段后得到的多个分段视频文件中的至少一个视频文件进行重组,得到重组后的视频文件。通过对视频文件进行上述处理,能够提高视频文件的多元化和趣味性,提高视频处理的效果和性能。
在一个可能的设计中,响应于所述第三操作,对所述视频文件执行以上一项或多项处理过程,可以是对所述视频文件的每一帧执行的,也可以是对视频文件的每隔一帧执行的,也可以是对视频文件或每隔多帧执行的。例如,对所述视频文件的每隔2帧执行处理过程,可以对视频文件的第1、3、5、7……帧执行处理过程。对视频文件的每一帧执行处理,能够提高视频处理的精度。对视频文件的每隔一帧或多帧进行处理,能够提高视频处理的效率。
在一个可能的设计中,除去所述视频文件中符合预设条件的帧,可以分为以下几种情况:
(1)除去符合预设条件的视频帧。具体地,将待检测帧中的第一像素与模板帧中的第二像素进行比较,所述第二像素在所述模板帧中的位置与所述第一像素在所述待检测帧中的位置相同;若所述第一像素与所述第二像素的一致性超过设定阈值,则除去所述待检测帧。
(2)除去视频帧中的符合预设条件的区域。具体地,将待检测帧中待检测区域的第三像素与模板帧中对应区域的第四像素进行比较,所述第四像素在所述模板帧中对应区域的位置与所述第三像素在所述待检测帧中待检测区域的位置相同;若所述第三像素与所述第四像素的一致性超过设定阈值,则除去所述待检测区域。
可选的,电子设备还可以检测到用于选择区域的第四操作,响应于所述第四操作,确定所述待检测帧中的所述待检测区域。
可选的,所述模板帧中对应区域包括用户选定区域,电子设备还可以检测到用于选择区域的第五操作,响应于所述第五操作,确定所述用户选定区域的所述第四像素。
(3)除去视频帧中的符合预设条件的点。具体地,将待检测帧中待检测点的像素第五像素与模板帧中对应点的第六像素进行比较,所述模板帧中所述对应点的位置与所述待检测帧中所述待检测点的位置相同;若所述第五像素与所述第六像素的一致性超过设定阈值,则除去所述待检测点。
(4)除去视频帧中的符合预设条件的线。具体地,将待检测帧中待检测线的第七像素与模板帧中对应线的第八像素进行比较,所述模板帧中所述对应线的位置与所述待检测帧中所述待检测线的位置相同;若所述第七像素与所述第八像素的一致性超过设定阈值,则除去所述待检测线。
可选的,电子设备还可以通过扫描的方式获取所述待检测帧的待检测线。
通过除去视频文件中符合预设条件的帧,使得处理后的视频的效果更好或者更符合用户的需求。
在一个可能的设计中,上述模板帧包括异常场景的帧,所述异常场景包括以下一项或多项:黑屏、花屏或绿屏。也可以是预定义的其它场景。
在一个可能的设计中,对所述视频文件中的视频帧的指定区域进行美化,可以是对视频帧中的指定区域进行美化,也可以是对所述视频文件中的视频帧的人物区域进行美化;也可以是对所述视频文件中的视频帧的风景区域进行美化。通过对视频帧的部分区域进行美化,能够适应用户的需求,避免对视频帧的全部画面进行美化导致的失真,使得美化效果更加真实。
在一个可能的设计中,在对所述视频文件进行分段,得到多个分段视频文件时,可以通过以下方式实现。按照视频帧中是否包含设定元素,对所述视频文件进行分段,得到多个分段视频文件;或者,将所述视频文件中分为多个视频帧;或者,按照设定的段数和/或每段的时间,对所述视频文件进行分段,得到多个分段视频文件。
在一个可能的设计中,将所述视频文件进行分段后得到的多个分段视频文件中的至少一个分段视频文件进行重组,包括以下任意一项或多项操作:所述视频文件进行分段后得到的多个分段视频文件中的至少一个分段视频文件,进行正序操作或倒序操作,所述正序操作是指按照视频帧的正向顺序重组成一个视频文件,所述倒序操作是指按照视频帧的逆向顺序重组成一个视频文件;或者,对所述视频文件进行分段后得到的多个分段视频文件中的至少两个分段视频文件进行拼接;或者,对所述视频文件进行分段后得到的多个分段视频文件中的至少一个分段视频文件进行自定义操作,自定义操作包括添加转换效果、添加水印、添加滤镜、添加音乐、提取音乐、添加主题、或添加文本中的至少一种。通过对多个分段视频文件进行重组,能够使得视频编辑更加多元化,提高视频处理性能。
在一个可能的设计中,将所述视频文件与其他视频文件进行重组,包括以下任意一项或多项操作:对所述视频文件与其他视频文件中的一个或多个视频文件,进行正序操作或倒序操作,所述正序操作是指按照视频帧的正向顺序重组成一个视频文件,所述倒序操作是指按照视频帧的逆向顺序重组成一个视频文件;或者,对所述视频文件与其他视频文件进行拼接;或者,对所述视频文件与其他视频文件进行自定义操作,自定义操作包括添加转换效果、添加水印、添加滤镜、添加音乐、提取音乐、添加主题、或添加文本中的至少一种。通过对多个视频文件进行重组,能够使得视频编辑更加多元化,提高视频处理性能。
在一个可能的设计中,第二操作包括点击一键编辑指令的操作。一键编辑可以简化视频编辑的处理流程,提高视频编辑的效率。
第二方面,还提供一种电子设备,包括:一个或多个处理器;一个或多个存储器;其中,所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如下步骤:
检测到用于打开视频文件的第一操作,响应于所述第一操作,打开所述视频文件,检测到用于编辑所述视频文件的第二操作,响应于所述第二操作,显示功能选项,检测到用于选择所述功能选项的第三操作;响应于所述第三操作,执行以下一项或多项处理过程:除去所述视频文件中符合预设条件的帧,得到除去了符合预设条件的帧的视频文件;或者,对所述视频文件中的一个或多个视频帧的指定区域进行美化,得到美化后的视频文件;或者,对所述视频文件进行分段,得到多个分段视频文件;或者,将所述视频文件与其他视频文件进行重组,得到重组后的视频文件;或者,将所述视频文件进行分段后得到的多个分段视频文件中的至少一个视频文件进行重组,得到重组后的视频文件。通过对视频文件进行上述处理,能够提高视频文件的多元化和趣味性,提高视频处理的效果和性能。
在一个可能的设计中,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如下步骤:响应于所述第三操作,对所述视频文件的每一帧执行以上一项或多项处理过程;也可以是响应于所述第三操作,对视频文件的每隔一帧执行以上一项或多项处理过程;也可以是响应于所述第三操作,对视频文件的每隔多帧执行以上一项或多项处理过程。例如,对所述视频文件的每隔2帧执行处理过程,可以对视频文件的第1、3、5、7……帧执行处理过程。对视频文件的每一帧执行处理,能够提高视频处理的精度。对视频文件的每隔一帧或多帧进行处理,能够提高视频处理的效率。
在一个可能的设计中,在除去所述视频文件中符合预设条件的帧时,所述指令被所述一个或多个处理器执行,使得所述电子设备执行如下步骤:
(1)除去符合预设条件的视频帧。具体地,将待检测帧中的第一像素与模板帧中的第二像素进行比较,所述第二像素在所述模板帧中的位置与所述第一像素在所述待检测帧中的位置相同;若所述第一像素与所述第二像素的一致性超过设定阈值,则除去所述待检测帧。
(2)除去视频帧中的符合预设条件的区域。具体地,将待检测帧中待检测区域的第三像素与模板帧中对应区域的第四像素进行比较,所述第四像素在所述模板帧中对应区域的位置与所述第三像素在所述待检测帧中待检测区域的位置相同;若所述第三像素与所述第四像素的一致性超过设定阈值,则除去所述待检测区域。
可选的,电子设备还可以检测到用于选择区域的第四操作,响应于所述第四操作,确定所述待检测帧中的所述待检测区域。
可选的,所述模板帧中对应区域包括用户选定区域,电子设备还可以检测到用于选择区域的第五操作,响应于所述第五操作,确定所述用户选定区域的所述第四像素。
(3)除去视频帧中的符合预设条件的点。具体地,将待检测帧中待检测点的像素第五像素与模板帧中对应点的第六像素进行比较,所述模板帧中所述对应点的位置与所述待检测帧中所述待检测点的位置相同;若所述第五像素与所述第六像素的一致性超过设定阈值,则除去所述待检测点。
(4)除去视频帧中的符合预设条件的线。具体地,将待检测帧中待检测线的第七像素与模板帧中对应线的第八像素进行比较,所述模板帧中所述对应线的位置与所述待检测帧中所述待检测线的位置相同;若所述第七像素与所述第八像素的一致性超过设定阈值,则除去所述待检测线。
可选的,当所述指令被所述一个或多个处理器执行时,使得所述电子设备通过扫描的方式获取所述待检测帧的待检测线。
通过除去视频文件中符合预设条件的帧,使得处理后的视频的效果更好或者更符合用户的需求。
在一个可能的设计中,上述模板帧包括异常场景的帧,所述异常场景包括以下一项或多项:黑屏、花屏或绿屏。也可以是预定义的其它场景。
在一个可能的设计中,在对所述视频文件中的视频帧的指定区域进行美化时,所述指令被所述一个或多个处理器执行,使得所述电子设备执行如下步骤:可以对视频帧中的指定区域进行美化,也可以对所述视频文件中的视频帧的人物区域进行美化;也可以对所述视频文件中的视频帧的风景区域进行美化。通过对视频帧的部分区域进行美化,能够适应用户的需求,避免对视频帧的全部画面进行美化导致的失真,使得美化效果更加真实。
在一个可能的设计中,在对所述视频文件进行分段,得到多个分段视频文件时,所述指令被所述一个或多个处理器执行,使得所述电子设备执行如下步骤:按照视频帧中是否包含设定元素,对所述视频文件进行分段,得到多个分段视频文件;或者,将所述视频文件中分为多个视频帧;或者,按照设定的段数和/或每段的时间,对所述视频文件进行分段,得到多个分段视频文件。
在一个可能的设计中,在将所述视频文件进行分段后得到的多个分段视频文件中的至少一个分段视频文件进行重组时,所述指令被所述一个或多个处理器执行,使得所述电子设备执行如下任意一项或多项操作:对所述视频文件进行分段后得到的多个分段视频文件中的至少一个分段视频文件,进行正序操作或倒序操作,所述正序操作是指按照视频帧的正向顺序重组成一个视频文件,所述倒序操作是指按照视频帧的逆向顺序重组成一个视频文件;或者,对所述视频文件进行分段后得到的多个分段视频文件中的至少两个分段视频文件进行拼接;或者,对所述视频文件进行分段后得到的多个分段视频文件中的至少一个分段视频文件进行自定义操作,自定义操作包括添加转换效果、添加水印、添加滤镜、添加音乐、提取音乐、添加主题、或添加文本中的至少一种。通过对多个分段视频文件进行重组,能够使得视频编辑更加多元化,提高视频处理性能。
在一个可能的设计中,在将所述视频文件与其他视频文件进行重组时,所述指令被所述一个或多个处理器执行,使得所述电子设备执行如下任意一项或多项操作:对所述视频文件与其他视频文件中的一个或多个视频文件,进行正序操作或倒序操作,所述正序操作是指按照视频帧的正向顺序重组成一个视频文件,所述倒序操作是指按照视频帧的逆向顺序重组成一个视频文件;或者,对所述视频文件与其他视频文件进行拼接;或者,对所述视频文件与其他视频文件进行自定义操作,自定义操作包括添加转换效果、添加水印、添加滤镜、添加音乐、提取音乐、添加主题、或添加文本中的至少一种。通过对多个视频文件进行重组,能够使得视频编辑更加多元化,提高视频处理性能。
在一个可能的设计中,第二操作包括点击一键编辑指令的操作。一键编辑可以简化视频编辑的处理流程,提高视频编辑的效率。
第三方面,还提供一种电子设备,该电子设备包括执行第一方面或者第一方面的任意一种可能的设计的方法的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。
第四方面,还提供一种芯片,所述芯片与电子设备中的存储器耦合,执行本申请实施例第一方面及其第一方面任一可能设计的技术方案;本申请实施例中“耦合”是指两个部件彼此直接或间接地结合。
第五方面,还提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行第一方面及其第一方面任一可能设计的技术方案。
第六方面,还提供一种计算机程序产品,包括指令,当所述指令在计算机上运行时,使得如第一方面及其第一方面任一可能设计的技术方案被执行。
第七方面,还提供一种电子设备上的图形用户界面,所述电子设备具有一个或多个存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,所述图形用户界面包括所述电子设备执行第一方面及其第一方面任一可能设计的技术方案时显示的图形用户界面。
以上第三方面到第七方面的有益效果,请参见第一方面的有益效果,不重复赘述。
附图说明
图1为本申请实施例中电子设备的结构示意图之一;
图2为本申请实施例中电子设备的结构示意图之二;
图3为本申请实施例中视频剪辑的方法示意图;
图4a、图4b、图4c-1、图4c-2、图4c-3、图4d、图4e、图4f-1、图4f-2、图4g-1、图 4g-2、图4h-1、图4h-2、图4i-1、图4i-2、图4j-1、图4j-2、图4k-1、图4k-2、图4l-1、图 4l-2、图4l-3、图4l-4、图4l-5、图4l-6、图4l-7、图4l-8、图4l-9和图4l-10为本申请实施例中手机的图形用户界面的示意图;
图5为本申请实施例中除去隐私信息的流程示意图;
图6为本申请实施例中实现视频处理功能的功能模块示意图;
图7为本申请实施例中对视频进行处理的流程示意图;
图8a为本申请实施例中视频除杂模块对视频的帧进行除杂的方法流程示意图之一;
图8b为本申请实施例中视频除杂模块对视频的帧进行除杂的方法流程示意图之二;
图9a为本申请实施例中视频美化模块对视频的帧进行美化的方法流程示意图之一;
图9b为本申请实施例中视频美化模块对视频的帧进行美化的方法流程示意图之二;
图10a为本申请实施例中视频分段模块对视频进行分段的方法流程示意图之一;
图10b为本申请实施例中视频分段模块对视频进行分段的方法流程示意图之二;
图11为本申请实施例中视频重组模块对视频进行重组的方法流程示意图;
图12为本申请实施例中针对视频帧进行图像优化处理的示意图;
图13a为本申请实施例中应用程序层实现的示意图;
图13b为本申请实施例中系统库中算法的示意图;
图14为本申请实施例中视频处理方法流程示意图;
图15为本申请实施例中芯片系统示意图。
具体实施方式
下面将结合附图,对本申请实施例进行详细描述。
本申请实施例提供一种视频处理方法及电子设备,以期提高视频处理的效果及性能。
首先,对本申请实施例中涉及的电子设备进行说明。
电子设备可以是支持视频处理功能的任何电子设备。电子设备可以对视频文件进行处理,例如,视频文件可以是正在录制的视频文件,也可以是正在播放的视频文件,也可以是已经保存的视频文件。
示例性地,电子设备可以是包含诸如个人数字助理(personal digitalassistant,PDA)和/ 或音乐播放器等功能的便携式电子设备,诸如个人计算机(PersonalComputer,PC)、平板电脑、具备无线通讯功能的可穿戴设备(如智能手表)、上网本、增强现实技术(Augmented Reality,AR)设备、虚拟现实(Virtual Reality,VR)设备、车载设备、智能汽车、智能音响、机器人等。
便携式电子设备的示例性实施例包括但不限于搭载鸿蒙安卓微软/>或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备,诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是,在本申请一些实施例中,上述电子设备也可以不是便携式电子设备,而是具有触敏表面(例如触控面板)的台式计算机。
下面以电子设备为手机为例,描述本申请实施所应用的一种电子设备的结构。
如图1所示,手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器 170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module, SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器 180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。显示屏194可以是触摸显示屏。
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。本申请实施例提供的方案可以由处理器110来控制或调用其他部件来完成,比如调用内部存储器121中存储的本申请实施例的处理程序,或者通过外部存储器接口120 调用第三方设备中存储的本申请实施例的处理程序,来控制移动通信模块150或无线通信模块160向其他电子设备进行数据通信,以实现视频处理。
其中,控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。显示屏194用于显示图像,视频等。比如,在显示屏194上显示手机屏幕的主界面,或者锁屏界面,或者负一屏界面,或者系统自带的通讯应用的用户界面,或者其他三方应用的用户界面等,以及在这些显示界面上显示本申请实施例中所述的视频。
GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194包括显示面板。在一些实施例中,手机100可以包括1个或N个显示屏194, N为大于1的正整数。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过手机100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块 141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
手机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP 加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,手机100可以包括1个或多个摄像头193。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100 的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。手机100还包括按键190,马达191,指示器 192,SIM卡接口。
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者重组某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备的软件结构。
图2是本申请实施例的电子设备的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序层可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序包。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
本申请实施例中,涉及到的应用程序可以包括图库、相机、视频、浏览器等可以播放视频文件的应用程序。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
在本申请实施例中,用于播放视频文件的应用可以通过内容提供器来获取电子设备中存储的视频文件的信息。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
在本申请实施例中,用于播放视频文件的应用可以通过视图系统,显示从视频文件中抽取出的各个元素的图标等。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
为了更好地理解本申请实施例提供的技术方案,下面首先介绍本申请实施例的应用场景。以下实施例的介绍将以图1或图2所示的电子设备是手机为例,结合附图介绍本申请实施例提供的技术方案。
用户通常会在分享或者发布一段视频时,对视频文件进行处理。该处理包括对视频文件的编辑,例如视频剪辑,即将一段视频剪辑为用户想要展示的部分视频。一般情况下,视频剪辑的方法如图3所示,进入视频编辑界面,用手滑动到起点,用手滑动到终点,确定起点和终点的视频,保存编辑好的视频。即,对视频文件的剪辑需要用户手动选择视频的起点和终点。
图3实施例对应的视频剪辑的方法操作复杂,编辑效率较低,且用户只能对视频进行简单的裁剪,视频效果并不会理想。
本申请实施例提供一种视频处理方法及电子设备,以期提高视频编辑的效率以及提高视频编辑的性能。
本申请实施例所涉及的“视频”可以是任意类型或任意长度的视频,例如可以是短视频,也可以是长视频。待处理的视频文件可以称为源视频、源视频文件、待编辑的视频、待编辑的视频文件、视频文件或其他类似的称呼。
对视频的编辑也可以称为对视频的处理,对视频的编辑可以包括以下任意一种或多种:除杂、美化、分段和重组。本申请实施例提供了对视频进行除杂的方法、对视频进行美化的方法、对视频进行分段的方法以及对视频进行重组的方法。各个方法之间可以独立形成本申请实施例需要保护的方法,也可以任意结合形成本申请实施例需要保护的方法。例如,可以对待处理的源视频进行除杂和美化,得到处理后的视频。又例如,可以对待处理的源视频进行分段和重组,得到处理后的视频。又例如,对待处理的源视频依次进行除杂、美化、分段和重组,得到处理后的视频。
在一个可能的实现方式中,本申请实施例提供一键编辑的入口,用户可以通过一键编辑的入口,实现对视频进行一键的处理,得到处理后的视频。一键编辑的功能可以包括上述除杂、美化、分段和重组中的部分或全部,还可以包括其他功能。一键编辑包括的功能类型可以通过自定义的方式确定,也可以是预先设定好的。
电子设备(例如手机、平板电脑)在接收到用户输入的一键编辑的指令后,可以使用相关的功能的算法来实现智能编辑的处理。本申请实施例提供的对视频一键编辑的方式,可以嵌入式到图库、相机等多媒体的应用程序(application,APP)中,不依赖底层硬件设备。相机提供拍摄照片或者视频的能力,图库中保存多种图片和视频的源文件。在对视频文件进行编辑处理时,图库可以作为一个合适的入口,相机也可以作为入口。以下以在图库实现对视频编辑的入口为例,并且以电子设备为手机为例,对视频编辑的场景进行举例说明。
如图4a所示,为手机的主界面的一种示例,用户在手机的主界面上选择图库的图标,手机检测到用户点击图库的图标的操作后,显示图4b所示的界面。图4b为图库的一种显示示例。在一个可能的实施例中,用户在图库里选择一个需要进行编辑处理的视频文件,手机检测到用户选择的视频文件,可以进入如图4c-1所示的界面。图4c-1示出了手机的一种图形用户界面(graphical user interface,GUI),图4c-1的界面中包括待编辑的视频界面402,视频界面402包括播放按钮404。图4c-1的界面中还包括功能区域405,功能区域405 中包括一个或多个功能选项,功能选项中包括编辑406。用户可以点击编辑406的功能选项,手机检测到用户点击编辑406的功能选项的操作后,可以进入如图4c-2所示的编辑界面。图4c-1的界面中功能选项还可以包括其他功能,例如,分享、收藏、删除或更多等。在另一个可能的实施例中,用户在图库里选择一个需要进行编辑处理的视频文件,手机检测到用户选择的视频文件,还可以直接进入如图4c-2所示的编辑界面。图4c-2示出了手机的一种GUI,该GUI可以称为第一视频编辑界面401。可以理解,若手机检测到用户点击图库中该视频的图标的操作后,进入第一视频编辑界面401;或者,若手机检测到用户选择该视频文件的操作,进入图4c-1的界面,进一步手机检测到用户点击编辑406的功能选项的操作后,进入第一视频编辑界面401。第一视频编辑界面401包括待编辑的视频界面402,播放视频条区域403。待编辑的视频界面402包括播放按钮404。若手机检测到用户点击待编辑的视频的播放界面402中的播放按钮404,则在待编辑的视频界面402对应的区域播放该视频,并在播放视频条区域403对应显示该视频的播放画面。第一视频编辑界面401还可以包括一键编辑按钮。第一视频编辑界面401还可以包括音乐、滤镜或者文本等功能选项。一键编辑按钮可以用于实现对待处理视频的一键编辑,其中,一键编辑的功能可以是除杂、美化、分段和重组中的一种或多种功能,还可以包括更多的功能。音乐按钮可以用于对待处理视频增加音乐,可以是对一键编辑处理后的视频增加音乐。滤镜按钮可以用于对待处理视频增加滤镜,可以对一键编辑处理后的视频增加滤镜。文本按钮可以用于对待处理视频增加文本,可以对一键编辑处理后的视频增加文本。音乐、滤镜或文本等功能,都可以是对一键编辑处理后的视频进行相应的功能处理,音乐、滤镜或文本的处理顺序可以根据用户的选择而定,处理结果可以叠加,例如,在增加滤镜后的视频中添加文本;又例如,在添加文本后的视频中增加音乐。
如图4c-3所示,用户可以选择一键编辑按钮,手机在检测到用户点击一键编辑按钮后,显示如图4d所示的第二视频编辑界面401’。第二视频编辑界面401’与第一视频编辑节点401 类似,也包括待编辑的视频界面402,还包括播放视频条区域403,待编辑的视频界面402 包括播放按钮404。第二视频编辑界面401’还包括功能区域405。第二视频编辑界面401’的功能区域405包括一键编辑按钮触发的各个处理功能,可以包括除杂、美化、分段或重组中的一个或多个功能选项。功能区域405也可以包括更多或更少的功能,例如只包括分段和重组。
可选的,也可以不显示一键编辑按钮,用户点击视频编辑的入口图标的操作后,手机检测到用户点击视频编辑的入口图标的操作,直接执行一键编辑对应的功能。
在一种实现方式中,用户可以进一步选择除杂、美化、分段和重组的功能选项,手机检测到用户点击的功能选项的操作后,实现对应的处理功能。用户可以任意选择其中一项或多项功能,手机执行对应处理功能。用户选择功能区域405中的任意一项或多项功能,手机执行对应的处理功能,都可以得到处理后的视频,该处理后的视频可以被保存和/或转发等后续的操作。例如,用户选择功能区域405的除杂功能,手机检测到用户点击的该除杂功能的操作后,使用除杂算法对视频进行除杂的处理,得到除杂后的视频。进一步地,用户可以保存该除杂后的视频,也可以继续选择美化功能,手机检测到用户点击的美化功能的操作后,使用美化的算法对已除杂后的视频进行美化,得到美化后的视频。进一步地,用户可以保存该除杂及美化的视频,也可以继续选择分段功能,手机检测到用户点击的分段功能的操作后,使用分段的算法对已除杂和美化后的视频进行分段,得到分段后的视频。进一步地,用户可以保存该除杂、美化和分段的视频,也可以继续选择重组功能,手机检测到用户点击的重组功能的操作后,使用重组的算法对已除杂、美化和分段后的视频进行重组,得到重组后的视频。当然,用户可以按照其他任意的顺序选择功能区域405的一个或多个功能。可以理解的是,用户可以一次性选择一个或多个功能,例如用户依次点击功能区域405的一个或多个功能选项,手机可以根据用户选择的功能选项进行与功能选项对应的处理,还可以按照用户选择的顺序依次执行与功能选项对应的处理。
在另一种实现方式中,用户选择一键编辑按钮,手机在检测到用户点击一键编辑按钮后,对源视频按照设定的次序依次执行功能区域405的各个功能,无需用户再次选择各个功能。设定的次序可以是除杂、美化、分段和重组,也可以是其它次序,例如分段、重组、除杂和美化。功能区域405也可以包括更多或更少的功能,例如只包括分段和重组,手机在检测到用户点击一键编辑按钮后,对源视频依次进行分段和重组。这种场景下,可以先设定模板,模板中包括设定的次序,以及设定的次序对应的功能。模板可以是默认的模板,也可以是用户自定义的模板。其中,默认的模板可以是系统推荐的模板,也可以是用户自定义后保存的模板。例如,假设设定的模板包括默认模板和自定义模板。如图4c-3所示,用户可以选择一键编辑按钮,手机在检测到用户点击一键编辑按钮后,显示如图4e所示的界面,如图4e所示的界面的功能区域405包括默认模板和自定义模板。用户进一步选择默认模板,手机对待处理视频按照默认模板的次序,执行各个功能;或者,用户进一步选择自定义模板,手机对待处理视频按照自定义模板的次序,执行各个功能。
可以理解,用户可以通过其他方式进入视频编辑的界面,手机可以根据用户输入的其他操作执行视频编辑的功能。例如,用户长按视频文件;又例如,用户双击视频文件;还可以通过其他操作选中待处理的视频文件进入视频编辑的界面。也可以如上所述,类似于图4c-2所示的一键编辑按钮,进入视频编辑的界面。此处所述的视频编辑的界面可以是指出现各个视频处理功能的界面。
用户在对视频编辑的过程中是可以实时预览的,可以根据实时预览的视频处理效果根据需要进行保存。
以下对本申请实施例涉及的对视频进行处理的各个功能分别进行介绍。
一、除杂
除杂可以认为是除去视频文件中符合预设条件的帧。
除杂可以通过以下除杂方法1实现:(1)将待检测帧中的第一像素与模板帧中的第二像素进行比较,第二像素在模板帧中的位置与第一像素在待检测帧中的位置相同;(2)若第一像素与第二像素的一致性超过设定阈值,则该待检测帧符合预设条件,除去该待检测帧。当待检测帧符合预设条件时可以认为该待检测帧为杂质帧。其中,可以对视频中的每一帧逐帧进行检测,待检测帧为视频中依次选中的一帧。也可以对视频的每隔多帧进行检测,例如,每隔两帧进行检测,待检测帧为视频中每隔多帧选中的一帧。
模板帧可以是预先通过训练得到的帧,模板帧符合杂质帧的特点。将待检测帧中的第一像素与模板帧中的第二像素进行比较,当第一像素和第二像素的一致性超过设定阈值时,认为该待检测帧是杂质帧。模板帧包括异常场景的帧,或者说模板帧中的像素可以是符合预设的异常场景的像素,异常场景例如可以是黑屏、花屏或绿屏。例如,根据经验值,可以确定黑屏的帧的像素的值,当待检测帧中的像素的值与黑屏的帧的像素的值具有一致性,则该像素为符合黑屏的像素的值。第一像素和第二像素的一致性超过设定阈值,可以是指待检测帧的所有像素中,具有超过设定阈值的像素符合模板帧的像素的特点。该设定阈值可以是60%、70%、或80%等值。
异常场景还可以扩展为任意设定的场景,例如,还可以是隐私信息,用户不想分享的事物模板帧可以是用户自己确定的,例如用户在视频中选择一个区域,电子设备根据用户选择的区域,确定模板帧中的第二像素,再与第一像素进行比较,当第一像素和第二像素的一致性超过设定阈值时,确定出待检测帧为杂质帧,这里的杂质帧并不是真的有问题的帧,而是广泛意义的可以被删除的帧,可以根据用户的意愿确定的场景。其中,用于在视频中选择一个区域,可以是值用户在视频的界面中绘制出一个区域或者圈选出一个区域,该区域可以是矩形。该区域也可以是其它形状,例如椭圆形、或圆形。当区域是其它形状时,可以按照视频的分辨率,选择最大的内切的满足同等分辨率的图形即可。
除杂方法1对待检测帧的每个像素进行检测,检测结果的精度比较高,但是可能耗能比较大,效率比较低。本申请实施例还提供了除杂方法2。
除杂方法2包括以下步骤:1、将待检测帧中待检测区域的第三像素与模板帧中对应区域的第四像素进行比较,第四像素在模板帧中对应区域的位置与第三像素在待检测帧中待检测区域的位置相同;2、若第三像素与第四像素的一致性超过设定阈值,则认为待检测区域符合预设条件,除去该待检测区域。当待检测区域符合预设条件时,可以认为待检测帧中待检测区域为杂质区域。
其中,待检测区域可以是用户自定义的,电子设备可以根据用户输入的区域选择指令确定待检测帧中的待检测区域。例如,一般视频帧的边角处的效果不是很好,可以把待检测区域缩小到边角处,在匹配度不变的情况下可以提升除杂的敏感度。
除杂方法2也可以称为区域对比法。除杂方法2可以默认待检测区域为全屏范围。
本申请实施例还提供了除杂方法3。
除杂方法3包括以下步骤:1、将待检测帧中待检测线的第七像素与模板帧中对应线的第八像素进行比较,模板帧中对应线的位置与待检测帧中待检测线的位置相同;2、若第七像素与第八像素的一致性超过设定阈值,则确定待检测帧中待检测点为杂质线,则认为待检测线符合预设条件,除去该待检测线。当待检测线符合预设条件时,可以认为该待检测线为杂质线。
例如,可以对待检测帧中的竖向待检测线从左到右扫描,对扫描到的待检测线依次进行比较,当然也可以选择隔多条线进行比较,确定待检测帧中的杂质线。
又例如,可以对待检测帧中的横向待检测线从上到下扫描,对扫描到的待检测线依次进行比较,当然也可以选择隔多条线进行比较,确定待检测帧中的杂质线。
除杂方法3也可以称为点线对比法。按照除杂方法3,能够提升除杂的敏感度,例如,按照除杂方法1去检测,可能待检测帧不是杂质帧,不能除去该帧,但是按照除杂方法3检测,该待检测帧中可能会出现杂质线。
上述除杂的方法可以除去异常场景的帧、区域或线。此外,除杂方法2还可以除去视频中的隐私信息。隐私信息可以是用户自定义的,例如,地理位置、或私人用品,或其他用户不想分享的信息。上述除杂方法2中的步骤1,将待检测帧中待检测区域的第三像素与模板帧中对应区域的第四像素进行比较,其中,模板帧可以是用户自己确定的,例如用户在视频中选择隐私信息所在的区域,那么用户选定区域的第四像素需要预先确定好,电子设备可以先确定用户选定区域,并确定用户选定区域的第四像素的值,再将第三像素与第四像素进行比较,当第三像素和第四像素的一致性超过设定阈值时,确定出待检测帧为杂质区域,这里的杂质区域并不是真的有问题的区域,而是广泛意义的可以被除去的区域。
如图5所示,除去隐私信息的流程可以如下所述。用户根据自己设定的规则,基于视频内容选择除去对象,例如除去对象可以是视频内容中的物品或者信息。电子设备在检测到用户输入的除杂指令时,除去视频中所有的除去对象,生成用户想要的视频。
举例来说,比如用户拍摄的视频中存在自己的宠物狗,为了不暴露用户的兴趣爱好,可以对视频帧中的小狗进行除去。可以通过确定模板帧中小狗所在区域的第四像素,将待检测针中的待检测区域的第三像素与模板帧中小狗所在区域的第四像素进行比较,在第三像素与第四像素的一致性超过设定阈值时,确定待检测帧中的待检测区域为小狗。可以认为小狗就是杂质,除去待检测帧中的小狗区域。这种方法能够保留视频帧,只是将其中的小狗进行擦除或者遮挡。擦除可以时候用周边的景色进行补齐替换,直接可以使用视频中的其他有用帧资源即可。遮挡的方式就可以使用马赛克的方式进行处理即可。
还有一种保护隐私信息的方法,可以直接将有小狗的视频帧都删除,这样可能会导致视频文件的连贯性存在断裂,但是可以完全擦除隐私信息。用户可以通过进一步编辑视频的方式来确保连贯性。
可以根据用户选定的区域的像素,生成模板帧,后续在对其它视频帧进行处理时,可以使用该模板帧。这样使得模板帧越来越丰富,视频处理过程更加简便快捷。
模板帧也可以包括默认模板帧和自定义模板帧,默认的模板帧可以是系统推荐的模板帧,也可以是用户自定义后保存的模板帧。如图4c-3所示,用户可以选择一键编辑按钮,手机在检测到用户点击一键编辑按钮后,显示如图4d所示的第二视频编辑界面401’。第二视频编辑界面401’显示的界面中包括功能区域405,功能区域405可以包括除杂、美化、分段和重组的功能选项。进一步地,如图4f-1所示,用户可以选择除杂的功能选项,手机检测到用户点击的除杂的功能选项的操作后,可以显示如图4f-2所示的界面,在功能区域405显示默认模板帧和自定义模板帧。用户进一步选择默认模板帧,手机按照默认模板帧对其它视频帧进行处理;或者,用户进一步选择自定义模板帧,手机按照自定义模板帧对其它视频帧进行处理。
二、美化
即对视频进行美化。可以对源视频进行美化,也可以对经过其它处理后的视频进行美化,例如对源视频经过除杂处理后,再进行美化处理。
本申请实施例中,可以对待处理帧中的不同类型的区域分别进行美化。例如,待处理帧中包括人物,还包括风景。电子设备可以获取待处理帧中的人物区域,对人物区域进行美化。电子设备也可以获取待处理帧中的风景区域,对风景区域进行美化。可以只对人物区域进行美化,得到美化后的视频。也可以只对风景区域进行美化,得到美化后的视频。还可以对人物区域和风景区域分别进行美化,得到美化后的视频。相对于对整个图像进行美化,能够针对不同区域的特点进行不同的美化功能,得到的美化后的视频能够更贴近用户的需求,更加真实,性能更好,更具有自由度。
例如,人物的美化主要集中在眼睛、美颜及美体塑形等,风景美化主要针对整个画面而言,主要包括亮度、滤镜、对比度、饱和度等功能。当选择对人物进行美化时,只会对人物进行美化,不会改变风景。例如,图4d所示的第二视频编辑界面401’显示的界面中包括功能区域405,功能区域405可以包括除杂、美化、分段和重组的功能选项。进一步地,如图4g-1所示,用户可以选择美化的功能选项,手机检测到用户点击的美化的功能选项的操作后,可以显示如图4g-2所示的界面,在功能区域显示功能选项,例如,功能选项可以包括人物美化和风景美化,还可以包括自定义美化的功能选项。自定义美化的功能可以根据用户选择的特定区域进行美化。例如,用户选择视频文件中视频画面中的特定区域,手机检测到用户选择的该特定区域,可以对该特定区域进行美化。可以理解的是,功能区域还可以显示更多或更少的功能选项。如图4h-1所示,假设用户选择人物美化的功能,手机检测到用户点击的人物美化的功能选项的操作,可以进一步显示如图4h-2所示的界面,图 4h-2所示的界面中在功能区域显示人物美化的各个功能选项,例如包括眼睛、美颜和美体塑形等。如图4i-1所示,用户可以选择美体塑形,手机检测到用户点击的美体塑形的功能选项的操作,对视频帧中的人物进行美体塑形,并显示图4i-2所示的界面,用户可以实时观察美体塑形的效果。可以理解是,当选择对人物进行美体塑形时,旁边的风景并不会被执行美体塑形的处理,从而美化的视频能够更加真实。可以理解的是,图4g-1、图4g-2、图4h-1、图4h-2、图4i-1和图4i-2为了显示人物和风景的美化效果,与图4c-1、图4c-2、图4c-3、图4d、图4e、图4f-1和图4f-2所显示的是不同的视频画面。
对视频进行美化,即对视频中的待处理帧进行美化。可以对视频中的每一帧逐帧进行美化,待处理帧为视频中依次选中的一帧。也可以对视频的每隔多帧进行检测,例如,每隔两帧进行检测,待处理帧为视频中每隔多帧选中的一帧。
可选的,也可以对待处理帧中的某一个区域进行美化。可以是用户自定义的区域,或者预先设置的区域。
三、分段
即对视频进行分段。可以对源视频进行分段,也可以对经过其它处理后的视频进行分段,例如对源视频经过除杂和美化处理后,再进行分段处理。
一种可能的设计中,可以从视频的起始帧开始,按照帧中是否包含设定的元素进行分段。设定的元素例如可以是人物。比如当用户拍摄风景的过程中突然进入了一些游人,可以按照这种分段的方法将有人物的视频帧和无人物的视频帧进行分段,得到无人物的视频帧,从而提高拍摄风景的画面的效果。设定的元素还可以是其它的类别,比如动物、风景、建筑或用户自定义的其它任何的元素。
从视频的起始帧开始,逐帧进行判断,当连续的两帧为是否有设定的元素的分界点时,进行分段。例如,第m帧与第n帧连续,第n帧为第m帧的下一帧,第m帧与该第m帧之前的所有帧都没有设定的元素,第n帧出现设定的元素,则将第m帧与该第m帧之前的所有帧划分为一段。第n帧开始连续的多帧都有设定的元素,从第k帧开始没有设定的元素,则将第n帧开始连续的多帧划分为一段。第k帧与该第k帧之后连续的多帧都没有设定的元素,之后的第h帧出现设定的元素,则将第k帧与该第k帧之后连续的多帧划分为一段。
根据用户的需求,可以将有设定的元素的段作为用户需要的分段,没有设定的元素的段为用户不需要的分段。
对视频进行分段,可以对视频中的每一帧逐帧判断是否包含设定元素,待处理帧为视频中依次选中的一帧。也可以对视频的每隔多帧判断是否包含设定元素,例如,每隔两帧判断是否包含设定元素,只要是判断的多帧中有一帧包含设定元素,则将该多帧判定为包含设定元素。
另一种可能的设计中,可以从视频的起始帧开始,按照设定的段数进行分段,还可以按照每段的时间进行分段,还可以根据设定的段数结合每段的时间进行分段。设定的段数和每段的时间都可以是默认的也可以是用户设定的。
例如,用户可以将一个45秒(seconds,s)的视频分件分为3段,电子设备按照3段的设定,从视频的起始帧开始,每15秒分为一段,共分为3个分段。又例如,用户可以将一个45秒(seconds,s)的视频按照15秒每段进行分段,电子设备按照15秒每段的设定,从视频的起始帧开始,每15秒分为一段,共分为3个分段。又例如,用户可以将一个45 秒(seconds,s)的视频按照第一段10s,第二段20s,第三段15s的方式进行分段,电子设备按照该设定,从视频的起始帧开始,按照第一段10s,第二段20s,第三段15s的方式进行分段,共分为3个分段。
在另一种可能的设计中,可以从视频的起始帧开始,按照设定的时刻对视频进行分割。例如用户动态设定一个或多个时刻,手机根据一个或多个时刻对视频进行分割。举个例子,设定的多个时刻为第1s、第10s和第25s,那么手机在第1s、第10s和第25s的视频帧位置进行分割,那么整个待处理的视频分割为4段,0~1s为第一段,1s~10s为第二段,10s~25s 作为第三段,25s至最后一秒作为第四段,一共分为4个分段。
在另一种可能的设计中,对视频进行分段的情况还可以是单帧导出,即将视频以单帧进行分段,将视频中的所有帧文件变成图片导出并保存,视频分段的一段相当于是一个视频帧,这可以认为是最小粒度的分段。
可选的,本申请实施例中还可以对分段进行删除。可以根据用户的需求,对用户选择的分段进行删除,可以是用户选定任意一个或多个分段。
按照分段的可能的实现方式,可以在用户点击功能区域的分段功能选项之后,或者说可以在手机检测到执行分段的功能指令之后,显示分段的各个功能选项。例如,图4d所示的第二视频编辑界面401’显示的界面中包括功能区域405,功能区域405可以包括除杂、美化、分段和重组的功能选项。进一步地,如图4j-1所示,用户可以选择分段的功能选项,手机检测到用户点击的分段的功能选项的操作后,可以显示如图4j-2所示的界面。图4j-2 所示的界面的功能区域405显示功能选项,例如功能选项可以包括分割、单帧导出、删除、人物、动物、风景、建筑或自定义等功能选项。可以理解的是,功能区域405还可以显示更多或更少的功能选项。如上文按照帧中是否包含设定的元素进行分段的描述,假设用户选择人物的功能,手机检测到用户点击人物的功能选项的操作,可以按照帧中是否包含人物进行分段。类似的,假设用户选择动物的功能,手机检测到用户点击动物的功能选项的操作,可以按照帧中是否包含动物进行分段。
如图4k-1所示,假设用户选择分割的功能,手机检测到用户点击的分割的功能选项的操作,显示如图4k-2所示的界面。图4k-2所示的界面中包括视频条区域,如虚线框所示的区域403。视频条区域可以显示播放的视频进度。如图4k-2所示,视频条区域403所显示的区域,显示了两个黑色粗竖线,为已经分割的视频位置,中间有空方框的黑色长粗线为当前正在分割的视频位置。进行M次分割能够将视频分为(M+1)段。例如,进行一次分割能够将视频分为两段,进行两次分割能够将视频分为三段,进行三次分割能够将视频分为四段。
四、重组
即对多个视频文件进行重组。重组也可以称为组合。可以对源视频进行重组,例如将源视频文件与其他视频文件进行重组。也可以将源视频文件进行分段得到的多个分段视频文件,对该多个分段视频文件中的至少一个视频文件进行重组。也可以对经过其它处理后的视频进行重组,例如对源视频经过除杂、美化和分段处理后,再对分段后的视频文件进行重组处理。
重组的多个视频文件可以是不连续或者不按照源视频的播放顺序的,例如,源视频的从起始帧到终止帧的3段视频包括A、B和C,重组可以将A、B和C这三段视频按照任意顺序重组。还可以将多个任意视频文件进行重组,例如,将前置摄像头拍摄的视频与后置摄像头拍摄的视频进行重组,顺序不限定,可以实现将前置摄像头拍摄的场景和后置摄像头拍摄的场景无缝转换。
通过重组能够增加视频的趣味性和灵活性,提升视频处理性能。
对视频文件进行重组还可以包括以下处理方式:例如,正序、倒序、拼接或自定义的操作。以下分别进行举例说明。
例如,可以对多个视频文件进行正序操作,即按照正序播放顺序处理视频文件。具体可以对多个视频文件中的部分或全部视频文件进行正序操作。也可以对多个视频文件进行倒序操作,即按照逆向播放顺序处理视频文件。具体可以对多个视频文件中的部分或全部视频文件进行倒序操作。正序操作是指按照视频帧的正向顺序重组成一个视频文件,所述倒序操作是指按照视频帧的逆向顺序重组成一个视频文件。
举例来说,多个视频文件包括A、B和C,可以将A视频进行正序操作,B和C视频进行倒序操作。也就是说,A视频是按照录制的时候呈现的播放顺序进行播放,B和C视频是按照与录制的播放顺序相反的顺序进行播放。倒序操作能将原来视频按照终止帧开始起始帧结束的顺序播放。倒序操作也可以称为倒放或逆向操作。
也可以对多个视频文件进行拼接操作。例如可以对分段得到的多段视频进行拼接操作。例如,对源视频进行分段后,得到a、b、c、d四段视频,将a、b、c、d四段视频进行拼接,得到拼接后的一个视频。
还可以对多个视频文件进行自定义的操作,例如添加转场效果或转换效果、添加水印、滤镜、音乐、主题、文本等。可以对分段得到的多段视频进行该自定义的操作。
按照重组的可能的实现方式,可以在用户点击功能区域的重组功能选项之后,或者说可以在手机检测到执行重组的功能指令之后,显示重组的各个功能选项。例如,如图4l-1 所示,用户可以在图4d所示的第二视频编辑界面401’选择重组的功能选项,手机检测到用户点击的重组的功能选项的操作后,可以显示如图4l-2所示的界面,在功能区域405显示功能选项,例如显示正序、倒序、拼接或自定义等功能选项。进一步地,如图4l-3所示,当用户选择自定义功能之后,手机检测到用户点击的自定义的操作后,可以显示自定义的功能。自定义的功能例如可以是添加转场效果、添加水印、添加滤镜、添加音乐、提取音乐,添加主题、添加文本等自定义的功能,其中,音乐、滤镜和文本的功能即与一键编辑按钮平行显示的功能。自定义的按钮可以认为是添加音乐、添加滤镜和添加文本的功能的另一个功能入口。举例来说,可以显示如图4l-4所示的自定义的功能,显示滤镜、音乐、文本或自定义的功能。图4l-4显示的界面中功能选项为一种举例,其中,音乐即表示添加音乐的功能选项,滤镜即表示添加滤镜的功能选项,文本即表示添加文本的功能选项。
如图4l-5所示,用户可以选择音乐的功能选项,手机检测到用户点击的音乐的操作后,可以显示如图4l-6所示的界面。可以显示音乐对应的功能选项,例如添加音乐、提取音乐、音量、淡化、分割或删除等功能选项。图4l-6以显示添加音乐、提取音乐、音量和删除功能选项为例进行示意。
如图4l-7所示,用户可以选择滤镜的功能选项,手机检测到用户点击的滤镜的操作后,可以显示如图4l-8所示的界面。可以显示滤镜对应的功能选项,例如关闭滤镜、薄雾、摩登、INS、奶茶、青苔等功能选项。图4l-8以显示关闭滤镜、薄雾、摩登、INS的功能选项为例进行示意。
如图4l-9所示,用户可以选择文本的功能选项,手机检测到用户点击的文本的操作后,可以显示如图4l-10所示的界面。可以显示文本对应的功能选项,例如关闭文本、标题1、标题2、标题3的等功能选项。
至此,对各个处理的功能介绍完毕。
可以理解的是,电子设备对源视频进行编辑操作,均可以针对视频的每一帧进行处理,也可以对视频的每隔N帧进行编辑处理,N为正整数。
本申请实施例中,对视频的处理过程中可能会涉及到区域的选择,例如,对人物的选择、隐私信息的选择或风景的选择等,对区域的选择或识别的方法可以采用任意的方法,本申请实施例不作限定。
下面通过示意图对各个上述实施例对视频的处理功能做进一步示意说明。
如图6所示,示出了本申请实施例实现视频处理功能的功能模块示意图。通过相机或图库的应用,进入视频编辑模块。通过视频除杂模块对视频进行除杂处理,可以对视频的杂质帧进行除去,保证视频的可看性。通过视频美化模块对视频进行美化处理,可以对视频中的人物和风景分别进行美化,加强视频的效果。通过视频分段模块对视频进行分段处理,可以分成多段视频,提供给用户各个分段的编辑原材料,用户可以智能化的处理各个分段的效果,达到更好的编辑效果。通过视频重组模块对视频进行重组处理,用户可以按需进行重组并保存,从而可以产生更多的视频编辑的结果。
经过上述处理,完成对视频的编辑处理。可以理解的是,多个处理模块可以选择其中部分模块来对视频进行处理,第一个对视频处理的模块所处理的对象是源视频。后续对经过处理的视频进行继续处理的模块,所处理的对象可以称为待处理视频,并非源视频。
如图7所示,为对视频进行处理的流程示意图。视频处理系统包括应用层APP模块和算法模块。通过软件和算法的联合处理,提供给用户更好的视频编辑的处理方法。应用层APP模块包含图库,主要负责提供视频的源文件以及保存视频编辑结果。算法模块主要是视频编辑过程中用的各个算法,例如除杂算法,美化算法,分段算法,重组算法。算法模块提供了视频编辑的多个模块:视频除杂模块,视频美化模块,视频分段模块,视频重组模块。
如图8a所示,为视频除杂模块对视频的帧进行除杂的方法流程示意图,具体实现细节可以参考上文中第一点对除杂的描述,在此不再赘述。
如图8b所示,为视频除杂模块对视频的帧进行除杂的方法的一种举例的流程示意图。首先将视频的内容逐帧化处理,将每一帧的内容进行像素比对,针对黑屏、花屏、绿屏等异常场景的像素进行对比。还可以按照用户的设定,除去视频中的隐私信息,例如地理位置,私人物品等。根据像素比对,在相似度超过一定阈值时,可认为是杂质,需要除去。当然用户也可以按需自设置阈值,例如默认值可以使用80%。
像素比对的方式可以采用区域对比法,也可以采用点线对比法。区域对比法可以默认使用的就是全屏范围。用户也可以自定义某个范围,比如正常情况下,一般边角处的效果不是很好,那么可以把范围缩小,在匹配度不变的情况下可以提升除杂的敏感度。点线对比法主要就是针对出现花点,或者绿线等场景。这种杂质的区域较小,不太容易匹配。所以只要有花点或者绿线的场景可以直接认为是杂质帧。
删除所有的杂质帧之后,生成去杂后的视频,用户可以实时预览,并根据处理效果进行保存。
视频除杂的具体实现细节也可以参考上文中第一点对除杂的描述。
如图9a所示,为视频美化模块对视频的帧进行美化的方法流程示意图,具体实现细节可以参考上文中第二点对美化的描述,在此不再赘述。
如图9b所示,为视频美化模块对视频的帧进行美化的方法的一种举例的流程示意图。首先将视频的内容逐帧化处理。对帧文件进行美化处理,用户可以根据需要选择美化的方式,例如基于人物、风景或者自定义的方式进行美化。根据用户选择的美化特征,提供相关的美化功能项。用户设定一个或者多个美化功能项进行美化处理,比如人物中的眼睛或者美体塑形等。用户可以进行实时预览,并可以根据处理效果选择保存。
如图10a所示,为视频分段模块对视频进行分段的方法流程示意图,具体实现细节可以参考上文中第三点对分段的描述,在此不再赘述。
如图10b所示,为视频分段模块对视频进行分段的方法的一种举例的流程示意图。首先将视频的内容逐帧化处理。用户根据需要来设置帧间隔精度,比如2帧、5帧、10帧等。按照帧中是否包含设定元素进行分段,生成多个分段视频。设定元素可以是任务、风景、动物或者用户自定义的。例如,所有有人物的视频帧和无人物的视频帧之间是一个分段点。用户可以进行预览保存,即对视频进行实时预览并按照处理结果进行保存。其中用户自定义的分段方式,用户输入需要分段的总数和/或每一段的时间即可。比如用户可以直接可以将一个45S的视频文件分为3段,每段15S即可。具体实现细节可以参考上文中第三点对分段的描述。
如图11所示,为视频重组模块对视频进行重组的方法流程示意图,具体实现细节可以参考上文中第四点对分段的描述,在此不再赘述。
如图12所示,本申请实施例中,还可以针对视频帧进行图像优化处理,基于视频的连贯性,可以根据前后帧的相似性进行优化模板的连用,从而优化了整个视频文件。即,视频中前后帧的相似度比较高,可以采用前帧处理时保存的模板对后帧进行处理。例如,在前帧进行处理时,对前帧进行美化处理,比如只美化了某一个区域的眼睛,电子设备保存对前帧美化处理的模板,也可以是用户手动保存的模板。在对后帧进行处理时,可以采用前帧处理的模板,比如也可以只美化该区域的眼睛。
本申请实施例中,可以按照上文所述的各个视频处理的功能保存模板,在后续对视频进行处理时,可以按照模板一键编辑视频,比如用户可以点击一键编辑按钮,电子设备在响应用户输入的一键编辑按钮时,对视频按照模板进行一键编辑。其中模板中包括各个视频处理功能对应的算法,例如,可以包括除杂、美化、分段和重组的算法。
本申请实施例中,基于视频帧的像素比对,可以制定相关的黑名单,也可以制定白名单,来启动自动编辑处理视频的效果。例如,在对视频进行除杂时,杂质帧可以制定为黑名单。又例如,在对视频进行美化时,美化的区域可以制定为白名单。对视频帧中的黑名单进行除去,对白名单进行保留,得到处理后的视频。当然,也可以将杂志帧制定为白名单,将美化区域制定为黑名单,保留杂质帧,除去美化区域,得到处理后的视频。
基于图2所示的软件结构框图,如图13a所示,本申请的一些实施例可以通过应用程序层实现。具体地,应用程序层中的相机和图库可以分别称为相机系统应用和图库系统应用,应用程序层包括相机系统应用和图库系统应用。通过相机系统应用可以用于拍摄视频,在拍摄视频完成之后,可以保存视频文件,保存的视频文件可以在图库系统应用中。图库系统应用可以用于打开视频文件。图库系统应用可以对打开的视频文件进行处理,可以检测到用户输入的操作,对视频文件进行除杂、美化、分段或重组中的至少一种处理,具体处理过程可以参照上述实施例中的描述,在此不再赘述。如图13b所示,本申请的一些实施例所应用的算法可以在系统库层实现,系统库也可以称为硬件抽象层(hardwareabstraction layer,HAL)。在硬件抽象层可以增加一些算法模块,例如,差分除杂算法、美化算法、分段算法、或重组算法,分别用于实现对视频文件的除杂、美化、分段或重组的处理过程。
结合上述实施例及相关附图,本申请实施例提供了一种视频处理方法,该方法可以在如图1或图2所示的电子设备(比如,手机,平板电脑等)中实现。如图14所示,该方法可以包括以下步骤:
1401,检测到用于打开视频文件的第一操作。
示例性的,以图4b为例,第一操作例如为用户点击图标的操作。
1402,响应于第一操作,打开视频文件。
示例性的,可以进入图4c-1的界面再进一步进入图4c-2的界面,也可以直接进入图4c-2 的界面。
1403,检测到用于编辑视频文件的第二操作。
示例性的,以图4c-3为例,第二操作例如为用户点击一件编辑的操作。
1404,响应于第二操作,显示功能选项。
示例性的,可以显示如图4d或图4e的界面。
1405,检测到用于选择功能选项的第三操作。
示例性的,第三操作可以是如图4f-1用户点击除杂图标的操作,也可以是如图4g-1用户点击美化图标的操作,也可以是如图4j-1用户点击分段图标的操作,也可以是如图4l-1 用户点击重组图标的操作。
1406,响应于所述第三操作,对视频文件的每一帧或每隔一帧或每隔多帧执行以下一项或多项处理过程:
除去视频文件中符合预设条件的帧,得到除去了符合预设条件的帧的视频文件,例如可以对应于如图4f-1用户点击除杂图标的操作;或者,对视频文件中的一个或多个视频帧的指定区域进行美化,得到美化后的视频文件,例如可以对应于如图4g-1用户点击除杂图标的操作;或者,对视频文件进行分段,得到多个分段视频文件,例如可以对应于如图4j-1 用户点击除杂图标的操作;或者,将视频文件与其他视频文件进行重组,得到重组后的视频文件,例如可以对应于如图4g-1用户点击除杂图标的操作;或者,将视频文件进行分段后得到的多个分段视频文件中的至少一个视频文件进行重组,得到重组后的视频文件,例如可以对应于如图4g-1用户点击除杂图标的操作。
电子设备执行的其它操作可以参考上文中的实施例的描述。可以理解的是,本申请实施例中各个附图所展示的为示例,实际应用中可以展现其它类似的界面。
申请实施例还提供一种芯片系统,如图15所示,该芯片系统包括至少一个处理器1501 和至少一个接口电路1502。处理器1501和接口电路1502可通过线路互联。例如,接口电路1502可用于从其它装置(例如手机100的存储器)接收信号。又例如,接口电路1502 可用于向其它装置(例如处理器1501)发送信号。示例性的,接口电路1502可读取存储器中存储的指令,并将该指令发送给处理器1501。当所述指令被处理器1501执行时,可使得终端执行上述实施例中的手机100执行的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种装置,该装置包含在终端中,该装置具有实现上述实施例中任一方法中终端行为的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,检测模块或单元、显示模块或单元,以及处理模块或单元等。
本申请实施例还提供一种计算机可读存储介质,包括计算机指令,当计算机指令在终端上运行时,使得终端执行如上述实施例中任一方法。
本申请实施例还提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如上述实施例中任一方法。
可以理解的是,上述终端等为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的范围。
本申请实施例可以根据上述方法示例对上述终端等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种视频处理方法,其特征在于,应用于电子设备,所述方法包括:
检测到用于打开视频文件的第一操作;
响应于所述第一操作,打开所述视频文件;
检测到用于编辑所述视频文件的第二操作,所述第二操作包括点击一键编辑指令的操作;
响应于所述第二操作,显示默认模板和自定义模板,所述默认模板和自定义模板分别包括设定的次序;
检测到用于选择所述默认模板或所述自定义模板的第三操作;
响应于所述第三操作,按照所述默认模板的次序或所述自定义模板中被选择的模板的次序对所述视频文件的每一帧或每隔一帧或每隔多帧执行以下至少两项处理过程:除去所述视频文件中符合预设条件的帧,得到除去了符合预设条件的帧的视频文件;或者,对所述视频文件中的一个或多个视频帧的指定区域进行美化,得到美化后的视频文件;或者,对所述视频文件进行分段,得到多个分段视频文件;或者,将所述视频文件与其他视频文件进行重组,得到重组后的视频文件;或者,将所述视频文件进行分段后得到的多个分段视频文件中的至少一个视频文件进行重组,得到重组后的视频文件。
2.如权利要求1所述的方法,其特征在于,所述除去所述视频文件中符合预设条件的帧,包括:
将待检测帧中的第一像素与模板帧中的第二像素进行比较,所述第二像素在所述模板帧中的位置与所述第一像素在所述待检测帧中的位置相同;
若所述第一像素与所述第二像素的一致性超过设定阈值,则除去所述待检测帧。
3.如权利要求1所述的方法,其特征在于,所述除去所述视频文件中预定义的帧,包括:
将待检测帧中待检测区域的第三像素与模板帧中对应区域的第四像素进行比较,所述第四像素在所述模板帧中对应区域的位置与所述第三像素在所述待检测帧中待检测区域的位置相同;
若所述第三像素与所述第四像素的一致性超过设定阈值,则除去所述待检测区域。
4.如权利要求3所述的方法,其特征在于,所述除去所述视频文件中符合预设条件的帧,还包括:
检测到用于选择区域的第四操作,响应于所述第四操作,确定所述待检测帧中的所述待检测区域。
5.如权利要求1所述的方法,其特征在于,所述除去所述视频文件中符合预设条件的帧,包括:
将待检测帧中待检测点的像素第五像素与模板帧中对应点的第六像素进行比较,所述模板帧中所述对应点的位置与所述待检测帧中所述待检测点的位置相同;
若所述第五像素与所述第六像素的一致性超过设定阈值,则除去所述待检测点。
6.如权利要求1所述的方法,其特征在于,所述除去所述视频文件中符合预设条件的帧,包括:
将待检测帧中待检测线的第七像素与模板帧中对应线的第八像素进行比较,所述模板帧中所述对应线的位置与所述待检测帧中所述待检测线的位置相同;
若所述第七像素与所述第八像素的一致性超过设定阈值,则除去所述待检测线。
7.如权利要求6所述的方法,其特征在于,所述除去所述视频文件中符合预设条件的帧,还包括:
通过扫描的方式获取所述待检测帧的待检测线。
8.如权利要求2~7任一项所述的方法,其特征在于,所述模板帧包括异常场景的帧,所述异常场景包括以下一项或多项:黑屏、花屏或绿屏。
9.如权利要求3所述的方法,其特征在于,所述模板帧中对应区域包括用户选定区域,所述除去所述视频文件中预定义的帧,还包括:
检测到用于选择区域的第五操作,响应于所述第五操作,确定所述用户选定区域的所述第四像素。
10.如权利要求1~7任一项所述的方法,其特征在于,所述对所述视频文件中的视频帧的指定区域进行美化,包括:
对所述视频文件中的视频帧的人物区域进行美化;和/或,
对所述视频文件中的视频帧的风景区域进行美化。
11.如权利要求1~7任一项所述的方法,其特征在于,所述对所述视频文件进行分段,得到多个分段视频文件,包括:
按照视频帧中是否包含设定元素,对所述视频文件进行分段,得到多个分段视频文件;或者,
将所述视频文件中分为多个视频帧;或者,
按照设定的段数和/或每段的时间,对所述视频文件进行分段,得到多个分段视频文件。
12.如权利要求11所述的方法,其特征在于,所述将所述视频文件进行分段后得到的多个分段视频文件中的至少一个分段视频文件进行重组,包括以下任意一项或多项操作:
所述视频文件进行分段后得到的多个分段视频文件中的至少一个分段视频文件,进行正序操作或倒序操作,所述正序操作是指按照视频帧的正向顺序重组成一个视频文件,所述倒序操作是指按照视频帧的逆向顺序重组成一个视频文件;或者,
对所述视频文件进行分段后得到的多个分段视频文件中的至少两个分段视频文件进行拼接;或者,
对所述视频文件进行分段后得到的多个分段视频文件中的至少一个分段视频文件进行自定义操作,所述自定义操作包括添加转换效果、添加水印、添加滤镜、添加音乐、提取音乐、添加主题、或添加文本中的至少一种。
13.如权利要求1~7任一项所述的方法,其特征在于,将所述视频文件与其他视频文件进行重组,包括以下任意一项或多项:
对所述视频文件与其他视频文件中的一个或多个视频文件,进行正序操作或倒序操作,所述正序操作是指按照视频帧的正向顺序重组成一个视频文件,所述倒序操作是指按照视频帧的逆向顺序重组成一个视频文件;或者,
对所述视频文件与其他视频文件进行拼接;或者,
对所述视频文件与其他视频文件进行自定义操作,所述自定义操作包括添加转换效果、添加水印、添加滤镜、添加音乐、提取音乐、添加主题、或添加文本中的至少一种。
14.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器;一个或多个存储器;其中,所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1~13任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得如权利要求1~13任一项所述的方法被执行。
16.一种电子设备上的图形用户界面系统,其特征在于,所述电子设备具有一个或多个存储器、以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,所述图形用户界面系统包括所述电子设备执行如权利要求1~13中任一项所述的方法时显示的图形用户界面。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110131913.7A CN114845157B (zh) | 2021-01-30 | 2021-01-30 | 一种视频处理方法及电子设备 |
PCT/CN2021/136879 WO2022160965A1 (zh) | 2021-01-30 | 2021-12-09 | 一种视频处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110131913.7A CN114845157B (zh) | 2021-01-30 | 2021-01-30 | 一种视频处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114845157A CN114845157A (zh) | 2022-08-02 |
CN114845157B true CN114845157B (zh) | 2024-04-12 |
Family
ID=82560845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110131913.7A Active CN114845157B (zh) | 2021-01-30 | 2021-01-30 | 一种视频处理方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114845157B (zh) |
WO (1) | WO2022160965A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117671459A (zh) * | 2024-01-30 | 2024-03-08 | 山东远联信息科技有限公司 | 引导式rpa人工智能深度学习方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107992246A (zh) * | 2017-12-22 | 2018-05-04 | 珠海格力电器股份有限公司 | 一种视频编辑方法与其装置及智能终端 |
CN111666446A (zh) * | 2020-05-26 | 2020-09-15 | 珠海九松科技有限公司 | 一种ai自动剪辑视频素材的判断方法和系统 |
CN111866404A (zh) * | 2019-04-25 | 2020-10-30 | 华为技术有限公司 | 一种视频编辑方法及电子设备 |
CN111866585A (zh) * | 2020-06-22 | 2020-10-30 | 北京美摄网络科技有限公司 | 一种视频处理方法及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104703056B (zh) * | 2013-12-04 | 2019-04-12 | 腾讯科技(北京)有限公司 | 一种视频播放方法、装置和系统 |
US20150301708A1 (en) * | 2014-04-21 | 2015-10-22 | VMIX Media, Inc. | Video Editing Graphical User Interface |
CN105282626A (zh) * | 2014-06-10 | 2016-01-27 | 腾讯科技(北京)有限公司 | 基于视频分享应用的视频文件处理方法和装置 |
CN104184960A (zh) * | 2014-08-19 | 2014-12-03 | 厦门美图之家科技有限公司 | 一种对视频文件进行特效处理的方法 |
CN106303669B (zh) * | 2016-08-17 | 2019-08-09 | 深圳鑫联迅科技有限公司 | 一种视频剪辑方法和装置 |
CN107529086A (zh) * | 2017-09-07 | 2017-12-29 | 北京奇虎科技有限公司 | 一种视频处理方法、装置、电子设备及介质 |
US11594255B2 (en) * | 2019-04-18 | 2023-02-28 | Kristin Fahy | Systems and methods for automated generation of video |
-
2021
- 2021-01-30 CN CN202110131913.7A patent/CN114845157B/zh active Active
- 2021-12-09 WO PCT/CN2021/136879 patent/WO2022160965A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107992246A (zh) * | 2017-12-22 | 2018-05-04 | 珠海格力电器股份有限公司 | 一种视频编辑方法与其装置及智能终端 |
CN111866404A (zh) * | 2019-04-25 | 2020-10-30 | 华为技术有限公司 | 一种视频编辑方法及电子设备 |
CN111666446A (zh) * | 2020-05-26 | 2020-09-15 | 珠海九松科技有限公司 | 一种ai自动剪辑视频素材的判断方法和系统 |
CN111866585A (zh) * | 2020-06-22 | 2020-10-30 | 北京美摄网络科技有限公司 | 一种视频处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114845157A (zh) | 2022-08-02 |
WO2022160965A1 (zh) | 2022-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110231905B (zh) | 一种截屏方法及电子设备 | |
CN112532869B (zh) | 一种拍摄场景下的图像显示方法及电子设备 | |
CN112328130B (zh) | 显示处理方法及电子设备 | |
CN112262563B (zh) | 图像处理方法及电子设备 | |
CN110706310B (zh) | 一种图文融合方法、装置及电子设备 | |
CN109981885B (zh) | 一种电子设备在来电时呈现视频的方法和电子设备 | |
CN113272745A (zh) | 智能家居设备分享系统、方法及电子设备 | |
CN113170037B (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
CN112930533A (zh) | 一种电子设备的控制方法及电子设备 | |
CN114363527A (zh) | 视频生成方法和电子设备 | |
CN114845157B (zh) | 一种视频处理方法及电子设备 | |
CN113395441A (zh) | 图像留色方法及设备 | |
CN114466101B (zh) | 显示方法及电子设备 | |
CN115686182B (zh) | 增强现实视频的处理方法与电子设备 | |
CN116095413A (zh) | 视频处理方法及电子设备 | |
CN116797767A (zh) | 增强现实场景分享的方法和电子设备 | |
CN115037872B (zh) | 视频处理方法和相关装置 | |
WO2022228010A1 (zh) | 一种生成封面的方法及电子设备 | |
CN115802144B (zh) | 视频拍摄方法及相关设备 | |
WO2023036084A1 (zh) | 一种图像处理方法及相关装置 | |
WO2022237317A1 (zh) | 显示方法及电子设备 | |
CN115658191A (zh) | 一种生成主题壁纸的方法及电子设备 | |
CN117221742A (zh) | 视频处理方法、装置、设备和存储介质 | |
CN117440082A (zh) | 截屏方法及电子设备 | |
CN117676065A (zh) | 视频通话方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |