CN112738606A - 音频文件的处理方法、装置、终端及存储介质 - Google Patents
音频文件的处理方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN112738606A CN112738606A CN202011589331.5A CN202011589331A CN112738606A CN 112738606 A CN112738606 A CN 112738606A CN 202011589331 A CN202011589331 A CN 202011589331A CN 112738606 A CN112738606 A CN 112738606A
- Authority
- CN
- China
- Prior art keywords
- spectral
- audio
- audio frame
- audio file
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 11
- 230000003595 spectral effect Effects 0.000 claims abstract description 285
- 238000001228 spectrum Methods 0.000 claims abstract description 103
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 21
- 238000012800 visualization Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 abstract description 9
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种音频文件的处理方法、装置、终端及存储介质,属于电子技术领域。所述方法包括:根据每个音频帧中音频的频谱范围,提取至少一个频谱特征;根据每个音频帧对应的至少一个频谱特征,绘制并显示目标音频文件对应的频谱图像。本公开对音频文件进行可视化处理,使得音频文件能够以频谱图像的形式传播。当视频文件中原有图像无法显示时,通过对从视频文件中分离出音频文件进行可视化处理,采用频谱图像替代黑屏,提高了该视频文件的显示效果;在音频文件的播放过程中,通过对该音频文件进行可视化处理,在音频文件播放的同时,同步显示频谱图像,丰富了音频文件的播放形式,大大提高了用户的视听体验效果。
Description
技术领域
本公开涉及电子技术领域,特别涉及一种音频文件的处理方法、装置、终端及存储介质。
背景技术
随着电子技术的发展,越来越多的用户通过智能手机、平板电脑、MP3(MovingPicture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)等终端中安装的播放器播放音频文件或视频文件。
然而,对于有些视频文件,因录制或转码时异常,导致图像无法正常显示存在黑屏,视频文件的显示效果不佳;对于音频文件,播放形式通常只有音频形式,播放形式较为单一。
为了提高图像损坏的视频文件的显示效果,同时丰富音频文件的播放形式,需要对视频文件中包含的音频文件以及单独的音频文件进行处理。
发明内容
本公开实施例提供了一种音频文件的处理方法、装置、终端及存储介质,能够提高图像损坏的视频文件的显示效果,丰富音频文件的播放形式。所述技术方案如下:
第一方面,提供了一种音频文件的处理方法,所述方法包括:
对目标音频文件进行解码,得到至少一个音频帧;
根据每个音频帧中音频的频谱范围,提取至少一个频谱特征,所述频谱特征用于表征不同频谱范围的频谱强度;
根据每个音频帧对应的至少一个频谱特征,绘制所述目标音频文件对应的频谱图像;
显示所述频谱图像。
在另一种可能的实现方式中,所述目标音频文件为从指定视频文件中分离出的音频文件,所述指定视频文件为每个视频帧的平均像素值小于预设数值的视频文件;或者,
所述目标音频文件为预设的待进行音频可视化处理的音频文件。
在另一种可能的实现方式中,所述根据每个音频帧对应的至少一个频谱特征,绘制所述目标音频文件对应的频谱图像,包括:
对于任一个音频帧对应的至少一个频谱特征,根据每个频谱特征对应的频谱范围和频谱特征值,确定每个频谱特征对应的显示区域;
根据每个音频帧对应的至少一个频谱特征的显示区域,绘制所述目标音频文件对应的频谱图像。
在另一种可能的实现方式中,所述根据每个音频帧对应的至少一个频谱特征,绘制所述目标音频文件对应的频谱图像,包括:
根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色;
根据每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,绘制所述目标音频文件对应的频谱图像。
在另一种可能的实现方式中,所述根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,包括:
将每个音频帧对应的至少一个频谱特征中相邻的三个频谱特征,确定为一个频谱图像单元;
将相邻的三个频谱特征的频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
在另一种可能的实现方式中,所述根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,包括:
根据每个音频帧对应的至少一个频谱特征的频谱特征值,确定每个音频帧的平均频谱特征值;
将所述至少一个音频帧中相邻的三个音频帧确定为一个频谱图像单元;
将相邻的三个音频帧对应的平均频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
第二方面,提供了一种音频文件的处理装置,所述装置包括:
解码模块,用于对目标音频文件进行解码,得到至少一个音频帧;
提取模块,用于根据每个音频帧中音频的频谱范围,提取至少一个频谱特征,所述频谱特征用于表征不同频谱范围的频谱强度;
绘制模块,用于根据每个音频帧对应的至少一个频谱特征,绘制所述目标音频文件对应的频谱图像;
显示模块,用于显示所述频谱图像。
在另一种可能的实现方式中,所述目标音频文件为从指定视频文件中分离出的音频文件,所述指定视频文件为每个视频帧的平均像素值小于预设数值的视频文件;或者,
所述目标音频文件为预设的待进行音频可视化处理的音频文件。
在另一种可能的实现方式中,所述绘制模块,用于对于任一个音频帧对应的至少一个频谱特征,根据每个频谱特征对应的频谱范围和频谱特征值,确定每个频谱特征对应的显示区域;根据每个音频帧对应的至少一个频谱特征的显示区域,绘制所述目标音频文件对应的频谱图像。
在另一种可能的实现方式中,所述绘制模块,用于根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色;根据每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,绘制所述目标音频文件对应的频谱图像。
在另一种可能的实现方式中,所述绘制模块,用于将每个音频帧对应的至少一个频谱特征中相邻的三个频谱特征,确定为一个频谱图像单元;将相邻的三个频谱特征的频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
在另一种可能的实现方式中,所述绘制模块,用于根据每个音频帧对应的至少一个频谱特征的频谱特征值,确定每个音频帧的平均频谱特征值;将所述至少一个音频帧中相邻的三个音频帧确定为一个频谱图像单元;将相邻的三个音频帧对应的平均频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
第三方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现第一方面所述的音频文件的处理方法。
第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现第一方面所述的音频文件的处理方法。
本公开实施例提供的技术方案带来的有益效果是:
对音频文件进行可视化处理,使得音频文件能够以频谱图像的形式传播。当视频文件中原有图像无法显示时,通过对从视频文件中分离出音频文件进行可视化处理,采用频谱图像替代黑屏,提高了该视频文件的显示效果;在音频文件的播放过程中,通过对该音频文件进行可视化处理,在音频文件播放的同时,同步显示频谱图像,丰富了音频文件的播放形式,大大提高了用户的视听体验效果。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种音频文件的处理方法的流程图;
图2是本公开实施例提供的另一种音频文件的处理方法的流程图;
图3是本公开实施例提供的一种频谱图像的示意图;
图4是本公开实施例提供的一种频谱图像的示意图;
图5是本公开实施例提供的一种音频文件的处理装置结构示意图;
图6示出了本公开一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
可以理解,本公开实施例所使用的术语“每个”、“多个”及“任一”等,多个包括两个或两个以上,每个是指对应的多个中的每一个,任一是指对应的多个中的任意一个。举例来说,多个词语包括10个词语,而每个词语是指这10个词语中的每一个词语,任一词语是指10个词语中的任意一个词语。
本公开实施例提供的音频文件的处理方法能够应用于以下场景:
第一种场景、视频文件因录制或转码过程存在异常,导致视频文件的图像无法正常显示存在黑屏。在该种场景下,采用本公开实施例提供的音频文件的处理方法,基于从视频文件中分离出的音频文件,绘制音频文件对应的频谱图像,通过显示该频谱图像替代所显示的黑屏,提高了视频文件的显示效果。
第二种场景、对于有些音频文件,用户希望采用图像语言解释音频文件的感受,通过对音频文件进行可视化处理,使得音频文件能够以可视化形式传播。在该种场景下,采用本公开实施例提供的音频文件的处理方法对音频文件进行可视化处理,在音频文件播放时,同步显示相应的频谱图像,从而达到画面随着音频数据的变化而变化的效果。
本公开实施例提供了一种音频文件的处理方法,参见图1,本公开实施例提供的方法流程包括:
101、对目标音频文件进行解码,得到至少一个音频帧。
其中,目标音频文件为本公开实施例待进行音频可视化处理的音频文件。
102、根据每个音频帧中音频的频谱范围,提取至少一个频谱特征。
其中,频谱特征用于表征不同频谱范围的频谱强度。每个频谱特征具有频谱特征值,该频谱特征值的范围为0~255。根据频谱特征值的范围可将每个频谱特征转换为像素点进行显示。
103、根据每个音频帧对应的至少一个频谱特征,绘制目标音频文件对应的频谱图像。
其中,频谱图像为用于反映目标音频文件的频谱特征的图像。该频谱图像能够随着目标音频文件的音频数据变化而变化。
104、显示频谱图像。
本公开实施例提供的方法,对音频文件进行可视化处理,使得音频文件能够以频谱图像的形式传播。当视频文件中原有图像无法显示时,通过对从视频文件中分离出音频文件进行可视化处理,采用频谱图像替代黑屏,提高了该视频文件的显示效果;在音频文件的播放过程中,通过对该音频文件进行可视化处理,在音频文件播放的同时,同步显示频谱图像,丰富了音频文件的播放形式,大大提高了用户的视听体验效果。
在本公开的另一个实施例中,目标音频文件为从指定视频文件中分离出的音频文件,指定视频文件为每个视频帧的平均像素值小于预设数值的视频文件;或者,
目标音频文件为预设的待进行音频可视化处理的音频文件。
在本公开的另一个实施例中,根据每个音频帧对应的至少一个频谱特征,绘制目标音频文件对应的频谱图像,包括:
对于任一个音频帧对应的至少一个频谱特征,根据每个频谱特征对应的频谱范围和频谱特征值,确定每个频谱特征对应的显示区域;
根据每个音频帧对应的至少一个频谱特征的显示区域,绘制目标音频文件对应的频谱图像。
在本公开的另一个实施例中,根据每个音频帧对应的至少一个频谱特征,绘制目标音频文件对应的频谱图像,包括:
根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色;
根据每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,绘制目标音频文件对应的频谱图像。
在本公开的另一个实施例中,根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,包括:
将每个音频帧对应的至少一个频谱特征中相邻的三个频谱特征,确定为一个频谱图像单元;
将相邻的三个频谱特征的频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
在本公开的另一个实施例中,根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,包括:
根据每个音频帧对应的至少一个频谱特征的频谱特征值,确定每个音频帧的平均频谱特征值;
将至少一个音频帧中相邻的三个音频帧确定为一个频谱图像单元;
将相邻的三个音频帧对应的平均频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
本公开实施例提供了一种音频文件的处理方法,以终端执行本公开实施例为例,参见图2,本公开实施例提供的方法流程包括:
201、终端获取目标音频文件。
其中,终端可以为智能手机、平板电脑、笔记本电脑、MP3、MP4等设备。终端中安装有音频播放器或视频播放器,基于所安装的音频播放器或视频播放器,终端能够播放音频文件或视频文件。目标音频文件的来源包括但不限于如下两方面:
第一方面、目标音频文件来源于指定视频文件。该指定视频文件为每个视频帧的平均像素值小于预设数值的视频文件。该预设数值可根据人眼对颜色的分辨率确定,该预设数值可以为10、20等。在视频文件播放过程中,终端对视频文件进行解码,如果解码得到的每个视频帧的平均像素值均小于预设数值,该视频文件的图像无法正常显示,则终端确定该视频文件为指定视频文件,进而从该视频文件中分离出目标音频文件。为避免损坏的图像文件对可视化的音频文件产生干扰,终端还将损坏的图像文件丢弃。
当然,如果解码得到的每个视频帧的平均像素值均大于预设数值,或者平均像素值大于预设数值的视频帧在解码的视频帧中所占的比例超过预设比例,则终端将正常播放该视频文件。其中,预设比例可以为80%、90%等,本公开实施例不对预设比例作具体的限定。
第二方面、目标音频文件为预设的待进行音频可视化处理的音频文件。本公开实施例提供的方法可在音频播放界面上提供音频可视化设置选项,当检测该音频可视化设置选项被触发,终端将待播放的全部音频文件确定为目标音频文件。当然,如果用户想要对待播放的部分音频文件进行音频可视化处理,用户可以手动选取待进行音频可视化处理的音频文件。
202、终端对目标音频文件进行解码,得到至少一个音频帧。
终端采用目标音频文件对应的解码算法,对目标音频文件进行解码,得到至少一个音频帧。其中,音频帧为对目标音频文件解码后得到的最小单位,每个音频帧包括具有一定播放时长的音频,例如,每个音频帧包括30毫秒、40毫秒等音频。
203、终端根据每个音频帧中音频的频谱范围,提取至少一个频谱特征。
由于每个音频帧包括具有一定播放时长的音频,该音频对应一个频谱范围,基于该音频对应的频谱范围,终端将每个音频帧的音频对应的频谱范围进行划分,并从所划分的每个频谱范围中提取频谱特征。该频谱特征用于表征不同频谱范围的频谱强度。
204、终端根据每个音频帧对应的至少一个频谱特征,绘制目标音频文件对应的频谱图像。
其中,频谱图像是指基于目标音频文件的频谱特征绘制的图像。随着目标音频文件中音频的变化,该频谱图像也将动态变化。该频谱图像的显示形式可以为柱形图,也可以为彩色图像等。针对频谱图像的不同显示形式,终端根据每个音频帧对应的至少一个频谱特征,绘制目标音频文件对应的频谱图像的方法不同。
如果频谱图像为柱形图,终端根据每个音频帧对应的至少一个频谱特征,绘制目标音频文件对应的频谱图像时,可采用如下方法:
20411、对于任一个音频帧对应的至少一个频谱特征,终端以频谱范围为横坐标、频谱特征值为纵坐标建立直角坐标系,基于所建立的直角坐标系,根据每个频谱特征对应的频谱范围和频谱特征值,确定每个频谱特征对应的显示区域,该显示区域的形状可以为矩形等。
20412、终端根据每个音频帧对应的至少一个频谱特征的显示区域,绘制目标音频文件对应的频谱图像。
基于每个音频帧对应的至少一个频谱特征的显示区域,终端将每个音频帧对应的至少一个频谱特征的显示区域绘制在同一画布上,得到目标音频文件对应的频谱图像。
如果频谱图像为彩色图像,终端根据每个音频帧对应的至少一个频谱特征的显示区域,绘制目标音频文件对应的频谱图像时,可采用如下方法:
20421、终端根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色。
其中,频谱图像单元是指频谱图像上的最小显示单元。
在一种可能的实现方式中,终端根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色时,可采用如下方法:
2042111、终端将每个音频帧对应的至少一个频谱特征中相邻的三个频谱特征,确定为一个频谱图像单元。
在一种可能的实现方式中,终端以每个音频帧对应的至少一个频谱特征中第一个频谱特征为起点,将第一个频谱特征、第二个频谱特征及第三个频谱特征作为一个频谱图像单元,将第四个频谱特征、第五个频谱特征及第六个频谱特征作为另一个频谱图像单元,依次类推,直至最后一个频谱单元。
在另一种可能的实现方式中,终端以每个音频帧对应的至少一个频谱特征中第一个频谱特征为起点,将第一个频谱特征、第二个频谱特征及第三个频谱特征作为一个频谱图像单元,将第二个频谱特征、第三个频谱特征及第四个频谱特征作为另一个频谱图像单元,依次类推,直至最后一个频谱单元。
2042112、终端将相邻的三个频谱特征的频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
其中,三个颜色通道包括RGB三个颜色通道。终端将相邻的三个频谱特征中的第一个频谱特征作为红色通道、将相邻的三个频谱特征中的第二个频谱特征作为绿色通道、将相邻的三个频谱特征中的第三个频谱特征作为蓝色通道,进而基于每个频谱图像单元的三个颜色通道值,确定出每个频谱图像单元的显示颜色。例如,频谱图像单元的三个颜色通道值分别为0、0、0,则确定该频谱图像单元的显示颜色为黑色;又例如,频谱图像单元的三个颜色通道值分别为0、0、255,则确定该频谱图像单元的显示颜色为蓝色。
在另一种可能的实现方式中,终端根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色时,可采用如下方法:
2042121、终端根据每个音频帧对应的至少一个频谱特征的频谱特征值,确定每个音频帧的平均频谱特征值。
例如,音频帧对应四个频谱特征,四个频谱特征的频谱特征值分别为20、150、10、60,终端计算四个频谱特征的频谱特征值的平均值,得到平均频谱特征值为60。
2042122、终端将至少一个音频帧中相邻的三个音频帧确定为一个频谱图像单元。
在一种可能的实现方式中,终端以至少一个音频帧中的第一个音频帧为起点,将第一个音频帧、第二个音频帧及第三个音频帧作为一个频谱图像单元,将第四个音频帧、第五个音频帧及第六个音频帧作为另一个频谱图像单元,依次类推,直至最后一个音频帧。
在另一种可能的实现方式中,终端以至少一个音频帧中的第一个音频帧为起点,将第一个音频帧、第二个音频帧及第三个音频帧作为一个频谱图像单元,将第二个音频帧、第三个音频帧及第四个音频帧作为另一个频谱图像单元,依次类推,直至最后一个音频帧。
2042123终端将相邻的三个音频帧对应的平均频谱特征值作为三个颜色通道值,确定每个频谱图像单元的显示颜色。
终端将相邻的三个音频帧中的第一个音频帧作为红色通道、将相邻的三个音频帧中的第二个音频帧作为绿色通道、将相邻的三个音频帧中的第三个音频帧作为蓝色通道,进而基于每个频谱图像单元的三个颜色通道值,确定出每个频谱图像单元的显示颜色。
20422、终端根据每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,绘制目标音频文件对应的频谱图像。
终端可预先为每个频谱图像单元设置显示区域及显示位置,基于所设置的显示区域及显示位置,终端将各个频谱图像单元绘制到同一画布上,并按照每个频谱图像单元的显示颜色,将每个频谱图像单元的显示颜色渲染到相应的频谱图像单元上,得到目标音频文件对应的频谱图像。
205、终端显示频谱图像。
如果目标音频文件为预先设置的待进行音频可视化处理的音频文件,随着目标音频文件的播放,该频谱图像动态变化,从而形成频谱动画,用户在聆听目标音频文件时,同步显示该频谱动画,丰富了目标音频文件的显示形式,增加了目标音频文件的趣味性。如果目标音频文件为从指定视频文件中分离的音频文件,通过显示该目标音频文件对应的频谱图像,使得用户在观看该指定视频文件时看到的不再是黑屏,而是随着音频变化动态变化的频谱图像,提高了该指定视频文件的显示效果。如果频谱图像的形式为柱形图,该柱形图的显示效果可参见图3、图4。
本公开实施例提供的方法,对音频文件进行可视化处理,使得音频文件能够以频谱图像的形式传播。当视频文件中原有图像无法显示时,通过对从视频文件中分离出音频文件进行可视化处理,采用频谱图像替代黑屏,提高了该视频文件的显示效果;在音频文件的播放过程中,通过对该音频文件进行可视化处理,在音频文件播放的同时,同步显示频谱图像,丰富了音频文件的播放形式,大大提高了用户的视听体验效果。
参见图5,本公开实施例提供了一种音频文件的处理装置,该装置包括:
解码模块501,用于对目标音频文件进行解码,得到至少一个音频帧;
提取模块502,用于根据每个音频帧中音频的频谱范围,提取至少一个频谱特征,频谱特征用于表征不同频谱范围的频谱强度;
绘制模块503,用于根据每个音频帧对应的至少一个频谱特征,绘制目标音频文件对应的频谱图像;
显示模块504,用于显示频谱图像。
在另一种可能的实现方式中,目标音频文件为从指定视频文件中分离出的音频文件,指定视频文件为每个视频帧的平均像素值小于预设数值的视频文件;或者,
目标音频文件为预设的待进行音频可视化处理的音频文件。
在另一种可能的实现方式中,绘制模块503,用于对于任一个音频帧对应的至少一个频谱特征,根据每个频谱特征对应的频谱范围和频谱特征值,确定每个频谱特征对应的显示区域;根据每个音频帧对应的至少一个频谱特征的显示区域,绘制目标音频文件对应的频谱图像。
在另一种可能的实现方式中,绘制模块503,用于根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色;根据每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,绘制目标音频文件对应的频谱图像。
在另一种可能的实现方式中,绘制模块503,用于将每个音频帧对应的至少一个频谱特征中相邻的三个频谱特征,确定为一个频谱图像单元;将相邻的三个频谱特征的频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
在另一种可能的实现方式中,绘制模块503,用于根据每个音频帧对应的至少一个频谱特征的频谱特征值,确定每个音频帧的平均频谱特征值;将至少一个音频帧中相邻的三个音频帧确定为一个频谱图像单元;将相邻的三个音频帧对应的平均频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
综上,本公开实施例提供的装置,对音频文件进行可视化处理,使得音频文件能够以频谱图像的形式传播。当视频文件中原有图像无法显示时,通过对从视频文件中分离出音频文件进行可视化处理,采用频谱图像替代黑屏,提高了该视频文件的显示效果;在音频文件的播放过程中,通过对该音频文件进行可视化处理,在音频文件播放的同时,同步显示频谱图像,丰富了音频文件的播放形式,大大提高了用户的视听体验效果。
图6示出了本公开一个示例性实施例提供的终端600的结构框图。该终端600可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的音频文件的处理方法。
在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在在终端600的不同表面或呈折叠设计;在另一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时,由处理器601根据用户对显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置在终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制显示屏605的显示亮度。具体地,当环境光强度较高时,调高显示屏605的显示亮度;当环境光强度较低时,调低显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开实施例提供的终端,对音频文件进行可视化处理,使得音频文件能够以频谱图像的形式传播。当视频文件中原有图像无法显示时,通过对从视频文件中分离出音频文件进行可视化处理,采用频谱图像替代黑屏,提高了该视频文件的显示效果;在音频文件的播放过程中,通过对该音频文件进行可视化处理,在音频文件播放的同时,同步显示频谱图像,丰富了音频文件的播放形式,大大提高了用户的视听体验效果。
本公开实施例提供了一种计算机可读存储介质,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现图1或图2所示的音频文件的处理方法。该计算机可读存储介质可以是非暂态的。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例提供的计算机可读存储介质,对音频文件进行可视化处理,使得音频文件能够以频谱图像的形式传播。当视频文件中原有图像无法显示时,通过对从视频文件中分离出音频文件进行可视化处理,采用频谱图像替代黑屏,提高了该视频文件的显示效果;在音频文件的播放过程中,通过对该音频文件进行可视化处理,在音频文件播放的同时,同步显示频谱图像,丰富了音频文件的播放形式,大大提高了用户的视听体验效果。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本公开的可选实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (14)
1.一种音频文件的处理方法,其特征在于,所述方法包括:
对目标音频文件进行解码,得到至少一个音频帧;
根据每个音频帧中音频的频谱范围,提取至少一个频谱特征,所述频谱特征用于表征不同频谱范围的频谱强度;
根据每个音频帧对应的至少一个频谱特征,绘制所述目标音频文件对应的频谱图像;
显示所述频谱图像。
2.根据权利要求1所述的方法,其特征在于,所述目标音频文件为从指定视频文件中分离出的音频文件,所述指定视频文件为每个视频帧的平均像素值小于预设数值的视频文件;或者,
所述目标音频文件为预设的待进行音频可视化处理的音频文件。
3.根据权利要求1所述的方法,其特征在于,所述根据每个音频帧对应的至少一个频谱特征,绘制所述目标音频文件对应的频谱图像,包括:
对于任一个音频帧对应的至少一个频谱特征,根据每个频谱特征对应的频谱范围和频谱特征值,确定每个频谱特征对应的显示区域;
根据每个音频帧对应的至少一个频谱特征的显示区域,绘制所述目标音频文件对应的频谱图像。
4.根据权利要求1所述的方法,其特征在于,所述根据每个音频帧对应的至少一个频谱特征,绘制所述目标音频文件对应的频谱图像,包括:
根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色;
根据每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,绘制所述目标音频文件对应的频谱图像。
5.根据权利要求4所述的方法,其特征在于,所述根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,包括:
将每个音频帧对应的至少一个频谱特征中相邻的三个频谱特征,确定为一个频谱图像单元;
将相邻的三个频谱特征的频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
6.根据权利要求4所述的方法,其特征在于,所述根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,包括:
根据每个音频帧对应的至少一个频谱特征的频谱特征值,确定每个音频帧的平均频谱特征值;
将所述至少一个音频帧中相邻的三个音频帧确定为一个频谱图像单元;
将相邻的三个音频帧对应的平均频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
7.一种音频文件的处理装置,其特征在于,所述装置包括:
解码模块,用于对目标音频文件进行解码,得到至少一个音频帧;
提取模块,用于根据每个音频帧中音频的频谱范围,提取至少一个频谱特征,所述频谱特征用于表征不同频谱范围的频谱强度;
绘制模块,用于根据每个音频帧对应的至少一个频谱特征,绘制所述目标音频文件对应的频谱图像;
显示模块,用于显示所述频谱图像。
8.根据权利要求7所述的装置,其特征在于,所述目标音频文件为从指定视频文件中分离出的音频文件,所述指定视频文件为每个视频帧的平均像素值小于预设数值的视频文件;或者,
所述目标音频文件为预设的待进行音频可视化处理的音频文件。
9.根据权利要求7所述的装置,其特征在于,所述绘制模块,用于对于任一个音频帧对应的至少一个频谱特征,根据每个频谱特征对应的频谱范围和频谱特征值,确定每个频谱特征对应的显示区域;根据每个音频帧对应的至少一个频谱特征的显示区域,绘制所述目标音频文件对应的频谱图像。
10.根据权利要求7所述的装置,其特征在于,所述绘制模块,用于根据每个音频帧对应的至少一个频谱特征,确定每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色;根据每个音频帧对应的至少一个频谱图像单元和每个频谱图像单元的显示颜色,绘制所述目标音频文件对应的频谱图像。
11.根据权利要求10所述的装置,其特征在于,所述绘制模块,用于对将每个音频帧对应的至少一个频谱特征中相邻的三个频谱特征,确定为一个频谱图像单元;将相邻的三个频谱特征的频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
12.根据权利要求10所述的装置,其特征在于,所述绘制模块,用于根据每个音频帧对应的至少一个频谱特征的频谱特征值,确定每个音频帧的平均频谱特征值;将所述至少一个音频帧中相邻的三个音频帧确定为一个频谱图像单元;将相邻的三个音频帧对应的平均频谱特征值确定为三个颜色通道值,得到每个频谱图像单元的显示颜色。
13.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求1至6中任一项所述的音频文件的处理方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如权利要求1至6中任一项所述的音频文件的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011589331.5A CN112738606B (zh) | 2020-12-29 | 2020-12-29 | 音频文件的处理方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011589331.5A CN112738606B (zh) | 2020-12-29 | 2020-12-29 | 音频文件的处理方法、装置、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112738606A true CN112738606A (zh) | 2021-04-30 |
CN112738606B CN112738606B (zh) | 2024-05-24 |
Family
ID=75607355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011589331.5A Active CN112738606B (zh) | 2020-12-29 | 2020-12-29 | 音频文件的处理方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112738606B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114003150A (zh) * | 2021-10-25 | 2022-02-01 | 北京字跳网络技术有限公司 | 一种音效展示方法及终端设备 |
WO2024077437A1 (zh) * | 2022-10-10 | 2024-04-18 | 广州酷狗计算机科技有限公司 | 壁纸的显示方法、装置、设备、存储介质及程序产品 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2228798A1 (de) * | 2009-03-13 | 2010-09-15 | JoboMusic GmbH | Verfahren zum editieren eines Audlosignals und Audioeditor |
US20130276012A1 (en) * | 2012-04-11 | 2013-10-17 | 2Nd Screen Limited | Method, Apparatus and Computer Program for Triggering an Event |
CN106328164A (zh) * | 2016-08-30 | 2017-01-11 | 上海大学 | 音乐频谱的圆形可视化系统及方法 |
WO2017181291A1 (en) * | 2016-04-22 | 2017-10-26 | Nanoleaf (Hk) Limited | Systems and methods for connecting and controlling configurable lighting units |
US10534966B1 (en) * | 2017-02-02 | 2020-01-14 | Gopro, Inc. | Systems and methods for identifying activities and/or events represented in a video |
CN111131917A (zh) * | 2019-12-26 | 2020-05-08 | 国微集团(深圳)有限公司 | 音频频谱实时同步方法、播放装置 |
CN111782859A (zh) * | 2020-06-16 | 2020-10-16 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种音频可视化方法、装置和存储介质 |
CN111818367A (zh) * | 2020-08-07 | 2020-10-23 | 广州酷狗计算机科技有限公司 | 音频文件的播放方法、装置、终端、服务器及存储介质 |
-
2020
- 2020-12-29 CN CN202011589331.5A patent/CN112738606B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2228798A1 (de) * | 2009-03-13 | 2010-09-15 | JoboMusic GmbH | Verfahren zum editieren eines Audlosignals und Audioeditor |
US20130276012A1 (en) * | 2012-04-11 | 2013-10-17 | 2Nd Screen Limited | Method, Apparatus and Computer Program for Triggering an Event |
WO2017181291A1 (en) * | 2016-04-22 | 2017-10-26 | Nanoleaf (Hk) Limited | Systems and methods for connecting and controlling configurable lighting units |
CN106328164A (zh) * | 2016-08-30 | 2017-01-11 | 上海大学 | 音乐频谱的圆形可视化系统及方法 |
US10534966B1 (en) * | 2017-02-02 | 2020-01-14 | Gopro, Inc. | Systems and methods for identifying activities and/or events represented in a video |
CN111131917A (zh) * | 2019-12-26 | 2020-05-08 | 国微集团(深圳)有限公司 | 音频频谱实时同步方法、播放装置 |
CN111782859A (zh) * | 2020-06-16 | 2020-10-16 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种音频可视化方法、装置和存储介质 |
CN111818367A (zh) * | 2020-08-07 | 2020-10-23 | 广州酷狗计算机科技有限公司 | 音频文件的播放方法、装置、终端、服务器及存储介质 |
Non-Patent Citations (1)
Title |
---|
张昕然;查诚;宋鹏;陶华伟;赵力;: "听觉注意模型的语谱图语音情感识别方法", 信号处理, no. 09, 25 September 2016 (2016-09-25) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114003150A (zh) * | 2021-10-25 | 2022-02-01 | 北京字跳网络技术有限公司 | 一种音效展示方法及终端设备 |
WO2024077437A1 (zh) * | 2022-10-10 | 2024-04-18 | 广州酷狗计算机科技有限公司 | 壁纸的显示方法、装置、设备、存储介质及程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN112738606B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021008456A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108401124B (zh) | 视频录制的方法和装置 | |
CN111372126B (zh) | 视频播放方法、装置及存储介质 | |
CN109191549B (zh) | 显示动画的方法及装置 | |
CN111065001B (zh) | 视频制作的方法、装置、设备及存储介质 | |
CN110650379B (zh) | 视频摘要生成方法、装置、电子设备及存储介质 | |
CN108965922B (zh) | 视频封面生成方法、装置和存储介质 | |
CN108449641B (zh) | 播放媒体流的方法、装置、计算机设备和存储介质 | |
CN110533585B (zh) | 一种图像换脸的方法、装置、系统、设备和存储介质 | |
CN111447389B (zh) | 视频生成方法、装置、终端及存储介质 | |
CN111083526B (zh) | 视频转场方法、装置、计算机设备及存储介质 | |
CN110769313B (zh) | 视频处理方法及装置、存储介质 | |
CN112929654B (zh) | 检测音画同步的方法、装置、设备及存储介质 | |
CN109982129B (zh) | 短视频的播放控制方法、装置及存储介质 | |
CN110225390B (zh) | 视频预览的方法、装置、终端及计算机可读存储介质 | |
CN110300274A (zh) | 视频文件的录制方法、装置及存储介质 | |
CN111586444B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN111050211B (zh) | 视频处理方法、装置及存储介质 | |
CN115497082A (zh) | 判断视频中字幕的方法、设备和存储介质 | |
CN112738606B (zh) | 音频文件的处理方法、装置、终端及存储介质 | |
CN108966026B (zh) | 制作视频文件的方法和装置 | |
CN111988664B (zh) | 视频处理方法、装置、计算机设备及计算机可读存储介质 | |
CN111369434B (zh) | 拼接视频封面生成的方法、装置、设备和存储介质 | |
CN108881739B (zh) | 图像生成方法、装置、终端及存储介质 | |
CN108881715B (zh) | 拍摄模式的启用方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |