CN109413492A - 一种直播过程中音频数据混响处理方法及系统 - Google Patents

一种直播过程中音频数据混响处理方法及系统 Download PDF

Info

Publication number
CN109413492A
CN109413492A CN201710712937.5A CN201710712937A CN109413492A CN 109413492 A CN109413492 A CN 109413492A CN 201710712937 A CN201710712937 A CN 201710712937A CN 109413492 A CN109413492 A CN 109413492A
Authority
CN
China
Prior art keywords
audio data
reverberation
resampling
original
treated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710712937.5A
Other languages
English (en)
Other versions
CN109413492B (zh
Inventor
黄伟
张文明
陈少杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Detonation Point Technology Co.,Ltd.
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201710712937.5A priority Critical patent/CN109413492B/zh
Publication of CN109413492A publication Critical patent/CN109413492A/zh
Application granted granted Critical
Publication of CN109413492B publication Critical patent/CN109413492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明提供一种直播过程中音频数据混响处理方法及系统，所述的方法包括：S1，录制直播过程中原始PCM音频数据，并对所述原始PCM音频数据进行混响处理；S2，对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致；S3，对重采样后的音频数据进行编码并推流。本发明对直播过程中的原始音频数据进行录制并做混响处理，经过混响处理后的音频数据长度通常与原始音频数据的长度不同，因此，对混响处理后的音频数据进行重采样，使得混响处理后的音频数据的长度与原始音频数据的长度一致，解决了混响处理后的音视频的同步问题。

Description

一种直播过程中音频数据混响处理方法及系统
技术领域
本发明涉及音频处理技术领域，更具体地，涉及一种直播过程中音频数据混响处理方法及系统。
背景技术
目前，在音视频直播的过程中，为了增强用户体验，可以在原始的音频中增加不同的声音效果，即实现音频混响。
传统实现音频混响的方式是直接对原始音频数据录制并进行混响处理，由于在混响处理的过程中会涉及到降噪功放处理以及数据类型的转换等，从而会导致混响处理后的音频数据的长度与原始音频数据的长度不一致，进而导致混响处理后的音频数据与原始的视频数据不同步，对用户的体验度影响极大。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的直播过程中音频数据混响处理方法及系统，克服了现有技术中混响处理后的音视频不同步的问题。
根据本发明的第一方面，提供一种音频数据处理方法，包括：
S1，录制直播过程中原始PCM音频数据，并对所述原始PCM音频数据进行混响处理；
S2，对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致；
S3，对重采样后的音频数据进行编码并推流。
本发明的有益效果为：对直播过程中的原始音频数据进行录制并做混响处理，经过混响处理后的音频数据长度通常与原始音频数据的长度不同，因此，对混响处理后的音频数据进行重采样，使得混响处理后的音频数据的长度与原始音频数据的长度一致，解决了混响处理后的音视频的同步问题。
在上述技术方案的基础上，本发明还可以作如下改进。
进一步的，所述步骤S1中录制直播过程中原始PCM音频数据进一步包括：
以预设采样频率以及双声道对直播过程中的原始音频流进行录制，得到PCM格式的音频数据。
进一步的，所述步骤S1中对所述原始PCM音频数据进行混响处理进一步包括：
采用串行处理方式对原始PCM音频数据进行不同声音效果的处理，且处理后的不同声音效果的音频数据共用同一缓存。进一步的，所述步骤S2进一步包括：
根据原始PCM音频数据的采样点个数，对混响处理后音频数据进行重采样，使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同。
进一步的，所述对混响处理后音频数据进行重采样进一步包括：
检测混响处理后的音频数据波形的峰值点，其中，所述峰值点包括峰值最高点和峰值最低点；
分别在两个相邻的峰值点之间进行重采样，使得对整个波形的采样点个数与原始PCM音频数据的采样点个数相等。
进一步的，所述分别在两个相邻的峰值点之间进行重采样进一步包括：
假设原始PCM音频数据的采样点个数为m，混响处理后的音频数据的采样点个数为n，且混响处理后的音频数据波形中两个相邻的峰值点之间的采样点个数为xi，则重采样后该两个峰值点之间的采样点个数yi＝xi*m/n，其中，m、n和xi均为正整数，xi表示第i个相邻峰值区间的采样点个数。
进一步的，还包括：
当计算出的yi为非整数，则按照向上取整和向下取整来确定相邻两个峰值区间的yi的取值。
根据本发明的第二方面，还提供了一种直播过程中音频数据混响处理系统，包括：
录制模块，用于录制直播过程中原始PCM音频数据；
混响处理模块，用于对所述原始PCM音频数据进行混响处理；
重采样模块，用于对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致；
编码推流模块，用于对重采样后的音频数据进行编码并推流。
根据本发明的第三方面，提供了一种音频混响处理方法的设备，包括处理器(processor)、存储器(memory)和总线；
所述处理器和存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上各实施方法。
根据本发明的第四方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上各实施方法。
附图说明
图1为本发明一个实施例的直播过程中音频数据混响处理方法流程图；
图2为音频数据混响处理后的波形图；
图3为本发明另一个实施例的直播过程中音频数据混响处理系统连接框图；
图4为本发明又一个实施例的音频混响处理方法的设备连接框图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
参见图1，提供了本发明一个实施例的直播过程中音频数据混响处理方法，包括：S1，录制直播过程中原始PCM音频数据，并对所述原始PCM音频数据进行混响处理；S2，对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致；S3，对重采样后的音频数据进行编码并推流。
在音视频直播的过程中，为了实现不同声音效果，音频混响处理非常常见，传统的方式是直接对原始音频数据录制并进行混响处理，这样进行混响处理后的音频数据和原始的视频数据是不同步的。为了解决混响处理后音视频同步的问题，本实施例提供了一套能够使得对直播过程中的音频数据混响处理后音视频同步，该方法的整个实现过程为，在录制端录制原始PCM音频数据，其中，PCM(Pulse Code Modulation)也被称为脉码编码调制，PCM中的声音数据没有被压缩。对于录制的PCM原始音频数据，采用常用的方法对录制的原始音频数据进行混响处理。由于原始音频数据和视频数据是同步的，而经过混响处理后的音频数据的长度与原始音频数据的长度不一致，因此，经过混响处理后的音频数据与视频数据是不能同步的，本实施例中对经过混响处理后的音频数据进行重采样，使得重采样后的音频数据的长度与原始PVM音频数据的长度一致，进而实现混响处理后音视频同步。对混响后的音频数据进行了重采样后，再进行编码并推流，观众拉取对应的视频流即可获取其中的音频数据。
本实施例对直播过程中的原始音频数据进行录制并做混响处理，经过混响处理后的音频数据长度通常与原始音频数据的长度不同，因此，对混响处理后的音频数据进行重采样，使得混响处理后的音频数据的长度与原始音频数据的长度一致，解决了混响处理后的音视频的同步问题。
在上述实施例的基础上，本发明的一个实施例中，所述步骤S1中录制直播过程中原始PCM音频数据进一步包括：录制端以预设采样频率以及双声道对直播过程中的原始PCM音频数据进行录制。
在对直播过程中原始音频数据进行录制的过程中，录制端采用双声道对原始音频数据进行录制，录制后的音频格式为ENCODING_PCM_16BIT，采样频率为44100，其中，将声道数设置为双声道，以满足算法数据需求。
由于在直播过程中，周围可能存在环境噪声，未进行混响处理之前，该噪声很容易分辨出来，为环境噪声，用户可以接受程度相对较高。但进行混响处理之后，原始的环境噪声直接变为类似电流声的白噪声，用户体验极差。因此，在对录制的原始音频数据进行混响之前，需要进行降噪处理，在本实施例中，降噪处理采用安卓平台接口NoiseSuppressor，在降噪前，需要使用isAvailable()方法判断当前手机是否支持该接口，如果不支持，为避免给用户带来不好的体验，则不进行降噪处理和混响处理，保持原声。NoiseSuppressor对象创建时，需要绑定AudioRecord对象对应的音频句柄，以对其进行降噪处理。由于降噪会对音量造成影响，因此，需要对降噪处理后的音频数据进行功放来对音量进行放大，与NoiseSuppressor类似，功放处理需要使用安卓平台接口AutomaticGainControl，，需要绑定AudioRecord对象对应的音频句柄。
为提高音频数据的处理效率，数据从录制端获取后，需要从Java层通过JNI(JavaNative Interface)接口传递给底层做混响处理，这其中需要进行数据转换。首先，从录制端可以获取原始数据大小，由于混响数据处理以帧为单位，需要将数据大小转换为帧数，帧数＝数据大小/(声道数*每帧数据大小)。另外，由于录制端输出的数据类型为short数组类型，而混响处理需要float数据类型，而编码器需要byte类型，因此，需要将数据进行类型的转换，具体的转换采用现有成熟的转换方式实现，其中，需要注意的是，在数据类型转换的过程中，转换后的数据长度与转换前的数据长度可能不一致导致内存溢出或者数据异常，为转换后的数据申请相关数据大小时必须预留空间，在本实施例中，为转换后的数据申请的内存大小为转换前的数据所占内存大小的4倍。
在上述各实施例的基础上，本发明的另一个实施例中，所述步骤S1中对所述原始PCM音频数据进行混响处理进一步包括：采用串行处理方式对原始PCM音频数据进行不同声音效果的处理，且处理后的不同声音效果的音频数据共用同一缓存。所谓的混响处理是指实现不同的声音效果，比如，通过调节音调、混响、高通/低通/带通滤波、均衡器、回声等声音效果。由于可能存在多种声音效果的来回切换，比如，原声、混响以及金属声音效果之间的切换，为了便于在多个声音效果之间进行切换，针对混响处理中的不同声音效果，采用串行处理方式对原始PCM音频数据进行不同声音效果的处理，且处理后的不同声音效果的音频数据共用同一缓存。多个不同声音效果的音频数据之间的切换顺序可以随意，比如，可以根据用户的的点击操作，确定切换到哪一个声音效果的音频数据。
在上述各个实施例的基础上，本发明的另一个实施例中，所述步骤S2进一步包括：根据原始PCM音频数据的采样点个数，对混响处理后音频数据进行重采样，使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同。
由于进行混响处理后的音频数据的长度与原始音频数据的长度不一致，会造成混响处理后的音视频不同步的问题，因此，需要对这个问题进行克服。在本实施例中，主要是根据原始PCM音频数据的采样点个数，对混响处理后的音频数据进行重采样，使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同，这样混响处理后的音频数据的长度与原始PCM音频数据的长度一致，进而能够保证混响处理后的音频数据与原始视频数据处于同步状态。
在上述各个实施例的基础上，本发明的一个实施例中，所述对混响处理后音频数据进行重采样进一步包括：检测混响处理后的音频数据波形的峰值点，其中，所述峰值点包括峰值最高点和峰值最低点；分别在两个相邻的峰值点之间进行重采样，使得对整个波形的采样点个数与原始PCM音频数据的采样点个数相等。
比如，原始音频数据的采样点为320个，而混响处理后的音频数据的采样点为640个，具体对混响处理后的音频数据进行重采样过程为，获取混响处理后的音频数据波形中的峰值点，其中，波形的峰值点包括峰值最高点和峰值最低点。可参见图2，在波形中峰值点如图中箭头所示各点，采用峰值将进行重采样，例如，从a点到b点，b点到c点进行重采样。在本实施例中，是在相邻的峰值最高点和峰值最低点之间进行重采样，而不能在一个峰值最高点和另一个峰值最高点之间进行重采样，比如，在d点和g点之间进行重采样，那么e点和f点这样的波形特征由于重采样造成信息丢失。
在上述各个实施例的基础上，本发明的另一个实施例中，所述分别在两个相邻的峰值点之间进行重采样进一步包括：假设原始PCM音频数据的采样点个数为m，混响处理后的音频数据的采样点个数为n，且混响处理后的音频数据波形中两个相邻的峰值点之间的采样点个数为xi，则重采样后该两个峰值点之间的采样点个数yi＝xi*m/n，其中，m、n和xi均为正整数，xi表示第i个相邻峰值区间的采样点个数。
在对混响处理后的音频数据进行重采样的过程中，重采样的系数由原始音频数据的采样点个数和混响处理后的音频数据的采样点个数确定的，例如，原始音频数据的采样点个数为m，混响处理后的音频数据的采样点个数为n，则从a点到b点间，假设a点到b点间的总采样数为xi，则a点到b点重采样后的采样点个数为yi＝xi*m/n，使得整个重采样后的音频数据的采样点个数与原始音频数据的采样点的个数相等。其中，当计算出的yi为非整数，则按照向上取整和向下取整来确定相邻两个峰值区间的yi的取值，确保最终的总采样点的个数与原始音频数据采样点的个数之间误差最多为1个采样数据点。
具体对混响处理后的音频数据进行重采样的步骤为：
(1)遍历采样数组，寻找峰值，并记录其编号。
(2)通过峰值编号，获取峰值最高点和峰值最低点之间的采样点数x，并计算最终采样点数y＝x*m/n，且按照上述方法取整。
(3)给重采样后的y个采样点的下标进行更新，第i个采样点的下标值为进行每一个点的赋值，即完成所有点的重采样。
最后对重采样后的音频数据进行编码处理，编码处理后经过推流库进行推流，观众拉取对应流即可获取到对应的音频数据。
参见图3，提供了本发明另一个实施例的直播过程中音频数据混响处理系统，包括录制模块31、混响处理模块32、重采样模块33和编码推流模块34。
录制模块31，用于录制直播过程中原始PCM音频数据。
混响处理模块32，用于对所述原始PCM音频数据进行混响处理。
重采样模块33，用于对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致。
编码推流模块34，用于对重采样后的音频数据进行编码并推流。
其中，录制模块31进一步用于：以预设采样频率以及双声道对直播过程中的原始PCM音频数据进行录制。
混响处理模块32，进一步用于采用串行处理方式对原始PCM音频数据进行不同声音效果的处理，且处理后的不同声音效果的音频数据共用同一缓存。
重采样模块33，进一步用于：根据原始PCM音频数据的采样点个数，对混响处理后音频数据进行重采样，使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同。
重采样模块33，还进一步用于：检测混响处理后的音频数据波形的峰值点，其中，所述峰值点包括峰值最高点和峰值最低点；分别在两个相邻的峰值点之间进行重采样，使得对整个波形的采样点个数与原始PCM音频数据的采样点个数相等。
重采样模块33，用于分别在两个相邻的峰值点之间进行重采样进一步包括：假设原始PCM音频数据的采样点个数为m，混响处理后的音频数据的采样点个数为n，且混响处理后的音频数据波形中两个相邻的峰值点之间的采样点个数为xi，则重采样后该两个峰值点之间的采样点个数yi＝xi*m/n，其中，m、n和xi均为正整数，xi表示第i个相邻峰值区间的采样点个数。其中，当计算出的yi为非整数，则按照向上取整和向下取整来确定相邻两个峰值区间的yi的取值。
参见图4，示出本申请实施例的直播过程中音频数据混响处理方法的设备的结构框图。
参照图4，直播过程中音频数据混响处理方法的设备包括：处理器(processor)401、存储器(memory)402和总线403；其中，所述处理器401和存储器402通过所述总线403完成相互间的通信。
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：录制直播过程中原始PCM音频数据，并对所述原始PCM音频数据进行混响处理；对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致；对重采样后的音频数据进行编码并推流。
本发明公开一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述对应实施例所提供的直播过程中音频数据混响处理方法，例如包括：录制直播过程中原始PCM音频数据，并对所述原始PCM音频数据进行混响处理；对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致；对重采样后的音频数据进行编码并推流。
本发明还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述对应实施例所提供的直播过程中音频数据混响处理方法，例如包括：录制直播过程中原始PCM音频数据，并对所述原始PCM音频数据进行混响处理；对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致；对重采样后的音频数据进行编码并推流。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的直播过程中音频数据混响处理方法的设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。
本发明提供的一种直播过程中音频数据混响处理方法及系统，对直播过程中的原始音频数据进行录制并做混响处理，经过混响处理后的音频数据长度通常与原始音频数据的长度不同，因此，对混响处理后的音频数据进行重采样，使得混响处理后的音频数据的长度与原始音频数据的长度一致，解决了混响处理后的音视频的同步问题。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种直播过程中音频数据混响处理方法，其特征在于，包括：
S1，录制直播过程中原始PCM音频数据，并对所述原始PCM音频数据进行混响处理；
S2，对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致；
S3，对重采样后的音频数据进行编码并推流。
2.如权利要求1所述的音频数据混响处理方法，其特征在于，所述步骤S1中录制直播过程中原始PCM音频数据进一步包括：
录制端以预设采样频率以及双声道对直播过程中的原始音频流进行录制，得到PCM格式的音频数据。
3.如权利要求1所述的音频数据混响处理方法，其特征在于，所述步骤S1中对所述原始PCM音频数据进行混响处理进一步包括：
采用串行处理方式对原始PCM音频数据进行不同声音效果的处理，且处理后的不同声音效果的音频数据共用同一缓存。
4.如权利要求3所述的音频数据混响处理方法，其特征在于，所述步骤S2进一步包括：
根据原始PCM音频数据的采样点个数，对混响处理后音频数据进行重采样，使得重采样后的音频数据的采样点个数和原始PCM音频数据的采样点个数相同。
5.如权利要求4所述的音频数据混响处理方法，其特征在于，所述对混响处理后音频数据进行重采样进一步包括：
检测混响处理后的音频数据波形的峰值点，其中，所述峰值点包括峰值最高点和峰值最低点；
分别在两个相邻的峰值点之间进行重采样，使得对整个波形的采样点个数与原始PCM音频数据的采样点个数相等。
6.如权利要求5所述的音频数据混响处理方法，其特征在于，所述分别在两个相邻的峰值点之间进行重采样进一步包括：
假设原始PCM音频数据的采样点个数为m，混响处理后的音频数据的采样点个数为n，且混响处理后的音频数据波形中两个相邻的峰值点之间的采样点个数为xi，则重采样后该两个峰值点之间的采样点个数yi＝xi*m/n，其中，m、n和xi均为正整数，xi表示第i个相邻峰值区间的采样点个数。
7.如权利要求6所述的音频数据混响处理方法，其特征在于，还包括：
当计算出的yi为非整数，则按照向上取整和向下取整来确定相邻两个峰值区间的yi的取值。
8.一种直播过程中音频数据混响处理系统，其特征在于，包括：
录制模块，用于录制直播过程中原始PCM音频数据；
混响处理模块，用于对所述原始PCM音频数据进行混响处理；
重采样模块，用于对混响处理后的音频数据进行重采样，以使重采样后的音频数据的长度与原始PCM音频数据的长度一致；
编码推流模块，用于对重采样后的音频数据进行编码并推流。
9.一种直播过程中音频数据混响处理方法的设备，其特征在于，包括处理器(processor)、存储器(memory)和总线；
所述处理器和存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-7任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201710712937.5A 2017-08-18 2017-08-18 一种直播过程中音频数据混响处理方法及系统 Active CN109413492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710712937.5A CN109413492B (zh) 2017-08-18 2017-08-18 一种直播过程中音频数据混响处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710712937.5A CN109413492B (zh) 2017-08-18 2017-08-18 一种直播过程中音频数据混响处理方法及系统

Publications (2)

Publication Number Publication Date
CN109413492A true CN109413492A (zh) 2019-03-01
CN109413492B CN109413492B (zh) 2021-05-28

Family

ID=65463180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710712937.5A Active CN109413492B (zh) 2017-08-18 2017-08-18 一种直播过程中音频数据混响处理方法及系统

Country Status (1)

Country Link
CN (1) CN109413492B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803211A (zh) * 2019-03-06 2019-05-24 深圳市创成微电子有限公司 一键切换原声的方法及装置
CN112689109A (zh) * 2019-10-17 2021-04-20 成都鼎桥通信技术有限公司 一种记录仪的音频处理方法和装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1967657A (zh) * 2005-11-18 2007-05-23 成都索贝数码科技股份有限公司 节目制作中的说话人声音自动跟踪变调系统和方法
JP2008109279A (ja) * 2006-10-24 2008-05-08 Pioneer Electronic Corp オーディオ信号処理装置及びオーディオ信号処理方法
KR100931843B1 (ko) * 2008-01-29 2009-12-15 엠텍비젼 주식회사 멀티미디어 프로세서 칩 및 오디오 신호 처리 방법
CN102307327A (zh) * 2011-08-10 2012-01-04 深圳市万兴软件有限公司 一种音效变音方法及装置
CN103559876A (zh) * 2013-11-07 2014-02-05 安徽科大讯飞信息科技股份有限公司 音效处理方法及系统
US20140169590A1 (en) * 2012-12-19 2014-06-19 Nxp B.V. System for blending signals
CN104952452A (zh) * 2015-04-27 2015-09-30 无锡天脉聚源传媒科技有限公司 一种pcm音频采样率的转换方法及装置
CN105847961A (zh) * 2016-03-29 2016-08-10 北京数码视讯科技股份有限公司 一种音频数据的处理方法及装置
CN105872253A (zh) * 2016-05-31 2016-08-17 腾讯科技（深圳）有限公司 一种直播声音处理方法及移动终端
CN106060707A (zh) * 2016-05-27 2016-10-26 北京小米移动软件有限公司 混响处理方法及装置
CN106373600A (zh) * 2016-10-08 2017-02-01 广东欧珀移动通信有限公司 一种音频同步播放方法、装置、系统及终端
CN106531177A (zh) * 2016-12-07 2017-03-22 腾讯科技（深圳）有限公司 一种音频处理的方法、移动终端以及系统
CN106534980A (zh) * 2016-11-15 2017-03-22 广州华多网络科技有限公司 音频处理系统的异常检测方法、日志记录方法及装置
CN106604124A (zh) * 2015-10-19 2017-04-26 深圳市中兴微电子技术有限公司 一种音频数据播放方法及装置
CN106816152A (zh) * 2016-12-05 2017-06-09 乐视控股（北京）有限公司 一种音频混音方法、装置和电子设备
CN106952639A (zh) * 2017-04-26 2017-07-14 建荣半导体（深圳）有限公司 应用于k歌宝的混响方法、装置、音频处理芯片、存储装置及k歌宝
CN107027050A (zh) * 2017-04-13 2017-08-08 广州华多网络科技有限公司 辅助直播的音视频处理方法及装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1967657A (zh) * 2005-11-18 2007-05-23 成都索贝数码科技股份有限公司 节目制作中的说话人声音自动跟踪变调系统和方法
JP2008109279A (ja) * 2006-10-24 2008-05-08 Pioneer Electronic Corp オーディオ信号処理装置及びオーディオ信号処理方法
KR100931843B1 (ko) * 2008-01-29 2009-12-15 엠텍비젼 주식회사 멀티미디어 프로세서 칩 및 오디오 신호 처리 방법
CN102307327A (zh) * 2011-08-10 2012-01-04 深圳市万兴软件有限公司 一种音效变音方法及装置
US20140169590A1 (en) * 2012-12-19 2014-06-19 Nxp B.V. System for blending signals
CN104079363A (zh) * 2012-12-19 2014-10-01 Nxp股份有限公司 时间修改系统、用于混合信号的系统以及用于时间修改输入信号的方法
CN103559876A (zh) * 2013-11-07 2014-02-05 安徽科大讯飞信息科技股份有限公司 音效处理方法及系统
CN104952452A (zh) * 2015-04-27 2015-09-30 无锡天脉聚源传媒科技有限公司 一种pcm音频采样率的转换方法及装置
CN106604124A (zh) * 2015-10-19 2017-04-26 深圳市中兴微电子技术有限公司 一种音频数据播放方法及装置
CN105847961A (zh) * 2016-03-29 2016-08-10 北京数码视讯科技股份有限公司 一种音频数据的处理方法及装置
CN106060707A (zh) * 2016-05-27 2016-10-26 北京小米移动软件有限公司 混响处理方法及装置
CN105872253A (zh) * 2016-05-31 2016-08-17 腾讯科技（深圳）有限公司 一种直播声音处理方法及移动终端
CN106373600A (zh) * 2016-10-08 2017-02-01 广东欧珀移动通信有限公司 一种音频同步播放方法、装置、系统及终端
CN106534980A (zh) * 2016-11-15 2017-03-22 广州华多网络科技有限公司 音频处理系统的异常检测方法、日志记录方法及装置
CN106816152A (zh) * 2016-12-05 2017-06-09 乐视控股（北京）有限公司 一种音频混音方法、装置和电子设备
CN106531177A (zh) * 2016-12-07 2017-03-22 腾讯科技（深圳）有限公司 一种音频处理的方法、移动终端以及系统
CN107027050A (zh) * 2017-04-13 2017-08-08 广州华多网络科技有限公司 辅助直播的音视频处理方法及装置
CN106952639A (zh) * 2017-04-26 2017-07-14 建荣半导体（深圳）有限公司 应用于k歌宝的混响方法、装置、音频处理芯片、存储装置及k歌宝

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘越: "数字音效算法的研究与实现", 《中国优秀硕士学位论文全文数据库》 *
月黑风高: "录音的音量、压限、混响、均衡、降噪技术详解", 《HTTP://BLOG.SINA.COM.CN/S/BLOG_5DAF29010100BPQ4.HTML》 *
狸窝宝典: "给音频文件加混响—音频加混响的方法", 《HTTP://XUEXI.LEAWO.CN/M/VIEW.PHP?AID=2888》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803211A (zh) * 2019-03-06 2019-05-24 深圳市创成微电子有限公司 一键切换原声的方法及装置
CN112689109A (zh) * 2019-10-17 2021-04-20 成都鼎桥通信技术有限公司 一种记录仪的音频处理方法和装置

Also Published As

Publication number Publication date
CN109413492B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
KR101854964B1 (ko) 구면 조화 계수들의 변환
RU2661775C2 (ru) Передача сигнальной информации рендеринга аудио в битовом потоке
US7613264B2 (en) Flexible sampling-rate encoder
CN104681030B (zh) 用于编码/解码信号的装置和方法
CN105895107A (zh) 通过变换插值进行音频分组丢失隐藏
CN105917407A (zh) 识别码簿以在对声场的空间分量译码时使用
TW200529548A (en) Adaptive hybrid transform for signal analysis and synthesis
JP2010022006A (ja) 画像データ処理方法
CN105681715A (zh) 一种音视频处理方法和装置
CN110335615B (zh) 音频数据的处理方法、装置、电子设备及存储介质
CN101232611B (zh) 图像处理设备及其方法
CN106817588B (zh) 转码控制方法及装置、视频直播方法及系统
CN104205210A (zh) 解码设备和方法、音频信号处理设备和方法以及程序
BR112020018466A2 (pt) representando áudio espacial por meio de um sinal de áudio e de metadados associados
CN108259985A (zh) 直播音频混音方法、装置、可读存储介质及设备
CN110537220A (zh) 信号处理设备和方法及程序
CN111755017A (zh) 云会议的音频录制方法、装置、服务器及存储介质
KR20240066194A (ko) 오디오 코딩/디코딩 모드를 결정하는 방법 및 관련 제품
CN109413492A (zh) 一种直播过程中音频数据混响处理方法及系统
CN106098081B (zh) 声音文件的音质识别方法及装置
CN107613409A (zh) 多媒体数据的处理方法及装置
CN110300322A (zh) 一种屏幕录制的方法、客户端和终端设备
RU2616161C2 (ru) Способ обработки аудиосигнала для улучшенного преобразования
KR20160145711A (ko) 정보 손실을 감소시킨 전자 통신들을 위한 시스템들, 방법들 및 디바이스들
JP2021167965A (ja) ステレオ信号処理方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231106

Address after: 518000 Unit 802, Building AB, Youcheng North District, Minqiang Community, Minzhi Street, Longhua District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Detonation Point Technology Co.,Ltd.

Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building

Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd.