CN111696515B - 一种用于教学录播的音频混音方法 - Google Patents

一种用于教学录播的音频混音方法 Download PDF

Info

Publication number
CN111696515B
CN111696515B CN202010544498.3A CN202010544498A CN111696515B CN 111696515 B CN111696515 B CN 111696515B CN 202010544498 A CN202010544498 A CN 202010544498A CN 111696515 B CN111696515 B CN 111696515B
Authority
CN
China
Prior art keywords
mixing
audio
sound
pickup
audio frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010544498.3A
Other languages
English (en)
Other versions
CN111696515A (zh
Inventor
任军军
罗浩
孙云云
孙旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Elite Audio Co ltd
Original Assignee
Hangzhou Elite Audio Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Elite Audio Co ltd filed Critical Hangzhou Elite Audio Co ltd
Priority to CN202010544498.3A priority Critical patent/CN111696515B/zh
Publication of CN111696515A publication Critical patent/CN111696515A/zh
Application granted granted Critical
Publication of CN111696515B publication Critical patent/CN111696515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种用于教学录播的音频混音方法，首先采集参与混音的n路拾音器的当前音频帧信号并计算能量有效值，然后根据能量有效值的大小排序并进行混音权重的更新和调整，最后对混音输出进行混音处理，计算得到混音的最终输出信号。本发明提出的混音方法可以将拾音器采集信号、无线麦采集信号和课件声信号三者准确的混合在一起，混音后的音频信号具有清晰度高，音质好的特点。本发明可以准确判断教学录播场景下的多种教学场景，并根据实际情况对混音权重因子进行实时更新，从而使得混音后音频信号具有出色自然的音质。

Description

一种用于教学录播的音频混音方法
技术领域
本发明涉及教学录播音频技术领域，尤其涉及一种用于教学录播的音频混音方法。
背景技术
教学录播系统是将上课的影像、声音和课件等记录成标准的网络格式，并通过网络进行同步直播和后期点播，实现优秀教学资源的有效共享。在录播系统中，音频的质量十分重要，而混音技术又直接影响到录播的音频质量。
由于目前大部分录播系统不仅要求录制教师授课的声音，而且要求对上课时师生的互动情况进行录制，即录制学生回答问题的声音。此外，也需要对上课时播放的课件声音进行录制。在实际课堂上，老师通常会佩戴领夹麦、头戴麦等无线麦克风进行录播和本地扩声；学生的声音被安装的多个拾音器或者吊麦来采集；课件的声音通过电脑的线性输出进行采集。
众所周知，教学录播系统需要录制老师、学生和课件的声音，传统的方法是在教室内安装一个或多个拾音器。每个拾音器都会采集安装位置处周围的声音，这个声音包含了老师的说话声，学生回答问题的声音，以及教室内扬声器播放的课件声音与无线麦克风的本地扩声。由于声源较多，难免会造成混响现象，如老师说话的直达声与通过扬声器扩声的声音造成的混响，此外课件播放的声音通过扬声器播放后再被拾音器采集，声音的还原度也会下降很多，这些因素都会造成录制的声音清晰度下降。此外，如果同时通过多个拾音器采集声音而进行直接混音操作，通常会造成“梳状滤波器效应”，导致混音后的声音发生失真，这是由于同一个声源到达各个拾音器的声音存在相位差所造成的。
发明内容
本发明目的在于针对现有技术的不足，提出一种能够提高录制音频质量，并用于教学录播的音频混音方法。
本发明的目的是通过以下技术方案来实现的：一种用于教学录播的音频混音方法，该方法具体步骤如下：
步骤1：采集参与混音的n路拾音器的当前音频帧信号，记做xi，其中i＝1,2,……,n；无线麦音频帧信号为w，课件音频帧信号为c；
步骤2：分别计算采集的n路拾音器音频帧信号的能量有效值；其中，第k路音频帧信号能量有效值为：
其中，N为音频帧信号的采样点总数，i是采样点的序号；
步骤3：对步骤2计算得到的n路音频帧信号的能量有效值进行大小排序，选择当前帧信号的能量有效值最大的拾音器，记该拾音器的能量有效值为Sm，其中m为能量有效值最大的拾音器对应的序号；
步骤4：设n路拾音器在上一帧信号的混音权重为Qi，其中i＝1,2,……,n；在当前帧进行混音时，根据能量有效值对混音权重Qi进行更新；混音权重Qi的更新过程如下：
其中，step为混音权重更新的步长因子，取值范围为0～1；
步骤5：混音权重Qi的取值范围为0～1，根据步骤4对混音权重Qi更新的结果，如果Qi的取值超出指定范围，则对Qi作以下调整：
步骤6：当对n路拾音器采集音频帧信号的当前帧数据进行混音时，将采用步骤5调整后的混音权重Qi，此时，n路拾音器的混音输出为
i＝1,2,……,n
步骤7：对无线麦克风音频帧信号w、课件音频帧信号c和拾音器混音输出y进行混音处理，具体混音过程为：分别对无线麦克风音频帧信号w和课件音频帧信号c进行静音检测，当检测到w或c有声音时，对拾音器混音输出y进行逐步关闭，即更新拾音器输出y的混音权重Qy，使其逐步变小，直至Qy＝0。其中，混音权重Qy的取值范围为0～1；当检测到w或c均为静音时，则更新拾音器输出y的混音权重Qy，使其逐步变大，直至Qy＝1；
步骤8：根据步骤7计算得到的混音权重Qy对无线麦音频帧信号w、课件音频帧信号c和拾音器混音输出y进行混音，此时，三者的混音输出为
z＝w+c+Qy·y
其中，z为音频混音的最终输出信号。
进一步地，音频帧一帧信号的长度为20ms，采样率为32kHz，采样点总数N＝640。
进一步地，所述步骤7中，静音检测通过计数器来实现，首先计算当前帧的能量值，然后将当前帧与上一帧信号进行平滑处理，得到平滑后的能量值；将平滑后的能量值与设定的阈值T进行比较，当平滑后的能量大于阈值T时，判断当前帧为有话段，并对计数器X进行清零；若当平滑后的能量值小于阈值T时，计数器X加1，将计数器X与设定的最小检测帧数C比较，若计数器X大于C，则判断为无话段，反之为有话段。
进一步地，所述阈值T的选取为环境声约60dB时对应的能量值，最小检测帧数C取值为5～10。
本发明的有益效果：本发明提出的混音方法可以将拾音器采集信号、无线麦克风采集信号和课件声信号三者准确的混合在一起，混音后的音频信号具有清晰度高，音质好的特点。本发明可以准确判断教学录播场景下的多种教学场景，并根据实际情况对混音权重因子进行实时更新，从而使得混音后音频信号具有出色自然的音质。
附图说明
图1为本发明所述混音方法的结构框图；
图2为本发明所述混音方法的工作流程图；
图3为本发明所述静音检测单元的流程图；
图4为本发明教学录播音频系统结构图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
本发明所述混音方法的结构框图如图1所示，包括：拾音器单元，用于参与混音的各路音频信号的采集；与所述拾音器单元相连接的混音权重，用于对各路拾音器采集信号的加权，避免混音后的输出音频信号切换过于明显；与所述混音权重相连接的混音器，用于各路加权音频信号的混音；与所述混音器相连接的混音权重，用于对第一次混音输出信号的加权；无线麦克风单元，用于第二次混音所需的无线麦信号采集；课件单元，用于第二次混音所需的课件信号采集；与所述无线麦克风单元和课件单元相连接的静音检测单元，用于判断音频信号是否有语音信号；与所述静音检测相连接的混音器，用于拾音器混音后输出信号、无线麦克风信号和课件信号的混音，并输出本发明的最终混音信号。
本发明所述混音方法的工作流程图如图2所示，具体实施步骤如下：
步骤1：采集参与混音的n路拾音器的当前音频帧信号，记做xi，其中i＝1,2,……,n。无线麦音频帧信号为w，课件音频帧信号为c。
步骤2：分别计算采集的n路拾音器音频帧信号的能量有效值。其中，第k路音频帧信号能量有效值为：
其中，N为音频帧信号的采样点总数，i是采样点的序号，本发明中一帧信号的长度为20ms，采样率为32kHz，所以此处的采样点总数N＝640；
步骤3：对步骤2计算得到的n路音频信号的能量有效值进行大小排序，选择当前帧信号的能量有效值最大的拾音器，记该拾音器的能量有效值为Sm，其中m为能量有效值最大的拾音器对应的序号。
步骤4：设n路拾音器在当前帧的混音权重为Qi，其中i＝1,2,……,n。在当前帧进行混音时，根据能量有效值对混音权重Qi进行更新。混音权重Qi的更新过程如下：
其中，step为混音权重更新的步长因子，取值范围为0～1。step的取值可以根据实际情况进行选择。
步骤5：混音权重Qi的取值范围为0～1，根据步骤4对混音权重Qi更新的结果，如果Qi的取值超出指定范围，则对Qi作以下调整：
步骤6：当对n路拾音器采集音频帧信号的当前帧数据进行混音时，将采用更新后的混音权重Qi，此时，n路拾音器的混音输出为
i＝1,2,……,n
步骤7：对无线麦克风音频帧信号w、课件音频帧信号c和拾音器混音输出y进行混音处理。具体混音过程为：分别对无线麦克风音频帧信号w和课件音频帧信号c进行静音检测，当检测到w或c有声音时，对拾音器混音输出y进行静音处理，并更新拾音器输出y的混音权重Qy，使其逐步变小，以防止发生明显的声音切换现象。其中，混音权重Qy的取值范围为0～1。当检测到w或c均为静音时，则更新拾音器输出y的混音权重Qy，使其逐步变大。
步骤8：根据步骤7计算得到的混音权重Qy对无线麦克风音频帧信号w、课件音频帧信号c和拾音器混音输出y进行混音，此时，三者的混音输出为
z＝w+c+Qy·y
其中，z为最终输出信号。
本发明中的静音检测计算方法如图3所示。首先计算当前帧的能量值，然后将当前帧与上一帧信号进行平滑处理，得到平滑后的能量值。将平滑后的能量值与设定的阈值T进行比较，当平滑后的能量大于阈值T时，判断当前帧为有话段，并对计数器X进行清零。而当平滑后的能量值小于阈值T时，计数器X加1，将计数器X与设定的最小检测帧数C比较，若计数器X大于C，则判断为无话段，反之为有话段。其中阈值T的选取为环境声约60dB时对应的能量值，最小检测帧数C取值为5～10。
下文中将结合实施例来进一步说明本发明能达到的效果。
图4表示一个教学录播音频系统的基本组成，其中无线麦克风采集老师说话的声音；拾音器1、拾音器2分别安装于学生区域的前部、后部位置，拾音器1采集前排学生的声音，拾音器2采集后排学生的声音；课件为电脑的音频输出，是老师上课时使用的电脑课件播放的音频信号；这些音频信号都接入混音器，经过混音后输出至录播主机，其中无线麦克风与课件的信号还要输出至音箱进行本地扩声。
表1为一段时间内该教室内教学活动的内容，按时间段排列，表2为这段时间内拾音器采集到的声音信号中包含的内容，表3为这段时间内常规混音方法与本发明使用的混音方法的输出音频信号的对比。
表1 0—t3时间段内的教学内容
时间段序号 开始时刻 结束时刻 教学内容
1 0 t1 老师说话
2 t1 t2 学生发言
3 t2 t3 播放课件
表2 0—t3时间段内的拾音器采集的声音内容
表3 0—t3时间段内不同混音方法的混音输出对比
从本例中可以看出，与传统的混音方法相比，使用本发明的混音方法的输出，不管在哪种教学场景下，均减小了混音的声源数量，以及减小了输出中的环境噪声，提高了声音的清晰度。在老师说话、播放课件两种场景下，完全去掉了环境噪声；在学生发言这种场景下，只输出了离发言者较近距离的拾音器的信号，也减小了混音的声源数量，减小了环境噪声的叠加与混响，消除了梳状滤波器效应带来的语音清晰度的降低。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种用于教学录播的音频混音方法，其特征在于，该方法具体步骤如下：
步骤1：采集参与混音的n路拾音器的当前音频帧信号，记做xi，其中i＝1,2,……,n；无线麦音频帧信号为w，课件音频帧信号为c；
步骤2：分别计算采集的n路拾音器音频帧信号的能量有效值；其中，第k路音频帧信号能量有效值为：
其中，N为音频帧信号的采样点总数，k是采样点的序号；
步骤3：对步骤2计算得到的n路音频帧信号的能量有效值进行大小排序，选择当前帧信号的能量有效值最大的拾音器，记该拾音器的能量有效值为Sm，其中m为能量有效值最大的拾音器对应的序号；
步骤4：设n路拾音器在上一帧信号的混音权重为Qi，其中i＝1,2,……,n；在当前帧进行混音时，根据能量有效值对混音权重Qi进行更新；混音权重Qi的更新过程如下：
其中，step为混音权重更新的步长因子，取值范围为0～1；
步骤5：混音权重Qi的取值范围为0～1，根据步骤4对混音权重Qi更新的结果，如果Qi的取值超出指定范围，则对Qi作以下调整：
步骤6：当对n路拾音器采集音频帧信号的当前帧数据进行混音时，将采用步骤5调整后的混音权重Qi，此时，n路拾音器的混音输出为
步骤7：对无线麦克风音频帧信号w、课件音频帧信号c和拾音器混音输出y进行混音处理，具体混音过程为：分别对无线麦克风音频帧信号w和课件音频帧信号c进行静音检测，当检测到w或c有声音时，对拾音器混音输出y进行逐步关闭，即更新拾音器输出y的混音权重Qy，使其逐步变小，直至Qy＝0；其中，混音权重Qy的取值范围为0～1；当检测到w或c均为静音时，则更新拾音器输出y的混音权重Qy，使其逐步变大，直至Qy＝1；
步骤8：根据步骤7计算得到的混音权重Qy对无线麦音频帧信号w、课件音频帧信号c和拾音器混音输出y进行混音，此时，三者的混音输出为
z＝w+c+Qy·y
其中，z为音频混音的最终输出信号。
2.根据权利要求1所述的一种用于教学录播的音频混音方法，其特征在于，音频帧一帧信号的长度为20ms，采样率为32kHz，采样点总数N＝640。
3.根据权利要求1所述的一种用于教学录播的音频混音方法，其特征在于，所述步骤7中，静音检测通过计数器来实现，首先计算当前帧的能量值，然后将当前帧与上一帧信号进行平滑处理，得到平滑后的能量值；将平滑后的能量值与设定的阈值T进行比较，当平滑后的能量大于阈值T时，判断当前帧为有话段，并对计数器X进行清零；若当平滑后的能量值小于阈值T时，计数器X加1，将计数器X与设定的最小检测帧数C比较，若计数器X大于C，则判断为无话段，反之为有话段。
4.根据权利要求3所述的一种用于教学录播的音频混音方法，其特征在于，所述阈值T的选取为环境声60dB时对应的能量值，最小检测帧数C取值为5～10。
CN202010544498.3A 2020-06-15 2020-06-15 一种用于教学录播的音频混音方法 Active CN111696515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010544498.3A CN111696515B (zh) 2020-06-15 2020-06-15 一种用于教学录播的音频混音方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010544498.3A CN111696515B (zh) 2020-06-15 2020-06-15 一种用于教学录播的音频混音方法

Publications (2)

Publication Number Publication Date
CN111696515A CN111696515A (zh) 2020-09-22
CN111696515B true CN111696515B (zh) 2023-08-15

Family

ID=72481177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010544498.3A Active CN111696515B (zh) 2020-06-15 2020-06-15 一种用于教学录播的音频混音方法

Country Status (1)

Country Link
CN (1) CN111696515B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637627B (zh) * 2020-12-18 2023-09-05 咪咕互动娱乐有限公司 直播中用户交互方法、系统、终端、服务器及存储介质
CN112885329B (zh) * 2021-02-02 2023-10-31 广州广哈通信股份有限公司 一种提高混音音质的控制方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012079459A1 (zh) * 2010-12-17 2012-06-21 中兴通讯股份有限公司 一种多话筒混音方法及装置
KR102021994B1 (ko) * 2018-08-29 2019-09-17 주식회사 싸이언 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법
CN111048119A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 通话音频混音处理方法、装置、存储介质和计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012079459A1 (zh) * 2010-12-17 2012-06-21 中兴通讯股份有限公司 一种多话筒混音方法及装置
KR102021994B1 (ko) * 2018-08-29 2019-09-17 주식회사 싸이언 음성 방송시스템 및 그 음성 방송시스템의 역 필터를 이용한 음성 잔향 및 룸 공진 제거 방법
CN111048119A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 通话音频混音处理方法、装置、存储介质和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡 斌.一种多路音频混音算法的实现与应用.《探索与观察》.2017,全文. *

Also Published As

Publication number Publication date
CN111696515A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111696515B (zh) 一种用于教学录播的音频混音方法
CN106448722A (zh) 录音方法、装置和系统
CN110234051B (zh) 一种基于深度学习的防啸叫扩声方法及系统
CN104967960A (zh) 语音数据处理方法、游戏直播中的语音数据处理方法和系统
CN107124647A (zh) 一种全景视频录制时自动生成字幕文件的方法及装置
Rennies et al. Intelligibility-Enhancing Speech Modifications-The Hurricane Challenge 2.0.
CN110475181B (zh) 设备配置方法、装置、设备和存储介质
CN104540015A (zh) 一种应用于在线课堂系统中的自动音量调节方法及设备
WO2023064750A1 (en) Multi-source audio processing systems and methods
CN112887875A (zh) 会议系统语音数据采集方法、装置、电子设备及存储介质
CN115359804B (zh) 一种基于麦克风阵列的定向音频拾取方法和系统
CN102209225A (zh) 视频通信的实现方法及装置
Terrell et al. An offline, automatic mixing method for live music, incorporating multiple sources, loudspeakers, and room effects
CN112788489B (zh) 控制方法、装置和电子设备
CN212013003U (zh) 一种拾音及扩音系统
CN115410593A (zh) 音频信道的选择方法、装置、设备及存储介质
CN115376534A (zh) 一种麦克风阵列音频的处理方法及拾音胸牌
Гавран et al. Features of Sound Recording in Open Space
CN111833894A (zh) 基于远场拾音模型的远场拾音方法及系统
CN104918198A (zh) 一种基于在线课堂的音频校准方法及装置
CN112911461A (zh) 一种用于舞台表演的音箱系统高保真控制方法及系统
CN104716917B (zh) 公共广播声压自适应控制方法
CN104867359B (zh) 一种直录播系统中的音频处理方法及系统
Abel et al. Recording in a virtual acoustic environment
CN219834335U (zh) 一种蓝牙音响系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant