CN113542982B - 一种混音方法及存储介质 - Google Patents

一种混音方法及存储介质 Download PDF

Info

Publication number
CN113542982B
CN113542982B CN202110719583.3A CN202110719583A CN113542982B CN 113542982 B CN113542982 B CN 113542982B CN 202110719583 A CN202110719583 A CN 202110719583A CN 113542982 B CN113542982 B CN 113542982B
Authority
CN
China
Prior art keywords
data stream
audio
audio data
frequency
mixing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110719583.3A
Other languages
English (en)
Other versions
CN113542982A (zh
Inventor
陈时钦
江正梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202110719583.3A priority Critical patent/CN113542982B/zh
Publication of CN113542982A publication Critical patent/CN113542982A/zh
Application granted granted Critical
Publication of CN113542982B publication Critical patent/CN113542982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种混音方法及存储介质。一种混音方法，包括如下步骤，麦克风通过相同的时钟与音频播放器工作在第一频率，麦克风录制收音数据流，所述收音数据流与回声采集用的音频数据流通过混音处理芯片混音后，得到第二频率的混音后的数据流，将混音后的音频数据流送入I2S总线，所述I2S总线兼容第二频率，混音后的音频数据流再通过I2S总线被发送至处理单元。通过上述技术方案，能够实现在保证播放器音质以及麦克风收音音质的情况下，进行回采信号与麦克风收音信号的混音处理。

Description

一种混音方法及存储介质
技术领域
本发明涉及音频数据处理领域，尤其涉及一种能够回采同时保证播放音质的方法及存储介质。
背景技术
智能语音识别产品中需要用到音频信号处理算法，算法中一个很重要的部分是回声消除。回声消除算法需要采集喇叭播放的声音作为算法的回声参考信号，所以，对设备播放的音频数据进行数据回采和实时同步，是非常重要的步骤，直接影响回声消除的效果。
目前世面上存在不少回声消除的装置，但是总体上价格偏贵，且在HDMI和喇叭切换的时候效果不是很好。一般的设备录放都共用一组MCLK，为了使用市面上通用的音频处理算法(16k的数据)，需要做重采样(48k->16k，或者16k->48k)，很难在满足录音需求的同时兼顾到播放音质不受影响。本文提供的设计思路，能在HDMI和喇叭输出声音时候均采用硬回采，做到声源同步，且可以自由切换回采数据，价格低的同时效果还比较好。
发明内容
为此，需要提供一种混音方法及存储介质，以满足在音频回采装置中的混音需求。
为实现上述目的，发明人提供了一种混音方法，包括如下步骤，麦克风通过相同的时钟与音频播放器工作在第一频率，麦克风录制收音数据流，所述收音数据流与回声采集用的音频数据流通过混音处理芯片混音后，得到第二频率的混音后的数据流，将混音后的音频数据流送入I2S总线，所述I2S总线兼容第二频率，混音后的音频数据流再通过I2S总线被发送至处理单元。
具体地，还包括步骤，所述第一频率高于第二频率。
具体地，所述第一频率为48kHz，所述第二频率为16kHz。
具体地，还包括步骤，处理单元对混音后的数据流进行回声消除。
一种混音存储介质，存储有计算机程序，所述计算机程序在被运行时执行包括如下步骤，麦克风通过相同的时钟与音频播放器工作在第一频率，麦克风录制收音数据流，所述收音数据流与回声采集用的音频数据流通过混音处理芯片混音后，得到第二频率的混音后的数据流，将混音后的音频数据流送入I2S总线，所述I2S总线兼容第二频率，混音后的音频数据流再通过I2S总线被发送至处理单元。
具体地，还包括步骤，所述第一频率高于第二频率。
具体地，所述第一频率为48kHz，所述第二频率为16kHz。
具体地，还包括步骤，处理单元对混音后的数据流进行回声消除。
通过上述技术方案，能够实现在保证播放器音质以及麦克风收音音质的情况下，进行回采信号与麦克风收音信号的混音处理。
附图说明
图1为本发明一实施方式所述的回声消除的方法流程图；
图2为本发明另一实施方式所述的混音方法流程图；
图3为本发明一实施方式所述的回声消除的装置模块图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，介绍了一种回声消除方法，包括如下步骤，S100判断是否连接有音频数据分离芯片，若未连接有音频数据分离芯片，则S102调用codec的音频数据流作为回声采集用的音频数据流，同时将codec的音频数据流发送到音频播放器；还进行S104将codec的音频数据流送入处理单元，用于进行回声消除，
若连接有音视频分离芯片，则S106调用音视频分离芯片生成的音频数据流作为回声采集用的音频数据流，S108将音视频分离芯片生成的音频数据流送入处理单元，用于进行回声消除。
上述方案解决了回声消除的方法中的回采数据的来源问题，如果采用软件回采会存在解算速度不足导致的时延误差问题，采用硬件直接调用能够解决上述问题，而采用硬件回采也能够避免上述问题。
作为进一步的一些具体实施方式，所述音视频分离芯片用于分离系统生成的HDMI、DPI、DP、DVI、LVDS等格式的音视频数据。本方案中音视频分离芯片优选为HDMI音视频分离芯片。
进一步的实施例中，所述用于进行回声消除具体包括步骤，回声采集用的音频数据流送入混音处理芯片，与麦克风收音数据流进行混音后，处理单元处理混音数据和回声采集用的音频数据流进行对比消除。
在其他一些实施例中，为了保证方法实施的音质我们还设计一种混音方法，这里请看图2，本方案的适用环境中，我们可以让麦克风通过相同的时钟与音频播放器工作在第一频率，再进行步骤，S200麦克风录制收音数据流，所述收音数据流与回声采集用的音频数据流通过混音处理芯片混音后，得到第二频率的混音后的数据流，S202将混音后的音频数据流送入I2S总线，所述I2S总线兼容第二频率，S204混音后的音频数据流再通过I2S总线被发送至处理单元。让麦克风通过相同的时钟与音频播放器工作在第一频率，能够节省时钟芯片的成本，这种情况下的麦克风采样需求与播放音质的需求如果不匹配，常会得不到理想的录音播放效果。因此在麦克风与音频播放器同样工作在第一频率的情况下，采用混音处理芯片在此处有两点作用，一是对多路的数据流进行整合，同时还对不同频率的数据流进行兼容。例如在我们的一些实施例中，所述第一频率高于第二频率。则可说明在本实施例中，麦克风采集的收音数据流与音频播放器的播放音质较好，经过混音处理芯片后的数据流较差。所述第一频率为48kHz，所述第二频率为16kHz。这样音频播放器工作在48kHz，能够获得较好的播放音质，混音处理芯片采用ES7210音频模数转换芯片,采用时分复用技术(TDM)输出形式，可以使用48k的频率录音，同时兼容16kHz的输出模式。这里的混音处理指的是将收音数据流和音频数据流整合、同步输出，是数据的时分复用，而非进行音波的叠加混合。例如ES7210音频模数转换芯片可以使用4路输出，我们可以使用其中的2路输出收音数据流，2路输出音频数据流；也可以使用其中的2路输出收音数据流，2路输出音频数据流，也可以使用其中的3路输出收音数据流，1路输出音频数据流，由于3路16kHz输出相当于48kHz的收音数据流，通过这种方法也没有损失收音数据流的音质。还可以并行2套ES7210音频模数转换芯片，使用其中的2路输出收音数据流，4路输出音频数据流。并行2套ES7210音频模数转换芯片，使用其中的3路输出收音数据流，3路输出音频数据流等等实施方式，均能够达到混音输出的技术效果。
在进一步的具体实施例中，还包括步骤，处理单元对混音后的数据流进行回声消除。这里的处理单元可以是专用的回声消除芯片，如ATH8806，也可以通过对应的算法，通过处理单元运算进行回声消除。处理单元可用于对I2S总线传过来的数据进行后续的回声消除处理。这里的回声消除算法运行的是，对比收音数据流和音频数据流，根据音频数据流消除收音数据流中的杂波及背景回声。
在图3所示的实施例中，展示了应用本方案的装置的样式，在判断是连接有音频数据分离芯片的前提下，装置收到音视频数据流，调用音视频分离芯片生成的音频数据流作为回声采集用的音频数据流，S108将音视频分离芯片生成的音频数据流送入混音处理芯片，再通过混音处理芯片混音后送回处理芯片，用于进行回声消除。若未连接有音频数据分离芯片，则直接调用系统codec的音频数据流作为回声采集用的音频数据流，同时将codec的音频数据流发送到SPEAKER音频播放器；还同时进行将codec的音频数据流送入处理单元，用于进行回声消除。在这之后，我们还用麦克风录制收音数据流，所述收音数据流与回声采集用的音频数据流通过混音处理芯片混音后，得到第二频率的混音后的数据流，将混音后的音频数据流送入I2S总线，所述I2S总线兼容第二频率，混音后的音频数据流再通过I2S总线被发送至处理单元。
本方案还介绍一种回声消除存储介质，存储有计算机程序，所述计算机程序在被运行时执行包括如下步骤，判断是否连接有音频数据分离芯片，若未连接有音频数据分离芯片，则配置codec内部的通路，获取音频数据流作为回声采集用的音频数据流，同时将codec的音频数据流发送到音频播放器；还将codec的音频数据流送入处理单元，进行回声消除，
若连接有音视频分离芯片，则调用音视频分离芯片生成的音频数据流作为回声采集用的音频数据流，送入处理单元，用于进行回声消除。
具体地，所述音视频分离芯片用于分离系统生成的HDMI、DPI、DP、DVI、LVDS等格式的音视频数据。
具体地，所述计算机程序在被运行时执行回声消除具体执行包括步骤，回声采集用的音频数据流送入混音处理芯片，与麦克风收音数据流进行混音后，处理单元处理混音数据和回声采集用的音频数据流进行对比消除。
本方案还介绍一种混音存储介质，存储有计算机程序，所述计算机程序在被运行时执行包括如下步骤，麦克风通过相同的时钟与音频播放器工作在第一频率，麦克风录制收音数据流，所述收音数据流与回声采集用的音频数据流通过混音处理芯片混音后，得到第二频率的混音后的数据流，将混音后的音频数据流送入I2S总线，所述I2S总线兼容第二频率，混音后的音频数据流再通过I2S总线被发送至处理单元。
具体地，还包括步骤，所述第一频率高于第二频率。
具体地，所述第一频率为48kHz，所述第二频率为16kHz。
具体地，还包括步骤，处理单元对混音后的数据流进行回声消除。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (8)

1.一种混音方法，其特征在于，包括如下步骤：
判断是否连接有音频数据分离芯片，
若未连接有音频数据分离芯片，则调用codec的音频数据流作为回声采集用的音频数据流，同时将codec的音频数据流发送到音频播放器；将codec的音频数据流送入处理单元，用于进行回声消除，
若连接有音视频分离芯片，则调用音视频分离芯片生成的音频数据流作为回声采集用的音频数据流，将音视频分离芯片生成的音频数据流送入处理单元，用于进行回声消除；
使麦克风通过相同的时钟与音频播放器工作在第一频率；
通过所述麦克风录制收音数据流，并将所述收音数据流与回声采集用的音频数据流通过混音处理芯片混音，得到第二频率的混音后的数据流；
将所述混音后的数据流送入I2S总线，所述I2S总线兼容第二频率，所述第一频率高于所述第二频率；以及
将所述混音后的数据流再通过所述I2S总线发送至处理单元。
2.根据权利要求1所述的混音方法，其特征在于，所述混音处理芯片使用4路输出，其中的3路输出收音数据流，1路输出音频数据流。
3.根据权利要求1所述的混音方法，其特征在于，所述第一频率为48kHz，所述第二频率为16kHz。
4.根据权利要求1所述的混音方法，其特征在于，还包括步骤：
由所述处理单元对所述混音后的数据流进行回声消除。
5.一种混音存储介质，其特征在于，存储有计算机程序，所述计算机程序在被运行时执行包括如下步骤：
判断是否连接有音频数据分离芯片，
若未连接有音频数据分离芯片，则调用codec的音频数据流作为回声采集用的音频数据流，同时将codec的音频数据流发送到音频播放器；将codec的音频数据流送入处理单元，用于进行回声消除，
若连接有音视频分离芯片，则调用音视频分离芯片生成的音频数据流作为回声采集用的音频数据流，将音视频分离芯片生成的音频数据流送入处理单元，用于进行回声消除；
使麦克风通过相同的时钟与音频播放器工作在第一频率；
通过所述麦克风录制收音数据流，并将所述收音数据流与回声采集用的音频数据流通过混音处理芯片混音，得到第二频率的混音后的数据流；
将所述混音后的数据流送入I2S总线，所述I2S总线兼容第二频率，所述第一频率高于所述第二频率；以及
将所述混音后的音频数据流再通过所述I2S总线发送至处理单元。
6.根据权利要求5所述的混音存储介质，其特征在于，所述混音处理芯片使用4路输出，其中的3路输出收音数据流，1路输出音频数据流。
7.根据权利要求5所述的混音存储介质，其特征在于，所述第一频率为48kHz，所述第二频率为16kHz。
8.根据权利要求5所述的混音存储介质，其特征在于，还包括步骤：
由所述处理单元对混音后的数据流进行回声消除。
CN202110719583.3A 2021-06-28 2021-06-28 一种混音方法及存储介质 Active CN113542982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110719583.3A CN113542982B (zh) 2021-06-28 2021-06-28 一种混音方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110719583.3A CN113542982B (zh) 2021-06-28 2021-06-28 一种混音方法及存储介质

Publications (2)

Publication Number Publication Date
CN113542982A CN113542982A (zh) 2021-10-22
CN113542982B true CN113542982B (zh) 2023-07-18

Family

ID=78097014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110719583.3A Active CN113542982B (zh) 2021-06-28 2021-06-28 一种混音方法及存储介质

Country Status (1)

Country Link
CN (1) CN113542982B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095564B (zh) * 2023-04-10 2023-06-23 深圳市嘉润原新显科技有限公司 显示器混音电路及显示器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201532036A (zh) * 2014-02-11 2015-08-16 Xcube Technology Inc 多媒體卡拉ｏｋ混音裝置及其混音方法
CN107371059A (zh) * 2017-08-09 2017-11-21 北京智网时代科技有限公司 一种消除电视对语音识别装置干扰的装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491404B2 (en) * 2011-10-27 2016-11-08 Polycom, Inc. Compensating for different audio clocks between devices using ultrasonic beacon
DE102018127071B3 (de) * 2018-10-30 2020-01-09 Harman Becker Automotive Systems Gmbh Audiosignalverarbeitung mit akustischer Echounterdrückung
US10930300B2 (en) * 2018-11-02 2021-02-23 Veritext, Llc Automated transcript generation from multi-channel audio
CN109767777A (zh) * 2019-01-31 2019-05-17 迅雷计算机（深圳）有限公司 一种直播软件的混音方法
CN110277102B (zh) * 2019-04-30 2021-09-07 晶晨半导体(上海)股份有限公司 一种多声道混音的回音消除系统和回音消除方法
CN111372121A (zh) * 2020-03-16 2020-07-03 北京文香信息技术有限公司 一种回声消除方法、装置、存储介质及处理器
CN112565668B (zh) * 2020-12-28 2022-03-04 创想空间信息技术(苏州)有限公司 一种网络会议共享声音的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201532036A (zh) * 2014-02-11 2015-08-16 Xcube Technology Inc 多媒體卡拉ｏｋ混音裝置及其混音方法
CN107371059A (zh) * 2017-08-09 2017-11-21 北京智网时代科技有限公司 一种消除电视对语音识别装置干扰的装置

Also Published As

Publication number Publication date
CN113542982A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN106297815B (zh) 一种语音识别场景中回音消除的方法
CN107749299B (zh) 一种多音频输出方法和装置
US20070019802A1 (en) Audio data stream synchronization
CN110349582B (zh) 显示装置与远场语音处理电路
CN108111952B (zh) 一种录音方法、装置、终端及计算机可读存储介质
CN105264911A (zh) 音频设备
US10652681B2 (en) Processing method and system of audio multichannel output speaker, and mobile phone
CN113890932A (zh) 一种音频控制方法、系统及电子设备
CN113542982B (zh) 一种混音方法及存储介质
US20230116128A1 (en) Multi-device audio playback correction method and device
CN110277102B (zh) 一种多声道混音的回音消除系统和回音消除方法
CN111883158B (zh) 一种回声消除方法和装置
CN111863011B (zh) 音频处理方法及电子设备
US20120197635A1 (en) Method for generating an audio signal
CN113409808B (zh) 一种回声消除时延估算方法及回声消除方法
CN113421578A (zh) 音频处理方法、装置、电子设备及存储介质
CN110890100B (zh) 语音增强、多媒体数据采集、播放方法、装置及监控系统
CN109378011B (zh) 一种现场音频播放和采集系统及回音消除方法
CN113539287A (zh) 一种回声消除的方法及存储介质
CN110444233A (zh) 一种数字音影娱乐设备的音频接收播放方法及系统
TW201248496A (en) Method and system for processing audio signals in a central audio hub
WO2015131591A1 (zh) 音频信号输出方法、装置、终端及系统
CN105389156B (zh) 一种基于dma技术降低声音输入至输出延迟的方法和系统
WO2021004067A1 (zh) 一种显示装置
CN114786116A (zh) 会议一体机的声音处理方法、会议一体机以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant