CN109378011B - 一种现场音频播放和采集系统及回音消除方法 - Google Patents

一种现场音频播放和采集系统及回音消除方法 Download PDF

Info

Publication number
CN109378011B
CN109378011B CN201811546232.1A CN201811546232A CN109378011B CN 109378011 B CN109378011 B CN 109378011B CN 201811546232 A CN201811546232 A CN 201811546232A CN 109378011 B CN109378011 B CN 109378011B
Authority
CN
China
Prior art keywords
audio
remote
mixed
unit
conversion unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811546232.1A
Other languages
English (en)
Other versions
CN109378011A (zh
Inventor
张保华
汪骏达
於清
林坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU EVEREST SEMICONDUCTOR CO Ltd
Original Assignee
SUZHOU EVEREST SEMICONDUCTOR CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU EVEREST SEMICONDUCTOR CO Ltd filed Critical SUZHOU EVEREST SEMICONDUCTOR CO Ltd
Priority to CN201811546232.1A priority Critical patent/CN109378011B/zh
Publication of CN109378011A publication Critical patent/CN109378011A/zh
Application granted granted Critical
Publication of CN109378011B publication Critical patent/CN109378011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明揭示了一种现场音频播放和采集系统及回音消除方法，其中，所述系统包括回放装置、现场音频采集单元、第一数据转换单元和信号处理单元，现场音频采集单元采集回放装置播放的第一远程音频及现场音频形成混合音频，传输给第一数据转换单元；第一数据转换单元将从回放装置回采的第二远程音频及上述混合音频按原有的数据传输协议发送给信号处理单元；信号处理单元从混合音频中剥离掉第二远程音频得到现场音频。本发明不增加系统硬件，不改变音频接口协议，通过内部信号处理，解决了音频抗回音录音的问题。

Description

一种现场音频播放和采集系统及回音消除方法
技术领域
本发明涉及一种在音频采集系统中的回音消除技术，尤其是涉及一种现场音频播放和采集系统及回音消除方法。
背景技术
在现场音频采集的系统中，如果回放设备同时正在播放远程音频，远程音频会混合在现场音频中同时被采集进去，被当成现场音频经过数字音频接口发出去，混合音频听起来就会有回音。如果回音没有消除，接收方播放的时候会重现，在听感上会很不舒服；而且在语音识别上会造成错误干扰；在实时系统中一旦增益过大，还会引起啸叫。
现有的现场音频采集系统，其在现场采集的时候会把现场音频和远程音频一起采集，得到一个混合音频。再通过专门通道(如录音)采集远程音频，通过数字音频处理技术，从混合音频中减去远程音频，就可以把回音去掉。但是，这个系统为了去除回音还需要一套专门的录音传输系统，同时这个录音系统也会把少量的现场音频录进去，处理的时候会对现场音频有损害。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种不增加系统硬件，不改变接口协议，通过内部信号处理，解决了音频抗回音录音问题的现场音频播放和采集系统及回音消除方法。
为实现上述目的，本发明提出如下技术方案：一种现场音频播放和采集系统，包括播放远程音频的回放装置、现场音频采集单元、第一数据转换单元和信号处理单元，其中，
所述现场音频采集单元与回放装置及第一数据转换单元均相连，用于采集回放装置播放的第一远程音频及现场音频形成混合音频，传输给所述第一数据转换单元；
所述第一数据转换单元与回放装置及信号处理单元相连，用于接收所述混合音频及从回放装置回采的第二远程音频，并做并串转换后，按原有的数据传输协议发送给信号处理单元，所述第二远程音频与第一远程音频数据相同；
所述信号处理单元与回放装置相连，用于接收所述混合音频和第二远程音频，并从所述混合音频中剥离掉第二远程音频得到所述现场音频，将所述现场音频传输给回放设备。
优选地，所述回放装置包括远程接收单元、第二数据转换单元和远程音频播放单元，其中，
所述远程接收单元与所述信号处理单元及第二数据转换单元均相连，用于接收所述现场音频并传输给第二数据转换单元；
所述第二数据转换单元与远程音频播放单元和第一数据转换单元均相连，用于将所述现场音频做串并转换后传输给远程音频播放单元，及用于供第一数据转换单元回采出所述第二远程音频；
所述远程音频播放单元与现场音频采集单元相连，用于接收所述现场音频并播放产生所述第一远程音频。
优选地，所述第一数据转换单元为模数转换单元，所述第二数据转换单元为数模转换单元。
优选地，所述系统为单声道系统时，所述第一数据转换单元的组合音频接口以至少2通道格式发送和接收所述混合音频和第二远程音频，所述至少2通道格式包括立体声的格式或至少2倍采样率的格式。
优选地，所述立体声包括两个独立的声道，所述混合音频和第二远程音频分别在所述两个声道中；所述2倍采样率的格式是以采样率的2倍速率发送和接收单声道混合音频和第二远程音频，且所述混合音频和第二远程音频交替发送和接收。
优选地，所述系统为立体声系统时，所述第一数据转换单元的组合音频接口以至少四通道的格式或至少2倍采样率的格式发送和接收立体声的所述混合音频和第二远程音频。
优选地，所述四通道的格式是一个采样点包括两个左声道和两个由声道的四个数据槽位，四个所述数据槽位分别放置两个通道的所述混合音频和两个通道的第二远程音频；所述2倍采样率的格式是以采样率的2倍速率发送和接收立体声的混合音频和第二远程音频，且所述立体声的混合音频和第二远程音频交替发送和接收。
本发明还揭示了另外一种技术方案：一种基于上述现场音频播放和采集系统的回音消除方法，所述方法包括：
S1，现场音频采集单元采集回放装置播放的第一远程音频及现场音频形成混合音频，传输给第一数据转换单元；
S2，所述第一数据转换单元接收所述混合音频及从回放装置回采的第二远程音频，并做并串转换后，按原有的数据传输协议发送给信号处理单元；
S3，所述信号处理单元接收所述混合音频和第二远程音频，并从所述混合音频中剥离掉第二远程音频，将剥离得到所述现场音频传输给回放设备。
优选地，S2中，所述第一数据转换单元的组合音频接口在系统为单声道系统时，以至少2通道格式发送和接收所述混合音频和第二远程音频，所述至少2通道格式包括立体声的格式或至少2倍采样率的格式。
优选地，S2中，所述第一数据转换单元的组合音频接口在系统为立体声系统时，以至少四通道的格式或至少2倍采样率的格式发送和接收立体声的所述混合音频和第二远程音频。
本发明的有益效果是：
本发明通过在音频模数转换内部回采原始的远程音频，经过处理后按原有的数据传输协议及原有的数字音频接口发送给信号处理单元，信号处理单元通过数字音频的处理技术消除混合音频中的远程音频，从而可以得到现场纯净的音频。本发明在不增加系统硬件，不改变音频接口协议，通过内部信号处理，解决了音频抗回音录音的问题。
附图说明
图1是本发明系统的结构示意图；
图2是现有单声道的数字音频传输接口的原理示意图；
图3是本发明以立体声传输单声道混合音频和回采音频的原理示意图；
图4是本发明以2倍采样率传输单声道混合音频和回采音频的原理示意图；
图5是现有立体声的数字音频传输接口的原理示意图；
图6是本发明以四通道传输立体声混合音频和回采音频的原理示意图；
图7是本发明以2倍采样率传输立体声混合音频和回采音频的原理示意图；
图8是本发明方法的流程示意图。
具体实施方式
下面将结合本发明的附图，对本发明实施例的技术方案进行清楚、完整的描述。
本发明所揭示的一种现场音频播放和采集系统及回音消除方法，其在不增加系统硬件，不改变原有的音频接口协议，通过内部信号处理，解决了音频抗回音录音的问题。这里的音频接口协议如集成电路内置音频总线(Inter-IC Sound，I2S)，左对齐(LeftJustify)，右对齐(Right Justify)，DSP(Digital Signal Processing Port，数字信号处理接口)等。
如图1所示，本发明实施例所揭示的一种现场音频播放和采集系统，包括回放装置、现场音频采集单元、第一数据转换单元和信号处理单元，其中，回放装置用于传输及回放远程音频，具体地，其传输第一远程音频给现场音频采集单元，及回放第二远程音频给第一数据转换单元回采，其中，第一远程音频和第二远程音频数据相同。
现场音频采集单元与回放装置及第一数据转换单元均相连，用于采集回放装置播放的第一远程音频及现场音频形成混合音频，传输给第一数据转换单元。
第一数据转换单元与回放装置及信号处理单元相连，用于接收由现场音频采集单元传输过来的所述混合音频，及从回放装置回采的第二远程音频，并做并串转换后，按原有的数据传输协议发送给信号处理单元。本实施例中，第一数据转换单元采用模数转换单元。
优选地，本发明的系统在不增加系统硬件，不改变音频接口协议的基础上，将上述混合音频和第二远程音频通过原有的数字音频接口发出。具体地，系统现有的数字音频传输接口一般如图2和图5所示，分别是单声道数字音频传输协议和立体声数字音频传输协议。
具体地，如图2所示，是单声道数字音频传输协议，一个帧时钟包含一个采样点数据。本发明在不改变音频接口协议的原则下，将第一数据转换单元的组合音频接口替换以立体声的格式或至少2倍采样率的格式发送和接收所述混合音频和第二远程音频。具体的，如图3所示，为以立体声传输单声道混合音频和回采音频，本发明将回采的第二远程音频组合到单声道传输的另外一个声道里，即变成一个标准的立体声传输，一个帧时钟内包括两个采样点，分别为左声道和右声道，两个声道分别放置混合音频和回采音频，这样，信号处理单元不需要做任何修改就可以收到现场采集的混合音频和回采的第二远程音频。
又如图4所示，为另外一种组合远程音频的方法，通过2倍速的帧时钟，即以2倍速的速率发送数据，把现场采集的混合音频和远程音频交替发送。即原本一个采样周期包含了2个周期的帧时钟，2倍速的帧时钟即以2倍速传输2倍数据，这2倍数据分别是混合音频和第二远程音频，这样，信号处理单元把收到的这2组数据重新排列，就可以得到现场采集的混合音频和回采的第二远程音频。
如图5所示，是立体声数字音频传输协议，一个帧时钟包含两个采样点数据，分别是左声道和右声道。本发明在不改变音频接口协议的原则下，将第一数据转换单元的组合音频接口替换以至少四通道的格式或至少2倍采样率的格式发送和接收所述混合音频和第二远程音频。具体的，如图6所示，为以4通道的格式传输立体声混合音频和第二远程音频，即在一个帧时钟周期内，分成4个槽位，分别放混合左声道1、回采左声道1、混合右声道1、回采右声道1的数据。这样，信号处理单元不需要做任何修改就可以发送和接收现场采集的混合音频和回采的第二远程音频。
又如图7所示，为以2倍采样率的格式传输立体声混合音频和第二远程音频，将现场采集的立体声混合音频和立体声的第二远程音频交替发送，即原本一个采样周期内还是包含了2个周期的帧时钟，2倍速的帧时钟以2倍速传输2倍数据，即在与图5一个帧时钟周期的时间内传输了4个数据，分别是混合音频和第二远程音频，这样，信号处理单元把接收到的2组数据重新排列，就可以得到现场采集的混合音频和回采的第二远程音频。
基于此，其他多通道的系统，同样可以以这样的更多通道的格式或者更多倍速格式发送和接收音频数据，以此类推，这里不再赘述。
信号处理单元与回放装置相连，用于接收上述混合音频和第二远程音频，并从混合音频中剥离掉第二远程音频得到现场音频，再将现场音频传输给回放设备。本实施例中，信号处理单元通过数字音频处理技术，从混合音频中减去远程音频，就可以把回音去掉。
另外，本实施例中，回放装置具体包括远程接收单元、第二数据转换单元和远程音频播放单元，其中，远程接收单元与信号处理单元及第二数据转换单元均相连，用于接收剥离掉远程音频得到的上述现场音频，并传输给第二数据转换单元。第二数据转换单元与远程音频播放单元和第一数据转换单元均相连，用于将所述现场音频做串并转换后传输给远程音频播放单元，及用于供第一数据转换单元回采出所述第二远程音频，本实施例中，第一数据转换单元为数模转换单元。远程音频播放单元与第二数据转换单元和现场音频采集单元均相连，用于接收现场音频并播放产生第一远程音频给现场音频采集单元。
如图8所示，基于上述现场音频播放和采集系统，本发明实施例所揭示的一种回音消除方法包括：
S1，现场音频采集单元采集回放装置播放的第一远程音频及现场音频形成混合音频，传输给第一数据转换单元。
S2，第一数据转换单元接收混合音频及从回放装置回采的第二远程音频，并做并串转换后，按原有的数据传输协议发送给信号处理单元。
S3，信号处理单元接收混合音频和第二远程音频，并从混合音频中剥离掉第二远程音频，将剥离得到的现场音频传输给回放设备。
优选地，S2中，所述第一数据转换单元的组合音频接口在系统为单声道系统时，以立体声的格式或至少2倍采样率的格式发送和接收所述混合音频和第二远程音频；所述第一数据转换单元的组合音频接口在系统为立体声系统时，以至少四通道的格式或至少2倍采样率的格式发送和接收所述混合音频和第二远程音频。具体原理可详见上述系统中描述。及上述回放装置、现场音频采集单元、第一数据转换单元和信号处理单元的结构及原理也可参照上述系统中描述，不再赘述。
本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。

Claims (4)

1.一种现场音频播放和采集系统，其特征在于，包括回放装置、现场音频采集单元、第一数据转换单元和信号处理单元，其中，
所述现场音频采集单元与回放装置及第一数据转换单元均相连，用于采集回放装置播放的第一远程音频及现场音频形成混合音频，传输给所述第一数据转换单元；
所述第一数据转换单元与回放装置及信号处理单元相连，用于接收所述混合音频及从回放装置回采的第二远程音频，并做并串转换后，按原有的数据传输协议发送给信号处理单元，所述第二远程音频与第一远程音频数据相同，并且所述第一数据转换单元在系统为单声道系统或者立体声系统时以至少 2 倍采样率的格式发送和接收所述混合音频和第二远程音频，
所述 2 倍采样率的格式是以采样率的 2 倍速率发送和接收混合音频和第二远程音频，且所述混合音频和第二远程音频交替发送和接收；
所述信号处理单元与回放装置相连，用于接收所述混合音频和第二远程音频，并从所述混合音频中剥离掉第二远程音频得到所述现场音频，将所述现场音频传输给回放装置。
2.根据权利要求 1 所述的现场音频播放和采集系统，其特征在于，所述回放装置包括远程接收单元、第二数据转换单元和远程音频播放单元，其中，
所述远程接收单元与所述信号处理单元及第二数据转换单元均相连， 用于接收所述现场音频并传输给第二数据转换单元；
所述第二数据转换单元与远程音频播放单元和第一数据转换单元均相连，用于将所述现场音频做串并转换后传输给远程音频播放单元，及用于供第一数据转换单元回采出所述第二远程音频；
所述远程音频播放单元与现场音频采集单元相连，用于接收所述现场音频并播放产生所述第一远程音频。
3.根据权利要求 2 所述的现场音频播放和采集系统，其特征在于，所述第一数据转换单元为模数转换单元，所述第二数据转换单元为数模转换单元。
4.一种基于权利要求 1~3 任意一项所述的现场音频播放和采集系统的回音消除方法，其特征在于，所述方法包括：
S1，现场音频采集单元采集回放装置播放的第一远程音频及现场音频形成混合音频，传输给第一数据转换单元；
S2，所述第一数据转换单元接收所述混合音频及从回放装置回采的第二远程音频，并做并串转换后，按原有的数据传输协议发送给信号处理单元；
S3，所述信号处理单元接收所述混合音频和第二远程音频，并从所述混合音频中剥离掉第二远程音频，将剥离得到所述现场音频传输给回放装置。
CN201811546232.1A 2018-12-18 2018-12-18 一种现场音频播放和采集系统及回音消除方法 Active CN109378011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811546232.1A CN109378011B (zh) 2018-12-18 2018-12-18 一种现场音频播放和采集系统及回音消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811546232.1A CN109378011B (zh) 2018-12-18 2018-12-18 一种现场音频播放和采集系统及回音消除方法

Publications (2)

Publication Number Publication Date
CN109378011A CN109378011A (zh) 2019-02-22
CN109378011B true CN109378011B (zh) 2021-12-14

Family

ID=65374140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811546232.1A Active CN109378011B (zh) 2018-12-18 2018-12-18 一种现场音频播放和采集系统及回音消除方法

Country Status (1)

Country Link
CN (1) CN109378011B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110191244B (zh) * 2019-05-17 2021-08-31 四川易简天下科技股份有限公司 远程互动方法及系统
CN111415675B (zh) * 2020-02-14 2023-09-12 北京声智科技有限公司 音频信号处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304653A1 (en) * 2007-06-06 2008-12-11 Adnan Nabeel Ghani Acoustic echo cancellation solution for video conferencing
CN106297815A (zh) * 2016-07-27 2017-01-04 武汉诚迈科技有限公司 一种语音识别场景中回音消除的方法
CN106910510A (zh) * 2017-02-16 2017-06-30 智车优行科技（北京）有限公司 车载功放设备、车辆及其音频播放处理方法
CN108322859A (zh) * 2018-02-05 2018-07-24 北京百度网讯科技有限公司 用于回声消除的设备、方法和计算机可读存储介质
CN108399922A (zh) * 2017-02-07 2018-08-14 三星Sds株式会社 声学回声消除装置、语音通信装置及声学回声消除方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304653A1 (en) * 2007-06-06 2008-12-11 Adnan Nabeel Ghani Acoustic echo cancellation solution for video conferencing
CN106297815A (zh) * 2016-07-27 2017-01-04 武汉诚迈科技有限公司 一种语音识别场景中回音消除的方法
CN108399922A (zh) * 2017-02-07 2018-08-14 三星Sds株式会社 声学回声消除装置、语音通信装置及声学回声消除方法
CN106910510A (zh) * 2017-02-16 2017-06-30 智车优行科技（北京）有限公司 车载功放设备、车辆及其音频播放处理方法
CN108322859A (zh) * 2018-02-05 2018-07-24 北京百度网讯科技有限公司 用于回声消除的设备、方法和计算机可读存储介质

Also Published As

Publication number Publication date
CN109378011A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109378011B (zh) 一种现场音频播放和采集系统及回音消除方法
US10212522B2 (en) Multi-channel digital microphone
Lienhart et al. On the importance of exact synchronization for distributed audio signal processing
CN110349582B (zh) 显示装置与远场语音处理电路
TW201924360A (zh) 用於遠場語音的拾音裝置
CN110277102B (zh) 一种多声道混音的回音消除系统和回音消除方法
CN103208298A (zh) 一种摄像方法及系统
WO2009075085A1 (ja) 収音装置、収音方法、収音プログラム、および集積回路
JP2538921B2 (ja) 音楽演奏情報伝送方法および送信装置と受信装置
CN103117083A (zh) 一种音频信息采集装置及方法
CN103559878A (zh) 一种消除音频信息中的噪声的方法及装置
CN104079958A (zh) 一种视频与多声道音频同步播出的方法
CN208707932U (zh) 一种音频接口转换电路、音频采集系统及电子设备
US20070064960A1 (en) Apparatus to convert analog signal of array microphone into digital signal and computer system including the same
CN113542982B (zh) 一种混音方法及存储介质
CN213716506U (zh) 一种回声消除装置
AU2017101065A4 (en) Multi-Channel Digital Microphone
JP6936860B2 (ja) 音声信号処理装置
CN213638005U (zh) 视频会议装置及视频会议系统
CN217135683U (zh) 一种多声道远场语音电路
CN215298856U (zh) 回声干扰消除装置及智能家居控制系统
CN112333512B (zh) 影音系统、检测音频延时方法及影音收看场景同步方法
CN215818639U (zh) 一种延时补偿系统
CN212231697U (zh) 语音采集装置
CN113689872A (zh) 一种声学回声消除装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant