CN113225574B - 信号处理方法及装置 - Google Patents

信号处理方法及装置 Download PDF

Info

Publication number
CN113225574B
CN113225574B CN202110469586.6A CN202110469586A CN113225574B CN 113225574 B CN113225574 B CN 113225574B CN 202110469586 A CN202110469586 A CN 202110469586A CN 113225574 B CN113225574 B CN 113225574B
Authority
CN
China
Prior art keywords
signal
sound
terminal
echo
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110469586.6A
Other languages
English (en)
Other versions
CN113225574A (zh
Inventor
张晨
郑羲光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110469586.6A priority Critical patent/CN113225574B/zh
Publication of CN113225574A publication Critical patent/CN113225574A/zh
Priority to PCT/CN2021/139274 priority patent/WO2022227625A1/zh
Application granted granted Critical
Publication of CN113225574B publication Critical patent/CN113225574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本公开关于一种信号处理方法及装置。信号处理方法包括：调用终端的内录接口，获取内录信号，其中，内录信号包括在终端播放的声音；基于内录信号对终端的麦克风信号进行回声消音处理，其中，麦克风信号为通过终端的麦克风采集到的声音；将内录信号和回声消音处理后的麦克风信号进行混合，得到第一混音信号；将第一混音信号发送到外部装置。

Description

信号处理方法及装置
技术领域
本公开涉及通信领域，尤其涉及一种信号处理方法及装置。
背景技术
随着直播文化的兴起，各种各样的直播形式相继出现，主播与主播或者观众的互动也越来越频繁，常见的有pk连麦、k歌房等。通常在通话时，由于麦克风会采集到对方人声由于空间反射形成的回音信号，严重影响通话质量，因此，在双端通话的场景中，回声消音功能必不可少，目前回声消音在通话场景中的应用已非常的成熟。然而在一些终端直播场景中除了主播端和连麦端，观众端需要获得主播分享的游戏音效、音乐以及连麦通话等所有信息。为了分享这些有趣的内容，主播通常会选择使用外放扬声器播放并利用麦克风采集播放的内容，然后将播放的内容经过回声消音算法传到连麦端以及观众端，这样连麦端就不会听到自己的声音。
但是，上述使用外放扬声器下播放分享内容，然后，麦克风拾取该分享内容后再传到观众端，分享的内容经过扬声器和麦克风的处理后音质会严重受损，影响直播过程中音频分享质量，观众的直播听感体验不好。
发明内容
本公开提供一种信号处理方法及装置，以至少解决相关技术中直播过程通过外放的形式分享直播声音，导致原始直播声音的音质受损的问题。
根据本公开实施例的第一方面，提供一种信号处理方法，包括：调用终端的内录接口，获取内录信号，其中，内录信号包括在终端播放的声音；基于内录信号对终端的麦克风信号进行回声消音处理，其中，麦克风信号为通过终端的麦克风采集到的声音；将内录信号和回声消音处理后的麦克风信号进行混合，得到第一混音信号；将第一混音信号发送到外部装置。
可选地，在调用终端的内录接口，获取内录信号之前，还包括：接收与终端通信连接的第一外部装置的声音。
可选地，基于内录信号对终端的麦克风信号进行回声消音处理包括：基于内录信号调节滤波器的参数；通过调节好参数的滤波器获取内录信号对应的回声信号，从终端的麦克风信号中消除回声信号。
可选地，将第一混音信号发送到外部装置包括：将第一混音信号进行编码；将编码后的第一混音信号发送到外部装置。
可选地，将第一混音信号进行编码，包括：采用标准音频编码器对第一混音信号进行编码。
根据本公开实施例的第二方面，提供一种信号处理装置，包括：获取单元，用于调用终端的内录接口，获取内录信号，其中，内录信号包括在终端播放的声音；回声消音处理单元，用于基于内录信号对终端的麦克风信号进行回声消音处理，其中，麦克风信号为通过终端的麦克风采集到的声音；混合单元，用于将内录信号和回声消音处理后的麦克风信号进行混合，得到第一混音信号；发送单元，用于将第一混音信号发送到外部装置。
可选地，在内录信号还包括来自与终端通信连接的第一外部装置的声音时，装置还包括：回声消音处理单元，还用于基于第一外部装置的声音对内录信号进行回声消音处理；混合单元，还用于将回声消音处理后的内录信号和回声消音处理后的麦克风信号进行混合，得到第二混音信号；发送单元，还用于将第二混音信号发送到第一外部装置。
可选地，获取单元，还用于在调用终端的内录接口，获取内录信号之前，接收与终端通信连接的第一外部装置的声音。
可选地，回声消音处理单元，还用于基于内录信号调节滤波器的参数；通过调节好参数的滤波器获取内录信号对应的回声信号；从终端的麦克风信号中消除回声信号。
可选地，发送单元，还用于将第一混音信号进行编码；将编码后的第一混音信号发送到外部装置。
可选地，发送单元包括标准音频编码器，通过标准音频编码器对第一混音信号进行编码。
根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现根据本公开的信号处理方法。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行如上根据本公开的信号处理方法。
根据本公开实施例的第无方面，提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现根据本公开的信号处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
根据本公开的信号处理方法及装置，通过终端的内录接口来内录终端播放的声音，并在内录的声音基础上结合回声消音技术，将直播过程需要分享的声音分享给连麦端和观众断，保证了原始直播声音的音质不受损伤，提高了观众的直播听感体验。因此，本公开解决了相关技术中直播过程通过外放的形式分享直播声音，导致原始直播声音的音质受损的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的信号处理方法的实施场景示意图；
图2是根据一示例性实施例示出的一种信号处理方法的流程图；
图3是根据一示例性实施例示出的一种回声消音原理示意图；
图4是根据一示例性实施例示出的一种直播系统的架构图；
图5是根据一示例性实施例示出的一种内录回声消音的架构图
图6是根据一示例性实施例示出的一种信号处理装置的框图；
图7是根据本公开实施例的一种电子设备700的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
目前，在一些直播场景(如游戏直播)，主播除了需要分享游戏视频内容如配乐、音效、解说等，有时还需要与观众进行连麦，连麦端需要获取到主播分享的音视频内容，而观众端则需要获得主播分享的游戏音效、音乐以及连麦通话等所有信息。这种情况下，主播们通常会选择通过外放的形式进行声音分享，然而外放无法保证分享的原始声音的音质不受损，容易影响主播直播过程的音频分享质量。
针对上述问题，本公开提供了一种信号处理方法，能够保证分享的原始声音的音质不受损，下面以游戏直播的场景为例进行说明。
图1是根据一示例性实施例示出的信号处理方法的实施场景示意图，如图1所述，该实施场景包括服务器100、直播端110、连麦端120和观众端130，其中，连麦端和观众端均可以为多个，包括并不限于手机、个人计算机等设备，直播端110、连麦端120和观众端130可以安装直播APP，服务器可以是一个服务器，也可以是若干个服务器组成服务器集群，还可以是云计算平台或虚拟化中心。
在游戏直播过程中，直播APP调用直播端110的内录接口，内录需要发送给观众端130游戏的配乐、音效、解说等，也即内录信号，然后，直播APP基于内录的内录信号对直播端110的麦克风采集的信号进行回声消音处理，将回声消音处理后的麦克风信号和内录信号混合后，经服务器100发送给观众端130，使得发送给观众端130的原始直播声音的音质不受损伤，提高了观众的直播听感体验，解决了相关技术中直播过程通过外放的形式分享直播声音，导致原始直播声音的音质受损的问题。
另外，如果游戏直播过程中有观众端申请与直播端110进行连麦，直播端110建立与观众端的连麦通话，则与直播端110建立连麦通话的观众端此时即为连麦端120，此时，直播APP继续调用直播端110的内录接口，内录需要发送给观众端130和连麦端120的游戏的配乐、音效、解说和连麦端120发送的语音信号等，也即内录信号，然后，直播APP基于内录的内录信号对直播端110的麦克风采集的信号进行回声消音处理，再基于连麦端120发送的语音信号对内录信号进行回声消音处理，然后将回声消音处理后的麦克风信号和回声消音处理后内录信号混合后，经服务器100发送给连麦端120，将内录信号和回声消音处理后的麦克风信号混合后，经服务器100发送给观众端130，使得发送给观众端130和连麦端120的原始直播声音的音质不受损伤，提高了观众的直播听感体验，解决了相关技术中直播过程通过外放的形式分享直播声音，导致原始直播声音的音质受损的问题。
下面，将参照图2至图7详细描述根据本公开的示例性实施例的信号处理方法及装置。
图2是根据一示例性实施例示出的一种信号处理方法的流程图，如图2所示，迁移学习模型的训练方法包括以下步骤：
在步骤S201中，调用终端的内录接口，获取内录信号，其中，所述内录信号包括在所述终端播放的声音。例如，在终端上的多个APP发出声音的时候，直播APP可以通过内录接口获得多个APP发出的声音，如音乐、游戏音效、连麦端语音等混合后的信号，需要说明的是，上述混合后的信号也包含直播APP播放的声音。
返回图2，在步骤S202中，基于所述内录信号对所述终端的麦克风信号进行回声消音处理，其中，所述麦克风信号为通过所述终端的麦克风采集到的声音。通过本步骤，从所述终端的麦克风信号中消除内录信号对应的回声信号，使得处理后麦克风信号中仅仅包含主播说话的声音。
根据本公开的示例性实施例，基于所述内录信号对终端的麦克风信号进行回声消音处理可以通过如下方式实现：基于内录信号调节滤波器的参数，然后，通过调节好参数的滤波器获取内录信号对应的回声信号，从终端的麦克风信号中消除回声信号。通过本实施例，可以很好的消除回声信号。
例如，回声消音处理的方法可以使用不同的自适应滤波算法调整滤波器的权值向量，估计一个近似的回声路径来逼近真实回声路径，从而得到内录信号对应的估计的回声信号，并在纯净语音和回声的混合信号中除去该估计的回声信号来实现回声的消除。具体地，回声消音原理如图3所示，常见的自适应滤波器有最小均方自适应滤波器(Least MeanSquare，简称为LMS)，在回声消音过程中，可以通过梯度下降方法获取滤波器的参数。对于LMS滤波器的W系数更新如下：
模拟回声路径的滤波函数：
Figure GDA0003898858020000061
差值：e(n)＝d(n)-y(n) (2)
均方误差：F[e(n)]＝E[e2(n)]＝E[d2(n)-2d(n)y(n)+y2(n)] (3)
其中，x(n)为需要被消除的信号，如上述实施例中的内录信号，y(n)为估计的回声信号(即经麦克风采集的内录信号)，d(n)为真实的回声信号。通过上述公式(1)-(3)不断对W进行更新迭代，一直到均方误差最小，将最小均方误差对应的W作为最终的滤波器参数。在训练好W后，将内录信号输入到以W为参数的滤波器中得到估计的回声信号，然后，从终端的麦克风信号中消除该估计的回声信号，实现回声的消除。
返回图2，在步骤S203中，将所述内录信号和回声消音处理后的麦克风信号进行混合，得到第一混音信号。例如，可以通过直播APP的混音模块，将回声消音后的麦克风信号和内录到的信号混合到一起。
在步骤S204中，将所述第一混音信号发送到外部装置。
根据本公开的示例性实施例，将第一混音信号发送到外部装置可以先对第一混音信号进行编码，然后将编码后的第一混音信号发送到外部装置。通过本实施例，可以提高数据传输效率，降低误码率，增加通信的可靠性。
根据本公开的示例性实施例，将所述第一混音信号进行编码可以包括：采用标准音频编码器对所述第一混音信号进行编码。
需要说明的是，本公开还存在一种情况，即内录信号还包括来自与终端通信连接的第一外部装置的声音时，也即，第一外部装置通过服务器向直播APP发送语音的情况，在该情况下，终端会将第一外部装置的声音一并内录，然后基于该内录信号对麦克风信号进行回声消音处理，同时，为了防止第一外部装置收听到自己的声音，还基于第一外部装置的声音对内录信号进行回声消音处理，再然后，将回声消音处理后的内录信号和回声消音处理后的麦克风信号进行混合，并发送到第一外部装置。
根据本公开的示例性实施例，在内录信号还包括来自与终端通信连接的第一外部装置的声音时，上述信号处理方法还可以包括：基于第一外部装置的声音对内录信号进行回声消音处理；将回声消音处理后的内录信号和回声消音处理后的麦克风信号进行混合，得到第二混音信号；将第二混音信号发送到所述第一外部装置。通过本公开实施例，保证发送给第一外部装置的信号不包括第一外部装置自己的声音，避免了第一外部装置有回音的问题。
根据本公开的示例性实施例，在调用终端的内录接口，获取内录信号之前，接收与所述终端通信连接的第一外部装置的声音。
例如，当众多观众端中的某个观众端发起与直播APP的直播者连麦请求时，直播APP基于连麦请求建立与观众端的通话，此时的发起请求的观众端暂时称为连麦端，直播APP接收连麦端通过服务器传输过来的声音，并调用终端的内录接口，将连麦端的声音一并内录，然后基于该内录信号对终端的麦克风信号进行回声消音处理，同时，基于连麦端的声音对内录信号进行回声消音处理，再然后，将回声消音处理后的内录信号和回声消音处理后的麦克风信号进行混合，并发送到连麦端。在该过程中，同时将内录信号和回声消音处理后的麦克风信号发送到观众端。
下面以基于手机的直播系统为例对上述实施例进行说明，图4是根据一示例性实施例示出的一种直播系统的架构图，如图4所示，该直播系统包括麦克风、系统混音模块、内录模块、硬件输出模块、算法处理模块、混音模块、直播服务器、编码模块、直播端、观众端和连麦端，其中，直播端包括直播APP和其他APP，硬件输出模块包括手机扬声器、耳机、蓝牙等。
麦克风：用于采集声音。
系统混音模块：用于将手机上的APP发出的声音、连麦端的语音等混合在一起。例如，手机多个app发出声音的时候，直播APP可获得播放的音乐、游戏音效，还可以获取连麦端语音，然后将获取的内容进行混合。
内录模块：采用手机的内录接口，录制系统混合后的所有声音，包含本app播放的声音(比如连麦端播放声音)和其他应用播放的声音。
硬件输出模块：通过手机扬声器、耳机、蓝牙等播放声音。
算法处理模块：做回声消音，避免通话两端听到自己的回声。内录回声消音框架图如图5所示，以处理即将发送给观众端的信号为例进行说明，其中，主播端麦克风信号x1(n)、连麦端麦克风信号x2(n)、其他应用输入信号x3(n)、内录信号xl(n)＝x2(n)+x3(n)、将内录信号经过AEC(Adaptive echo cancellation)得到内录信号对应的回声信号yl(n)，其中，yl(n)通过如下公式获取：
Figure GDA0003898858020000081
然后，从终端的麦克风信号中消除上述回声信号yl(n)，得到算法处理后的麦克风信号，即x1(n)-yl(n)，此时消除了播端麦克风信号中采集到的内录信号，从而后续发送给观众端的信号中仅仅包括原始内录信号，不再重复包括直播麦克风采集到的内录信号。对于内录信号的回声消音处理过程与终端麦克风信号的回声消音处理过程相类似，此处不在展开论述。
混音模块：用于将内录模块录取到的内录信号和算法处理后的麦克风信号混合得到混合信号1，同时将算法处理后的内录信号和算法处理后的麦克风信号混合得到混合信号2，然后将混合信号1和混合信号2发送给编码模块。例如，混合信号1可以通过如下方式获取：
y(n)＝x1(n)-yl(n)+x2(n)+x3(n) (5)
编码模块：对混合信号1和混合信号2进行编码，并将编码后的混合信号1和编码后的混合信号2发送给直播服务器。
直播服务器：接收编码后的混合信号1和编码后的混合信号2，并分别将编码后的混合信号1转发给观众端，将编码后的混合信号2转发给连麦端。
综上，上述实施例通过内录的方式进行直播音频内容的分享，内录方案的直播可以做到无损音质直播，用户端可以获取未受损的原始音频信号，提升了平台上直播应用分享内容的体验；同时结合回声消音技术保证连麦端不会收听到自己的声音，以及观众端不会收听到重复的内录信号。
图6是根据一示例性实施例示出的一种信号处理装置的框图。参照图6，该装置包括获取单元60，回声消音处理单元62、混合单元64和发送单元66。
获取单元60，用于调用终端的内录接口，获取内录信号，其中，内录信号包括在终端播放的声音；回声消音处理单元62，用于基于内录信号对终端的麦克风信号进行回声消音处理，其中，麦克风信号为通过终端的麦克风采集到的声音；混合单元64，用于将内录信号和回声消音处理后的麦克风信号进行混合，得到第一混音信号；发送单元66，用于将第一混音信号发送到外部装置
根据本公开的实施例，在内录信号还包括来自与终端通信连接的第一外部装置的声音时，装置还包括：回声消音处理单元62，还用于基于第一外部装置的声音对内录信号进行回声消音处理；混合单元64，还用于将回声消音处理后的内录信号和回声消音处理后的麦克风信号进行混合，得到第二混音信号；发送单元66，还用于将第二混音信号发送到第一外部装置。
根据本公开的实施例，获取单元60，还用于在调用终端的内录接口，获取内录信号之前，接收与终端通信连接的第一外部装置的声音。
根据本公开的实施例，回声消音处理单元62，还用于基于内录信号调节滤波器的参数；通过调节好参数的滤波器获取内录信号对应的回声信号，从终端的麦克风信号中消除回声信号。
根据本公开的实施例，发送单元66，还用于将第一混音信号进行编码；将编码后的第一混音信号发送到外部装置。
根据本公开的实施例，发送单元66包括标准音频编码器，通过标准音频编码器对第一混音信号进行编码。
根据本公开的实施例，可提供一种电子设备。图7是根据本公开实施例的一种电子设备700的框图，该电子设备包括至少一个存储器701和至少一个处理器702，所述至少一个存储器中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器执行时，执行根据本公开实施例的信号处理方法。
作为示例，电子设备700可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备1000并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备700还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
在电子设备700中，处理器702可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器702还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
处理器702可运行存储在存储器中的指令或代码，其中，存储器701还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
存储器701可与处理器702集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器702可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器701和处理器702可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器702能够读取存储在存储器701中的文件。
此外，电子设备700还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备的所有组件可经由总线和/或网络而彼此连接。
根据本公开的实施例，还可提供一种计算机可读存储介质，其中，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行本公开实施例的信号处理方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开实施例，提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现本公开实施例的信号处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种信号处理方法，其特征在于，包括：
调用终端的内录接口，获取内录信号，其中，所述内录信号包括在所述终端播放的声音；
基于所述内录信号对所述终端的麦克风信号进行回声消音处理，其中，所述麦克风信号为通过所述终端的麦克风采集到的声音；
将所述内录信号和回声消音处理后的麦克风信号进行混合，得到第一混音信号；
将所述第一混音信号发送到外部装置；
其中，在所述内录信号还包括来自与所述终端通信连接的第一外部装置的声音时，所述方法还包括；
基于所述第一外部装置的声音对所述内录信号进行回声消音处理；
将回声消音处理后的内录信号和回声消音处理后的麦克风信号进行混合，得到第二混音信号；
将所述第二混音信号发送到所述第一外部装置。
2.如权利要求1所述的信号处理方法，其特征在于，在调用终端的内录接口，获取内录信号之前，还包括：
接收与所述终端通信连接的第一外部装置的声音。
3.如权利要求1所述的信号处理方法，其特征在于，所述基于所述内录信号对所述终端的麦克风信号进行回声消音处理，包括：
基于所述内录信号调节滤波器的参数；
通过调节好参数的滤波器获取所述内录信号对应的回声信号；
从所述终端的麦克风信号中消除所述回声信号。
4.如权利要求1所述的信号处理方法，其特征在于，所述将所述第一混音信号发送到外部装置，包括：
将所述第一混音信号进行编码；
将编码后的第一混音信号发送到外部装置。
5.如权利要求4所述的信号处理方法，其特征在于，所述将所述第一混音信号进行编码，包括：
采用标准音频编码器对所述第一混音信号进行编码。
6.一种信号处理装置，其特征在于，包括：
获取单元，用于调用终端的内录接口，获取内录信号，其中，所述内录信号包括在所述终端播放的声音；
回声消音处理单元，用于基于所述内录信号对所述终端的麦克风信号进行回声消音处理，其中，所述麦克风信号为通过所述终端的麦克风采集到的声音；
混合单元，用于将所述内录信号和回声消音处理后的麦克风信号进行混合，得到第一混音信号；
发送单元，用于将所述第一混音信号发送到外部装置；
其中，在所述内录信号还包括来自与所述终端通信连接的第一外部装置的声音时，所述装置还包括：
所述回声消音处理单元，还用于基于所述第一外部装置的声音对所述内录信号进行回声消音处理；
所述混合单元，还用于将回声消音处理后的内录信号和回声消音处理后的麦克风信号进行混合，得到第二混音信号；
所述发送单元，还用于将所述第二混音信号发送到所述第一外部装置。
7.如权利要求6所述的信号处理装置，其特征在于，所述获取单元，还用于在调用终端的内录接口，获取内录信号之前，接收与所述终端通信连接的第一外部装置的声音。
8.如权利要求6所述的信号处理装置，其特征在于，所述回声消音处理单元，还用于基于所述内录信号调节滤波器的参数；通过调节好参数的滤波器获取所述内录信号对应的回声信号；从所述终端的麦克风信号中消除所述回声信号。
9.如权利要求6所述的信号处理装置，其特征在于，所述发送单元，还用于将所述第一混音信号进行编码；将编码后的第一混音信号发送到外部装置。
10.如权利要求9所述的信号处理装置，其特征在于，所述发送单元包括标准音频编码器，通过标准音频编码器对所述第一混音信号进行编码。
11.一种电子设备，其特征在于，包括:
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的信号处理方法。
12.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至5中任一项所述的信号处理方法。
CN202110469586.6A 2021-04-28 2021-04-28 信号处理方法及装置 Active CN113225574B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110469586.6A CN113225574B (zh) 2021-04-28 2021-04-28 信号处理方法及装置
PCT/CN2021/139274 WO2022227625A1 (zh) 2021-04-28 2021-12-17 信号处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110469586.6A CN113225574B (zh) 2021-04-28 2021-04-28 信号处理方法及装置

Publications (2)

Publication Number Publication Date
CN113225574A CN113225574A (zh) 2021-08-06
CN113225574B true CN113225574B (zh) 2023-01-20

Family

ID=77089817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110469586.6A Active CN113225574B (zh) 2021-04-28 2021-04-28 信号处理方法及装置

Country Status (2)

Country Link
CN (1) CN113225574B (zh)
WO (1) WO2022227625A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225574B (zh) * 2021-04-28 2023-01-20 北京达佳互联信息技术有限公司 信号处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274681A (ja) * 2003-03-12 2004-09-30 Matsushita Electric Ind Co Ltd エコーキャンセル装置、エコーキャンセル方法、プログラムおよび記録媒体
CN109767777A (zh) * 2019-01-31 2019-05-17 迅雷计算机（深圳）有限公司 一种直播软件的混音方法
CN110956969A (zh) * 2019-11-28 2020-04-03 北京达佳互联信息技术有限公司 直播音频处理方法、装置、电子设备和存储介质
CN111372121A (zh) * 2020-03-16 2020-07-03 北京文香信息技术有限公司 一种回声消除方法、装置、存储介质及处理器
CN111445901A (zh) * 2020-03-26 2020-07-24 北京达佳互联信息技术有限公司 音频数据获取方法、装置、电子设备及存储介质
CN111583952A (zh) * 2020-05-19 2020-08-25 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001097045A1 (en) * 2000-06-09 2001-12-20 Veazy Inc. Application specific live streaming multimedia mixer apparatus, systems and methods
US20140133648A1 (en) * 2008-03-06 2014-05-15 Andrzej Czyzewski Method and apparatus for acoustic echo cancellation in voip terminal
CN109166589A (zh) * 2018-08-13 2019-01-08 深圳市腾讯网络信息技术有限公司 应用声音抑制方法、装置、介质以及设备
CN113225574B (zh) * 2021-04-28 2023-01-20 北京达佳互联信息技术有限公司 信号处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274681A (ja) * 2003-03-12 2004-09-30 Matsushita Electric Ind Co Ltd エコーキャンセル装置、エコーキャンセル方法、プログラムおよび記録媒体
CN109767777A (zh) * 2019-01-31 2019-05-17 迅雷计算机（深圳）有限公司 一种直播软件的混音方法
CN110956969A (zh) * 2019-11-28 2020-04-03 北京达佳互联信息技术有限公司 直播音频处理方法、装置、电子设备和存储介质
CN111372121A (zh) * 2020-03-16 2020-07-03 北京文香信息技术有限公司 一种回声消除方法、装置、存储介质及处理器
CN111445901A (zh) * 2020-03-26 2020-07-24 北京达佳互联信息技术有限公司 音频数据获取方法、装置、电子设备及存储介质
CN111583952A (zh) * 2020-05-19 2020-08-25 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022227625A1 (zh) 2022-11-03
CN113225574A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US10070245B2 (en) Method and apparatus for personalized audio virtualization
KR101673834B1 (ko) 협업 사운드 시스템
WO2018188282A1 (zh) 回声消除方法、装置、会议平板及计算机存储介质
CN114143700B (zh) 一种音频处理方法、装置、设备、介质及程序产品
CN110956976B (zh) 一种回声消除方法、装置、设备及可读存储介质
US20190221226A1 (en) Electronic apparatus and echo cancellation method applied to electronic apparatus
CN113241085B (zh) 回声消除方法、装置、设备及可读存储介质
CN111863011B (zh) 音频处理方法及电子设备
CN113225574B (zh) 信号处理方法及装置
CN112562638A (zh) 语音预览的方法、装置及电子设备
US11741984B2 (en) Method and apparatus and telephonic system for acoustic scene conversion
CN113192526B (zh) 音频处理方法和音频处理装置
CN112449208A (zh) 语音处理方法及其装置
CN110096250B (zh) 一种音频数据处理方法、装置、电子设备及存储介质
CN113241088B (zh) 语音增强模型的训练方法及装置、语音增强方法及装置
CN114155852A (zh) 语音处理方法、装置、电子设备及存储介质
CN113517000A (zh) 回声消除的测试方法、终端以及存储装置
CN112565668A (zh) 一种网络会议共享声音的方法、系统和可读存储介质
US11915710B2 (en) Conference terminal and embedding method of audio watermarks
CN112820307B (zh) 语音消息处理方法、装置、设备及介质
CN115472176A (zh) 语音信号增强方法及装置
CN110972032B (zh) 消除声音的方法及执行该方法的电子装置
CN113207058B (zh) 一种音频信号的传输处理方法
US10796708B2 (en) Method for eliminating sound and electronic device performing the same
CN114267365A (zh) 音频处理方法、装置、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant