CN110191244B - 远程互动方法及系统 - Google Patents

Abstract

本发明涉及一种远程互动方法及系统，包括一级音频采集、二级音频采集和三级音频采集；一级音频采集包括第一音频信息的采集和第二音频信息的采集；所述二级音频采集包括采集一级音频采集所采集的音频信息，为本地音频信息；所述三级音频采集包括采集远端发送的音频信息；所述二级音频采集所采集的第一音频信息和第二音频信息不进行本地音频播放；所述三级音频采集所采集的音频信息进行本地音频播放；所述二级音频采集在同一时刻对第一音频信息和第二音频信息进行互斥采集；先对二级音频采集所采集的部分或全部一级音频信息进行回音消除后，再向远端发送。与现有技术相比，能够有效保证远程音频互动过程中的音频质量，达到更好的音频播放效果。

Description

远程互动方法及系统

技术领域

本发明涉及远程互动领域，特别涉及教学、会议等需要远程互动的远程互动方法及系统。

背景技术

传统的现场授课方式，由于学生能够直接面对授课教师，课堂气氛也最容易被教学教师所带动，并且能够有更多的互动，因此，传统的现场授课方式一直都是最受欢迎的，教学效果最好的授课方式。随着信息时代的发展、互联网的发展和有效教学资源的紧缺，受空间和时间的限制，只是传统授课的方式，已经不能满足人们的学习需求，相当大一部分学习者通过互联网进行学习，学习的方式可以是录课视频，也可以是远程在线教育，但是无论是录课视频还是远程在线教育都存在现场授课方式的互动教学缺陷，没有办法更好的互动教学，学习效果相对而言，还是要差很多。

根据上述问题的提出，发展了远程教学的互动教学方式，能够适用于无法在教师所在教室听课的，同时在其他教室听课学生的教学情况，互动教学过程中，使用远场麦采集学生回答问题的声音，使用近场麦采集老师的声音。但是，在互动中，当本地学生回答的问题声音通过远场麦拾音，传递到远端教室后，由于传递到远端教室的声音会在远端做功放扩音，放大的声音会在远端教室的全向麦采集回来，从而导致回音等问题，音频播放出的效果差，互动音频体验效果。

发明内容

本发明提供了一种远程互动方法及系统，具有远程互动过程中，音频播放效果更好的特点。

根据本发明提供的远程互动方法，包括一级音频采集、二级音频采集和三级音频采集；

所述一级音频采集包括第一音频信息的采集和第二音频信息的采集；所述二级音频采集包括采集一级音频采集所采集的音频信息，为本地音频信息；所述三级音频采集包括采集远端发送的音频信息；所述二级音频采集所采集的第一音频信息和第二音频信息不进行本地音频播放；所述三级音频采集所采集的音频信息进行本地音频播放；所述二级音频采集在同一时刻对第一音频信息和第二音频信息进行互斥采集；先对二级音频采集所采集的部分或全部一级音频信息进行回音消除后，再向远端发送。

通过上述技术方案，远程互动时，一方面，现场一级音频采集所采集的音频信息，输入到二级音频采集后，由于不在本地进行音频扩音，不会产生本地再次采集本地扩音后的本地原始音频，因此不会导致二次采集本地扩音后的本地原始音频所造成的回音缺陷；另一方面，对第一音频信息和第二音频信息进行互斥采集，防止音频信息二次采集所带来的缺陷；第三方面，先对二级音频采集所采集的部分或全部一级音频信息进行回音消除后，再向远端发送，避免远端接收到的音频信息的回音缺陷。

所述第一音频信息为近场麦音频采集信息，所述第二音频信息为远场麦音频采集信息，先对二级音频采集所采集的远场麦音频信息进行回音消除后，再向远端发送。

还包括四级音频采集，所述四级音频采集包括采集第三音频信息，所述第三音频信息为本地智能终端音频信息，四级音频采集所采集的音频信息进行本地音频播放。

所述第一音频信息采集所采集的音频信息在进入二级音频采集之前进行本地播放。

二级音频采集之前的方法还包括，判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息，如果是第一音频信息，则切断第二音频信息采集链路，如果是第二音频信息，则切断第一音频信息采集链路；所述第一音频信息采集链路为第一音频信息发送到二级音频采集的采集链路；所述第二音频信息采集链路为第二音频信息发送到二级音频采集的采集链路。

所述方法还包括，所述二级音频采集对第一音频信息和第二音频信息进行采集时，采用不同的声道进行采集；切断第一音频信息采集链路和/或第二音频信息采集链路的方法包括，对应切断二级音频采集中第一音频信息和/或第二音频信息的传输声道。

判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息的方法包括，采集语音指令信息，根据语音指令信息判断。

判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息的方法包括，设置采集选择开关，根据采集选择开关的开关信号判断。

根据本发明提供的远程互动系统，包括，一级音频采集模块、二级音频采集模块和三级音频采集模块；

所述一级音频模块包括第一音频采集单元和第二音频采集单元；所述二级音频采集模块包括采集一级音频采集所采集的音频信息，为本地音频信息；所述三级音频采集模块包括采集远端发送的音频信息；所述二级音频采集模块所采集的第一音频信息和第二音频信息不进行本地音频播放；所述三级音频采集模块与本地音频播放模块通信；所述二级音频采集模块在同一时刻对第一音频信息和第二音频信息进行互斥采集；还包括回音消除模块，对二级音频采集模块所采集的部分或全部一级音频信息进行回音消除后，再发送至远端。

还包括四级音频采集模块，包括采集第三音频信息采集单元所采集的音频信息，所述第三音频信息采集单元所采集的音频信息为本地智能终端音频信息，四级音频采集模块所采集的音频信息进行本地音频播放。

所述第一音频信息采集单元与本地音频播放器通信。

综上所述，本发明对比于现有技术，能够有效保证远程音频互动过程中的音频质量，达到更好的音频播放效果。

附图说明

图1是本发明其中一实施例的结构流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明的远程互动方法和系统能够用于各种包括远程音频互动的场合，包括远程会议，远程教学等。

下面以远程教学为例对本发明实施方案进行详细说明。

根据本发明提供的远程互动方法，包括一级音频采集、二级音频采集和三级音频采集；

所述一级音频采集包括第一音频信息的采集和第二音频信息的采集；所述二级音频采集包括采集一级音频采集所采集的音频信息，为本地音频信息；所述三级音频采集包括采集远端发送的音频信息；所述二级音频采集所采集的第一音频信息和第二音频信息不进行本地音频播放；所述三级音频采集所采集的音频信息进行本地音频播放；所述二级音频采集在同一时刻对第一音频信息和第二音频信息进行互斥采集；先对二级音频采集所采集的部分或全部一级音频信息进行回音消除后，再向远端发送。

如图1所示的实施例，一级音频采集包括近场麦的音频采集和远场麦的音频采集，作为一级音频采集并不仅仅局限于图1的实施例，也可以均是远场麦采集，或均是近场麦采集，或均是单向麦采集，或均是全向麦采集，或是各种采集方式的组合等。作为本发明的实施例，由于是应用于远程教学，近场麦采集距离短，主要用于采集老师的音频信息，作为第一音频信息的采集；远场麦采集距离远，主要是用于采集学生的音频信息，作为第二音频信息的采集。一级音频采集至少采集两个音频信息，也就是说至少有两个音频采集设备，还可以包括第三音频信息、第四音频信息等。

在图1所示的实施例中，二级音频采集设置在智能终端（如计算机、手机等），用于采集一级音频采集所采集的音频信息，采集的二级音频信息要发送到远程教室终端（即远端），由于二级音频采集所采集音频信息不进行本地音频扩音播放，不会产生本地再次采集本地扩音后的本地原始音频，因此不会导致二次采集本地扩音后的本地原始音频所造成的回音缺陷。

在图1所示的实施例中，二级音频采集在同一时刻对第一音频信息和第二音频信息进行互斥采集，在同一时刻只能采集发送一个音频信息，要么都不采集，要么只采集发送一个，这种互斥采集的方式，可以在不改变现有硬件结构的基础上，采用纯软件的方式实现，也可以借助硬件实现。作为本发明的一种实施方式，如图1所示，作为本发明的一个实施例，在智能终端，对应声卡line输入的两个声道（左声道和右声道），一个作为第一音频信息的采集通道，另一作为第二音频信息的采集通道，如图1所示，左声道作为第一音频信息的采集通道，右声道作为第二音频信息的采集通道，一一对应，两个通道可以互换。在现有技术中，在有两个以上音频信息的情况下，并没有进行互斥采集，导致，采集的第一音频信息和第二音频信息，每一个音频信息都存在二次采集（主要用于采集学生声音的远场麦会采集到老师的声音，主要用于采集老师声音的近场麦会采集到老师的声音；因此老师的声音和学生的声音都被远场麦和近场麦采集到），互动过程中，音频播放效果差，用户体验差。在本发明方案中，对第一音频信息和第二音频信息进行互斥采集，解决了音频信息二次采集所带来的缺陷。

如图1所示，所述三级音频采集包括采集远端发送的音频信息，采集的远端发送的音频信息会在本地进行扩音播放。

虽然二级音频采集所采集的第一音频信息和第二音频信息不进行本地音频扩音播放，避免了二次采集本地扩音后的本地原始音频所造成的回音缺陷，但是远端传送过来的音频信息在本地扩音播放后，本地采集音频信息时，会采集到本地扩音播放的远端传送的音频，会将拾取的远端传送的音频再次发送到远端，形成回音。如图1所示，作为本发明的实施方式，先对二级音频采集所采集的部分或全部一级音频信息进行回音消除（如图1所示的远端参考），即消除拾取的远端传送的音频后，再向远端发送。在这里，可以只是对二级音频信息所采集的部分一级音频信息进行回音消除，例如第一音频信息或者第二音频信息，也可以全部回音消除后，再向远端发送，从而避免远端接收到的音频信息的回音缺陷。

作为本发明的一种实施方式，如图1所示，所述第一音频信息为近场麦音频采集信息，所述第二音频信息为远场麦音频采集信息，先对二级音频采集所采集的远场麦音频信息进行回音消除后，再向远端发送。

作为本发明的一种实施方式，采用回音消除的方法可以为现有技术方法，如Acoustic Echo。

作为本发明的一种实施方式，还包括四级音频采集，如图1所示，所述四级音频采集包括采集第三音频信息，所述第三音频信息所采集的音频信息为本地智能终端音频信息，在本具体实施例中为本地电脑声音，如本地电脑播放的音频文件，四级音频采集所采集的音频信息进行本地音频播放。

作为本发明的一种实施方式，三级音频采集所采集的远端发送的音频信息经过四级音频采集输出后，在本地进行扩音播放；所述四级音频采集包括至少两个四级音频传输通道，所述远端发送的音频信息通过其中一个传输通道输出后扩音播放；采集用于向远端发送的第三音频信息时，从四级音频传输通道回采所述第三音频信息，具体方法包括，通过与所述其中一个通道不同的通道采集第三音频信息。

如图1所示，在本具体实施例中，四级音频采集一方面采集本地电脑的音频信息（即本地智能终端的音频信息），用于输出在本地播放，另一方面采集远端发送的音频信息，用于输出在本地播放；如果不进行通道分用，则从四级音频传输通道回采用于向远端发送的第三音频信息时，由于四级音频传输通道中存在有远端发送过来的音频信息，则回采回来的第三音频信息存在混音。在本发明方案中，采用其中一个传输通道输出远端发送的音频信息，将传输到四级音频采集的第三音频信息通过与所述其中一个通道不同的传输通道，能够回采到纯粹的第三音频信息，从而避免采集到的向远端发送的第三音频信息存在混音的缺陷，提高输出到远端的第三音频信息的质量，增强用户的体验感。

作为本发明的一种实施方式，如图1所示，四级音频采集通道包括左声道和右声道，为智能设备（如计算机、手机等，在本具体实施例中为计算机）声卡输出（如图1所示的声卡的耳机输出），采用其中一个声道如右声道输出远端发送的音频信息用于本地扩音播放，采用左声道对第三音频信息回采，用于发送到远端。其中，左声道和右声道的作用可以互换。

作为本发明的一种实施方式，如图1所示，所述第一音频信息采集所采集的音频信息（近场麦拾取的老师的声音）在进入二级音频采集之前进行本地播放。

作为本发明的一种实施方式，二级音频采集之前的方法还包括，判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息，如果是第一音频信息，则切断第二音频信息采集链路，如果是第二音频信息，则切断第一音频信息采集链路；所述第一音频信息采集链路为第一音频信息发送到二级音频采集的采集链路；所述第二音频信息采集链路为第二音频信息发送到二级音频采集的采集链路。

如图1所示的实施例中，第一音频信息采集链路包括近场麦到声卡line输入的左声道，第二音频信息采集链路包括远场麦到声卡line输入的右声道。对于两条链路，在同一时刻至少切断一条链路，则可以保证在同一时刻对第一音频信息和第二音频信息进行互斥采集。切断链路的任意一点，如麦克风的采集切断，则可以切断相应链路。

作为本发明的一种实施方式，所述方法还包括，如图1所示，所述二级音频采集对第一音频信息和第二音频信息进行采集时，采用不同的声道进行采集；切断第一音频信息采集链路和/或第二音频信息采集链路的方法包括，对应切断二级音频采集中第一音频信息和/或第二音频信息的传输声道（即图1中的左声道和右声道）。

作为本发明的一种实施方式，判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息的方法包括，采集语音指令信息，根据语音指令信息判断。所述语音指令可以是直接语音指令，也可以根据交互过程中识别的语音关键词进行判断，例如当老师说“请某位同学回答问题”等的诸如此类的词句时，则判断二级音频采集接下来需要采集第二音频信息（即远场麦采集的学生的声音），此时则需要仅开启二级音频采集的第二音频信息的采集。当老师说“回答的很好，请坐下”等的诸如此类的语句时，则判断二级音频采集接下来需要采集第一音频信息（即近场麦采集的老师的声音），此时则需要仅开启二级音频采集的第一音频信息的采集。

作为本发明的一种实施方式，判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息的方法包括，设置采集选择开关，根据采集选择开关的开关信号判断。例如，可以将相应开关设置在教师的课桌或者便携式遥控装置等上，从而便于控制，通过选择开关，选择当前需要仅开启二级音频采集的第一音频信息的采集，还是当前需要仅开启二级音频采集的第二音频信息的采集，开关的选择设置方式可以是多种，从而方便灵活控制。

作为本发明的一种实施方式，判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息的方法包括，采用图像识别的方式进行判断，例如，如果识别到课堂中有学生站立，则可以初步判断需要采集第二音频信息，如果没有学生站立，则可以初步判断当前只需要采集第一音频信息。

根据本发明提供的远程互动系统，如图1所示的实施例中，包括，一级音频采集模块（近场麦和远场麦）、二级音频采集模块（声卡line的输入）和三级音频采集模块（本地远端收发接口对远端音频信息的采集）；

所述一级音频模块包括第一音频采集单元（近场麦）和第二音频采集单元（远场麦）；所述二级音频采集模块包括采集一级音频采集所采集的音频信息，为本地音频信息；所述三级音频采集模块包括采集远端发送的音频信息；所述二级音频采集模块所采集的第一音频信息和第二音频信息不进行本地音频播放；所述三级音频采集模块与本地音频播放模块通信；所述二级音频采集模块在同一时刻对第一音频信息和第二音频信息进行互斥采集；还包括回音消除模块，对二级音频采集模块所采集的部分或全部一级音频信息进行回音消除后，再发送至远端。

在本发明图1所示的实施例中，本地设备包括本地电脑，本地电脑包括声卡line输入、声卡耳机输出、转换处理模块和远端信息收发接口；本地设备还包括用于拾取老师声音的近场麦，用于拾取学生声音的远场麦，与近场麦通信的第一功放，与远场麦通信的第二功放，远场麦拾取的音频信息通过第二功放后传送到声卡line输入的右声道，近场麦拾取的音频信息通过第一功放后传送到声卡line输入的左声道，声卡line输入左声道和右声道采集的音频信息通过转换处理模块再发送至远端信息收发接口向远端发送。

本地设备还包括音频播放设备，接收第一功放输出的音频信息并进行播放。智能互动模块通过远端信息收发接口接收远端发送过来的音频信息，并发送至声卡的耳机输出的右声道，再发送至第一功放，从而发送至音频播放设备在本地播放。一方面，本地电脑的音频信息通过声卡的耳机输出后发送到第一功放；另一方面，智能互动模块从声卡的耳机输出回采本地电脑的音频信息后，通过远端信息收发接口发送至远端播放。

其中，作为本发明的实施方案，智能互动模块将接收的声卡line输入左声道和/或右声道采集的音频信息回音消除后，则发送至远端信息收发接口向远端发送。

本发明的远程互动方法及系统，并不仅限于实施例中远程教学的情况，同样能够适用于远程会议等需要远程音频交互的情况。采用本发明的实施方案，能够有效保证远程音频互动过程中的音频质量，有效防止回音、混音等缺陷，达到更好的音频播放效果。

Claims (8)

1.远程互动方法，包括一级音频采集、二级音频采集和三级音频采集；

所述一级音频采集包括第一音频信息的采集和第二音频信息的采集；所述二级音频采集包括采集一级音频采集所采集的音频信息，为本地音频信息；所述三级音频采集包括采集远端发送的音频信息；所述二级音频采集所采集的第一音频信息和第二音频信息不进行本地音频播放；所述三级音频采集所采集的音频信息进行本地音频播放；所述二级音频采集在同一时刻对第一音频信息和第二音频信息进行互斥采集；先对二级音频采集所采集的部分或全部一级音频信息进行回音消除后，再向远端发送；

所述第一音频信息为近场麦音频采集信息，所述第二音频信息为远场麦音频采集信息，先对二级音频采集所采集的远场麦音频信息进行回音消除后，再向远端发送；所述第一音频信息在进入二级音频采集之前进行本地播放。

2.根据权利要求1所述的远程互动方法，还包括四级音频采集，所述四级音频采集包括采集第三音频信息，所述第三音频信息为本地智能终端音频信息，四级音频采集所采集的音频信息进行本地音频播放。

3.根据权利要求1所述的远程互动方法，二级音频采集之前的方法还包括，判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息，如果是第一音频信息，则切断第二音频信息采集链路，如果是第二音频信息，则切断第一音频信息采集链路；所述第一音频信息采集链路为第一音频信息发送到二级音频采集的采集链路；所述第二音频信息采集链路为第二音频信息发送到二级音频采集的采集链路。

4.根据权利要求3所述的远程互动方法，所述方法还包括，所述二级音频采集对第一音频信息和第二音频信息进行采集时，采用不同的声道进行采集；切断第一音频信息采集链路和/或第二音频信息采集链路的方法包括，对应切断二级音频采集中第一音频信息和/或第二音频信息的传输声道。

5.根据权利要求3所述的远程互动方法，判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息的方法包括，采集语音指令信息，根据语音指令信息判断。

6.根据权利要求1所述的远程互动方法，判断二级音频采集所采集的音频信息是第一音频信息还是第二音频信息的方法包括，设置采集选择开关，根据采集选择开关的开关信号判断。

7.远程互动系统，其特征在于，包括，一级音频采集模块、二级音频采集模块和三级音频采集模块；

所述一级音频采集模块包括第一音频采集单元和第二音频采集单元；所述二级音频采集模块包括采集一级音频采集所采集的音频信息，为本地音频信息；所述三级音频采集模块包括采集远端发送的音频信息；所述二级音频采集模块所采集的第一音频信息和第二音频信息不进行本地音频播放；所述三级音频采集模块与本地音频播放模块通信；所述二级音频采集模块在同一时刻对第一音频信息和第二音频信息进行互斥采集；还包括回音消除模块，对二级音频采集模块所采集的部分或全部一级音频信息进行回音消除后，再发送至远端；

所述第一音频信息为近场麦音频采集信息，所述第二音频信息为远场麦音频采集信息，先对二级音频采集所采集的远场麦音频信息进行回音消除后，再向远端发送；所述第一音频信息在进入二级音频采集之前进行本地播放。

8.根据权利要求7所述的远程互动系统，其特征在于，还包括四级音频采集模块，包括采集第三音频信息采集单元所采集的音频信息，所述第三音频信息采集单元所采集的音频信息为本地智能终端音频信息，四级音频采集模块所采集的音频信息进行本地音频播放。

Images