CN110910892A - 会议系统终端、音频数据处理方法和远程会议系统 - Google Patents

会议系统终端、音频数据处理方法和远程会议系统 Download PDF

Info

Publication number
CN110910892A
CN110910892A CN201811079897.6A CN201811079897A CN110910892A CN 110910892 A CN110910892 A CN 110910892A CN 201811079897 A CN201811079897 A CN 201811079897A CN 110910892 A CN110910892 A CN 110910892A
Authority
CN
China
Prior art keywords
microphone
audio data
conference system
system terminal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811079897.6A
Other languages
English (en)
Inventor
吴忠
杨云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811079897.6A priority Critical patent/CN110910892A/zh
Publication of CN110910892A publication Critical patent/CN110910892A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

本公开提供了一种会议系统终端、音频数据处理方法和远程会议系统。该会议系统终端包括接收模块、数据处理模块和发送模块。该接收模块用于通过WiFi方式从至少一个麦克风接收音频数据。该数据处理模块用于对该音频数据进行数据处理。该发送模块用于将经过数据处理之后的音频数据发送到服务器。本公开不需要由硬件接收控制器来接收来自于麦克风的声音，因此使用更加方便，而且降低成本。

Description

会议系统终端、音频数据处理方法和远程会议系统
技术领域
本公开涉及远程会议声音处理技术领域，特别涉及一种会议系统终端、音频数据处理方法和远程会议系统。
背景技术
目前，远程会议系统中为了解决会场是大会议会场(例如大于50平米的会场)的收音问题，通常的会议系统会通过会议系统终端连接多个麦克风级联设备来达到覆盖整个会场范围的功能。这样远端的参会人才能清楚的了解整个会场人的发言情况。
在相关技术中，所有麦克风都通过物理有线或者无线蓝牙的方式连接到硬件的接收控制器上，硬件接收控制器通过无线蓝牙或者物理有线的方式连接到会议系统的终端上。
本公开的发明人发现，上述相关技术可能存在如下问题：
1、通过硬件接收控制器作为接收控制中心来接收麦克风的声音，但是硬件接收控制器携带不方便，只适合固定会议室，不方便移动。
2、麦克风采集到声音通过无线蓝牙发送到硬件接收控制器上，然后硬件接收控制器再通过无线蓝牙传送到会议终端，这样增加了很大的硬件成本。连接的麦克风个数越多，成本越高。如果麦克风和硬件接收控制器，以及硬件接收控制器和会议系统终端都使用物理有线连接，使用起来非常繁琐，现场非常凌乱。
3、麦克风级联设备的个数取决于硬件接收控制器的规格，目前市面上最多是连接4个，无法动态灵活拓展。对于大会议会场(例如，大约50平米的会议室)是无法满足的。
发明内容
本公开的实施例解决的一个技术问题是：提供一种会议系统终端，从而使用更加方便。
根据本公开实施例的一个方面，提供了一种会议系统终端，包括：接收模块，用于通过WiFi方式从至少一个麦克风接收音频数据；数据处理模块，用于对所述音频数据进行数据处理；以及发送模块，用于将经过数据处理之后的音频数据发送到服务器。
在一些实施例中，所述至少一个麦克风包括多个麦克风；所述接收模块用于从所述多个麦克风接收多个音频数据；所述数据处理模块用于对所述多个音频数据中的每一个音频数据进行解码和去回音处理，从经过去回音处理后的多个音频数据中周期性地选择至少两个音频数据进行混音处理以得到混音数据，将所述混音数据传输到所述发送模块；所述发送模块用于将所述混音数据发送到服务器。
在一些实施例中，所述至少两个音频数据包括：采集帧能量最大的两路声音的音频数据，或者采集帧能量最大和次最大的两路声音的音频数据。
在一些实施例中，所述数据处理模块用于对在上个周期未被选择参与混音而在本周期被选择参与混音的音频数据进行淡入处理，或者对在上个周期被选择参与混音而在本周期未被选择参与混音的音频数据进行淡出处理。
在一些实施例中，所述数据处理模块用于计算被选择的所述至少两个音频数据的加权平均值以得到混音数据。
在一些实施例中，所述数据处理模块还用于对所述混音数据进行滤波处理，并将滤波处理后的混音数据传输到所述发送模块。
在一些实施例中，所述接收模块还用于接收所述至少一个麦克风的状态信息；所述会议系统终端还包括：控制模块，用于根据所述至少一个麦克风的状态信息控制所述至少一个麦克风的状态。
根据本公开实施例的另一个方面，提供了一种音频数据处理方法，包括：通过WiFi方式从至少一个麦克风接收音频数据；对所述音频数据进行数据处理；以及将经过数据处理之后的音频数据发送到服务器。
在一些实施例中，所述至少一个麦克风包括多个麦克风；从至少一个麦克风接收音频数据的步骤包括：从所述多个麦克风接收多个音频数据；对所述音频数据进行数据处理的步骤包括：对所述多个音频数据中的每一个音频数据进行解码和去回音处理，从经过去回音处理后的多个音频数据中周期性地选择至少两个音频数据进行混音处理以得到混音数据；将经过数据处理之后的音频数据发送到服务器的步骤包括：将所述混音数据发送到服务器。
在一些实施例中，所述至少两个音频数据包括：采集帧能量最大的两路声音的音频数据，或者采集帧能量最大和次最大的两路声音的音频数据。
在一些实施例中，周期性地选择至少两个音频数据进行混音处理的步骤包括：对在上个周期未被选择参与混音而在本周期被选择参与混音的音频数据进行淡入处理，或者对在上个周期被选择参与混音而在本周期未被选择参与混音的音频数据进行淡出处理。
在一些实施例中，周期性地选择至少两个音频数据进行混音处理的步骤包括：计算被选择的所述至少两个音频数据的加权平均值以得到混音数据。
在一些实施例中，在将所述混音数据发送到服务器之前，所述方法还包括：对所述混音数据进行滤波处理。
在一些实施例中，所述音频数据处理方法还包括：接收所述至少一个麦克风的状态信息；以及根据所述至少一个麦克风的状态信息控制所述至少一个麦克风的状态。
根据本公开实施例的另一个方面，提供了一种会议系统终端，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如前所述的方法。
根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如前所述的方法的步骤。
根据本公开实施例的另一个方面，提供了一种远程会议系统，包括：至少一个麦克风和如前所述的会议系统终端，所述至少一个麦克风与所述会议系统终端通过WiFi连接方式连接；每个麦克风用于将实时采集到的音频数据发送到所述会议系统终端；所述会议系统终端用于对所述音频数据进行处理，并将处理后的音频数据发送到服务器。
在一些实施例中，每个麦克风还用于将自身的状态信息发送到所述会议系统终端；所述会议系统终端还用于根据所述状态信息控制相应的麦克风的状态。
在一些实施例中，所述麦克风用于在启动后设置自身的本地设备信息和端口信息，并启动监听功能，在监听到所述会议系统终端发出的广播浏览请求后，向所述会议系统终端返回自身的本地设备信息和端口信息，并在与所述会议系统终端连接后将自身的状态信息发送到所述会议系统终端；所述会议系统终端用于向局域网内发出所述广播浏览请求，通过所述麦克风的本地设备信息和端口信息连接到所述麦克风，向所述麦克风发送绑定信令以与所述麦克风绑定，并在与所述麦克风绑定后向所述麦克风发送控制信令，以控制所述麦克风的状态。
在一些实施例中，所述麦克风用于在启动后设置自身的本地设备信息和端口信息，并向局域网广播服务信息，在监听到所述会议系统终端发出的广播浏览请求后，向所述会议系统终端返回自身的本地设备信息和端口信息，在与所述会议系统终端连接后将自身的状态信息发送到所述会议系统终端；所述会议系统终端用于在接收到所述服务信息后，向所述局域网内发出广播浏览请求，通过所述麦克风的本地设备信息和端口信息连接到所述麦克风，向所述麦克风发送绑定信令以与所述麦克风绑定，并在与所述麦克风绑定后向所述麦克风发送控制信令，以控制所述麦克风的状态。
在上述会议系统终端中，接收模块通过WiFi方式从至少一个麦克风接收音频数据，数据处理模块对该音频数据进行数据处理，发送模块将处理后的音频数据发送到服务器。因此，在实现会议声音的采集过程中，上述会议系统终端不需要由相关技术中的硬件接收控制器来接收来自于麦克风的声音，使用更加方便，而且降低成本。另外，由于接收模块与麦克风可以通过WiFi方式连接，因此可以增加与会议系统终端连接的麦克风的个数，突破了相关技术的硬件接收控制器对麦克风连接数量的限制，从而支持动态拓展。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是示出根据本公开一些实施例的会议系统终端的结构图；
图2是示出根据本公开另一些实施例的会议系统终端的结构图；
图3是示出根据本公开一些实施例的音频数据处理方法的流程图；
图4是示出根据本公开另一些实施例的音频数据处理方法的流程图；
图5是示出根据本公开另一些实施例的会议系统终端的结构图；
图6是示出根据本公开另一些实施例的会议系统终端的结构图；
图7是示出根据本公开一些实施例的远程会议系统的结构图；
图8是示出根据本公开一些实施例的远程会议系统运行的方法的流程图；
图9是示出根据本公开另一些实施例的远程会议系统运行的方法的流程图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是示出根据本公开一些实施例的会议系统终端的结构图。如图1所示，该会议系统终端可以包括接收模块102、数据处理模块104和发送模块106。
该接收模块102可以用于通过WiFi(Wireless Fidelity，无线保真)方式从至少一个麦克风(图1中未示出)接收音频数据。例如，该接收模块可以包括WiFi模块，该麦克风也可以包括WiFi模块。这样，该接收模块可以与麦克风通过WiFi方式连接。
该数据处理模块104可以用于对音频数据进行数据处理。
该发送模块106可以用于将经过数据处理之后的音频数据发送到服务器(图1中未示出)。
在上述实施例的会议系统终端中，接收模块通过WiFi方式从至少一个麦克风接收音频数据，数据处理模块对该音频数据进行数据处理，发送模块将处理后的音频数据发送到服务器。因此，在实现会议声音的采集过程中，上述会议系统终端不需要由相关技术中的硬件接收控制器来接收来自于麦克风的声音，使用更加方便，而且降低成本。
另外，由于接收模块与麦克风可以通过WiFi方式连接，因此可以增加与会议系统终端连接的麦克风的个数，突破了相关技术的硬件接收控制器对麦克风连接数量的限制，从而支持动态拓展。例如与会议系统终端连接的麦克风的个数可以有十几个至几十个。
在一些实施例中，所述至少一个麦克风可以包括多个麦克风。该接收模块102可以用于从该多个麦克风接收多个音频数据。该数据处理模块104可以用于对该多个音频数据中的每一个音频数据进行解码和去回音处理，从经过去回音处理后的多个音频数据中周期性地选择至少两个音频数据进行混音处理以得到混音数据，将该混音数据传输到发送模块106。该发送模块106可以用于将该混音数据发送到服务器。
例如，该数据处理模块104在接收到多个音频数据后，对该多个音频数据进行解码处理，然后对解码处理后的音频数据进行去回音处理。例如，在会场中可以设置扬声器或者将扬声器集成在会议系统终端上。由于麦克风采集到的声音为有用声音与扬声器播放声音的叠加，所以需要将其中的扬声器播放的声音(即回音)去除。但每一个麦克风采集的声音由于多种原因(例如，与扬声器的距离、网络抖动等)，在时间上会有差异，所以可以单独对每一路声音进行去回音操作。例如，可以采用已知的自适应的去回音算法，保证在进行混音之前，去除各路声音中的回音，尽量使得各路声音只包含有用的语音信息。这样可以提高声音的清晰度。
然后，数据处理模块104可以从经过去回音处理的多个音频数据中周期性地选择至少两个(例如两个、三个等)音频数据进行混音处理以得到混音数据。
在一些实施例中，该至少两个音频数据可以包括：采集帧能量最大的两路声音的音频数据，或者采集帧能量最大和次最大的两路声音的音频数据。这有利于获得清楚的声音。
例如，数据处理模块可以在去回音后的各路声音中，选择采集帧能量最大的两路声音作为混音源进行混音。又例如，数据处理模块可以选择采集帧能量最大和次最大的两路声音作为混音源进行混音。这里，采集帧能量可以表示音量的大小，在实际处理中，可以以声音采样后的数字样点的平方和作为能量。通过混音处理，可以使得不同用户的声音尽量都被传输到服务器，进而通过服务器传输到位于远端的另一个会场的会议系统中。
在一些实施例中，该混音处理的周期可以为10ms。当然，该周期仅是示例性的，本公开的范围并不仅限于此。
在一些实施例中，该数据处理模块104可以用于对在上个周期未被选择参与混音而在本周期被选择参与混音的音频数据进行淡入(RampIn)处理，或者对在上个周期被选择参与混音而在本周期未被选择参与混音的音频数据进行淡出(RampOut)处理。该淡入和淡出处理可以避免因为混音状态的突变造成混音输出音频的截断，从而减小对音频质量的影响。
在一些实施例中，该数据处理模块104还可以用于将在上个周期和在本周期均被选择参与混音的音频数据作为混音源，或者将在上个周期和在本周期均未被选择参与混音的音频数据丢弃。
在一些实施例中，该数据处理模块104可以用于计算被选择的所述至少两个音频数据的加权平均值以得到混音数据。例如，可以设置采集帧能量较大的音频数据所对应的权重值较大，采集帧能量较小的音频数据所对应的权重值较小。通过计算被选择的所述至少两个音频数据的加权平均值并将该加权平均值作为混音数据，可以防止混音后的声音过高，从而使得声音更加平均且清楚。
在一些实施例中，该数据处理模块104可以用于计算被选择的所述至少两个音频数据的算术平均值以得到混音数据。这里，算术平均值可以看作一种各个音频数据所对应的权重值均相等的特殊的加权平均值。
在一些实施例中，该数据处理模块104还可以用于对混音数据进行滤波处理(例如高通滤波处理)，并将滤波处理后的混音数据传输到发送模块。这可以减小混音可能带来的混响效果。
图2是示出根据本公开另一些实施例的会议系统终端的结构图。如图2所示，该会议系统终端除了包括接收模块102、数据处理模块104和发送模块106之外，还可以包括控制模块208。
该接收模块102还可以用于接收所述至少一个麦克风(图2中未示出)的状态信息。例如，该接收模块102可以通过WiFi的方式从所述至少一个麦克风接收每个麦克风的状态信息。例如，该状态信息可以包括网络状态、蓝牙状态、电池信息、绑定状态或会议信息等。
网络状态可以是指所连接WiFi的名称及强度信息。
蓝牙状态可以是指设备蓝牙是否在可发现状态下。由于麦克风设备本身可以具有普通蓝牙音箱功能，在可发现状态下，麦克风设备可以作为蓝牙音箱使用。
电池信息可以包括当前麦克风的电量信息等。
绑定状态可以是指当前麦克风是否与会议系统终端绑定。
会议信息可以是指当前麦克风是否在会议中。如果在会议中，会议信息还可以包括当前会议的名称、会议ID(标识)等。例如，会议系统终端绑定麦克风设备并开启会议后，会将会议信息告知麦克风。麦克风在向会议系统终端返回该会议信息后，可以确定该麦克风已经在该会议中。
在一些实施例中，控制模块208可以用于根据该至少一个麦克风的状态信息控制该至少一个麦克风的状态。例如，该控制模块可以向麦克风发送控制指令，从而控制相应麦克风的状态。例如，该控制模块可以控制是否解除WiFi连接、控制麦克风静音或解除静音、调节麦克风的音量等。该实施例实现了对各个麦克风的状态的实时监控。
图3是示出根据本公开一些实施例的音频数据处理方法的流程图。如图3所示，该方法包括步骤S302～S306。
在步骤S302，通过WiFi方式从至少一个麦克风接收音频数据。
在一些实施例中，所述至少一个麦克风可以包括多个麦克风。该步骤S302可以包括：从该多个麦克风接收多个音频数据。
在步骤S304，对音频数据进行数据处理。
在一些实施例中，该步骤S304可以包括：对多个音频数据中的每一个音频数据进行解码和去回音处理，从经过去回音处理后的多个音频数据中周期性地选择至少两个音频数据进行混音处理以得到混音数据。例如，该至少两个音频数据可以包括：采集帧能量最大的两路声音的音频数据，或者采集帧能量最大和次最大的两路声音的音频数据。
在一些实施例中，周期性地选择至少两个音频数据进行混音处理的步骤包括：对在上个周期未被选择参与混音而在本周期被选择参与混音的音频数据进行淡入处理，或者对在上个周期被选择参与混音而在本周期未被选择参与混音的音频数据进行淡出处理。
在一些实施例中，周期性地选择至少两个音频数据进行混音处理的步骤可以包括：计算被选择的该至少两个音频数据的加权平均值(例如算术平均值)以得到混音数据。
在步骤S306，将经过数据处理之后的音频数据发送到服务器。
在一些实施例中，该步骤S306可以包括：将混音数据发送到服务器。
在一些实施例中，在将混音数据发送到服务器之前，所述方法还可以包括：对该混音数据进行滤波处理。这样可以经经过滤波处理后的混音数据发送到服务器。
至此，提供了根据本公开一些实施例的音频数据处理方法。在该方法中，通过WiFi方式从至少一个麦克风接收音频数据；对该音频数据进行数据处理；以及将经过数据处理之后的音频数据发送到服务器。因此，在该方法中，不需要由相关技术中的硬件接收控制器来接收来自于麦克风的声音。通过例如软件的形式来实现该方法。该方法可以降低成本。
图4是示出根据本公开另一些实施例的音频数据处理方法的流程图。如图4所示，该方法可以包括步骤S402～S410。
在步骤S402，通过WiFi方式从至少一个麦克风接收音频数据。
在步骤S404，对音频数据进行数据处理。
在步骤S406，将经过数据处理之后的音频数据发送到服务器。
在步骤S408，接收至少一个麦克风的状态信息。
在步骤S410，根据至少一个麦克风的状态信息控制该至少一个麦克风的状态。
在该实施例的方法中，不但实现了对音频数据的采集和处理，而且实现了对各个麦克风的状态的实时监控。
图5是示出根据本公开另一些实施例的会议系统终端的结构图。该会议系统终端包括存储器510和处理器520。其中：
存储器510可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图3和/或图4所对应实施例中的指令。
处理器520耦接至存储器510，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器520用于执行存储器中存储的指令，通过WiFi方式从至少一个麦克风接收音频数据，对该音频数据进行数据处理，以及将经过数据处理之后的音频数据发送到服务器。该会议系统终端不需要由相关技术中的硬件接收控制器来接收来自于麦克风的声音，而是可以通过例如软件(例如可以将该软件称为软件接收控制器，该软件接收控制器直接集成到会议系统终端中)的形式来实现会议声音的接收和处理。该会议系统终端使用更加方便，而且降低成本。另外，该会议系统终端突破了相关技术的硬件接收控制器对麦克风连接数量的限制，从而支持动态拓展。
在一些实施例中，还可以如图6所示，该会议系统终端600包括存储器610和处理器620。处理器620通过BUS总线630耦合至存储器610。该会议系统终端600还可以通过存储接口640连接至外部存储装置650以便调用外部数据，还可以通过网络接口660连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，通过WiFi方式从至少一个麦克风接收音频数据，对该音频数据进行数据处理，以及将经过数据处理之后的音频数据发送到服务器。该会议系统终端不需要由相关技术中的硬件接收控制器来接收来自于麦克风的声音，而是通过例如软件的形式来实现会议声音的采集和处理。该会议系统终端使用更加方便，而且降低成本。另外，该会议系统终端突破了相关技术的硬件接收控制器对麦克风连接数量的限制，从而支持动态拓展。
图7是示出根据本公开一些实施例的远程会议系统的结构图。
如图7所示，该远程会议系统700可以包括至少一个(例如三个)麦克风702和会议系统终端704。例如，该会议系统终端可以采用如图1、图2、图5或图6所示的会议系统终端。另外，图7中还示出了服务器710。例如，该服务器710可以是远端服务器。
该至少一个麦克风702与该会议系统终端704通过WiFi连接方式连接。例如，麦克风和会议系统终端可以通过某个公用WiFi设备(例如办公室WiFi设备)连接。又例如，可以利用会议系统终端的WiFi硬件设备产生WiFi热点(如电脑的360WiFi热点等)来供麦克风连接。
每个麦克风702可以用于将实时采集到的音频数据发送到该会议系统终端704。例如，该麦克风为无线麦克风设备。每个麦克风自带有WiFi模块。
该会议系统终端704可以用于对该音频数据进行处理，并将处理后的音频数据发送到服务器710。例如，该会议系统终端704可以包括计算机、手机或平板电脑等。
在该实施例中，麦克风与该会议系统终端通过WiFi连接方式连接。每个麦克风将实时采集到的音频数据发送到该会议系统终端。该会议系统终端对该音频数据进行处理，并将处理后的音频数据发送到服务器。该远程会议系统不需要由相关技术中的硬件接收控制器来接收来自于麦克风的声音，因此使用更加方便，而且降低成本。另外，该远程会议系统中的会议系统终端突破了相关技术的硬件接收控制器对麦克风连接数量的限制，从而支持动态拓展。此外，每个麦克风可以单独使用。
在一些实施例中，每个麦克风可以带有WiFi模块、蓝牙模块、声音收集模块、扬声器模块等。多个麦克风同时使用时，每个麦克风通过WiFi网络和会议系统连接。在这样的情况下，例如，可以设置该多个麦克风采集声音而不外放声音，而且可以充当级联全向麦角色。这里，全向麦是针对定向麦(或者称为指向麦)而言的。对于全向麦，可以从规格半径内在360度的范围都能采集到声音。而定向麦只是在指定角度内采集到声音。当单个麦克风使用时，可以将该单个麦克风作为一个普通的全相麦，而且既可以采集声音也可以播放声音。
在一些实施例中，每个麦克风702还可以用于将自身的状态信息发送到会议系统终端704。该会议系统终端704还可以用于根据该状态信息控制相应的麦克风的状态。
在上述实施例中，每个麦克风通过无线WiFi和会议系统终端连接。各个麦克风将采集的声音、麦克风的状态(例如连接的状态、剩余电量等状态信息)实时传送到会议系统终端中。会议系统终端可以一方面进行声音的实时采集，另一方面动态监控各个麦克风的状态。
在一些实施例中，该麦克风702可以用于在启动后设置自身的本地设备信息和端口信息，并启动监听功能，在监听到会议系统终端704发出的广播浏览请求后，向该会议系统终端704返回自身的本地设备信息和端口信息，并在与该会议系统终端连接后将自身的状态信息发送到该会议系统终端704。该会议系统终端704可以用于向局域网内发出广播浏览请求，通过该麦克风702的本地设备信息和端口信息连接到该麦克风702，向该麦克风702发送绑定信令以与该麦克风702绑定，并在与该麦克风702绑定后向该麦克风702发送控制信令，以控制该麦克风的状态。这实现了麦克风和会议系统终端的运行过程。
在另一些实施例中，该麦克风702可以用于在启动后设置自身的本地设备信息和端口信息，并向局域网广播服务信息，在监听到该会议系统终端704发出的广播浏览请求后，向该会议系统终端返回自身的本地设备信息和端口信息，在与该会议系统终端连接后将自身的状态信息发送到该会议系统终端704。该会议系统终端704可以用于在接收到服务信息后，向该局域网内发出广播浏览请求，通过该麦克风702的本地设备信息和端口信息连接到该麦克风702，向该麦克风702发送绑定信令以与该麦克风702绑定，并在与该麦克风702绑定后向该麦克风702发送控制信令，以控制该麦克风的状态。这实现了麦克风和会议系统终端的运行过程。
在本公开的一些实施例中，各麦克风采集到音频数据后，通过WiFi网络传送到会议系统终端。会议系统终端先对数据流执行解码操作，然后根据远端样点对解码出来的音频进行自适应去回音处理，得到不包含回音的原始音频数据，最后，将各路去回音处理后的音频数据经过混音后发送到服务器。在另一些实施例中，该远程会议系统对音频数据混音后还可以采取其他已知的处理或操作，然后再发送到服务器。
在一些实施例中，该远程会议系统还可以包括扬声器。该扬声器可以用于播放声音。
在本公开的一些实施例中，当麦克风检测到要连接的目标WiFi时，麦克风自动连接到该目标WiFi。会议系统终端启动后，也会搜索并自动连接对应的目标WiFi。当麦克风和会议系统终端都连接到目标WiFi后，每个麦克风开始实时发送采集到的音频数据和状态信息给会议系统终端。会议系统终端将采集到的声音进行相应的算法处理后，把处理后的声音以及相关状态内容送入远程会议系统的其他模块等。
图8是示出根据本公开一些实施例的远程会议系统运行的方法的流程图。该方法描述了麦克风先启动，会议系统终端后启动的流程。如图8所示，该方法包括步骤S801～S807。
在步骤S801，麦克风在启动后设置自身的本地设备信息(host)和端口信息，并启动监听功能。例如，host可以是设备在网络里的本地计算机名称，处于同一局域网的其他终端可以通过该host得到该设备的IP(Internet Protocol，网络协议)地址。
在步骤S802，会议系统终端向局域网内发出广播浏览请求。即，会议系统终端通过广播的形式浏览局域网内的所有服务。例如，该服务可以包括设备启动的TCP(Transmission Control Protocol，传输控制协议)服务。
在步骤S803，麦克风在监听到会议系统终端发出的广播浏览请求后，向该会议系统终端返回自身的本地设备信息和端口信息。
在步骤S804，会议系统终端通过麦克风的本地设备信息和端口信息连接到该麦克风。
在步骤S805，麦克风在与会议系统终端连接后将自身的状态信息发送到会议系统终端。例如，该状态信息可以包括网络状态、蓝牙状态、电池信息、绑定状态、会议信息等。这便于会议系统终端实时查看麦克风设备的状态，以便用户判断是否加入该麦克风设备等。
在步骤S806，会议系统终端向麦克风发送绑定信令以与该麦克风绑定。通过绑定该麦克风，可以利用该麦克风收集声音。
在步骤S807，会议系统终端在与麦克风绑定后向该麦克风发送控制信令，以控制该麦克风的状态(例如，静音、解除静音或调整音量等)。
在上述实施例中，实现了麦克风先启动，会议系统终端后启动的流程。
图9是示出根据本公开另一些实施例的远程会议系统运行的方法的流程图。该方法描述了会议系统终端先启动，麦克风后启动的流程。如图9所示，该方法包括步骤S901～S908。
在步骤S901，会议系统终端启动。
在步骤S902，麦克风在启动后设置自身的本地设备信息(host)和端口信息，并向局域网广播服务信息。例如，该服务信息可以指服务类型为TCP，端口信息为TCP监听端口。
在步骤S903，会议系统终端在接收到服务信息后，向局域网内发出广播浏览请求。
在步骤S904，麦克风在监听到会议系统终端发出的广播浏览请求后，向该会议系统终端返回自身的本地设备信息和端口信息。
在步骤S905，会议系统终端通过麦克风的本地设备信息和端口信息连接到该麦克风。
在步骤S906，麦克风在与会议系统终端连接后将自身的状态信息发送到该会议系统终端。例如，该状态信息可以包括网络状态、蓝牙状态、电池信息、绑定状态、会议信息等。
在步骤S907，会议系统终端向麦克风发送绑定信令以与该麦克风绑定。通过绑定该麦克风，可以利用该麦克风收集声音。
在步骤S908，会议系统终端在与麦克风绑定后向该麦克风发送控制信令，以控制该麦克风的状态(例如，静音、解除静音或调整音量等)。
在上述实施例中，实现了会议系统终端先启动，麦克风后启动的流程。
在另一些实施例中，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图3和/或图4所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (20)

1.一种会议系统终端，包括：
接收模块，用于通过WiFi方式从至少一个麦克风接收音频数据；
数据处理模块，用于对所述音频数据进行数据处理；以及
发送模块，用于将经过数据处理之后的音频数据发送到服务器。
2.根据权利要求1所述的会议系统终端，其中，
所述至少一个麦克风包括多个麦克风；
所述接收模块用于从所述多个麦克风接收多个音频数据；
所述数据处理模块用于对所述多个音频数据中的每一个音频数据进行解码和去回音处理，从经过去回音处理后的多个音频数据中周期性地选择至少两个音频数据进行混音处理以得到混音数据，将所述混音数据传输到所述发送模块；
所述发送模块用于将所述混音数据发送到服务器。
3.根据权利要求2所述的会议系统终端，其中，
所述至少两个音频数据包括：采集帧能量最大的两路声音的音频数据，或者采集帧能量最大和次最大的两路声音的音频数据。
4.根据权利要求2所述的会议系统终端，其中，
所述数据处理模块用于对在上个周期未被选择参与混音而在本周期被选择参与混音的音频数据进行淡入处理，或者对在上个周期被选择参与混音而在本周期未被选择参与混音的音频数据进行淡出处理。
5.根据权利要求2所述的会议系统终端，其中，
所述数据处理模块用于计算被选择的所述至少两个音频数据的加权平均值以得到混音数据。
6.根据权利要求2所述的会议系统终端，其中，
所述数据处理模块还用于对所述混音数据进行滤波处理，并将滤波处理后的混音数据传输到所述发送模块。
7.根据权利要求1所述的会议系统终端，其中，
所述接收模块还用于接收所述至少一个麦克风的状态信息；
所述会议系统终端还包括：
控制模块，用于根据所述至少一个麦克风的状态信息控制所述至少一个麦克风的状态。
8.一种音频数据处理方法，包括：
通过WiFi方式从至少一个麦克风接收音频数据；
对所述音频数据进行数据处理；以及
将经过数据处理之后的音频数据发送到服务器。
9.根据权利要求8所述的音频数据处理方法，其中，
所述至少一个麦克风包括多个麦克风；
从至少一个麦克风接收音频数据的步骤包括：从所述多个麦克风接收多个音频数据；
对所述音频数据进行数据处理的步骤包括：对所述多个音频数据中的每一个音频数据进行解码和去回音处理，从经过去回音处理后的多个音频数据中周期性地选择至少两个音频数据进行混音处理以得到混音数据；
将经过数据处理之后的音频数据发送到服务器的步骤包括：将所述混音数据发送到服务器。
10.根据权利要求9所述的音频数据处理方法，其中，
所述至少两个音频数据包括：采集帧能量最大的两路声音的音频数据，或者采集帧能量最大和次最大的两路声音的音频数据。
11.根据权利要求9所述的音频数据处理方法，其中，周期性地选择至少两个音频数据进行混音处理的步骤包括：
对在上个周期未被选择参与混音而在本周期被选择参与混音的音频数据进行淡入处理，或者对在上个周期被选择参与混音而在本周期未被选择参与混音的音频数据进行淡出处理。
12.根据权利要求9所述的音频数据处理方法，其中，周期性地选择至少两个音频数据进行混音处理的步骤包括：
计算被选择的所述至少两个音频数据的加权平均值以得到混音数据。
13.根据权利要求9所述的音频数据处理方法，其中，在将所述混音数据发送到服务器之前，所述方法还包括：
对所述混音数据进行滤波处理。
14.根据权利要求9所述的音频数据处理方法，还包括：
接收所述至少一个麦克风的状态信息；以及
根据所述至少一个麦克风的状态信息控制所述至少一个麦克风的状态。
15.一种会议系统终端，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求8至14任意一项所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求8至14任意一项所述的方法的步骤。
17.一种远程会议系统，包括：
至少一个麦克风和如权利要求1至7任意一项或如权利要求15所述的会议系统终端，所述至少一个麦克风与所述会议系统终端通过WiFi连接方式连接；
每个麦克风用于将实时采集到的音频数据发送到所述会议系统终端；
所述会议系统终端用于对所述音频数据进行处理，并将处理后的音频数据发送到服务器。
18.根据权利要求17所述的远程会议系统，其中，
每个麦克风还用于将自身的状态信息发送到所述会议系统终端；
所述会议系统终端还用于根据所述状态信息控制相应的麦克风的状态。
19.根据权利要求17所述的远程会议系统，其中，
所述麦克风用于在启动后设置自身的本地设备信息和端口信息，并启动监听功能，在监听到所述会议系统终端发出的广播浏览请求后，向所述会议系统终端返回自身的本地设备信息和端口信息，并在与所述会议系统终端连接后将自身的状态信息发送到所述会议系统终端；
所述会议系统终端用于向局域网内发出所述广播浏览请求，通过所述麦克风的本地设备信息和端口信息连接到所述麦克风，向所述麦克风发送绑定信令以与所述麦克风绑定，并在与所述麦克风绑定后向所述麦克风发送控制信令，以控制所述麦克风的状态。
20.根据权利要求17所述的远程会议系统，其中，
所述麦克风用于在启动后设置自身的本地设备信息和端口信息，并向局域网广播服务信息，在监听到所述会议系统终端发出的广播浏览请求后，向所述会议系统终端返回自身的本地设备信息和端口信息，在与所述会议系统终端连接后将自身的状态信息发送到所述会议系统终端；
所述会议系统终端用于在接收到所述服务信息后，向所述局域网内发出广播浏览请求，通过所述麦克风的本地设备信息和端口信息连接到所述麦克风，向所述麦克风发送绑定信令以与所述麦克风绑定，并在与所述麦克风绑定后向所述麦克风发送控制信令，以控制所述麦克风的状态。
CN201811079897.6A 2018-09-17 2018-09-17 会议系统终端、音频数据处理方法和远程会议系统 Pending CN110910892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811079897.6A CN110910892A (zh) 2018-09-17 2018-09-17 会议系统终端、音频数据处理方法和远程会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811079897.6A CN110910892A (zh) 2018-09-17 2018-09-17 会议系统终端、音频数据处理方法和远程会议系统

Publications (1)

Publication Number Publication Date
CN110910892A true CN110910892A (zh) 2020-03-24

Family

ID=69812627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811079897.6A Pending CN110910892A (zh) 2018-09-17 2018-09-17 会议系统终端、音频数据处理方法和远程会议系统

Country Status (1)

Country Link
CN (1) CN110910892A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553845A (zh) * 2020-11-26 2022-05-27 上海博泰悦臻网络技术服务有限公司 社交互动的定向交流方法、介质、服务端及交流系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179286A (zh) * 2007-12-04 2008-05-14 中兴通讯股份有限公司 会议电视终端及接入音频的方法
CN101656072A (zh) * 2009-09-08 2010-02-24 北京飞利信科技股份有限公司 混音装置、混音方法及利用该混音装置的会议系统
CN101674450A (zh) * 2008-09-10 2010-03-17 深圳市邦彦信息技术有限公司 视频指挥调度系统中的混音方法
US20120058754A1 (en) * 2010-09-02 2012-03-08 Mitel Networks Corp. Wireless extensions for a conference unit and methods thereof
CN102810312A (zh) * 2011-06-01 2012-12-05 北京市特立信电子技术有限责任公司 语音合成系统
CN104009991A (zh) * 2014-05-28 2014-08-27 广州华多网络科技有限公司 音频通信系统和方法
CN105872253A (zh) * 2016-05-31 2016-08-17 腾讯科技（深圳）有限公司 一种直播声音处理方法及移动终端
CN105869648A (zh) * 2016-05-19 2016-08-17 广州日滨科技发展有限公司 混音方法及装置
CN106817652A (zh) * 2017-02-15 2017-06-09 深圳壹秘科技有限公司 移动会议便携装置
CN107800902A (zh) * 2017-09-15 2018-03-13 北京容联易通信息技术有限公司 多路语音的混音方法及系统
CN108124114A (zh) * 2016-11-28 2018-06-05 中兴通讯股份有限公司 一种音视频会议声音采集方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179286A (zh) * 2007-12-04 2008-05-14 中兴通讯股份有限公司 会议电视终端及接入音频的方法
CN101674450A (zh) * 2008-09-10 2010-03-17 深圳市邦彦信息技术有限公司 视频指挥调度系统中的混音方法
CN101656072A (zh) * 2009-09-08 2010-02-24 北京飞利信科技股份有限公司 混音装置、混音方法及利用该混音装置的会议系统
US20120058754A1 (en) * 2010-09-02 2012-03-08 Mitel Networks Corp. Wireless extensions for a conference unit and methods thereof
CN102810312A (zh) * 2011-06-01 2012-12-05 北京市特立信电子技术有限责任公司 语音合成系统
CN104009991A (zh) * 2014-05-28 2014-08-27 广州华多网络科技有限公司 音频通信系统和方法
CN105869648A (zh) * 2016-05-19 2016-08-17 广州日滨科技发展有限公司 混音方法及装置
CN105872253A (zh) * 2016-05-31 2016-08-17 腾讯科技（深圳）有限公司 一种直播声音处理方法及移动终端
CN108124114A (zh) * 2016-11-28 2018-06-05 中兴通讯股份有限公司 一种音视频会议声音采集方法和装置
CN106817652A (zh) * 2017-02-15 2017-06-09 深圳壹秘科技有限公司 移动会议便携装置
CN107800902A (zh) * 2017-09-15 2018-03-13 北京容联易通信息技术有限公司 多路语音的混音方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553845A (zh) * 2020-11-26 2022-05-27 上海博泰悦臻网络技术服务有限公司 社交互动的定向交流方法、介质、服务端及交流系统

Similar Documents

Publication Publication Date Title
US9900552B2 (en) Conference processing method of third-party application and communication device thereof
CN102572369B (zh) 语音音量提示的方法、语音音量提示终端及视频通信系统
EP2439945B1 (en) Audio panning in a multi-participant video conference
US20080159507A1 (en) Distributed teleconference multichannel architecture, system, method, and computer program product
CN105161121B (zh) 对音频外设传送音频的控制方法及音频传送控制器
JP7348927B2 (ja) オーディオ再生方法及び装置、電子機器並びに記憶媒体
CN107333093B (zh) 一种声音处理方法、装置、终端及计算机可读存储介质
JP2007019907A (ja) 音声伝達システム、および通信会議装置
US10567900B2 (en) Audio system, audio device, and audio device setting method
WO2012142975A1 (zh) 会场终端音频信号处理方法及会场终端和视讯会议系统
US7177413B2 (en) Head position based telephone conference system and associated method
CN108933914B (zh) 一种使用移动终端进行视频会议的方法及系统
US10297266B1 (en) Adaptive noise cancellation for multiple audio endpoints in a shared space
WO2014154065A2 (zh) 传输数据方法、媒体采集设备、视频会议终端及存储介质
US8914007B2 (en) Method and apparatus for voice conferencing
CN107431859A (zh) 带有控制数据的封装的音频数据的无线广播
CN111049709B (zh) 一种基于蓝牙的互联音箱控制方法、设备及存储介质
CN107105337B (zh) 无线多媒体播放方法和装置
CN102457700B (zh) 音频数据传输方法及系统
CN105847096A (zh) 一种包含音频数据的通信方法、装置及系统
KR20110050830A (ko) 휴대용 단말기에서 디엔엘에이를 이용하여 멀티 사운드 채널 컨텐츠를 재생하기 위한 장치 및 방법
CN110910892A (zh) 会议系统终端、音频数据处理方法和远程会议系统
WO2021017807A1 (zh) 通话连接建立方法和第一终端、服务器及存储介质
US20100268529A1 (en) Voice communication apparatus
CN115209209A (zh) 一种演艺现场手机录制分发专业音频短视频的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324

RJ01 Rejection of invention patent application after publication