CN112425146A - 集成会议平台的系统及方法 - Google Patents

集成会议平台的系统及方法 Download PDF

Info

Publication number
CN112425146A
CN112425146A CN201980047824.5A CN201980047824A CN112425146A CN 112425146 A CN112425146 A CN 112425146A CN 201980047824 A CN201980047824 A CN 201980047824A CN 112425146 A CN112425146 A CN 112425146A
Authority
CN
China
Prior art keywords
audio
conferencing
digital signal
signal processing
processing component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980047824.5A
Other languages
English (en)
Other versions
CN112425146B (zh
Inventor
L·J·莫拉维
M·T·亚伯拉罕
P·古尼亚
J·C·吉布斯
L·B·法兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shure Acquisition Holdings Inc
Original Assignee
Shure Acquisition Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shure Acquisition Holdings Inc filed Critical Shure Acquisition Holdings Inc
Publication of CN112425146A publication Critical patent/CN112425146A/zh
Application granted granted Critical
Publication of CN112425146B publication Critical patent/CN112425146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0008—Synchronisation information channels, e.g. clock distribution lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种基于软件的会议平台。所述平台包含提供输入音频信号的多个音频源，所述音频源包括虚拟音频装置驱动器及网络音频库，所述虚拟音频装置驱动器经配置以从会议软件模块接收远端输入音频信号，所述网络音频库经配置以从一或多个近端音频装置接收近端输入音频信号。所述平台进一步包含数字信号处理组件，其经配置以从所述音频源接收所述输入音频信号并基于所述接收的信号产生音频输出信号，所述数字信号处理组件包含声学回声消除模块，所述声学回声消除模块经配置以将声学回声消除技术应用于一或多个所述近端输入音频信号。

Description

集成会议平台的系统及方法
交叉参考
本申请案要求2018年6月15日申请的第62/685,689号美国临时专利申请案的优先权，所述案的全部内容以引用的方式并入本文中。
技术领域
本申请案大体上涉及会议系统及方法，且更具体地说，涉及经配置以使用现有室内硬件操作的会议软件平台。
背景技术
会议环境，例如会议室、董事会会议室、视频会议设置等，通常涉及使用包括一或多个麦克风的离散会议装置，用于从这类环境中活动的各种音频源捕获声音。例如，音频源可包含室内人感扬声器，且在一些情况下，例如，用于播放从不在室内的人感扬声器接收的音频的扩音器。所捕获的声音可通过放大扬声器(用于声音增强)传播给环境中的本地听众，及/或使用包含在会议装置中或连接到会议装置的通信硬件传输给远离环境的其他人(例如，通过电视广播及/或网络广播)。会议装置还可包含一或多个扬声器或音频重现装置，用于播放通过通信硬件从远离会议环境的人感扬声器接收的大声音频信号。典型会议装置中包含的其它硬件可包含例如一或多个处理器、存储器、输入/输出端口及用户接口/控件。
会议装置有多种大小、外观尺寸、安装选项及布线选项，以满足特定环境的需要。会议装置的类型及其在特定会议环境中的位置可取决于音频源的位置、物理空间要求、美学、房间布局及/或其它考虑。例如，在一些环境中，会议装置可放置在音频源附近的桌子或讲台上。在其它环境中，例如，给定会议装置的麦克风可安装在头顶以捕获整个房间的声音。
在这种环境中产生的分布式音频信号通常聚合到单个音频信号处理装置、计算机或服务器。在这种情况下，可在会议环境中包含数字信号处理器(DSP)，以使用例如自动混音、矩阵混音、延迟、压缩器及参数均衡器(PEQ)功能来处理音频信号。现存DSP硬件功能的进一步解释及示范性实施例可在舒尔(SHURE)的P300 Intellimix音频会议处理器手册中找到，其通过引用全部并入本文中。P300手册包含针对音频/视频会议应用程序及为提供高质量音频体验而优化的算法，包含八个信道的回声消除、降噪及自动增益控制。
使用硬件装置提供DSP功能的一个缺点是对可扩展性及适应性的限制。例如，硬件DSP包含一组特定的音频输入，例如模拟输入及USB输入。如果用户日后超出了这些基于硬件的限制，那么可能需要购买并配置新的或附加的DSP以在会议环境中使用，而不管用户是否需要新装置提供的所有功能(例如，信道数量等)。这可能是昂贵且耗时的。应了解，另一缺点是对物理硬件的依赖，这可能容易发生烧坏，故障，失灵等。
在这些特定于装置的限制下，仍需要一个灵活的分布式会议系统，而非限于单个硬件。
发明内容
本发明希望通过提供一种基于软件的会议解决方案来解决上文所提及的问题及其它问题，其利用预先存在的室内硬件(例如，麦克风及扬声器)及通用计算装置来实施所述解决方案。
实施例包含一种基于软件的会议平台，其包括提供输入音频信号的多个音频源，所述音频源包含虚拟音频装置驱动器及网络音频库，所述虚拟音频装置驱动器经配置以从会议软件模块接收远端输入音频信号，所述网络音频库经配置以从一或多个近端音频装置接收近端输入音频信号。所述平台进一步包括数字信号处理组件，其经配置以从所述音频源接收所述输入音频信号并基于所述接收的信号产生音频输出信号，所述数字信号处理组件包括声学回声消除模块，所述声学回声消除模块经配置以将声学回声消除技术应用于一或多个近端输入音频信号。
另一示范性实施例包含一种用于会议环境的计算机实施的音频处理方法。所述方法包括在多个音频源处接收输入音频信号，其中所述接收包括在虚拟音频装置驱动器处从会议软件模块接收远端输入音频信号，及在网络音频库处从一或多个近端音频装置接收近端输入音频信号。所述方法进一步包括使用数字信号处理组件处理所述输入音频信号，所述处理包括：将声学回声消除技术应用于一或多个所述近端输入音频信号，并基于所述输入音频信号产生音频输出信号。
另一示范性实施例包含一种会议系统，其包括一或多个处理器；至少一个存储器；一或多个近端音频装置，其经配置以捕获近端音频信号；及一或多个程序，其存储在所述至少一个存储器中并经配置以由所述一或多个处理器执行。所述一或多个程序包括会议软件模块，其经配置以从至少一个远程服务器接收远端音频信号；虚拟音频装置驱动器，其经配置以从所述会议软件模块接收所述远端音频信号；网络音频库，其经配置以从所述一或多个近端音频装置接收所述近端音频信号；及数字信号处理组件，其经配置以从所述网络音频库接收所述近端音频信号，从所述虚拟音频装置驱动器接收所述远端音频信号，并基于所述接收到的信号产生音频输出信号，其中所述数字信号处理组件包括声学回声消除模块，所述声学回声消除模块经配置以将声学回声消除技术应用于一或多个所述近端音频信号。
从以下的详细描述及附图中，这些实施例及其它实施例，及各种排列与方面，将变得明显，且更易于充分理解，这些附图阐述了指示可采用本发明原理的各种方式的说明性实施例。
附图说明
图1为说明根据一或多个实施例的示范性会议系统的框图。
图2为说明根据一或多个实施例的图1的会议系统的示范性控制器组件的框图。
图3为说明根据一或多个实施例的图1的会议系统的数字信号处理器(DSP)组件的示范性处理的框图。
图4为说明根据实施例的图1的会议系统的示范性计算装置的框图。
具体实施方式
以下描述根据本发明的原理描述、说明并例示本发明的一或多个特定实施例。提供所述描述并不是为了将本发明局限于本文所描述的实施例，而是为了以这样的方式来解释并教示本发明的原理，以使所属领域的普通技术人员能够理解这些原理，且基于此理解，不仅能够将它们应用于实践本文所描述的实施例，而且还能够根据这些原理来实现可能想到的其它实施例。本发明的范围希望涵盖可能落在所附权利要求范围内的所有此类实施例，无论是字面上的还是在等同原则下的。
应注意，在说明书及附图中，类似或基本相似的元件可用相同的参考标号标记。然而，有时这些元件可用不同的数字来标记，例如在这样的标记有助于更清楚的描述的情况下。此外，本文所述的附图不一定按比例绘制，且在一些情况下，比例可能被夸大以更清楚地描绘某些特征。这样的标记及绘图实践并不一定意味着潜在的实质性目的。如上所述，本说明书希望被视为一个整体，并根据本文中教示并被所属领域技术人员理解的本发明的原理来解释。
本文提供用于在会议环境中进行音频处理的基于软件的方法的系统及方法，这里称为“基于软件的会议平台”，包括具体定制的“会议应用程序”。会议应用程序提供数字信号处理(“DSP”)的软件解决方案，其在一个小型计算平台(如Intel NUC、Mac Mini、Logitech Smartdock、Lenovo ThinkSmart Hub等)上运行，为单个房间或多个房间的麦克风及扩音器提供服务。在实施例中，软件的解决方案可采取固定DSP路径的形式。会议应用程序经设计为重用会议环境或会议室中的现存计算资源。例如，计算资源可为专用资源，这意味着它的唯一预期用途及目的是用于会议音频处理，或是共享资源，这意味着它还用于其它室内服务，例如，软编解码器平台或文档共享。在这两种情况下，将软件解决方案放置在预先存在的计算资源上可降低会议平台的总体成本及复杂性。计算装置可支持网络音频传输、USB或其它模拟或数字音频输入及输出，从而允许计算装置(例如，个人计算机(PC))的表现类似于DSP硬件并与音频装置及硬件编解码器介接。会议平台还可作为虚拟音频装置驱动器连接到运行在计算装置上的第三方软编解码器(例如，第三方会议软件)。在一个优选的实施例中，会议应用程序利用C++计算机编程语言来实现跨平台开发。
会议应用程序可能足够灵活，以适应各种各样的部署场景，从最基本的配置(所有软件体系结构组件都驻留在一台手提式计算机/台式计算机上)到成为更大的客户端/服务器安装的一部分，并受到例如由专有会议软件或第三方控制器的监测及控制。在一些实施例中，会议应用程序产品可包含支持具有不同功能集的不同用户(例如，客户端)的服务器端企业应用程序。远程状态及错误监测，以及对控制、监测与配置设置的存取的鉴认，也可由会议应用程序提供。支持的部署平台可包含，例如，windows 8及10、苹果操作系统(MACOS X)等。
会议应用程序可作为独立组件运行，且可通过与产品相关联的用户接口完全配置以满足用户的需求。在一些情况下，会议应用程序可作为独立的会议产品获得许可及销售。在其它情况下，会议应用程序可作为一组独立部署的模块化服务的一部分提供，其中每个服务运行一个独有的过程，并通过一个定义明确的轻量级机构进行通信以服务于单个目的。
图1说明根据实施例的用于实施基于软件的会议平台的示范性会议系统100。系统100可在会议环境中使用，例如，会议室、董事会会议室或音频源包含一或多个人感扬声器的其它会议室。环境中可能存在其它可能不需要的声音，例如来自通风、其他人、音频/视频装备、电子装置等的噪音。在典型情况下，音频源可位于桌子旁的椅子上，不过音频源的其它配置及放置为可考虑且可能的，包含例如在房间中移动的音频源。一或多个麦克风可放置在桌子、讲台、桌面等上，以便检测并捕获来自音频源的声音，例如人感扬声器的讲话。一或多个扩音器可放置在桌子、桌面、天花板、墙壁等上，以播放从房间中不存在的音频源接收的音频信号。
会议系统100可使用计算装置102来实施，例如，个人计算机(PC)、手提式计算机、平板计算机、移动装置、智能装置、瘦客户端或其它计算平台。在一些实施例中，计算装置102可物理地位于及/或专用于会议环境(或房间)。在其它实施例中，计算装置102可为网络的一部分或分布在基于云的环境中。在一些实施例中，计算装置102驻留在外部网络中，例如云计算网络。在一些实施例中，计算装置102可使用固件或完全基于软件作为网络的一部分来实施，其可通过另一装置(包含其它计算装置，例如，台式计算机、手提式计算机、移动装置、平板计算机、智能装置等)来进行存取或以其它方式与其通信。在所说明的实施例中，计算装置102可为包括处理器及存储器装置的任何通用计算装置，例如，如图4所示。计算装置102可包含通常存在于PC或手提式计算机中的其它组件，例如，数据存储装置、本机或内置音频麦克风装置及本机音频扬声器装置。
会议系统100进一步包含会议应用程序104，其经配置以在计算装置102上操作并提供例如音频压缩软件、自动混音、DSP插件、资源监测、许可存取以及各种音频及/或控制接口。会议应用程序104可利用计算装置102中已经存在的组件或资源来提供基于软件的产品。会议应用程序104可存储在计算装置102的存储器中及/或可存储在远程服务器上(例如，本地或作为云计算网络的一部分)，且由计算装置102通过网络连接进行存取。在一个示范性实施例中，会议应用程序104可经配置以基于云的分布式软件，会议应用程序104的一或多个部分驻留在计算装置102中，而一或多个其它部分驻留在云计算网络中。在一些实施例中，会议应用程序104驻留在外部网络中，例如云计算网络。在一些实施例中，对会议应用程序104的存取可通过网络门户体系结构，或以其它方式作为软件即服务(SaaS)提供。
会议系统106进一步包含一或多个会议装置106，其通过电缆或其它连接方式(例如，无线)耦合到计算装置102。会议装置106可为包括麦克风及/或扬声器的任何类型的音频硬件，其用于促进电话会议、网络广播、电视广播等，例如舒尔MXA310、MX690、MXA910等。例如，会议装置106可包含一或多个麦克风，用于捕获由位于会议环境中(例如，围坐在会议桌周围)的会议参与者产生的近端音频信号。会议装置106还可包含一或多个扬声器，用于广播从远程会议参与者接收的但通过第三方会议软件或其它远端音频源连接到会议的远端音频信号。在一些实施例中，会议系统100还可包含与会议装置106分离的一或多个音频输出装置107。音频输出装置107可为任何类型的扩音器或扬声器系统，且可位于会议环境中，用于音频地输出与会议呼叫、网络广播、电视广播等相关的音频信号。在实施例中，会议装置106及音频输出装置107可放置在会议环境或会议室的任何适当位置(例如，在桌子、讲台、桌面、天花板、墙壁等上)。在一些实施例中，会议装置106及音频输出装置107是通过网络电缆(例如，以太网)耦合到计算装置102且经配置以处理数字音频信号的网络音频装置。在其它实施例中，这些装置可为模拟音频装置或另一种类型的数字音频装置。
如图1所示，会议应用程序104包含各种基于软件的接口，其用于与一或多个外部组件及/或一或多个内部组件介接或通信，所述外部组件例如，计算装置102或更大的会议系统100的外部组件，所述内部组件例如，会议应用程序104自身中的组件。例如，会议应用程序104可包含多个音频接口，其包含耦合到计算装置102的外部硬件装置的音频接口，例如，会议装置106、音频输出装置107及/或包含在会议系统100中的其它麦克风及/或扬声器；由计算装置102执行的软件的音频接口，例如，内部会议软件及/或第三方会议软件108(例如，Microsoft Skype、Bluejeans、Cisco WebEx、GoToMeeting、Zoom、Join.me等)；及用于包含在计算装置102中的音频硬件的装置驱动器的音频接口，例如，用于内置麦克风及/或扬声器的本机音频输入/输出(I/O)驱动器110。会议应用程序104还可包含多个控制接口，其包含一或多个用户接口(例如，基于网络浏览器的应用程序113或其它瘦组件用户接口(CUI))的控制接口；内部控制器应用程序(例如，控制器114)的控制接口；一或多个第三方控制器(例如，第三方控制器115)的控制接口；及一或多个外部控制器应用程序(例如，系统配置应用程序116、系统监测应用程序117等)的控制接口。这些接口可使用不同的协议来实施，例如，应用程序编程接口(API)、Windows音频会话API(WASAPI)、音频流输入/输出(ASIO)、Windows驱动器模型(WDM)、控制网络体系结构(ACN)、AES67、传输控制协议(TCP)、Telnet、ASCII，装置管理协议TCP(DMP-TCP)、Websocket等。
如图1所示，会议应用程序104包括控制器组件或模块114、数字信号处理(DSP)组件或模块118、许可组件或模块120、网络音频库126(例如，IP语音(VoIP)库等)及虚拟音频装置驱动器130。控制器组件114可经配置以管理会议应用程序104的其它内部组件或模块，并用于与外部控制器、装置及数据库介接，从而提供会议应用程序104的全部或部分接口特征。例如，控制器114可服务于事件日志数据库122及驻留在计算装置102中或通过计算装置102存取的资源监测数据库128或与之介接。控制器114还可服务于组件图形用户接口(GUI或CUI)或与之介接，所述组件图形用户接口例如基于网络浏览器的应用程序113及任何现存或专有的会议软件。此外，控制器114可支持一或多个第三方控制器115及用于控制会议环境中的麦克风或会议装置的室内控制面板(例如，音量控制、静音等)。控制器114还可经配置以启动/停止DSP处理、配置DSP参数、配置音频参数(例如，打开哪些装置、使用什么音频参数等)、监测DSP状态更新，及配置DSP信道数以符合相关许可。进一步来说，控制器114可管理声卡设置及内部/外部音频路由、系统范围的配置(例如，安全性、启动、发现选项、软件更新等)、持久性存储及预设/模板使用。控制器114还可与会议环境中的外部硬件(逻辑)通信(例如，房间中的多个麦克风及/或扬声器)，且可控制网络上的其它装置。控制器114可进一步支持会议系统100的监测与日志组件(例如系统监视应用程序117)及会议系统100的自动配置组件(例如系统配置应用程序116)。
在实施例中，控制器114可经配置以通过使用特定于每个功能的应用编程接口(API)或其它类型的接口来执行各种控制及通信功能。例如，如图1所示，第一API在控制器114与DSP组件118之间收发控制数据，第二API在控制器114与网络音频库126的控制组件之间收发控制数据，第三API在控制器114与许可组件120之间收发控制数据。另外，第四API从资源监测数据库128接收控制数据，且第五API将控制数据发送到事件日志数据库122。
图2说明根据实施例可例如作为控制器组件114包含在会议系统100中的示范性控制器200。控制器200的各种组件可在硬件(例如，离散逻辑电路、专用集成电路(ASIC)、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等)或软件(例如，包括可由处理器执行的软件指令的程序模块)中实施。在优选实施例中，控制器200可为包含在会议应用程序104中的软件组件或程序模块。
控制器200包含音频管理器202，其与DSP组件118介接以进行配置及状态更新(例如，通过图1中所示的第一API)，包含设置DSP 118及管理DSP 118及其它音频设置。音频管理器202还通过另一API与控制器200的许可管理器204介接，以确保遵守许可参数。许可管理器204又与许可组件120介接以获得适当的许可信息(例如，通过图1中所示的第三API)。
控制器200进一步包含网络管理器206，其支持一或多个网络控制接口，例如ACN，用于通过专有控制器(例如系统配置应用程序116、系统监测应用程序117)进行装置发现及控制。如所展示，控制器200还包含TPCI组件或模块207，其支持例如使用ASCII字符串协议向第三方控制器115发送及接收数据的一或多个第三方控制接口(TPCI)，例如，Telnet或其它TCP套接字服务器端口。此外，控制器200包含网络音频库管理器208，其利用一或多个网络音频传输协议接口(例如，图1中的第二API)，例如AES67来更新及监测网络音频库126。
此外，控制器200包含逻辑组件或模块209，其支持用于与会议装置106发送并接收控制数据的控制接口。在实施例中，逻辑组件209可经配置以从外部装置(例如，会议装置106)或耦合到网络音频库126的另一音频装置接收逻辑静音请求。所述逻辑静音请求向控制器200指示希望在(例如，如图3的自动混音器304执行的)自动混音期间从DSP组件118执行的选通决策中移除的外部装置。作为响应，自动混音器可使对应于外部装置的信道静音，且控制器200可向外部装置发回静音状态。在一些实施例中，可例如使用图1所示的第二API，通过网络音频库126在控制器200处接收逻辑静音请求。在其它实施例中，会议装置106可直接与控制器200接口，如图2所示。
在实施例中，控制器200可与事件日志数据库122介接以管理设置、预设、模板及日志的持久性存储。为此，控制器200可包含事件日志管理器210，其支持管理并维护面向用户的事件的功能，此功能允许终端用户通过托盘应用程序136识别并修复问题。在一些情况下，事件日志管理器210可经配置以同时记录所有系统事件、警告及错误，并用于管理事件日志数据库122上的事件日志存储。控制器200还可包含参数存储管理器212及预设管理器214，其可为负责预设管理的计算装置102的现有组件。这些组件210、212及214中的每一个可通过相应的API(例如，包含图1中所示的第五API)与事件日志数据库122介接，如图2所示。
控制器200还可包含资源监测管理器216，其经配置以监测会议应用程序性能及计算装置102的总体健康状况，并根据需要配置性能设置。如所展示，资源监测管理器216通过API(例如，图1中所示的第四API)与资源监测数据库128接口。在一些实施例中，资源监测管理器216可经配置为监测延迟、分组丢失及其它质量控制参数，在检测到问题时发出警报，并重新配置设置以更正问题。
在一些实施例中，控制器200还可包含用户接口安全组件(未展示)，其负责鉴认组件用户接口(CUI)，例如，图1所示的基于网络的应用程序113。在一些情况下，控制器200还可包含虚拟音频装置驱动器(VADD)管理器(未展示)，其通过DSP 118处理与虚拟音频装置驱动器130的所有通信，并设置配置且监测其行为。
回到图1，DSP组件或模块118可为会议应用程序104的软件组件，其经配置以处理所有音频信号处理。可使用DSP组件118实施任意数量的DSP功能，包含但不限于舒尔P300Intellimix音频会议处理器手册中描述的的任何功能，所述手册通过引用全部并入本文中。此外，DSP组件118处理来自控制器114的DSP参数消息，向控制器114发送状态信息(例如，计量、错误等)，且打开并保持与所有音频装置的连接。
在实施例中，DSP组件118可从网络音频库126接收加密的音频信号。例如，会议装置106可经配置以在通过网络发射信号之前对其一或多个麦克风捕获的音频信号进行加密(例如，使用AES256加密算法等)。如图1所示，DSP组件118可包含加密组件或模块129，其经配置以在提供用于DSP处理的信号之前对接收的音频信号(例如，网络音频信号)运行解密算法(参考，例如，图3中的解密模块321)。同样，加密组件129可经配置以在将信号发射到网络音频库126之前对处理过的音频信号运行对应的加密算法(例如，参考图3中的加密模块320)。
如图1所示，DSP组件118还包含时钟同步组件或模块131，其经配置以在会议系统100上同步音频信号。例如，在实施例中，虚拟音频装置驱动器130、网络音频库126及本机音频I/O驱动器110中的每一个可在单独的时钟上操作。在本机音频I/O驱动器110同时支持本机麦克风与本机扬声器的情况下，这些本机装置中的每一个也以在单独的时钟上操作。时钟同步组件131可经配置以将网络上的时钟同步到单个时钟，例如，网络音频库126的时钟或其它选择的音频装置。所选择的时钟可出于同步目的向时钟同步组件131发送时钟参考信号，如图1所示。
在实施例中，网络音频库126可为软件组件或模块，其包含在会议应用程序104中，用于实现外部音频硬件与会议应用程序104之间的通信。例如，如图1所示，可在网络音频库126与一或多个会议装置106和/或音频输出装置107之间发射及/或接收音频信号，所述一或多个会议装置106和/或音频输出装置107在计算装置102外部且通过以太网电缆或其它网络连接耦合到计算装置102。可在网络音频库126与DSP组件118之间创建音频流(例如，ASIO、WASAPI、CoreAudio、其它API等)，以处理来自会议装置106的传入音频信号并将输出音频信号提供回会议装置106及/或音频输出装置107。在实施例中，网络音频库126可将从外部会议装置106接收的音频信号转换为DSP 118可用的音频格式，反之亦然。虽然所说明的实施例展示网络音频库126包含在会议应用程序104中，但在其它实施例中，网络音频库126可作为独立于会议应用程序104的独立组件包含在计算装置102中。
图3说明根据实施例的包含在会议应用程序104中的DSP组件118的操作的示范性过程300。DSP组件118执行会议应用程序104的所有信号处理，且可实施为与会议应用程序104链接的库。在一些实施例中，DSP组件118可作为独立进程运行。
如所展示，过程300包含自动混音、解密/加密、增益/静音、回声消除/降噪(“AEC/NR”)、自动增益控制(“AGC”)、压缩(“Comp”)、参数均衡(“4PEQ C/S”)、矩阵混音，及涉及从硬件及/或软件组件接收的音频信号的其它音频处理功能。在实施例中，根据用户购买的许可条款，信道(或波瓣)的确切数目可为可扩展的。在所说明的实施例中，DSP 118具有至少一个信道，其可扩展到16个信道，用于从例如一或多个会议装置106或位于会议环境100中的单独麦克风接收个别麦克风输入302。如图3所示，在耦合到DSP 118的自动混音器304(或自动混音模块)之前，每个信道可经历单独的处理。
自动混音器304可经配置以将所有麦克风输入302组合成通过自动混音信道发射的自动混音输出信号。在一些实施例中，如图3所示，自动混音器304可经配置以作为选通自动混音器操作。在这种情况下，自动混音器304具有用于向DSP 118的输入选择组件或模块305提供选通直接输出(DO)的第二输出信道。单独处理的麦克风输入302也通过相应直接输出(DO)信道提供给输入选择组件305。输入选择组件305可经配置以基于从自动混音器304接收的选通直接输出信号选择性地打开或关闭一或多个DO信道。例如，所选择的信道可用于DSP 118的声学回声消除器307(或AEC模块)的参考输入(未展示)。在实施例中，声学回声消除器307可基于所选择的参考信道或通过信道接收到的参考信号来减少或消除输入信号中的回声。关于AEC模块307如何操作以减少或消除回声及/或噪声的更多详细信息，可在例如舒尔的P300 Intellimix音频会议处理器手册中找到，所述手册通过引用全部并入本文中。
如图3所示，在将自动混音输出连同从选择组件305选择的直接输出一起提供给DSP 118的矩阵混音器306(或矩阵混音模块)之前，进一步处理自动混音输出。矩阵混音器306可经配置以将自动混音输出及所选择的直接输出与从会议系统100中的各种其它音频装置接收的输入相结合，且为每个单独的音频装置(或音频源)产生适当的混合音频输出信号。在一些情况下，矩阵混音器306可经配置为给定的音频装置产生混合音频信号，其排除其自身的输入信号，且包含从网络中的所有其它音频装置接收的输入信号的混音。例如，从麦克风1及线路输入1接收的输入信号将不包含在为线路输出1等产生的混合音频输出信号中。还考虑到输入音频信号的其它矩阵混音或组合。在一些情况下，矩阵混音器306可为每个音频装置或输出信道产生唯一的混合输出信号。在其它情况下，矩阵混音器306可向两个或更多个音频装置或输出信道提供相同的混合输出信号。在一些实施例中，矩阵混音器306可基于直接麦克风输入302产生混合输出信号，而无需连接到自动混音器304。
虽然图3所示的过程300仅包含一组具体的操作，但任意数量的DSP功能可经实施，例如，包含但不限于所附的舒尔P300 Intellimix音频会议处理器手册中描述的任何功能。
如所展示，DSP组件118可与至少三种不同类型的音频装置介接，且可为每个装置产生单独的输出。第一类型包含联网音频装置，其通过网络音频库126连接到会议应用程序104，并通过以太网网络等通信耦合到计算装置102。联网音频装置可包含近端音频硬件装置，例如，会议装置106、音频输出装置107及/或单独的媒体播放器(例如，CD播放器、DVD播放器、MP3播放器等)。在一些实施例中，联网音频装置可包含远端音频硬件装置(未展示)，其经配置以使用因特网连接(例如，位于会议环境远端的会议摄像机(例如，Cisco Webex板等))将远端音频信号发送到网络音频库126。
如图3所示，除了麦克风输入302之外，DSP 118还具有用于从联网音频装置接收网络线路输入308的多达八个信道，以及用于将网络线路输出310发射到对应的联网音频装置的多达八个信道。例如，在一些实施例中，每个联网近端音频装置可耦合或发射网络麦克风输入302中的最多四个，及网络线路输入308中的最多四个，且可耦合或接收网络线路输出310中的最多四个。在这种情况下，矩阵混音器306可通过排除或最小化从同一音频装置接收的麦克风输入信号及线路输入信号，并包含所有其它麦克风输入信号及线路输入信号，以及从其它类型的音频装置接收的输入信号(例如，本机输入312及VADD输入316)，为属于相同音频装置的每个网络线路输出310产生第一混合输出信号。
与DSP 118介接的第二类型的音频装置包含计算装置102的本机内置或本地音频装置(例如，PC耳机输出插孔(未展示)、一或多个本机扬声器、USB麦克风(未展示)、一或多个本机麦克风、HDMI音频等)。这些本机装置位于会议环境的近端。如图3所示，DSP 118包含用于接收由本机音频装置(例如，本机麦克风)捕获的音频信号的本机输入312及用于向本机音频装置(例如本机扬声器)提供混合音频输出信号的本机输出314。在实施例中，混合音频信号可使用扩音器112广播给近端会议参与者，扩音器112可为耦合到计算装置102的室内扬声器，如图1所示。由矩阵混音器306产生并提供给本机输出314的混合音频输出信号的内容可包含通过网络麦克风输入302、网络线路输入308及VADD输入316接收的音频信号，但不包含通过本机输入312接收的音频信号。
返回参考图1，本机音频装置通过本机音频I/O驱动器110或用于操作并控制内置音频装置的其它计算机程序与计算装置102介接。如图1所示，本机音频I/O驱动器110通过第八API与DSP组件118介接。在实施例中，会议应用程序104可使用任何本机OS音频接口，例如，用于Windows的WDM或WASAPI，或用于Mac的CoreAudio，以在DSP 118与本机音频I/O驱动器110之间发送及/或接收音频数据。
与DSP 118介接的第三类型的音频装置是虚拟音频装置驱动器(VADD)130。VADD130连接到第三方会议软件108(也称为“会议软件模块”)，例如Skype、Bluejeans、Zoom等，以便接收与给定会议呼叫或会议相关的远端音频信号。在一些实施例中，会议软件模块108可包含企业、专有及/或内部会议软件，以及或代替第三方会议软件或软编解码器。如图3所示，DSP 118包含VADD输入316，其用于通过虚拟音频装置驱动器130从第三方会议软件108接收远端音频信号，及VADD输出318，其用于通过第三方会议软件108及虚拟音频装置驱动器130向远端参与者发射混合音频输出信号。作为一个实例，远端音频信号可为麦克风信号，其由会议装置、移动电话、照相机、手提式计算机、台式计算机、平板计算机或其它音频硬件装置捕获，这些装置位于与远端参与者相邻的位置，且经配置以通信方式连接到与第三方会议软件108相关联的第三方会议服务器132。混合音频输出信号可通过相同的音频硬件装置或单独的扬声器或其它音频装置广播到远端参与者。由矩阵混音器306产生并提供给VADD输出318的混合音频输出信号可包含在麦克风输入302、线路输入308及本机输入312处接收的音频信号，但不包含在VADD输入316处接收的音频信号。会议应用程序104可使用API(例如，图1中所示的第七API)在DSP 118与VADD 130之间收发音频数据。
在所说明的实施例中，会议系统100包括至少三种不同类型的音频装置(或音频源)：网络音频装置、VADD及本机音频装置。在其它实施例中，DSP组件118可使用少于所有三种音频装置类型来操作。例如，DSP 118可仅与网络音频库126介接，或仅与本机音频I/O驱动器110及虚拟音频装置驱动器130介接。另外，DSP组件118可经配置以无缝地处理来自网络音频库126与本地音频装置的服务中断。
根据实施例，在控制器200与DSP组件118之间传送的DSP参数消息包含从控制器200到DSP组件118的参数(例如EQ频率、增益、静音等)，及从DSP组件118到控制器200的报告(例如实时计量、警告等)。其它通信包含指示DSP组件118打开特定的Windows音频装置，及管理VOIP呼叫。DSP组件118还可向控制器200提供音频诊断信息。
返回参考图1，虚拟音频装置驱动器130是软件组件或模块，其包含在会议应用程序104中，用于实现会议应用程序104与在计算装置102上运行的其它音频应用程序之间的通信。例如，在图1中，虚拟音频装置驱动器130经配置以从一或多个第三方会议软件108(例如，Skype、Bluejeans、Zoom或与一或多个第三方会议服务器132通信的其它软件编解码器)接收音频流，并将接收的音频转换为与DSP 118兼容或供其使用的音频信号。虚拟音频装置驱动器130可经配置以当音频从DSP 118发射到第三方会议软件108时执行反向转换。在一些实施例中，虚拟音频装置驱动器130还经配置以通过在相同硬件上运行的代理应用程序或直接流式传输到云，向云语音服务(例如，亚马逊的Alexa或OK GOOGLE)发送音频或从云语音服务接收音频。
如图1所示，第六API在虚拟音频装置驱动器130与第三方会议软件108之间收发音频数据，第七API在虚拟音频装置驱动器130与DSP组件118之间收发音频数据。虚拟音频装置驱动器130可通过本机OS音频接口(例如用于Windows的WDM或WASAPI或用于Mac的CoreAudio)与第三方会议软件108(例如Skype、Bluejeans等)介接。
虚拟音频装置驱动器130可例如通过提供使操作系统及/或其它计算机程序(例如，会议应用程序104及/或计算装置102)能够存取底层音频装置(底层的“装置”不是硬件装置的情况除外)的音频相关功能的软件接口，进行与任何其它音频装置驱动器类似的操作。相反地，底层音频装置为虚拟装置，其包括软件(即第三方会议软件108或其它软件编解码器)，且虚拟音频装置驱动器130用作软件接口，以使DSP 118能够控制、存取及操作第三方软件108。在实施例中，虚拟音频装置驱动器130可经配置以使会议应用程序104或虚拟音频装置驱动器130能够向计算装置102呈现其自身作为标准Windows音频装置(例如，作为回声消除扬声器)，使其作为单个输入/输出装置可容易地从第三方会议软件108的音频设置菜单中选择。例如，虚拟音频装置驱动器130可为内核模式音频装置驱动器，其由会议应用程序104用作与计算装置102的音频接口。同时，会议应用程序104可经配置以从直接连接到应用程序104的音频装置(例如，会议装置106及音频输出装置107)发射及/或接收处理过的音频。
在一些实施例中，虚拟音频装置驱动器130可经配置以通过第三方会议软件108，例如，通过添加专用于静音控制、音量及其它控制数据的控制信道，而不是像传统的那样直接关闭远端麦克风自身，实现静音控制。例如，虚拟音频装置驱动器130的静音逻辑组件或模块134可经配置以通过专用信道从第三方会议软件108接收静音(或取消静音)状态，并将静音状态提供给DSP组件118。DSP组件118可在整个系统100上或向系统100内的所有音频源传送静音状态，以使静音状态与每个音频源处的相关指示器(包含软件(例如GUI)及/或硬件(例如，麦克风LED)指示器)同步。在其它实施例中，此静音逻辑可通过第九API(未示出)进行通信，所述第九API允许控制器114直接与第三方会议软件介接。
如图1所示，会议系统100进一步包含系统配置应用程序116及系统监测应用程序117，它们经设计以通过网络控制协议接口(例如，ACN)与会议应用程序104交互。会议系统100还可包含装置网络鉴认(即“网络锁”)，以防止通过控制协议对网络装置进行意外及/或有意改变。此特征可在会议应用程序104中实施，且可由系统配置应用程序116用于锁定或防止对会议应用程序104的更改。
在实施例中，系统配置应用程序116包括配置与设计软件，其用于控制音频网络的设计、布局及配置，包含，例如路由音频输入及输出、设置音频信道、确定要使用的音频处理的类型等，及在会议系统100上部署相关设置。例如，系统配置应用程序116可经配置以优化自动混音器304的设置、建立系统增益结构并跨音频网络同步静音状态，及优化图3所示的其它DSP块。
在一些实施例中，根据推荐的装置配置设置，系统配置应用程序116包含自动配置组件或模块，其用于配置或设置相关麦克风，及整个会议系统100。自动配置组件可经配置以检测耦合到会议系统100的每个麦克风，识别麦克风的类型或分类(例如，MXA910、MXA310等)或其它装置信息，并使用预选的DSP参数或与识别的麦克风类型相关的设置来配置检测到的麦克风。例如，每个麦克风可具有预先分配的网络标识(ID)，且可在初始设置时执行的发现处理期间自动将其网络ID传送到系统100。系统配置应用程序116可使用网络ID从存储器(例如，查找表)检索与网络ID相关联的DSP设置，并将检索到的设置提供给DSP组件118，或以其它方式使DSP组件118预填充与检测到的麦克风的网络ID相关联的DSP设置。预选的DSP设置也可基于麦克风所连接的信道。根据实施例，DSP设置可包含特定参数的选择或默认值，例如，图3所示的参数均衡、降噪、压缩机、增益及/或其它DSP组件。如图3所示，自动配置组件320可包含在每个麦克风输入线上，以在自动混音之前将适当的DSP设置应用于每个麦克风。
系统100的系统监测应用程序117包括监测及控制软件，其经设计用于监测整个企业或网络并单独控制其中包含的每个装置或应用程序。在一些实施例中，会议应用程序104软件可依赖于系统监测应用程序117来鉴认用户并授权用户的能力。系统监测应用程序117使用网络控制协议(例如，ACN)与会议应用程序104介接。在用户接口(UI)自身内的模型-视图-控制器(Model-View-Controller)的意义上，会议应用程序104所采用的总体架构模式可经概括为事件驱动的，其使用通往底层的标准获取-设置-通知(Get-Set-Notify)方法。例如，系统监测应用程序117可经配置以监测会议应用程序104、检测事件并基于这些事件通知用户。在实施例中，可通过保持控制器114响应发现请求的能力，从系统监测应用程序117监测会议应用程序104，如同会议应用程序104是网络控制装置一样。这允许系统监测应用程序117以与系统100中的任何其它硬件相同的方式监测并控制会议应用程序104。此方法还提供为会议应用程序104带来监测和控制支持的最简洁方式。
在实施例中，计算装置102可包含一或多个数据存储装置，其经配置以实现数据的持久存储，例如，预设、日志文件、面向用户的事件、音频接口的配置、虚拟音频装置驱动器130的配置、会议应用程序104的当前状态、用户凭证及终端用户需要存储及调用的任何数据。例如，数据存储装置可包含图1所示的事件日志数据库122及/或资源监测数据库128。数据存储装置可将数据保存在计算装置102的快闪存储器或其它存储器装置中。在一些实施例中，可使用例如SQLite数据库、UnQLite、Berkeley DB、BangDB等来实施数据存储装置。使用数据库来满足会议应用程序104的数据存储需求具有某些优点，包含使用分页及经筛选数据查询来容易地检索数据历史。
如图1所示，事件日志数据库122可经配置以从控制器114接收事件信息，并基于预定义的业务规则或其它设置产生面向用户的事件。例如，事件日志122可订阅系统事件并提供面向用户的可操作事件，以帮助用户识别问题并清楚地了解需要做什么来解决问题。事件日志数据库122可保持事件的历史记录，可根据任何控制器软件的请求来检索所述事件的历史记录。如果终端用户经配置以长期保存历史记录，那么最好对历史进行分页。在一些情况下，当用户接口(UI)控制器(例如，基于网络的应用程序113或系统监测应用程序117)请求向终端用户展示事件时，如果会议应用程序104忙于CPU或其它时间关键任务，那么控制器114可拒绝此请求。
在实施例中，事件日志可为会议应用程序104的基本部分，且为排除软件故障的重要方法。会议应用程序104体系结构的每个组件可经配置以记录在此子系统中发生的每个事件。日志可容易地集成，对每个组件的行为影响很小，且可始终遵循一种通用格式。终端用户可使用基于网络浏览器的应用程序113(或其它瘦组件用户接口(CUI))或系统监测应用程序117来配置用户希望保留日志文件的时间长度。通常，时间段从1个月到1年不等，且将在会议应用程序项目的规范阶段确定。
在一些情况下，在会议应用程序104中收集并存储在事件日志数据库122中的事件日志可能不是面向用户的日志。开发人员可分析日志文件并识别终端用户遇到的问题。在一些情况下，分析日志文件的工具可能提供许多不同的方法来搜索及可视化日志数据。此工具允许用户为具体问题(例如JIRA编号)创建数据集，并通过创建具体查询进行分析。例如，可使用用于记录会议应用程序104中的事件的简单日志工具。由于日志在任何PC上都会占用大量空间，因此开发团队可使用用户驱动的功能来根据日期清理旧日志。例如，此工具可用于Channel+Shure iOS应用程序，且可为日志提供非常全面的支持。
资源监测数据库128存储从计算装置102的资源监测组件或模块124接收的信息。在实施例中，资源监测器124可为计算装置102的现存组件，其监测计算装置102的资源并向用户更新计算装置102的健康状况。在实施例中，会议应用程序104的DSP组件118可依赖于计算装置102的某些资源，例如CPU、存储器及带宽，以及类似于网络音频库126及虚拟音频装置驱动器130的其它应用程序与服务的可用性。资源监测组件124可包含用于接收或分布计算装置资源度量的监测守护程序。例如，守护程序可经配置以实时监测系统，并将结果提交给远程或本地监测及警报应用程序，允许远程检查，并通过执行脚本解决任何问题。由资源监测组件124收集的数据可存储在数据库128中，并根据需要提供给控制器114。在一些实施例中，基于预设阈值，资源监测器124可确定哪些资源可能由于过度使用或使用不足而需要停止或缩小，及哪些资源可能需要调整或重新配置以更好地处理当前使用。这些确定可用于向用户提供有关潜在资源相关问题的警报或警告。
事件日志数据库122及资源监测数据库128都与托盘应用程序136通信。托盘应用程序136为可出现在计算装置102的系统托盘(Windows OS)或菜单栏(Mac OS)中的面向用户的软件应用程序。托盘应用程序136可在使用会议应用程序104时向用户呈现事件信息及/或资源监测数据。例如，托盘应用程序136可警告用户由资源监测器124检测到的资源过度使用或在事件日志122处接收到的新事件。当问题出现时，用户可使用此信息来调试或以其它方式更正问题。
在实施例中，托盘应用程序136还可使用户启动基于网络浏览器的应用程序113。基于网络浏览器的应用程序113可为瘦组件用户接口(CUI)或其它HTML5应用程序，其经配置以允许用户配置或调试会议应用程序104。在一些实施例中，基于网络的应用程序113可限制用户对应用程序104内的几个可配置项的存取。如图1所示，基于网络的应用程序113可使用在Websocket有效载荷内传递的基于Websocket的协议(例如，DMP-TCP)与控制器114交互。
在所说明的实施例中，基于网络的应用程序113、事件日志数据库122、资源监测数据库128、托盘应用程序136及资源监测组件124存储在计算装置102中。在其它实施例中，这些组件中的一或多个可存储在远程服务器或其它计算装置上并由计算装置102进行存取。
根据实施例，会议应用程序104可作为许可软件产品分布。许可特征、许可模式及销售策略的确切设置可能因许可方与被许可方而异。例如，许可可涉及购买预定数量的信道(例如，4、16等)以在会议应用程序104的操作期间使用。根据实施例，由DSP 118提供的信道(或波瓣)的数量为可扩展的，其取决于由许可购买的信道的数量。然而，无论信道的数量如何，会议应用程序104中许可组件的总体实施将保持相同。
如图1所示，会议应用程序104包含与一或多个许可服务器138通信的许可组件120。许可组件120可经配置以根据终端用户购买的许可来验证会议应用程序行为，包含确保仅使用许可数量的信道来交换或传送音频及/或控制数据，或确保只有某些功能或性能级别可用。在一些情况下，许可可足够灵活以允许各种许可组合，且许可组件120可经配置以聚合或分离许可的信道数量，以便适应给定的会议环境。例如，一个会议项目有两个房间，每个房间需要四个信道，其可由一个含有八个信道的许可覆盖。许可服务器138可包含第三方许可管理工具(例如，Flexera FLexNet Operations(FNO))，其提供授权管理及管理时序与遵从性问题，使客户能够安装许可软件，且以其它方式处理会议应用程序104的所有许可需求。
在实施例中，如图2所示，控制器200的许可接口204可在向DSP 118发送命令之前被调用，以确定许可是否允许期望的DSP动作。根据实施例，DSP 118可经配置为每个信道参考，以容纳与每个许可相关联的可变数量的信道。由用户购买的许可所驱动的限制也可限制用户在用户接口(例如，基于网络的应用程序113或系统监测应用程序117)中的操作。许可库(未展示)可通过许可服务器138及/或许可组件120链接到会议应用程序104，且可执行附加代码以与许可库交互以验证许可功能。给定许可的验证可在计时器上进行(例如，每24小时一次)，以确保许可仍然有效。
根据优选实施例，会议应用程序104在没有用户登录的情况下自动启动，并作为服务在Windows OS下运行，控制器200及DSP 118组件为单个可执行程序的一部分。会议应用程序104的部署包含在Windows下安装控制器200及DSP组件118作为系统服务。所述安装可将服务配置为自动启动。会议应用程序104的安装程序可具有在任何期望的平台上打包并安装的能力；提供为第三方组件(例如，网络音频库126及其控制器、网络服务器等)调用安装的能力，及/或收集与安装所需的可再分布/依赖项或所需的Windows更新的能力；提供对系统资源的存取，例如，可用的NICS或网络音频库126；并具有灵活的用户接口(UI)，在安装过程中引导终端用户并提供全面的反馈。
InstallAnywhere可能是一个实例安装程序，其为需要为物理、虚拟及云环境提供专业且一致的多平台安装体验的应用程序生产商提供的安装开发解决方案。InstallAnywhere可为本地平台(Windows、Linux、Apple、Solaris、AIX、HP-UX及IBM)创建可靠的安装，并允许用户将现有的及新的软件产品带到虚拟及云基础设施中，并创建Docker容器，所有这些都是从一个InstallAnywhere项目中完成的。
另一示范性的安装程序为InstallBuilder，其可为当前支持的所有版本的Windows、Mac OS X、Linux及所有主要的Unix操作系统创建安装程序。其还支持大量旧的及遗留的平台，以便根据需要最大限度地提高安装过程的向后兼容性。
在一些实施例中，会议应用程序104可跨多个房间实施，通过使用集中监测系统(例如，系统监测应用程序117)用于从每个房间收集监测数据，并提供资源性能测量的整体视图。例如，单个会议环境可由通过网络连接的音频及/或视频馈送彼此互连的多个房间组成。在这种情况下，每个房间可对会议应用程序104进行存取，或由会议应用程序104控制，且会议应用程序104可将自己呈现为由会议系统100的系统监测应用程序117监测的任何其它联网系统装置。在实施例中，用于会议应用程序104的多房间配置可为高度可扩展的以容纳任意数量的房间。
会议系统100的各种组件及/或其中包含的子系统可使用由一或多个计算机执行的软件(例如具有处理器及存储器的计算装置(例如，如图4所示))及/或硬件(例如，离散逻辑电路，专用集成电路(ASIC)、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等)来实施。例如，一些或所有组件可使用离散电路装置及/或使用处理器(例如，音频处理器及/或数字信号处理器)执行存储在存储器中的程序代码，所述程序代码经配置以执行本文所述的一或多个处理程序或操作。在实施例中，所有或部分处理程序可由计算装置102内部或外部的一或多个处理器及/或其它处理装置(例如，模数转换器、加密芯片等)执行。此外，一或多个其它类型的组件(例如，存储器、输入及/或输出装置、发射器、接收器、缓冲器、驱动器、分立组件、逻辑电路等)也可与处理器及/或其它处理组件结合使用，以执行本文所述的任何、部分或全部操作。例如，存储在系统100的存储器中的程序代码可由音频处理器执行，以便执行图3所示的一或多个操作。
根据实施例，计算装置102可为智能手机、平板计算机、手提式计算机、台式计算机、小型(SFF)计算机、智能装置或任何其它计算装置，其可在给定会议环境中通信地耦合到一或多个麦克风及一或多个扬声器。在一些实例中，计算装置102可为静止的，例如台式计算机，且可通信地耦合到与计算机分离的麦克风及/或扬声器(例如，独立的麦克风及/或扬声器、会议装置的麦克风及/或扬声器等)。在其它实例中，计算装置102可为移动的或非静止的，例如智能手机、平板计算机或手提式计算机。在这两种情况下，计算装置102还可包含本机麦克风装置及/或本机扬声器装置。
图4说明会议系统100的示范性计算装置400的简化框图。在实施例中，类似于计算装置400的一或多个计算装置可包含在会议系统100中及/或可构成计算装置102。计算装置400可经配置以执行各种功能或动作，例如本发明中描述的功能或动作(并在附图中展示)。
计算装置400可包含各种组件，其包含例如处理器402、存储器404、用户接口406、通信接口408、本机扬声器装置410及本机麦克风装置412，所有组件都通过系统总线、网络或其它连接机构414进行通信耦合。应理解，本文公开的实例可指具有可在物理上彼此靠近或可在物理上不彼此靠近的组件的计算装置及/或系统。某些实施例可采取基于云的系统或装置的形式，且术语“计算装置”应理解为包含分布式系统及装置(例如基于云的那些系统及装置)，以及软件、固件及其它经配置以执行本文所述功能中的一或多个的组件。此外，如上所提及，例如，计算装置400的一或多个特征可物理上远离(例如，独立麦克风)，且可通过通信接口408通信地耦合到计算装置。
处理器402可包含通用处理器(例如，微处理器)及/或专用处理器(例如，数字信号处理器(DSP))。处理器404可为任何合适的处理装置或处理装置集，例如，但不限于微处理器、基于微控制器的平台、集成电路、一或多个现场可编程门阵列(FPGA)及/或一或多个专用集成电路(ASIC)。
存储器404可为易失性存储器(例如，RAM，包含非易失性RAM、磁RAM、铁电RAM等)、非易失性存储器(例如，磁盘存储器、快闪存储器、EPROM、EEPROM、基于忆阻器的非易失性固态存储器等)、不可变存储器(例如，EPROM)、只读存储器及/或高容量存储装置(例如，硬盘驱动器、固态驱动器等)。在一些实例中，存储器404包含多种存储器，特别是易失性存储器及非易失性存储器。
存储器404可为计算机可读媒体，其中可嵌入一或多个指令集，例如用于操作本发明的方法及/或会议应用程序104的软件。指令可体现本文所述的一或多种方法或逻辑。作为一个实例，在执行指令期间，指令可完全或至少部分地驻留在存储器404、计算机可读媒体及/或处理器402中的任何一或多个内。
术语“非暂时性计算机可读媒体”及“计算机可读媒体”包含单个媒体或多个媒体，例如集中式或分布式数据库，及/或存储一或多组指令的相关高速缓存器及服务器。进一步来说，术语“非暂时性计算机可读媒体”及“计算机可读媒体”包含任何有形媒体，其能够存储、编码或携带一组指令以供处理器执行，或使系统执行本文公开的方法或操作中的任何一或多个。如本文所使用的，术语“计算机可读媒体”经明确定义为包含任何类型的计算机可读存储装置及/或存储磁盘，且排除传播信号。
用户接口406可促进与装置用户的交互。因此，用户接口406可包含输入组件，例如键盘、小键盘、鼠标、触摸屏、麦克风及照相机，及输出组件，例如显示屏(例如，可与触摸屏组合)、声音扬声器及触觉反馈系统。用户接口406还可包括与输入或输出通信的装置，例如短程收发器(RFID、蓝牙等)、电话接口、蜂窝通信端口、路由器或其它类型的网络通信装置。用户接口406可在计算装置400的内部，或可在外部且经无线连接或通过连接电缆，例如通过通用串行总线端口经连接。
通信接口408可经配置以允许装置400根据一或多个协议与一或多个装置(或系统)通信。在一个实例中，通信接口408可为有线接口，例如以太网接口或高清串行数字接口(HD-SDI)。作为另一实例，通信接口408可为无线接口，例如蜂窝、蓝牙或WI-FI接口。
在一些实例中，通信接口408可使计算装置400能够向位于会议环境(例如，图1所示的会议装置106)中的一或多个麦克风及/或扬声器发射并接收信息。这可包含波辦或拾音模式信息、位置信息、方向信息、调整麦克风的一或多个特性的命令等。
数据总线414可包含一或多个导线、迹线或其它机构，其用于通信地耦合处理器402、存储器404、用户接口406、通信接口408、本机扬声器410、本机麦克风412及/或任何其它适用的计算装置组件。
在实施例中，存储器404存储一或多个软件程序，其用于实施或操作本文所述会议平台、会议系统100、会议应用程序104及/或与之相关联的方法或过程(包含例如图3所示的过程300)的全部或部分。根据一个方面，用于会议环境的(例如，图1所示的会议系统100)计算机实施的音频处理方法可通过使用一或多个计算装置400来实施，且可包含由图3的过程300表示的全部或部分操作。所述方法包括在多个音频源处接收输入音频信号，其中所述接收包含在虚拟音频装置驱动器(例如，图3中所示的VADD 130)处从会议软件模块(例如，图1中所示的第三方会议软件108)接收远端输入音频信号(例如，图3中所示的VADD输入316)，并且在网络音频库(如图1所示的网络音频库126)处从一或多个近端音频装置(如图1所示的会议装置106)接收近端输入音频信号(如图3所示的网络麦克风输入302)。所述方法进一步包括使用数字信号处理组件(例如，图1所示的DSP组件118)来处理输入音频信号。所述处理包含对一或多个近端输入音频信号应用声学回声消除技术(例如，如图3所示的AEC/NR307所示)，且基于输入音频信号产生音频输出信号(例如，图3所示的网络线路输出310及/或VADD输出318)
根据一些方面，DSP组件对输入音频信号的处理还包括混合两个或更多个近端输入音频信号以产生自动混音输出信号(例如，如图3中的自动混音器304所示)。根据更多方面，由DSP组件产生音频输出信号包含使用矩阵混音器(例如，图3中的矩阵混音器306)来产生音频输出信号。根据一个方面，对于给定音频源，矩阵混音器可经配置以将由自动混音器及/或一或多个近端输入音频信号产生的自动混音输出信号与一或多个远端输入音频信号混合，同时还排除从给定音频源接收的任何输入音频信号。
在一些实施例中，所述多个音频源进一步包含一或多个本机音频装置，例如，计算装置400的本机麦克风及/或扬声器，或更具体地说，装置驱动器经配置以通信方式将本机音频装置耦合到计算装置102(例如，本机音频I/O驱动器110)。在这种情况下，输入音频信号可进一步包含本机输入音频信号(例如，图3中所示的本机输入312)，且输出音频信号可进一步包含本机输出音频信号(例如，图3中所示的本机输出314)。本机音频装置可被认为是近端音频源，因为它们捕获及/或广播计算装置400周围或附近的音频。
根据一些方面，DSP组件对输入音频信号的处理进一步包含为向数字信号处理组件提供用于至少一个所述近端音频装置的预选音频处理参数到，并将预选参数应用于对应的近端输入音频信号(例如，如图3中的自动配置320所示)。根据一个方面，DSP组件对输入音频信号的处理进一步包含识别与至少一个近端音频装置相关联的装置信息；及基于所识别的装置信息从所述近端音频装置的存储器中检索一或多个预选的音频处理参数。
根据一些方面，DSP组件对输入音频信号的处理进一步包含解密一或多个输入音频信号(例如，如图3中的解密模块321所示)，及加密一或多个音频输出信号(例如，如图3中的加密模块320所示)。根据一个方面，在网络音频库接收到的近端音频信号可经加密(例如，由会议装置106自身加密)，因此，需要在处理之前解密。在这种情况下，可在发射之前对为网络音频库产生的音频输出信号进行加密。
根据一些方面，所述方法进一步包含基于与会议环境相关联的一或多个许可来确定数字信号处理组件可用于接收近端输入音频信号的信道数(例如，如图1中的许可模块120所示)。根据更多方面，所述方法进一步包括收集用于计算平台使用的资源的使用信息(例如，如图1中的资源监测数据库128所示)，基于所述信息产生一或多个警报(例如，如图1中的资源监测模块124所示)，并将所述警报提供给用户接口(例如，图1所示的基于网络的应用程序113及/或托盘应用程序126)以呈现给用户。根据更多方面，所述方法进一步包括将给定音频源的静音状态与会议环境中的所有其它音频源同步(例如，如图1中的静音逻辑134所示)。根据一些方面，DSP组件对输入音频信号的处理包含将接收到的输入音频信号与单个时钟同步(例如，如图1中的时钟同步模块131所示)。
本发明希望解释如何根据本技术来设计及使用各种实施例，而不是限制其真实、预期且公平的范围及精神。上述描述并非希望详尽无遗或仅限于所公开的确切形式。根据上述教示，修改或变化是可能的。选择并描述实施例是为了提供所述技术的原理及其实际应用的最佳说明，且使得本领域的普通技术人员能够在各种实施例中利用所述技术，并进行适合所预期的特定用途的各种修改。所有这些修改及变更均在所附权利要求书及其等效物所确定的实施例的范围内，在本专利申请案的未决期间可修订所附权利要求书，所述等效物根据其公平、合法且平等地享有的广度进行解读。

Claims (36)

1.一种基于软件的会议平台，其包括：
提供输入音频信号的多个音频源，所述音频源包含：
虚拟音频装置驱动器，其经配置以从会议软件模块接收远端输入音频信号，及
网络音频库，其经配置以从一或多个近端音频装置接收近端输入音频信号；及
数字信号处理组件，其经配置以从所述音频源接收所述输入音频信号并基于所述接收的信号产生音频输出信号，所述数字信号处理组件包括声学回声消除模块，所述声学回声消除模块经配置以将声学回声消除技术应用于一或多个所述近端输入音频信号。
2.根据权利要求1所述的平台，其中所述数字信号处理组件进一步包括自动混音模块，所述自动混音模块经配置以混合两个或更多个所述近端输入音频信号以产生自动混音输出信号。
3.根据权利要求1所述的平台，其中所述数字信号处理组件进一步包括矩阵混音模块，所述矩阵混音模块经配置以产生所述音频输出信号。
4.根据权利要求1所述的平台，其进一步包括：
系统配置组件，其经配置以向所述数字信号处理组件提供用于至少一个所述近端音频装置中的预选音频处理参数，所述数字信号处理组件经进一步配置以将所述预选参数应用于所述对应的近端输入音频信号。
5.根据权利要求4所述的平台，其中所述系统配置组件经进一步配置以识别与所述至少一个近端音频装置相关联的装置信息，并基于所述识别的装置信息从所述近端音频装置的存储器中检索一或多个预选音频处理参数。
6.根据权利要求1所述的平台，其中所述数字信号处理组件进一步包括：
解密模块，其经配置以解密一或多个所述输入音频信号，及
加密模块，其经配置以加密一或多个所述音频输出信号。
7.根据权利要求1所述的平台，其中所述一或多个近端音频装置经配置以使用网络音频控制接口与所述网络音频库介接，且所述网络音频库经配置以使用音频接口与所述数字信号处理组件介接。
8.根据权利要求1所述的平台，其中所述会议软件模块经配置以使用第一应用程序编程接口与所述虚拟音频装置驱动器介接，且所述虚拟音频装置驱动器经配置以使用第二应用程序编程接口与所述数字信号处理组件介接。
9.根据权利要求1所述的平台，其进一步包括：
控制器模块，其经配置以使用控制接口与所述系统配置组件介接，使用第三应用编程接口与所述网络音频库介接，及使用第四应用编程接口与所述数字信号处理组件介接。
10.根据权利要求1所述的平台，其进一步包括：
许可模块，其经配置以基于与所述平台相关联的一或多个许可来确定所述数字信号处理组件可用于接收所述近端输入音频信号的信道数。
11.根据权利要求1所述的平台，其中所述虚拟音频装置驱动器包含静音逻辑模块，所述静音逻辑模块经配置以在所述平台中的所有其它音频源上同步给定音频源的静音状态。
12.根据权利要求1所述的平台，其中所述数字信号处理组件进一步包含时钟同步模块，所述时钟同步模块经配置以将所述接收的输入音频信号与单个时钟同步。
13.根据权利要求1所述的平台，其进一步包括：
资源监测模块，其经配置以收集所述平台使用的计算资源的使用信息，基于此使用信息产生一或多个警报，并将所述警报提供给用户接口以呈现给用户。
14.一种用于会议环境的计算机实施的音频处理方法，其包括：
在多个音频源处接收输入音频信号，所述接收包括：
在虚拟音频装置驱动器处从会议软件模块接收远端输入音频信号，及
在网络音频库处从一或多个近端音频装置接收近端输入音频信号；及
使用数字信号处理组件处理所述输入音频信号，所述处理包括：
将声学回声消除技术应用于一或多个所述近端输入音频信号，及
基于所述输入音频信号产生音频输出信号。
15.根据权利要求14所述的方法，其中所述处理进一步包括混合两个或更多个所述近端输入音频信号以产生自动混音输出信号。
16.根据权利要求14所述的方法，其中所述产生包括使用矩阵混音器来产生所述音频输出信号。
17.根据权利要求14所述的方法，其进一步包括：
向至少一个所述近端音频装置的所述数字信号处理组件提供预选的音频处理参数，
其中所述处理进一步包括将预选参数应用于所述对应的近端输入音频信号。
18.根据权利要求17所述的方法，其进一步包括：
识别与所述至少一个近端音频装置相关联的装置信息；及
基于所述识别的装置信息，从所述近端音频装置的存储器中检索一或多个预选音频处理参数。
19.根据权利要求14所述的方法，其中所述处理进一步包括：
解密一或多个所述输入音频信号；及
加密一或多个所述音频输出信号。
20.根据权利要求14所述的方法，其进一步包括：
基于与所述会议环境相关联的一或多个许可，确定所述数字信号处理组件可用于接收所述近端输入音频信号的信道数。
21.根据权利要求14所述的方法，其进一步包括：
将所述接收的输入音频信号与单个时钟同步。
22.根据权利要求14所述的方法，其进一步包括：
收集平台使用的计算资源的使用信息；
基于此使用信息产生一或多个警报；及
将所述警报提供给用户接口以呈现给用户。
23.根据权利要求14所述的方法，其进一步包括：
在所述会议环境中的所有其它音频源上同步给定音频源的静音状态。
24.一种会议系统，其包括：
一或多个处理器；
至少一个存储器；
一或多个近端音频装置，其经配置以捕获近端音频信号；及
一或多个程序，其存储在所述至少一个存储器中并经配置以由所述一或多个处理器执行，所述一或多个程序包括：
会议软件模块，其经配置以从至少一个远程服务器接收远端音频信号；
虚拟音频装置驱动器，其经配置以从所述会议软件模块接收所述远端音频信号；
网络音频库，其经配置以从所述一或多个近端音频装置接收所述近端音频信号；及
数字信号处理组件，其经配置以从所述网络音频库接收所述近端音频信号，从所述虚拟音频装置驱动器接收所述远端音频信号，并基于所述接收到的信号产生音频输出信号，
其中所述数字信号处理组件包括声学回声消除模块，所述声学回声消除模块经配置以将声学回声消除技术应用于一或多个所述近端音频信号。
25.根据权利要求24所述的会议系统，其中所述数字信号处理组件进一步包括自动混音模块，所述自动混音模块经配置以混合两个或更多个所述近端音频信号以产生自动混音输出信号。
26.根据权利要求24所述的会议系统，其中所述数字信号处理组件进一步包括矩阵混音模块，所述矩阵混音模块经配置以产生所述音频输出信号。
27.根据权利要求24所述的会议系统，其中所述一或多个程序进一步包括系统配置组件，所述系统配置组件经配置以向所述数字信号处理组件提供用于至少一个所述近端音频装置的预选音频处理参数，所述数字信号处理组件经进一步配置以将所述预选参数应用于对应的近端音频信号。
28.根据权利要求27所述的会议系统，其中所述系统配置组件经进一步配置以识别与所述至少一个近端音频装置相关联的装置信息，及基于所述所识别的装置信息，从所述近端音频装置的至少一个存储器中检索一或多个预选音频处理参数。
29.根据权利要求24所述的会议系统，其中所述数字信号处理组件进一步包括：
解密模块，其经配置以解密一或多个所述输入音频信号，及
加密模块，其经配置以加密一或多个所述音频输出信号。
30.根据权利要求29所述的会议系统，其中至少一个所述近端音频装置中经配置以在将所述信号发射到所述网络音频库之前对所述近端音频信号进行加密。
31.根据权利要求24所述的会议系统，其中所述一或多个近端音频装置包含会议装置，其包括至少一个麦克风。
32.根据权利要求31所述的会议系统，其中所述会议装置进一步包括至少一个扬声器。
33.根据权利要求24所述的会议系统，其中所述一或多个程序进一步包括许可模块，所述许可模块经配置以基于与所述系统相关联的一或多个许可确定所述数字信号处理组件可用于接收所述近端音频信号的信道数。
34.根据权利要求24所述的会议系统，其中所述虚拟音频装置驱动器进一步包括静音逻辑模块，所述静音逻辑模块经配置以在整个系统中同步与所述一或多个近端装置与所述会议软件模块中的至少一个相关的静音状态。
35.根据权利要求24所述的会议系统，其中所述数字信号处理组件进一步包括时钟同步模块，所述时钟同步模块经配置以将所述近端音频信号与所述远端音频信号同步到单个时钟。
36.根据权利要求24所述的会议系统，其进一步包括用户接口，其中所述一或多个程序进一步包括资源监测模块，所述资源监测模块经配置以收集用于计算所述一或多个程序使用的资源的使用信息，基于所述使用信息产生一或多个警报，并将所述警报提供给所述用户接口以呈现给用户。
CN201980047824.5A 2018-06-15 2019-05-28 集成会议平台的系统及方法 Active CN112425146B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862685689P 2018-06-15 2018-06-15
US62/685,689 2018-06-15
PCT/US2019/034224 WO2019240940A1 (en) 2018-06-15 2019-05-28 Systems and methods for integrated conferencing platform

Publications (2)

Publication Number Publication Date
CN112425146A true CN112425146A (zh) 2021-02-26
CN112425146B CN112425146B (zh) 2023-04-14

Family

ID=66867826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980047824.5A Active CN112425146B (zh) 2018-06-15 2019-05-28 集成会议平台的系统及方法

Country Status (5)

Country Link
US (2) US11276417B2 (zh)
EP (1) EP3808067B1 (zh)
JP (1) JP7431757B2 (zh)
CN (1) CN112425146B (zh)
WO (1) WO2019240940A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660569A (zh) * 2021-08-17 2021-11-16 上海月猫科技有限公司 一种基于高音质网红麦克风的共享音频技术

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
CN107370775B (zh) * 2016-05-11 2020-04-28 阿里巴巴集团控股有限公司 一种启动应用的方法和系统
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
KR102580418B1 (ko) * 2017-02-07 2023-09-20 삼성에스디에스 주식회사 어쿠스틱 에코 제거 장치 및 방법
CN116700888A (zh) 2018-01-16 2023-09-05 Qsc公司 实现虚拟机的音频，视频和控制系统
CN116450291A (zh) 2018-01-16 2023-07-18 Qsc公司 基于云的音频/视频操作系统
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
CN112425146B (zh) * 2018-06-15 2023-04-14 舒尔获得控股公司 集成会议平台的系统及方法
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN117539423A (zh) * 2020-07-09 2024-02-09 西安万像电子科技有限公司 语音数据的处理方法、系统及虚拟机
US20220121416A1 (en) 2020-10-21 2022-04-21 Shure Acquisition Holdings, Inc. Virtual universal serial bus interface
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
CN112929595B (zh) * 2021-01-21 2022-11-22 北京字节跳动网络技术有限公司 一种网络会议融合系统及方法
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
US11985488B2 (en) * 2021-05-26 2024-05-14 Shure Acquisition Holdings, Inc. System and method for automatically tuning digital signal processing configurations for an audio system
TWI790718B (zh) * 2021-08-19 2023-01-21 宏碁股份有限公司 會議終端及用於會議的回音消除方法
WO2023168274A1 (en) * 2022-03-01 2023-09-07 Shure Acquisition Holdings, Inc. Multi-channel audio receivers and transceivers in multi-user audio systems, methods of using the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099485A1 (en) * 2009-08-31 2011-04-28 Alcorn Byron A ACOUSTIC ECHO CANCELLATION (AEC) WITH CONFERENCING ENVIRONMENT TEMPLATES (CETs)
US20110279635A1 (en) * 2010-05-12 2011-11-17 Alagu Periyannan Systems and methods for scalable composition of media streams for real-time multimedia communication
US20140139615A1 (en) * 2012-11-20 2014-05-22 Clearone Communications, Inc. Audio conferencing system for all-in-one displays

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200635B1 (ko) * 1996-10-28 1999-06-15 윤종용 화상회의 시스템에서의 반향제어 장치 및 제어방법
US8069206B2 (en) 2005-03-18 2011-11-29 Clearone Communications, Inc. System and method for real-time feedback with conservative network usage in a teleconferencing system
US8150052B2 (en) * 2008-10-15 2012-04-03 Hewlett-Packard Development Company, L.P. Integrating acoustic echo cancellation as a subsystem into an existing videoconference and telepresence system
JP2010258941A (ja) * 2009-04-28 2010-11-11 Sony Corp エコー除去装置、エコー除去方法および通信装置
US8437282B2 (en) 2009-06-21 2013-05-07 Clearone Communications Hong Kong Limited System and method of multi-endpoint data conferencing
US8441515B2 (en) * 2009-09-17 2013-05-14 Sony Corporation Method and apparatus for minimizing acoustic echo in video conferencing
WO2012046256A2 (en) * 2010-10-08 2012-04-12 Optical Fusion Inc. Audio acoustic echo cancellation for video conferencing
US20130097244A1 (en) 2011-09-30 2013-04-18 Clearone Communications, Inc. Unified communications bridging architecture
US20140148934A1 (en) 2012-11-20 2014-05-29 ClearOne Communication, Inc. Unified communications bridging architecture
US9723263B2 (en) * 2013-04-30 2017-08-01 Hewlett-Packard Development Company Audio processing of shared content
US20150077509A1 (en) 2013-07-29 2015-03-19 ClearOne Inc. System for a Virtual Multipoint Control Unit for Unified Communications
US20150288735A1 (en) 2014-04-04 2015-10-08 ClearOne Inc. Virtual Audio Device System for Unified Communications Applications
US9628206B2 (en) 2015-01-03 2017-04-18 ClearOne Inc. Endpoint parameter management architecture for audio mixers
US10154148B1 (en) * 2017-08-03 2018-12-11 Polycom, Inc. Audio echo cancellation with robust double-talk detection in a conferencing environment
CN116450291A (zh) * 2018-01-16 2023-07-18 Qsc公司 基于云的音频/视频操作系统
CN116700888A (zh) * 2018-01-16 2023-09-05 Qsc公司 实现虚拟机的音频，视频和控制系统
CN112425146B (zh) * 2018-06-15 2023-04-14 舒尔获得控股公司 集成会议平台的系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099485A1 (en) * 2009-08-31 2011-04-28 Alcorn Byron A ACOUSTIC ECHO CANCELLATION (AEC) WITH CONFERENCING ENVIRONMENT TEMPLATES (CETs)
US20110279635A1 (en) * 2010-05-12 2011-11-17 Alagu Periyannan Systems and methods for scalable composition of media streams for real-time multimedia communication
US20140139615A1 (en) * 2012-11-20 2014-05-22 Clearone Communications, Inc. Audio conferencing system for all-in-one displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660569A (zh) * 2021-08-17 2021-11-16 上海月猫科技有限公司 一种基于高音质网红麦克风的共享音频技术

Also Published As

Publication number Publication date
EP3808067A1 (en) 2021-04-21
US20190385629A1 (en) 2019-12-19
JP2021527366A (ja) 2021-10-11
US20220319530A1 (en) 2022-10-06
US11967333B2 (en) 2024-04-23
EP3808067B1 (en) 2024-06-12
CN112425146B (zh) 2023-04-14
US11276417B2 (en) 2022-03-15
WO2019240940A1 (en) 2019-12-19
JP7431757B2 (ja) 2024-02-15

Similar Documents

Publication Publication Date Title
CN112425146B (zh) 集成会议平台的系统及方法
US11403237B2 (en) Electronic tool and methods with audio for meetings
US10257474B2 (en) Network configurations for integrated accessory control
US9652195B2 (en) Audio output device that utilizes policies to concurrently handle multiple audio streams from different source devices
US9667915B2 (en) Method and system for video conference and PC user experience integration
US20140064519A1 (en) Distributed, self-scaling, network-based architecture for sound reinforcement, mixing, and monitoring
KR20110028596A (ko) 장치들의 물리적 도킹을 통한 정보의 자동 전송
US20120311090A1 (en) Systems and methods for aggregating audio information from multiple sources
US11188446B2 (en) System and method for providing audio processing and inventory tracking and management in a cloud environment
WO2016160944A1 (en) Establishing communication between digital media servers and audio playback devices in audio systems
US20180302486A1 (en) Proxy apparatus and method for data collection
US20110211037A1 (en) Conferencing System With A Database Of Mode Definitions
US11579834B2 (en) Digital audio workstation interface for streaming audiovisual data
US20220019400A1 (en) Systems and methods for scalable management of audio system devices
KR20140119916A (ko) 오디오 출력경로를 제어하는 단말기 및 단말기 간 오디오 출력경로 제어방법
KR20180115928A (ko) 스마트 음향 단말 기반의 음향제어 시스템 및 방법
US20220121416A1 (en) Virtual universal serial bus interface
US20200162528A1 (en) Controlling Streaming Media Players

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant