CN113708868B - 一种多拾音设备的调度系统及其调度方法 - Google Patents

一种多拾音设备的调度系统及其调度方法 Download PDF

Info

Publication number
CN113708868B
CN113708868B CN202110995576.6A CN202110995576A CN113708868B CN 113708868 B CN113708868 B CN 113708868B CN 202110995576 A CN202110995576 A CN 202110995576A CN 113708868 B CN113708868 B CN 113708868B
Authority
CN
China
Prior art keywords
voice data
data
voice
thread
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110995576.6A
Other languages
English (en)
Other versions
CN113708868A (zh
Inventor
丁伟民
李进
褚思遥
柳伟
金巍
王明惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Chizhou Power Supply Co of State Grid Anhui Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Chizhou Power Supply Co of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Chizhou Power Supply Co of State Grid Anhui Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110995576.6A priority Critical patent/CN113708868B/zh
Publication of CN113708868A publication Critical patent/CN113708868A/zh
Application granted granted Critical
Publication of CN113708868B publication Critical patent/CN113708868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种多拾音设备的调度系统及其调度方法，该系统包括：拾音设备、工控机、服务器、其他设备；该工控机包括：接口集成模块、数据处理合并模块、数据输出模块；其中，拾音设备是用于获取外部声源并与工控机进行相连；工控机是同时接入若干个拾音设备，通过内部集成的相关接口模块实现数据的输入、处理和输出功能；服务器通过多线程任务调度将工控机输出的数据进行判断、处理以及分发给其他设备进行处理。本发明能解决多拾音设备的接入、数据的降噪、合并处理和分配等问题，能实现多人会议等相关场景下拾音设备的接入，提供每一个拾音设备可以单独处理、降噪、合并等功能。

Description

一种多拾音设备的调度系统及其调度方法
技术领域
本发明属于智能语音采集领域，具体的说是一种多拾音设备的调度系统及其调度方法。
背景技术
目前应用在多人会议相关场景下对拾音设备数据的采集、统一处理、合并输出等无法做到统一的管理，原因在于市面上接入多拾音设备的设备一方面只有几个数据输入接口，不满足小规模的会议需求；另一方面设备获取的数据是不支持处理、降噪、合并等操作，仅仅将采集到的数据原封不动的输出。对于输出的数据也没有后续的处理，导致后期数据只能简单的被一到两种设备所使用的，无法兼顾到所有设备。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种多拾音设备的调度系统及其调度方法，以期能解决不同规模会议等相关场景下的多拾音设备的接入、数据的降噪、合并处理和分配等问题，从而实现多人会议等相关场景下拾音设备的接入，提供每一个拾音设备可以单独处理、降噪、合并等功能。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种多拾音设备的调度系统的特点包括：拾音设备、工控机、服务器、其他设备；
所述拾音设备用于采集会议现场的语音数据并传递给所述工控机；
所述工控机包括：接口集成模块、数据处理合并模块、数据输出模块；
所述接口集成模块包含若干个拾音设备的接口以及显示屏，所述接口用于接收所述拾音设备所传输的语音数据，并在每个接口的上方设置有所述显示屏，所述显示屏与对应接口内置的信号解析传感器进行绑定，用于显示当前接口是否连接上拾音设备；若成功连接对应的拾音设备，则显示当前拾音设备的基本信息；否则，显示未连接成功；
所述数据处理合并模块是一个微型的Andorid系统，用于对每个接口所接收到的语音数据进行混音降噪后，再进行编码和封装的分析处理，或者进行混音降噪和自定义语音处理后，再进行编码和封装的分析处理，从而得到处理后的语音数据；
所述数据输出模块在同一时间将多条处理好的语音数据利用共享参数传输给服务器；
所述服务器接收语音数据并进行合并后转发到其他设备上；
所述其他设备包括：功放设备、显示屏设备、硬盘设备，用于播放、显示和存储所述合并后的语音数据。
本发明所述的多拾音设备的调度系统的特点也在于，所述数据处理合并模块中的混音降噪的分析处理过程是按如下步骤进行：
步骤1、定义一个用于存放声音特征的集合L，所述声音特征包括：特征信息、时间信息、对比次数；
步骤2、定义一个用于提取声音特征的线程T1和一个用于降噪测试的线程T2；
步骤3、若所述集合L为空集或者对比次数为“0”时，则由线程T1对所接收到的当前语音数据进行处理，并得到声音特征后存入所述集合L，线程T2开始等待；否则，执行步骤4；
步骤4、将对比次数减“1”后，由线程T2对所接收到的当前语音数据进行处理，并得到声音特征后，再与所述集合L中的声音特征进行相似度计算，若计算出的相似度满足相似度阈值X，则在所述线程T2中保留当前语音数据；否则，在所述线程T2中删除当前语音数据；并等待下一个语音数据；
步骤5、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入二维数组；其中，st表示第t个时刻的语音信号；
步骤6、将所有时刻的语音信号{st|t＝1,2,...,n}进行放大后，与其对应的时刻拟合成一条光滑的曲线，若所拟合的曲线存在突变值，则删除当前语音数据后，返回步骤3；否则，继续执行步骤7；
步骤7、对所有时刻放大后的语音信号进行N点FFT变换，得到频区f；
步骤8、根据频区f，利用式(1)计算所有时刻放大后的语音信号对应的梅尔刻度值m并保存；
m＝2595×log10(1+f/700) (1)
步骤9、根据梅尔刻度值m，对所有时刻放大后的语音信号进行滤波，得到滤波后的声音特征并保存，若所述集合L为空集，则将滤波后的声音特征保存至集合L后执行步骤10，否则直接执行步骤10；
步骤10、输出当前语音数据，并判断对比次数是否为“0”，若是，则将所述集合L中的声音特征替换为滤波后的声音特征，并返回步骤3；否则，直接返回步骤3。
所述数据处理合并模块中的自定义语音处理过程是按如下步骤进行：
步骤1、将所接收到的当前语音数据拆分n个t时刻和对应的语音信号{st|t＝1,2,…,n}，并存入另一个二维数组中；其中，st表示第t个时刻的语音信号；
步骤2、对所有时刻的语音信号{st|t＝1,2,...,n}同步提高增益或者减小增益；
步骤3、将所有时刻的语音信号{st|t＝1,2,...,n}设置为静音；
步骤4、输出当前语音数据。
所述数据处理合并模块中的编码和封装处理过程是按如下步骤进行：
步骤1、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,...,n}并存入第三个二维数组；其中，st表示第t个时刻的语音信号；
步骤2、对所有时刻的语音信号{st|t＝1,2,...,n}进行离散余弦变换，以舍弃高频、保留低频，从而得到压缩后的语音数据；
步骤3、将所有时刻的语音信号{st|t＝1,2,…,n}变换为数字信号{ct|t＝1,2,…,n}；
定义变量δ，初始化t＝1；
步骤4、初始化δ＝1；
步骤5、将t时刻的数字信号ct与t+δ时刻的数字信号ct+δ进行相似度计算，若计算出的相似度满足阈值，则舍弃t+δ时刻的语音信号st+δ，否则，计算t+δ时刻与t时刻之间的数字信号差uδ；
步骤6、将δ+1赋值给δ后，判断δ＞n是否成立，若成立，则执行步骤7，否则，返回步骤5执行；
步骤7、将t+δ赋值给t后，判断t＞n是否成立，若成立，则将第三个二维数组中的数据采用aac格式进行封装后输出，否则，返回步骤4。
本发明一种多拾音设备的调度方法的特点是应用于由拾音设备、工控机、服务器和其他设备所构成的调度系统中，并包括如下步骤：
步骤1、所述拾音设备按照多对一的模式连接至所述工控机上，所述工控机按照一对一的模式连接至所述服务器上，所述服务器按照一对多的模式连接其他设备上，从而将所有设备按顺序相连接后进行供电；
步骤2、所述拾音设备连接至所述工控机上后，根据工控机上对应接口的显示器来确定相应的拾音设备是否连接成功，若成功，则执行步骤3，否则，在显示器上显示未连接成功，并重新检查连接情况或者确认拾音设备是否故障；
步骤3、所述工控机上对应的接口持续监听是否有语音数据从相应的拾音设备传过来，若有，则执行步骤4，反之，则继续等待；
步骤4、所述工控机上对应的接口将实时获取到的语音数据进行混音降噪的分析处理；
步骤4.1、定义一个用于存放声音特征的集合L，所述声音特征包括：特征信息、时间信息、对比次数；
步骤4.2、定义一个用于提取声音特征的线程T1和一个用于降噪测试的线程T2；
步骤4.3、若所述集合L为空集或者对比次数为“0”时，则由线程T1对所接收到的当前语音数据进行处理，并得到声音特征后存入所述集合L，线程T2开始等待；否则，执行步骤4.4；
步骤4.4、将对比次数减“1”后，由线程T2对所接收到的当前语音数据进行处理，并得到声音特征后，再与所述集合L中的声音特征进行相似度计算，若计算出的相似度满足相似度阈值X，则在所述线程T2中保留当前语音数据；否则，在所述线程T2中删除当前语音数据；并等待下一个语音数据；
步骤4.5、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入二维数组；其中，st表示第t个时刻的语音信号；
步骤4.6、将所有时刻的语音信号{st|t＝1,2,…,n}进行放大后，与其对应的时刻拟合成一条光滑的曲线，若所拟合的曲线存在突变值，则删除当前语音数据后，返回步骤4.3；否则，继续执行步骤4.7；
步骤4.7、对所有时刻放大后的语音信号进行N点FFT变换，得到频区f；
步骤4.8、根据频区f，利用式(1)计算所有时刻放大后的语音信号对应的梅尔刻度值m并保存；
m＝2595×log10(1+f/700) (1)
步骤4.9、根据梅尔刻度值m，对所有时刻放大后的语音信号进行滤波，得到滤波后的声音特征并保存，若所述集合L为空集，则将滤波后的声音特征保存至集合L后执行步骤4.10，否则直接执行步骤4.10；
步骤4.10、输出当前语音数据，并判断对比次数是否为“0”，若是，则将所述集合L中的声音特征替换为滤波后的声音特征，并返回步骤4.3；否则，直接返回步骤4.3；
步骤5、若用户选择自定义语音处理，则执行步骤5.1-步骤5.4；否则，直接执行步骤6；
步骤5.1、将所接收到的当前语音数据拆分n个t时刻和对应的语音信号{st|t＝1,2,…,n}，并存入另一个二维数组中；其中，st表示第t个时刻的语音信号；
步骤5.2、对所有时刻的语音信号{st|t＝1,2,…,n}同步提高增益或者减小增益；
步骤5.3、将所有时刻的语音信号{st|t＝1,2,…,n}设置为静音；
步骤5.4、输出当前语音数据；
步骤6、编码和封装的处理，得到处理后的语音数据；
步骤6.1、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入第三个二维数组；其中，st表示第t个时刻的语音信号；
步骤6.2、对所有时刻的语音信号{st|t＝1,2,…,n}进行离散余弦变换，以舍弃高频、保留低频，从而得到压缩后的语音数据；
步骤6.3、将所有时刻的语音信号{st|t＝1,2,…,n}变换为数字信号{ct|t＝1,2,…,n}；
定义变量δ，初始化t＝1；
步骤6.4、初始化δ＝1；
步骤6.5、将t时刻的数字信号ct与t+δ时刻的数字信号ct+δ进行相似度计算，若计算出的相似度满足阈值，则舍弃t+δ时刻的语音信号st+δ，否则，计算t+δ时刻与t时刻之间的数字信号差uδ；
步骤6.6、将δ+1赋值给δ后，判断δ＞n是否成立，若成立，则执行步骤6.7，否则，返回步骤6.5执行；
步骤6.7、将t+δ赋值给t后，判断t＞n是否成立，若成立，则将第三个二维数组中的数据采用aac格式进行封装后输出处理后的语音数据，否则，返回步骤6.4；
步骤7、所述工控机将同一时间段获取的语音数据设置对应的共享信息后持续不断地发送给所述服务器，直至没有语音数据时，则开始等待；
步骤8、所述服务器设置M个空闲线程并依次定义线程的序号，等待接收语音数据；且每个线程配备一个数据存储区；
定义变量m；初始化m＝1；
步骤9、若m是否为最后一个线程的序号，若是，则表示无法再向后进行扩展，并令m＝1，执行步骤10；否则，直接执行步骤10；
步骤10、根据所接收到的当前时刻语音数据，所述服务器从第m个线程开始依次寻找第1个空闲线程并作为当前线程，将当前时刻语音数据存储到当前线程的数据存储区内，令m等于当前线程所对应的序号；
步骤11、判断所述当前线程的数据存储区是否存满或者计算的一段语音数据的停顿或者一段语音数据结束，若是，则执行步骤12；否则，将当前时刻语音数据继续存储到当前线程的数据存储区内后，返回步骤11；
步骤12、每个线程将处理完毕的数据发送给其他设备用于播放、显示和存储所述合并后的语音数据；并将当前线程设置设置为空闲状态、清空对应存储区；
步骤13、若下一个数据到来，则返回步骤9，否则继续等待。
本发明所述的多拾音设备的调度方法的特点也在于，所述步骤11中是按如下过程计算的一段语音数据的停顿或者一段语音数据的结束：
步骤a、将所接收到的当前语音数据拆分n个t时刻和对应的语音信号{st|t＝1,2,…,n}并存入第四个二维数组中；其中，st表示第t个时刻的语音信号；
步骤b、初始化t＝1，设置允许数据持续为空的最大时间阈值T；定义语音信号为空值的持续时间为tempT；并初始化tempT为0；
步骤c、从第t个时刻开始判断语音信号是否为空，若是，则执行步骤d；否则，判断t>n是否成立，若成立，则结束当前语音数据的判断，否则，将t+1赋值给t后，执行步骤c；
步骤d、将tempT+t赋值给tempT后，判断tempT>T是否成立，若成立，则表示当前语音数据出现停顿或结束，否则，将t+1赋值给t后，返回步骤c。
与现有技术相比，本发明的有益效果在于：
1、本发明实现了多拾音设备的接入、采集数据、处理、合理调度，主要涉及多拾音设备的接入、集成语音数据处理算法、混音降噪、编码与封装和调度算法，克服了市面上多拾音设备接入问题、多语音数据处理问题、多语音数据调度问题。
2、本发明通过自定义电路设计定制模具实现工控机，提供若干个6.5mm的音频输入接口，考虑到拾音设备的接头不同，可以采用3.5mm转6.5mm或者USB转6.5mm的转接线来进行转接即可。工控机采用独立供电模式，根据接口需要适配适当的电源，也可以为拾音设备供电。根据集成的接口数据实现多拾音设备的接入，解决了目前市面上没有相关设备支持或者设备造价高等困境。
3、本发明中工控机每个接口集成微型Android系统用于处理语音数据，解决传统工控机无法对输入的语音数据无法进行处理直接输出的问题，系统集成语音数据处理算法，采用底层c++语言实现，将获取的语音数据进行混音降噪、自定义语音处理以及编码和封装。集成对数据进行处理的模块同时还对后期语音数据的调度算法根据合并封装的参数快速区分语音数据的来源、根据数据的内容快速区分用户在何时产生停顿或者停止说话。对算法的运行效率起到了不可或缺的作用，提高了运行效率。
4、本发明中工控机的自定义语音数据处理包括增益设置，为了保证用户使用的方便，采用的是旋钮设计，通过旋钮可以增大或者减小增益，保证了使用的方便和快捷。
5、本发明中混音降噪，按照混音降噪的分析处理过程进行操作，为了处理的快速与准确，首先将获取的一段语音数据进行拆分，通过与设置的阈值进行比较将数据进行删减，同时将不同时刻相似数据利用相似度的差值进行压缩，保证了数据传输以及处理时的效率。
6、本发明中的调度方法是利用算法来实现将数据可以合理的分配到其他设备，根据系统的配置来设置开启若干个用于安排调度任务的线程，线程轮流开始功能之间互不影响，将数据按照用户要求合理分配出去。从而通过采用多线程调度方法，提高了算法的运算效率和系统运行的效率。
7、本发明中加入了对语音内容的判断，主要是判断是分是说话的停顿。系统采用多线程的计算方式，每一个线程计算的快慢将取决于待处理数据的大小，线程计算的数据大小有默认大小的集合，为了在此基础上有更快的计算效率，以判断待处理语音是否存在停顿，根据是否有停顿每一个线程将处理更小的数据，由于是多线程，想提高整个系统的运行效率必须在每个线程的数据源上作要求。
附图说明
图1为本发明的工控机原型图；
图中标号：1.电源线；2.工控机开关；3.拾音设备接口；4.拾音设备显示屏；5.散热孔；6.增益旋钮；7.6.5mm输出接口；8.3.5mm输出接口；9.USB输出接口。
具体实施方式
本实施例中，一种多拾音设备的调度系统，是通过工控机集成若干个拾音设备的接口，实现接入多拾音设备，以满足不同规模会议等相关场景下的多拾音设备接入的工控机中进行使用的场景，并为每一个接入接口集成微型系统来进行数据的降噪合并处理，同时利用服务器进行后期数据的调度分发，从而实现若干个拾音设备的接入、每一个拾音设备的单独的降噪合并处理、数据调度分配等的功能，以满足市面上大部分设备使用，解决市面上多拾音设备的接入、单独处理、合理调度问题。具体的说，该调度系统包括：拾音设备、工控机、服务器、其他设备；
拾音设备用于采集会议现场的语音数据并传递给工控机；
工控机包括：接口集成模块、数据处理合并模块、数据输出模块；原型如图1所示；其中，工控机接口集成模块是设计若干个拾音设备连接接口和处理系统来获取拾音设备传输的原始声源数据；工控机数据处理模块计算每个接口获取的声源数据进行合并处理以及混音降噪功能；工控机数据输出模块将处理完成的数据进行简单的整合输出到服务器；
具体的说，接口集成模块包含若干个拾音设备的接口以及显示屏，接口用于接收拾音设备所传输的语音数据，并在每个接口的上方设置有显示屏，显示屏与对应接口内置的信号解析传感器进行绑定，用于显示当前接口是否连接上拾音设备；若成功连接对应的拾音设备，则显示当前拾音设备的基本信息；否则，显示未连接成功；首先将工控机电源接入220v插座，按要求将拾音设备接入，若拾音设备接头与工控机接口不匹配，可以采用3.5mm或者USB转6.5mm的转接线进行转接，接入完成之后显示屏会显示当前拾音设备已连接成功，否则需要检查拾音设备状态。具体实施中，为满足不同规模的会议等场景下需要的接口数量，可使用不同规格型号的工控机或者是多台工控机同时使用。
数据处理合并模块是一个微型的Andorid系统，用于对每个接口所接收到的语音数据进行混音降噪后，再进行编码和封装的分析处理，或者进行混音降噪和自定义语音处理后，再进行编码和封装的分析处理，从而得到处理后的语音数据；自定义语音处理根据用户需求进行设置，混音降噪以及编码和封装是系统必须要执行的操作，为了提供调度算法更快的运行效率。
具体的说，数据处理合并模块中的混音降噪的分析处理过程是按如下步骤进行：
步骤1、定义一个用于存放声音特征的集合L，声音特征包括：特征信息、时间信息、对比次数；这里的特征信息主要是将语音数据转换数字信号的向量。对比次数一般根据系统的配置实时更新，对配置好的电脑，用户要求更加准确和快速的运行效率，需要将对比次数减小，得到一个更快的更换声音特征集合L的频率。
步骤2、定义一个用于提取声音特征的线程T1和一个用于降噪测试的线程T2；
步骤3、若集合L为空集或者对比次数为“0”时，则由线程T1对所接收到的当前语音数据进行处理，并得到声音特征后存入集合L，线程T2开始等待；否则，执行步骤4；
步骤4、将对比次数减“1”后，由线程T2对所接收到的当前语音数据进行处理，并得到声音特征后，再与集合L中的声音特征进行相似度计算，若计算出的相似度满足相似度阈值X，则在线程T2中保留当前语音数据；否则，在线程T2中删除当前语音数据；并等待下一个语音数据；
步骤5、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入二维数组；其中，st表示第t个时刻的语音信号；
步骤6、将所有时刻的语音信号{st|t＝1,2,…,n}进行放大后，与其对应的时刻拟合成一条光滑的曲线，若所拟合的曲线存在突变值，则删除当前语音数据后，返回步骤3；否则，继续执行步骤7；首先将数据进行放大是为了可以计算出更多的细节问题，提高计算的经度。系统根据光滑的曲线将数字信号战线出来为了方便查看，将无法拟合的情况视为错误数据。也可以根据数据分布的离散系数大小也区分当前数据是否准确。
步骤7、对所有时刻放大后的语音信号进行N点FFT变换，得到频区f；
步骤8、根据频区f，利用式(1)计算所有时刻放大后的语音信号对应的梅尔刻度值m并保存；
m＝2595×log10(1+f/700) (1)
步骤9、根据梅尔刻度值m，对所有时刻放大后的语音信号进行滤波，得到滤波后的声音特征并保存，若集合L为空集，则将滤波后的声音特征保存至集合L后执行步骤10，否则直接执行步骤10；
步骤10、输出当前语音数据，并判断对比次数是否为“0”，若是，则将集合L中的声音特征替换为滤波后的声音特征，并返回步骤3；否则，直接返回步骤3。
当前功能模块根据用户需求，非必须执行的操作。通过工控机上的对应的拾音设备接口旋钮来进行设置语音数据增益的放大和减小。具体的说，数据处理合并模块中的自定义语音处理过程是按如下步骤进行：
步骤1、将所接收到的当前语音数据拆分n个t时刻和对应的语音信号{st|t＝1,2,…,n}，并存入另一个二维数组中；其中，st表示第t个时刻的语音信号；
步骤2、对所有时刻的语音信号{st|t＝1,2,…,n}同步提高增益或者减小增益；
步骤3、将所有时刻的语音信号{st|t＝1,2,...,n}设置为静音；
步骤4、输出当前语音数据。
本实施例中，数据处理合并模块中的编码和封装处理过程是按如下步骤进行：
步骤1、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,...,n}并存入第三个二维数组；其中，st表示第t个时刻的语音信号；
步骤2、对所有时刻的语音信号{st|t＝1,2,...,n}进行离散余弦变换，以舍弃高频、保留低频，从而得到压缩后的语音数据；
步骤3、将所有时刻的语音信号{st|t＝1,2,...,n}变换为数字信号{ct|t＝1,2,…,n}；
定义变量δ，初始化t＝1；
步骤4、初始化δ＝1；
步骤5、将t时刻的数字信号ct与t+δ时刻的数字信号ct+δ进行相似度计算，若计算出的相似度满足阈值，则舍弃t+δ时刻的语音信号st+δ，否则，计算t+δ时刻与t时刻之间的数字信号差uδ；
步骤6、将δ+1赋值给δ后，判断δ＞n是否成立，若成立，则执行步骤7，否则，返回步骤5执行；
步骤7、将t+δ赋值给t后，判断t＞n是否成立，若成立，则将第三个二维数组中的数据采用aac格式进行封装后输出，否则，返回步骤4。
数据输出模块在同一时间将多条处理好的语音数据利用共享参数传输给服务器；
服务器接收语音数据并进行合并后转发到其他设备上；
其他设备包括：功放设备、显示屏设备、硬盘设备，用于播放、显示和存储合并后的语音数据。以此实现了对接口语音数据的获取、降噪、设置增益、封装、合并输出功能，并利用调度算法实现了对所有输出的语音数据进行调度分配，保证了市面上大部分设备可以使用，做到数据的统一获取、管理、分配。
本实施例中，一种多拾音设备的调度方法，是应用于由拾音设备、工控机、服务器和其他设备所构成的调度系统中，拾音设备是用于获取外部声源并与工控机进行相连；工控机是同时接入若干个拾音设备，通过内部集成的相关接口模块实现数据的输入、处理和输出功能；服务器通过多线程任务调度将工控机输出的数据进行判断、处理以及分发给其他设备进行处理，该方法具体包括如下步骤：
步骤1、拾音设备按照多对一的模式连接至工控机上，工控机按照一对一的模式连接至服务器上，服务器按照一对多的模式连接其他设备上，从而将所有设备按顺序相连接后进行供电；
步骤2、拾音设备连接至工控机上后，根据工控机上对应接口的显示器来确定相应的拾音设备是否连接成功，若成功，则执行步骤3，否则，在显示器上显示未连接成功，并重新检查连接情况或者确认拾音设备是否故障；
步骤3、工控机上对应的接口持续监听是否有语音数据从相应的拾音设备传过来，若有，则执行步骤4，反之，则继续等待；
步骤4、工控机上对应的接口将实时获取到的语音数据进行混音降噪的分析处理；
步骤4.1、定义一个用于存放声音特征的集合L，声音特征包括：特征信息、时间信息、对比次数；
步骤4.2、定义一个用于提取声音特征的线程T1和一个用于降噪测试的线程T2；
步骤4.3、若集合L为空集或者对比次数为“0”时，则由线程T1对所接收到的当前语音数据进行处理，并得到声音特征后存入集合L，线程T2开始等待；否则，执行步骤4.4；
步骤4.4、将对比次数减“1”后，由线程T2对所接收到的当前语音数据进行处理，并得到声音特征后，再与集合L中的声音特征进行相似度计算，若计算出的相似度满足相似度阈值X，则在线程T2中保留当前语音数据；否则，在线程T2中删除当前语音数据；并等待下一个语音数据；
步骤4.5、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入二维数组；其中，st表示第t个时刻的语音信号；
步骤4.6、将所有时刻的语音信号{st|t＝1,2,…,n}进行放大后，与其对应的时刻拟合成一条光滑的曲线，若所拟合的曲线存在突变值，则删除当前语音数据后，返回步骤4.3；否则，继续执行步骤4.7；
步骤4.7、对所有时刻放大后的语音信号进行N点FFT变换，得到频区f；
步骤4.8、根据频区f，利用式(1)计算所有时刻放大后的语音信号对应的梅尔刻度值m并保存；
m＝2595×log10(1+f/700) (1)
步骤4.9、根据梅尔刻度值m，对所有时刻放大后的语音信号进行滤波，得到滤波后的声音特征并保存，若集合L为空集，则将滤波后的声音特征保存至集合L后执行步骤4.10，否则直接执行步骤4.10；
步骤4.10、输出当前语音数据，并判断对比次数是否为“0”，若是，则将集合L中的声音特征替换为滤波后的声音特征，并返回步骤4.3；否则，直接返回步骤4.3；
步骤5、若用户选择自定义语音处理，则执行步骤5.1-步骤5.4；否则，直接执行步骤6；
步骤5.1、将所接收到的当前语音数据拆分n个t时刻和对应的语音信号{st|t＝1,2,…,n}，并存入另一个二维数组中；其中，st表示第t个时刻的语音信号；
步骤5.2、对所有时刻的语音信号{st|t＝1,2,…,n}同步提高增益或者减小增益；
步骤5.3、将所有时刻的语音信号{st|t＝1,2,…,n}设置为静音；
步骤5.4、输出当前语音数据；
步骤6、编码和封装的处理，得到处理后的语音数据；
步骤6.1、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入第三个二维数组；其中，st表示第t个时刻的语音信号；
步骤6.2、对所有时刻的语音信号{st|t＝1,2,…,n}进行离散余弦变换，以舍弃高频、保留低频，从而得到压缩后的语音数据；
步骤6.3、将所有时刻的语音信号{st|t＝1,2,…,n}变换为数字信号{ct|t＝1,2,…,n}；
定义变量δ，初始化t＝1；
步骤6.4、初始化δ＝1；
步骤6.5、将t时刻的数字信号ct与t+δ时刻的数字信号ct+δ进行相似度计算，若计算出的相似度满足阈值，则舍弃t+δ时刻的语音信号st+δ，否则，计算t+δ时刻与t时刻之间的数字信号差uδ；
步骤6.6、将δ+1赋值给δ后，判断δ＞n是否成立，若成立，则执行步骤6.7，否则，返回步骤6.5执行；
步骤6.7、将t+δ赋值给t后，判断t＞n是否成立，若成立，则将第三个二维数组中的数据采用aac格式进行封装后输出处理后的语音数据，否则，返回步骤6.4；
步骤7、工控机将同一时间段获取的语音数据设置对应的共享信息后持续不断地发送给服务器，直至没有语音数据时，则开始等待；
步骤8、服务器设置M个空闲线程并依次定义线程的序号，等待接收语音数据；且每个线程配备一个数据存储区；
定义变量m；初始化m＝1；
步骤9、若m是否为最后一个线程的序号，若是，则表示无法再向后进行扩展，并令m＝1，执行步骤10；否则，直接执行步骤10；
步骤10、根据所接收到的当前时刻语音数据，服务器从第m个线程开始依次寻找第1个空闲线程并作为当前线程，将当前时刻语音数据存储到当前线程的数据存储区内，令m等于当前线程所对应的序号；
步骤11、判断当前线程的数据存储区是否存满或者计算的一段语音数据的停顿或者一段语音数据结束，若是，则执行步骤12；否则，将当前时刻语音数据继续存储到当前线程的数据存储区内后，返回步骤11；
其中，按如下过程计算的一段语音数据的停顿或者一段语音数据的结束：
步骤a、将所接收到的当前语音数据拆分n个t时刻和对应的语音信号{st|t＝1,2,…,n}并存入第四个二维数组中；其中，st表示第t个时刻的语音信号；
步骤b、初始化t＝1，设置允许数据持续为空的最大时间阈值T；定义语音信号为空值的持续时间为tempT；并初始化tempT为0；
步骤c、从第t个时刻开始判断语音信号是否为空，若是，则执行步骤d；否则，判断t>n是否成立，若成立，则结束当前语音数据的判断，否则，将t+1赋值给t后，执行步骤c；
步骤d、将tempT+t赋值给tempT后，判断tempT>T是否成立，若成立，则表示当前语音数据出现停顿或结束，否则，将t+1赋值给t后，返回步骤c。
步骤12、每个线程将处理完毕的数据发送给其他设备用于播放、显示和存储合并后的语音数据；并将当前线程设置设置为空闲状态、清空对应存储区；
步骤13、若下一个数据到来，则返回步骤9，否则继续等待。
通过上述步骤，本方法解决了多拾音设备的接入、数据的降噪、合并处理等问题，从而实现了多人会议等相关场景下拾音设备的接入，提供每一个拾音设备可以单独处理、降噪、合并等功能，再将处理完成的数据由服务器提供多任务调度算法实现数据的转发，解决了市面上多拾音设备无法同时接入问题、噪音降噪问题以及数据分配问题。

Claims (5)

1.一种多拾音设备的调度系统，其特征在于，包括：拾音设备、工控机、服务器、辅助设备；
所述拾音设备用于采集会议现场的语音数据并传递给所述工控机；
所述工控机包括：接口集成模块、数据处理合并模块、数据输出模块；
所述接口集成模块包含若干个拾音设备的接口以及显示屏，所述接口用于接收所述拾音设备所传输的语音数据，并在每个接口的上方设置有所述显示屏，所述显示屏与对应接口内置的信号解析传感器进行绑定，用于显示当前接口是否连接上拾音设备；若成功连接对应的拾音设备，则显示当前拾音设备的基本信息；否则，显示未连接成功；
所述数据处理合并模块是一个微型的Andorid系统，用于对每个接口所接收到的语音数据进行混音降噪后，再进行编码和封装的分析处理，或者进行混音降噪和自定义语音处理后，再进行编码和封装的分析处理，从而得到处理后的语音数据；
所述数据处理合并模块中的混音降噪的分析处理过程是按如下步骤进行：
步骤1、定义一个用于存放声音特征的集合L，所述声音特征包括：特征信息、时间信息和对比次数；
步骤2、定义一个用于提取声音特征的线程T1和一个用于降噪测试的线程T2；
步骤3、若所述集合L为空集或者对比次数为“0”时，则由线程T1对所接收到的当前语音数据进行处理，并得到声音特征后存入所述集合L，线程T2开始等待；否则，执行步骤4；
步骤4、将对比次数减“1”后，由线程T2对所接收到的当前语音数据进行处理，并得到声音特征后，再与所述集合L中的声音特征进行相似度计算，若计算出的相似度满足相似度阈值X，则在所述线程T2中保留当前语音数据；否则，在所述线程T2中删除当前语音数据；并等待下一个语音数据；
步骤5、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入二维数组；其中，st表示第t个时刻的语音信号；
步骤6、将所有时刻的语音信号{st|t＝1,2,…,n}进行放大后，与其对应的时刻拟合成一条光滑的曲线，若所拟合的曲线存在突变值，则删除当前语音数据后，返回步骤3；否则，继续执行步骤7；
步骤7、对所有时刻放大后的语音信号进行N点FFT变换，得到频区f；
步骤8、根据频区f，利用式(1)计算所有时刻放大后的语音信号对应的梅尔刻度值m并保存；
m＝2595×log10(1+f/700) (1)
步骤9、根据梅尔刻度值m，对所有时刻放大后的语音信号进行滤波，得到滤波后的声音特征并保存，若所述集合L为空集，则将滤波后的声音特征保存至集合L后执行步骤10，否则直接执行步骤10；
步骤10、输出当前语音数据，并判断对比次数是否为“0”，若是，则将所述集合L中的声音特征替换为滤波后的声音特征，并返回步骤3；否则，直接返回步骤3；
所述数据输出模块在同一时间将多条处理好的语音数据利用共享参数传输给服务器；
所述服务器接收语音数据并进行合并后转发到辅助设备上；
所述辅助设备包括：功放设备、显示屏设备、硬盘设备，用于播放、显示和存储所述合并后的语音数据。
2.根据权利要求1所述的多拾音设备的调度系统，其特征是，所述数据处理合并模块中的自定义语音处理过程是按如下步骤进行：
步骤1a、将所接收到的当前语音数据拆分n个t时刻和对应的语音信号{st|t＝1,2,…,n}，并存入另一个二维数组中；其中，st表示第t个时刻的语音信号；
步骤2a、对所有时刻的语音信号{st|t＝1,2,…,n}同步提高增益或者减小增益；
步骤3a、将所有时刻的语音信号{st|t＝1,2,…,n}设置为静音；
步骤4a、输出当前语音数据。
3.根据权利要求1所述的多拾音设备的调度系统，其特征是，所述数据处理合并模块中的编码和封装处理过程是按如下步骤进行：
步骤1b、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入第三个二维数组；其中，st表示第t个时刻的语音信号；
步骤2b、对所有时刻的语音信号{st|t＝1,2,…,n}进行离散余弦变换，以舍弃高频、保留低频，从而得到压缩后的语音数据；
步骤3b、将所有时刻的语音信号{st|t＝1,2,…,n}变换为数字信号{ct|t＝1,2,…,n}；
定义变量δ，初始化t＝1；
步骤4b、初始化δ＝1；
步骤5b、将t时刻的数字信号ct与t+δ时刻的数字信号ct+δ进行相似度计算，若计算出的相似度满足阈值，则舍弃t+δ时刻的语音信号st+δ，否则，计算t+δ时刻与t时刻之间的数字信号差uδ；
步骤6b、将δ+1赋值给δ后，判断δ＞n是否成立，若成立，则执行步骤7b，否则，返回步骤5b执行；
步骤7b、将t+δ赋值给t后，判断t＞n是否成立，若成立，则将第三个二维数组中的数据采用aac格式进行封装后输出，否则，返回步骤4b。
4.一种多拾音设备的调度方法，其特征是应用于由拾音设备、工控机、服务器和辅助设备所构成的调度系统中，所述辅助设备包括：功放设备、显示屏设备、硬盘设备，并包括如下步骤：
步骤1c、所述拾音设备按照多对一的模式连接至所述工控机上，所述工控机按照一对一的模式连接至所述服务器上，所述服务器按照一对多的模式连接辅助设备上，从而将所有设备按顺序相连接后进行供电；
步骤2c、所述拾音设备连接至所述工控机上后，根据工控机上对应接口的显示器来确定相应的拾音设备是否连接成功，若成功，则执行步骤3c，否则，在显示器上显示未连接成功，并重新检查连接情况或者确认拾音设备是否故障；
步骤3c、所述工控机上对应的接口持续监听是否有语音数据从相应的拾音设备传过来，若有，则执行步骤4c，反之，则继续等待；
步骤4c、所述工控机上对应的接口将实时获取到的语音数据进行混音降噪的分析处理；
步骤4c.1、定义一个用于存放声音特征的集合L，所述声音特征包括：特征信息、时间信息和对比次数；
步骤4c.2、定义一个用于提取声音特征的线程T1和一个用于降噪测试的线程T2；
步骤4c.3、若所述集合L为空集或者对比次数为“0”时，则由线程T1对所接收到的当前语音数据进行处理，并得到声音特征后存入所述集合L，线程T2开始等待；否则，执行步骤4c.4；
步骤4c.4、将对比次数减“1”后，由线程T2对所接收到的当前语音数据进行处理，并得到声音特征后，再与所述集合L中的声音特征进行相似度计算，若计算出的相似度满足相似度阈值X，则在所述线程T2中保留当前语音数据；否则，在所述线程T2中删除当前语音数据；并等待下一个语音数据；
步骤4c.5、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入二维数组；其中，st表示第t个时刻的语音信号；
步骤4c.6、将所有时刻的语音信号{st|t＝1,2,…,n}进行放大后，与其对应的时刻拟合成一条光滑的曲线，若所拟合的曲线存在突变值，则删除当前语音数据后，返回步骤4c.3；否则，继续执行步骤4c.7；
步骤4c.7、对所有时刻放大后的语音信号进行N点FFT变换，得到频区f；
步骤4c.8、根据频区f，利用式(1)计算所有时刻放大后的语音信号对应的梅尔刻度值m并保存；
m＝2595×log10(1+f/700) (1)
步骤4c.9、根据梅尔刻度值m，对所有时刻放大后的语音信号进行滤波，得到滤波后的声音特征并保存，若所述集合L为空集，则将滤波后的声音特征保存至集合L后执行步骤4c.10，否则直接执行步骤4c.10；
步骤4c.10、输出当前语音数据，并判断对比次数是否为“0”，若是，则将所述集合L中的声音特征替换为滤波后的声音特征，并返回步骤4c.3；否则，直接返回步骤4c.3；
步骤5c、若用户选择自定义语音处理，则执行步骤5c.1-步骤5c.4；否则，直接执行步骤6c；
步骤5c.1、将所接收到的当前语音数据拆分n个t时刻和对应的语音信号{st|t＝1,2,…,n}，并存入另一个二维数组中；其中，st表示第t个时刻的语音信号；
步骤5c.2、对所有时刻的语音信号{st|t＝1,2,…,n}同步提高增益或者减小增益；
步骤5c.3、将所有时刻的语音信号{st|t＝1,2,…,n}设置为静音；
步骤5c.4、输出当前语音数据；
步骤6c、编码和封装的处理，得到处理后的语音数据；
步骤6c.1、将当前语音数据拆分成为n个时刻及其对应的语音信号{st|t＝1,2,…,n}并存入第三个二维数组；其中，st表示第t个时刻的语音信号；
步骤6c.2、对所有时刻的语音信号{st|t＝1,2,…,n}进行离散余弦变换，以舍弃高频、保留低频，从而得到压缩后的语音数据；
步骤6c.3、将所有时刻的语音信号{st|t＝1,2,…,n}变换为数字信号{ct|t＝1,2,…,n}；
定义变量δ，初始化t＝1；
步骤6c.4、初始化δ＝1；
步骤6c.5、将t时刻的数字信号ct与t+δ时刻的数字信号ct+δ进行相似度计算，若计算出的相似度满足阈值，则舍弃t+δ时刻的语音信号st+δ，否则，计算t+δ时刻与t时刻之间的数字信号差uδ；
步骤6c.6、将δ+1赋值给δ后，判断δ＞n是否成立，若成立，则执行步骤6c.7，否则，返回步骤6c.5执行；
步骤6c.7、将t+δ赋值给t后，判断t＞n是否成立，若成立，则将第三个二维数组中的数据采用aac格式进行封装后输出处理后的语音数据，否则，返回步骤6c.4；
步骤7c、所述工控机将同一时间段获取的语音数据设置对应的共享信息后持续不断地发送给所述服务器，直至没有语音数据时，则开始等待；
步骤8c、所述服务器设置M个空闲线程并依次定义线程的序号，等待接收语音数据；且每个线程配备一个数据存储区；
定义变量m；初始化m＝1；
步骤9c、若m是否为最后一个线程的序号，若是，则表示无法再向后进行扩展，并令m＝1，执行步骤10c；否则，直接执行步骤10c；
步骤10c、根据所接收到的当前时刻语音数据，所述服务器从第m个线程开始依次寻找第1个空闲线程并作为当前线程，将当前时刻语音数据存储到当前线程的数据存储区内，令m等于当前线程所对应的序号；
步骤11c、判断所述当前线程的数据存储区是否存满或者计算的一段语音数据的停顿或者一段语音数据结束，若是，则执行步骤12c；否则，将当前时刻语音数据继续存储到当前线程的数据存储区内后，返回步骤11c；
步骤12c、每个线程将处理完毕的数据发送给辅助设备用于播放、显示和存储合并后的语音数据；并将当前线程设置设置为空闲状态、清空对应存储区；
步骤13c、若下一个数据到来，则返回步骤9c，否则继续等待。
5.根据权利要求4所述的多拾音设备的调度方法，其特征是，所述步骤11c中是按如下过程计算的一段语音数据的停顿或者一段语音数据的结束：
步骤a、将所接收到的当前语音数据拆分n个t时刻和对应的语音信号{st|t＝1,2,…,n}并存入第四个二维数组中；其中，st表示第t个时刻的语音信号；
步骤b、初始化t＝1，设置允许数据持续为空的最大时间阈值T；定义语音信号为空值的持续时间为tempT；并初始化tempT为0；
步骤c、从第t个时刻开始判断语音信号是否为空，若是，则执行步骤d；否则，判断t>n是否成立，若成立，则结束当前语音数据的判断，否则，将t+1赋值给t后，执行步骤c；
步骤d、将tempT+t赋值给tempT后，判断tempT>T是否成立，若成立，则表示当前语音数据出现停顿或结束，否则，将t+1赋值给t后，返回步骤c。
CN202110995576.6A 2021-08-27 2021-08-27 一种多拾音设备的调度系统及其调度方法 Active CN113708868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110995576.6A CN113708868B (zh) 2021-08-27 2021-08-27 一种多拾音设备的调度系统及其调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110995576.6A CN113708868B (zh) 2021-08-27 2021-08-27 一种多拾音设备的调度系统及其调度方法

Publications (2)

Publication Number Publication Date
CN113708868A CN113708868A (zh) 2021-11-26
CN113708868B true CN113708868B (zh) 2023-06-27

Family

ID=78655977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110995576.6A Active CN113708868B (zh) 2021-08-27 2021-08-27 一种多拾音设备的调度系统及其调度方法

Country Status (1)

Country Link
CN (1) CN113708868B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309483A (ja) * 2000-04-19 2001-11-02 Nippon Telegr & Teleph Corp <Ntt> 収音方法および収音装置
US6590604B1 (en) * 2000-04-07 2003-07-08 Polycom, Inc. Personal videoconferencing system having distributed processing architecture
JP2008309856A (ja) * 2007-06-12 2008-12-25 Yamaha Corp 音声認識装置及び会議システム
CN102883133A (zh) * 2012-10-17 2013-01-16 西安融科通信技术有限公司 基于单服务器实现大容量会议服务的系统及方法
EP2600343A1 (en) * 2011-12-02 2013-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for merging geometry - based spatial audio coding streams
JP2015126524A (ja) * 2013-12-27 2015-07-06 ブラザー工業株式会社 遠隔会議プログラム、端末装置および遠隔会議方法
CN106603957A (zh) * 2015-10-16 2017-04-26 鸿合科技有限公司 协同会议一体机及协同会议方法
CN108124114A (zh) * 2016-11-28 2018-06-05 中兴通讯股份有限公司 一种音视频会议声音采集方法和装置
CN110648678A (zh) * 2019-09-20 2020-01-03 厦门亿联网络技术股份有限公司 一种用于具有多麦克风会议的场景识别方法和系统
WO2020232865A1 (zh) * 2019-05-21 2020-11-26 平安科技（深圳）有限公司 会议分角色语音合成方法、装置、计算机设备和存储介质
CN112804401A (zh) * 2020-12-31 2021-05-14 中国人民解放军战略支援部队信息工程大学 一种会议角色的确定及语音采集控制方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184184B2 (en) * 2017-06-28 2021-11-23 Optim Corporation Computer system, method for assisting in web conference speech, and program

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590604B1 (en) * 2000-04-07 2003-07-08 Polycom, Inc. Personal videoconferencing system having distributed processing architecture
JP2001309483A (ja) * 2000-04-19 2001-11-02 Nippon Telegr & Teleph Corp <Ntt> 収音方法および収音装置
JP2008309856A (ja) * 2007-06-12 2008-12-25 Yamaha Corp 音声認識装置及び会議システム
EP2600343A1 (en) * 2011-12-02 2013-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for merging geometry - based spatial audio coding streams
CN102883133A (zh) * 2012-10-17 2013-01-16 西安融科通信技术有限公司 基于单服务器实现大容量会议服务的系统及方法
JP2015126524A (ja) * 2013-12-27 2015-07-06 ブラザー工業株式会社 遠隔会議プログラム、端末装置および遠隔会議方法
CN106603957A (zh) * 2015-10-16 2017-04-26 鸿合科技有限公司 协同会议一体机及协同会议方法
CN108124114A (zh) * 2016-11-28 2018-06-05 中兴通讯股份有限公司 一种音视频会议声音采集方法和装置
WO2020232865A1 (zh) * 2019-05-21 2020-11-26 平安科技（深圳）有限公司 会议分角色语音合成方法、装置、计算机设备和存储介质
CN110648678A (zh) * 2019-09-20 2020-01-03 厦门亿联网络技术股份有限公司 一种用于具有多麦克风会议的场景识别方法和系统
CN112804401A (zh) * 2020-12-31 2021-05-14 中国人民解放军战略支援部队信息工程大学 一种会议角色的确定及语音采集控制方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
单声道语音降噪与去混响研究综述;蓝天;彭川;李森;叶文政;李萌;惠国强;吕忆蓝;钱宇欣;刘峤;;计算机研究与发展(05);全文 *

Also Published As

Publication number Publication date
CN113708868A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
US9786278B2 (en) Image display apparatus and method of controlling the same
JP2022126805A (ja) ニューラルネットワークモデルを用いた選択的ウェイクワード検出のシステム及び方法
CN110152307B (zh) 虚拟物品发放方法、装置和存储介质
CN107112012A (zh) 利用数字麦克风用于低功率关键词检测和噪声抑制
CN110047497B (zh) 背景音频信号滤除方法、装置及存储介质
EP2826261B1 (en) Spatial audio signal filtering
CN110738994A (zh) 一种智能家居的控制方法、装置、机器人及系统
CN112653902A (zh) 说话人识别方法、装置及电子设备
CN108304434B (zh) 信息反馈方法和终端设备
CN109509472A (zh) 基于语音平台识别背景音乐的方法、装置及系统
CN208691406U (zh) 用于智能电视的远场语音采集系统
US9779731B1 (en) Echo cancellation based on shared reference signals
CN113708868B (zh) 一种多拾音设备的调度系统及其调度方法
CN113192510B (zh) 实现语音年龄和/或性别识别服务的方法、系统及介质
CN104274209A (zh) 一种基于移动智能终端的新型胎心仪
CN111312243A (zh) 设备交互方法和装置
CN111556406B (zh) 音频处理方法、音频处理装置及耳机
CN202261317U (zh) 一种cdma2000制式网络收音机
US11574621B1 (en) Stateless third party interactions
CN113160782B (zh) 音频处理的方法、装置、电子设备及可读存储介质
CN111147655B (zh) 模型生成方法和装置
CN216014804U (zh) 一种新型无线语音控制装置及系统
CN113470673A (zh) 数据处理方法、装置、设备和存储介质
JP2019074865A (ja) 会話収集装置、会話収集システム及び会話収集方法
CN113674739B (zh) 一种时间确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant