CN110708432B - 音频会议中音频输出的方法、系统、设备及存储介质 - Google Patents

音频会议中音频输出的方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN110708432B
CN110708432B CN201910969597.3A CN201910969597A CN110708432B CN 110708432 B CN110708432 B CN 110708432B CN 201910969597 A CN201910969597 A CN 201910969597A CN 110708432 B CN110708432 B CN 110708432B
Authority
CN
China
Prior art keywords
code stream
audio
channel
position information
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910969597.3A
Other languages
English (en)
Other versions
CN110708432A (zh
Inventor
贾天婕
王克彦
曹亚曦
杨国全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huachuang Video Signal Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910969597.3A priority Critical patent/CN110708432B/zh
Publication of CN110708432A publication Critical patent/CN110708432A/zh
Application granted granted Critical
Publication of CN110708432B publication Critical patent/CN110708432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/561—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities by multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种音频会议中音频输出的方法、系统、设备及存储介质，接收第一发言会场的多路音频码流，将该多路音频码流进行第一混音处理输出多路混音码流，该多路混音码流的数目与听声会场的发音设备的数目相同，并将该多路混音码流经过预设权重矩阵加权后，将加权的码流依据该第二通道信息输出给该发音设备，使得听声会场的与会者在听到声音的时候能判断出发声者的方向，解决了音频会议中与会者无法判断发言人在发言会场位置的问题，给与会者增加了在音频会议中声临其境的体验感。

Description

音频会议中音频输出的方法、系统、设备及存储介质
技术领域
本申请涉及音频会议技术领域，特别是涉及一种音频会议中音频输出的方法、系统、设备及存储介质。
背景技术
随着通信技术不断发展以及音频会议技术的兴起，音视频会议已经不再受地域的限制，音频会议形式能够使得位于两个或多个会场的与会者进行实时沟通，且在相关技术中的音频会议的视频技术已经能够通过调整画面大小、布局等方式真实地呈现对端与会者的画面。在音频会议中，音频方案往往是将除听声会场外其他发言会场中发言人的声音混成一路，将该混成一路的声音传给听声者所在听声会场，给听声会场中不同音箱的声音也是同源的，音频会议的与会者无法根据听到的声音判断出发言人所在的位置，这对于与会者的使用体验感是有损的。
针对相关技术中，音频会议中与会者无法判断发言人在发言会场位置的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中，目前音频会议中与会者无法判断发言人在发言会场位置的问题，本发明提供了一种音频会议中音频输出的方法、系统、设备及存储介质，以至少解决上述问题。
根据本发明的一个方面，提供了一种音频会议中音频输出的方法，该方法包括：
接收第一发言会场的第一多路音频码流，其中，所述第一多路音频码流与所述第一发言会场的麦克风的数目相同，所述第一多路音频码流携带所述第一发言会场的麦克风的第一位置信息，所述第一位置信息与听声会场的发音设备的第二位置信息相对应；
将所述第一多路音频码流进行第一混音处理输出第一多路混音码流，其中，所述第一多路混音码流与所述发音设备的数目相同；
将所述第一多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
在其中一个实施例中，所述接收第一发言会场的第一多路音频码流之后，所述方法包括：
接收第二发言会场的第二多路音频码流，其中，所述第二多路音频码流与所述第二发言会场的麦克风的数目相同，所述第二多路音频码流携带所述第二发言会场的麦克风的第三位置信息，所述第三位置信息与所述第二位置信息相对应；
在所述第一多路音频码流和所述第二多路音频码流的数目相同的情况下，依据所述第一位置信息和所述第三位置信息，将所述第一多路音频码流和所述第二多路音频码流进行第二混音处理，输出第二多路混音码流；
将所述第二多路音频码流进行第一混音处理输出第三多路混音码流，其中，所述第三多路混音码流与所述发音设备的数目相同；
将所述第三多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
在其中一个实施例中，所述接收第一发言会场的多路音频码流之后，所述方法包括：
接收第三发言会场的第三多路音频码流，其中，所述第三多路音频码流与所述第三发言会场的麦克风的数目相同，所述第三多路音频码流携带所述第三发言会场的麦克风的第四位置信息，所述第四位置信息与所述第二位置信息相对应；
在所述第一多路音频码流和所述第三多路音频码流的数目不相同的情况下，将所述第一多路音频码流和所述第三多路音频码流分别进行第一混音处理，分别输出第三多路混音码流和第四多路混音码流，其中，所述第三多路混音码流、所述第四多路混音码流与所述发音设备的数目相同；
将所述第三多路混音码流和所述第四多路混音码流进行第二混音处理，输出第五多路混音码流；
将所述第五多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
在其中一个实施例中，所述接收第一发言会场的多路音频码流之后，所述方法包括：
接收第二发言会场的第二多路音频码流和第三发言会场的第三多路音频码流，其中，所述第二多路音频码流与所述第二发言会场的麦克风的数目相同，所述第二多路音频码流携带所述第二发言会场的麦克风的第三位置信息，所述第三多路音频码流与所述第三发言会场的麦克风的数目相同，所述第三多路音频码流携带所述第三发言会场的麦克风的第四位置信息；
在所述第一多路音频码流与所述第二多路音频码流数目相同，且所述第一多路音频码流与所述第三多路音频码流数目不相同的情况下，依据所述第一位置信息和所述第三位置信息，将所述第一多路音频码流与所述第二多路音频码流进行第二混音处理，输出第六多路混音码流；
将所述第六多路混音码流进行所述第一混音处理，输出第七多路混音码流，其中，所述第七多路混音码流与所述发音设备的数目相同；
将所述第七多路混音码流与所述第三多路音频码流进行所述第二混音处理，输出第八多路混音码流；
将所述第八多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
在其中一个实施例中，所述将所述第一多路混音码流进行加权处理，包括：
依据接收到的多路混音码流和所述发音设备的数目确定预设权重矩阵，将所述接收到的多路混音码流经过所述预设权重矩阵加权后，依据所述第二位置信息输出给所述发音设备。
根据本发明的另一个方面，提供了一种音频会议中音频输出的系统，其特征在于，所述系统包括多点会议控制器、第一混音器和自适应权重混音器；
所述多点会议控制器，用于接收第一发言会场的第一多路音频码流，其中，所述第一多路音频码流与所述第一发言会场的麦克风的数目相同，所述第一多路音频码流携带所述第一发言会场的麦克风的第一位置信息，所述第一位置信息与听声会场的发音设备的第二位置信息相对应；
所述第一混音器，将所述多路音频码流进行第一混音处理输出第一多路混音码流，其中，所述第一多路混音码流与所述发音设备的数目相同；
所述自适应权重混音器将所述第一多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
在其中一个实施例中，所述系统包括第二混音器：
所述多点会议控制器接收第二发言会场的第二多路音频码流，其中，所述第二多路音频码流与所述第二发言会场的麦克风的数目相同，所述第二多路音频码流携带所述第二发言会场的麦克风的第三位置信息，所述第三位置信息与所述第二位置信息相对应；
在所述第一多路音频码流和所述第二多路音频码流的数目相同的情况下，所述第二混音器依据所述第一位置信息和所述第三位置信息，将所述第一多路音频码流和所述第二多路音频码流进行第二混音处理，输出第二多路混音码流；
所述第一混音器将所述第二多路音频码流进行第一混音处理输出第三多路混音码流，其中，所述第三多路混音码流与听声会场的发音设备的数目相同；
所述自适应权重混音器将所述第三多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
在其中一个实施例中，所述自适应权重混音器依据接收到的多路混音码流和所述发音设备的数目确定预设权重矩阵，将所述接收到的多路混音码流经过所述预设权重矩阵加权后，依据所述第二位置信息输出给所述发音设备。
根据本发明的另一个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。
根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。
通过本发明，采用一种音频会议中音频输出的方法，接收第一发言会场的多路音频码流，将该多路音频码流进行第一混音处理输出多路混音码流，该多路混音码流的数目与听声会场的发音设备的数目相同，并将该多路混音码流经过预设权重矩阵加权后，将加权的码流依据该第二通道信息输出给该发音设备，使得听声会场的与会者在听到声音的时候能判断出发声者的方向，解决了音频会议中与会者无法判断发言人在发言会场位置的问题，给与会者增加了在音频会议中声临其境的体验感。
附图说明
图1为根据本发明实施例的一种音频会议中发音设备的部署的示意图；
图2为根据本发明实施例的一种音频会议中音频输出的方法的示意图一；
图3为根据本发明实施例的一种音频会议中音频输出的方法的流程图一；
图4为根据本发明实施例的一种音频会议中音频输出的方法的示意图二；
图5为根据本发明实施例的一种音频会议中音频输出的方法的流程图二；
图6为根据本发明实施例的一种音频会议中音频输出的方法的示意图三；
图7为根据本发明实施例的一种音频会议中音频输出的方法的流程图三；
图8为根据本发明实施例的一种音频会议中音频输出的方法的示意图四；
图9为根据本发明实施例的一种音频会议中音频输出的方法的流程图四；
图10为根据本发明实施例的音频会议中音频输出的系统的结构框图一；
图11为根据本发明实施例的音频会议中音频输出的系统的结构框图二。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本实施例中，提供了一种音频会议中音频输出的方法，其中，考虑到终端处理能力和项目实际需求，制定了听声会场的发音设备的部署规则，该发音设备可以是扬声器、音响或其他设备。图1为根据本发明实施例的一种音频会议中发声设备的部署的示意图，如图1所示，在该麦克风的数目小于或者等于4 的情况下，该发音设备的数目根据该第一发言会场的麦克风的数目确定，并部署在听声会场，该发音设备在该听声会场的部署位置与该麦克风在该第一发言会场的位置相对应；在该麦克风的数目大于4的情况下，该发音设备的数目确定为4，这是由于4个发音设备的部署已经可以为与会者建立良好的听声环境，通过该发音设备在听声会场的部署方法，可以避免出现因为该发言会场的麦克风数目较多，而造成在该听声会场需要大量发音设备的不合理情况；另外，通过第一混音处理，可以自适应地将该第一发言会场的多路音频码流，混音为码流路数与该发音设备的数目相同的多路混音码流，且不丢失发言人的位置信息。
图2为根据本发明实施例的一种音频会议中音频输出的方法的示意图一，如图2所示，本实施例中共有第一发言会场和听声会场2个会场，多点会议控制器首先判断接收到的第一音频码流与听声会场部署的发音设备的数目是否相同，在该第一音频码流与该发音设备的数目相同的情况下，可以直接进行加权混音处理，并输出各路混音码流给该发音设备播放；在该第一音频码流与该发音设备的数目不相同的情况下，例如在本实施例中，该第一音频码流路数为5，根据该发音设备的部署规则，该发音设备在该听声会场的数目为4，则首先对接收到的该第一音频码流进行第一混音处理，输出码流路数为4的第一混音码流，并对该第一混音码流进行加权处理后，输出给该发音设备播放。
进一步地，对上述实施例方法的具体实施步骤进行了解释，图3为根据本发明实施例的一种音频会议中音频输出的方法的流程图一，如图3所示，该方法包括如下步骤：
步骤S302，接收第一发言会场的第一多路音频码流，其中，该第一多路音频码流与该第一发言会场的麦克风的数目相同，该第一多路音频码流携带该第一发言会场的麦克风的第一位置信息，该第一位置信息与听声会场的发音设备的第二位置信息相对应；其中，该麦克风的第一位置信息与该第一多路音频码流的通道号一一对应。
步骤S304，将该第一多路音频码流进行第一混音处理输出第一多路混音码流，其中，该第一多路混音码流与该发音设备的数目相同；
步骤S306，将该第一多路混音码流进行加权处理后，依据该第二位置信息输出给该发音设备；其中，经过加权处理后输出给该发音设备的多路混音码流，在不同发音设备所占的权重不相同，且在听声会场中，与离发言人最近的麦克风位置对应的发音设备播放的声音最大，因此给与会者增加了声临其境的听声体验。
通过上述步骤，接收第一发言会场的第一多路音频码流，其中，该第一多路音频码流携带了该第一发言会场的麦克风的位置信息，并将该第一多路音频码流进行第一混音处理输出第一多路混音码流，经过加权处理后输出给发言会场的发音设备，其中，与离发言人最近的麦克风位置对应的发音设备播放的声音最大，因此与会者可以从不同发音设备的音量大小判断当前发言人的位置信息，从而达到“听声辨位”的效果。
在一个实施例中，提供了一种音频会议中音频输出的方法，图4为根据本发明实施例的一种音频会议中音频输出的方法的示意图二，如图4所示，本实施例中共有第一发言会场、第二发言会场和听声会场3个会场，其中该第一音频码流路数和该第二音频码流路数均为5，根据该发音设备的部署规则，该发音设备在该听声会场的数目为4，则首先对接收到的该第一多路音频码流和该第二多路音频码流进行第二混音处理，输出码流路数为5的第二混音码流，然后该第二多路音频码流进行第一混音处理，输出码流路数为4的第三多路混音码流，并对该第三混音码流进行加权处理后，输出给该发音设备播放。
进一步地，对上述实施例方法的具体实施步骤进行了解释，图5为根据本发明实施例的一种音频会议中音频输出的方法的流程图二，如图5所示，该方法包括如下步骤：
步骤S502，接收第二发言会场的第二多路音频码流，其中，该第二多路音频码流与该第二发言会场的麦克风的数目相同，该第二多路音频码流携带该第二发言会场的麦克风的第三位置信息，该第三位置信息与该第二位置信息相对应；其中，该麦克风的第三位置信息与该第二多路音频码流的通道号一一对应。
步骤S504，在该第一多路音频码流和该第二多路音频码流的数目相同的情况下，依据该第一位置信息和该第三位置信息，将该第一多路音频码流和该第二多路音频码流进行第二混音处理，输出第二多路混音码流。
步骤S506，将该第二多路音频码流进行第一混音处理输出第三多路混音码流，其中，该第三多路混音码流与该发音设备的数目相同；该第一混音处理可以将混音通道的数据继续混成目标路数(和该发音设备的数目相同)的混音码流，且不丢失该第一发言会场和第二发言会场的麦克风的位置信息。
步骤S508，将该第三多路混音码流进行加权处理后，依据该第二位置信息输出给该发音设备。
通过上述步骤，在发言会场中新加入另外一个发言会场，自适应地将该第一发言会场和第二发言会场的多路音频码流，混音为码流路数与该发音设备的数目相同的多路混音码流，实现了音频会议中多点会议互动，且通过对混音码流进行加权处理，使得与会者可以从不同发音设备的音量大小判断当前发言人的位置信息，给与会者增加了声临其境的听声体验。
在一个实施例中，提供了一种音频会议中音频输出的方法，图6为根据本发明实施例的一种音频会议中音频输出的方法的示意图三，如图6所示，本实施例中共有第一发言会场、第三发言会场和听声会场3个会场，其中该第一音频码流路数为5，该第二音频码流路数为3，根据该发音设备的部署规则，该发音设备在该听声会场的数目为4，则首先对接收到的该第一多路音频码流和该第三多路音频码流分别进行第一混音处理，分别输出第三多路混音码流和第四多路混音码流，其中该第三多路混音码流和第四多路混音码流的码流路数均为4，然后将该第三多路音频码流和该第四多路音频码流进行第二混音处理，输出码流路数为4的第五多路混音码流，并对该第五混音码流进行加权处理后，输出给该发音设备播放。
进一步地，对上述实施例方法的具体实施步骤进行了解释，图7为根据本发明实施例的一种音频会议中音频输出的方法的流程图三，如图7所示，该方法包括如下步骤：
步骤S702，接收第三发言会场的第三多路音频码流，其中，该第三多路音频码流与该第三发言会场的麦克风的数目相同，该第三多路音频码流携带该第三发言会场的麦克风的第四位置信息，该第四位置信息与该第二位置信息相对应。
步骤S704，在该第一多路音频码流和该第三多路音频码流的数目不相同的情况下，将该第一多路音频码流和该第三多路音频码流分别进行第一混音处理，分别输出第三多路混音码流和第四多路混音码流，其中，该第三多路混音码流、该第四多路混音码流与该发音设备的数目相同。
步骤S706，将该第三多路混音码流和该第四多路混音码流进行第二混音处理，输出第五多路混音码流；其中，该第二混音处理可以依据携带的第一位置信息和第四位置信息，将该第三多路混音码流和该第四多路混音码流一一对应混音；该第五多路混音码流与该发音设备的数目相同。
步骤S708，将该第五多路混音码流进行加权处理后，依据该第二位置信息输出给该发音设备。
通过上述步骤，在发言会场中新加入另外一个发言会场，并且这两个发言会场的麦克风数目不相同，自适应地将该第一发言会场和第二发言会场的多路音频码流，混音为码流路数与该发音设备的数目相同的多路混音码流，且通过对混音码流进行加权处理，实现了音频会议中多点会议互动，使得与会者可以从不同发音设备的音量大小判断当前发言人的位置信息，给与会者增加了声临其境的听声体验，同时允许同一个会议中有多个不同麦克风数量的会场入会，减少了资源冗余和部署的施工难度。
在一个实施例中，提供了一种音频会议中音频输出的方法，图8为根据本发明实施例的一种音频会议中音频输出的方法的示意图四，如图8所示，本实施例中共有第一发言会场，第二发言会场，第三发言会场和听声会场4个会场，根据该发音设备的部署规则，该发音设备在该听声会场的数目为4；多点会议控制器首先根据码流路数将该第一发言会场和该第二发言会场归为同类会议室，接着将该第一多路音频码流和该第二多路音频码流进行第二混音处理，输出码流路数为5的第六多路混音码流，将该第六多路混音码流进行第一混音处理，输出码流路数为4的第七多路混音码流，然后将该第七多路混音码流与该第三多路音频码流进行第二混音处理，输出码流路数为4第八多路混音码流，最后经过加权处理后输出给发音设备播放。与先将第一发言会场和第三发言会场的码流混音成4路，再与第二发言会场混音成4路的做法相比，上述步骤可以减少乘法运算次数，减少中央处理器计算耗时，减小音频延时。
进一步地，对上述实施例方法的具体实施步骤进行了解释，图9为根据本发明实施例的一种音频会议中音频输出的方法的流程图四，如图9所示，该方法包括如下步骤：
步骤S902，接收第二发言会场的第二多路音频码流和第三发言会场的第三多路音频码流，其中，该第二多路音频码流与该第二发言会场的麦克风的数目相同，该第二多路音频码流携带该第二发言会场的麦克风的第三位置信息，该第三多路音频码流与该第三发言会场的麦克风的数目相同，该第三多路音频码流携带该第三发言会场的麦克风的第四位置信息。
步骤S904，在该第一多路音频码流与该第二多路音频码流数目相同，且该第一多路音频码流与该第三多路音频码流数目不相同的情况下，依据该第一位置信息和该第三位置信息，将该第一多路音频码流与该第二多路音频码流进行第二混音处理，输出第六多路混音码流。
步骤S906，将该第六多路混音码流进行该第一混音处理，输出第七多路混音码流，其中，该第七多路混音码流与该发音设备的数目相同，该第一混音处理是为了将接收到的该第六多路混音码流混音输出目标路数(和发音设备的数目相等)的码流。
步骤S908，将该第七多路混音码流与该第三多路音频码流进行该第二混音处理，输出第八多路混音码流；其中，该第二混音处理依据携带的第一位置信息、第三位置信息和第四位置信息，将该第七多路混音码流和该第三多路混音码流一一对应混音；
步骤S910，将该第八多路混音码流进行加权处理后，依据该第二位置信息输出给该发音设备。
通过上述步骤，在同一个会议中有多个麦克风数目不同的发言会场入会，通过乘法运算次数较少的算法，自适应地将发言会场的多路音频码流，混音为码流路数与该发音设备的数目相同的多路混音码流，且通过对混音码流进行加权处理，使得与会者可以从不同发音设备的音量大小判断当前发言人的位置信息，给与会者增加了声临其境的听声体验，同时减少了中央处理器计算耗时。
应该理解的是，虽然图3、图5、图7和图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、图5、图7和图9的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，一种音频会议中音频输出的方法还包括：依据接收到的多路混音码流和该发音设备的数目确定预设权重矩阵，将该多路混音码流经过该预设权重矩阵加权后，依据该第二位置信息输出给该发音设备；其中，该预设权重矩阵由终端上的自适应权重混音器进行处理，将加权的码流传给对应的扬声器，使得该会场的与会者在听到声音的时候能判断出发言人的方向，达到“听声辨位”的效果。
在一个实施例中，该加权处理还可以通过归一化算法进行处理，使用一个可变的衰减因子对该自适应权重混音器接收到的多路混音码流进行衰减，这个衰减因子也就代表该多路混音码流的权重。
在本实施例中，提供了一种音频会议中音频输出的系统，图10为根据本发明实施例的音频会议中音频输出的系统的结构框图一，如图10所示，该系统包括多点会议控制器102、第一混音器104和自适应权重混音器106；
该多点会议控制器102，用于接收第一发言会场的第一多路音频码流，其中，该第一多路音频码流与该第一发言会场的麦克风的数目相同，该第一多路音频码流携带该第一发言会场的麦克风的第一位置信息，该第一位置信息与听声会场的发音设备的第二位置信息相对应。
该第一混音器104，用于将该多路音频码流进行第一混音处理输出第一多路混音码流，其中，该第一多路混音码流与该发音设备的数目相同；
其中，该第一混音器104根据接收到的各类会场码流数和扬声器数，将混音通道的数据继续混成目标路数(和听声会场的发言设备的数目相同)的码流，这些码流接着被多点会议控制器发送给待播放会场的会议终端。
该第一混音器104的操作表达式如公式1所示，其中Q为发言会场的多路音频码流的路数(同麦克数)，N为目标混音数(同听声会场的发言设备的数目)， Mixi表示第i路混音音频，Mi表示第i个麦克采集的音频，
Figure BDA0002231625670000111
表示向上取整。因为矩阵操作使用了码流通道号信息，而通道号强相关于麦克风的空间分布，所以这个操作保留了麦克风的位置信息。
Figure BDA0002231625670000121
该矩阵的取值与N和Q的大小有关，定义如下
当Q％N＝0时，aij中有且仅有
Figure BDA0002231625670000122
值为1，当i和j取其他值时，值为0。
当Q％N＝1时，aij中有且仅有
Figure BDA0002231625670000123
值为1，当i和j取其他值时，值为0。
当Q％N＝2时，aij中有且仅有
Figure BDA0002231625670000124
值为1，当i和j取其他值时，值为0。
当Q％N＝3时，aij中有且仅有
Figure BDA0002231625670000125
值为1，当i和j取其他值时，值为0。
该自适应权重混音器106，用于将该第一多路混音码流进行加权处理后，依据该第二位置信息输出给该发音设备。
在一个实施例中，该系统还包括第二混音器112，图11为根据本发明实施例的音频会议中音频输出的系统的结构框图二，如图11所示：
该多点会议控制器102接收第二发言会场的第二多路音频码流，其中，该第二多路音频码流与该第二发言会场的麦克风的数目相同，该第二多路音频码流携带该第二发言会场的麦克风的第三位置信息，该第三位置信息与该第二位置信息相对应；
在该第一多路音频码流和该第二多路音频码流的数目相同的情况下，该第二混音器112依据该第一位置信息和该第三位置信息，将该第一多路音频码流和该第二多路音频码流进行第二混音处理，输出第二多路混音码流；
该第一混音器104将该第二多路音频码流进行第一混音处理输出第三多路混音码流，其中，该第三多路混音码流与听声会场的发音设备的数目相同；
该自适应权重混音器106将该第三多路混音码流进行加权处理后，依据该第二位置信息输出给该发音设备。
在一个实施例中，该自适应权重混音器106可以通过权重矩阵进行处理。该自适应权重混音器依据接收到的多路混音码流和该发音设备的数目确定预设权重矩阵，将该接收到的多路混音码流经过该预设权重矩阵加权后，依据该第二位置信息输出给该发音设备。
其中，该自适应权重混音器106根据接收到的混音码流和发音设备的数目自适应分配权重矩阵，权重矩阵处理过程表达式如公式2所示，其中N为接收到的混音码流数，Mixi表示第i路混音码流，Pj表示第j个发音设备需播放的音频，
Figure BDA0002231625670000131
表示向上取整,则有：
Figure BDA0002231625670000132
由于发音设备和麦克风是对称放置在听声会场和发言会场的，那么第j个发音设备和采集第i路码流的麦克风在空间排布上距离越近，则第j个音设备所播放第i路音频的权重系数就越大，同样可知，对于同一个声音来说，空间距离上最近的发音设备播放的音量是最大的，因此听声者可以从不同发音设备的音量大小判断当前发言人的位置信息，从而达到“听声辨位”的效果。
在一个实施例中，该自适应权重混音器106可以通过归一化算法进行处理，使用一个可变的衰减因子对该自适应权重混音器106接收到的多路混音码流进行衰减，这个衰减因子也就代表该多路混音码流的权重。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种音频会议中音频输出的方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种音频会议中音频输出的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例提供的音频输出方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例提供的音频输出方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限， RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种音频会议中音频输出的方法，其特征在于，所述方法包括：
接收第一发言会场的第一多路音频码流，其中，所述第一多路音频码流与所述第一发言会场的麦克风的数目相同，所述第一多路音频码流携带所述第一发言会场的麦克风的第一位置信息，所述第一位置信息与听声会场的发音设备的第二位置信息相对应；
将所述第一多路音频码流进行第一混音处理输出第一多路混音码流，其中，所述第一多路混音码流与所述发音设备的数目相同；
将所述第一多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
2.根据权利要求1所述的方法，其特征在于，所述接收第一发言会场的第一多路音频码流之后，所述方法包括：
接收第二发言会场的第二多路音频码流，其中，所述第二多路音频码流与所述第二发言会场的麦克风的数目相同，所述第二多路音频码流携带所述第二发言会场的麦克风的第三位置信息，所述第三位置信息与所述第二位置信息相对应；
在所述第一多路音频码流和所述第二多路音频码流的数目相同的情况下，依据所述第一位置信息和所述第三位置信息，将所述第一多路音频码流和所述第二多路音频码流进行第二混音处理，输出第二多路混音码流；
将所述第二多路音频码流进行第一混音处理输出第三多路混音码流，其中，所述第三多路混音码流与所述发音设备的数目相同；
将所述第三多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
3.根据权利要求1所述的方法，其特征在于，所述接收第一发言会场的多路音频码流之后，所述方法包括：
接收第三发言会场的第三多路音频码流，其中，所述第三多路音频码流与所述第三发言会场的麦克风的数目相同，所述第三多路音频码流携带所述第三发言会场的麦克风的第四位置信息，所述第四位置信息与所述第二位置信息相对应；
在所述第一多路音频码流和所述第三多路音频码流的数目不相同的情况下，将所述第一多路音频码流和所述第三多路音频码流分别进行第一混音处理，分别输出第三多路混音码流和第四多路混音码流，其中，所述第三多路混音码流、所述第四多路混音码流与所述发音设备的数目相同；
将所述第三多路混音码流和所述第四多路混音码流进行第二混音处理，输出第五多路混音码流；
将所述第五多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
4.根据权利要求1所述的方法，其特征在于，所述接收第一发言会场的多路音频码流之后，所述方法包括：
接收第二发言会场的第二多路音频码流和第三发言会场的第三多路音频码流，其中，所述第二多路音频码流与所述第二发言会场的麦克风的数目相同，所述第二多路音频码流携带所述第二发言会场的麦克风的第三位置信息，所述第三多路音频码流与所述第三发言会场的麦克风的数目相同，所述第三多路音频码流携带所述第三发言会场的麦克风的第四位置信息；
在所述第一多路音频码流与所述第二多路音频码流数目相同，且所述第一多路音频码流与所述第三多路音频码流数目不相同的情况下，依据所述第一位置信息和所述第三位置信息，将所述第一多路音频码流与所述第二多路音频码流进行第二混音处理，输出第六多路混音码流；
将所述第六多路混音码流进行所述第一混音处理，输出第七多路混音码流，其中，所述第七多路混音码流与所述发音设备的数目相同；
将所述第七多路混音码流与所述第三多路音频码流进行所述第二混音处理，输出第八多路混音码流；
将所述第八多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述第一多路混音码流进行加权处理，包括：
依据接收到的多路混音码流和所述发音设备的数目确定预设权重矩阵，将所述接收到的多路混音码流经过所述预设权重矩阵加权后，依据所述第二位置信息输出给所述发音设备。
6.一种音频会议中音频输出的系统，其特征在于，所述系统包括多点会议控制器、第一混音器和自适应权重混音器；
所述多点会议控制器，接收第一发言会场的第一多路音频码流，其中，所述第一多路音频码流与所述第一发言会场的麦克风的数目相同，所述第一多路音频码流携带所述第一发言会场的麦克风的第一位置信息，所述第一位置信息与听声会场的发音设备的第二位置信息相对应；
所述第一混音器，将所述多路音频码流进行第一混音处理输出第一多路混音码流，其中，所述第一多路混音码流与所述发音设备的数目相同；
所述自适应权重混音器将所述第一多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
7.根据权利要求6所述的系统，其特征在于，所述系统包括第二混音器：
所述多点会议控制器接收第二发言会场的第二多路音频码流，其中，所述第二多路音频码流与所述第二发言会场的麦克风的数目相同，所述第二多路音频码流携带所述第二发言会场的麦克风的第三位置信息，所述第三位置信息与所述第二位置信息相对应；
在所述第一多路音频码流和所述第二多路音频码流的数目相同的情况下，所述第二混音器依据所述第一位置信息和所述第三位置信息，将所述第一多路音频码流和所述第二多路音频码流进行第二混音处理，输出第二多路混音码流；
所述第一混音器将所述第二多路音频码流进行第一混音处理输出第三多路混音码流，其中，所述第三多路混音码流与听声会场的发音设备的数目相同；
所述自适应权重混音器将所述第三多路混音码流进行加权处理后，依据所述第二位置信息输出给所述发音设备。
8.根据权利要求6或7所述的系统，其特征在于，所述自适应权重混音器依据接收到的多路混音码流和所述发音设备的数目确定预设权重矩阵，将所述接收到的多路混音码流经过所述预设权重矩阵加权后，依据所述第二位置信息输出给所述发音设备。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201910969597.3A 2019-10-12 2019-10-12 音频会议中音频输出的方法、系统、设备及存储介质 Active CN110708432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969597.3A CN110708432B (zh) 2019-10-12 2019-10-12 音频会议中音频输出的方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969597.3A CN110708432B (zh) 2019-10-12 2019-10-12 音频会议中音频输出的方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110708432A CN110708432A (zh) 2020-01-17
CN110708432B true CN110708432B (zh) 2021-01-12

Family

ID=69198695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969597.3A Active CN110708432B (zh) 2019-10-12 2019-10-12 音频会议中音频输出的方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110708432B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102056053B (zh) * 2010-12-17 2015-04-01 中兴通讯股份有限公司 一种多话筒混音方法及装置
CN102547210B (zh) * 2010-12-24 2014-09-17 华为终端有限公司 级联会议中级联会场的处理方法、装置及系统
US9769563B2 (en) * 2015-07-22 2017-09-19 Harman International Industries, Incorporated Audio enhancement via opportunistic use of microphones
US10924872B2 (en) * 2016-02-23 2021-02-16 Dolby Laboratories Licensing Corporation Auxiliary signal for detecting microphone impairment
CN106851035A (zh) * 2017-01-19 2017-06-13 努比亚技术有限公司 声音处理装置及方法
CN107195308B (zh) * 2017-04-14 2021-03-16 苏州科达科技股份有限公司 音视频会议系统的混音方法、装置及系统

Also Published As

Publication number Publication date
CN110708432A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
US7533346B2 (en) Interactive spatalized audiovisual system
EP0942397B1 (en) Shared virtual space display method and apparatus using said method
EP2067347B1 (en) Systems and methods for implementing generalized conferencing
CN109389989B (zh) 混音方法、装置、设备及存储介质
CN102469220A (zh) 用于控制多路并发电话会议中的音频信号的方法和系统
KR20070119568A (ko) 피드백을 회피하기 위해 공동 거주 원격회의엔드포인트들을 조정하는 방법
CN111583942B (zh) 语音会话的编码码率控制方法、装置和计算机设备
US7949116B2 (en) Primary data stream communication
CN110060696B (zh) 混音方法及装置、终端及可读存储介质
JP6434157B2 (ja) 音声信号処理装置および方法
CN111863011B (zh) 音频处理方法及电子设备
CN109327633B (zh) 混音方法、装置、设备及存储介质
US11632627B2 (en) Systems and methods for distinguishing audio using positional information
CN110708432B (zh) 音频会议中音频输出的方法、系统、设备及存储介质
EP2207311A1 (en) Voice communication device
CN113301294B (zh) 一种通话控制方法、装置及智能终端
JP4548147B2 (ja) 音声会議システム及び話者特定用処理装置
CN111951821B (zh) 通话方法和装置
CN116057928A (zh) 信息处理装置、信息处理终端、信息处理方法和程序
JP2000236330A (ja) クライアント・サーバ型デジタル音声会議システムの音声分配方法およびその装置
CN111756723B (zh) 应用于多方通话的音频处理方法、装置及设备
Aguilera et al. Spatial audio for audioconferencing in mobile devices: Investigating the importance of virtual mobility and private communication and optimizations
JP2023078629A (ja) 会議システム、会議サーバ、及び会議プログラム
JP4522332B2 (ja) 映像音声配信システムおよび方法およびプログラム
JP3019291B2 (ja) 仮想空間共有装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210803

Address after: 310051 C9, 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: ZHEJIANG HUACHUANG VIDEO SIGNAL TECHNOLOGY Co.,Ltd.

Address before: No. 1187 Bin'an Road, Binjiang District, Hangzhou, Zhejiang Province

Patentee before: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.