CN116185329A - 多设备多声卡音频同步采集方法及其系统 - Google Patents

多设备多声卡音频同步采集方法及其系统 Download PDF

Info

Publication number
CN116185329A
CN116185329A CN202310032677.2A CN202310032677A CN116185329A CN 116185329 A CN116185329 A CN 116185329A CN 202310032677 A CN202310032677 A CN 202310032677A CN 116185329 A CN116185329 A CN 116185329A
Authority
CN
China
Prior art keywords
sound card
audio
audio input
card data
thread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310032677.2A
Other languages
English (en)
Inventor
胡芳
赵兴国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sailian Information Technology Co ltd
Original Assignee
Shanghai Sailian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sailian Information Technology Co ltd filed Critical Shanghai Sailian Information Technology Co ltd
Priority to CN202310032677.2A priority Critical patent/CN116185329A/zh
Publication of CN116185329A publication Critical patent/CN116185329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明提供了一种多设备多声卡音频同步采集方法及其系统。其中所述方法包括:当用户选择属于非主驱动音频设备的第一音频输入时,与所述非主驱动音频设备建立采集线程;对所述第一音频输入对应的第一声卡进行采集,获得第一声卡数据;当用户还选择不属于所述非主驱动音频设备的第二音频输入时,所述非主驱动音频设备建立第二线程;所述第二线程调用对应所述第二音频输入的第二声卡,并对所述第二声卡进行采集,获得第二声卡数据;将所述第二声卡数据进行缓存;读取所述第一声卡数据和所述第二声卡数据,将两者进行合并处理并经所述采集线程输出。本发明的音频同步采集方法有效实现了多个音频设备多个声卡的数据的同时采集。

Description

多设备多声卡音频同步采集方法及其系统
技术领域
本发明涉及视频通信技术领域,具体地,涉及多设备多声卡音频同步采集方法及其系统。
背景技术
基于互联网的视频通信技术被广泛应用于工作和生活的视频会议场景。其中传统的android系统只支持同时采集单个音频设备上多个声卡的声音,如图1a和图1b所示,android系统的用户界面,即手机上的APP或硬件终端设备,启动的音频采集链路上,一个进程,有一个采集线程,一个采集线程对应一个音频设备,一个音频设备可以对应多个声卡,但是一次只能同时采集一个音频设备的声卡的数据。如图1a所示的采集线程只能采集主驱动音频设备的声卡0~2的数据,图1b所示的采集线程只能采集非主驱动音频设备的声卡3的数据,即要么采集设备A,要么采集设备B,不能同时采集A和B。用户并不能多选或单选音频输入,一般地,android系统会根据接入用户设备的先后顺序自动切换对不同音频设备的声卡数据进行采集的采集线程,如自动切换到最近连接到用户设备上的USB音频输入所对应的USB音频音频设备上。
上述现有技术一次只能采集一个音频设备的声卡数据,对于声源来自不同音频设备的场景极不友好,只能强行采集优选级最高的音频设备的声卡数据,更无法实现对基于用户自身位置的来自不同方位距离的多个音频设备的智能化立体声的采集播放。
发明内容
本发明提供了一种多设备多声卡音频同步采集方法及其系统,如图2所示,在音频设备选择的时候进行了修改,只要选择了对应非主驱动音频设备的音频输入,则调度到非主驱动音频设备,在非主驱动音频设备内,除了操作本驱动设备自己声卡的采集线程,如果用户还选择不属于该非主驱动音频设备的音频输入,则非主驱动音频设备还会另外建立一个线程,即第二线程,利用第二线程去打开其他不属于本驱动设备的声卡,并进行采集,将数据进行缓存,如图中的非主驱动音频设备的第二线程调用主驱动音频设备的声卡0~2,对其进行数据采集以及数据缓存;采集线程不仅读取非主驱动音频设备的声卡采集的数据,同时读取缓存的主驱动音频设备的声卡采集的数据。
因此本发明中用户可以单选或多选音频输入,即使所选的音频输入来自于不同的音频设备,也可以对其声卡数据进行同时采集。
第一方面,本发明提供了一种多设备多声卡音频同步采集方法,其特征在于,所述方法包括:
当用户选择属于非主驱动音频设备的第一音频输入时,与所述非主驱动音频设备建立采集线程;
对所述第一音频输入对应的第一声卡进行采集,获得第一声卡数据;
当用户还选择不属于所述非主驱动音频设备的第二音频输入时,所述非主驱动音频设备建立第二线程;
所述第二线程调用对应所述第二音频输入的第二声卡,并对所述第二声卡进行采集,获得第二声卡数据;
将所述第二声卡数据进行缓存;
读取所述第一声卡数据和所述第二声卡数据,将两者进行合并处理并经所述采集线程输出。
第二方面,本发明还提供了一种多设备多声卡音频同步采集系统,其特征在于,所述系统包括:建立装置、采集装置、非主驱动音频设备、缓存装置、读取装置;其中
所述建立装置用于当用户选择属于非主驱动音频设备的第一音频输入时,与所述非主驱动音频设备建立采集线程;
所述采集装置用于对所述第一音频输入对应的第一声卡进行采集,获得第一声卡数据;
当用户还选择不属于所述非主驱动音频设备的第二音频输入时,所述非主驱动音频设备用于建立第二线程;
所述第二线程用于调用对应所述第二音频输入的第二声卡,所述采集装置还用于对所述第二声卡进行采集,获得第二声卡数据;
所述缓存装置用于将所述第二声卡数据进行缓存;
所述读取装置用于读取所述第一声卡数据和所述第二声卡数据,将两者进行合并处理并经所述采集线程输出。
本发明提供的多设备多声卡音频同步采集方法及其系统通过在非主驱动音频设备中建立第二线程的方式,可以不受音频设备的影响,任意采集来自多个音频设备的多个声卡的数据。支持多个音频设备多个声卡的数据的同时采集,尤其对于视频会议有多个声源且分布于不同音频设备的场景,极大地提高了视频会议终端使用的便利性,扩展了很多新的应用场景。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1a和图1b是现有技术中android系统的音频采集链路的示意图;
图2是本发明实施例提供的多设备多声卡音频同步采集链路的示意图;
图3是本发明实施例提供的多设备多声卡音频同步采集方法流程图;
图4是本发明实施例提供的音频输入选择界面;
图5是本发明实施例提供的多设备多声卡音频同步采集系统示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
发明概述
如前所述,本发明提供了一种多设备多声卡音频同步采集方法及其系统,支持多个音频设备多个声卡的数据的同时采集,主要用于视频会议有多个声源且分布于不同音频设备的场景。
示例性方法
图3是本发明实施例提供的多设备多声卡音频同步采集方法流程图,该实施例包括以下步骤:
S301:当用户选择属于非主驱动音频设备的第一音频输入时,与所述非主驱动音频设备建立采集线程。
与用户设备进行连接的音频设备包括主驱动音频设备和非主驱动音频设备,主驱动音频设备一般为内置于用户设备的音频设备,非主驱动音频设备一般为外置于用户设备的音频设备。例如,可以随时在用户设备上进行插拔USB音频输入为属于非主驱动音频设备的第一音频输入。
由于音频采集链路上一次进程只能有一个采集线程,一个采集线程只能对应一个音频设备,为了保证用户选择的音频输入对应的声卡数据都能被采集,只要检测到用户选择属于非主驱动音频设备的第一音频输入时,都只和所述非主驱动音频设备建立采集线程。
例如,如图2所示,当用户同时选择属于非主驱动音频设备的第一音频输入和属于主驱动音频设备的第二音频输入时,本实施例中只与非主驱动音频设备建立采集线程。
S302:对所述第一音频输入对应的第一声卡进行采集,获得第一声卡数据。
用户选择第一音频输入后,即会根据需要采集的声卡设备,操作第一音频输入对应的声卡设备的线程,如图2所示,声卡3即为第一声卡,对声卡3进行采集,获得声卡3的数据。
其中,所述第一声卡数据为未经混音处理的原始双声道,采集步骤保留原始双声道的声卡数据,为后续所有声卡数据的混音做准备。
S303:当用户还选择不属于所述非主驱动音频设备的第二音频输入时,所述非主驱动音频设备建立第二线程。
所述第二音频输入包括凤凰头输入、3.5mm线性输入、HDM输入、rca输入或蓝牙输入。
进一步,为了实现第一音频输入的声卡数据和第二音频输入的声卡数据的同时采集,在非主驱动音频设备中建立可以调用第二音频输入的声卡的第二线程。
需要说明的是,当所述第一音频输入和/或第二音频输入与用户设备建立连接,用户才可以对其进行选择。
例如,如图4所示的音频输入选择界面中显示了五种可供用户进行勾选的音频输入,表示这五种音频输入均与用户设备建立连接;未显示的音频输入,即用户不可选的音频输入均为未与用户设备建立连接的音频输入。图中用户选择了第二音频输入USB和第一音频输入HDMI,则会与USB音频设备建立采集线程,并在USB音频设备中建立用于调用HDMI音频输入的第二线程,同时对USB音频输入对应的第一声卡以及HDMI音频输入对应的第二声卡进行数据采集。
一般地,用户设备会固定连接几个常用的音频输入,在用户开启设备时,对用户进行常规性提示选择要连接的音频输入。用户可以根据需求设置默认选择,在需要修改时,再点击音频输入选项重新调整。由于本发明中在非主驱动音频设备中引入第二线程,可以同时采集不同音频设备的声卡数据,无需考虑需要采集的声卡是否属于同一音频设备,因此,只要是与用户设备连接的音频输入,即显示在音频输入选择界面的音频输入都可以被用户任意组合勾选,同时对其对应的声卡数据进行采集。
当在用户设备工作过程中,所述第一音频输入和/或第二音频输入与用户设备建立连接时,自动选择建立连接的音频输入。
例如,用户A正在使用其视频终端设备进行视频会议,此时在终端设备上插入USB音频输入,则无需用户A打开音频输入选项勾选USB音频输入,系统会自动选择USB音频输入,并与USB音频设备建立采集线程。
考虑到会议期间,用户新增加音频输入连接一般表示用户需要启用此音频输入,因此无需用户再进行手动修改音频输入选项,直接自动选择即可。此方式节省用户操作步骤,更合理实用。
S304:所述第二线程调用对应所述第二音频输入的第二声卡,并对所述第二声卡进行采集,获得第二声卡数据。
所述第二声卡数据也为未经混音处理的原始双声道。
用户选择第二音频输入后,根据需要采集的声卡设备,除了操作非主驱动音频设备的声卡设备的线程,还会另外建立一个第二线程,去打开不属于所述非主驱动音频设备的第二声卡,并进行采集,如图2所示,声卡0~2即为第二声卡,第二线程调用声卡0~2并对其进行采集,获得声卡0~2的数据。
S305:将所述第二声卡数据进行缓存。
图2所示的第二线程不仅对声卡0~2进行采集,还对采集获得的声卡0~2的数据进行缓存,方便后续所有声卡数据的合并传输。
S306:读取所述第一声卡数据和所述第二声卡数据,将两者进行合并处理并经所述采集线程输出。
如图2所示,采集线程读取第一声卡采集的数据,同时读取缓存在非主驱动音频设备中的第二声卡采集的数据,对所有声卡数据进行合并处理,输出给用户界面。
进一步,用户界面接收合并处理后的声卡数据,根据需求对原始的声卡数据进行混音处理。
如图2所示的采集到的各声卡数据均为原始双声道,用户可以根据需求,选择声道及其组合方式。例如,声卡0为声道a和b;声卡1为声道c和d;声卡2为声道e和f;声卡3为声道g和h。用户根据个人习惯,在混音界面上选择声道a、c和h混音为一个声道,声道d和f混音为另一个声道。另一种情况中,接收端可能希望自适应进行混音,比如一个声道始终听到声卡3的声音,另一个声道可以选择声卡0、1和2中谁在说话就混入谁的声音,此时会在声卡0、1和2中自适应地选择一个最优的与声卡3进行混音。
另外,还可以检测各个音频输入相对于用户的方位、距离以及用户面部朝向,按照所述检测各个音频输入相对于的用户的方位、距离以及用户面部朝向对来自各个音频输入的数据进行立体声混音,使得用户能够听出到该音频输入的方位和距离,当用户面部朝向改变时,将用户面部正对的音频输入的音量增强。各个音频输入的方位可以在初始设置阶段人为地设置,例如通过摄像拍摄会场的画面,管理员在画面上通过鼠标点选各个音频输入所在画面中的位置,由于音频输入在会议过程中是通常保持不变的,因此只需要设置一次即可。对于一些由主讲人随身佩戴的麦克风可以通过其他无线定位方式来确定其方位,例如类似苹果Airtag所采用的UWB无线定位方式来追踪麦克风的位置。
例如,在大会议室进行外语报告,其中有1位主讲人A,1位同声传译员B和100位参会听众,会议室中设置有用于采集各个音频输入相对于听众的方位、距离以及面部朝向的摄像头,每位参会听众佩戴耳机,假设主讲人A的话筒在听众a的右前方10米,同声传译员B的音频输入在听众a的左后方15米,则通过调整听众a左右声道的音量比例,使得听众a通过耳机能够辨别出主讲人A的声音来自右前方,同声传译员B的声音来自左后方,且同声传译员B的声音由于距离较主讲人A更远,所以音量稍小;此时听众a将面部转向同声传译员B,则耳机中同声传译员B的声音音量增强。当摄像头检测不到听众a时,则开启默认混音模式。摄像头可以通过人脸识别检测在场每个听众的朝向,并基于检测到的朝向分别对每个听众左右声道进行不同混音处理,使得听众获得更高的沉浸感。对于远程参加会议的听众也可以通过该听众的摄像头检测该远程听众的朝向,并基于该听众所观看的现场摄像头相对于各个音频输入源的方位对提供给远程听众的音频信号进行混音,使其获得身临其境的感觉。
除了通过摄像头同时采集所有听众的方位、距离以及面部朝向,还可以通过带有传感器的耳机或VR眼镜进行采集,相对于每人一个的传感器耳机,摄像头成本显然更低。
根据用户的方位、距离以及用户面部朝向对来自各个音频输入的数据进行动态地立体声混音,相对于用户手动设置参数更智能快捷,更适用于多听众多声源的场景。本发明的方法也可以用于多人VR对战游戏的场景,以获得强烈的现场感。
接下来继续阐述当用户取消选择音频输入时,本实施例包括的步骤。
第一,当用户取消选择所述第一音频输入和所述第二音频输入时关闭所述采集线程;关闭所述第一声卡、所述第二线程以及所述第二声卡;清除所述第二声卡数据缓存。
即如果用户取消所有原来选择的音频输入,则关闭原来开启的所有线程和声卡,清除缓存。
第二,当用户取消选择所述第一音频输入,但不取消选择所述第二音频输入时保持所述采集线程;关闭所述第一声卡;保持所述第二线程,并继续采集所述第二声卡的数据;对所述第二声卡数据进行缓存。
即如果非主驱动音频设备的第一声卡数据不需要被采集,不属于非主驱动音频设备的第二声卡数据需要被采集,则只关闭第一声卡,停止对第一声卡数据进行采集,保持采集线程和第二线程,继续对第二声卡的数据进行采集以及缓存。
例如,图2中当只取消选择声卡3对应的音频输入时,关闭声卡3,停止采集声卡3的数据,采集线程和第二线程继续保留,第二线程仍然调用声卡0~2,并对其数据进行采集和缓存。
第三,当用户保持选择所述第一音频输入,并且取消选择所述第二音频输入时保持所述采集线程;关闭所述第二声卡和所述第二线程;清除所述第二声卡数据缓存。
例如,图2中当取消选择声卡0~2对应的音频输入时,关闭第二线程,关闭声卡0~2,停止采集声卡0~2的数据,清除声卡0~2数据缓存,保持采集线程,继续采集声卡3的数据。
总之,即使中途取消选择某个音频输入,也不影响未取消选择的其他音频输入的声卡数据采集,未取消的音频输入仍然按照原来的采集线程进行采集,此方式有效地避免了因取消选择某个音频输入而导致的其他音频输入的声音中断。
示例性系统
相应地,本发明实施例还提供了一种多设备多声卡音频同步采集系统。图5是本发明实施例提供的多设备多声卡音频同步采集系统100示意图,如图5所示,本实施例提供的系统100包括:建立装置110、采集装置120、非主驱动音频设备130、缓存装置140、读取装置150;其中
所述建立装置110用于当用户选择属于非主驱动音频设备130的第一音频输入时,与所述非主驱动音频设备130建立采集线程;
所述采集装置120用于对所述第一音频输入对应的第一声卡进行采集,获得第一声卡数据;
当用户还选择不属于所述非主驱动音频设备130的第二音频输入时,所述非主驱动音频设备130用于建立第二线程;
所述第二线程用于调用对应所述第二音频输入的第二声卡,所述采集装置120还用于对所述第二声卡进行采集,获得第二声卡数据;
所述缓存装置140用于将所述第二声卡数据进行缓存;
所述读取装置150用于读取所述第一声卡数据和所述第二声卡数据,将两者进行合并处理并经所述采集线程输出。
所述系统100还包括混音装置160,其用于接收合并处理后的声卡数据,根据需求对其进行混音处理。
所述系统100还包括关闭装置170;
当用户取消选择所述第一音频输入和所述第二音频输入时,所述关闭装置170用于关闭所述采集线程,关闭所述第一声卡、所述第二线程以及所述第二声卡,清除所述第二声卡数据缓存。
当用户取消选择所述第一音频输入,但不取消选择所述第二音频输入时,
所述采集装置120还用于保持所述采集线程;
所述关闭装置170用于关闭所述第一声卡;
所述采集装置120还用于保持所述第二线程,并继续采集所述第二声卡的数据;
所述缓存装置140还用于对所述第二声卡数据进行缓存。
当用户保持选择所述第一音频输入,并且取消选择所述第二音频输入时,
所述采集装置120还用于保持所述采集线程;
所述关闭装置170用于关闭所述第二声卡和所述第二线程,清除所述第二声卡数据缓存。
所述第一音频输入包括USB音频输入;
所述第二音频输入包括凤凰头输入、3.5mm线性输入、HDM输入、rca输入或蓝牙输入。
所述第一声卡数据和所述第二声卡数据均为未经混音处理的原始双声道。
所述系统100还包括选择装置180;
当所述第一音频输入和/或第二音频输入与用户设备建立连接,所述选择装置180用于用户对已建立连接的音频输入进行选择。
当在用户设备工作过程中,所述第一音频输入和/或第二音频输入与用户设备建立连接时,所述选择装置180用于自动选择建立连接的音频输入。
所述混音装置160包括检测单元161和立体混音单元162;其中
所述检测单元161用于检测各个音频输入相对于用户的方位、距离以及用户面部朝向;
所述立体混音单元162用于按照所述检测各个音频输入相对于的用户的方位、距离以及用户面部朝向对来自各个音频输入的数据进行立体声混音,使得用户能够听出到该音频输入的方位和距离。
所述混音装置160还包括调节音量单元163,其用于当用户面部朝向改变时,将用户面部正对的音频输入的音量增强。
应当注意,尽管在附图中以特定顺序描述了本发明多设备多声卡音频同步采集方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
此外,尽管在上文详细描述中提及了多设备多声卡音频同步采集系统的若干装置、单元、或模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
1、一种多设备多声卡音频同步采集方法,其特征在于,所述方法包括:
当用户选择属于非主驱动音频设备的第一音频输入时,与所述非主驱动音频设备建立采集线程;
对所述第一音频输入对应的第一声卡进行采集,获得第一声卡数据;
当用户还选择不属于所述非主驱动音频设备的第二音频输入时,所述非主驱动音频设备建立第二线程;
所述第二线程调用对应所述第二音频输入的第二声卡,并对所述第二声卡进行采集,获得第二声卡数据;
将所述第二声卡数据进行缓存;
读取所述第一声卡数据和所述第二声卡数据,将两者进行合并处理并经所述采集线程输出。
2、根据第1项所述的音频采集方法,其特征在于,所述方法还包括:接收合并处理后的声卡数据,根据需求对其进行混音处理。
3、根据第1或2项所述的音频采集方法,其特征在于,所述方法还包括:
当用户取消选择所述第一音频输入和所述第二音频输入时关闭所述采集线程;
关闭所述第一声卡、所述第二线程以及所述第二声卡;
清除所述第二声卡数据缓存。
4、根据第1或2项所述的音频采集方法,其特征在于,所述方法还包括:
当用户取消选择所述第一音频输入,但不取消选择所述第二音频输入时保持所述采集线程;
关闭所述第一声卡;
保持所述第二线程,并继续采集所述第二声卡的数据;
对所述第二声卡数据进行缓存。
5、根据第1或2项所述的音频采集方法,其特征在于,所述方法还包括:
当用户保持选择所述第一音频输入,并且取消选择所述第二音频输入时保持所述采集线程;
关闭所述第二声卡和所述第二线程;
清除所述第二声卡数据缓存。
6、根据第1-5中的任一项所述的音频采集方法,其特征在于,所述第一音频输入包括USB音频输入;
所述第二音频输入包括凤凰头输入、3.5mm线性输入、HDM输入、rca输入或蓝牙输入。
7、根据第1-6中的任一项所述的音频采集方法,其特征在于,所述第一声卡数据和所述第二声卡数据均为未经混音处理的原始双声道。
8、根据第1-7中的任一项所述的音频采集方法,其特征在于,当所述第一音频输入和/或第二音频输入与用户设备建立连接,用户才可以对其进行选择。
9、根据第1-8中的任一项所述的音频采集方法,其特征在于,当在用户设备工作过程中,所述第一音频输入和/或第二音频输入与用户设备建立连接时,自动选择建立连接的音频输入。
10、根据第2项所述的音频采集方法,其特征在于,所述接收合并处理后的声卡数据,根据需求对其进行混音处理的步骤还包括:
检测各个音频输入相对于用户的方位、距离以及用户面部朝向;
按照所述检测各个音频输入相对于的用户的方位、距离以及用户面部朝向对来自各个音频输入的数据进行立体声混音,使得用户能够听出到该音频输入的方位和距离。
11、根据第10项所述的音频采集方法,其特征在于,所述接收合并处理后的声卡数据,根据需求对其进行混音处理的步骤还包括:
当用户面部朝向改变时,将用户面部正对的音频输入的音量增强。
12、一种多设备多声卡音频同步采集系统,其特征在于,所述系统包括:建立装置、采集装置、非主驱动音频设备、缓存装置、读取装置;其中
所述建立装置用于当用户选择属于非主驱动音频设备的第一音频输入时,与所述非主驱动音频设备建立采集线程;
所述采集装置用于对所述第一音频输入对应的第一声卡进行采集,获得第一声卡数据;
当用户还选择不属于所述非主驱动音频设备的第二音频输入时,所述非主驱动音频设备用于建立第二线程;
所述第二线程用于调用对应所述第二音频输入的第二声卡,所述采集装置还用于对所述第二声卡进行采集,获得第二声卡数据;
所述缓存装置用于将所述第二声卡数据进行缓存;
所述读取装置用于读取所述第一声卡数据和所述第二声卡数据,将两者进行合并处理并经所述采集线程输出。
13、根据第12项所述的音频采集系统,其特征在于,所述系统还包括混音装置,其用于接收合并处理后的声卡数据,根据需求对其进行混音处理。
14、根据第12或13项所述的音频采集系统,其特征在于,所述系统还包括关闭装置;
当用户取消选择所述第一音频输入和所述第二音频输入时,所述关闭装置用于关闭所述采集线程,关闭所述第一声卡、所述第二线程以及所述第二声卡,清除所述第二声卡数据缓存。
15、根据第12或13项所述的音频采集系统,其特征在于,所述系统还包括关闭装置;
当用户取消选择所述第一音频输入,但不取消选择所述第二音频输入时,
所述采集装置还用于保持所述采集线程;
所述关闭装置用于关闭所述第一声卡;
所述采集装置还用于保持所述第二线程,并继续采集所述第二声卡的数据;
所述缓存装置还用于对所述第二声卡数据进行缓存。
16、根据第12或13项所述的音频采集系统,其特征在于,所述系统还包括关闭装置;
当用户保持选择所述第一音频输入,并且取消选择所述第二音频输入时,
所述采集装置还用于保持所述采集线程;
所述关闭装置用于关闭所述第二声卡和所述第二线程,清除所述第二声卡数据缓存。
17、根据第12-16中的任一项所述的音频采集系统,其特征在于,所述第一音频输入包括USB音频输入;
所述第二音频输入包括凤凰头输入、3.5mm线性输入、HDM输入、rca输入或蓝牙输入。
18、根据第12-17中的任一项所述的音频采集系统,其特征在于,所述第一声卡数据和所述第二声卡数据均为未经混音处理的原始双声道。
19、根据第12-18中的任一项所述的音频采集系统,其特征在于,所述系统还包括选择装置;
当所述第一音频输入和/或第二音频输入与用户设备建立连接,所述选择装置用于用户对已建立连接的音频输入进行选择。
20、根据第12-19中的任一项所述的音频采集系统,其特征在于,所述系统还包括选择装置;
当在用户设备工作过程中,所述第一音频输入和/或第二音频输入与用户设备建立连接时,所述选择装置用于自动选择建立连接的音频输入。
21、根据第13项所述的音频采集系统,其特征在于,所述混音装置包括检测单元和立体混音单元;其中
所述检测单元用于检测各个音频输入相对于用户的方位、距离以及用户面部朝向;
所述立体混音单元用于按照所述检测各个音频输入相对于的用户的方位、距离以及用户面部朝向对来自各个音频输入的数据进行立体声混音,使得用户能够听出到该音频输入的方位和距离。
22、根据第22项所述的音频采集系统,其特征在于,所述混音装置还包括调节音量单元,其用于当用户面部朝向改变时,将用户面部正对的音频输入的音量增强。

Claims (10)

1.一种多设备多声卡音频同步采集方法,其特征在于,所述方法包括:
当用户选择属于非主驱动音频设备的第一音频输入时,与所述非主驱动音频设备建立采集线程;
对所述第一音频输入对应的第一声卡进行采集,获得第一声卡数据;
当用户还选择不属于所述非主驱动音频设备的第二音频输入时,所述非主驱动音频设备建立第二线程;
所述第二线程调用对应所述第二音频输入的第二声卡,并对所述第二声卡进行采集,获得第二声卡数据;
将所述第二声卡数据进行缓存;
读取所述第一声卡数据和所述第二声卡数据,将两者进行合并处理并经所述采集线程输出。
2.根据权利要求1所述的音频采集方法,其特征在于,所述方法还包括:接收合并处理后的声卡数据,根据需求对其进行混音处理。
3.根据权利要求1或2所述的音频采集方法,其特征在于,所述方法还包括:
当用户取消选择所述第一音频输入和所述第二音频输入时关闭所述采集线程;
关闭所述第一声卡、所述第二线程以及所述第二声卡;
清除所述第二声卡数据缓存。
4.根据权利要求1或2所述的音频采集方法,其特征在于,所述方法还包括:
当用户取消选择所述第一音频输入,但不取消选择所述第二音频输入时保持所述采集线程;
关闭所述第一声卡;
保持所述第二线程,并继续采集所述第二声卡的数据;
对所述第二声卡数据进行缓存。
5.根据权利要求1或2所述的音频采集方法,其特征在于,所述方法还包括:
当用户保持选择所述第一音频输入,并且取消选择所述第二音频输入时保持所述采集线程;
关闭所述第二声卡和所述第二线程;
清除所述第二声卡数据缓存。
6.根据权利要求2所述的音频采集方法,其特征在于,所述接收合并处理后的声卡数据,根据需求对其进行混音处理的步骤还包括:
检测各个音频输入相对于用户的方位、距离以及用户面部朝向;
按照所述检测各个音频输入相对于的用户的方位、距离以及用户面部朝向对来自各个音频输入的数据进行立体声混音,使得用户能够听出到该音频输入的方位和距离。
7.根据权利要求6所述的音频采集方法,其特征在于,所述接收合并处理后的声卡数据,根据需求对其进行混音处理的步骤还包括:
当用户面部朝向改变时,将用户面部正对的音频输入的音量增强。
8.一种多设备多声卡音频同步采集系统,其特征在于,所述系统包括:建立装置、采集装置、非主驱动音频设备、缓存装置、读取装置;其中
所述建立装置用于当用户选择属于非主驱动音频设备的第一音频输入时,与所述非主驱动音频设备建立采集线程;
所述采集装置用于对所述第一音频输入对应的第一声卡进行采集,获得第一声卡数据;
当用户还选择不属于所述非主驱动音频设备的第二音频输入时,所述非主驱动音频设备用于建立第二线程;
所述第二线程用于调用对应所述第二音频输入的第二声卡,所述采集装置还用于对所述第二声卡进行采集,获得第二声卡数据;
所述缓存装置用于将所述第二声卡数据进行缓存;
所述读取装置用于读取所述第一声卡数据和所述第二声卡数据,将两者进行合并处理并经所述采集线程输出。
9.根据权利要求8所述的音频采集系统,其特征在于,所述系统还包括关闭装置;
当用户取消选择所述第一音频输入和所述第二音频输入时,所述关闭装置用于关闭所述采集线程,关闭所述第一声卡、所述第二线程以及所述第二声卡,清除所述第二声卡数据缓存。
10.根据权利要求8所述的音频采集系统,其特征在于,所述系统还包括关闭装置;
当用户取消选择所述第一音频输入,但不取消选择所述第二音频输入时,
所述采集装置还用于保持所述采集线程;
所述关闭装置用于关闭所述第一声卡;
所述采集装置还用于保持所述第二线程,并继续采集所述第二声卡的数据;
所述缓存装置还用于对所述第二声卡数据进行缓存。
CN202310032677.2A 2023-01-10 2023-01-10 多设备多声卡音频同步采集方法及其系统 Pending CN116185329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310032677.2A CN116185329A (zh) 2023-01-10 2023-01-10 多设备多声卡音频同步采集方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310032677.2A CN116185329A (zh) 2023-01-10 2023-01-10 多设备多声卡音频同步采集方法及其系统

Publications (1)

Publication Number Publication Date
CN116185329A true CN116185329A (zh) 2023-05-30

Family

ID=86450052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310032677.2A Pending CN116185329A (zh) 2023-01-10 2023-01-10 多设备多声卡音频同步采集方法及其系统

Country Status (1)

Country Link
CN (1) CN116185329A (zh)

Similar Documents

Publication Publication Date Title
EP1449369B1 (en) A system and method for providing an awareness of remote people in the room during a videoconference
US9641585B2 (en) Automated video editing based on activity in video conference
US11567729B2 (en) System and method for playing audio data on multiple devices
CN203338350U (zh) 机器同声翻译系统
US20130093837A1 (en) Method and apparatus for processing audio in video communication
JP2006020314A (ja) 電話会議用のステレオ・マイクロフォン処理
US9699414B2 (en) Information processing apparatus, information processing method, and computer program product
CN1984310A (zh) 再现运动图像的方法和通信装置及在视频会议系统的使用
CN111583952B (zh) 音频处理方法、装置、电子设备及存储介质
JP2007300452A (ja) 画像及び音声通信機能付テレビジョン放送受像機
CN102131071B (zh) 视频画面切换的方法和装置
WO2012031566A1 (zh) 多屏视频会议中对与会者图像显示进行调整的方法及装置
KR20130045553A (ko) 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법
CN110958537A (zh) 一种智能音箱及智能音箱使用的方法
US20180176507A1 (en) Tool of mobile terminal and intelligent audio-video integration server
US11956497B2 (en) Audio processing method and electronic device
US20170150287A1 (en) Apparatus and method for reproducing multi-sound channel contents using dlna in mobile terminal
CN113395305A (zh) 进行同步播放处理的方法、装置及电子设备
CN108124114A (zh) 一种音视频会议声音采集方法和装置
US20230283888A1 (en) Processing method and electronic device
CN112099750A (zh) 一种屏幕共享方法、终端、计算机存储介质以及系统
CN111696552B (zh) 一种翻译方法、装置和耳机
CN111355973B (zh) 数据播放方法、装置、电子设备及存储介质
CN116185329A (zh) 多设备多声卡音频同步采集方法及其系统
CN114531425B (zh) 一种处理方法和处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination