CN116301707B - 一种基于虚拟声卡的云桌面声音采集方法 - Google Patents

Abstract

本发明公开一种基于虚拟声卡的云桌面声音采集方法，属于云桌面技术领域，接收来自云桌面客户端的第一声音数据，对第一声音数据进行编码封包后通过网络传输至云桌面服务端，通过云桌面服务端将第一声音数据写入至云桌面服务端的虚拟声卡的麦克风，使需要录音的应用从虚拟声卡读取第一声音数据；将第二声音数据写入至云桌面服务端的虚拟声卡的扬声器，响应于第二声音数据，对第二声音数据进行编码封包后通过网络传输至云桌面客户端，通过云桌面客户端的扬声器进行播放。本发明实现了云桌面客户端硬件声卡麦克风到云桌面服务端的重定向，且，实现了云桌面服务端至云桌面客户端声音播放的重定向，填补了目前云桌面声音采集的空白。

Description

一种基于虚拟声卡的云桌面声音采集方法

技术领域

本发明属于云桌面技术领域，具体涉及一种基于虚拟声卡的云桌面声音采集方法。

背景技术

在云桌面环境下，应用软件需要使用本地声卡进行声音的采集和播放，即需要通过云桌面服务端的声卡进行声音的采集和播放，但是，云桌面服务端是使用虚拟化技术虚拟化的计算机，不存在硬件声卡，也就无法通过硬件声卡实现声音的采集和播放。

目前，在云桌面技术领域，云桌面声音的采集几乎为空白。

发明内容

本发明提出了一种基于虚拟声卡的云桌面声音采集方法，能够实现云桌面客户端硬件声卡麦克风到云桌面服务端的重定向，且，能够实现云桌面服务端至云桌面客户端声音播放的重定向，填补目前云桌面声音采集的空白；

为实现上述目的，本发明提供了一种基于虚拟声卡的云桌面声音采集方法，应用于云桌面服务端，所述方法包括以下步骤：

接收来自云桌面客户端的第一声音数据，对所述第一声音数据进行编码封包后通过网络传输至云桌面服务端，通过所述云桌面服务端将所述第一声音数据写入至所述云桌面服务端的虚拟声卡的麦克风，响应于录音指令，需要录音的应用从所述虚拟声卡读取所述第一声音数据；其中，所述第一声音数据为云桌面客户端通过硬件声卡的麦克风获取的声音数据；

将第二声音数据写入至所述云桌面服务端的虚拟声卡的扬声器，响应于所述第二声音数据，对所述第二声音数据进行编码封包后通过所述网络传输至所述云桌面客户端，通过所述云桌面客户端的扬声器进行播放；其中，所述第二声音数据为所述云桌面服务端的虚拟声卡的扬声器播放的声音数据。

可选地，所述编码封包包括：

对所述第一声音数据采用Opus音频编解码器进行音频编码。

可选地，所述网络传输包括：

通过RTP实时传输协议将编码封包后的所述第一声音数据传输至所述云桌面服务端。

可选地，所述网络传输还包括：

采用WebRTC通讯技术，对编码封包后的所述第一声音数据进行质量增强。

可选地，进行所述网络传输时，还包括：

采用KMDF核心模式驱动程序架构驱动所述云桌面服务端的虚拟声卡，基于所述KMDF核心模式驱动程序架构，将所述虚拟声卡的麦克风在打开时标记为使用中，关闭时标记为未使用；将所述虚拟声卡的扬声器在打开时标记为使用中，关闭时标记为未使用。

可选地，对所述第一声音数据和第二声音数据进行所述编码封包时，还包括：对所述第一声音数据和第二声音数据进行话音/乐音检测；

通过对所述第一声音数据和所述第二声音数据进行频谱分析，当所述第一声音数据，和/或，第二声音数据为话音时，采用Opus音频编解码器的宽带低码率编码方案；当所述第一声音数据，和/或，第二声音数据为乐音时，采用Opus音频编解码器的宽带高码率编码方案。

本发明的有益效果为：

本发明通过对第一声音数据进行编码封包后通过网络传输至云桌面服务端，通过云桌面服务端将第一声音数据写入至云桌面服务端的虚拟声卡的麦克风，使需要录音的应用从虚拟声卡读取第一声音数据；将第二声音数据写入至云桌面服务端的虚拟声卡的扬声器，响应于第二声音数据，对第二声音数据进行编码封包后通过网络传输至云桌面客户端，通过云桌面客户端的扬声器进行播放。实现了云桌面客户端硬件声卡麦克风到云桌面服务端的重定向，且，实现了云桌面服务端至客户端声音播放的重定向，填补了目前云桌面声音采集的空白。

附图说明

为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例云桌面声音采集方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例云桌面声音采集方法的流程图，如图1所示，本发明公开了一种基于虚拟声卡的云桌面声音采集方法，其中，以下所述的云桌面服务端的虚拟声卡是通过编写驱动实现的虚拟声卡，云桌面客户端使用的是实体硬件声卡，所述虚拟声卡同实体硬件声卡一样，可以播放和录音，采用KMDF核心模式驱动程序架构编写驱动云桌面服务端的虚拟声卡。云桌面声音采集方法包括以下步骤：

在云桌面客户端通过实体硬件声卡的麦克风进行录音，接收来自云桌面客户端的第一声音数据，云桌面客户端的服务器对第一声音数据进行编码封包后通过网络传输至云桌面服务端，通过云桌面服务端的后台程序将第一声音数据写入至云桌面服务端的虚拟声卡的麦克风，至此，需要录音的应用就可以从虚拟声卡读取第一声音数据（“读”操作），这样，就实现了将云桌面客户端的实体硬件声卡的麦克风重定向到了云桌面服务端。其中，所述第一声音数据为客云桌面户端通过实体硬件声卡的麦克风录音得到的声音数据；

具体地，在本实施例中，采用Opus音频编解码器对第一声音数据进行音频编码，Opus音频编解码器是一款完全开放且功能多样的音频编解码器，它适用于互联网上的交互式语音和音乐传输，应用场景广泛；对所述第一声音数据进行编码封包后，通过RTP实时传输协议将编码封包后的第一声音数据传输至云桌面服务器，RTP实时传输协议广泛应用于IP电话、视频会议、实时音频和视频流等实时通信场景，能够在有限带宽和延迟的网络环境下提供高质量的实时传输服务；同时，RTP实时传输协议支持多种编码格式，拓展了使用场景。然后，通过云桌面服务端的后台程序将第一声音数据写入至云桌面服务端的虚拟声卡的麦克风。其中，所述后台程序用于对云桌面服务端进行管理，接收客户端的键盘、鼠标、摄像头、声音等数据，并将云桌面服务端的电脑屏幕、声音等数据发送至客户端。

云桌面服务端的虚拟声卡的扬声器会播放声音，即第二声音数据，将第二声音数据写入至云桌面服务端的虚拟声卡的扬声器，通过后台程序读取写入的第二声音数据，云桌面服务端响应于第二声音数据，对第二声音数据进行编码封包后通过网络传输至云桌面客户端，云桌面客户端的服务器接收到第二声音数据后，通过云桌面客户端的扬声器（本地扬声器）进行播放（“写”操作），至此，实现了将云桌面服务端播放的声音重定向到了本地进行播放；其中，第二声音数据为所述云桌面服务端的虚拟声卡的扬声器播放的声音数据。

进一步地，在本实施例中，判断虚拟声卡的麦克风和扬声器的工作状态（使用/未使用），并将其工作状态（标志）通过RTP实时传输协议网络传输至客户端，只有当麦克风和扬声器处于使用状态时，才进行网络数据传输，以减少无效声音数据的网络传输量，降低能耗。进一步地，虚拟声卡是采用KMDF核心模式驱动程序架构进行编写驱动的，基于KMDF核心模式驱动程序架构，将虚拟声卡的麦克风在打开时标记为使用中，关闭时标记为未使用；将虚拟声卡的扬声器在打开时标记为使用中，关闭时标记为未使用。

进一步地，在本实施例中，对第一声音数据和第二声音数据进行编码封包时，对第一声音数据和第二声音数据进行话音/乐音检测，话音是空气由肺部排入喉部，经过声带进入声道，最后由嘴辐射出声波，形成的声音，乐音是指发音物体有规律地振动而产生的具有固定音高的声音，可以用基频、振幅和倍频来表示；通过对第一声音数据和第二声音数据进行频谱分析，从而检测出当前声音是乐音还是话音。当第一声音数据，和/或，第二声音数据为话音时，采用Opus音频编解码器的宽带低码率编码方案只需要保留人声能识别的数据即可；当第一声音数据，和/或，第二声音数据为乐音时，采用Opus音频编解码器的宽带高码率编码方案，能够充分保留乐音频谱特性。

进一步地，在本实施例中，采用WebRTC（Web Real-Time Communications）通讯技术，对编码封包后的第一声音数据和第二声音数据进行质量增强，WebRTC是一项实时通讯技术，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点（Peer-to-Peer）的连接，实现视频流、音频流或者其他任意数据的传输。具体地，包括：采用WebRTC提供的回声消除、背景噪声抑制和自动增益控制等方法，提高声音质量，增强用户体验。

本发明通过对第一声音数据进行编码封包后通过网络传输至云桌面服务端，通过云桌面服务端将第一声音数据写入至云桌面服务端的虚拟声卡的麦克风，使需要录音的应用从虚拟声卡读取第一声音数据；将第二声音数据写入至云桌面服务端的虚拟声卡的扬声器，响应于第二声音数据，对第二声音数据进行编码封包后通过网络传输至云桌面客户端，通过云桌面客户端的扬声器进行播放。实现了云桌面客户端硬件声卡麦克风到云桌面服务端的重定向，且，实现了云桌面服务端至云桌面客户端声音播放的重定向，填补了目前云桌面声音采集的空白。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于虚拟声卡的云桌面声音采集方法，其特征在于，应用于云桌面服务端，所述方法包括以下步骤：

接收来自云桌面客户端的第一声音数据，对所述第一声音数据进行编码封包后通过网络传输至云桌面服务端，通过所述云桌面服务端将所述第一声音数据写入至所述云桌面服务端的虚拟声卡的麦克风，响应于录音指令，需要录音的应用从所述虚拟声卡读取所述第一声音数据；其中，所述第一声音数据为云桌面客户端通过硬件声卡的麦克风获取的声音数据；

将第二声音数据写入至所述云桌面服务端的虚拟声卡的扬声器，响应于所述第二声音数据，对所述第二声音数据进行编码封包后通过所述网络传输至所述云桌面客户端，通过所述云桌面客户端的扬声器进行播放；其中，所述第二声音数据为所述云桌面服务端的虚拟声卡的扬声器播放的声音数据；

对所述第一声音数据和第二声音数据进行话音/乐音检测，包括：通过对所述第一声音数据和所述第二声音数据进行频谱分析，当所述第一声音数据，和/或，第二声音数据为话音时，采用Opus音频编解码器的宽带低码率编码方案；当所述第一声音数据，和/或，第二声音数据为乐音时，采用Opus音频编解码器的宽带高码率编码方案；

其中，所述网络传输包括：

采用KMDF核心模式驱动程序架构驱动所述云桌面服务端的虚拟声卡，基于所述KMDF核心模式驱动程序架构，将所述虚拟声卡的麦克风在打开时标记为使用中，关闭时标记为未使用；将所述虚拟声卡的扬声器在打开时标记为使用中，关闭时标记为未使用。

2.根据权利要求1所述的云桌面声音采集方法，其特征在于，所述编码封包包括：

对所述第一声音数据采用Opus音频编解码器进行音频编码。

3.根据权利要求1所述的云桌面声音采集方法，其特征在于，所述网络传输包括：

通过RTP实时传输协议将编码封包后的所述第一声音数据传输至所述云桌面服务端。

4.根据权利要求1所述的云桌面声音采集方法，其特征在于，所述网络传输还包括：

采用WebRTC通讯技术，对编码封包后的所述第一声音数据进行质量增强。