CN109819201A - 一种会议用辅流数据传输方法、显示方法、会议系统及外围设备 - Google Patents

Abstract

本发明提供一种会议用辅流数据传输方法，电子设备通信连接一外围设备，在电子设备上虚拟一虚拟显示装置以及一虚拟UAC设备，所述虚拟UAC设备用于建立电子设备与外围设备之间的音频数据通道，以便获取音频数据；从电子设备的显卡的输出接口获取图像数据，如果该图像数据需要发送给虚拟显示装置，则将该图像数据，或者该图像数据与音频数据发送给外围设备，由外围设备对外发送。本发明实现跨平台操作系统的兼容性，又能支持复制、扩展等不同的显示模式；采用显卡硬件编码加速，大幅降低了CPU占用率。

Description

一种会议用辅流数据传输方法、显示方法、会议系统及外围 设备

技术领域

本发明属于视频会议技术领域，具体地说，涉及一种会议用辅流数据传输方法、会议用辅流数据显示方法、会议系统以及外围设备。

背景技术

在会议中常常需要将计算机等设备上显示的内容投影到屏幕上展示，或者需要将显示内容通过远程视频会议设备发送到远端，常见的做法是通过计算机的显示输出接口(VGA、DVI、HDMI、DisplayPort等)将音视频信号以有线的方式传输到外部的显示屏幕或者视频会议设备上。但是由于计算机的视频输出接口不统一，不同的计算机可能配置不同的视频输出接口，会议投影或辅流发送设备需要配备不同的接口或者连接线来兼容不同的计算机，导致桌面很多连接线，部署困难，并且导致成本浪费。所以通过统一的标准接口用无线传输的方法输出会议的分享内容是一个有价值的方案，将简化用户的部署连线，同时还可以摆脱音视频线缆的束缚，让用户在无线信号覆盖范围内自由接入，自由移动，能够带来更好的会议体验。

目前，无线显示技术已经发展了多年，国际上有很多大的IT设备厂商和芯片厂商在推动不同的无线显示技术的发展，比如Intel主导的WiDi(Intel Wireless Display)无线高清显示技术，苹果公司推出的Airplay无线显示技术，WiFi联盟主导的Miracast技术，这些都是基于WiFi direct技术，传输经过压缩的图像数据的无线显示技术。另外，还有一些采用更高频带宽度，传输非压缩图像的无线显示技术，比如WirelessHD、WHDI技术、定位于取代HDMI进行高清视频传输的无损无线传输。在这些技术中，压缩和非压缩的无线显示技术各有优缺点，非压缩的无线显示方案图像保真度高，但是传输数据量非常大，这类技术主要是在大带宽、高速、低延迟的无线传输方面的技术创新，基本是基于专用的无线网络进行传输；相对而言，压缩的无线显示方案会损失图像质量，但是在无线传输的时候有优势，传输的数据量更少，可以基于通用的WiFi技术实现。

但是，Intel主导的WiDi(Intel Wireless Display)无线高清显示技术、苹果公司推出的Airplay无线显示技术、WiFi联盟主导的Miracast技术，这三种基于wifi的无线显示标准全部是在特定环境或者设备上应用的技术标准，例如WiDi需要在Intel特定的硬件平台和操作系统上才能实现；Airplay需要在Apple公司的设备上才能得到支持；在windows系统下，由于Miracast标准是基于WiDi核心协议，所以Miracast的硬件要求与WiDi的硬件要求相同。因此，上述三种无线显示技术在会议应用中存在局限性，作为共用设备，存在兼容性不足的缺点，并且这些技术在会议应用中的连接效率较低，用户体验不好。

比利时巴科股份有限公司在专利名称为：用于会议的电子工具和方法，申请公布号为：CN 104412542 A的专利文献中，公开了一种电子会议工具和用于传递来自参会用户的任意媒体内容的方法，其技术方案是构建一套专用的无线显示传输的工具，具有发送端和接收端，发送端是连接到计算机的USB外围设备，内置有计算机程序和无线传输模块，当插入到计算机上时，自动运行该程序，该程序抓取计算机桌面显示图像内容和音频数据，压缩后通过无线传输模块发送到接收端，接收端进行视频图像的解码显示和音频播放。然而该技术方案虽然降低了对硬件和系统的要求，在Windows和MAC OS上都可以运行，并且自建无线网络，用户使用时无需每次配置连接，即插即用，无线发送端和接收端自动连接，显著提升了用户体验。但是由于需要基于计算机应用程序来抓取计算机桌面显示图像并压缩，需要消耗较多的计算机CPU性能，并且所抓取和传输显示的内容只能是计算机桌面所显示的内容，也就是复制或截屏显示，不能实现扩展显示。

另外，会议系统中也经常采用网络连接的方式实现对计算机桌面内容的分享，这种方案的实现方法是将需要分享的计算机和连接显示设备的会议终端都接入IP网络，可互相通信，计算机端运行客户端程序，抓取桌面显示内容进行图像编码压缩，然后通过IP网络发送到会议终端，或者发送到一个终端的服务器，由服务器处理或者不处理转发给接收端，接收端对辅流图像进行解码，并输出显示。这种技术方案虽然不需要额外的硬件外围设备，但是需要在计算机上安装特定的应用，同时接入IP网络，用户使用时需要确保接入了IP网络，并且手动运行应用程序，对用户体验有不利影响。并且，该方案与比利时巴科股份有限公司的技术方案一样，也是需要基于计算机应用程序来抓取计算机桌面显示图像并压缩，需要消耗较多的计算机CPU性能，并且所抓取和传输显示的内容只能是计算机桌面所显示的内容，也就是复制或截屏显示，不能实现扩展显示。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种会议用辅流数据传输方法，采用显卡硬件编码加速，大幅降低了CPU占用率。

本发明提供的会议用辅流数据传输方法，电子设备通信连接一外围设备，在电子设备上虚拟一虚拟显示装置以及一虚拟UAC设备，所述虚拟UAC设备用于建立电子设备与外围设备之间的音频数据通道，以便获取音频数据；从电子设备的显卡的输出接口获取图像数据，如果该图像数据需要发送给虚拟显示装置，则将该图像数据，或者该图像数据与音频数据发送给外围设备，由外围设备对外发送，即，发送给除所述电子设备、虚拟显示装置、虚拟UAC设备以外的其他设备。

本发明在电子设备上虚拟一虚拟显示装置，用户可以通过虚拟显示装置实现屏幕的复制、扩展等，当选择复制或扩展等操作时，本发明直接从电子设备显卡获取图像数据，图像数据被重定向到外围设备，即图像数据被发送给外围设备，再由外围设备对外发送，实现了辅流数据的传输，由于直接从显卡获取数据，利用显卡的硬件处理数据，大大降低了CPU占用率。本发明还虚拟一虚拟UAC设备，遵从计算机操作系统的UAC规范，用于和计算机建立音频播放和发送通道，取得系统提供的UAC音频数据流。本发明所说的电子设备可以是计算机、平板电脑等。本发明的外围设备可以采用USB接口，插接到电子设备上即可实现数据传输，同时还可以利用USB接口供电，需要指出的是，外围设备也可以通过其他方式，如无线通信的方式，与电子设备连接。本发明的电子设备可以是台式机、笔记本、PAD等设备，显示设备可以是电视、台式机、笔记本、PAD、投影仪等设备。本发明利用外围设备发送数据，将电子设备的数据发送给其他设备(不是指虚拟显示装置)，实现了不同系统之间的兼容。

优选地，所述外围设备发送的图像数据是压缩后的数据，图像数据由显卡进行压缩。通过数据压缩降低了无线发送的数据量，通常压缩的格式可以是H.264、MJPEG或者H.265等，并且减少了图像延迟，本发明利用显卡进行数据压缩，进一步降低CPU占用率。

优选地，本发明采用基于动态图像的局部区域差异化编码传输模式，如果前、后帧的图像仅存在部分区域显示内容变化，则从显卡获取的数据为发生变化的部分区域显示内容。进一步减少了编码和传输发送的时间，在接收和处理端解码和重建完整的显示图像，有效改善在静态图像上移动鼠标指针的迟滞感。

优选地，所述外围设备通过无线网络发送，避免通过线缆连接带来的混乱。

本发明还提供一种会议用辅流数据显示方法，采用本发明提供的会议用辅流数据传输方法实现，外围设备通信连接一接收和处理端；接收和处理端获取外围设备发出的数据后，在显示设备上进行显示，或者由接收和处理端发送给第二外围设备，由第二外围设备发送给第二电子设备，在第二电子设备上显示。

优选地，外围设备和/或第二外围设备，与接收和处理端之间先进行连接配对，连接配对成功后才发送数据。

优选地，接收和处理端获取外围设备发出的数据后，将其发送给远端的接收和处理端，在远端的显示设备上显示，或者，由远端的接收和处理端发送给远端的外围设备，由远端的外围设备发送给远端的电子设备，在远端的电子设备上显示。

本发明还提供一种会议系统，包括电子设备、外围设备、接收和处理端、显示设备，所述会议系统采用本发明提供的会议用辅流数据显示方法实现辅流数据的显示。

本发明还提供一种会议系统，包括电子设备、外围设备、接收和处理端、显示设备、远端的电子设备、远端的外围设备、远端的接收和处理端、远端的显示设备，所述会议系统采用本发明提供的会议用辅流数据显示方法实现辅流数据的显示。

本发明还提供一种外围设备，包括无线传输模块、UAC模块、存储模块，所述存储模块中存储有程序，该程序实本发明提供的会议用辅流数据传输方法。

本发明具有以下有益效果：

(1)本发明会议用辅流传输方法既能够实现跨平台操作系统的兼容性，又能支持复制、扩展等不同的显示模式；

(2)本发明会议用辅流传输方法是在系统层采用显卡硬件编码加速，与常见的通过应用软件抓取屏幕显示进行编码传输的方式相比，能够大幅降低CPU占用率。

附图说明

图1为本发明USB外围设备的功能结构图；

图2为本发明虚拟显示拓扑结构图；

图3为本发明无线辅流传输工作流程图；

图4为本发明典型场景应用示意图一；

图5位本发明典型场景应用示意图二。

具体实施方式

本发明用到的术语定义如下：

1、无线辅流：在本地或远程视频会议中，将计算机上的显示界面或内容投影到大屏幕上，或者发送到远端进行分享，所分享的内容定义为辅流，意为辅助的视频流，以无线的方式进行分享的辅流，称为无线辅流。

2、UAC，英文全称是USB Audio Class，USB音频类，是一种系统层面的USB传输协议。

3、VDI，英文全称是Virtual Desktop Infrastructure，虚拟桌面基础架构。通过在数据中心的服务器运行操作系统，将计算机桌面进行虚拟化，存储和计算全部在数据中心的服务器上实现，用户通过客户端设备的协议与虚拟桌面进行连接，用户访问他们的桌面就像是访问传统计算机的本地桌面一样。

实现本发明提供的无线辅流数据传输，需要三个核心组件：

1、应用时连接到计算机上的硬件外围设备。本发明所说的计算机，不仅包括台式机、笔记本，还包括手机终端、平板电脑等电子设备。如图1所示，本发明提供的硬件外围设备是USB外围设备，通过USB接口电路与计算机等设备连接，也可以采用其他已知的与计算机等设备实现连接的接口。USB外围设备包括USB接口电路、无线传输模块、USB闪存模块、UAC功能模块、以及控制按钮和指示灯。(1)USB外围设备具有一个或多个USB接口，设置多个USB接口时可同时连接多台计算机；(2)内置的无线传输模块，在接通电源运行后能自动连接预先配对过的接收端，主要用于无线传输音频和图像数据；(3)USB外围设备如果需要内置存储驱动程序，则需要USB闪存模块，但是该存储模块的功能可以逻辑关闭，作为可选的功能模块，因为在USB外围设备上存储驱动程序不是必须的，可以通过内置的无线传输模块从连接显示的接收和处理端下载驱动程序，也可以由其他途径完成驱动程序的安装；(4)UAC功能模块是在USB外围设备上运行的USB音频类驱动程序模块，该功能模块遵从计算机操作系统的UAC规范，用于和计算机建立音频播放和发送通道；(5)控制按钮用于用户操作开始或停止辅流发送，并通过指示灯呈现不同的工作状态。

2、安装在计算机内的USB虚拟显示驱动，初次使用时需要在计算机上安装。驱动程序安装文件可存储在硬件外围设备内，也可以通过硬件外围设备内置的无线传输模块从连接显示的接收和处理端下载，或者由其他途径获得驱动程序进行安装，如，计算机直接通过互联网下载安装。安装后USB虚拟显示驱动程序将常驻在该计算机的操作系统上，下次使用时无需再次安装。虚拟显示驱动是共享利用该计算机的真实物理显卡的处理能力，基于应用层接口虚拟化技术，建立物理GPU的逻辑映像，在应用层拦截GPU相关的应用程序编程接口，并将显示图像数据重定向到USB接口，建立一个虚拟显示设备的USB数据通道。

3、接收和处理端，用于接收USB外围设备发送的音、视频数据，然后经过处理后发送到远端或者输出到显示设备，但是不局限于连接本地的显示设备，也可以通过网络传输发送到远端进行显示。接收和处理端具有作为无线传输主机的功能或模块，能够同时连接多个硬件外围设备，这里的连接是指无线连接，可以是任何能够传输音视频数据的连接技术，例如，无线局域网(WLAN)，无线局域网(WiFi)，无线局域网直连技术(WiFi Direct)，无线家庭数字接口(WHDI)或任何其它的本领域技术人员熟悉的无线传输网络。通常，无线辅流的接收和处理端是集成在视频会议终端内，图5展示了多个硬件外围设备同时连接的一种应用场景，图中示出了3台笔记本电脑和一台显示设备(接收和处理端可以集成在显示设备中，也可以设置为独立设备)，其中一台笔记本电脑通过USB外围设备将图标分享到显示设备，在显示设备上显示，同时，显示设备(集成了接收和处理端)将该图标分享给了另外两台笔记本电脑，在另外两台笔记本电脑上同步显示。

本发明外围设备是依赖于计算机USB接口供电的即插即用设备，基于安全的需要，在使用之前，外围设备要与接收和处理端预先进行连接配对，连接配对的目的是进行无线连接信息的预先设置，例如采用WiFi传输时，是在外围设备内预先写入接收和处理端的WiFi APSSID和密码。图3展示了外围设备的工作流程图。当外围设备被插入到计算机USB接口上，外围设备上电后将自动运行，外围设备通过其无线传输模块与接收和处理端建立无线连接，同时计算机的USB驱动完成外围设备的USB闪存和UAC设备的加载，如果外围设备没有闪存模块，则不会在计算机上加载USB闪存。然后外围设备将等待计算机的虚拟显示驱动程序的连接信息，如果计算机上没有安装虚拟显示驱动程序，将需要用户手动运行或者允许自动运行USB闪存内的虚拟显示驱动程序安装文件，当然，也可以由别的途径在计算机上预先安装虚拟显示驱动程序，安装后将在计算机后台常驻一个应用服务，以监测外围设备是否有连接到计算机，如果监测到外围设备已经正确连接，后台的常驻服务程序将运行USB虚拟显示驱动程序，在计算机操作系统上将加载显示连接了一台额外的显示设备，用户可以像连接了VGA或HDMI显示设备一样设置显示模式，比如切换复制模式或扩展模式，然后通过USB接口发送第二屏的显示图像和发送音频信号。与计算机直接显示不同，计算机直接显示是通过内置显示屏或HDMI、VGA、DVI、mini DP等图像显示接口输出显示的原始图像信号，本发明的虚拟显示驱动是一种间接显示的模式，通过USB接口发送的是压缩的图像数据，目的是为了降低无线发送的数据量，通常压缩的格式可以是H.264、MJPEG或者H.265等，并且为了减少图像延迟，在只有部分区域显示内容变化的情况下，虚拟显示驱动将只对变化部分的显示图像内容进行压缩编码，进一步减少了编码和传输发送的时间，然后在接收端解码和重建完整的显示图像，这种方式将有效改善在静态图像上移动鼠标指针的迟滞感。本发明利用显卡GPU硬件压缩图像数据，可以不通过软件进行压缩，大大降低了CPU占用率。

图2展示的是USB虚拟显示拓扑结构图，在显卡驱动程序之上同时运行着原有的直接显示应用程序和本发明的虚拟显示应用程序，这里的“直接显示”是指相对于本发明所介绍的“虚拟显示”而言的，“虚拟显示”是一种间接显示模式，其实现原理是在原有的显卡驱动程序之上增加一个显卡过滤驱动，拦截显卡的各种请求和数据，同时将USB外围设备“伪装”成一台显示器，虚拟显示应用将通过显卡过滤驱动传递显示命令请求，并获取显示数据。

图4所示的连接图，展示了本发明的一种典型应用场景，本地会议室的接收和处理端13连接显示设备14，会议桌上的计算机12安装USB虚拟显示驱动，USB外围设备11连接计算机运行后，将加载驱动，在计算机操作系统上识别为连接了一台显示器，以及一个UAC设备，用户操作开始发送辅流后，USB外围设备将通过USB接口取得系统提供的UAC音频数据流，以及USB虚拟显卡程序提供的压缩的显示图像数据流，USB外围设备11通过无线传输模块将这些音频和图像数据流发送到接收和处理端13，接收和处理端13将对图像数据进行解码，并通过显示设备14显示，如果发送端是基于动态图像的局部区域差异化编码传输模式，那么在接收和处理端13需要对图像进行重建处理。在实际应用中，不局限于本地显示，会议系统还包括远端会议室的接收和处理端23、显示设备24、计算机22、USB外围设备21，本地会议室的接收和处理端13可以结合视频会议通信系统，将无线辅流数据发送到远端会议室的一个或多个接收和处理端23，通过显示设备24进行显示，也可以通过计算机22等其他与接收和处理端23通信连接的设备进行显示，本地的接收和处理端13也可以接收和显示远端发送来的无线辅流数据。

Claims (10)

1.一种会议用辅流数据传输方法，电子设备通信连接一外围设备，其特征在于：在电子设备上虚拟一虚拟显示装置以及一虚拟UAC设备，所述虚拟UAC设备用于建立电子设备与外围设备之间的音频数据通道，以便获取音频数据；从电子设备的显卡的输出接口获取图像数据，如果该图像数据需要发送给虚拟显示装置，则将该图像数据，或者该图像数据与音频数据发送给外围设备，由外围设备对外发送，即，发送给除所述电子设备、虚拟显示装置、虚拟UAC设备以外的其他设备。

2.如权利要求1所述的会议用辅流数据传输方法，其特征在于：所述外围设备发送的图像数据是压缩后的数据，图像数据由显卡进行压缩。

3.如权利要求1所述的会议用辅流数据传输方法，其特征在于：如果前、后帧的图像仅存在部分区域显示内容变化，则从显卡获取的数据为发生变化的部分区域显示内容。

4.如权利要求1所述的会议用辅流数据传输方法，其特征在于：所述外围设备通过无线网络发送。

5.一种会议用辅流数据显示方法，采用权利要求1-4任一权利要求所述的会议用辅流数据传输方法实现，外围设备通信连接一接收和处理端；接收和处理端获取外围设备发出的数据后，在显示设备上进行显示，或者由接收和处理端发送给第二外围设备，由第二外围设备发送给第二电子设备，在第二电子设备上显示。

6.如权利要求5所述的会议用辅流数据显示方法，其特征在于：外围设备和/或第二外围设备，与接收和处理端之间先进行连接配对，连接配对成功后才发送数据。

7.如权利要求5或6所述的会议用辅流数据显示方法，其特征在于：接收和处理端获取外围设备发出的数据后，将其发送给远端的接收和处理端，在远端的显示设备上显示，或者，由远端的接收和处理端发送给远端的外围设备，由远端的外围设备发送给远端的电子设备，在远端的电子设备上显示。

8.一种会议系统，包括电子设备、外围设备、接收和处理端、显示设备，所述会议系统采用权利要求5或6所述的会议用辅流数据显示方法实现辅流数据的显示。

9.一种会议系统，包括电子设备、外围设备、接收和处理端、显示设备、远端的电子设备、远端的外围设备、远端的接收和处理端、远端的显示设备，所述会议系统采用权利要求7所述的会议用辅流数据显示方法实现辅流数据的显示。

10.一种外围设备，包括无线传输模块、UAC模块、存储模块，所述存储模块中存储有程序，该程序实现权利要求1-4任一权利要求所述的会议用辅流数据传输方法。