CN114040017A - 一种Android系统远程桌面服务端摄像头重定系统及方法 - Google Patents

Abstract

本发明属于计算机技术领域，尤其是涉及一种Android系统远程桌面服务端摄像头重定向系统及方法。该系统包括系统客户端，系统服务器端，安全传输协议，其中系统客户端包括数据传输模块、数据处理模块、摄像头模块，系统服务器端包括数据传输模块、数据处理模块、摄像头重定向模块、虚拟摄像头、多媒体框架、应用app，安全传输协议使用webrtc传输协议。系统客户端和系统服务器端通过安全传输协议建立连接，进行数据的处理传输，实现将客户端摄像头数据重定向到服务器端的功能。本发明的有益效果是，服务器端使用虚拟摄像头替代真实摄像头，只修改AndroidHAL层代码，容易维护，利于Android版本升级；本地不会保存任何数据，即数据不落地，系统更安全。

Description

一种Android系统远程桌面服务端摄像头重定系统及方法

技术领域

本发明属于计算机技术领域，尤其是涉及一种Android系统远程桌面服务端摄像头重定向系统及方法。

背景技术

Android是目前移动终端市场中市场份额最高的Linux类操作系统，在移动终端领域具有极好的生态环境；传统的桌面将用户的桌面环境和硬件绑定在一起，为了提高硬件利用率，虚拟桌面技术(VDI)应运而生，目前已经有很多成熟的远程桌面技术，例如Microsoft的RDP、Linux的xrdp、VNC和TeamView等，并且已广泛的应用到办公环境系统中。但是随着信息技术的不断发展和社会环境的影响，人们对移动办公的需求越来越高，移动虚拟桌面(VNI)快速发展起来。

移动虚拟桌面的客户端，例如Android手机，Android平板等，移动虚拟桌面的服务器端是在物理机上通过容器运行的Android系统，常用的容器是Docker容器，Docker容器让开发者可以用统一的方式打包他们的应用及依赖包到一个可移植的容器中，实现虚拟化，且完全使用沙箱机制，相互之间不会有任何接口，几乎没有性能开销，非常适合运行Android应用系统，另外Docker通过数据卷，既可以共享宿主机的数据，也可以用来在Docker容器间进行数据共享。

传感器是一种硬件设备，能够探测、感受外界的信号、物理条件(如光、热、湿度)或化学组成(如烟雾)、画面，并将探知的信息传递给其他装置，Android系统提供了对传感器的支持，例如摄像头传感器，Android手机打开摄像头抓取传感器探测到的画面数据形成照片或者录像数据，然后根据需要通过Android多媒体系统传递给不同的Android应用。

服务器端是一个虚拟的Android系统，本身没有任何的硬件设备，客户端通过特定协议连接服务器端共享远程Android桌面，如果应用需要调用传感器，则需要进行设备的重定向，将客户端的传感器数据传递到服务器端虚拟传感器，从而让服务器端的应用程序可以使用客户端的硬件设备。

移动办公很多场景需要摄像头，例如人脸识别，视频通话，扫码登录等，现有的基于Android的远程桌面并不支持对于摄像头的重定向功能，这就导致很多基于摄像头的应用、游戏或者功能都无法使用。

发明内容

为解决上述技术问题，一种Android系统远程桌面服务端摄像头重定向系统及方法，其特征在于，包括以下步骤：

构建数据传输模块用于客户端与服务器端的数据发送、接受和共享；

使用真实摄像头并读取采集的摄像头数据；

传输所述采集的摄像头数据至所述服务器端；

构建摄像头数据处理模块，通过解密、解压缩将数据信息传递至虚拟摄像头；

将所述虚拟摄像头数据传递至应用。

进一步地，所述传输数据至服务器端包括步骤：

构建数据处理模块对所述服务器端传来的指令进行解密，完成数据安全和低延迟的传输；

构建摄像头数据传输模块，通过安全传输协议接受从所述客户端传来的数据。

对获取数据进行加密压缩；

进一步地，构建摄像头模块，根据解密指令打开与客户端对应的真实摄像头，读取所述真实摄像头采集的图片数据。

进一步地所述将虚拟摄像头数据传递至应用包括步骤：

构建摄像头重定向模块，通过数据卷方式将所述解压后的摄像头数据传递至Android系统摄像头对应的驱动文件中；

构建虚拟摄像头模块将所述驱动文件传递至上层Android多媒体框架；

进一步地，所述虚拟摄像头模块为Android的多媒体系统中的Native层提供的HAL层动态库。

进一步地，所述虚拟摄像头重定向模块包括接受应用层程序调用摄像头指令。

进一步地，所述Android系统多媒体框架包括Android的framework层，所述framework层接受驱动传递的多媒体数据传输。

本发明具有的优点和积极效果是：

本发明提供的Android系统远程桌面摄像头重定向的方法，一方面使用安全传输协议连接客户端和服务器端，进行数据的安全和低延迟传输；另一方面重新虚拟化Android驱动层和硬件抽象层的摄像头数据传递过程，Android应用层和框架层都不需要任何改动，使得Android版本的升级和维护更加简洁和方便。服务器端使用虚拟摄像头替代真实摄像头，只修改Android HAL层代码，容易维护，利于Android版本升级；客户端摄像头产生的数据直接通过高安全传输协议传输到了服务器端，本地不会保存任何数据，即数据不落地，系统更安全；使用传输协议直接对客户端摄像头YUV数据进行压缩传输，避免在客户端YUV到RGB再到YUV多次数据格式转换造成的图像质量损失和性能消耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例的流程示意图；

图2是本发明实施例的服务端结构示意图；

图3是本发明实施例的客户端结构示意图；

图4是本发明实施例的系统示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明提供了一种Android系统远程桌面服务端摄像头重定向系统及方法，所述方法包括步骤：

如图1所示，

步骤S1：服务器端和客户端通过安全传输协议建立连接；

步骤S2：服务器端应用程序申请摄像头使用；

步骤S3：服务器端根据应用请求信息通过安全传输协议打开客户端真实摄像头；

步骤S4：客户摄像头采集到(音频/视频)数据进行压缩，加密，通过安全传输协议传输到服务器端；服务器端收到数据进行解密，解压缩并最终传递到虚拟摄像头。

步骤S5：服务器端的虚拟摄像头将数据传递给应用使用。

进一步地，所述步骤S3包括步骤：

步骤S31：构建数据处理模块；

步骤S32：对获取数据进行加密压缩；

进一步地，所述步骤S5包括步骤：

步骤S51：所述解压缩数据传递至驱动文件；

步骤S52：所述驱动文件传递至Android多媒体框架；

如图3所示，基于Android系统远程桌面服务器端摄像头重定向方法及系统的客户端结构图，包括数据传输模块、数据处理模块、摄像头模块。

数据传输模块用于客户端与服务器端之间数据的发送和接受，实现客户端和服务器端数据的共享，从而为摄像头重定向的实现奠定数据基础。

数据处理模块主要是对客户端获取的摄像头数据的加密和压缩，实现数据安全和低延迟的传输，也包括对服务器端传来的指令进行解密。

摄像头模块是根据解密后的指令打开客户端的真实摄像头，读取摄像头数据。

数据传输模块是客户端和服务器端通过安全传输协议创建连接，客户端程序获取到服务器端程序申请摄像头使用的命令，解析命令，根据命令打开客户端摄像头获取摄像头数据；数据处理是客户端通过安全传输协议对摄像头数据进行加密和压缩，将安全和低延迟的数据传输到服务器端。

如图2所示，基于Android系统远程桌面服务器端摄像头重定向系统及方法的服务器结构图，其中包括应用层、Android系统多媒体框架层、虚拟摄像头模块、虚拟摄像头重定向模块、数据处理模块、数据传输模块。

摄像头数据的传输模块，是通过安全传输协议接受从客户端传来的数据，是服务器端摄像头重定向的数据源头。

摄像头数据的处理模块是对数据进行解密和解压缩。

摄像头重定向模块，此模块为摄像头重定向的核心模块之一，通过数据卷的方式将解压后的摄像头数据传递至Android系统摄像头对应的驱动文件中。

虚拟摄像头模块位于Android的硬件抽象层，将驱动文件获得的摄像头数据传到上层Android多媒体框架，提供给应用程序使用。

应用层是需要使用摄像头数据的需求方。

Android系统多媒体框架层包括Android的framework层，对应用层提供多媒体相关的API接口，Android的Narive层，接受驱动传递的多媒体数据并传输到framework层。

虚拟摄像头模块是基于Android的硬件抽象层，为Android的多媒体系统中的Native层提供HAL层动态库，为服务器端摄像头重定向打下基础。

虚拟摄像头重定向模块主要有两个功能，一是接收到应用层程序调用摄像头的指令，通过数据卷的方式发送该指令，并通过数据处理模块对指令进行加密，然后通过数据传输模块将指令发送到客户端；二是通过数据卷的方式将通过数据传输模块收到的摄像头数据传到虚拟摄像头模块。

虚拟摄像头模块将摄像头数据通过Android多媒体系统将摄像头数据传输到应用层，实现了服务器端摄像头重定向。

如图4所示，本发明实施例的客户端、服务器端、安全传输协议部分的系统图，使用的webrtc协议的基本工作过程如下：

webrtc是基于点对点的，直接通过信令服务器创建连接，底层基于udp报文传输协议，实现音视频的实时传输及命令信息的实时传输和实施响应。

通过上述客户端、服务器端、安全传输协议之间的配合达到数据的安全稳定的传输。本发明提供的Android系统远程桌面摄像头重定向的方法，一方面使用安全传输协议连接客户端和服务器端，进行数据的安全和低延迟传输；另一方面重新虚拟化Android驱动层和硬件抽象层的摄像头数据传递过程，Android应用层和框架层都不需要任何改动，使得Android版本的升级和维护更加简洁和方便。服务器端使用虚拟摄像头替代真实摄像头，只修改Android HAL层代码，容易维护，利于Android版本升级；客户端摄像头产生的数据直接通过高安全传输协议传输到了服务器端，本地不会保存任何数据，即数据不落地，系统更安全；使用传输协议直接对客户端摄像头YUV数据进行压缩传输，避免在客户端YUV到RGB再到YUV多次数据格式转换造成的图像质量损失和性能消耗。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (7)

1.一种Android系统远程桌面服务端摄像头重定向系统及方法，其特征在于，包括以下步骤：

构建数据传输模块用于客户端与服务器端的数据发送、接受和共享；

使用真实摄像头并读取采集的摄像头数据；

传输所述采集的摄像头数据至所述服务器端；

构建摄像头数据处理模块，通过解密、解压缩将数据信息传递至虚拟摄像头；

将所述虚拟摄像头数据传递至应用。

2.根据权利要求1所述的一种Android系统远程桌面服务端摄像头重定向系统及方法，其特征在于：所述传输数据至服务器端包括步骤：

构建数据处理模块对所述服务器端传来的指令进行解密，完成数据安全和低延迟的传输；

构建摄像头数据传输模块，通过安全传输协议接受从所述客户端传来的数据。

对获取数据进行加密压缩。

3.根据权利要求1所述的一种Android系统远程桌面服务端摄像头重定向系统及方法，其特征在于：构建摄像头模块，根据解密指令打开与客户端对应的真实摄像头，读取所述真实摄像头采集的图片数据。

4.根据权利要求1所述的一种Android系统远程桌面服务端摄像头重定向系统及方法，其特征在于：所述将虚拟摄像头数据传递至应用包括步骤：

构建摄像头重定向模块，通过数据卷方式将所述解压后的摄像头数据传递至Android系统摄像头对应的驱动文件中；

构建虚拟摄像头模块将所述驱动文件传递至上层Android多媒体框架。

5.根据权利要求1所述的一种Android系统远程桌面服务端摄像头重定向系统及方法，其特征在于：所述虚拟摄像头模块为Android的多媒体系统中的Native层提供的HAL层动态库。

6.根据权利要求1所述的一种Android系统远程桌面服务端摄像头重定向系统及方法，其特征在于：所述虚拟摄像头重定向模块包括接受应用层程序调用摄像头指令。

7.根据权利要求3所述的一种Android系统远程桌面服务端摄像头重定向系统及方法，其特征在于：所述Android系统多媒体框架包括Android的framework层，所述framework层接受驱动传递的多媒体数据传输。

Images