CN113286169B - 一种基于rfb协议的音频视频的传输方法 - Google Patents

一种基于rfb协议的音频视频的传输方法 Download PDF

Info

Publication number
CN113286169B
CN113286169B CN202110458636.0A CN202110458636A CN113286169B CN 113286169 B CN113286169 B CN 113286169B CN 202110458636 A CN202110458636 A CN 202110458636A CN 113286169 B CN113286169 B CN 113286169B
Authority
CN
China
Prior art keywords
audio
rfb
video
client
transmission method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110458636.0A
Other languages
English (en)
Other versions
CN113286169A (zh
Inventor
孙龙飞
刘莉
黄远鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Quanyun Internet Technology Co ltd
Original Assignee
Shanghai Quanyun Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Quanyun Internet Technology Co ltd filed Critical Shanghai Quanyun Internet Technology Co ltd
Priority to CN202110458636.0A priority Critical patent/CN113286169B/zh
Publication of CN113286169A publication Critical patent/CN113286169A/zh
Application granted granted Critical
Publication of CN113286169B publication Critical patent/CN113286169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明提供了一种基于RFB协议的音频视频的传输方法，包括RFB客户端音频视频传输方法和RFB服务端音频视频传输方法，所述RFB服务端音频视频传输方法包括处理RFB客户端发送的事件以及将音频视频传输至RFB客户端，所述RFB客户端音频视频传输方法包括向RFB服务端发送事件以及接收RFB服务端的音频视频信号，所述RFB服务端音频视频传输方法包括Section 1音频视频的抓取方法和Section 2音频视频的传输方法，所述Section 1音频视频的抓取方法和所述Section 2音频视频的传输方法同步进行，实现了自动的将音频视频数据发送至RFB客户端。其中本发明的有益效果是：提升了程序的运行效率，提高了显示帧率可以进行音频视频信号的传输。

Description

一种基于RFB协议的音频视频的传输方法
技术领域
本发明涉及信号传输技术领域，特别涉及一种基于RFB协议的音频视频的传输方法。
背景技术
RFB(Remote Frame Buffer远程帧缓冲)协议是一个用于远程访问图形用户界面的简单协议。由于RFB协议工作在帧缓冲层，因此它适用于所有的窗口系统和应用程序，如Android、X11、Windows和Macintosh等。用户使用的远程终端(一般包括显示器、键盘和鼠标)称为RFB客户端，引起帧缓冲改变的终端(如窗口系统或应用程序)称为RFB服务器端。RFB协议是一个真正的瘦客户端协议，RFB协议设计时主要考虑的是尽量减少对客户端的需求，在这种情况下，瘦客户端能够运行在大量广泛的硬件平台上，这样实现客户端的任务就尽可能的得到了简化，但目前RFB协议主要用于图片的传输，特别是在Android系统中，由于受限于Android设备JPEG图片压缩的算法，采用RFB协议的传输帧率较低(RK3399设备上实测不足10帧/秒)，还不支持音频视频信号的传输，使得用户的体验感较差。现有的基于RFB协议的图像传输如图1所示，需要客户端发出请求或者操作系统显示通知之后才会触发图像抓取函数，并对图片数据进行压缩，其方法为：
S1：RFB初始化：初始化RFB服务端Socket，初始化运行环境；
S2：初始化图像抓取方法：根据Android系统版本不通，加载不同的动态库，初始化图像抓取函数；
S3：初始化输入设备：创建虚拟输入设备，获取设备句柄；
S4：等待RFB客户端事件：等待从通信Socket读取的客户端事件；
S5：是否发送图像显示更新：是否发送图像更新给客户端，当客户端请求更新图像事件或者Android系统通知显示的图像有更新，会触发步骤S7；
S6：处理其它RFB事件：处理其它RFB客户端事件，比如点击、滑动、按键事件等；
S7：抓取显示图像：调用根据步骤B初始化的图像抓取函数；
S8：对图像进行JPEG压缩：压缩图像数据为JPEG图片数据；
S9：发送给RFB客户端：发送JPEG图片数据给RFB客户端。
因此需要一种基于RFB协议的可以主动进行音频和视频传输，且不会影响图像的帧率的方法。
发明内容
为了解决上述技术问题，本发明中披露了一种可以基于RFB协议进行音频和视频信号传输以及可以提高图片传输帧率的方法，本发明的技术方案是这样实施的：
一种基于RFB协议的音频视频传输方法，包括RFB客户端音频视频传输方法和RFB服务端音频视频传输方法，RFB服务端音频视频传输方法包括处理RFB客户端发送的事件以及将音频视频传输至RFB客户端，所述RFB客户端音频视频传输方法包括向RFB服务端发送事件以及接收RFB服务端的音频视频信号，其特征在于，RFB服务端音频视频传输方法包括Section 1音频视频的抓取方法和Section 2音频视频的传输方法，Section 1音频视频的抓取方法和Section 2音频视频的传输方法同步进行，其中，Section 1音频视频的抓取方法，包括如下步骤：
S1-1：初始化RFB服务端通信Socket；
S1-2：初始化图像抓取业务，初始化视频的编码模块；
S1-3：初始化音频抓取业务，初始化音频的编码模块；
S1-4：开始进行音频视频的编码，把音频视频压缩数据加入缓冲列队；
S1-5：等待音频视频数据的广播信号；
S1-6：若缓冲列队中不存在音频视频压缩数据，回到S1-5；
S1-7：若缓冲列队中存在音频视频压缩数据，则将音频视频压缩数据发送至RFB服务端；
其中，Section 2音频视频的传输方法，包括如下步骤：
S2-1：初始化RFB服务端；
S2-2：加载图像动态库，不同版本得操作系统加载不同的图像动态库，初始化图像抓取函数；
S2-3：初始化输入设备，等待RFB服务端通信Socket读取RFB客户端事件；
S2-4：连接本地音频视频编码模块；
S2-5：处理接收到RFB客户端的事件；
S2-6：若S1-7中的缓冲列队中不存在音频视频的数据，回到S2-5；
S2-7：若S1-7中的缓冲列队中存在音频视频的数据，将读取到的数据发送至RFB客户端。
优选地，Section 1音频视频的抓取方法和Section 2音频视频的传输方法均在RFB服务端本地上进行。
优选地，桌面启动完成后开始Section 2音频视频的传输方法的步骤，开始Section 1音频视频的抓取方法的步骤的同时启动操作系统。
优选地，广播信号为公共数据队列，由RFB服务端对公共数据队列进行抓取。
优选地，在S1-1中启动操作系统，S1-1包括如下步骤：打开RFB服务端通信Socket，等待RFB服务端通信Socket与音频视频编码模块相连接，将RFB服务端通信Socket与音频视频编码模块相连接。
优选地，在S2-2中，图像动态库取决于操作系统的版本。
优选地，在S2-3中，初始化输入设备的内容包括：创建虚拟的输入设备，获取输入设备句柄。
优选地，在S2-5中，RFB服务端处理RFB客户端事件，RFB客户端事件包括点击、滑动和按键，若RFB服务端接收到音频视频信号后将音频视频信号发送至RFB客户端。
优选地，视频编码模块可采用以下编码模块：H.264编码模块、H.265编码模块、MPEG1编码模块和MPEG2编码模块。
优选地，音频编码模块可采用以下编码模块：AAC编码模块、MP3编码模块、APE编码模块和FLAC编码模块。
其中套接字(Socket)，就是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。一个套接字就是网络上进程通信的一端，提供了应用层进程利用网络协议交换数据的机制。从所处的地位来讲，套接字上联应用进程，下联网络协议栈，是应用程序通过网络协议进行通信的接口，是应用程序与网络协议根进行交互的接口。
实施本发明的技术方案可解决现有技术中对于RFB协议只能进行图片传输同时图片传输的帧率较低的技术问题；实施本发明的技术方案，通过对RFB协议的图像更新事件和其他更新事件进行分割同时增加了音视频编码模块，可实现的技术效果包括：1、提升了程序的运行效率；2、提高显示的帧率可以实现音频视频信号的传输。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
图1为现有RFB协议图像流程示意图；
图2为RFB协议音频视频抓取压缩流程示意图；
图3为RFB协议服务端业务流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
在一个优选的具体实施例1中，如图2和图3所示，一种基于RFB协议的音频视频传输方法，包括RFB客户端音频视频传输方法和RFB服务端音频视频传输方法，RFB服务端音频视频传输方法包括处理RFB客户端发送的事件以及将音频视频传输至RFB客户端，RFB客户端音频视频传输方法包括向RFB服务端发送事件以及接收RFB服务端的音频视频信号，RFB服务端音频视频传输方法包括Section 1音频视频的抓取方法和Section 2音频视频的传输方法，Section 1音频视频的抓取方法和所述Section 2音频视频的传输方法同步进行，其中，Section 1音频视频的抓取方法，包括如下步骤：
S1-1：初始化RFB服务端通信Socket；
S1-2：初始化图像抓取业务，初始化视频的编码模块；
S1-3：初始化音频抓取业务，初始化音频的编码模块；
S1-4：开始进行音频视频的编码，把音频视频压缩数据加入缓冲列队；
S1-5：等待音频视频数据的广播信号；
S1-6：若缓冲列队中不存在音频视频压缩数据，回到S1-5；
S1-7：若缓冲列队中存在音频视频压缩数据，则将音频视频数据发送至RFB服务端；
其中，Section 2音频视频的传输方法，包括如下步骤：
S2-1：初始化RFB服务端；
S2-2：加载图像动态库，不同版本的操作系统加载不同的图像动态库，初始化图像抓取函数；
S2-3：初始化输入设备，等待RFB服务端通信Socket读取RFB客户端事件；
S2-4：连接本地音频视频编码模块；
S2-5：处理接收到RFB客户端的事件；
S2-6：若S1-7中的缓冲列队中不存在音频视频的数据，回到S2-5；
S2-7：若S1-7中的缓冲列队中存在音频视频的数据，将读取到的数据发送至RFB客户端。
在一种优选的实施方式中，Section 1音频视频的抓取方法和Section 2音频视频的传输方法均在RFB服务端本地上进行。
在本具体的实施方式中，Section 1音频视频的抓取方法和Section 2音频视频的传输方法均在RFB服务端上进行的步骤，在完成上述步骤之后再将接收到的音频视频信号传输至RFB客户端。
在一种优选的实施方式中，桌面启动完成后开始进行Section 2音频视频的传输方法的步骤，开始进行Section 1音频视频的抓取方法的步骤时启动操作系统。
在本具体实施方式中，在桌面启动之后，将会自动的开始Section 2音频视频的传输方法的步骤，Section 1音频视频的抓取方法和Section 2音频视频的传输方法的步骤是同步进行的，也就是桌面启动之后就开始自动开始Section 1音频视频的抓取方法和Section 2音频视频的传输方法的步骤，当开始Section 1音频视频的抓取方法的步骤的同时启动操作系统。
在一种优选的实施方式中，广播信号为公共数据队列，由RFB服务端对公共数据队列进行抓取。
在该具体的实施方式中，音频视频编码模块输出公共数据队列，RFB服务端对公共数据队列进行抓取，防止音频视频信号发生丢失，RFB服务端获取到音频视频信号后就将信号发送至RFB客户端。
在一种优选的实施方式中，在S1-1中启动操作系统，S1-1包括如下步骤：打开RFB服务端通信Socket，等待RFB服务端通信Socket与音频视频编码模块相连接，将RFB服务端通信Socket与音频视频编码模块相连接。
在本具体的实施方式中，步骤S1-1为RFB服务端音频视频传输最先开始进行的步骤，具体的为，打开操作系统，同时打开RFB服务端的通信Socket，随后等待RFB服务端的通信Socket与音频视频编码模块进行连接，步骤S1-1与步骤S2-4相接，即在S2-4中完成RFB服务端的通信Socket与音频视频编码模块的连接。
在一种优选的实施方式中，在S2-2中，图像动态库取决于操作系统的版本。
在本具体实施方式中，在选用不同的版本的操作系统加载不同的图像动态库，图像动态库为代码库，不同的版本的操作系统会有不同的代码库，因此在选用不同的操作系统时，就会加载不同的图像动态库。
在一种优选的实施方式中，在S2-3中，初始化输入设备的内容包括：创建虚拟的输入设备，获取输入设备句柄。
在本具体实施方式中，在初始化输入设备的过程当中，等待RFB服务端的通信Socket从RFB客户端读取事件，当RFB服务端的通信Socket未从音频视频编码模块读取到数据之后，RFB服务端就处理RFB客户端发来的事件。
在一种优选的实施方式中，在S2-5中，RFB服务端处理RFB客户端事件，RFB客户端事件包括点击、滑动和按键，若RFB服务端接收到音频视频信号后将音频视频信号发送至RFB客户端。
在本具体实施方式中，RFB服务端处理RFB客户端发送的点击、滑动和按键等事件，当RFB服务端接收到音频视频压缩数据时就将接收到的音频视频压缩数据发送至RFB客户端，当未接收到音频视频压缩数据时，将继续处理RFB客户端的事件。
在一种优选的实施方式中，视频编码模块可采用以下编码模块：H.264编码模块、H.265编码模块、MPEG1编码模块和MPEG2编码模块。
在本实施方式中，目前存在不同的视频编码模块的类型，本方法可以适用于不同视频信号的传输，保证了本方法具有广泛的适用性，本方法式通过RFB服务端的通信Socket获取本地视频编码模块输出的视频信号，不同类型的视频信号数据只要能发出广播信号，RFB服务端的通信Socket能够获取之后就可以将视频信号发送至RFB客户端。
在一种优选的实施方式中，音频编码模块可采用以下编码模块：AAC编码模块、MP3编码模块、APE编码模块和FLAC编码模块。
在本实施方式中，目前存在不同的音频编码模块的类型，本方法可以适用于不同音频信号的传输，保证了本方法具有广泛的适用性，本方法式通过RFB服务端的通信Socket获取本地音频编码模块输出的视频信号，不同类型的音频数据只要能发出广播信号，RFB服务端的通信Socket能够获取之后就可以将音频信号发送至RFB客户端。
选用Android系统作为本实施例的操作系统，具体地，选用Android 10.0作为本实施例的操作系统，完成桌面的启动后就主动开始RFB服务端音频视频信号传输的步骤，同时需要RFB服务端对音频视频的数据进行抓取，S1-1：对RFB服务端的通信Socket进行初始化，并且打开Android 10.0系统，等待RFB服务端的通信Socket与本地的音频视频编码模块连接；S1-2：初始化图像抓取业务，初始化视频的编码模块，如H.264编码模块；S1-3：初始化音频抓取业务，初始化音频的编码模块，如AAC编码模块；S1-4：开始进行音频视频的编码，把音频视频压缩数据加入缓冲列队；S1-5：等待音频视频数据的广播信号；S1-6：若缓冲列队中不存在音频视频压缩数据，回到S1-5；S1-7：若缓冲列队中存在音频视频压缩数据，则将音频视频数据发送至RFB服务端。RFB服务端的音频视频传输步骤与对音频视频的数据的抓取步骤是同步进行的，在RFB的服务端同时进行着：S2-1：初始化RFB服务端通信Socket，初始化运行环境；S2-2：加载图像动态库，对抓取函数进行初始化；S2-3：创建虚拟输入设备，获取设备的句柄，等待读取RFB客户端发送的事件；S2-4：在S1-1中RFB服务端的通信Socket一直等待与音频视频编码模块向连接，在该步骤进行连接；S2-5：处理接收到RFB客户端的事件；S2-6：S1-7与该步骤相连接，若未抓取到了音频视频数据，回到S2-5，继续处理RFB客户端的事件；S2-7：若从本地音频视频编码模块读取到数据，将读取到的数据发送至RFB客户端，而且该步骤在桌面打开后一直不断循环进行，实现了主动向RFB客户端发送音频视频，不需要RFB客户端先发出请求RFB服务端再发出音频视频信号，整个步骤是自动进行的。
需要指出的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于RFB协议的音频视频的传输方法，包括RFB客户端音频视频传输方法和RFB服务端音频视频传输方法，所述RFB服务端音频视频传输方法包括处理RFB客户端发送的事件以及将音频视频传输至RFB客户端，所述RFB客户端音频视频传输方法包括向RFB服务端发送事件以及接收RFB服务端的音频视频信号，其特征在于，所述RFB服务端音频视频传输方法包括Section 1音频视频的抓取方法和Section 2音频视频的传输方法，所述Section1音频视频的抓取方法和所述Section 2音频视频的传输方法同步进行，其中，所述Section1音频视频的抓取方法，包括如下步骤：
S1-1：初始化RFB服务端通信Socket；
S1-2：初始化图像抓取业务，初始化视频的编码模块；
S1-3：初始化音频抓取业务，初始化音频的编码模块；
S1-4：开始进行音频视频的编码，把音频视频压缩数据加入缓冲列队；
S1-5：等待音频视频数据的广播信号；
S1-6：若缓冲列队中不存在音频视频压缩数据，回到S1-5；
S1-7：若缓冲列队中存在音频视频压缩数据，则将音频视频数据发送至RFB服务端；
其中，所述Section 2音频视频的传输方法，包括如下步骤：
S2-1：初始化RFB服务端；
S2-2：加载图像动态库，初始化图像抓取函数；
S2-3：初始化输入设备，等待RFB服务端通信Socket读取RFB客户端事件；
S2-4：连接本地音频视频编码模块；
S2-5：处理接收到RFB客户端的事件；
S2-6：若所述S1-7中的缓冲列队中不存在音频视频的数据，回到S2-5；
S2-7：若所述S1-7中的缓冲列队中存在音频视频的数据，将读取到的数据发送至RFB客户端。
2.根据权利要求1所述的一种基于RFB协议的音频视频的传输方法，其特征在于：所述Section 1音频视频的抓取方法和所述Section 2音频视频的传输方法均在所述RFB服务端进行。
3.根据权利要求1所述的一种基于RFB协议的音频视频的传输方法，其特征在于：桌面启动完成后开始所述Section 2音频视频的传输方法的步骤，开始所述Section 1音频视频的抓取方法的步骤的同时启动操作系统。
4.根据权利要求1所述的一种基于RFB协议的音频视频的传输方法，其特征在于：所述广播信号为公共数据队列，所述RFB服务端对所述公共数据队列进行抓取。
5.根据权利要求1所述的一种基于RFB协议的音频视频的传输方法，其特征在于：所述S1-1包括如下步骤：打开所述RFB服务端通信Socket，等待所述RFB服务端通信Socket与所述音频视频编码模块相连接，在所述S2-4中完成所述RFB服务端通信Socket与所述音频视频编码模块的连接。
6.根据权利要求1所述的一种基于RFB协议的音频视频的传输方法，其特征在于：在所述S2-3中，所述初始化输入设备的内容包括：创建虚拟的输入设备，获取输入设备句柄。
7.根据权利要求1所述的一种基于RFB协议的音频视频的传输方法，其特征在于：在所述S2-5中，所述RFB服务端处理RFB客户端事件，所述RFB客户端事件包括点击、滑动和按键。
8.根据权利要求1所述的一种基于RFB协议的音频视频的传输方法，其特征在于：所述视频编码模块可采用以下编码模块：H.264编码模块、H.265编码模块、MPEG1编码模块和MPEG2编码模块。
9.根据权利要求1所述的一种基于RFB协议的音频视频的传输方法，其特征在于：所述音频编码模块可采用以下编码模块：AAC编码模块、MP3编码模块、APE编码模块和FLAC编码模块。
CN202110458636.0A 2021-04-27 2021-04-27 一种基于rfb协议的音频视频的传输方法 Active CN113286169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110458636.0A CN113286169B (zh) 2021-04-27 2021-04-27 一种基于rfb协议的音频视频的传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110458636.0A CN113286169B (zh) 2021-04-27 2021-04-27 一种基于rfb协议的音频视频的传输方法

Publications (2)

Publication Number Publication Date
CN113286169A CN113286169A (zh) 2021-08-20
CN113286169B true CN113286169B (zh) 2023-04-21

Family

ID=77277460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110458636.0A Active CN113286169B (zh) 2021-04-27 2021-04-27 一种基于rfb协议的音频视频的传输方法

Country Status (1)

Country Link
CN (1) CN113286169B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1821490A1 (en) * 2006-02-15 2007-08-22 IBBT vzw Method for transmitting graphical data to a thin client
JP4577267B2 (ja) * 2006-05-17 2010-11-10 株式会社日立製作所 シンクライアントシステム
TW201401808A (zh) * 2012-06-29 2014-01-01 Hon Hai Prec Ind Co Ltd 遠端視訊監控系統及方法
CN103716318A (zh) * 2013-12-25 2014-04-09 杭州网新云视科技有限公司 云计算环境中通过混合使用rfb和h.264编码提高虚拟桌面显示质量的方法
CN104469400B (zh) * 2014-12-17 2018-02-23 浪潮软件集团有限公司 一种基于rfb协议的图像数据压缩方法
CN108174200A (zh) * 2017-11-28 2018-06-15 西安万像电子科技有限公司 图像传输方法及装置
CN110891084A (zh) * 2019-11-08 2020-03-17 深圳市华科智能有限公司 一种基于自主hvdp协议的瘦客户端远程桌面控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘治 ; 董小国 ; .基于RFB协议跨平台网络远程监控系统研究与实现.网络安全技术与应用.2009,(05),全文. *

Also Published As

Publication number Publication date
CN113286169A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
EP1521427B1 (en) Systems and methods for determining remote device media capabilities
US20100199187A1 (en) Instant data sharing system and machine readable medium thereof
US9117288B2 (en) Applying different transport mechanisms for user interface and image portions of a remotely rendered image
US7590750B2 (en) Systems and methods for multimedia remoting over terminal server connections
US8250142B2 (en) Internet video conferencing on a home television
US8910057B2 (en) Accessing window pixel data for application sharing
WO2014070561A1 (en) Home cloud with virtualized input and output over home network
US10223062B1 (en) Method and apparatus of capturing a screen image of a remotely managed machine
US20060233192A1 (en) Display control method and information processing apparatus
US20030009524A1 (en) System and method for point to point integration of personal computers with videoconferencing systems
CN102460410A (zh) 通信系统中发送和接收用户界面的装置和方法
CN102664939A (zh) 一种屏幕镜像移动终端的方法及设备
CN102770827B (zh) 用于在终端的屏幕上显示多媒体内容的方法
CN113286169B (zh) 一种基于rfb协议的音频视频的传输方法
CN114510205A (zh) 显示交互方法、显示设备、电子设备和存储介质
CN107404536B (zh) 一种防止基于OpenStack和Spice的客户端花屏方法及系统
CN110798700B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN110990109B (zh) 一种拼接屏回显方法、终端、系统及存储介质
US20120106541A1 (en) Ip phone and desktop sharing method
EP2728860A2 (en) Integration of video surveillance systems
CN111263218A (zh) 一种实现多设备同步交互的方法及系统
JP4611584B2 (ja) 画像データ表示方法、画像データ表示サーバ、画像データ表示プログラム及び記録媒体
US20240022700A1 (en) Immersive display controller interface
CN115802098B (zh) 一种云端应用的数据交互方法、客户端、渲染端及系统
CN102387118A (zh) 一种数据输出方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant