CN106790576A - 一种互动桌面同步方法 - Google Patents

一种互动桌面同步方法 Download PDF

Info

Publication number
CN106790576A
CN106790576A CN201611228411.1A CN201611228411A CN106790576A CN 106790576 A CN106790576 A CN 106790576A CN 201611228411 A CN201611228411 A CN 201611228411A CN 106790576 A CN106790576 A CN 106790576A
Authority
CN
China
Prior art keywords
terminal
throwing
data
desktop
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611228411.1A
Other languages
English (en)
Other versions
CN106790576B (zh
Inventor
张雄坚
张文章
郑传江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huilong Jiantong Industry Co Ltd
Original Assignee
Shenzhen Huilong Jiantong Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huilong Jiantong Industry Co Ltd filed Critical Shenzhen Huilong Jiantong Industry Co Ltd
Priority to CN201611228411.1A priority Critical patent/CN106790576B/zh
Publication of CN106790576A publication Critical patent/CN106790576A/zh
Application granted granted Critical
Publication of CN106790576B publication Critical patent/CN106790576B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种互动桌面同步方法，属于通信技术领域。本发明包括步骤：A）通过服务器获取同步系统终端的信息，并在所述同步系统终端中选出主投端或被投终端；B）主投端与被投终端之间建立连接；C）主投端采集桌面数据放入缓冲区中，并对所述桌面数据进行编码和封装，将封装成的媒体包发送到被投终端；D）被投终端的解码播放端将接收到的媒体包存入缓冲区进行解码播放，若缓冲区的长度超过设定的阈值，则进入追赶模式加速媒体数据播放速度。本发明降低了视频同步延时，保障了信息的实时性和及时性。

Description

一种互动桌面同步方法
技术领域
本发明涉及通信领域，尤其涉及一种互动桌面同步方法。
背景技术
目前基于Miracast等协议的桌面同步，只能在同一网段的局域网内使用，由于采用基于UDP的RTP协议（Real-time Transport Protocol 实时传输协议）传输，在WiFi环境下，丢包会造成画面缺失不完整，且造成主投端和被投终端（接收端）媒体数据播放不同步。即在接收端收到媒体包后,进行解码、放入缓冲等待被播放，理想情况下，收到包后立刻解码播放，即缓冲区应该始终为空，所以，缓冲区里的缓冲媒体数据有多少就是延时多少，要降低延时, 就要控制这个缓冲的大小，延时可以接受的范围为300ms-500ms，即缓冲区要控制在这个范围内。
发明内容
针对现有技术中存在的缺陷或不足，本发明所要解决的技术问题是：提供一种互动桌面同步方法，解决现有技术播放延时的技术问题。
为了达上述目的，本发明采取的技术方案为提供一种互动桌面同步方法，包括如下步骤：
A）通过服务器获取同步系统终端的信息，并在所述同步系统终端中选出主投端或被投终端；通过多网段自动发现技术获取同一网络下所有终端的信息，以便于新加入的终端获取整个网络下终端的信息；
B）主投端与被投终端之间建立连接；
C）主投端采集桌面数据放入缓冲区中，并对所述数据进行编码和封装，将封装成的媒体包发送到被投终端；
D）被投终端的解码播放端将接收到的媒体包存入缓冲区进行解码播放，若缓冲区的长度超过设定的阈值，则进入追赶模式加速媒体数据播放速度；及时降低了延时，使主投端与被投终端之间的画面更加同步，保证了互动的及时性和流畅性。
作为本发明的进一步改进，步骤A包括：
A1：服务器向所述同步系统终端所在网段发送广播包，所述同步系统终端收到所述广播包将自身的信息回报给服务器，服务器对所述信息进行存储；
A2：服务器向其它网段的所有终端的主机地址发送UDP消息；
A3：所述同步系统终端设有TCP监听服务监听所述同步系统终端上的端口，当所述端口收到广播包时给服务器返回响应消息。
A4：设定的时间，返回执行步骤A1-A3，服务器根据同步系统终端的响应消息判断是否有异常下线的同步系统终端。
作为本发明的进一步改进，所述主投端通过TCP协议或RTP协议将媒体包传输到被投终端，当不注重画质以及丢包的情况下,选择RTP传输，注重画质的质量时,选择稳定的TCP协议。
作为本发明的进一步改进，步骤B）中所述连接为媒体连接。
作为本发明的进一步改进，所述主投端为每个媒体连接建立帧缓冲，发送媒体包时，若存入帧缓冲的媒体包数量超过2M字节，便主动清理不发送。
作为本发明的进一步改进，步骤C）中所述封装为TLV封装，TLV是指由数据的类型Tag，数据的长度Length，数据的值Value组成的结构体，几乎可以描任意数据类型，TLV的Value也可以是一个TLV结构，正因为这种嵌套的特性，可用于包装协议的实现。
作为本发明的进一步改进，步骤C）还包括：
C1：采集桌面数据时，控制输入到缓冲区中桌面数据的长度；
C2：判断所述桌面数据的长度是否超过阈值；
C3：若超过阈值，则抛弃先接收的帧；提高了媒体传输的及时性，降低了时间延迟。
作为本发明的进一步改进，所述媒体数据包括视频数据与音频数据，通过调高输出采样率加速音频数据的播放，步骤D）中所述阈值在300ms-500ms之内。
本发明的有益效果是：本发明降低了传输延迟，保证了不同情形下主投端与被投终端之间信息的实时性。
附图说明
图1是本发明提供的互动桌面同步方法流程图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
如图1所示，本发明为互动桌面同步方法的流程图，包括以下步骤：
步骤A）通过服务器获取同步系统终端的信息，并在所述同步系统终端中选出主投端或被投终端；通过多网段自动发现技术获取同一网络下所有终端的信息，以便于新加入的终端获取整个网络下终端的信息。
服务器向整个同一网段的主机发送广播包，端口号为5550，所述广播包可以被路由，可以经由路由器到达本网段内所有的主机，所述主机可以是同步客户端也可以是其他服务器终端，所述终端设有TCP监听服务，用于监听所述5550端口，当5550端口接收到广播包后及时给服务器返回响应消息，并将自身的地址信息、身份信息以及分组等信息回报给所述服务器，服务器将这些信息存储起来；服务器还向其他网段的终端发送UDP消息，端口5550，这样新加入本网络中的终端就可以获取到整个网络下的同步客户端或者服务器等终端，且这种发现扫描会定期执行，其周期是1至3分钟，用于防止应用崩溃而没有正常退出等异常情况。
步骤B） 主投端与被投终端之间建立连接，所述主投端为每一个连接建立帧缓冲；这样的设置使得ＣＰＵ过高时自动降低采集频率，而不至于缓冲过多而导致延迟。
步骤C）主投端采集桌面数据放入缓冲区中，并对所述数据进行编码和封装，将封装成的媒体包发送到被投终端；采集桌面数据时，控制输入到缓冲区中桌面数据的长度，判断所述桌面数据的长度是否超过阈值，若超过阈值，则抛弃较老的帧；即在CUP使用较高时，自动降低采集频率，并抛弃先采集的帧，而不至于缓冲过多而导致延时，提高了媒体传输的及时性，降低了时间延迟。所述桌面数据包括桌面画面、声音，即正在运行的可视可听的媒体数据以及打开视频播放软件正在播放的视频和声音等，并对所述桌面数据进行编码和封装，启动主投端与被投终端之间的连接，所述连接包括信令连接、IO连接以及媒体连接，所述主投端为每个媒体连接建立帧缓冲，将封装成的媒体包发送到被投终端，所述封装方法为TLV；TLV是指由数据的类型Tag，数据的长度Length，数据的值Value组成的结构体，几乎可以描任意数据类型，TLV的Value也可以是一个TLV结构，正因为这种嵌套的特性，可以让我们用来包装协议的实现，TLV是由数据的类型Tag，数据的长度Length以及数据的值Value组成的结构体，length是value域的长度，Value是数据本身，Length域的编码比较简单,最多有四个字节，所以使用TLV方式封装采集到的数据，使得编码和解码机制简单易实现，且数据编解速度快，占用空间小；封装完成后发送到被投终端，所述主投端通过TCP协议或RTP协议将桌面数据传输到被投终端，当不注重画质以及丢包的情况下,选择RTP传输，注重画质的质量时,选择稳定的TCP协议，两个传输协议之间可自动切换；RTP，用于实时传输数据，RTP传输协议是一种基于UDP的传输协议，RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务；这样，对于那些丢失的数据包，不存在由于超时检测而带来的延时，同时，对于那些丢弃的包，也可以由上层根据其重要性来选择性的重传，比如，对于I帧、P帧、B帧数据，由于其重要性依次降低，故在网络状况不好的情况下，可以考虑在B帧丢失甚至P帧丢失的情况下不进行重传，这样，在被投终端，虽然可能会有短暂的不清晰画面，但却保证了实时性的体验和要求；而TCP传输协议为了实现网络通信的可靠性，使用了复杂的拥塞控制算法，建立了繁琐的握手过程以及重传策略，是以在网络允许的情况下使用TCP传输协议，在网络较差的情况下使用传输效果稍次但是传输速度强于TCP协议的RTP传输协议，这样可以在不同的场景下满足不同的用户的需求；但在发送过程中，所述帧缓冲中的媒体包的大小超过2M字节时，则主动将这此包丢弃不发送，以保证主投端与被投终端之间的信息的同步性。
步骤D) 被投终端的解码播放端将接收到的媒体包存入缓冲区进行解码播放，若缓冲区的长度超过设定的阈值，则进入追赶模式加速媒体数据播放速度；解码播放端将通过TLV封装成的媒体包存储到被投终端上的缓冲区内，并解码为播放器可播放的格式，即媒体数据，然后对其进行播放，在理想情况下，被投终端接收到媒体包后应立刻对其进行解码并播放，即被投终端缓冲区里的媒体数据始终是空的，所以, 缓冲区内的媒体数据的大小是多少就是延时多少，若要降低延时，就要控制所述缓冲区长度；即当缓冲区长度超过阈值则进入追赶模式，加速媒体数据播放，而对媒体数据中的音频数据进行加速播放时，具体方法是调高输出采样率加速播放，即对缓冲区内的音频数据进行重采样，常用的重采样方法有最邻近内插法、双线性内插法和三次卷积法内插，其中，最邻近内插法最为简单，计算速度快，但是视觉效应差；双线性插值会使图像轮廓模糊；三次卷积法产生的图像较平滑，有好的视觉效果，但计算量大，较费时；若缓冲区长度超过阈值，则将音频采样率变换成新的采样率以适应不同采样率的要求，并加快音频数据的播放速度，直到缓冲区内缓冲区长度在阈值之内，才恢复正常播放速度，所述阈值的范围在300ms-500ms之间。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种互动桌面同步方法，其特征在于，包括如下步骤：
A）通过服务器获取同步系统终端的信息，并在所述同步系统终端中选出主投端或被投终端；
B）主投端与被投终端之间建立连接；
C）主投端采集桌面数据放入缓冲区中，并对所述数据进行编码和封装，将封装成的媒体包发送到被投终端；
D）被投终端的解码播放端将接收到的媒体包存入缓冲区进行解码播放，若缓冲区长度超过设定的阈值，则进入追赶模式加速媒体数据播放速度。
2.根据权利要求1所述互动桌面同步方法，其特征在于，步骤A包括：
A1:服务器向所述同步系统终端所在网段发送广播包，所述同步系统终端收到所述广播包将自身的信息回报给服务器，服务器对所述信息进行存储；
A2:服务器向其它网段的所有终端的主机地址发送UDP消息；
A3:所述同步系统终端设有TCP监听服务监听所述同步系统终端上的端口，当所述端口收到广播包时给服务器返回响应消息。
3.根据权利要求2所述互动桌面同步方法，其特征在于，所述步骤A还包括步骤：
A4:每隔设定的时间，返回执行步骤A1-A3，服务器根据同步系统终端的响应消息判断是否有异常下线的同步系统终端。
4.根据权利要求1所述互动桌面同步方法，其特征在于，步骤B中所述连接为媒体连接，所述主投端为每个媒体连接建立帧缓冲。
5.根据权利要求1所述互动桌面同步方法，其特征在于，步骤C中，所述封装为TLV封装。
6.根据权利要求1所述互动桌面同步方法，其特征在于，步骤C还包括以下步骤：
C1：采集桌面数据时，控制输入到缓冲区中桌面数据的长度；
C2：判断所述桌面数据的长度是否超过阈值；C3：若超过阈值，则抛弃先接收的帧。
7.根据权利要求1所述互动桌面同步方法，其特征在于，所述主投端通过TCP协议或RTP协议将媒体包传输到被投终端。
8.根据权利要求7所述互动桌面同步方法，其特征在于，步骤C发送媒体包时，若存入帧缓冲的媒体包数量超过2M字节，便主动清理不发送。
9.根据权利要求1所述互动桌面同步方法，其特征在于，步骤D中，所述媒体数据包括视频数据与音频数据，通过调高输出采样率加速所述音频数据的播放。
10.根据权利要求9所述互动桌面同步方法，其特征在于，步骤D中，所述阈值在300ms-500ms之内。
CN201611228411.1A 2016-12-27 2016-12-27 一种互动桌面同步方法 Expired - Fee Related CN106790576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611228411.1A CN106790576B (zh) 2016-12-27 2016-12-27 一种互动桌面同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611228411.1A CN106790576B (zh) 2016-12-27 2016-12-27 一种互动桌面同步方法

Publications (2)

Publication Number Publication Date
CN106790576A true CN106790576A (zh) 2017-05-31
CN106790576B CN106790576B (zh) 2020-01-31

Family

ID=58922761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611228411.1A Expired - Fee Related CN106790576B (zh) 2016-12-27 2016-12-27 一种互动桌面同步方法

Country Status (1)

Country Link
CN (1) CN106790576B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290413A (zh) * 2019-07-02 2019-09-27 广州清汇信息科技有限公司 一种多媒体数据录制方法、播放方法及录制分享系统
CN114257858A (zh) * 2022-03-02 2022-03-29 浙江宇视科技有限公司 一种基于情感计算的内容同步方法和装置
WO2022179306A1 (zh) * 2021-02-26 2022-09-01 华为技术有限公司 一种音视频播放方法、装置和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674364A (zh) * 2009-09-28 2010-03-17 深圳华为通信技术有限公司 一种无线屏幕拼接显示方法、移动通信终端和装置
CN102377823A (zh) * 2011-10-18 2012-03-14 北京优朋普乐科技有限公司 一种通过滑屏实现多屏多用户之间互动分享的方法及系统
CN102546608A (zh) * 2011-12-26 2012-07-04 上海聚力传媒技术有限公司 用于同步播放媒体信息的方法、装置、设备和系统
CN103248939A (zh) * 2012-02-03 2013-08-14 海尔集团公司 一种实现多屏同步显示的方法及系统
CN103428556A (zh) * 2012-05-17 2013-12-04 华为技术有限公司 多屏互动的方法及系统
CN103546589A (zh) * 2013-10-18 2014-01-29 广州市盛戈移软信息科技有限公司 基于Wi-Fi环境下的移动终端相互主动识别方法
CN103957451A (zh) * 2014-05-09 2014-07-30 杭州智屏科技有限公司 一种基于多路广播技术的多屏互动实现方法
CN104521189A (zh) * 2013-08-09 2015-04-15 华为技术有限公司 网络终端获取业务的方法、设备、系统
CN105812902A (zh) * 2016-03-17 2016-07-27 联发科技（新加坡）私人有限公司 数据播放的方法、设备及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674364A (zh) * 2009-09-28 2010-03-17 深圳华为通信技术有限公司 一种无线屏幕拼接显示方法、移动通信终端和装置
CN102377823A (zh) * 2011-10-18 2012-03-14 北京优朋普乐科技有限公司 一种通过滑屏实现多屏多用户之间互动分享的方法及系统
CN102546608A (zh) * 2011-12-26 2012-07-04 上海聚力传媒技术有限公司 用于同步播放媒体信息的方法、装置、设备和系统
CN103248939A (zh) * 2012-02-03 2013-08-14 海尔集团公司 一种实现多屏同步显示的方法及系统
CN103428556A (zh) * 2012-05-17 2013-12-04 华为技术有限公司 多屏互动的方法及系统
CN104521189A (zh) * 2013-08-09 2015-04-15 华为技术有限公司 网络终端获取业务的方法、设备、系统
CN103546589A (zh) * 2013-10-18 2014-01-29 广州市盛戈移软信息科技有限公司 基于Wi-Fi环境下的移动终端相互主动识别方法
CN103957451A (zh) * 2014-05-09 2014-07-30 杭州智屏科技有限公司 一种基于多路广播技术的多屏互动实现方法
CN105812902A (zh) * 2016-03-17 2016-07-27 联发科技（新加坡）私人有限公司 数据播放的方法、设备及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290413A (zh) * 2019-07-02 2019-09-27 广州清汇信息科技有限公司 一种多媒体数据录制方法、播放方法及录制分享系统
CN110290413B (zh) * 2019-07-02 2021-12-10 广东清汇信息科技股份有限公司 一种多媒体数据录制方法、播放方法及录制分享系统
WO2022179306A1 (zh) * 2021-02-26 2022-09-01 华为技术有限公司 一种音视频播放方法、装置和电子设备
CN114257858A (zh) * 2022-03-02 2022-03-29 浙江宇视科技有限公司 一种基于情感计算的内容同步方法和装置
CN114257858B (zh) * 2022-03-02 2022-07-19 浙江宇视科技有限公司 一种基于情感计算的内容同步方法和装置

Also Published As

Publication number Publication date
CN106790576B (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN105704580B (zh) 一种视频传输方法
CN108696772B (zh) 一种实时视频的传输方法及装置
CN109194982B (zh) 一种传输大文件流的方法和装置
CN102739503B (zh) VoIP去抖动缓冲区的处理方法
CN103929681A (zh) 一种提升低速网络中rtp视频流处理效率的方法
CN108696773A (zh) 一种实时视频的传输方法及装置
CN101854286B (zh) 基于用户数据报协议的数据流发送、接收方法及装置
JP4733743B2 (ja) リアルタイムコンテンツ配信におけるクライアント入力バッファの使用率を測定するための装置及び方法
CN109246486B (zh) 一种组帧方法和装置
CN109450982B (zh) 一种网络通讯方法和系统
CN108616334A (zh) 报文传输方法及装置、系统、存储介质、电子装置
CN110474721A (zh) 视频数据传输方法、装置及计算机可读存储介质
Bielievtsov et al. Network Technology for Transmission of Visual Information.
CN106790576A (zh) 一种互动桌面同步方法
CN109996127A (zh) 基于视联网的数据传输方法和装置
CN108769735A (zh) 一种网络传输的数据压缩中优化Spice方法
US8416786B2 (en) Data transport container for transferring data in a high speed internet protocol network
CN110768910A (zh) 数据传输方法和装置
CN103780869B (zh) 一种视频会话中动态调整视频传输效率的方法
CN110138631B (zh) 一种视联网隧道的连通性检测方法及终端设备
CN105791886B (zh) 支持细粒度数据分片的无线流媒体视频服务系统与方法
CN110769297A (zh) 一种音视频数据的处理方法和系统
JP2004135239A (ja) データ配信装置、受信装置、データ配信方法、データ配信プログラム、および該プログラムを記録した記録媒体
CN105611424B (zh) 基于rudp的音视频可靠传输qos方法、接收端及系统
JP2004260668A (ja) 動画像伝送システム、動画像送信装置、動画像中継装置、動画像受信装置、プログラム、および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200131

Termination date: 20201227