CN109996097B - 一种投屏方法、系统及存储装置 - Google Patents

一种投屏方法、系统及存储装置 Download PDF

Info

Publication number
CN109996097B
CN109996097B CN201910191144.2A CN201910191144A CN109996097B CN 109996097 B CN109996097 B CN 109996097B CN 201910191144 A CN201910191144 A CN 201910191144A CN 109996097 B CN109996097 B CN 109996097B
Authority
CN
China
Prior art keywords
screen projection
projection data
data
screen
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910191144.2A
Other languages
English (en)
Other versions
CN109996097A (zh
Inventor
孔凡列
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Priority to CN201910191144.2A priority Critical patent/CN109996097B/zh
Publication of CN109996097A publication Critical patent/CN109996097A/zh
Application granted granted Critical
Publication of CN109996097B publication Critical patent/CN109996097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Abstract

本发明公开了一种投屏方法、系统及存储装置，所述投屏方法包括：获取投屏数据，投屏数据包括第一类投屏数据和/或第二类投屏数据；将投屏数据传输至目标屏设备，以使目标屏设备接收并显示投屏数据，其中，应用层设置有至少第一传输通道和第二传输通道，在应用层第一类投屏数据与第二类投屏数据分别通过第一传输通道与第二传输通道进行传输，在传输层使用低时延用户数据报传输协议传输投屏数据。通过上述方式，本发明能够减少投屏过程中的卡顿，提高流畅度。

Description

一种投屏方法、系统及存储装置
技术领域
本发明涉及计算机网络技术领域，特别是涉及一种投屏方法、系统及存储装置。
背景技术
随着电子技术的发展，将一设备上的数据投放至另一设备上显示越来越普遍，如将手机或平板上播放的视频投送到智能电视上显示并播放。目前常见的投屏方案一般都采用基于传输控制协议(Transport Control Protocol，TCP)通道的实时消息传输协议(RealTime Messaging Protocol，RTMP)协议来发送数据。但是这种传输方法传输效率相对较低，特别是在网络状况不好的情况下，容易出现网络阻塞，进而导致推流卡顿。
发明内容
本发明主要解决的技术问题是提供一种投屏方法、系统及存储装置，能够减少投屏过程中的卡顿率，提高流畅度。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种投屏方法，所述投屏方法包括：获取投屏数据，投屏数据包括第一类投屏数据和/或第二类投屏数据；将投屏数据传输至目标屏设备，以使目标屏设备接收并显示投屏数据，其中，应用层设置有至少第一传输通道和第二传输通道，在应用层第一类投屏数据与第二类投屏数据分别通过第一传输通道与第二传输通道进行传输，在传输层使用低时延用户数据报传输协议传输投屏数据。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种投屏方法，所述投屏方法包括：投屏设备获取投屏数据，投屏数据包括第一类投屏数据和/或第二类投屏数据；投屏设备将投屏数据传输至目标屏设备，其中，应用层设置有至少第一传输通道和第二传输通道，在应用层第一类投屏数据与第二类投屏数据分别通过第一传输通道与第二传输通道进行传输，在传输层使用低时延用户数据报传输协议传输投屏数据；目标屏设备接收并显示投屏数据。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种投屏设备，所述投屏设备包括处理器、存储器和通信电路，处理器耦接存储器和通信电路，存储器用于存储程序，处理器用于执行所述程序实现上述的投屏方法，利用通信电路将投屏数据传输至目标屏设备。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种投屏设备，所述投屏设备包括：获取模块，用于获取投屏数据，投屏数据包括第一类投屏数据和/或第二类投屏数据；发送模块，用于将投屏数据传输至目标屏设备，以使目标屏设备接收并显示投屏数据，其中，应用层设置有至少第一传输通道和第二传输通道，在应用层第一类投屏数据与第二类投屏数据分别通过第一传输通道与第二传输通道进行传输，在传输层使用低时延用户数据报传输协议传输投屏数据。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种投屏系统，所述投屏系统包括投屏设备和目标屏设备，投屏设备用于获取投屏数据，投屏数据包括第一类投屏数据和/或第二类投屏数据；投屏设备还用于将投屏数据传输至目标屏设备，其中，应用层设置有至少第一传输通道和第二传输通道，在应用层第一类投屏数据与第二类投屏数据分别通过第一传输通道与第二传输通道进行传输，在传输层使用低时延用户数据报传输协议传输投屏数据；目标屏设备用于接收并显示投屏数据。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种具有存储功能的装置，所述装置存储有程序，所述程序被执行时实现上述的投屏方法。
本发明的有益效果是：区别于现有技术的情况，本发明提供的投屏方法中，应用层有至少两个通道，可以对不同类型的投屏数据分别进行传输，可更灵活地应对复杂的网络环境。同时在传输层使用低时延用户数据报传输协议，能够解决现有TCP协议连接的延时问题；还能够控制拥塞，减少复杂网络下的卡顿，提高流畅度。
附图说明
图1是本申请投屏系统第一实施方式的结构示意图；
图2是本申请投屏方法第一实施方式的流程示意图；
图3是本申请投屏方法第二实施方式的流程示意图；
图4是本申请投屏方法第三实施方式的流程示意图；
图5是本申请投屏设备第一实施方式的结构示意图；
图6是本申请投屏设备第二实施方式的结构示意图；
图7是本申请具有存储功能的装置第一实施方式的结构示意图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。
本申请提供一种投屏方法，旨在解决现有的投屏方案中数据传输效率低，容易出现推流卡顿的问题。请参阅图1和图2，图1是本申请投屏系统第一实施方式的结构示意图，图2是本申请投屏方法第一实施方式的流程示意图。在该实施方式中，投屏系统100包括投屏设备10和目标屏设备20，在投屏过程中，投屏设备10将自身获取的投屏数据传输至目标屏设备20，在目标屏上显示。投屏的具体步骤如下：
S201：投屏设备获取投屏数据，投屏数据包括第一类投屏数据和/或第二类投屏数据。
其中，投屏设备10可以将自身获取的音频、视频等投放至目标屏设备20进行显示，也可以将一些操作命令传输至目标屏设备20，以对音频或视频进行控制，如暂停播放、快进、后退等。音/视频数据与操作命令是两种不同类型的数据，可以对其进行分类识别，即可分为第一类投屏数据和第二类投屏数据。
S202：投屏设备将投屏数据传输至目标屏设备，其中，应用层设置有至少第一传输通道和第二传输通道，在应用层第一类投屏数据与第二类投屏数据分别通过第一传输通道与第二传输通道进行传输，在传输层使用低时延用户数据报传输协议传输所述投屏数据。
其中，投屏数据的传输基于OSI模型，在不同层使用不同的协议，按照协议规则对数据进行层层打包后发送。OSI模型是指开放性的通信系统互连(Open SystemInterconnection，OSI)参考模型定义了不同计算机互联的标准，是设计和描述计算机网络通信的基本框架。该OSI模型把网络通信的工作分为7层，从上到下分别是7应用层、6表示层、5会话层、4传输层、3网络层、2数据链路层、1物理层；其中高层(即7、6、5、4层)定义了应用程序的功能，下面3层(即3、2、1层)主要面向通过网络的端到端的数据流。
在该实施方式中，应用层选用能够支持多个数据传输通道的协议，使其具有至少第一传输通道和第二传输通道，能够将第一类投屏数据与第二类投屏数据分别通过第一传输通道和第二传输通道进行传输，相对现有的RTMP协议，能够提高传输效率。这是因为RTMP协议不支持同时多个数据流的传输，当投屏数据中包括操作命令和音视频数据时，操作命令和音视频数据只能在一个通道里一起传输，而此时，如果命令的传输被阻塞，位于其后面的音视频数据也会阻塞。本申请提供的方法，应用层有至少两个通道，命令和音视频数据的传输通道是分离的，如果命令的传输被阻塞，音视频的传输则不会受影响、能正常传输。
在该实施方式中，传输层则选用时延低、可靠性好的协议，以提高数据传输的流畅性和可靠性，减少卡顿。相对现有的TCP协议，能够解决推流卡顿的问题。这是因为TCP协议为了保证报文传输的可靠性，会采用超时重传和捎带确认机制，即需要保证接收端接收到了数据。特别是在网络不好的时候，一个数据包可能会被重传多次，后续的数据包则需先缓存等待传输，导致累积时延过长出现卡顿。相对现有的UDP协议，具有较好的可靠性。这是因为UDP协议是用户数据报协议(User Datagram Protocol，UDP)，是一种无连接的传输层协议，虽然时延短，但是其可靠性差，即其不提供数据包分组、组装，不对数据包进行排序，进而无法得知数据包是否安全完整到达。
S203：目标屏设备接收并显示投屏数据。
目标屏设备20接收投屏数据，对其进行解析，然后在自身设备的显示屏上显示。
请参阅图3，图3是本申请投屏方法第二实施方式的流程示意图。该实施方式中，本申请所提供的投屏方法，在应用层选用实时流传输协议(Real Time Streaming Protocol，RTSP)协议对投屏数据进行传输。RTSP协议是用来控制声音或影像的多媒体串流协议，并允许同时多个串流需求控制，传输时所用的网络通讯协议并不在其定义的范围内，服务器端可以自行选择使用协议来传送串流内容，它的语法和运作跟HTTP1.1类似，但并不特别强调时间同步，所以比较能容忍网络延迟。且其具有至少两个传输通道，如2～3个通道，提供了一个可扩展框架，能够支持同时多个数据流的传输。如可以利用两个通道，将操作命令数据和音视频数据分开进行传输。
利用RTSP协议能够将第一类投屏数据和第二类投屏通过不同的通道分别进行传输，有良好的功能拓展性。第一类投屏数据可以是投屏设备10所采集的音频数据、视频数据或其他需要显示的数据；第二类投屏数据为命令型数据，如操作命令、输入命令等。在另一实施方式中，RTSP中也可以包括更多的传输通道，如3个，对应的投屏数据也可以分出更多的类型，如将音频数据与视频数据分别通过不同的传输通道进行传输，即在对投屏数据进行封包形成数据报文时，音频数据和视频数据分别对应一条数据流。通过这种方式，能够便于目标屏设备识别区分音频数据和视频数据。选择多个传输通道同时传输数据，使数据的传输更便利，能够更灵活地应对复杂的网络环境，使传输更稳定。在其他实施方式中也可以选用其他能够支持多通道的应用层协议。
在另一实施方式中，也可以是投屏设备利用第一传输通道传输第一类投屏数据和第二类投屏数据；同时利用第二传输通道传输第一类投屏数据和第二类投屏数据，即两个传输通道同时传输相同的数据。通过这种方式，两个通道可以互为备份，如果一个通道的数据因网络异常被阻塞，另一通道的数据不受影响，可继续发送，只要目标屏设备能接收到任意一个通道的数据，就判定数据已成功发送，后面到达的另一通道的数据将被丢弃。
在此基础上，本申请所提供的投屏方法，在传输层选用QUIC协议对投屏数据进行传输。QUIC协议是低时延用户数据报传输协议(Quick UDP Internet Connection，QUIC)，是一种基于UDP的低时延的互联网传输层协议，它具有零往返时延、前向纠错、多路复用等优点。其握手消耗只有TCP的1/3，能够解决TCP连接的延时问题，相较于TCP/IP协议，QUIC传输协议的传输效率更高。具体地，QUIC融合了包括TCP，TLS(Transport Layer Security，传输层安全性协议)，HTTP/2等协议的特性，但基于UDP传输。QUIC同时复用了HTTP/2协议的多路复用功能(Multiplexing)，但由于QUIC基于UDP所以避免了HTTP/2的线头阻塞(Head-of-Line Blocking)问题。具体地，尽管从逻辑上来说，不同的流之间相互独立，不会相互影响，但在实际传输方面，数据还是要一帧一帧的发送和接收，一旦某一个流的数据有丢包，则同样会阻塞在它之后传输的其它与它毫不相干的流的数据的传输。而基于UDP的QUIC协议则可以更为彻底地解决这样的问题，让不同的流之间真正的实现相互独立传输，互不干扰。因此QUIC有更出色的拥塞控制，减少复杂网络下的卡顿率，提高流畅度。因为QUIC基于UDP，运行在用户域而不是系统内核，使得QUIC协议可以快速的更新和部署，从而很好地解决了TCP协议部署及更新的困难。
另外，QUIC协议在切换网络时能保持连接。如当前移动端的应用环境，用户的网络可能会经常切换，比如从办公室或家里出门，无线网络断开，网络切换为3G或4G。基于TCP的协议，由于切换网络之后，IP会改变，因而之前的连接不可能继续保持。而基于UDP的QUIC协议，则可以内建与TCP中不同的连接标识方法，从而在网络完成切换之后，恢复之前与服务器的连接。
在一实施方式中，虽然基于QUIC的RTSP协议在传输投屏数据时效率更高、更流畅，但是相对基于TCP通道的RTMP协议视频质量相对较差。因此，本申请还设置了切换功能，如果想要较高的视频质量则选择RTMP协议，特别是在网络比较好的情况下，一般不会发生阻塞卡顿的情况，选择RTMP协议能有较好的视频质量。如果想要视频流畅少卡顿，则选择QUIC协议。
可以自动检测投屏数据连续被重发的次数是否超过预设值，或检测网络信号强度是否低于预设值；若投屏数据连续被重发的次数超过预设值，或网络信号强度低于预设值，则在传输层使用低时延用户数据报传输协议传输投屏数据。具体地，当投屏数据被重发时，说明网络不好，原本发的数据被丢包，目标屏设备没有及时收到，如果多次重发则会引起阻塞，造成卡顿，此时应切换QUIC协议。如果检测网络信号良好，则可以选用RTMP协议。通过这种方式，能够充分利用资源，既能够减少卡顿，是视频流畅，还能保持视频的质量。
在基于QUIC传输协议对投屏数据进行传输时，投屏设备10需要先将资料封包分割成复数个片段资料封包，其中该些片段资料封包的大小小于QUIC传输协议所规定的最大传输单元。接着，投屏设备10对每一个片段资料封包进行加密。在完成加密后，投屏设备的传输器逐笔读取加密后的片段资料封包，并将该些加密后的片段资料封包传输给目标屏设备20。
与TCP类似，QUIC每发送一个包后，都会等待回复一个确认包。当丢包率超过协议的纠错门限时，会显式或隐式地进行重传。对于某些重要的数据包，如初始密钥协商时的数据包，在建立连接时非常重要，如果这类包丢失会阻塞整体数据流。QUIC对于这一类数据包在确认发生丢失前就会尝试重传，通常是等待较短的时间(如20ms)没收到确认后就马上再次发送。这样在网络中会有若干个相同的包同时传输，只要有一个能成功抵达就完成了连接，这样降低了丢包率。接收方对于关键数据包的多次发送和普通数据包的超时重传，都采用相同的重复包处理机制。QUIC在拥塞避免算法的基础上还加入了心跳包，用于减少丢包率。通过这种方式，使用QUIC协议能够保证传输的可靠性，还降低了时延。
其中，在对投屏数据进行封包形成数据报文时，数据报文中除投屏数据外，还携带有数据修复包。因为有数据修复包的存在，当出现丢包时，目标屏设备20能够利用该修复数据包对数据进行修复，改进TCP的多路复用丢包问题。数据修复包类似于RAID-4方案，RAID是英文Redundant Array of IndependentDisks的缩写，中文简称为独立磁盘冗余阵列。RAID-4方案是带奇偶校验码的独立磁盘结构，包括三个数据盘和一个校验盘；校验盘里就是前面三个数据盘对应bit的模2和。当出现丢包时，目标屏设备20可根据前向纠错码(Forward Error Correction，FEC)利用修复数据包对数据进行修复。FEC是利用数据进行传输冗余信息的方法，当传输中出现错误，将允许接收器再建数据。具体地，FEC采用简单异或的方式。每次发送一组数据，包括若干个数据包后，并对这些数据包依次作异或运算，最后的结果作为一个FEC包再发送出去。接收方收到一组数据后，根据数据包和FEC包即可以进行校验和纠错。
其中，在对投屏数据进行封包形成数据报文时，对数据报文的头部进行加密，以使目标屏设备能够对数据报文进行校验。QUIC对每个散装的数据包都进行加密和认证的保护，并且避免使用前向依赖的处理方法，如密文分组链接模式(Cipher Block Chaining，CBC)，这样每个UDP包可以独立地根据初始向量(Initialization Vector，IV)进行加密或认证处理。QUIC采用了两级密钥机制：初始密钥和会话密钥。初次连接时不加密，并协商初始密钥。初始密钥协商完毕后会马上再协商会话密钥，这样可以保证密钥的前向安全性，之后可以在通信的过程中就实现对密钥的更新。接收方意识到有新的密钥要更新时，会尝试用新旧两种密钥对数据进行解密，直到成功才会正式更新密钥，否则会一直保留旧密钥有效。具体地，封包形成的数据报文包括报文标头和负载资料，报文标头包括封包传输过程中需要用到的资讯，例如封包大小、来源地址、目的地址、使用的传输协定等资讯；负载资料包括投屏设备实际上欲传输的资讯。在封包形成标头时，可对标头进行加密。通过对标头进行加密，如果传输过程中对数据报文进行了修改，目标屏设备通过对标头的验证就能及时发现，有效降低安全风险。
以上方案，本申请提供的投屏方法中，应用层有至少两个传输通道，可以对不同类型的投屏数据分别进行传输，可更灵活地应对复杂的网络环境。同时在传输层使用低时延用户数据报传输协议，能够解决现有TCP协议连接的延时问题，还能够控制拥塞，减少复杂网络下的卡顿率，提高流畅度。
在一应用场景中，本申请所提供的投屏方法可应用于直播投屏中。网络直播是可以同一时间透过网络系统在不同的交流平台观看影片，是一种新兴的网络社交方式，主要分为实时直播游戏、电影或电视剧等。目前有时需要使用手机获取直播数据(音频或视频数据)，将手机端获取的内容发送至个人计算机(Personal Computer，PC)端，再由个人计算机进行网络直播。本申请所提供的投屏方法能够解决现有的手机端投屏到PC端进行直播中存在的延迟问题，及由于网络质量问题导致视频的卡顿和花屏等问题。
具体地，投屏设备与目标屏设备建立连接，可以通过Wi-Fi Direct或者蓝牙建立连接；投屏设备采集音/视频数据，按照RTSP协议的规则对数据进行封包，特别地，将命令型数据与音/视频数据分开打包，分两个通道进行传输，并利用低时延用户数据报传输协议将投屏数据传输至目标屏设备显示，并通过目标屏设备将该音/视频数据推流至直播服务器进行直播。
本申请还提供一种投屏方法，请参阅图4，图4是本申请投屏方法第三实施方式的流程示意图，在该实施方式中，投屏方法包括如下步骤：
S401：获取投屏数据，投屏数据包括第一类投屏数据和第二类投屏数据。
其中，第一类投屏数据是操作命令型数据，第二类投屏数据是音/视频数据。
S402：将投屏数据传输至目标屏设备，以使目标屏设备接收并显示投屏数据，其中，应用层设置有至少第一传输通道和第二传输通道，在应用层第一类投屏数据与第二类投屏数据分别通过第一传输通道与第二传输通道进行传输，在传输层使用低时延用户数据报传输协议传输投屏数据。
该实施方式是投屏设备端的执行步骤，具体实现过程请参阅上述实施方式的描述，在此不再赘述。
本申请还提供一种投屏设备，请参阅图5，图5是本申请投屏设备第一实施方式的结构示意图。在该实施方式中，投屏设备50包括处理器501、存储器502和通信电路503，处理器501耦接存储器502和通信电路503，存储器502用于存储程序，处理器501用于执行所述程序通过实现上述的投屏方法，利用通信电路503将投屏数据传输至目标屏设备。且具有相应的有益效果，具体请参阅上述实施方式的描述，在此不再赘述。投屏设备可以是手持电脑、平板电脑、移动电话、媒体播放器、个人数字助理(PDA)、数字电视、个人电脑等等。
请参阅图6，图6是本申请投屏设备第二实施方式的结构示意图。该实施方式中，投屏设备执行上述方法时可以是处理器的某些模块，具体投屏设备60包括获取模块601和发送模块602，
其中，获取模块601用于获取投屏数据，投屏数据包括第一类投屏数据和第二类投屏数据。发送模块602用于将投屏数据传输至目标屏设备，以使目标屏设备接收并显示投屏数据，其中，应用层设置有至少第一传输通道和第二传输通道，在应用层第一类投屏数据与第二类投屏数据分别通过第一传输通道与第二传输通道进行传输，在传输层使用低时延用户数据报传输协议传输投屏数据。该投屏设备可执行所述程序实现上述的投屏方法。且具有相应的有益效果，具体请参阅上述实施方式的描述，在此不再赘述。
本申请还提供一种投屏系统，具体请参阅图1，投屏系统100包括投屏设备10和目标屏设备20，投屏设备10和目标屏设备20中的任一个包括但不限于手持电脑、平板电脑、移动电话、媒体播放器、个人数字助理(PDA)、数字电视、个人电脑等等。并且投屏设备10和目标屏设备20是依据设备在屏幕投射过程中的功能进行区分，具体实现中，投屏设备10可能同时作为其他投屏设备10的目标屏设备20的角色，而目标屏设备20也可同时作为其他目标屏设备20的投屏设备10。在直播投屏领域投屏设备优选为移动设备，例如手机或pad，此时通过移动设备的摄像头采集音视频，目标屏设备优选个人计算机，以便于与直播服务器交互进行直播。
基于上述投屏方法，本申请还提供一种具有存储功能的装置，请参阅图7，图7是本申请具有存储功能的装置第一实施方式的结构示意图。在该实施方式中，存储装置70存储有程序701，程序701被执行时实现上述的投屏方法。具体工作过程与上述方法实施例中一致，故在此不再赘述，详细请参阅以上对应方法步骤的说明。其中具有存储功能的装置可以是便携式存储介质如U盘、光盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟等各种可以存储程序代码的介质，也可以是终端、服务器等。
在本申请所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种投屏方法，其特征在于，所述投屏方法包括：
获取投屏数据，所述投屏数据包括第一类投屏数据和/或第二类投屏数据；
将所述投屏数据传输至目标屏设备，以使所述目标屏设备接收并显示所述投屏数据，其中，应用层设置有至少第一传输通道和第二传输通道，所述投屏设备利用所述第一传输通道传输所述第一类投屏数据和所述第二类投屏数据；同时利用所述第二传输通道传输所述第一类投屏数据和所述第二类投屏数据，应用层所使用的传输协议为实时流传输协议，所述投屏数据包括音视频数据和操作命令，所述第一类投屏数据为音视频数据，所述第二类投屏数据为操作命令；
检测所述投屏数据连续被重发的次数是否超过预设值，或检测网络信号强度是否低于预设值；
若所述投屏数据连续被重发的次数超过预设值，或所述网络信号强度低于预设值，则在传输层使用低时延用户数据报传输协议传输所述投屏数据，否则，在传输层使用RTMP协议。
2.根据权利要求1所述的投屏方法，其特征在于，所述将投屏数据传输至目标屏设备包括：
对所述投屏数据进行封包形成数据报文，所述数据报文中还包括有数据修复包，以使所述目标屏设备能够利用所述数据修复包修复数据。
3.根据权利要求1所述的投屏方法，其特征在于，所述将投屏数据传输至目标屏设备包括：
对所述投屏数据进行封包形成数据报文，对所述数据报文的头部进行加密，以使所述目标屏设备能够对所述数据报文进行校验。
4.根据权利要求1所述的投屏方法，其特征在于，所述投屏数据包括音频数据和视频数据，所述将投屏数据传输至目标屏设备包括：
在对所述投屏数据进行封包形成数据报文时，所述音频数据和所述视频数据分别对应一条数据流。
5.一种投屏设备，其特征在于，所述投屏设备包括处理器、存储器和通信电路，所述处理器耦接所述存储器和所述通信电路，所述存储器用于存储程序，所述处理器用于执行所述程序实现权利要求1-4任一项所述的投屏方法，利用所述通信电路将所述投屏数据传输至目标屏设备。
6.一种投屏设备，其特征在于，所述投屏设备包括：
获取模块，用于获取投屏数据，所述投屏数据包括第一类投屏数据和/或第二类投屏数据；
发送模块，用于将所述投屏数据传输至目标屏设备，以使所述目标屏设备接收并显示所述投屏数据，其中，应用层设置有至少第一传输通道和第二传输通道，所述投屏设备利用所述第一传输通道传输所述第一类投屏数据和所述第二类投屏数据；同时利用所述第二传输通道传输所述第一类投屏数据和所述第二类投屏数据，应用层所使用的传输协议为实时流传输协议；
检测模块，用于检测所述投屏数据连续被重发的次数是否超过预设值，或检测网络信号强度是否低于预设值；
若所述投屏数据连续被重发的次数超过预设值，或所述网络信号强度低于预设值，则在传输层使用低时延用户数据报传输协议传输所述投屏数据。
7.一种投屏方法，其特征在于，所述投屏方法包括：
投屏设备获取投屏数据，所述投屏数据包括第一类投屏数据和/或第二类投屏数据；
所述投屏设备将所述投屏数据传输至目标屏设备，其中，应用层设置有至少第一传输通道和第二传输通道，所述投屏设备利用所述第一传输通道传输所述第一类投屏数据和所述第二类投屏数据；同时利用所述第二传输通道传输所述第一类投屏数据和所述第二类投屏数据，应用层所使用的传输协议为实时流传输协议，所述投屏数据包括音视频数据和操作命令，所述第一类投屏数据为音视频数据，所述第二类投屏数据为操作命令，同时检测所述投屏数据连续被重发的次数是否超过预设值，或检测网络信号强度是否低于预设值；若所述投屏数据连续被重发的次数超过预设值，或所述网络信号强度低于预设值，则在传输层使用低时延用户数据报传输协议传输所述投屏数据，否则，在传输层使用RTMP协议；
目标屏设备接收并显示所述投屏数据。
8.一种投屏系统，其特征在于，所述投屏系统包括投屏设备和目标屏设备，
所述投屏设备用于获取投屏数据，所述投屏数据包括第一类投屏数据和/或第二类投屏数据；
所述投屏设备还用于将所述投屏数据传输至目标屏设备，其中，应用层设置有至少第一传输通道和第二传输通道，所述投屏设备利用所述第一传输通道传输所述第一类投屏数据和所述第二类投屏数据；同时利用所述第二传输通道传输所述第一类投屏数据和所述第二类投屏数据，应用层所使用的传输协议为实时流传输协议，所述投屏数据包括音视频数据和操作命令，所述第一类投屏数据为音视频数据，所述第二类投屏数据为操作命令，同时检测所述投屏数据连续被重发的次数是否超过预设值，或检测网络信号强度是否低于预设值；若所述投屏数据连续被重发的次数超过预设值，或所述网络信号强度低于预设值，则在传输层使用低时延用户数据报传输协议传输所述投屏数据，否则，在传输层使用RTMP协议；
所述目标屏设备用于接收并显示所述投屏数据。
9.一种具有存储功能的装置，其特征在于，所述装置存储有程序，所述程序被执行时实现权利要求1-4任一项所述的投屏方法。
CN201910191144.2A 2019-03-12 2019-03-12 一种投屏方法、系统及存储装置 Active CN109996097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910191144.2A CN109996097B (zh) 2019-03-12 2019-03-12 一种投屏方法、系统及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910191144.2A CN109996097B (zh) 2019-03-12 2019-03-12 一种投屏方法、系统及存储装置

Publications (2)

Publication Number Publication Date
CN109996097A CN109996097A (zh) 2019-07-09
CN109996097B true CN109996097B (zh) 2022-01-04

Family

ID=67130599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910191144.2A Active CN109996097B (zh) 2019-03-12 2019-03-12 一种投屏方法、系统及存储装置

Country Status (1)

Country Link
CN (1) CN109996097B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110620771A (zh) * 2019-09-20 2019-12-27 闽南师范大学 一种信号处理终端数据传输系统
CN110928511A (zh) * 2019-11-13 2020-03-27 讯飞幻境(北京)科技有限公司 一种投屏方法、装置及电子设备
CN111386700A (zh) * 2020-02-25 2020-07-07 深圳市乐橙互联有限公司 多功能接收设备和会议系统
CN111628847B (zh) * 2020-05-06 2022-04-08 上海幻电信息科技有限公司 数据传输方法及装置
CN111629240B (zh) 2020-05-06 2021-08-10 上海幻电信息科技有限公司 多屏互动显示方法及装置
CN114222167B (zh) * 2020-09-04 2023-12-19 百度在线网络技术（北京）有限公司 云投屏控制方法、装置、服务器、系统和可读存储介质
CN112153457A (zh) * 2020-09-10 2020-12-29 Oppo（重庆）智能科技有限公司 无线投屏连接方法、装置、计算机存储介质及电子设备
CN114390337B (zh) * 2020-10-21 2023-06-02 华为技术有限公司 投屏方法、系统及电子设备
CN112422586A (zh) * 2020-12-10 2021-02-26 努比亚技术有限公司 一种电脑屏幕和移动终端屏幕的扩展方法及扩展系统
CN112672203B (zh) * 2020-12-16 2023-05-23 努比亚技术有限公司 文件传输控制方法、移动终端及计算机可读存储介质
CN112714113A (zh) * 2020-12-23 2021-04-27 上海有个机器人有限公司 机器人网络自我修复方法、装置、终端及存储介质
CN114697733B (zh) * 2020-12-31 2023-06-06 华为技术有限公司 投屏音视频数据的传输方法以及相关设备
CN113079578B (zh) * 2021-03-29 2022-06-14 成都飞鱼星科技股份有限公司 一种智慧屏无线投屏数据的优先传输方法及系统
CN115442777A (zh) * 2021-06-03 2022-12-06 Oppo广东移动通信有限公司 无线终端中的投屏方法、装置、无线终端及存储介质
WO2023272702A1 (zh) * 2021-07-01 2023-01-05 Oppo广东移动通信有限公司 用于无线投屏的数据传输方法、装置、设备及存储介质
CN113676741B (zh) * 2021-07-19 2024-04-12 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及电子设备
CN113572836B (zh) * 2021-07-21 2022-07-15 腾讯科技（深圳）有限公司 一种数据传输方法、装置、服务器及存储介质
CN113923508A (zh) * 2021-09-29 2022-01-11 联想(北京)有限公司 一种投屏方法及装置
CN113949923A (zh) * 2021-09-29 2022-01-18 联想(北京)有限公司 一种控制方法及控制装置
CN114157607A (zh) * 2021-12-06 2022-03-08 上海哔哩哔哩科技有限公司 媒体流传输方法和系统
CN113965789B (zh) * 2021-12-15 2022-05-17 荣耀终端有限公司 一种投屏方法、终端和通信系统
CN114268936B (zh) * 2022-03-01 2022-07-12 荣耀终端有限公司 数据传输方法及装置
WO2023212943A1 (zh) * 2022-05-06 2023-11-09 北京小米移动软件有限公司 数据交互方法、装置、电子设备和存储介质
CN115278591A (zh) * 2022-05-19 2022-11-01 深圳市航盛电子股份有限公司 投屏传输方法、装置、终端设备以及存储介质
CN115297341A (zh) * 2022-07-18 2022-11-04 西安电子科技大学芜湖研究院 一种视频数据传输方法、装置、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016165375A1 (zh) * 2015-09-11 2016-10-20 中兴通讯股份有限公司 屏幕投射的视频数据传输方法、装置及系统
CN106559690A (zh) * 2016-11-15 2017-04-05 武汉斗鱼网络科技有限公司 一种智能电视上基于组播实现直播投屏的方法及系统
CN106612445A (zh) * 2015-10-21 2017-05-03 中国移动通信集团公司 一种无线同屏音频通道的控制方法、发送设备及接受设备
CN106658103A (zh) * 2016-11-15 2017-05-10 乐视控股（北京）有限公司 一种分享视频流数据的方法、源设备及电子设备
CN106656909A (zh) * 2015-10-28 2017-05-10 瑞昱半导体股份有限公司 传输装置及其传输方法
CN106921618A (zh) * 2015-12-25 2017-07-04 瑞昱半导体股份有限公司 接收装置及其封包处理方法
CN108616764A (zh) * 2016-12-09 2018-10-02 中兴通讯股份有限公司 一种控制方法及设备
CN108989879A (zh) * 2018-08-28 2018-12-11 广州视源电子科技股份有限公司 投屏的控制方法、装置和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5315542B2 (ja) * 2008-10-03 2013-10-16 日立コンシューマエレクトロニクス株式会社 コンテンツ送信方法及びコンテンツ送信装置、コンテンツ受信方法及びコンテンツ受信装置
US20110320963A1 (en) * 2010-06-28 2011-12-29 Rovi Technologies Corporation Systems and methods for controlling multiple user access to media devices in a connected platform environment
CN103078831A (zh) * 2011-10-26 2013-05-01 新太科技股份有限公司 一种流媒体支持tcp和udp传送的自适应的方法
US10075838B2 (en) * 2016-11-28 2018-09-11 Microsoft Technology Licensing, Llc Smart discovery of wireless receivers
CN109218762B (zh) * 2018-09-06 2019-11-26 百度在线网络技术（北京）有限公司 多媒体资源播放方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016165375A1 (zh) * 2015-09-11 2016-10-20 中兴通讯股份有限公司 屏幕投射的视频数据传输方法、装置及系统
CN106612445A (zh) * 2015-10-21 2017-05-03 中国移动通信集团公司 一种无线同屏音频通道的控制方法、发送设备及接受设备
CN106656909A (zh) * 2015-10-28 2017-05-10 瑞昱半导体股份有限公司 传输装置及其传输方法
CN106921618A (zh) * 2015-12-25 2017-07-04 瑞昱半导体股份有限公司 接收装置及其封包处理方法
CN106559690A (zh) * 2016-11-15 2017-04-05 武汉斗鱼网络科技有限公司 一种智能电视上基于组播实现直播投屏的方法及系统
CN106658103A (zh) * 2016-11-15 2017-05-10 乐视控股（北京）有限公司 一种分享视频流数据的方法、源设备及电子设备
CN108616764A (zh) * 2016-12-09 2018-10-02 中兴通讯股份有限公司 一种控制方法及设备
CN108989879A (zh) * 2018-08-28 2018-12-11 广州视源电子科技股份有限公司 投屏的控制方法、装置和系统

Also Published As

Publication number Publication date
CN109996097A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109996097B (zh) 一种投屏方法、系统及存储装置
AU2019222503B2 (en) Distribution and playback of media content
TWI388170B (zh) 網路中串流資料內容之方法及裝置
US20130346562A1 (en) Data transmission method and apparatus for mobile terminal
TWI441484B (zh) 一種產生無線高解析度媒體存取控制器訊框格式之裝置及方法
US11483626B1 (en) Method and protocol for transmission of video and audio data
US11212334B2 (en) Mechanisms to support adaptive constrained application protocol (CoAP) streaming for Internet of Things (IoT) systems
US20120265892A1 (en) Method and system for secure and reliable video streaming with rate adaptation
WO2018018627A1 (zh) 一种数据传输方法、系统及接收装置
CN109068147A (zh) 一种多媒体数据传输方法、装置以及相关设备
TW200835303A (en) Point-to-multipoint high definition multimedia transmitter and receiver
CN105681881A (zh) 一种基于移动终端的多媒体数据发送方法及移动终端
CN110875799A (zh) 一种传输控制方法和装置
CN110169030B (zh) 用于在异构网络上发送内容的方法及其设备
US20220014574A1 (en) Data distribution method and network device
WO2024056032A1 (zh) 解码、数据传输方法、装置、终端及服务器
CN112653999A (zh) 一种组播业务处理方法及接入点
CN114221909B (zh) 数据传输方法、装置、终端及存储介质
US11304247B2 (en) Method and system for interaction between smart glasses and smart device, and storage medium
CN114710568B (zh) 音视频数据通信方法、设备及存储介质
US20140226561A1 (en) Method and apparatus for video or multimedia content delivery
CN106878114A (zh) 一种数据传输的方法、服务器和终端
EP2713576B1 (en) Method and device for processing streaming media content
CN113542685B (zh) 一种基于可靠udp的实时超高清视频传输方法
WO2024060719A1 (zh) 一种数据传输的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant