CN107396172A - 低延迟投屏的方法 - Google Patents

低延迟投屏的方法 Download PDF

Info

Publication number
CN107396172A
CN107396172A CN201710757271.5A CN201710757271A CN107396172A CN 107396172 A CN107396172 A CN 107396172A CN 201710757271 A CN201710757271 A CN 201710757271A CN 107396172 A CN107396172 A CN 107396172A
Authority
CN
China
Prior art keywords
code stream
receiving terminal
burst
screen
low latency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710757271.5A
Other languages
English (en)
Inventor
周沙金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201710757271.5A priority Critical patent/CN107396172A/zh
Publication of CN107396172A publication Critical patent/CN107396172A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及多媒体播放技术。本发明解决了在弱网络环境下，发送端屏幕画面内容低延迟、高质量的镜像到接收端的显示画面上时需要借助其他专用的硬件接收设备或数据线的问题，提出了一种低延迟投屏的方法，其技术方案要点为：当在延迟时间阈值内接收端正常接收到完整的码流分片时，直接将接收的码流分片传递给播放器解码播放，输出实时画面，当超过延迟时间阈值后，接收端没有接收到完整的码流分片时请求发送端重新发送码流分片，并将重新接收的码流分片存入网络抖动缓冲区进行重新排序后传递给播放器。本发明的有益效果是，当丢包率比较严重或者网络差时，在延迟可控的前提下，将发送端高质量的镜像到接收端，无需专用的硬件接收设备或者数据线。

Description

低延迟投屏的方法
技术领域
本发明涉及多媒体播放技术，特别涉及低延迟投屏的技术。
背景技术
近年来，随着移动互联网的飞速发展，消费类电子产品呈现出了爆发式增长，多屏互动需求也变得越来越迫切，尤其是PC小屏镜像到Android智能电视的大屏上，比如多人会议共享屏幕，游戏画面互动等场景。但是目前市面上已有的解决方案，大部分要么是只能投送视频的，个别的只能投送office的Excel及PPT等，而整屏、同屏镜像的方案极少，甚至有些还需要购买专用的盒子及其他硬件设备，才能镜像投屏，大大增加了消费者使用的难度。目前支持多屏互动用到的主要协议栈主要是DLNA、AirPlay及Miracast。DLNA主要针对视频传输；Airplay主要针对苹果设备，并不开源，与Android设备交互也有相当局限性；Miracast比较适合Android设备与Android设备，PC机支持Miracast是从Windows 8.1以后才开始，但是目前市面上还运行着大量的Windows 7及以下的设备。另外，屏幕镜像由于需要发送大量实时编码的码流，对网络传输也有一定的要求，这也增加了在丢包率比较严重的wifi环境下实现高质量低延迟投屏的难度。
发明内容
本发明的目的是提供一种低延迟投屏的方法，解决在弱网络环境下，发送端屏幕画面内容低延迟、高质量的镜像到接收端的显示画面上时需要借助其他专用的硬件接收设备或数据线的问题。
本发明解决其技术问题，采用的技术方案是：低延迟投屏的方法，其特征在于，包括以下步骤：
步骤1、使发送端和接收端处于同一局域网内；
步骤2、接收端向局域网发送请求报文；
步骤3、发送端搜索到局域网内的请求报文后，向局域网发送响应报文，并与接收到响应报文的接收端协商可用的码流接收端口，协商完成后进入步骤4；
步骤4、接收端启动可用的码流接收端口；
步骤5、发送端搜索局域网内的接收端并列表显示，并从列表中选定某个接收端作为投屏设备，同时进入步骤6和步骤7；
步骤6、发送端开始录制屏幕数据，实时将屏幕数据编码成码流并将其打包成码流分片，并将码流分片实时向选定的接收端的码流接收端口发送；
步骤7、发送端建立一个网络抖动缓冲区，将码流分片保存在此网络抖动缓冲区；
步骤8、接收端接收到码流分片后，相应的也建立一个与发送端中存储容量大小相同的网络抖动缓冲区；
步骤9、当在延迟时间阈值内接收端正常接收到完整的码流分片时，直接将接收的码流分片传递给播放器解码播放，输出实时画面，当超过延迟时间阈值后，接收端没有接收到完整的码流分片时，接收端向发送端发送重新发送码流分片的请求，并将重新接收的码流分片存入网络抖动缓冲区进行重新排序后传递给播放器解码播放。
进一步的，步骤2具体为：接收端启动DMR Service服务，定期向局域网发送m-search请求报文。
具体的，所述DMR Service服务基于标准的DLNA协议栈。
再进一步的，步骤3中，所述相应报文具体为m-search响应报文。
具体的，步骤6中，所述录制的屏幕数据为整个屏幕数据，所述码流为h264码流，所述打包是以RTP over UDP形式打包的。
再进一步的，步骤7和/或步骤8和/或步骤9中，所述网络都抖动缓冲区的容量等于延迟时间的阈值乘以比特率，当欲存入网络抖动缓冲区的码流分片超过其容量时，按照最先存入网络抖动缓冲区的码流分片到最晚存入的码流分片依次删除，以确保总能存入最新待发送的分片。
具体的，步骤9中，所述延迟时间的阈值根据实际需要进行配置。
本发明的有益效果是，通过上述低延迟投屏的方法，实时采集发送端的屏幕数据，编码成业界最广泛使用的h264流，封装成RTP Over UDP，并处理接收端由于网络抖动等因素导致的丢包及延迟，保证即使在网络比较差的情况下，也能在时延可控的前提下实现发送端的画面在接收端的大屏幕上高质量实时的显示，通用性较强，对于发送端平台不限制，无需像其他投屏软件一样假定客户使用环境且必须安装有DLNA、Airplay及Miracast等庞大的协议栈软件，也无需借助相应的硬件设备，节约成本。
具体实施方式
下面结合实施例，详细描述本发明的技术方案。
本发明所述低延迟投屏的方法，由以下步骤组成：
步骤1、使发送端和接收端处于同一局域网内；
步骤2、接收端向局域网发送请求报文；
步骤3、发送端搜索到局域网内的请求报文后，向局域网发送响应报文，并与接收到响应报文的接收端协商可用的码流接收端口，协商完成后进入步骤4；
步骤4、接收端启动可用的码流接收端口；
步骤5、发送端搜索局域网内的接收端并列表显示，并从列表中选定某个接收端作为投屏设备，同时进入步骤6和步骤7；
步骤6、发送端开始录制屏幕数据，实时将屏幕数据编码成码流并将其打包成码流分片，并将码流分片实时向选定的接收端的码流接收端口发送；
步骤7、发送端建立一个网络抖动缓冲区，将码流分片保存在此网络抖动缓冲区；
步骤8、接收端接收到码流分片后，相应的也建立一个与发送端中存储容量大小相同的网络抖动缓冲区；
步骤9、当在延迟时间阈值内接收端正常接收到完整的码流分片时，直接将接收的码流分片传递给播放器解码播放，输出实时画面，当超过延迟时间阈值后，接收端没有接收到完整的码流分片时，接收端向发送端发送重新发送码流分片的请求，并将重新接收的码流分片存入网络抖动缓冲区进行重新排序后传递给播放器解码播放。
实施例
本发明实施例低延迟投屏的方法，包括以下步骤：
步骤1、使发送端和接收端处于同一局域网内，其中局域网可以是有线网也可以是无线网；
步骤2、接收端启动DMR Service服务，定期向局域网发送m-search请求报文，其中DMR Service服务基于标准的DLNA协议栈；
步骤3、发送端搜索到局域网内的m-search请求报文后，向局域网发送m-search响应报文，并与接收到m-search响应报文的接收端协商可用的码流接收端口，协商完成后进入步骤4；
步骤4、接收端启动可用的码流接收端口；
步骤5、发送端搜索局域网内的接收端并列表显示，并从列表中选定某个接收端作为投屏设备，同时进入步骤6和步骤7；
步骤6、发送端开始录制屏幕数据，实时将屏幕数据编码成码流并将其打包成码流分片，并将码流分片实时向选定的接收端的码流接收端口发送，其中，录制的屏幕数据优选为整个屏幕数据，编码优选为h264码流，打包优选的是以RTP over UDP形式打包；
步骤7、发送端建立一个网络抖动缓冲区，将码流分片保存在此网络抖动缓冲区；
步骤8、接收端接收到码流分片后，相应的也建立一个与发送端中存储容量大小相同的网络抖动缓冲区；
步骤9、当在延迟时间阈值内接收端正常接收到完整的码流分片时，直接将接收的码流分片传递给播放器解码播放，输出实时画面，当超过延迟时间阈值后，接收端没有接收到完整的码流分片时，接收端向发送端发送重新发送码流分片的请求，并将重新接收的码流分片存入网络抖动缓冲区进行重新排序后传递给播放器解码播放。
上述方法中，网络都抖动缓冲区的容量等于延迟时间的阈值乘以比特率，当欲存入网络抖动缓冲区的码流分片超过其容量时，按照最先存入网络抖动缓冲区的码流分片到最晚存入的码流分片依次删除，以确保总能存入最新待发送的分片；步骤9中，延迟时间的阈值根据实际需要进行配置。
根据本例的描述可见，本发明中发送端、接收端的平台的选取以及建立网络抖动缓冲区后，对其容量大小进行设置的方法均为现有比较成熟的技术，此处不再详述。

Claims (7)

1.低延迟投屏的方法，其特征在于，包括以下步骤：
步骤1、使发送端和接收端处于同一局域网内；
步骤2、接收端向局域网发送请求报文；
步骤3、发送端搜索到局域网内的请求报文后，向局域网发送响应报文，并与接收到响应报文的接收端协商可用的码流接收端口，协商完成后进入步骤4；
步骤4、接收端启动可用的码流接收端口；
步骤5、发送端搜索局域网内的接收端并列表显示，并从列表中选定某个接收端作为投屏设备，同时进入步骤6和步骤7；
步骤6、发送端开始录制屏幕数据，实时将屏幕数据编码成码流并将其打包成码流分片，并将码流分片实时向选定的接收端的码流接收端口发送；
步骤7、发送端建立一个网络抖动缓冲区，将码流分片保存在此网络抖动缓冲区；
步骤8、接收端接收到码流分片后，相应的也建立一个与发送端中存储容量大小相同的网络抖动缓冲区；
步骤9、当在延迟时间阈值内接收端正常接收到完整的码流分片时，直接将接收的码流分片传递给播放器解码播放，输出实时画面，当超过延迟时间阈值后，接收端没有接收到完整的码流分片时，接收端向发送端发送重新发送码流分片的请求，并将重新接收的码流分片存入网络抖动缓冲区进行重新排序后传递给播放器解码播放。
2.根据权利要求1所述的低延迟投屏的方法，其特征在于，步骤2具体为：接收端启动DMR Service服务，定期向局域网发送m-search请求报文。
3.根据权利要求2所述的低延迟投屏的方法，其特征在于，所述DMR Service服务基于标准的DLNA协议栈。
4.根据权利要求1所述的低延迟投屏的方法，其特征在于，步骤3中，所述相应报文具体为m-search响应报文。
5.根据权利要求1所述的低延迟投屏的方法，其特征在于，步骤6中，所述录制的屏幕数据为整个屏幕数据，所述码流为h264码流，所述打包是以RTP over UDP形式打包的。
6.根据权利要求1所述的低延迟投屏的方法，其特征在于，步骤7和/或步骤8和/或步骤9中，所述网络都抖动缓冲区的容量等于延迟时间的阈值乘以比特率，当欲存入网络抖动缓冲区的码流分片超过其容量时，按照最先存入网络抖动缓冲区的码流分片到最晚存入的码流分片依次删除，以确保总能存入最新待发送的分片。
7.根据权利要求1或6所述的低延迟投屏的方法，其特征在于，步骤9中，所述延迟时间的阈值根据实际需要进行配置。
CN201710757271.5A 2017-08-29 2017-08-29 低延迟投屏的方法 Pending CN107396172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710757271.5A CN107396172A (zh) 2017-08-29 2017-08-29 低延迟投屏的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710757271.5A CN107396172A (zh) 2017-08-29 2017-08-29 低延迟投屏的方法

Publications (1)

Publication Number Publication Date
CN107396172A true CN107396172A (zh) 2017-11-24

Family

ID=60346492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710757271.5A Pending CN107396172A (zh) 2017-08-29 2017-08-29 低延迟投屏的方法

Country Status (1)

Country Link
CN (1) CN107396172A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108391161A (zh) * 2018-02-06 2018-08-10 苏州必捷网络有限公司 一种跨平台无线投屏方法
CN112019877A (zh) * 2020-10-19 2020-12-01 深圳乐播科技有限公司 基于vr设备的投屏方法、装置、设备及存储介质
CN113542904A (zh) * 2021-07-12 2021-10-22 北京奇艺世纪科技有限公司 一种视频投屏播放方法、装置、电子设备及存储介质
CN114338624A (zh) * 2022-01-07 2022-04-12 深圳创维－Rgb电子有限公司 无线投屏数据处理方法、智能终端及可读存储介质
WO2022126334A1 (zh) * 2020-12-14 2022-06-23 华为技术有限公司 一种无线投屏的方法、源端设备和目的端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120139054A (ko) * 2011-06-16 2012-12-27 엘지전자 주식회사 영상변환장치
CN102868908A (zh) * 2011-07-04 2013-01-09 哈尔滨融智达网络科技有限公司 高效流媒体播放方法和装置
CN103002354A (zh) * 2012-12-14 2013-03-27 四川九洲电器集团有限责任公司 一种消除视频数据传输网络抖动的方法及系统
CN103957450A (zh) * 2014-04-14 2014-07-30 烽火通信科技股份有限公司 基于家庭网关的低成本实现视频录制的方法及装置
CN104219551A (zh) * 2014-09-29 2014-12-17 武汉诚迈科技有限公司 一种智能设备屏幕共享与远程控制的方法
CN105357545A (zh) * 2015-11-03 2016-02-24 北京英梅吉科技有限公司 基于流媒体方式的无线同屏方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120139054A (ko) * 2011-06-16 2012-12-27 엘지전자 주식회사 영상변환장치
CN102868908A (zh) * 2011-07-04 2013-01-09 哈尔滨融智达网络科技有限公司 高效流媒体播放方法和装置
CN103002354A (zh) * 2012-12-14 2013-03-27 四川九洲电器集团有限责任公司 一种消除视频数据传输网络抖动的方法及系统
CN103957450A (zh) * 2014-04-14 2014-07-30 烽火通信科技股份有限公司 基于家庭网关的低成本实现视频录制的方法及装置
CN104219551A (zh) * 2014-09-29 2014-12-17 武汉诚迈科技有限公司 一种智能设备屏幕共享与远程控制的方法
CN105357545A (zh) * 2015-11-03 2016-02-24 北京英梅吉科技有限公司 基于流媒体方式的无线同屏方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108391161A (zh) * 2018-02-06 2018-08-10 苏州必捷网络有限公司 一种跨平台无线投屏方法
CN112019877A (zh) * 2020-10-19 2020-12-01 深圳乐播科技有限公司 基于vr设备的投屏方法、装置、设备及存储介质
WO2022126334A1 (zh) * 2020-12-14 2022-06-23 华为技术有限公司 一种无线投屏的方法、源端设备和目的端设备
CN113542904A (zh) * 2021-07-12 2021-10-22 北京奇艺世纪科技有限公司 一种视频投屏播放方法、装置、电子设备及存储介质
CN114338624A (zh) * 2022-01-07 2022-04-12 深圳创维－Rgb电子有限公司 无线投屏数据处理方法、智能终端及可读存储介质

Similar Documents

Publication Publication Date Title
CN107396172A (zh) 低延迟投屏的方法
CN109996097B (zh) 一种投屏方法、系统及存储装置
CN107925511B (zh) 发送器侧视频电话降级
US7984179B1 (en) Adaptive media transport management for continuous media stream over LAN/WAN environment
US8175036B2 (en) Multimedia wireless distribution systems and methods
US7587507B2 (en) Media recording functions in a streaming media server
US7093274B2 (en) Apparatus and method for accommodating fast change of digital streaming sources and formats
US8627390B2 (en) Method and device for providing programs to multiple end user devices
CN101552660B (zh) 对流媒体数据进行重传、播放的方法、装置及通信系统
US9565482B1 (en) Adaptive profile switching system and method for media streaming over IP networks
CN101741890B (zh) 一种实现速率控制的方法、系统和设备
CN110113621B (zh) 媒体信息的播放方法和装置、存储介质、电子装置
US9843765B2 (en) Integrated devices for multimedia content delivery and video conferencing
CN103414956A (zh) 基于传输控制协议的实时数据传输方法及其系统
CN107637084A (zh) 被管网络中的iptv
CN101540657B (zh) 通信控制设备、通信控制方法和通信控制程序
WO2010041469A1 (ja) コンテンツ配信システム、コンテンツ配信方法およびコンピュータプログラム
CN100544437C (zh) 一种流媒体带宽适配系统
CN106791941B (zh) 无线WiFi多媒体广播系统和方法
CN101645903A (zh) 一种多媒体数据的传输方法及装置
KR100575994B1 (ko) 휴대용 단말기에서 ｖｏｄ데이터 처리방법
US8630179B1 (en) Internet protocol video quality of service
Akester A resilient multicast protocol for digital TV over 802.11 wireless networks
US20090158376A1 (en) Method and apparatus of building ip-based video service system in hybrid fiber coax network
KR100979311B1 (ko) ＶｏＤ 서비스를 위한 버퍼링 처리 방법, 및 적응적 버퍼링기능을 갖는 ＩＰＴＶ 셋톱박스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171124

RJ01 Rejection of invention patent application after publication