CN104320716B - 一种基于多终端协同的视频上行链路传输方法 - Google Patents
一种基于多终端协同的视频上行链路传输方法 Download PDFInfo
- Publication number
- CN104320716B CN104320716B CN201410371815.0A CN201410371815A CN104320716B CN 104320716 B CN104320716 B CN 104320716B CN 201410371815 A CN201410371815 A CN 201410371815A CN 104320716 B CN104320716 B CN 104320716B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- module
- connection
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012423 maintenance Methods 0.000 claims description 9
- 230000003139 buffering effect Effects 0.000 claims description 7
- 230000005059 dormancy Effects 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000003111 delayed effect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44245—Monitoring the upstream path of the transmission network, e.g. its availability, bandwidth
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种基于多终端协同的视频上行链路传输方法，将视频服务器的功能划分为视频源提供模块、视频编码模块、终端连接调度模块。视频源提供原始视频画面；视频编码模块对视频帧进行编码；终端连接调度模块监听协同终端的接入，并进行分流决策，向视频源提供模块发起新的视频帧请求；视频客户播放端划分为终端连接调度模块、帧管理模块、视频解码模块、视频播放模块。终端连接调度模块监听协同终端的接入，接受数据并缓存，排序形成完整的数据帧；帧管理模块将视频帧排序，交由解码模块解码，最后由视频播放模块播放。该方法可以提高视频传输速率，提高用户观看下载视频体验。
Description
技术领域
本发明涉及一种多终端环境下协同传输视频的方法，属于无线网络流媒体传输领域。
背景技术
随着宽带网的普及和多媒体技术的发展，流媒体技术的应用也越来越广泛，如数字广播业务、视频会议业务、视频点播服务、IPTV、移动流媒体业务等。用户已经不满足于网页浏览、文字阅读等上网方式，人们往往希望在线观看视频直播，体验各种各样的流媒体服务。现实网络中单链路的下载速度往往不能满足用户观看高清视频的要求，视频经常处于暂停缓冲状态。此时可以利用泛在网络下多终端协同手段，用多个异构无线终端，通过网络控制平台进行注册及统一管理，由网络控制平台进行传输调度控制多种无线网络协同工作将视频从服务器传送到客户端，多流并发，充分利用网络资源，提高视频传输速度以及用户体验。
发明内容
技术问题：本发明针对现实网络中单链路视频传输缓慢，无法满足用户体验等问题，提供一种多终端环境下，基于多终端协同的高清实时视频上行链路传输方法。
技术方案：本发明基于多终端环境下，提出了多终端协同的高清视频传输方法，该方法包括以下步骤：
视频服务器端：
1)视频源提供模块：监听网络连接管理模块发出的新视频帧请求，提供原始的视频画面，供给视频编码模块用于编码；
2)视频编码模块：接收来自视频源提供模块的原始视频帧，进行H.264编码后发往终端连接调度模块准备传输；
3)终端连接调度模块：监听协同终端的接入，接收来自视频编码模块的编码帧，进行分流决策，选择一路合适的终端连接存入对应缓冲区等待发送，当帧传输完毕，向视频源提供模块发起新的视频帧请求；
视频客户播放端：
1)终端连接调度模块：监听协同终端的接入，接受各路连接的数据并缓存，排序并拼接收到的数据包，当获取到完整的一帧后，将视频帧发给帧管理模块；
2)帧管理模块：接受来自终端连接调度模块的完整视频帧，将缓存的视频帧按帧时间戳进行排序、当收到视频播放模块的新帧请求时提供新视频帧给视频解码模块，根据已缓存的视频帧数量进行吞吐量判决、并向网络管理控制服务器发起调整协同策略请求；
3)视频解码模块：接受来自帧管理模块的编码视频帧，进行H.264解码后发往视频播放模块准备播放；
4)视频播放模块：按照视频帧率定时向帧管理模块请求新视频帧，并接收来自视频解码模块解码后的视频帧进行播放。
视频服务器端所述步骤2)和步骤3)中，终端连接调度模块由以下四部分构成：
(1)新连接监听器(2)分流决策器(3)连接维护与缓存管理器(4)数据传输器；具体流程为：
a)新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；
b)分流决策器接收视频编码模块发来的已编码视频帧，并向连接维护与缓存管理器请求各连接的套接字已缓存的数据量，选择缓存量最小的一个连接，将视频帧发给连接维护与缓存管理器，请求其将该帧加入刚选出的连接的缓存区；
c)连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自分流决策器的查询请求，接受来自新连接监听器的新连接接入，向数据传输器提供欲发送的视频数据；
d)数据传输器负责将各连接缓存中的数据发送出去，数据传输器定时查询连接维护与缓存管理器的各连接缓存状况，当有连接的缓存不为空时，将该连接的缓存数据通过其对应套接字发送出去。
视频客户播放端所述步骤1)中，终端连接调度模块由以下三部分构成：(1)新连接监听器(2)连接维护与缓存管理器(3)数据传输器；具体流程如下：
a)新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；
b)连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自新连接监听器的新连接接入，接收数据传输器提供的已连接的各路协同终端的视频数据并采用一个队列进行缓存，定期检查缓存队列，当检测到一帧视频的全部数据包都接收到后，将该帧提供给帧管理模块；
c)数据传输器负责处理接收各连接套接字接收的视频数据，并将数据发送给连接维护与缓存管理器进行排序、合并处理。
视频客户播放端所述步骤2)中，帧管理模块由以下三部分构成：(1)帧缓存队列(2)传输控制决策器(3)帧播放管理器；具体流程如下：
a)帧缓存队列接收来自终端连接调度模块的完整视频帧，将帧按时间戳顺序存放在队列中，并接收传输控制决策器和帧播放管理器的帧长度查询请求和新视频帧请求。为防止缓存帧数过多导致队列访问开销过大，为队列设定缓存容量上限＝500，当队列长度达到上限时，将不再接收新的视频帧，并阻塞终端连接调度模块使其停止从各连接上接收数据；
b)帧播放管理器用于接收视频播放模块的新帧请求并向视频解码模块提供视频帧。帧播放管理器设置两个帧缓存队列长度门限A＝60，B＝90用于判决是否需要等待缓冲。当一帧播放完毕后，视频播放模块会向帧播放管理器请求新帧，这时帧播放管理器向帧缓存队列请求队列长度。当长度小于门限A时，设置状态为缓冲中，这时将会阻塞视频解码模块使视频播放暂停等待缓冲。当长度大于门限B时，设置状态为播放中，这时将向帧缓存队列请求需要播放的下一帧传送给视频解码模块供解码播放；
c)传输控制决策器定时判断帧缓存队列长度，并设置两个门限A＝150，B＝300用于传输控制调整判决。当视频帧数低于门限A时，判定为吞吐量不能满足业务需求，向网络管理控制服务器发送调整增加吞吐量请求，然后将传输控制决策器休眠10秒等待自适应调整后再进行下一次的判决。当视频帧数高于门限B时，判定为吞吐量超出需求，向网络管理控制服务器发送调整减少吞吐量请求，然后将传输控制决策器休眠10秒等待自适应调整后再进行下一次的判决。
有益效果：本发明与现有技术相比，具有以下优点：
本发明突破了现实网络中单链路视频传输很难满足用户体验的弊端，提供一种基于多终端协同的高清实时视频上行链路传输方法，通过协同终端的接入，建立多条链路，结合对各条链路的缓冲监控信息，将视频帧分别从不同链路中发送出去，实现多流并发，提高了用户在线观看下载视频的体验。
附图说明
图1为视频发送与接收系统框图。
图2为场景图。
具体实施方式
以下结合实施例和说明书附图对本发明技术方案进行详细描述。
1.本发明的场景如图2所示；在该场景下，用多个异构无线终端，通过网络控制平台进行注册及统一管理，由网络控制平台进行传输调度控制多种无线网络协同工作将视频从服务器传送到客户端；
说明：
1)视频业务服务器：将从摄像头中采集的原始视频流进行编码、分割打包等处理。
2)协同终端：用于视频服务器到监控中心客户端间的协同远距离传输；
3)视频播放客户端：接受视频服务器的视频数据包，进行缓存、解码等操作并播放。
4)终端控制器：对协同终端进行发现，并上报给终端管理服务器；
5)网络管理控制服务器：终端的注册，并对终端进行监控、管理，把终端的状况汇报给网络管理控制服务器。并根据网络状况、业务特点、终端能力，选择协同终端并进行分流决策；
6)无线网卡：提供嵌入式终端的移动网络接入能力。
2.如图1所示，视频服务器发送过程如下：
1)视频源提供模块：监听网络连接管理模块发出的新视频帧请求，提供原始的视频画面，供给视频编码模块用于编码；
2)视频编码模块：接收来自视频源提供模块的原始视频帧，进行H.264编码后发往终端连接调度模块准备传输；
3)终端连接调度模块：监听协同终端的接入，接收来自视频编码模块的编码帧，进行分流决策，选择一路合适的终端连接存入对应缓冲区等待发送，当帧传输完毕，向视频源提供模块发起新的视频帧请求；
视频源提供模块接收终端连接调度模块的请求，当收到需要提供新视频帧的消息后，读取下一幅需要编码传输的视频帧，将该视频帧传递给视频编码模块；
编码模块采用FFmpeg编码库进行H.264编码，将从视频源提供模块接收的原始视频帧进行编码后发送给终端连接调度模块；
终端连接调度模块的新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；分流决策器接收视频编码模块发来的已编码视频帧，并向连接维护与缓存管理器请求各连接的套接字已缓存的数据量，选择缓存量最小的一个连接，将视频帧发给连接维护与缓存管理器，请求其将该帧加入刚选出的连接的缓存区；连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自分流决策器的查询请求，接受来自新连接监听器的新连接接入，向数据传输器提供欲发送的视频数据；数据传输器负责将各连接缓存中的数据发送出去，数据传输器定时查询连接维护与缓存管理器的各连接缓存状况，当有连接的缓存不为空时，将该连接的缓存数据通过其对应套接字发送出去。
3.如图1所示，视频客户端接收过程如下：
4)终端连接调度模块：监听协同终端的接入，接受各路连接的数据并缓存，排序并拼接收到的数据包，当获取到完整的一帧后，将视频帧发给帧管理模块；
5)管理模块：接受来自终端连接调度模块的完整视频帧，将缓存的视频帧按帧时间戳进行排序、当收到视频播放模块的新帧请求时提供新视频帧给视频解码模块，根据已缓存的视频帧数量进行吞吐量判决、并向网络管理控制服务器发起调整协同策略请求；
6)视频解码模块：接受来自帧管理模块的编码视频帧，进行H.264解码后发往视频播放模块准备播放；
7)视频播放模块：按照视频帧率定时向帧管理模块请求新视频帧，并接收来自视频解码模块解码后的视频帧进行播放；
终端连接调度模块的新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自新连接监听器的新连接接入，接收数据传输器提供的已连接的各路协同终端的视频数据并采用一个队列进行缓存，定期检查缓存队列，当检测到一帧视频的全部数据包都接收到后，将该帧提供给帧管理模块；数据传输器负责处理接收各连接套接字接收的视频数据，并将数据发送给连接维护与缓存管理器进行排序、合并处理；
帧管理模块的帧缓存队列接收来自终端连接调度模块的完整视频帧，将帧按时间戳顺序存放在队列中，并接收传输控制决策器和帧播放管理器的帧长度查询请求和新视频帧请求。为防止缓存帧数过多导致队列访问开销过大，为队列设定缓存容量上限＝500，当队列长度达到上限时，将不再接收新的视频帧，并阻塞终端连接调度模块使其停止从各连接上接收数据；帧播放管理器用于接收视频播放模块的新帧请求并向视频解码模块提供视频帧。帧播放管理器设置两个帧缓存队列长度门限A＝60，B＝90用于判决是否需要等待缓冲。当一帧播放完毕后，视频播放模块会向帧播放管理器请求新帧，这时帧播放管理器向帧缓存队列请求队列长度。当长度小于门限A时，设置状态为缓冲中，这时将会阻塞视频解码模块使视频播放暂停等待缓冲。当长度大于门限B时，设置状态为播放中，这时将向帧缓存队列请求需要播放的下一帧传送给视频解码模块供解码播放；传输控制决策器定时判断帧缓存队列长度，并设置两个门限A＝150，B＝300用于传输控制调整判决。当视频帧数低于门限A时，判定为吞吐量不能满足业务需求，向网络管理控制服务器发送调整增加吞吐量请求，然后将传输控制决策器休眠10秒等待自适应调整后再进行下一次的判决。当视频帧数高于门限B时，判定为吞吐量超出需求，向网络管理控制服务器发送调整减少吞吐量请求，然后将传输控制决策器休眠10秒等待自适应调整后再进行下一次的判决；解码模块采用FFmpeg编码库进行H.264解码，将从帧管理模块接收的原始视频帧进行解码后发送给视频播放模块；播放模块按视频帧率(每秒30帧)的频率向帧管理模块发出新帧请求，等待从视频解码模块中解码后的视频帧，视频帧的显示采用OpenGL图形接口进行渲染。
本发明的有益效果如下：
当某个场景下单个用户终端上网速度较慢，无法在线观看高清视频，或者观看较卡时，可以利用多个用户的终端充当多条链路，多终端协同传输视频，实现多流并发，从而实现高清实时的观看。
Claims (3)
1.一种基于多终端协同的视频上行链路传输方法，其特征在于，该方法包括视频服务器端和视频客户播放端以下步骤：
视频服务器端：
1)视频源提供模块：监听网络连接管理模块发出的新视频帧请求，提供原始的视频画面，供给视频编码模块用于编码；
2)视频编码模块：接收来自视频源提供模块的原始视频帧，进行H.264编码后发往终端连接调度模块准备传输；
3)终端连接调度模块：监听协同终端的接入，接收来自视频编码模块的编码帧，进行分流决策，选择一路合适的终端连接存入对应缓冲区等待发送，当帧传输完毕，向视频源提供模块发起新的视频帧请求；
视频服务器端所述步骤2)和步骤3)中，终端连接调度模块由以下四部分构成：(1)新连接监听器(2)分流决策器(3)连接维护与缓存管理器(4)数据传输器；具体流程为：
a)新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；
b)分流决策器接收视频编码模块发来的已编码视频帧，并向连接维护与缓存管理器请求各连接的套接字已缓存的数据量，选择缓存量最小的一个连接，将视频帧发给连接维护与缓存管理器，请求其将该帧加入刚选出的连接的缓存区；
c)连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自分流决策器的查询请求，接受来自新连接监听器的新连接接入，向数据传输器提供欲发送的视频数据；
d)数据传输器负责将各连接缓存中的数据发送出去，数据传输器定时查询连接维护与缓存管理器的各连接缓存状况，当有连接的缓存不为空时，将该连接的缓存数据通过其对应套接字发送出去；
视频客户播放端：
1)终端连接调度模块：监听协同终端的接入，接受各路连接的数据并缓存，排序并拼接收到的数据包，当获取到完整的一帧后，将视频帧发给帧管理模块；
2)帧管理模块：接受来自终端连接调度模块的完整视频帧，将缓存的视频帧按帧时间戳进行排序、当收到视频播放模块的新帧请求时提供新视频帧给视频解码模块，根据已缓存的视频帧数量进行吞吐量判决、并向网络管理控制服务器发起调整协同策略请求；
3)视频解码模块：接受来自帧管理模块的编码视频帧，进行H.264解码后发往视频播放模块准备播放；
4)视频播放模块：按照视频帧率定时向帧管理模块请求新视频帧，并接收来自视频解码模块解码后的视频帧进行播放。
2.根据权利要求1所述的一种基于多终端协同的视频上行链路传输方法，其特征在于，视频客户播放端所述步骤1)中，终端连接调度模块由以下三部分构成：(1)新连接监听器(2)连接维护与缓存管理器(3)数据传输器；具体流程如下：
a)新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；b)连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自新连接监听器的新连接接入，接收数据传输器提供的已连接的各路协同终端的视频数据并采用一个队列进行缓存，定期检查缓存队列，当检测到一帧视频的全部数据包都接收到后，将该帧提供给帧管理模块；c)数据传输器负责处理接收各连接套接字接收的视频数据，并将数据发送给连接维护与缓存管理器进行排序、合并处理。
3.根据权利要求2所述的基于多终端协同的视频上行链路传输方法，其特征在于，视频客户播放端所述步骤2)中，帧管理模块由以下三部分构成：(1)帧缓存队列(2)传输控制决策器(3)帧播放管理器；具体流程如下：
a)帧缓存队列接收来自终端连接调度模块的完整视频帧，将帧按时间戳顺序存放在队列中，并接收传输控制决策器和帧播放管理器的帧长度查询请求和新视频帧请求；为防止缓存帧数过多导致队列访问开销过大，为队列设定缓存容量上限＝500，当队列长度达到上限时，将不再接收新的视频帧，并阻塞终端连接调度模块使其停止从各连接上接收数据；
b)帧播放管理器用于接收视频播放模块的新帧请求并向视频解码模块提供视频帧；帧播放管理器设置两个帧缓存队列长度门限A＝60，B＝90用于判决是否需要等待缓冲；当一帧播放完毕后，视频播放模块会向帧播放管理器请求新帧，这时帧播放管理器向帧缓存队列请求队列长度；当长度小于门限A时，设置状态为缓冲中，这时将会阻塞视频解码模块使视频播放暂停等待缓冲；当长度大于门限B时，设置状态为播放中，这时将向帧缓存队列请求需要播放的下一帧传送给视频解码模块供解码播放；
c)传输控制决策器定时判断帧缓存队列长度，并设置两个门限A＝150，B＝300用于传输控制调整判决；当视频帧数低于门限A时，判定为吞吐量不能满足业务需求，向网络管理控制服务器发送调整增加吞吐量请求，然后将传输控制决策器休眠10秒等待自适应调整后再进行下一次的判决；当视频帧数高于门限B时，判定为吞吐量超出需求，向网络管理控制服务器发送调整减少吞吐量请求，然后将传输控制决策器休眠10秒等待自适应调整后再进行下一次的判决。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410371815.0A CN104320716B (zh) | 2014-07-31 | 2014-07-31 | 一种基于多终端协同的视频上行链路传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410371815.0A CN104320716B (zh) | 2014-07-31 | 2014-07-31 | 一种基于多终端协同的视频上行链路传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104320716A CN104320716A (zh) | 2015-01-28 |
| CN104320716B true CN104320716B (zh) | 2017-07-07 |
Family
ID=52375873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410371815.0A Active CN104320716B (zh) | 2014-07-31 | 2014-07-31 | 一种基于多终端协同的视频上行链路传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104320716B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104618518B (zh) * | 2015-03-12 | 2017-10-03 | 中国科学技术大学苏州研究院 | 群组应用场景下多终端协同文件传输方法 |
| CN104853221A (zh) * | 2015-05-22 | 2015-08-19 | 中山大学 | 一种基于虚拟服务器矩阵的多源流视频点播系统及方法 |
| CN109769140A (zh) * | 2018-12-20 | 2019-05-17 | 南京杰迈视讯科技有限公司 | 一种基于流媒体技术的网络视频流畅播放控制方法 |
| CN110446081B (zh) * | 2019-09-04 | 2022-02-22 | 南京安谱软件有限公司 | 一种视频处理方法、装置及系统 |
| CN111050107B (zh) * | 2019-11-11 | 2022-09-27 | 湖南君瀚信息技术有限公司 | 一种无线高清低延迟视频传输装置、系统及方法 |
| CN111934968B (zh) * | 2020-06-28 | 2022-05-10 | 深圳市奥拓电子股份有限公司 | 一种环型链路视频控制方法、装置和系统 |
| CN112653927B (zh) * | 2020-12-17 | 2023-03-21 | 杭州当虹科技股份有限公司 | 一种实时统计视频播放次数的系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102421139A (zh) * | 2011-11-30 | 2012-04-18 | 东南大学 | 一种基于动态负载传递的异构网络融合方法 |
| CN102790803A (zh) * | 2012-07-19 | 2012-11-21 | 南京邮电大学 | 一种基于多终端融合的流媒体业务多流并发传输方法 |
| CN102811465A (zh) * | 2012-07-11 | 2012-12-05 | 北京邮电大学 | 异构网络下基于反馈信息的业务分流系统及方法 |
| CN103412795A (zh) * | 2013-08-27 | 2013-11-27 | 中国科学院计算技术研究所 | 一种面向移动智能终端的协同下载任务调度方法及系统 |
| CN103517323A (zh) * | 2012-06-20 | 2014-01-15 | 华为技术有限公司 | 无线异构网络的数据传输方法、分流设备、基站设备 |
| CN103905330A (zh) * | 2012-12-28 | 2014-07-02 | 中国电信股份有限公司 | 多终端协同通信业务分流比例获取方法和服务器 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101595526B1 (ko) * | 2010-12-23 | 2016-02-26 | 한국전자통신연구원 | 콘텐츠 동기 전송 시스템 및 방법 |
-
2014
- 2014-07-31 CN CN201410371815.0A patent/CN104320716B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102421139A (zh) * | 2011-11-30 | 2012-04-18 | 东南大学 | 一种基于动态负载传递的异构网络融合方法 |
| CN103517323A (zh) * | 2012-06-20 | 2014-01-15 | 华为技术有限公司 | 无线异构网络的数据传输方法、分流设备、基站设备 |
| CN102811465A (zh) * | 2012-07-11 | 2012-12-05 | 北京邮电大学 | 异构网络下基于反馈信息的业务分流系统及方法 |
| CN102790803A (zh) * | 2012-07-19 | 2012-11-21 | 南京邮电大学 | 一种基于多终端融合的流媒体业务多流并发传输方法 |
| CN103905330A (zh) * | 2012-12-28 | 2014-07-02 | 中国电信股份有限公司 | 多终端协同通信业务分流比例获取方法和服务器 |
| CN103412795A (zh) * | 2013-08-27 | 2013-11-27 | 中国科学院计算技术研究所 | 一种面向移动智能终端的协同下载任务调度方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 面向多终端协同的网络控制平台及业务技术研究;张达;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130615;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104320716A (zh) | 2015-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104320716B (zh) | 一种基于多终端协同的视频上行链路传输方法 | |
| US10263875B2 (en) | Real-time processing capability based quality adaptation | |
| CN104093088B (zh) | 实现自适应流媒体播放控制的系统及方法 | |
| US20080034396A1 (en) | System and method for video distribution and billing | |
| CN101309393B (zh) | 一种在交互式网络电视中插播视频监控的方法及系统 | |
| CN106792034A (zh) | 基于移动终端进行直播的方法及移动终端 | |
| KR20040069360A (ko) | 클라이언트 대역폭 또는 성능에 기초한 타겟된 스케일가능한 비디오 멀티캐스트 | |
| CN101917613A (zh) | 一种流媒体采集编码服务系统 | |
| CN108063911B (zh) | 一种视频会议扩容方法 | |
| US20110231521A1 (en) | Media convergence platform | |
| US20100332621A1 (en) | Method and Apparatus for Obtaining Media Over a Communications Network | |
| CN107333143B (zh) | 5g多接入并发传输控制系统及方法 | |
| CN107087138A (zh) | 一种基于h.265视频编码格式的视频会议系统 | |
| CN105681817A (zh) | 一种智能终端视音频采集传输播放系统和方法 | |
| CN102387409A (zh) | 基于流媒体系统的视频播放方法 | |
| CN105791886B (zh) | 支持细粒度数据分片的无线流媒体视频服务系统与方法 | |
| Zeng et al. | TVSR‐OR: Tile‐based 360‐degree video streaming over real time streaming protocol with optimized read | |
| CN107465679A (zh) | 一种流媒体传输控制方法 | |
| WO2009103351A1 (en) | Method and apparatus for obtaining media over a communications network | |
| CN100484239C (zh) | 一种分发网络电视业务的装置与方法 | |
| Pan et al. | OJUMP: Optimization for joint unicast‐multicast panoramic VR live streaming system | |
| CN103634694A (zh) | 一种基于ip的流媒体播放方法及系统 | |
| Qiang | [Retracted] Consumption Reduction Solution of TV News Broadcast System Based on Wireless Communication Network | |
| CN105306970B (zh) | 一种流媒体直播发送速度的控制方法及装置 | |
| CN108924088A (zh) | 一种4k网络摄像机传输实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |