CN105872728A - 一种用于多屏互动的传屏视频处理方法 - Google Patents

一种用于多屏互动的传屏视频处理方法 Download PDF

Info

Publication number
CN105872728A
CN105872728A CN201610370769.1A CN201610370769A CN105872728A CN 105872728 A CN105872728 A CN 105872728A CN 201610370769 A CN201610370769 A CN 201610370769A CN 105872728 A CN105872728 A CN 105872728A
Authority
CN
China
Prior art keywords
packet
data
screen
decoded
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610370769.1A
Other languages
English (en)
Inventor
刘健文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610370769.1A priority Critical patent/CN105872728A/zh
Publication of CN105872728A publication Critical patent/CN105872728A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种用于多屏互动的传屏视频处理方法，该方法包括以下步骤：接收传屏视频数据，并获取传屏视频数据对应的数据包；将数据包存入等待解码队列中；从等待解码队列中提取数据包，并判断数据包的数量是否大于预设的阈值；若判断的结果为是，则提取数据包中的对应当前视频序列的下个数据包的参考数据，并返回提取数据包，并判断数据包的数量是否大于预设的阈值的步骤；若判断的结果为否，则对数据包进行解码。由此，本发明可以尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。

Description

一种用于多屏互动的传屏视频处理方法
技术领域
本发明涉及多媒体技术领域，尤其是涉及一种用于多屏互动的传屏视频处理方法。
背景技术
随着信息技术的不断发展，可以实现不同资源在不同平台设备上进行同时共享展示，实现多屏互动，丰富了用户的多媒体生活。
现有技术的多屏互动中的客户端的对传屏视频的处理方法有以下两种方案：
第一种方案是：首先网络接收与解复用(demux)传屏视频数据，以得到传屏视频数据对应的数据包，然后解码和显示。
其中，解码的过程具体为对视频传屏数据对应的数据包进行解码，并进一步将解码后的数据从YUV格式转换为RGB格式，最后将转换后的帧数据存入等待显示队列。
显示的过程具体为从显示队列中取出帧数据，根据当前帧的时间戳与上一帧的时间戳计算当前帧的显示时间，若当前帧可以立刻显示则显示当前帧，否则休眠显示线程直到当前帧可以显示为止。
第二种方案是：首先接收源屏幕设备编码得到的包括视频帧和音频帧的数据帧，视频帧包括：I帧；若检测到当前所接收到数据帧中的视频帧未到达第二个I帧，则删除当前所接收到的数据帧；若检测到当前所接收到数据帧中的视频帧是第二个I帧，则解码当前以及第二个I帧之后所接收到的数据帧，并将解码后得到的映像显示到屏幕上。由此可以有效减少传屏映像时的延迟，让多屏互动时可以更有效的达到实时显示的效果。
但是第一种方案存在以下缺陷：
解码线程处理一帧数据的耗时要高于网络接收、解复用操作的耗时（特别是在传屏视频数据是高清视频时耗时更大），即等待解码队列的数据消耗速度小于其数据产生速度。在现有技术中，若在使用多屏互动的过程中无线网络出现波动或服务端编码器输出的帧率高于客户端解码线程的处理速度，则势必会造成客户端等待解码队列中的视频数据堆积，视频数据堆积越多则意味着最新的视频越得不到显示，即延时越大，体验越差。进一步的，客户端的显示线程从等待显示队列中取出解码好的帧数据后，还需要再计算当前帧的显示时间，并根据需要休眠显示线程，这样只会导致延时更大，体验更差。
第二种方案存在以下缺陷：
第二种方案的核心是在客户端传屏播放开始阶段丢弃一些视频帧，直到收到第二个I帧才开始按正常流程解码播放。由于其丢弃了第一个视频帧序列（视频帧序列时间长短不一，一般在0.5-4s之间），必然会导致客户端从开始播放传屏视频到显示出传屏画面的时间延长（延长了一个视频帧序列的长度），即开始播放前的黑屏时间变长，不利于用户体验。
同时，第二种方案只涉及传屏视频的开始播放阶段，其无法解决上述第一种方案的播放过程中的问题，所以其同样具有第一种方案的缺陷。
发明内容
本发明主要解决的技术问题是提供一种显示终端及用于多屏互动的传屏视频处理方法，既能确保客户端等待显示队列中解码好的传屏视频数据能尽快显示，又不会在等待解码队列中产生传屏视频数据的积压，视频延时小，提高用户的体验。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种用于多屏互动的传屏视频处理方法，该方法包括以下步骤：接收传屏视频数据，并获取传屏视频数据对应的数据包；将数据包存入等待解码队列中；从等待解码队列中提取数据包，并判断数据包的数量是否大于预设的阈值；若判断的结果为是，则提取数据包中的对应当前视频序列的下个数据包的参考数据，并返回提取数据包，并判断数据包的数量是否大于预设的阈值的步骤；若判断的结果为否，则对数据包进行解码。
其中，方法还包括：将解码后的数据直接存入等待显示队列中。
其中，方法还包括：从显示队列中取出解码后的数据并直接进行显示。
其中，获取传屏视频数据对应的数据包的步骤包括：对传屏视频数据进行解复用，以获取传屏视频数据对应的数据包。
其中，将数据包存入等待解码队列中的步骤包括：将解复用后的数据包存入等待解码队列。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种显示终端，该显示终端包括：接收模块，用于接收传屏视频数据；数据包获取模块，用于获取传屏视频数据对应的数据包；第一存储模块，用于将数据包存入等待解码队列中；数据包提取模块，用于从等待解码队列中提取数据包；判断模块，用于判断数据包的数量是否大于预设的阈值；处理模块，用于在判断模块判断的结果为是时，提取数据包中的对应当前视频序列的下个数据包的参考数据，并控制数据包提取模块继续提取数据包，以及判断模块继续判断数据包的数量是否大于预设的阈值；在判断模块判断的结果为否时，对数据包进行解码。
其中，显示终端进一步包括第二存储模块，用于将解码后的数据直接存入等待显示队列中。
其中，显示终端进一步包括显示模块，显示模块用于从显示队列中取出解码后的数据并直接进行显示。
其中，数据包获取模块为解复用模块，用于对传屏视频数据进行解复用，以获取传屏视频数据对应的数据包。
其中，第一存储模块进一步用于将解复用后的数据包存入等待解码队列。
本发明的有益效果是：区别于现有技术的情况，本发明的显示终端在判断到传屏视频数据对应的数据包的数量大于预设的阈值时，只提取数据包中的对应当前视频序列的下个数据包的参考数据，只有数据包的数量小于或等于预设的阈值时才进行解码，由此可以避免下一个数据包需要正常解码时因为没有参考数据导致花屏的情况下，又可以尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。
附图说明
图1是本发明实施例提供的一种显示终端的结构示意图；
图2是本发明实施例提供的一种用于多屏互动的传屏视频处理方法的流程图。
具体实施方式
请参阅图1，图1是本发明实施例提供的一种显示终端的结构示意图。如图1所示，本发明实施例提供的显示终端10具体为多屏互动中的客户端终端。其主要是接收服务端传输的传屏视频数据，并对该传屏视频数据进行解码等操作后显示给用户。
具体而言，显示终端10包括接收模块11、数据包获取模块12、数据包提取模块13、判断模块14、处理模块15以及第一存储模块16。
其中，接收模块11用于接收服务端的传屏视频数据。接收模块11具体可为蓝牙模块或者天线模块等。数据包获取模块12用于获取传屏视频数据对应的数据包。第一存储模块16用于将数据包存入等待解码队列中。数据包提取模块13用于从等待解码队列中提取数据包。判断模块14用于判断数据包的数量是否大于预设的阈值。处理模块15用于在判断模块14判断的结果为是时，提取数据包中的对应当前视频序列的下个数据包的参考数据，避免下一个数据包需要正常解码时因为没有参考数据导致花屏。处理模块15进一步控制数据包提取模块12继续提取数据包，以及判断模块14继续判断数据包的数量是否大于预设的阈值。在判断模块14判断的结果为否时，对数据包进行解码。
其中，数据包的参考数据具体为下一视频序列的参考图像和当前帧的预测值与预测误差。
值得注意的是，在判断模块14判断的结果为是时，处理模块15提取了当前的数据包中的对应当前视频序列的下个数据包的参考数据之后，即将当前的数据包舍弃，即当前的数据包不再进行解码。由此可以节省了解码的时间。
因此，在本实施例中，可以避免下一个数据包需要正常解码时因为没有参考数据导致花屏的情况下，又可以尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。
进一步的，显示终端10进一步包括第二存储模块18，用于将解码后的数据直接存入等待显示队列中。由此可知，本实施例省去了现有技术中的格式转换的步骤，因此更进一步节省了解码的时间。
进一步的，显示终端10进一步包括显示模块17，显示模块17用于从显示队列中取出解码后的数据并直接进行显示。由此，本实施例的显示终端10不需要等待显示，及时将视频显示给用户，提高了用户体验。
本实施例中，数据包获取模块12具体可为解复用模块，用于对传屏视频数据进行解复用处理，以获取传屏视频数据对应的数据包。其中，第一存储模块16进一步将解复用后的数据包存入等待解码队列中。
承前所述，本实施例既可尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。又可及时的将解码好的数据显示给用户，提高了用户的体验。
本申请还基于前文所述的显示终端提供一种用于多屏互动的传屏视频处理方法。具体请参阅图2。
如图2所示，本实施例的用于多屏互动的传屏视频处理方法包括以下步骤：
步骤S1：接收传屏视频数据，并获取传屏视频数据对应的数据包。
具体为：对传屏视频数据进行解复用，以获取传屏视频数据对应的数据包。
步骤S2：将数据包存入等待解码队列中；
具体为将步骤S1解复用后的数据包存入等待解码队列中。
步骤S3：从等待解码队列中提取数据包，并判断数据包的数量是否大于预设的阈值。
本步骤中，若判断的结果为是，则跳转到步骤S4，若判断的结果为否，则跳转到步骤S5。
步骤S4：提取数据包中的对应当前视频序列的下个数据包的参考数据，并返回步骤S2。
其中，数据包的参考数据具体为下一视频序列的参考图像和当前帧的预测值与预测误差。
本步骤可避免下一个数据包需要正常解码时因为没有参考数据导致花屏。
值得注意的是，在本步骤中，提取了当前的数据包中的对应当前视频序列的下个数据包的参考数据之后，即将当前的数据包舍弃，即当前的数据包不再进行解码。由此可以节省了解码的时间。
步骤S5：对数据包进行解码。
方法还包括：将解码后的数据直接存入等待显示队列中以及从显示队列中取出解码后的数据并进行显示。由此可以及时将视频显示给用户，提高了用户的体验。
综上所述，本发明通过在传屏视频数据对应的数据包的数量大于预设的阈值时，只提取数据包中的对应当前视频序列的下个数据包的参考数据，由此可以避免下一个数据包需要正常解码时因为没有参考数据导致花屏的情况下，又可以尽快的消耗等待解码队列中的数据，防止数据堆积造成的延时增大。
进一步的，本发明还将解码后的数据直接存入等待显示队列中以及从显示队列中取出解码后的数据并进行显示。由此可以及时将视频显示给用户，提高了用户的体验。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (3)

1.一种用于多屏互动的传屏视频处理方法，其特征在于，所述方法包括以下步骤：
接收传屏视频数据，并获取所述传屏视频数据对应的数据包；
将所述数据包存入等待解码队列中；
从所述等待解码队列中提取所述数据包，并判断所述数据包的数量是否大于预设的阈值；
若判断的结果为是，则提取所述数据包中的对应当前视频序列的下个数据包的参考数据，并返回提取所述数据包，并判断所述数据包的数量是否大于预设的阈值的步骤；
若判断的结果为否，则对所述数据包进行解码；
所述获取所述传屏视频数据对应的数据包的步骤包括：
对所述传屏视频数据进行解复用，以获取所述传屏视频数据对应的数据包；
所述将所述数据包存入等待解码队列中的步骤包括：
将解复用后的数据包存入等待解码队列。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将解码后的数据直接存入等待显示队列中。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
从所述显示队列中取出所述解码后的数据并直接进行显示。
CN201610370769.1A 2016-05-28 2016-05-28 一种用于多屏互动的传屏视频处理方法 Pending CN105872728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610370769.1A CN105872728A (zh) 2016-05-28 2016-05-28 一种用于多屏互动的传屏视频处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610370769.1A CN105872728A (zh) 2016-05-28 2016-05-28 一种用于多屏互动的传屏视频处理方法

Publications (1)

Publication Number Publication Date
CN105872728A true CN105872728A (zh) 2016-08-17

Family

ID=56641817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610370769.1A Pending CN105872728A (zh) 2016-05-28 2016-05-28 一种用于多屏互动的传屏视频处理方法

Country Status (1)

Country Link
CN (1) CN105872728A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847946A (zh) * 2016-05-28 2016-08-10 刘健文 一种传屏视频处理方法
CN107438199A (zh) * 2016-05-29 2017-12-05 刘健文 一种传屏视频用显示终端
CN107438197A (zh) * 2016-05-29 2017-12-05 刘健文 一种显示终端
CN107438198A (zh) * 2016-05-29 2017-12-05 刘健文 一种用于传屏视频的显示终端
CN110493756A (zh) * 2019-07-26 2019-11-22 维沃移动通信有限公司 投屏方法及5g终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013007395A1 (de) * 2011-07-13 2013-01-17 Pierre-Alain Cotte Verfahren und vorrichtungen zum verzögerungsarmen ein- oder umschalten auf ein digitales videosignal
CN103297772A (zh) * 2013-05-02 2013-09-11 深圳市比维视创科技有限公司 处理传屏映像的方法、系统以及显示设备
CN103546802A (zh) * 2013-10-15 2014-01-29 深圳Tcl新技术有限公司 动态调整缓存的方法及显示终端
CN104113777A (zh) * 2014-08-01 2014-10-22 广州金山网络科技有限公司 一种音频流解码方法及装置
US20160134931A1 (en) * 2014-11-12 2016-05-12 Bing Song Method and apparatus for reducing latency in multi-media system
CN105847946A (zh) * 2016-05-28 2016-08-10 刘健文 一种传屏视频处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013007395A1 (de) * 2011-07-13 2013-01-17 Pierre-Alain Cotte Verfahren und vorrichtungen zum verzögerungsarmen ein- oder umschalten auf ein digitales videosignal
CN103297772A (zh) * 2013-05-02 2013-09-11 深圳市比维视创科技有限公司 处理传屏映像的方法、系统以及显示设备
CN103546802A (zh) * 2013-10-15 2014-01-29 深圳Tcl新技术有限公司 动态调整缓存的方法及显示终端
CN104113777A (zh) * 2014-08-01 2014-10-22 广州金山网络科技有限公司 一种音频流解码方法及装置
US20160134931A1 (en) * 2014-11-12 2016-05-12 Bing Song Method and apparatus for reducing latency in multi-media system
CN105847946A (zh) * 2016-05-28 2016-08-10 刘健文 一种传屏视频处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847946A (zh) * 2016-05-28 2016-08-10 刘健文 一种传屏视频处理方法
CN107438199A (zh) * 2016-05-29 2017-12-05 刘健文 一种传屏视频用显示终端
CN107438197A (zh) * 2016-05-29 2017-12-05 刘健文 一种显示终端
CN107438198A (zh) * 2016-05-29 2017-12-05 刘健文 一种用于传屏视频的显示终端
CN110493756A (zh) * 2019-07-26 2019-11-22 维沃移动通信有限公司 投屏方法及5g终端
CN110493756B (zh) * 2019-07-26 2022-08-02 维沃移动通信有限公司 投屏方法及5g终端

Similar Documents

Publication Publication Date Title
KR102002835B1 (ko) 트리거 압축을 위한 방법, 컴퓨터 프로그램, 수신 장치, 및 정보 제공 장치
CN105872728A (zh) 一种用于多屏互动的传屏视频处理方法
CN105847946A (zh) 一种传屏视频处理方法
JP5990650B2 (ja) 対話型放送サービスを含む放送信号処理方法及び装置
KR102267861B1 (ko) 대화형 텔레비전을 위한 트리거 파라미터 테이블의 확장
KR102249788B1 (ko) Mmt 및 dash를 이용한 브로드캐스트 및 브로드밴드 하이브리드 서비스
US8707151B2 (en) Apparatus and method for composing scenes using Rich Media contents
CN104219459A (zh) 视频语言翻译方法、系统及智能显示设备
TW201242340A (en) Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
CN108494792A (zh) 一种flash播放器播放hls视频流的转换系统及其工作方法
US10595080B2 (en) Method and apparatus for transmitting and receiving signal in multimedia system
WO2014183478A1 (en) Video encoding method and apparatus
JP6728246B2 (ja) マルチメディアシステムにおける信号送受信方法及び装置
CN112930687A (zh) 一种媒体流处理方法及装置、存储介质及程序产品
CN105847971A (zh) 一种用于传屏视频的处理方法
EP2344951B1 (en) Conditional processing method and apparatus
KR101525248B1 (ko) 리치미디어 서비스를 제공하는 방법 및 장치
KR102356956B1 (ko) Mmt에서 미디어 데이터의 저 지연 소비 시그날링 및 동작 방법 및 장치
US9936266B2 (en) Video encoding method and apparatus
CN102572421B (zh) 基于歌曲预览应用的双路解码快速切换方法
EP2453651A1 (en) Method, terminal and server for processing graphics
CN109618186A (zh) 一种采用fpga实现的h264/avc视频辅助增强信息封装电路
CN107438199A (zh) 一种传屏视频用显示终端
KR20130066432A (ko) 클라우드 기반의 ｉｐｔｖ 서비스 제공 방법 및 장치
CN103905838A (zh) 一种终端播放dvb业务的方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160817