CN106941628B - 同屏过程中辅助流的传输方法、发送终端及接收终端 - Google Patents

同屏过程中辅助流的传输方法、发送终端及接收终端 Download PDF

Info

Publication number
CN106941628B
CN106941628B CN201610004909.3A CN201610004909A CN106941628B CN 106941628 B CN106941628 B CN 106941628B CN 201610004909 A CN201610004909 A CN 201610004909A CN 106941628 B CN106941628 B CN 106941628B
Authority
CN
China
Prior art keywords
auxiliary
rtsp
parameter
sending
receiving terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610004909.3A
Other languages
English (en)
Other versions
CN106941628A (zh
Inventor
田康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201610004909.3A priority Critical patent/CN106941628B/zh
Publication of CN106941628A publication Critical patent/CN106941628A/zh
Application granted granted Critical
Publication of CN106941628B publication Critical patent/CN106941628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8402—Generation or processing of descriptive data, e.g. content descriptors involving a version number, e.g. version number of EPG data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明实施例公开了一种同屏过程中辅助流的传输方法，通过在RTSP获取参数应答消息中增加第一辅助参数集，在RTSP设置参数请求消息中增加第二辅助参数集，根据第一辅助参数集与第二辅助参数集在WFD能力协商建立阶段建立辅助流传输通道。本发明实施例同时还公开了一种发送终端及接收终端。

Description

同屏过程中辅助流的传输方法、发送终端及接收终端
技术领域
本发明涉及同屏显示技术，尤其涉及一种同屏过程中辅助流的传输方法、发送终端及接收终端。
背景技术
利用同屏显示技术用户可以将音视频流等内容在不同的终端上进行实时共享，随着同屏显示技术的发展，在音视频流中加入一些辅助流可以有效的提升多屏互动过程的用户体验；辅助流是指除了同屏过程中的音视频流之外，其他的一些数据流，比如字幕，配套的图片，交互信息等辅助内容。
现有方法往往是通过特定封装技术将音视频流与辅助流配套打包成信息流直接传输，但是如果有额外的辅助流需要同时传输时，则需要重新将这些额外的辅助流与音视频流进行配套打包形成新的信息流进行传输，这样就无法实现这些额外的辅助流与传输的音视频流同时传输，并且无法独立传输。
发明内容
有鉴于此，本发明实施例期望提供一种同屏过程中辅助流的传输方法、发送终端及接收终端，从而可以将需要额外传输的辅助流通过辅助流传输通道独立传输，而且可以使额外的辅助流与音视频流可以同时传输。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供一种同屏过程中辅助流的传输方法，所述方法包括：
向接收终端发送包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；
接收所述接收终端发送的包括有更新后的第一辅助参数集的RTSP获取参数应答消息；
根据所述更新后的第一辅助参数集得到所述接收终端是否支持辅助流传输；
向所述支持辅助流传输的接收终端发送包括有第二辅助参数集的RTSP设置参数请求消息；
与所述支持辅助流传输的接收终端建立辅助流传输通道；
接收所述支持辅助流传输的接收终端发送的包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
根据所述更新后的第二辅助参数集确定辅助流传输通道的状态；
所述辅助流传输通道成功建立后，通过所述辅助流传输通道将辅助流数据块发送给所述支持辅助流传输的接收终端。
上述方法中，在所述向接收终端发送包括有第一辅助参数集的RTSP获取参数请求消息之前，所述方法还包括：
向所述接收终端发送第一RTSP选项请求消息；
接收所述接收终端发送的第一RTSP选项应答消息；
接收所述接收终端发送的第二RTSP选项请求消息；
向所述接收终端发送第二RTSP选项应答消息；
根据所述第一RTSP选项应答消息得到所述接收终端支持的RTSP方法集。
上述方法中，所述第一辅助参数集包括WFD辅助能力参数，辅助能力列表参数，输入类型参数，tcp端口参数；
所述第二辅助参数集包括所述第一辅助参数集，WFD辅助设置参数，辅助设置参数。
上述方法中，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间，特效类型，特效时长，具体内容。
本发明还提供一种同屏过程中辅助流的传输方法，所述方法包括：
接收发送终端发送的包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；
更新所述第一辅助参数集；
向所述发送终端发送包括有更新后的第一辅助参数集的RTSP获取参数应答消息；
接收所述发送终端发送的包括有第二辅助参数集的RTSP设置参数请求消息；
与所述发送终端建立辅助流传输通道；
根据所述辅助流传输通道的状态更新所述第二辅助参数集；
向所述发送终端发送包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
所述辅助流传输通道成功建立后，通过所述辅助流传输通道接收所述发送终端发送的辅助流数据块。
上述方法中，在所述接收发送终端发送的包括有第一辅助参数集的RTSP获取参数请求消息之前，所述方法还包括：
接收所述发送终端发送的第一RTSP选项请求消息；
向所述发送终端发送第一RTSP选项应答消息；
向所述发送终端发送第二RTSP选项请求消息；
接收所述发送终端发送的第二RTSP选项应答消息；
根据所述第二RTSP选项应答消息得到所述发送终端支持的RTSP方法集。
上述方法中，所述第一辅助参数集包括无线保真直连WFD辅助能力参数，辅助能力列表参数，输入类型参数，tcp端口参数；
所述第二辅助参数集包括所述第一辅助参数集，WFD辅助设置参数参数，辅助设置参数。
上述方法中，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间点，特效类型，特效时长，具体内容。
上述方法中，在所述通过所述辅助流传输通道接收所述发送终端发送的辅助流数据块之后，所述方法还包括：
判断是否支持所述辅助流数据块的内容类型；
若支持所述辅助流数据块的内容类型，则再判断所述辅助流数据块的当前时间点是否小于等于所述辅助流数据块的媒体时间点；
若所述当前时间点小于等于所述辅助流数据块的媒体时间点，则等待当前时间点到达所述媒体时间点后，将所述辅助流数据块进行播出；
若所述当前时间点大于所述辅助流数据块的媒体时间点且小于等于预设最大时间点，则立刻将所述辅助流数据块进行播出；
若不支持所述辅助流数据块的内容类型，则将所述辅助流数据块不进行播出。
本发明还提供一种发送终端，所述发送终端包括：
发送模块，用于向接收终端发送包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；还用于向所述支持辅助流传输的接收终端发送包括有第二辅助参数集的RTSP设置参数请求消息；还用于在所述辅助流传输通道成功建立后，通过所述辅助流传输通道将辅助流数据块发送给所述支持辅助流传输的接收终端；
接收模块，用于接收所述接收终端发送的包括有更新后的第一辅助参数集的RTSP获取参数应答消息；还用于接收所述支持辅助流传输的接收终端发送的包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
处理模块，用于根据所述更新后的第一辅助参数集得到所述接收终端是否支持辅助流传输；还用于根据所述更新后的第二辅助参数集确定辅助流传输通道的状态；
建立模块，用于与所述支持辅助流传输的接收终端建立辅助流传输通道。
上述发送终端中，
所述发送模块，还用于向所述接收终端发送第一RTSP选项请求消息；还用于向所述接收终端发送第二RTSP选项应答消息；
所述接收模块，还用于接收所述接收终端发送的第一RTSP选项应答消息；还用于接收所述接收终端发送的第二RTSP选项请求消息；
所述处理模块，还用于根据所述第一RTSP选项应答消息得到所述接收终端支持的RTSP方法集。
上述发送终端中，所述第一辅助参数集包括WFD辅助能力参数，辅助能力列表参数，输入类型参数，tcp端口参数；
所述第二辅助参数集包括所述第一辅助参数集，WFD辅助设置参数，辅助设置参数。
上述发送终端中，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间，特效类型，特效时长，具体内容。
本发明还提供一种接收终端，其特征在于，所述接收终端包括：
接收模块，用于接收发送终端发送的包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；还用于接收所述发送终端发送的包括有第二辅助参数集的RTSP设置参数请求消息；还用于在所述辅助流传输通道成功建立后，通过所述辅助流传输通道接收所述发送终端发送的辅助流数据块；
处理模块，用于更新所述第一辅助参数集；还用于根据所述辅助流传输通道的状态更新所述第二辅助参数集；
发送模块，用于向所述发送终端发送包括有更新后的第一辅助参数集的RTSP获取参数应答消息；还用于向所述发送终端发送包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
建立模块，用于与所述发送终端建立辅助流传输通道。
上述接收终端中，
所述接收模块，还用于接收所述发送终端发送的第一RTSP选项请求消息；还用于接收所述发送终端发送的第二RTSP选项应答消息；
所述发送模块，还用于向所述发送终端发送第一RTSP选项应答消息；还用于向所述发送终端发送第二RTSP选项请求消息；
所述处理模块，还用于根据所述第二RTSP选项应答消息得到所述发送终端支持的RTSP方法集。
上述接收终端中，所述第一辅助参数集包括无线保真直连WFD辅助能力参数，辅助能力列表参数，输入类型参数，tcp端口参数；
所述第二辅助参数集包括所述第一辅助参数集，WFD辅助设置参数参数，辅助设置参数。
上述接收终端中，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间点，特效类型，特效时长，具体内容。
上述接收终端中，所述接收终端还包括：
判断模块，用于判断是否支持所述辅助流数据块的内容类型；
所述判断模块，还用于若支持所述辅助流数据块的内容类型，则再判断所述辅助流数据块的当前时间点是否小于等于所述辅助流数据块的媒体时间点；
播出模块，用于若所述当前时间点小于等于所述辅助流数据块的媒体时间点，则等待当前时间点到达所述媒体时间点后，将所述辅助流数据块进行播出；
所述播出模块，还用于若所述当前时间点大于所述辅助流数据块的媒体时间点且小于等于预设最大时间点，则立刻将所述辅助流数据块进行播出；
所述播出模块，还用于若不支持所述辅助流数据块的内容类型，则将所述辅助流数据块不进行播出。
本发明实施例提供的同屏过程中辅助流的传输方法、发送终端及接收终端，通过在RTSP获取参数应答消息中增加第一辅助参数集，在RTSP设置参数请求消息中增加第二辅助参数集，根据第一辅助参数集与第二辅助参数集使得发送终端和接收终端在WFD能力协商建立阶段建立辅助流传输通道，从而可以将需要额外传输的辅助流通过辅助流传输通道独立传输，而且可以使额外的辅助流与音视频流可以同时传输。
附图说明
图1为本发明同屏过程中辅助流的传输方法实施例一的流程图；
图2为本发明同屏过程中辅助流的传输方法实施例二的流程图；
图3为本发明同屏过程中辅助流的发送终端实施例的结构示意图；
图4为本发明同屏过程中辅助流的接收终端实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为本发明同屏过程中辅助流的传输方法实施例一的流程图，如图1所示，本方法可以包括如下步骤：
步骤101、发送终端向接收终端发送包括有第一辅助参数集的RTSP获取参数请求消息，接收终端接收发送终端发送的第一RTSP选项请求消息。
本发明实施例中描述的发送终端和接收终端可以包括具有Miracast协议的终端，诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)、便携式多媒体播放器(PMP)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端；发送终端和接收终端如果具有操作系统，该操作系统可以为UNIX、Linux、Windows、安卓(Android)、Windows Phone等等。
发送终端向接收终端发送包括有第一辅助参数集的实时流传输协议(Real TimeStreaming Protocol，RTSP)获取参数请求消息，接收终端接收发送终端发送的第一RTSP选项请求消息，该第一辅助参数集中携带有向接收终端询问是否支持辅助流的传输等问题；其中，第一辅助参数集包括了无线保真直连(Wi-Fi Direct，WFD)辅助能力参数(wfd_auxiliary_capability)，辅助能力列表参数(auxiliary_cap_list)，输入类型参数(input-type)，tcp端口参数(tcp-port)；各个参数具体定义如下：
wfd_auxiliary_capability＝“wfd_auxiliary_capability”：“SP(“none”/(“auxiliary_cap_list”；”tcp-port))CRLF；
“none”(如果不支持辅助流传输)
auxiliary_cap_list＝input-type*(“,”SP auxiliary_cap_list)
input-type＝type
tcp-port＝“port＝”(“none”/IPPORT)
另外，包括有第一辅助参数集的RTSP获取参数请求消息可以用于获取发送设备对接收设备感兴趣的WFD能力列表，例如音频格式、视频格式、几种视频分辨率(如1080p，720p，480p等)，以及使用者输入反向信道(User Input Back Channel，UIBC)能力等。
在本步骤之前，发送终端和接收终端需要知道双方的RTSP方法集，需要进行WFD能力信息交互，所以参与通信的发送终端首先向接收终端发送第一RTSP选项请求消息；接收终端在接收到第一RTSP选项请求消息后，将自身所支持的RTSP方法集承载在第一RTSP选项应答消息上，发送给发送终端；发送终端接收到由发送终端发送的第一RTSP选项应答消息，根据第一RTSP选项应答消息可以得到接收终端所支持的RTSP方法集。
然后，接收终端向发送终端发送第二RTSP选项请求消息；发送终端在接收到第二RTSP选项请求消息后，将自身所支持的RTSP方法集承载在第二RTSP选项应答消息上，发送给接收终端；接收终端接收到由发送终端发送的第二RTSP选项应答消息，根据第二RTSP选项应答消息可以得到发送终端所支持的RTSP方法集。
其中，RTSP方法集中包括有终端支持的WFD能力信息。
步骤102、接收终端更新第一辅助参数集。
接收终端更新第一辅助参数集，即回答第一辅助参数集中携带有向接收终端询问是否支持辅助流传输的问题，将答案承载在更新后的第一辅助参数集中。
如果接收终端支持辅助流传输，则标明第一辅助参数集中的WFD辅助能力参数(wfd_auxiliary_capability)内容，比如支持文本传输或者字幕传输等；如果接收终端不支持辅助流传输，则标明第一辅助参数集中的WFD辅助能力参数(wfd_auxiliary_capability)内容为none。
步骤103、接收终端向发送终端发送包括有更新后的第一辅助参数集的RTSP获取参数应答消息，发送终端接收由接收终端发送的包括有更新后的第一辅助参数集的RTSP获取参数应答消息。
接收终端向发送终端发送包括有更新后的第一辅助参数集的RTSP获取参数应答消息，发送终端接收由接收终端发送的包括有更新后的第一辅助参数集的RTSP获取参数应答消息，其中，更新后的第一辅助参数集中携带有接收终端是否支持辅助流传输的应答。
另外，包括有更新后的第一辅助参数集的RTSP获取参数应答消息中还携带有接收终端的WFD能力列表。
步骤104、发送终端根据更新后的第一辅助参数集得到接收终端是否支持辅助流传输。
发送终端根据更新后的第一辅助参数集判断接收终端是否支持辅助流传输，如果不支持辅助流传输，则按照现有技术向不支持辅助流传输的接收终端发送RTSP设置参数请求消息进行流程处理，在此不加以赘述；如果支持辅助流传输，则执行步骤105。
步骤105、发送终端向支持辅助流传输的接收终端发送包括有第二辅助参数集的RTSP设置参数请求消息。
发送终端向支持辅助流传输的接收终端发送包括有第二辅助参数集的RTSP设置参数请求消息，该第二辅助参数集用来建立辅助传输通道，其中，第二辅助参数集包括了第一辅助参数集，WFD辅助设置参数(wfd-auxiliary-setting)，辅助设置参数(auxiliary-setting)，其中，wfd-auxiliary-setting和auxiliary-setting参数具体定义如下：
wfd-auxiliary-setting＝“wfd-auxiliary-setting:”SP auxiliary-settingCRLF
auxiliary-setting＝“disable”/”enable”
另外，包括有第二辅助参数集的RTSP设置参数请求消息还可以设置支持辅助流传输的接收终端的WFD会话的参数集。
步骤106、发送终端与支持辅助流传输的接收终端建立辅助流传输通道。
发送终端与支持辅助流传输的接收终端建立辅助流传输通道。
步骤107、支持辅助流传输的接收终端接收由发送终端发送的包括有第二辅助参数集的RTSP设置参数请求消息。
支持辅助流传输的接收终端接收由发送终端发送的包括有第二辅助参数集的RTSP设置参数请求消息。
步骤108、支持辅助流传输的接收终端与发送终端建立辅助流传输通道。
支持辅助流传输的接收终端与发送终端建立辅助流传输通道。
步骤109、支持辅助流传输的接收终端根据辅助流传输通道的状态更新第二辅助参数集。
支持辅助流传输的接收终端根据辅助流传输通道的状态(是否成功建立)来更新第二辅助参数集。
步骤110、支持辅助流传输的接收终端向发送终端发送包括有更新后的第二辅助参数集的RTSP设置参数应答消息，发送终端接收支持辅助流传输的接收终端发送的包括有更新后的第二辅助参数集的RTSP设置参数应答消息。
支持辅助流传输的接收终端向发送终端发送包括有更新后的第二辅助参数集的RTSP设置参数应答消息，发送终端接收支持辅助流传输的接收终端发送的包括有更新后的第二辅助参数集的RTSP设置参数应答消息，其中，更新后的第二辅助参数集携带有辅助流传输通道的状态信息(建立成功还是未建立成功)。
步骤111、发送终端根据更新后的第二辅助参数集确定辅助流传输通道的状态。
发送终端根据更新后的第二辅助参数集确定辅助流传输通道的状态是否是成功建立，如果没有成功建立，则按现有技术进行处理，在此不加以赘述；如果成功建立，则执行步骤112。
步骤112、发送终端在辅助流传输通道成功建立后，通过辅助流传输通道将辅助流数据块发送给支持辅助流传输的接收终端。
发送终端在辅助流传输通道成功建立后，通过辅助流传输通道将辅助流数据块发送给支持辅助流传输的接收终端。
步骤113、支持辅助流传输的接收终端在辅助流传输通道成功建立后，通过辅助流传输通道接收发送终端发送的辅助流数据块。
支持辅助流传输的接收终端在辅助流传输通道成功建立后，通过辅助流传输通道接收发送终端发送的辅助流数据块。
其中，辅助流数据块的数据结构由支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间点，特效类型，特效时长，具体内容所构成；具体的如表1辅助流数据块的数据结构所示。
表1
如表1所示，Version表示支持的协议版本；T用来指示时戳是否存在，如果为1则存在，如果为0则不存在；Reserved表示预留部分，用于之后的工作；Effect表示显示特效，如果在8，9，10bit位被置为1，则对应开始显示(In)，退出显示(Out)，保持显示(Stay)时的特效；如果被某种特效被激活，在时戳字段之后需要检查是对应的特效字段，特效描述字段同样按照开始显示(In)，退出显示(Out)，保持显示(Stay)的顺序来存在，比如显示特效项等于二进制“101”，则在时戳后面有两个16位项描述对应的显示特效，每个显示特效描述项包括两个部分：1)特效类型，8bits；2)特效时长，8bits，单位为100ms；Length表示整个协议包的大小；时戳表示辅助流元素的媒体时间(Media Time)用于音视频同步显示辅助元素；Auxiliary Input Body则包含了需要发送的辅助流的具体内容，数据长度由Length字段决定。
表2为显示特效的类型，如表2所示：
表2
表3为内容类型的指示，如表3所示：
表3
Type 类型
0 图片
1 文字
2 声音
3-15 预留
本发明实施例提供的同屏过程中辅助流的传输方法，通过在RTSP获取参数应答消息中增加第一辅助参数集，在RTSP设置参数请求消息中增加第二辅助参数集，在Miracast协议基础上增加了对辅助流传输的定义，根据第一辅助参数集与第二辅助参数集使得发送终端和接收终端在WFD能力协商建立阶段建立辅助流传输通道，从而可以将需要额外传输的辅助流通过辅助流传输通道独立传输，而且可以使额外的辅助流与音视频流可以同时传输。
为了更加体现出本发明的目的，在上述实施例的基础上，进一步的举例说明。
图2为本发明同屏过程中辅助流的传输方法实施例二的流程图，如图2所示，在上述实施例的基础上本方法可以包括如下步骤：
步骤201、接收终端在收到辅助流数据块之后，判断是否支持辅助流数据块的内容类型。
接收终端在收到辅助流数据块之后，判断自身是否支持当前的辅助流数据块的内容类型，若不支持，则执行步骤202；若支持，则执行步骤203；
步骤202、接收终端对当前的辅助流数据块不进行播出。
接收终端对当前的辅助流数据块不进行数据渲染，不进行播出。
步骤203、接收终端判断辅助流数据块的当前时间点是否小于等于所述辅助流数据块的媒体时间点。
接收终端判断辅助流数据块的当前时间点是否小于等于所述辅助流数据块的媒体时间点，若当前时间点小于等于辅助流数据块的媒体时间点，则执行步骤204；若当前时间点大于辅助流数据块的媒体时间点且小于等于预设最大时间点，则执行步骤205。
这里需要说明的，在本发明实施例中，预设最大时间点可以按照实际需求进行设置，在此不加以限定。
步骤204、等待当前时间点到达媒体时间点后，将辅助流数据块进行播出。
接收终端等待当前时间点到达媒体时间点后，将辅助流数据块进行播出。
步骤205、立刻将辅助流数据块进行播出。
接收终端立刻将辅助流数据块进行播出。
在本发明实施例中，辅助流数据块的播出，具体的是对辅助流数据块进行渲染合并，例如，如果是文字，则基于字体、位置等渲染成为图像，与视频进行合并，合并过程中需要考虑显示特效及逐帧合成；如果是声音片段，则与音频进行混合；当媒体时间点超过开始时间加显示特效的时间后，则对辅助流数据块不再进行渲染合并。
本发明实施例提供的同屏过程中辅助流的传输方法，通过在RTSP获取参数应答消息中增加第一辅助参数集，在RTSP设置参数请求消息中增加第二辅助参数集，在Miracast协议基础上增加了对辅助流传输的定义；另外，还定义了辅助流数据块的数据结构和播出条件，使得在发送终端和接收终端在WFD能力协商建立阶段建立辅助流传输通道，从而可以将需要额外传输的辅助流通过辅助流传输通道独立传输，而且可以使额外的辅助流与音视频流可以同时传输。
图3为本发明同屏过程中辅助流的发送终端实施例的结构示意图，如图3所示，本发送终端03包括：发送模块31、接收模块32、处理模块33、建立模块34；其中，
发送模块31，用于向接收终端发送包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；还用于向所述支持辅助流传输的接收终端发送包括有第二辅助参数集的RTSP设置参数请求消息；还用于在所述辅助流传输通道成功建立后，通过所述辅助流传输通道将辅助流数据块发送给所述支持辅助流传输的接收终端；
接收模块32，用于接收所述接收终端发送的包括有更新后的第一辅助参数集的RTSP获取参数应答消息；还用于接收所述支持辅助流传输的接收终端发送的包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
处理模块33，用于根据所述更新后的第一辅助参数集得到所述接收终端是否支持辅助流传输；还用于根据所述更新后的第二辅助参数集确定辅助流传输通道的状态；
建立模块34，用于与所述支持辅助流传输的接收终端建立辅助流传输通道。
进一步的，所述发送模块31，还用于向所述接收终端发送第一RTSP选项请求消息；还用于向所述接收终端发送第二RTSP选项应答消息；
所述接收模块32，还用于接收所述接收终端发送的第一RTSP选项应答消息；还用于接收所述接收终端发送的第二RTSP选项请求消息；
所述处理模块33，还用于根据所述第一RTSP选项应答消息得到所述接收终端支持的RTSP方法集。
进一步的，所述第一辅助参数集包括WFD辅助能力参数，辅助能力列表参数，输入类型参数，tcp端口参数；
所述第二辅助参数集包括所述第一辅助参数集，WFD辅助设置参数，辅助设置参数。
进一步的，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间，特效类型，特效时长，具体内容。
本实施例的发送终端，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在实际应用中，所述发送模块31、接收模块32、处理模块33、建立模块34可由位于发送终端上的中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等器件实现。
图4为本发明同屏过程中辅助流的接收终端实施例的结构示意图，如图4所示，本接收终端04接收终端包括：接收模块41、处理模块42、发送模块43、建立模块44；其中，
所述接收模块41，用于接收发送终端发送的包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；还用于接收所述发送终端发送的包括有第二辅助参数集的RTSP设置参数请求消息；还用于在所述辅助流传输通道成功建立后，通过所述辅助流传输通道接收所述发送终端发送的辅助流数据块；
所述处理模块42，用于更新所述第一辅助参数集；还用于根据所述辅助流传输通道的状态更新所述第二辅助参数集；
所述发送模块43，用于向所述发送终端发送包括有更新后的第一辅助参数集的RTSP获取参数应答消息；还用于向所述发送终端发送包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
所述建立模块44，用于与所述发送终端建立辅助流传输通道。
进一步的，所述接收模块41，还用于接收所述发送终端发送的第一RTSP选项请求消息；还用于接收所述发送终端发送的第二RTSP选项应答消息；
所述发送模块43，还用于向所述发送终端发送第一RTSP选项应答消息；还用于向所述发送终端发送第二RTSP选项请求消息；
所述处理模块，还用于根据所述第二RTSP选项应答消息得到所述发送终端支持的RTSP方法集。
进一步的，所述第一辅助参数集包括无线保真直连WFD辅助能力参数，辅助能力列表参数，输入类型参数，tcp端口参数；
所述第二辅助参数集包括所述第一辅助参数集，WFD辅助设置参数参数，辅助设置参数。
进一步的，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间点，特效类型，特效时长，具体内容。
进一步的，所述接收终端还包括：
判断模块45，用于判断是否支持所述辅助流数据块的内容类型；
所述判断模块45，还用于若支持所述辅助流数据块的内容类型，则再判断所述辅助流数据块的当前时间点是否小于等于所述辅助流数据块的媒体时间点；
播出模块46，用于若所述当前时间点小于等于所述辅助流数据块的媒体时间点，则等待当前时间点到达所述媒体时间点后，将所述辅助流数据块进行播出；
所述播出模块46，还用于若所述当前时间点大于所述辅助流数据块的媒体时间点且小于等于预设最大时间点，则立刻将所述辅助流数据块进行播出；
所述播出模块46，还用于若不支持所述辅助流数据块的内容类型，则将所述辅助流数据块不进行播出。
本实施例的接收终端，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在实际应用中，所述接收模块41、处理模块42、发送模块43、建立模块44、判断模块45、播出模块46可由位于接收终端上的中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等器件实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (14)

1.一种同屏过程中辅助流的传输方法，其特征在于，所述方法包括：
向接收终端发送包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；所述第一辅助参数集包括WFD辅助能力参数、辅助能力列表参数、输入类型参数和tcp端口参数；
接收所述接收终端发送的包括有更新后的第一辅助参数集的RTSP获取参数应答消息；
根据所述更新后的第一辅助参数集得到所述接收终端是否支持辅助流传输；
向所述支持辅助流传输的接收终端发送包括有第二辅助参数集的RTSP设置参数请求消息；所述第二辅助参数集包括所述第一辅助参数集、WFD辅助设置参数和辅助设置参数；
与所述支持辅助流传输的接收终端建立辅助流传输通道；
接收所述支持辅助流传输的接收终端发送的包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
根据所述更新后的第二辅助参数集确定辅助流传输通道的状态；
所述辅助流传输通道成功建立后，通过所述辅助流传输通道将辅助流数据块发送给所述支持辅助流传输的接收终端。
2.根据权利要求1所述的方法，其特征在于，在所述向接收终端发送包括有第一辅助参数集的RTSP获取参数请求消息之前，所述方法还包括：
向所述接收终端发送第一RTSP选项请求消息；
接收所述接收终端发送的第一RTSP选项应答消息；
接收所述接收终端发送的第二RTSP选项请求消息；
向所述接收终端发送第二RTSP选项应答消息；
根据所述第一RTSP选项应答消息得到所述接收终端支持的RTSP方法集。
3.根据权利要求1或2所述的方法，其特征在于，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间，特效类型，特效时长，具体内容。
4.一种同屏过程中辅助流的传输方法，其特征在于，所述方法包括：
接收发送终端发送的包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；所述第一辅助参数集包括WFD辅助能力参数、辅助能力列表参数、输入类型参数和tcp端口参数；
更新所述第一辅助参数集；
向所述发送终端发送包括有更新后的第一辅助参数集的RTSP获取参数应答消息；
接收所述发送终端发送的包括有第二辅助参数集的RTSP设置参数请求消息；所述第二辅助参数集包括所述第一辅助参数集、WFD辅助设置参数和辅助设置参数；
与所述发送终端建立辅助流传输通道；
根据所述辅助流传输通道的状态更新所述第二辅助参数集；
向所述发送终端发送包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
所述辅助流传输通道成功建立后，通过所述辅助流传输通道接收所述发送终端发送的辅助流数据块。
5.根据权利要求4所述的方法，其特征在于，在所述接收发送终端发送的包括有第一辅助参数集的RTSP获取参数请求消息之前，所述方法还包括：
接收所述发送终端发送的第一RTSP选项请求消息；
向所述发送终端发送第一RTSP选项应答消息；
向所述发送终端发送第二RTSP选项请求消息；
接收所述发送终端发送的第二RTSP选项应答消息；
根据所述第二RTSP选项应答消息得到所述发送终端支持的RTSP方法集。
6.根据权利要求4或5所述的方法，其特征在于，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间点，特效类型，特效时长，具体内容。
7.根据权利要求6所述的方法，其特征在于，在所述通过所述辅助流传输通道接收所述发送终端发送的辅助流数据块之后，所述方法还包括：
判断是否支持所述辅助流数据块的内容类型；
若支持所述辅助流数据块的内容类型，则再判断所述辅助流数据块的当前时间点是否小于等于所述辅助流数据块的媒体时间点；
若所述当前时间点小于等于所述辅助流数据块的媒体时间点，则等待当前时间点到达所述媒体时间点后，将所述辅助流数据块进行播出；
若所述当前时间点大于所述辅助流数据块的媒体时间点且小于等于预设最大时间点，则立刻将所述辅助流数据块进行播出；
若不支持所述辅助流数据块的内容类型，则将所述辅助流数据块不进行播出。
8.一种发送终端，其特征在于，所述发送终端包括：
发送模块，用于向接收终端发送包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；还用于向所述支持辅助流传输的接收终端发送包括有第二辅助参数集的RTSP设置参数请求消息；还用于在所述辅助流传输通道成功建立后，通过所述辅助流传输通道将辅助流数据块发送给所述支持辅助流传输的接收终端；所述第一辅助参数集包括WFD辅助能力参数、辅助能力列表参数、输入类型参数和tcp端口参数；所述第二辅助参数集包括所述第一辅助参数集、WFD辅助设置参数和辅助设置参数；
接收模块，用于接收所述接收终端发送的包括有更新后的第一辅助参数集的RTSP获取参数应答消息；还用于接收所述支持辅助流传输的接收终端发送的包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
处理模块，用于根据所述更新后的第一辅助参数集得到所述接收终端是否支持辅助流传输；还用于根据所述更新后的第二辅助参数集确定辅助流传输通道的状态；
建立模块，用于与所述支持辅助流传输的接收终端建立辅助流传输通道。
9.根据权利要求8所述的发送终端，其特征在于，
所述发送模块，还用于向所述接收终端发送第一RTSP选项请求消息；还用于向所述接收终端发送第二RTSP选项应答消息；
所述接收模块，还用于接收所述接收终端发送的第一RTSP选项应答消息；还用于接收所述接收终端发送的第二RTSP选项请求消息；
所述处理模块，还用于根据所述第一RTSP选项应答消息得到所述接收终端支持的RTSP方法集。
10.根据权利要求8或9所述的发送终端，其特征在于，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间，特效类型，特效时长，具体内容。
11.一种接收终端，其特征在于，所述接收终端包括：
接收模块，用于接收发送终端发送的包括有第一辅助参数集的实时流传输协议RTSP获取参数请求消息；还用于接收所述发送终端发送的包括有第二辅助参数集的RTSP设置参数请求消息；还用于在所述辅助流传输通道成功建立后，通过所述辅助流传输通道接收所述发送终端发送的辅助流数据块；所述第一辅助参数集包括WFD辅助能力参数、辅助能力列表参数、输入类型参数和tcp端口参数；所述第二辅助参数集包括所述第一辅助参数集、WFD辅助设置参数和辅助设置参数；
处理模块，用于更新所述第一辅助参数集；还用于根据所述辅助流传输通道的状态更新所述第二辅助参数集；
发送模块，用于向所述发送终端发送包括有更新后的第一辅助参数集的RTSP获取参数应答消息；还用于向所述发送终端发送包括有更新后的第二辅助参数集的RTSP设置参数应答消息；
建立模块，用于与所述发送终端建立辅助流传输通道。
12.根据权利要求11所述的接收终端，其特征在于，
所述接收模块，还用于接收所述发送终端发送的第一RTSP选项请求消息；还用于接收所述发送终端发送的第二RTSP选项应答消息；
所述发送模块，还用于向所述发送终端发送第一RTSP选项应答消息；还用于向所述发送终端发送第二RTSP选项请求消息；
所述处理模块，还用于根据所述第二RTSP选项应答消息得到所述发送终端支持的RTSP方法集。
13.根据权利要求11或12所述的接收终端，其特征在于，所述辅助流数据块的数据结构包括：支持的协议版本，时戳，预留部分，显示特效，内容类型，协议包大小，媒体时间点，特效类型，特效时长，具体内容。
14.根据权利要求13所述的接收终端，其特征在于，所述接收终端还包括：
判断模块，用于判断是否支持所述辅助流数据块的内容类型；
所述判断模块，还用于若支持所述辅助流数据块的内容类型，则再判断所述辅助流数据块的当前时间点是否小于等于所述辅助流数据块的媒体时间点；
播出模块，用于若所述当前时间点小于等于所述辅助流数据块的媒体时间点，则等待当前时间点到达所述媒体时间点后，将所述辅助流数据块进行播出；
所述播出模块，还用于若所述当前时间点大于所述辅助流数据块的媒体时间点且小于等于预设最大时间点，则立刻将所述辅助流数据块进行播出；
所述播出模块，还用于若不支持所述辅助流数据块的内容类型，则将所述辅助流数据块不进行播出。
CN201610004909.3A 2016-01-04 2016-01-04 同屏过程中辅助流的传输方法、发送终端及接收终端 Active CN106941628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610004909.3A CN106941628B (zh) 2016-01-04 2016-01-04 同屏过程中辅助流的传输方法、发送终端及接收终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610004909.3A CN106941628B (zh) 2016-01-04 2016-01-04 同屏过程中辅助流的传输方法、发送终端及接收终端

Publications (2)

Publication Number Publication Date
CN106941628A CN106941628A (zh) 2017-07-11
CN106941628B true CN106941628B (zh) 2019-12-13

Family

ID=59468495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610004909.3A Active CN106941628B (zh) 2016-01-04 2016-01-04 同屏过程中辅助流的传输方法、发送终端及接收终端

Country Status (1)

Country Link
CN (1) CN106941628B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103392325A (zh) * 2011-01-21 2013-11-13 高通股份有限公司 用于无线显示器的用户输入返回信道
CN104469414A (zh) * 2013-09-22 2015-03-25 中兴通讯股份有限公司 基于多屏互动的信息系统及信息投放方法、iptv系统
CN105027531A (zh) * 2013-01-25 2015-11-04 高通股份有限公司 针对无线显示设备的用户输入控制的无连接传输

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120138721A (ko) * 2012-11-12 2012-12-26 김경중 유에프아이디서비스를 제공하는 광고 시스템
CN106464965B (zh) * 2014-02-28 2020-02-14 三星电子株式会社 用于在无线通信系统中显示应用数据的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103392325A (zh) * 2011-01-21 2013-11-13 高通股份有限公司 用于无线显示器的用户输入返回信道
CN105027531A (zh) * 2013-01-25 2015-11-04 高通股份有限公司 针对无线显示设备的用户输入控制的无连接传输
CN104469414A (zh) * 2013-09-22 2015-03-25 中兴通讯股份有限公司 基于多屏互动的信息系统及信息投放方法、iptv系统

Also Published As

Publication number Publication date
CN106941628A (zh) 2017-07-11

Similar Documents

Publication Publication Date Title
CN106454407B (zh) 视频直播方法及装置
CN105991962B (zh) 连接方法、信息展示方法、装置及系统
CN111031368B (zh) 多媒体播放方法、装置、设备及存储介质
CN108900854B (zh) 直播中连麦房间切换方法、存储介质、设备及系统
CN106686446B (zh) 内容投射方法及移动终端
US20160050449A1 (en) User terminal apparatus, display apparatus, system and control method thereof
CN113225577B (zh) 直播流处理方法、装置、系统、电子设备及存储介质
WO2015139547A1 (zh) 一种设置应用场景的方法、设备和系统
CN112291502B (zh) 信息交互方法、装置、系统和电子设备
CN105228080A (zh) 多屏互动方法、系统及浏览器
CN106973318B (zh) 聚合视频操作方法及装置
CN112367558B (zh) 应用起播加速方法、智能播放设备及存储介质
CN114546308A (zh) 应用界面投屏方法、装置、设备以及存储介质
WO2023142389A1 (zh) 投屏方法、装置、电子设备及存储介质
CN115278275B (zh) 信息展示方法、装置、设备、存储介质和程序产品
CN113286190A (zh) 一种跨网络同屏控制方法、装置和跨网络同屏系统
CN113467741A (zh) 一种传屏方法、显示设备及其传屏系统
CN113010135B (zh) 一种数据处理方法、装置、显示终端和存储介质
CN114025244A (zh) 音视频推送方法、装置、设备及计算机可读存储介质
CN112738620A (zh) 一种媒体资源投屏方法、设备及系统
CN110769320B (zh) 一种智能设备分享内容的方法、系统及装置
CN106941628B (zh) 同屏过程中辅助流的传输方法、发送终端及接收终端
CN113923530B (zh) 一种互动信息展示方法、装置、电子设备及存储介质
CN113938742A (zh) 自动投屏内容播放的控制方法、系统、设备及存储介质
CN113542829A (zh) 分屏显示方法、显示终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant