CN112789837A - 在现场流传输框架中建立流传输会话的方法和装置 - Google Patents
在现场流传输框架中建立流传输会话的方法和装置 Download PDFInfo
- Publication number
- CN112789837A CN112789837A CN201980064454.6A CN201980064454A CN112789837A CN 112789837 A CN112789837 A CN 112789837A CN 201980064454 A CN201980064454 A CN 201980064454A CN 112789837 A CN112789837 A CN 112789837A
- Authority
- CN
- China
- Prior art keywords
- flus
- source
- session
- sink
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/03—Protocol definition or specification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/24—Negotiation of communication capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
- Computer And Data Communications (AREA)
- Communication Control (AREA)
- Telephonic Communication Services (AREA)
Abstract
由现场上行流传输框架(PLUS)汇发起和控制PLUS源(100)与PLUS汇(200)之间的PLUS会话。PLUS源在FLUS汇处注册并指示其能力。PLUS汇请求建立会话,并且在建立了会话时进一步控制会话。PLUS汇向PLUS源发送包括控制信息的控制请求,从而远程控制PLUS源处的媒体流传输。
Description
相关申请数据
本申请要求于2018年11月13日提交的美国专利申请No.62/760,631的权益,其公开内容全文引入本文作为参考。
技术领域
本公开涉及现场上行流传输框架FLUS。更具体地,本公开涉及用于在现场流传输框架中建立和控制流传输会话的方法。本公开还涉及相应的电子装置、用于执行该方法的计算机程序以及计算机程序产品。
背景技术
现场上行流传输框架FLUS工作项目由第3代合伙项目(3GPP)在版本15中的标准化中完成,并且记录在3GPP规范TS26.238中。FLUS使得能够从基于UE的源实体到一个或更多个汇实体现场流传输诸如360度视频、VR、UHD视频和多声道音频的各种类型的媒体。FLUS汇实体可以对应于接收方UE,或者可以是网络服务器,其对来自FLUS源的传入媒体流进行后处理以供随后通过3GPP网络分发到接收方装置。已经定义了FLUS的MTSI(IMS的多媒体电话服务)实例化和非MTSI实例化,以支持与所管理的移动运营商和过顶(OTT)服务提供有关的实现的灵活性。
FLUS定义了可以支持语音/音频、视频和文本的点对点传输的FLUS源(例如摄像机)实体和FLUS汇实体。根据实施方式,FLUS源可以由装置实现或提供,并发出媒体流。可由另一装置实现的FLUS汇是在FLUS源处发出的媒体流的接收方。FLUS还定义了媒体处理(例如、信令通知、传送、分组丢失处理、和调整)。目标是确保具有可预测媒体质量的可靠且可互操作的服务,同时在服务提供方面允许灵活性。
FLUS的标准化版本针对以下的场景:具有FLUS源的UE(例如摄像机)可以连接到FLUS汇,并且开始由UE或由连接到UE的一组捕捉装置捕捉的内容的现场上行流传输。这例如在“突发新闻报道”使用情形中是有用的,其本质上是专业媒体制作应用,但是关注于在从远程位置到电视台或制作设施的单摄像机自组织上行链路的特定场景。其具有作为专用使用情况的合理位置,因为其很好地例示了FLUS的网络辅助特征,以使得FLUS源能够在当前网络条件下以最佳可能质量流传输。例如,网络辅助特征可以包括运营商网络中的专用服务器功能和与FLUS源相关联的专用客户端。例如,网络辅助使得FLUS源能够从网络请求比特率推荐并相应地调整流。
然而,在将来,可能希望将FLUS功能扩展到较先进的使用情况。
发明内容
本文的实施方式的目的是扩展FLUS的功能以允许其更好地用于从捕捉装置到媒体制作系统的媒体流的受管理的无线上行链路。
根据第一个方面,本公开涉及一种用于在现场上行流传输框架FLUS中建立流传输会话的方法。该方法包括:在FLUS汇处注册FLUS源,以及从FLUS汇接收建立FLUS源与FLUS汇之间的FLUS会话的请求。该方法还包括:响应于接收到建立FLUS会话的请求,建立FLUS会话;以及使用所建立的FLUS会话,在FLUS源与FLUS汇之间流传输包括由捕捉装置捕捉的媒体的数据。通过从FLUS汇发起建立FLUS汇和所选择的FLUS源之间的FLUS会话,可以使制作更较有效,并且可以较有效地使用无线资源,因为制作系统可以控制使用哪个FLUS源,以及何时及时建立会话。
在一些实施方式中,该方法包括:从FLUS汇接收提供FLUS源属性的请求;以及响应于接收到提供FLUS源能力的请求,向FLUS汇提供FLUS源属性。通过发现已经在FLUS汇处注册的FLUS源的能力,FLUS汇将能够有效地选择用于制作的适当的FLUS源,并且将具有关于在制作期间可能(在适用时)控制它们的可能性的信息。
在一些实施方式中,FLUS源属性包括可用视频格式、可用音频格式、可用辅助流、连接能力和/或远程控制能力。由于FLUS汇将获得可用FLUS源的能力,因此制作系统可以为特定制作选择合适的FLUS源。
在一些实施方式中,所建立的FLUS会话包括上行媒体流、下行媒体流和语音通信流中的至少一者(例如在媒体捕捉人员和制作人员之间)。因此,可以在FLUS会话中包括另外的流,以使得能够在单个会话中进行例如反馈和/或通信。这将典型地促进设立过程,并且使得在媒体捕捉和制作事件中涉及的人员之间可能需要的通信成为可能。
在一些实施方式中,该方法包括从FLUS汇接收控制FLUS会话的请求,以及响应于接收到控制FLUS会话的请求而控制FLUS会话。由此,制作系统可以在媒体制作期间远程地控制媒体捕捉和流传输。
在一些实施方式中,控制包括配置FLUS会话。因此,制作可以直接配置媒体流以具有期望的属性,例如媒体格式、比特率等。
在一些实施方式中,控制包括开始媒体流传输和/或停止媒体流传输。因此,制作系统可以选择何时从特定FLUS源接收媒体流。
在一些实施方式中,控制包括远程控制数据流传输。因此,制作系统可以在媒体流传输期间控制流传输和捕捉。例如,可以调节流的质量和/或捕捉装置的光学设定。
在一些实施方式中,该方法包括从FLUS汇接收终止FLUS会话的请求,以及响应于接收到该请求,终止FLUS源与FLUS汇之间的FLUS会话。由此,可以在不需要时直接终止FLUS会话,由此可以节省网络带宽和功率。
根据第二个方面,本公开涉及一种用于在现场上行流传输框架FLUS中建立媒体流传输会话的方法。该方法包括在FLUS汇处注册FLUS源以及向FLUS源发送建立FLUS会话的请求。该方法还包括建立FLUS源与FLUS汇之间的FLUS会话,以及使用所建立的FLUS会话在FLUS源与FLUS汇之间流传输数据。
在一些实施方式中,该方法包括向FLUS源发送提供FLUS源属性的请求,以及从FLUS源接收FLUS源属性。
在一些实施方式中,所建立的FLUS会话包括以下各项中的一项或多项:上行媒体流、下行媒体流和通信流。
在一些实施方式中,该方法包括向FLUS源发送控制FLUS会话的请求。
在一些实施方式中,该请求是请求FLUS源配置(或重新配置)FLUS会话。
在一些实施方式中,该请求是请求FLUS源开始或停止媒体流传输。
在一些实施方式中,该请求是请求FLUS源远程控制媒体流传输。
在一些实施方式中,该方法包括向FLUS源发送终止FLUS会话的请求,以终止FLUS会话。
附图说明
图1例示了包括FLUS源和FLUS汇的FLUS系统。
图2例示了根据一些示例实施方式的在FLUS源与FLUS汇之间的信令。
图3是例示在无线装置中使用的方法的流程图。
图4是例示在网络节点中使用的方法的流程图。
图5是包括FLU源的无线装置的示例实施方式。
图6是包括FLU汇的网络节点的示例实施方式。
图7例示了可以实现所提出的技术的示例场景。
具体实施方式
现在将参照附图描述实施方式,其中类似的附图标记始终用于表示类似的要素。
为了媒体事件(例如体育或音乐演奏)的制作,其中专门安装了媒体捕捉设备来进行事件报道,一些媒体捕捉设备将通过电缆(通常是同轴电缆)、光纤或千兆以太网连接。然而,在较方便和可行的情况下,该设备中的一些可以被无线连接,例如使用LTE或新无线电(NR)无线电接口以及例如使用FLUS作为较高层的信令框架。无线连接提供了以下的可能性:即从不容易经由电缆连接来进入的地方给出用于报道的引人注目的有利位置、更快速地移动报道,如从肩上安装的摄像机或从移动无人驾驶飞行器(如无人飞机)。
一个示例场景是音乐会的远程媒体制作,其中,来自FLUS源(通常是摄像机和麦克风)的一个或更多个贡献流被传递到位于网络中的FLUS汇。
另一个示例场景是就地预制作,其中,来自FLUS源的一个或更多个贡献流被传递到位于所报道的事件处或其附近的FLUS汇。FLUS汇可以连接到媒体制作系统。一些制作过程可以在本地进行,然后在一些情况下可以将媒体流馈送提供给更远程定位的制作系统,以供远离事件进行最终制作。
另一种情况是现场最终制作,其中,单个流制作馈送从单个FLUS源传递到网络中的FLUS汇,以供继续分发。
对于最后两种情况,FLUS可以被本地使用以从使用中的一些或全部设备捕捉媒体流。如果适用,使用单独的FLUS连接来传递(预)制作的媒体流。
媒体制作的各个场景具有多个可用的制作级别-高度压缩、轻度压缩、未压缩。在这些制作级别的各个制作级别中,定义了多个媒体格式。
在类似于上述情形的情形中,可以有利的是允许制作系统控制FLUS会话、以及捕捉装置和传递的媒体流。然而,在当前的FLUS规范中,仅FLUS源有可能控制FLUS会话。因此,提出了从FLUS汇控制FLUS会话的解决方案。例如,FLUS汇可以发起对一个或更多个FLUS源的FLUS会话。因此,可以使媒体制作较有效。类似地,也需要使得FLUS会话更新和FLUS会话终止的处理能够由FLUS汇执行。
此外,对于专业媒体制作系统,有时制作人员例如摄像机操作员接收一个或更多个反馈媒体流以用于监视目的。一个示例是当最终的制作输出媒体流被中继回各个捕捉装置处的制作人员时。本文还提出在FLUS系统中包括这些下行流。
对于专业媒体制作系统,制作人员在制作期间与制作系统通信和/或在他们之间通信也是常见的做法。因此,有人操纵的捕捉装置,通常是专业的视频摄像机,需要能够处理用于通信目的的双向媒体流。本文建议在FLUS系统中包括这些通信流。
考虑到媒体制作使用情况中的这些变化,产生了FLUS中所需的若干扩展,其通过现在将参照图1至图6描述的所提出的解决方案来解决。
图1描绘了利用扩展FLUS架构来实现所提出的技术的媒体制作系统1。图1例示了包括FLUS源100的无线装置10(在3GPP中称为用户设备UE)和包括FLUS汇200的网络节点20。无线装置10包括捕捉装置11,例如摄像头。无线装置10使用FLUS源100和FLUS汇200之间的FLUS会话经由网络节点20与制作系统30通信。制作系统30是可以从包括如上所述的捕捉装置11的一个或更多个无线装置10接收媒体源的功能。所接收的媒体可以是音频和视频内容。制作系统30可以使用所接收的媒体的所选部分来组合成最终的音频和视频流,该音频和视频流可以被分发到例如分发网络以及例如存储在媒体服务器中,或者例如经由广播网络直接(现场制作)分发到事件的多个观看者。制作系统30可以希望以不同的方式控制捕捉装置10,例如开始和停止记录、摄像机的移动、或调节摄像机配置(例如摇摄、倾斜、变焦)。此外,在人工控制摄像机的情况下,制作系统30可以与人工控制摄像机装置的人员通信,例如以执行如上所述的调节。制作系统30可以由制作软件自主地运行、或者由一个或更多个人、或者其组合来控制。
扩展FLUS架构1包括对返回媒体流和通信设施的支持。更具体地,无线装置10包括诸如显示机构的反馈装置12,其中无线装置的用户可以例如在现场流传输期间看到最终产品。例如,摄像机人员可以看到当前播出的东西。无线装置10还包括被配置成能够与制作团队的其他成员通信的通信装置。通信装置例如是麦克风和扬声器,例如专用于通信的耳机。在图1中,返回媒体流被表示为F-U-D,并且F-U接口的原始内容、上行媒体流被表示为F-U-U。
返回媒体流可以被定义为在FLUS汇向FLUS源之间流动,或者其可以被定义在FLUS功能实体之外。图1将其例示为F-U接口的部分。在任何情况下,其被认为是利用FLUS的媒体制作系统1的特征,并且是其中上行发送媒体报道的FLUS会话的部分媒体流。在图1中,双向的通信媒体流被描述为F-U-M。
通信媒体流也可以被定义为在FLUS汇和FLUS源之间流动,或者它可以被定义在FLUS功能实体之外。图1将其例示为F-U接口的部分。在任何情况下,其被认为是利用FLUS的媒体制作系统1的特征,并且是其中上行发送媒体报道的FLUS会话的部分媒体流。
图2的流程图示出了所提出的在包括FLUS源100的无线装置10中执行的方法,该FLUS源100用于在现场流传输框架FLUS中建立流传输会话。图3示出了包括FLUS汇的网络节点20中的相应方法。图4例示了在执行所述方法时无线装置10中的FLUS源100与网络节点中的FLUS汇200之间的信令。
虽然图1仅描绘了一个无线装置10,但是必须认识到,在媒体制作系统中,通常存在具有相应媒体捕捉装置10的多个无线装置10,所述媒体捕捉设备10被设置为使用FLUS来传递要上行发送的媒体流或文件。
现在将参照图2描述所提出的在无线装置中使用的方法。所述方法通常在无线装置10(例如图1的无线装置10)的控制电路14中执行,或更具体来说由所述控制电路14(图5)的FLUS源100执行。该方法通常在媒体制作期间执行。该方法可以实现为包括指令的计算机程序,当该程序由计算机(例如控制装置11中的处理器)执行时,该指令使计算机执行该方法。根据一些实施方式,计算机程序存储在计算机可读介质(例如存储器或光盘)中,该计算机可读介质包括当由计算机执行时使计算机执行该方法的指令。
当各个无线装置10(包括FLUS源100)被设立并且准备用于制作时,其通过人工触发或自主地进行向网络节点20(包括FLUS汇200)和远程制作系统30的注册。处理的这一部分如在目前的FLUS规范3GPP TS 26.238 V15.1.0中已经预见的那样发生。换言之,该方法包括在FLUS汇处注册S10 FLUS源。结合着注册,FLUS源将通常还使用FLUS规范10中已经定义的过程从FLUS汇200接收S11汇能力。
当FLUS汇200知道了FLUS源100时,并且如果适用,当远程制作系统30也知道了时,处理从当前FLUS规范中描述的处理改变。从该阶段开始,在FLUS会话的建立和管理以及捕捉装置的远程控制(如果适用的话)方面,FLUS汇200对FLUS源100实施控制。
对于使用FLUS的媒体制作系统,FLUS汇200可以需要发现FLUS源10的属性。因此,FLUS源装置10通常被配置成向FLUS汇20报告其基本的FLUS相关功能(或能力)和/或当前状态。基本上,FLUS汇200可以使用与已经在FLUS规范中针对FLUS源10定义的相同的过程来取得S11 FLUS源100及其附接的媒体捕捉装置的能力。除了FLUS源10的固有能力,还预见了状态取得信息交换,其对于确认动态能力(例如移动性和功率模式)的当前状态是有用的。换言之,在一些实施方式中,该方法包括:从FLUS汇接收S12提供FLUS源属性的请求;以及响应于接收到提供FLUS源属性的请求,向FLUS汇提供S13 FLUS源属性。或者,FLUS源100可以主动报告属性。FLUS源属性包括例如FLUS源能力和/或状态。可以在建立FLUS会话之前或在FLUS会话期间的任何时间报告属性。
可以报告的FLUS源100(例如无人摄像机)的能力的示例是例如接受来自FLUS汇200的对FLUS会话的控制的能力,以及接收用于人工监视的返回视频馈送的能力。FLUS源能力的其它示例是可用的视频格式、可用的音频格式、可用辅助流,诸如台词、字幕和内容元数据。
所报告的FLUS源的能力可以还与连通性有关。因此,所报告的能力可以指定所支持的通信技术、无线电接入网络、RAN(例如有线的)以及哪个/哪些系统。
所报告的能力还可以指定捕捉装置11是否可以被远程控制。例如,捕捉装置可以被定义为“可远程控制”、“人工”和/或“无”(即不可控制)。能力还可以定义对于这种远程控制,捕捉装置支持哪些系统或协议。不同的协议在市场上可得,并且捕捉装置可以指示支持一个或更多个这样的协议,例如VISCA协议、UVC协议或ONVIF协议。
安装在无人飞机上的FLUS源捕捉装置可以在空中一段时间(状态:空中),但需要间歇地对接以充电,由此将充电对接台定位成使得有用媒体流可以在无人飞机被对接(状态:固定)的同时继续被传递。在某些情景中,有用的是制作系统30经由FLUS源100识别相关状态。换言之,状态的示例是“飞行”或“对接”等。
因此,FLUS源可以报告状态参数,诸如“移动性状态”(例如固定的、行走的、地面载具、机载载具、水面载具、水下)和“电源状态”(例如电池、带自主充电的电池、电源插座/电缆供电)。
现有技术不同,FLUS会话由FLUS汇20创建。换言之,该方法还包括从FLUS汇接收S14建立FLUS源与FLUS汇之间的FLUS会话的请求。在接收到创建FLUS会话的指令时,FLUS源开始建立FLUS会话。假定了FLUS源100在先前步骤中已经获取了用于建立到FLUS汇200的F-C连接的必要信息。通常,FLUS汇200提供有效的访问令牌,并且在成功创建了会话时,FLUS源100用所创建会话的资源id来作出响应。换言之,该方法还包括响应于接收到建立FLUS会话的请求,建立S15 FLUS会话。在一个示例中,FLUS汇通过向与FLUS源相关联的预定URL发送HTTP消息(例如HTTP请求)来建立FLUS会话或请求建立FLUS会话。
FLUS会话包括如3GPP TS 26.238中所描述的控制平面和用户平面(包括上行媒体流F-U-U)。用户平面是用返回(下行)媒体流F-U-D和通信媒体流F-U-M扩展的一些实施方式。
在某些制作情况下,为了监视的目的,媒体馈送被发送回FLUS源装置。例如,摄像机人员可以具有连接到摄像机侧面的小监视器,以观察正在进行的制作的输出流。因此,提出将该特征添加到FLUS会话中。虽然反馈流本身不是上行的,但是在FLUS系统中包括下行返回媒体流F-U-R可以是高效的,使得可以在与由同一FLUS源传递的上行媒体流相同框架内对其进行逻辑地管理。原则上,可以存在多个下行媒体流F-U-D。
在某些制作情况下,制作系统需要与摄像机人员现场通信,以执行报道的指示。因此,提出了与所捕捉的媒体流分离的双向数据流。该通信可以单独地对各个FLUS源,和/或在所有参与者间,同时在制作系统处以及在捕捉设备人员间两者。在FLUS系统中包括F-U-M可以是高效的,因为对于通信使用与上行流传递相同的物理介质。
换言之,在一些实施方式中,所建立的FLUS会话包括以下各项中的至少一项:上行媒体流F-U-U、下行媒体流F-U-D和通信数据流F-U-M。
对于先进制作,使制作系统控制FLUS会话以及捕捉装置10和所传递的媒体流可以是高效的。在某些情形下,例如对于无人飞机,这是支持控制的唯一方式,因为不存在控制包括FLUS源100的无线装置10的其它可能性。因此,在一些实施方式中,方法包括:从FLUS汇接收S17控制FLUS会话的请求;以及响应于接收到控制FLUS会话的请求,控制S18 FLUS会话。控制请求可以包括控制信息(例如控制命令、配置信息等)。因此,控制S18 FLUS会话可以包括根据控制信息控制或配置FLUS会话。
控制S18可以在开始实际流传输之前进行。换言之,FLUS汇可以配置FLUS会话。例如,通过首先配置无线装置10,其次请求捕捉装置10开始媒体捕捉和媒体流传输。控制可以独立于是否正在进行媒体流传输而进行,例如在实际流传输开始之前启动。控制S18可以在建立流传输会话期间、之前或之后的任何时间执行。
该方法还包括使用所建立的FLUS会话在FLUS源与FLUS汇之间流传输S19数据,该数据包括由捕捉装置捕捉的流媒体。FLUS汇200可以控制FLUS汇开始媒体流传输或停止媒体流传输。
在一些实施方式中,FLUS汇200可以在FLUS会话期间继续控制FLUS会话。换言之,在一些实施方式中,控制S18包括由远程实体(例如,FLUS汇200或其他远程控制实体(其可以与FLUS汇200共处一地)等)远程控制媒体流传输或媒体捕捉。例如,FLUS汇200可以调整媒体流的数据速率或捕捉装置10的光学参数(例如,白平衡)。从FLUS源100的角度来看,控制可以包括允许对数据流或媒体捕捉进行远程控制。FLUS源100可以执行由FLUS汇200发送的控制命令(例如,调整数据速率、改变光学参数)。因此,FLUS会话由FLUS汇或远程控制实体远程控制。
如果FLUS会话的建立由FLUS汇控制,则FLUS汇200可以通常还控制FLUS会话的终止。换言之,在一些实施方式中,该方法包括从FLUS汇20接收S110终止FLUS会话的请求,以及响应于接收到该请求,终止S111在FLUS源100和FLUS汇20之间的FLUS会话。
现在将参照图3描述在网络节点20中使用的用于在现场上行流传输框架FLUS中建立媒体流传输会话的相应方法。图3的方法例如由网络节点20的控制装置24(图6)执行。更具体地,该方法由所谓的FLUS汇执行,FLUS汇是无线通信网络的逻辑功能。该方法可以实现为包括指令的计算机程序,当该程序由计算机(例如控制装置24中的处理器241)执行时,该指令使计算机执行该方法。根据一些实施方式,计算机程序存储在计算机可读介质(例如存储器或光盘)中,该计算机可读介质包括当由计算机执行时使计算机执行该方法的指令。
该方法包括在FLUS汇处注册S20一个或更多个FLUS源10,并将其汇能力向FLUS源10发送,如结合图2所描述。通常,多个FLUS源10在FLUS汇20处注册。然而,为了简单起见,参照单个FLUS源10来描述该方法。需要理解的是,该方法通常针对各个FLUS源10执行。
FLUS汇20,更确切地说诸如制作系统30这样的FLUS汇200的用户,可能希望获取关于FLUS汇20可用(即注册)的FLUS源10的信息。因此,在一些实施方式中,该方法包括向FLUS源10发送S22提供FLUS源属性的请求,以及从FLUS源10接收S23 FLUS源属性。然后,FLUS汇将获得关于所注册的FLUS源10的能力的信息。该信息可以被转发到制作系统30。然后,制作系统可以基于FLUS源10的能力为特定制作选择合适的FLUS源10。
该方法然后包括向FLUS源发送S24建立FLUS会话的请求。在一个示例中,FLUS汇200可以向与FLUS源100相关联的预定URL发送HTTP请求。然后,FLUS汇200和FLUS源100执行完成会话建立所需的步骤。换言之,该方法包括建立S25 FLUS源100和FLUS汇20之间的FLUS会话。当建立了会话时,FLUS汇200可以从FLU源10接收S26包括会话ID在内的确认(ACK)。
当会话已经建立时,FLUS汇200可以继续控制FLUS会话。在一些实施方式中,FLUS汇200可以远程修改或重新配置已建立的会话的属性。该过程可以允许修改单个属性或所有属性。FLUS汇更新由会话id标识的资源。换言之,在一些实施方式中,该方法包括向FLUS源发送S27控制FLUS会话的请求。这种请求可以在开始流传输之前或在流传输期间的任何时间发送。更具体地,在一些实施方式中,请求被配置成请求FLUS源来配置(或重新配置)FLUS会话。可以在开始会话之前或在会话期间进行该配置。
所提出的方法还包括使用所建立的FLUS会话在FLUS源100和FLUS汇200之间流传输S29数据的步骤。在一些实施方式中,FLUS汇200使FLUS源100开始和停止媒体流传输。换言之,在一些实施方式中,控制FLUS会话的请求(步骤S27)被配置成请求FLUS源100开始和/或停止媒体流传输。
在一些实施方式中,请求被配置成请求FLUS源100远程地控制媒体流传输和/或媒体捕捉。例如,可以远程地控制无线装置10使用的流速率或光学配置。这可以在建立会话之前或者在FLUS会话期间的任何时间进行。
在一些实施方式中,参见上文,所建立的FLUS会话包括以下各项中的一项或多项:上行媒体流、下行媒体流和通信流。
在一些实施方式中,该方法包括向FLUS源10发送S210终止FLUS会话20的请求,以及终止S211FLUS会话。
图5例示了无线装置10的实例实现方案,所述无线装置10被配置成实现所提出的在现场上行流传输框架FLUS中建立流传输会话的方法。
本文中的术语“无线装置”是指能够与网络节点20通信的任何类型的通信装置,例如配备有(或可访问)调制解调器的(专业)摄像机、移动终端或无线终端、移动电话、具有无线能力的计算机(例如膝上型计算机、个人数字助理(PDA)或平板计算机)、瞄准装置、装置到装置UE,MTC UE或能够进行机器到机器通信的UE、iPAD、移动终端、智能电话、膝上嵌入式设备(LEE)、膝上安装装置(LME)、USB软件保护器(dongle)等或能够在无线通信网络中通过无线电链路通信的任何其它无线电网络单元。
无线装置10包括捕捉装置11、反馈装置12、通信装置13、控制电路14和用于无线信号的通信接口15(包括发送器15a和接收器15b)。在一些实施方式中,捕捉装置11在无线装置10的外部。例如,捕捉装置11是连接到作为调制解调器的无线装置10的专业摄像机。
捕捉装置11例如是专业摄像机或麦克风。捕捉装置11也可以是简单的摄像头,例如移动电话摄像头。
反馈装置12是被配置成向无线装置10的操作员提供反馈的装置。反馈可以是视觉和/或听觉或任何其它类型的反馈。反馈装置12例如是相对小的显示器。
通信装置13是被配置成使无线装置10的操作员能够与系统1中的装置的其他操作员通信的装置。例如,如上所述,其可以使操作员能够通过一个或更多个专用(媒体)流(F-U-M)与包括FLUS源100的其它无线装置10的其它操作员通信。通信装置13可以包括麦克风和/或扬声器。
控制电路14被配置成控制无线装置10的操作。控制电路14通常包括一个或更多个处理器141和存储器142。一个或更多个程序存储在存储器142中,并被配置成由一个或更多个处理器141执行。一个或更多个程序包括实现FLUS源100的指令。
更具体地,一个或更多个程序包括指令,该指令使无线装置10在FLUS汇200处注册FLUS源100,从FLUS汇接收建立FLUS源与FLUS汇之间的FLUS会话的请求,响应于接收到建立FLUS会话的请求而建立FLUS会话,以及在FLUS源与FLUS汇之间使用所建立的FLUS会话流传输包括由捕捉装置捕捉的媒体的数据。
通常,无线装置,更确切地说,控制电路14被配置成执行根据第一个方面所述的方法。
通信接口15被配置成使得能够经由无线通信网络(例如,4G或5G网络)与其他装置(例如,与制作系统30)通信。例如,可以使用因特网协议建立电子装置10和制作系统30之间的连接。
图6例示了包括实现FLUS汇的控制电路24和通信接口25的网络节点20的示例实现方案。网络节点例如是通信网络中的核心网络节点。网络节点20可以是功能意义上的节点。因此,该实现方案可以分布在通信网络的几个物理单元之间。
控制电路24被配置成控制网络节点10的操作。控制电路24通常包括一个或更多个处理器241和存储器242。一个或更多个程序存储在存储器242中,并被配置成由一个或更多个处理器241执行。一个或更多个程序包括实现FLUS汇200的指令。
更具体地,控制电路24被配置成使网络节点20在FLUS汇处注册FLUS源,向FLUS源发送建立FLUS会话的请求,建立FLUS源与FLUS汇之间的FLUS会话,以及使用所建立的FLUS会话在FLUS源100和FLUS汇200之间流传输数据。
通常,网络节点20,更确切地说,控制电路24被配置成执行根据第二个方面所述的方法。
图7例示了可以实现所提出的技术的示例场景。在图7中,多个无线装置10、10’(包括FLUS源)在FLUS汇30处注册。无线装置10、10’中的一些是静止摄像机10,而另一些是移动摄像机10’,这里示出为无人飞机。制作系统30与无线装置10(经由例如5G网络的接入点40)以及与一些静止摄像机50通信。通过使用所提出的技术,制作系统30可以控制无线装置10、10’开始和停止捕捉和流传输视频。制作系统30还可以控制捕捉和流传输的属性。因此,媒体制作可以以高效的方式来创建,完全(或部分)由制作中心30来控制。
在附图和说明书中,已经公开了本公开的示例性方面。然而,在基本上不脱离本公开的原理的情况下,可以对这些方面做出许多变化和修改。因此,本公开应被认为是示例性的而非限制性的,并且不限于上述特定方面。因此,虽然采用了特定的术语,但它们仅在一般和描述性的意义上使用,而不是出于限制的目的。
本文提供的示例实施方式的描述是为了说明的目的而给出的。本说明书并非旨在穷举或将示例性实施方式限制为所公开的精确形式,并且根据上述教导可以进行修改和变化,或者可以从对所提供的实施方式的各种替换的实践中获得修改和变化。选择和描述本文中所论述的示例是为了解释各种实例实施方式的原理和性质以及其实际应用,以使得所属领域的技术人员能够以适合于所预期的特定用途的各种方式和各种修改来利用实例实施方式。本文描述的实施方式的特征可以组合在方法、装置、模块、系统和计算机程序产品的所有可能组合中。应了解,本文所呈现的实例实施方式可彼此以任何组合来实施。
应当注意,词语“包括”不一定排除所列出之外的其它元件或步骤的存在,并且要素之前的措辞“一(a)或(an)”不排除多个这种要素的存在。还应当注意,任何附图标记不限制实施方式的范围,示例性实施方式可以至少部分地通过硬件和软件来实现,并且多个“装置”、“单元”或“设备”可以由相同的硬件项来表示。
在方法步骤或过程的一般上下文中描述了在此描述的各种示例实施方式,该方法步骤或过程可以在一个方面中由包含在计算机可读介质中的计算机程序产品来实现,该计算机程序产品包括由联网环境中的计算机执行的诸如程序代码的计算机可执行指令。计算机可读介质可以包括可移动和不可移动存储装置,包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、致密盘(CD)、数字通用盘(DVD)等。一般而言,程序模块可包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令,相关联的数据结构和程序模块表示用于执行本文公开的方法的步骤的程序代码的示例。这种可执行指令或相关数据结构的特定序列表示用于实现在这种步骤或过程中描述的功能的相应动作的示例。
Claims (17)
1.一种在实现现场上行流传输框架FLUS源(100)的无线装置(10)处执行的建立流传输会话的方法,所述方法包括以下步骤:
在FLUS汇(200)处注册(S10)所述FLUS源;
从所述FLUS汇接收(S14)建立所述FLUS源与所述FLUS汇之间的FLUS会话的请求;
响应于从所述FLUS汇接收到所述请求,建立(S15)所述FLUS会话;以及
使用所建立的FLUS会话,在所述FLUS源与所述FLUS汇之间流传输(S18)包括由捕捉装置(11)捕捉的媒体的数据。
2.根据实施方式1所述的方法,所述方法还包括:
从所述FLUS汇接收(S12)对FLUS源能力的请求;以及
响应于对FLUS源能力的请求,向所述FLUS汇提供(S13)所述FLUS源的属性。
3.根据权利要求2所述的方法,其中,所述FLUS源的所述属性指示以下各项中的至少一项:
可用的视频格式;
可用的音频格式;
可用的辅助流;
可用的连接性类型;
远程控制能力;
所述无线装置的移动性属性;或
所述无线装置的电源属性。
4.根据权利要求1至3中任一项所述的方法,其中,所述FLUS会话包括上行媒体流、下行媒体流或语音通信流中的至少一者。
5.根据权利要求1至4中任一项所述的方法,所述方法还包括:
从所述FLUS汇接收(S17)包括针对所述FLUS会话的控制信息的控制请求;以及
响应于来自所述FLUS汇的所述控制请求并且根据所述控制请求中的所述控制信息来控制(S18)所述FLUS会话。
6.根据权利要求1至5中任一项所述的方法,其中,控制(S18)所述FLUS会话包括以下各项中的至少一项:
根据所述控制请求中的所述控制信息配置所述FLUS会话;
开始向所述FLUS汇进行媒体流传输;
允许从远程实体远程控制数据流传输;以及
停止所述FLUS源与所述FLUS汇之间的媒体流传输。
7.根据权利要求1至6中任一项所述的方法,所述方法还包括:
-从所述FLUS汇接收(S19)终止所述FLUS会话的请求,以及
-响应于接收到所述请求,终止(S110)所述FLUS源与所述FLUS汇之间的所述FLUS会话。
8.一种在实现现场上行流传输框架FLUS汇(200)的网络节点(20)处执行的用于建立媒体流传输会话的方法,所述方法包括以下步骤:
在所述FLUS汇处注册(S20)FLUS源(100);
向在所述FLUS汇处注册的所述FLUS源发送(S24)建立FLUS会话的请求;
建立(S25)所述FLUS源与所述FLUS汇之间的所述FLUS会话;以及
使用所建立的FLUS会话在所述FLUS源与所述FLUS汇之间流传输(S29)数据。
9.根据权利要求8所述的方法,所述方法还包括:
向所述FLUS源发送(S22)对FLUS源能力的请求;以及
响应于对所述FLUS源能力的请求,从所述FLUS源接收(S23)所述FLUS源的属性。
10.根据权利要求8或9中任一项所述的方法,其中,所述FLUS会话包括上行媒体流、下行媒体流或语音通信流中的至少一者。
11.根据权利要求8至10中任一项所述的方法,所述方法还包括:
向所述FLUS源发送(S27)包括针对所述FLUS会话的控制信息的控制请求。
12.根据权利要求11所述的方法,其中,所述控制请求是对以下各项中的一项或多项的请求:
配置或重新配置所述FLUS会话;
在所述FLUS源处开始所述媒体流传输;
远程控制所述媒体流传输;以及
在所述FLUS源处停止所述媒体流传输。
13.根据权利要求8至12中任一项所述的方法,所述方法包括:
向所述FLUS源发送(S29)终止所述FLUS会话的请求;以及
终止(S210)所述FLUS会话。
14.一种无线装置(10),所述无线装置包括捕捉装置(11)、无线通信接口(15)和实现FLUS源(100)的控制电路(14),其中,所述控制电路(14)被配置成使所述无线装置(10):
在FLUS汇(200)处注册所述FLUS源(100);
从所述FLUS汇接收建立所述FLUS源与所述FLUS汇之间的FLUS会话的请求;
响应于从所述FLUS汇接收到建立所述FLUS会话所述请求,建立所述FLUS会话;以及
使用所建立的FLUS会话,在所述FLUS源与所述FLUS汇之间流传输包括由所述捕捉装置捕捉的媒体的数据。
15.根据权利要求14所述的无线装置,其中,所述无线装置被配置成执行根据权利要求2至7中任一项所述的方法。
16.一种网络节点(20),所述网络节点包括实现FLUS汇(200)的控制电路(24),其中,所述控制电路(24)被配置成使所述网络节点:
在所述FLUS汇(200)处注册FLUS源(100);
向所述FLUS源发送建立FLUS会话的请求;
建立所述FLUS源与所述FLUS汇之间的所述FLUS会话;以及
使用所建立的FLUS会话在所述FLUS源与所述FLUS汇之间流传输数据。
17.根据权利要求16所述的网络节点,其中,所述网络节点(20)被配置成执行根据权利要求9至13中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862760631P | 2018-11-13 | 2018-11-13 | |
US62/760,631 | 2018-11-13 | ||
PCT/US2019/061109 WO2020102296A1 (en) | 2018-11-13 | 2019-11-13 | Methods and devices for establishing a streaming session in a framework for live uplink streaming |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112789837A true CN112789837A (zh) | 2021-05-11 |
CN112789837B CN112789837B (zh) | 2023-05-12 |
Family
ID=68835313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980064454.6A Active CN112789837B (zh) | 2018-11-13 | 2019-11-13 | 在现场流传输框架中建立流传输会话的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220053033A1 (zh) |
EP (1) | EP3837824B1 (zh) |
CN (1) | CN112789837B (zh) |
WO (1) | WO2020102296A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11638262B2 (en) | 2020-10-23 | 2023-04-25 | Tencent America LLC | Extended 3rd generation partnership project (3GPP) framework for live uplink streaming (FLUS) sink capabilities description |
US11750676B2 (en) * | 2020-12-04 | 2023-09-05 | Tencent America LLC | Network-based media processing (NBMP) deployment with framework for live uplink streaming (FLUS) and 5G application function (AF) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100274848A1 (en) * | 2008-12-05 | 2010-10-28 | Social Communications Company | Managing network communications between network nodes and stream transport protocol |
CN106416280A (zh) * | 2014-05-28 | 2017-02-15 | 高通股份有限公司 | 用于wi‑fi显示的媒体不可知显示 |
CN107005797A (zh) * | 2014-12-04 | 2017-08-01 | 高通股份有限公司 | 发现和管理针对无线显示系统中的多个宿的同步音频或视频流服务 |
US20170230453A1 (en) * | 2016-02-09 | 2017-08-10 | Qualcomm Incorporated | Sharing data between a plurality of source devices that are each connected to a sink device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11190554B2 (en) * | 2017-06-20 | 2021-11-30 | Samsung Electronics Co., Ltd. | System and method for discovery and access of uplink services |
-
2019
- 2019-11-13 CN CN201980064454.6A patent/CN112789837B/zh active Active
- 2019-11-13 WO PCT/US2019/061109 patent/WO2020102296A1/en unknown
- 2019-11-13 US US17/275,321 patent/US20220053033A1/en active Pending
- 2019-11-13 EP EP19817479.9A patent/EP3837824B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100274848A1 (en) * | 2008-12-05 | 2010-10-28 | Social Communications Company | Managing network communications between network nodes and stream transport protocol |
CN106416280A (zh) * | 2014-05-28 | 2017-02-15 | 高通股份有限公司 | 用于wi‑fi显示的媒体不可知显示 |
CN107005797A (zh) * | 2014-12-04 | 2017-08-01 | 高通股份有限公司 | 发现和管理针对无线显示系统中的多个宿的同步音频或视频流服务 |
US20170230453A1 (en) * | 2016-02-09 | 2017-08-10 | Qualcomm Incorporated | Sharing data between a plurality of source devices that are each connected to a sink device |
Non-Patent Citations (2)
Title |
---|
3GPP: ""3rd Generation Partnership Project;Technical Specification Group Services and System Aspects;Uplink Streaming (Release 15)"", 《TS 26.238 V0.1.1 (2017-10)》 * |
KOCHI: ""S4-181175 dCR 26.939 (Rel-16) Permanent Document Updating 26.939 per E-FLUS Work"", 《3GPP TSG-SA4#100 S4-181175》 * |
Also Published As
Publication number | Publication date |
---|---|
EP3837824A1 (en) | 2021-06-23 |
WO2020102296A1 (en) | 2020-05-22 |
EP3837824B1 (en) | 2023-05-24 |
US20220053033A1 (en) | 2022-02-17 |
CN112789837B (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6490778B2 (ja) | ビデオ方位に基づくマルチメディア適応 | |
US11496532B2 (en) | Offering media services through network edge | |
US20210168584A1 (en) | Methods of managing connections to a local area data network (ladn) in a 5g network | |
KR101702273B1 (ko) | 음성 및 데이터 통신을 달성하기 위해 wi-fi 디스플레이 전송 메커니즘들을 사용하는 방법 및 시스템 | |
CN103596065B (zh) | 装置定向能力交换信令和多媒体内容的服务器适应性修改 | |
KR102127357B1 (ko) | 디스플레이 세션에서 오프라인 참여를 위한 무선 통신 시스템 및 방법 | |
US20220022029A1 (en) | Methods to leverage non-cellular device capabilities | |
CN112789837B (zh) | 在现场流传输框架中建立流传输会话的方法和装置 | |
CN109983777B (zh) | 启用媒体编排的方法、客户端设备和控制器系统 | |
US20210297748A1 (en) | Method for managing mission critical video (mcvideo) communications in off-network mcvideo communication system | |
JP6873762B2 (ja) | 通信装置、通信システム、通信方法、および、プログラム | |
JP7116196B2 (ja) | ネットワーク容量に制約のあるシナリオにおける共同メディア制作のためのネットワーク制御上りリンクメディア伝送 | |
JP2018521549A (ja) | 逆方向チャネルオーディオセッションを管理するための技法 | |
US11539759B2 (en) | Apparatuses, methods, computer programs, and computer program products for FLUS remote control channels | |
CN109640040B (zh) | 一种视频传输的方法、装置、系统及服务器 | |
KR101604002B1 (ko) | 모바일 단말 장치를 이용한 중계 방송을 지원하기 위한 방법, 장치 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
WO2014082294A1 (zh) | 一种媒体流传输方法及相关设备、系统 | |
CN111212052A (zh) | 业务处理方法、装置、电子设备及存储介质 | |
KR20220164777A (ko) | 라이브 업링크 스트리밍 프레임워크(flus) 및 5g 애플리케이션 기능(af)을 사용한 네트워크 기반 미디어 처리(nbmp) 배포 | |
CN101635716A (zh) | 一种对网络音视频编码器进行远程控制的方法及系统 | |
KR20170097914A (ko) | 자유 시점 방송의 송수신 장치 및 방법 | |
Paul | A novel design and implementation of a real-time wireless video and audio transmission device | |
CN112585979B (zh) | 用于所存储内容的网络控制媒体上传的方法和系统 | |
JP6562118B2 (ja) | 通信システム及び通信端末 | |
WO2020118508A1 (zh) | 一种视频传输的方法、装置、系统及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |