CN106576185A - 用于控制多媒体应用的方法、软件产品和设备 - Google Patents
用于控制多媒体应用的方法、软件产品和设备 Download PDFInfo
- Publication number
- CN106576185A CN106576185A CN201580045624.8A CN201580045624A CN106576185A CN 106576185 A CN106576185 A CN 106576185A CN 201580045624 A CN201580045624 A CN 201580045624A CN 106576185 A CN106576185 A CN 106576185A
- Authority
- CN
- China
- Prior art keywords
- data
- api
- terminal device
- message
- running status
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000005540 biological transmission Effects 0.000 claims abstract description 32
- 230000006978 adaptation Effects 0.000 claims abstract description 10
- 238000012856 packing Methods 0.000 claims description 32
- 238000013461 design Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 18
- 230000004913 activation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/764—Media network packet handling at the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明的第一要点涉及一种用于控制尤其移动终端设备上的多媒体应用的方法，其中从远程源接收多媒体数据并且处理多媒体数据以用于在所述终端设备的显示装置上进行显示，所述方法具有以下步骤：a）识别所述终端设备的涉及所述多媒体应用的数据的显示的至少一个服务部件的运行状态；b）产生表明所述至少一个服务部件的所述运行状态的状态信息；c）产生消息，所述消息包括：‑ 状态信息，和/或‑ 表明所述状态信息的信息，所述信息表明通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度，和/或‑ 到所述远程源上的关于所述数据和/或所述数据的传输对所述终端设备的适配的指令，以便使所述数据和/或所述数据的传输匹配于通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度；d）传输所述消息到所述远程源上；e）接收所述多媒体数据；以及f）处理所述多媒体数据以用于在所述终端设备的显示装置上进行显示。本发明还涉及一种用于多媒体数据的匹配和传输的方法、一种软件产品和一种设备。
Description
技术领域
本发明涉及用于控制多媒体应用的方法、一种用于匹配和传输多媒体数据的方法、与此相关的软件产品和与此相关的设备。
背景技术
多媒体协作、（商业上的）社交网络、在线游戏等等越来越多地同时利用多个通信与数据通道。属于此的、新形成的技术是WebRTC（RTC代表Real Time Communication，即实时通信）。只要足够的带宽例如通过固网可供使用，这也就可能是不成问题的。然而在移动互联网或者WLAN（无线LAN）中，带宽可能受所分配的媒体和接收干扰限制或者因其而波动。此外，所使用的移动设备经常仅仅具有有限的显示面（小的显示器），该显示面不能以合适的分辨率来显示同时提供的通信与数据通道。
现在，针对这样地捆绑式多媒体通信形式的资源管理和服务品质观察才刚刚开始并且对于上述问题还不存在技术解决方案。因此，大多必须忍受差的用户体验和网络资源的浪费，所述网络资源的被传送的内容完全不能合理地使用或者完全不合理地被使用。
由如Apple的iOS或Android那样的运行系统已知，当系统碰到极限时，在后台停止应用。但这是严格的应急解决方案，它可能导致设备的所不希望的行为。
发明内容
本发明的任务是，说明能够至少部分地克服现有技术中的前述缺点的一种方法、一种软件产品和一种设备。本发明的任务尤其在于，说明能够最优地利用可用的网络带宽而不损害用户体验的一种方法、一种软件产品和一种设备。
根据本发明，所述任务至少在部分方面通过独立权利要求的特征来解决，所述独立权利要求涉及用于控制多媒体应用的方法、用于匹配和传输多媒体数据的方法、与此相关的软件产品和与此相关的设备。本发明的有利的实施方式和扩展方案在从属权利要求中说明。
本发明的第一要点涉及一种用于控制尤其移动终端设备上的多媒体应用的方法，其中从远程源接收多媒体数据并且处理多媒体数据以用于在所述终端设备的显示装置上进行显示，所述方法具有以下步骤：
a）识别所述终端设备的涉及所述多媒体应用的数据的显示的至少一个服务部件的运行状态；
b）产生表明所述至少一个服务部件的运行状态的状态信息；
c）产生消息，所述消息包括：
- 状态信息，和/或
- 表明所述状态信息的信息，所述信息表明通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度，和/或
- 到所述远程源上的关于所述数据和/或所述数据的传输对所述终端设备的适配的指令，以便使所述数据和/或所述数据的传输匹配于通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度；
d）传输所述消息到所述远程源上；
e）接收所述多媒体数据；以及
f）处理所述多媒体数据以用于在所述终端设备的显示装置上进行显示。
本发明从以下出发：多媒体应用包括两侧，即源侧或者说源域和宿侧或者说宿域，从所述源侧提供（并且传送）用于应用的多媒体内容，在所述宿侧上多媒体内容被进一步应用。基本上，终端设备可以是宿，并且例如服务器（下载服务器、游戏服务器、会议服务器）可以是源。但交换点也可以不仅设置为（中间）宿而且为（中间）源。所述要点的方法涉及宿侧、尤其终端设备的侧。
借助该要点的根据本发明的方法使得发送方侧（远程源）能够基于服务部件的状态来匹配数据的产生、准备和传输。由此又可以最优地充分利用终端设备（但是还有源）的侧上的资源。终端设备优选地可以是移动的，但也可以考虑静止的应用。移动尤其意味着，终端设备可以借助移动无线电方法通信。移动终端设备的示例例如是智能手机、平板电脑、笔记本电脑。静止的终端设备、诸如PC等等意味着，数据的全部的或者部分的传输或者接收附加地或者替代地可以通过静止网络进行。多媒体数据可以被处理用于在终端设备的与终端设备连接的和/或固定地安装在终端设备中的每个显示装置上进行显示。所识别的运行状态例如可以是部件的激活或去激活的单纯事实，但也可以包括以下细节，诸如电池充电状态、所连接的或者激活的显示器等等。服务部件例如可以是、但不仅仅是硬件和/或软件中的这样的用于音频播放、视频播放、屏幕共享、联合编辑、游戏等等的部件。服务部件可以固定地安装和/或装配在终端设备上。根据本发明，所述消息可以包括状态信息和/或表明所述状态信息的信息，所述信息表明通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度。在本发明的意义上，数据密度尤其可以理解为数据率。数据率尤其可以定义为每时间单位的数据量。如果消息包含状态信息，则在数据源的侧上存放并且充分利用处理智能和决定能力，这可以节省终端设备侧上的资源。消息的传输例如可以通过RTC、尤其通过移动无线电标准传输到远程源上或者从远程源接收。如果消息包含指令，则以终端设备侧上的处理智能和决定能力为前提，这可以使终端设备更不依赖。如果所述消息具有表明所述状态信息的信息，所述信息表明通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度，则至少以终端设备侧上的高份额的处理智能为前提，以便确定最大可处理的数据密度，而在源侧上做出关于待采取的措施的决定，以便使数据提供和数据传输匹配于最大可处理的数据密度。
换言之，在该发明要点中，也基于所识别的运行状态促使远程源（最高）以通过终端设备最大可处理的数据密度传输所述数据。也即，终端设备（最高）以通过终端设备最大可处理的数据密度接收所述数据。
该发明要点的方法的一种扩展方案可以规定，通过第一应用编程接口（API，尤其器件API）检测所述运行状态并且通过第二应用编程接口（API，尤其控制API）处理所述状态信息，其中优选地在所述终端设备的有WebRTC能力的Web浏览器中实现分配有所述第二应用编程接口的应用，并且其中优选地，所述第二应用编程接口产生所述消息或者促使尤其有RTC能力的服务器产生所述消息。作为服务器尤其可以使用有RTC能力的通信服务器。此外，所述方法可以被设计成，使得将所述消息寻址到远程源的远程应用编程接口（API，尤其控制API）上。
该发明要点的方法的一种优选的实施方式可以规定，根据设计模式（MVC）实现所述数据的显示，所述设计模式具有包含所述数据的模型（M）、作为用于显示所述数据的演示层的视图（V）和作为用于管理所述演示层的控制层的控制器（C），其中通过所述控制器（C）产生所述状态信息，其中优选地在所述模型（M）中实现所述运行状态。在根据本发明使用的MVC设计模式的意义上，视图是演示层，该演示层也负责用户交互的接受。所述演示层不仅认识其控制而且认识所述模型（所述演示层演示所述模型的数据），但不负责由用户提交的数据的进一步处理。所述演示可以借助设计模式使“观察者”了解模型中的数据的变化并且紧接着调用经更新的数据。此外，在根据本发明使用的MVC设计模式的意义上的控制器是控制装置，所述控制装置管理一个或者多个演示，并且所述控制装置必要时也从所述演示接受用户操作，分析所述用户操作并且相应地行动。每个演示可以具有自身的控制装置。控制装置也可以负责，用户操作例如通过所述演示的改变（例如窗的移位）或者通过转发到模型上（例如接收输入数据或者触发处理）变得有效。控制装置也可以包含机械装置，以便限制所述演示的用户交互。所述控制装置在一些实现中同样可以变成模型的“观察者”，以便在数据变化时直接操纵视图。对于MVC设计模式的先前的阐述遵循维基百科-条目“Model_View_Controller（模型_视图_控制器）”，该条目被提及用于进一步的理解。因为根据本发明通过控制器（C）产生状态信息，所以可以充分利用现有的MVC模式，其中控制层经历扩展。
所述实施方式的方法的一个扩展方案可以规定，在所述设计模式中登记所述第二应用编程接口作为由所述第二应用编程接口控制的服务部件的附加视图，其中优选地将所述运行状态通过所述第一应用控制接口输送给所述模型。
该发明要点的方法的一种扩展方案可以规定，关于所述数据和/或所述数据的传输对所述终端设备的适配的指令涉及以下措施中的至少一个：
- 切断或者中止或者恢复或者接通数据流；
- 降低或者提高数据流的数据密度；
- 改变用于发送所述数据流的传输路径；
- 发送替代媒体，来代替所述数据流或者所述数据流的一部分。
在该扩展方案中，对数据适配和数据传输的控制取决于终端设备侧上的应用或者用户。因此例如可能的是，当例如在搜索引擎中短时间地搜索某种东西时，关断图像显示，但使声音继续运行。
本发明的第二要点涉及一种用于控制多媒体数据适配于远程宿、尤其优选移动终端设备和到远程宿上、尤其到优选移动终端设备上的传输的方法，所述方法具有以下步骤：
A）从所述远程宿接收消息并且对消息进行解码；
B）分析所述消息，以便识别所述远程宿侧上的涉及所述多媒体应用的数据显示的至少一个服务部件的运行状态或者所述远程宿中的通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度；
C）通过以下措施中的至少一个、通过分析所识别的运行状态或者所述最大可处理的用于显示所述多媒体数据的数据密度来改变所述多媒体数据的适配和/或传输：
- 切断或者中止或者恢复或者接通所述多媒体数据的数据流；
- 降低或者提高所述数据流的数据密度；
- 改变用于发送所述数据流的传输路径；
- 发送替代媒体，来代替所述数据流或者所述数据流的一部分，
以便使要传送到所述远程宿上的数据密度匹配于所述远程宿中的最大可处理的用于显示多媒体数据的数据密度。
该发明要点涉及发送方侧或者说源侧并且从以下前提出发，即决定智能位于发送方侧上。该发明要点的方法因此尤其通过第一发明要点的意义上的远程源来实施。在所述第二发明要点的意义上，远程宿可以是终端设备、尤其是第一发明要点的终端设备，或者是中间站（例如路由器、TK-设备、服务器）。优选地规定，消息通过RTC、尤其通过移动无线电标准传输到远程源上或者从远程源接收。
替代地，可以代替该发明要点的方法中的步骤B和C地识别在消息中包含的指令并且可以根据指令的内容进行
- 在保持传输通道的情况下中止多媒体数据的传输，或者
- 降低多媒体数据的数据密度，或者
- 通过替代媒体屏蔽多媒体数据的数据流，或者
- 恢复先前中止的传输或者恢复多媒体数据的先前降低了的数据密度，或者
- 恢复多媒体数据的先前被屏蔽的数据流，以便使待传送到远程宿的数据密度匹配于远程宿中的最大可处理的用于显示多媒体数据的数据密度。在该替代方案中，可以至少部分地在宿侧上采用决定智能。
该发明要点的方法的一种扩展方案可以规定，通过应用编程接口 （API，尤其控制API）接收所述消息，其中优选地在有WebRTC能力的Web浏览器中实现分配有所述应用编程接口的应用。优选地可以附加地规定，多媒体数据通过与用于接收消息的应用编程接口不同的接口、尤其是用于编码或解码Web浏览器的媒体数据流的媒体引擎来传输。
本发明的第三要点涉及一种用于控制尤其移动终端设备上的多媒体应用的方法，其中将所述多媒体应用的多媒体数据从源域向宿域传输，通过所述宿域接收多媒体数据并且处理多媒体数据以用于在所述终端设备的显示装置上进行显示，其中根据所述终端设备的涉及所述多媒体应用的数据的显示的至少一个服务部件的运行状态来适配和/或传输所述多媒体数据，其中所述方法优选具有根据第一发明要点的上述方法的方法步骤和/或根据第二发明要点的上述方法的方法步骤。换言之，该发明要点涉及一种系统，所述系统包括源侧和宿侧。在该发明要点中也可以确保：数据从源至宿（最高）以通过终端设备（宿）最大可处理的数据密度来传输。
本发明的第四要点涉及一种软件产品，所述软件产品存储在通过计算机可读的介质上并且所述软件产品优选地能够直接加载到计算机的内部存储器中并且具有计算机程序的程序代码，所述程序代码使得计算机当所述计算机程序在所述计算机上执行时有能力实施根据第一、第二或第三发明要点的上述方法中的至少一个方法的方法步骤。
本发明的第五要点涉及一种用于执行根据第一、第二或第三发明要点的上述方法中的至少一个方法的设备，其中所述设备优选包括尤其移动终端设备和/或服务器、尤其游戏服务器或者会议服务器和/或会议单元，并且其中所述设备尤其通过实现根据第四发明要点的软件产品而有能力执行所述方法。
本发明也可以通过计算机程序和/或具有电可读的控制信号的数字存储介质来体现，所述计算机程序包括程序命令，所述程序命令促使计算机当计算机程序加载到计算机上或者由该计算机执行时执行根据第一、第二或者第三发明要点的先前所述方法中的至少一个方法的方法步骤，所述电可读的控制信号可以借助可编程的计算机工作，以便管理通信过程，其中控制信号被设计和匹配用于促使计算机执行根据第一、第二或者第三发明要点的先前所述方法中的至少一个方法的方法步骤。
本发明的其他特征、任务、优点和细节由具体实施例和其在附图中的绘图的以下描述还变得更明白。易于理解的是，各个实施例的特征、任务、优点和细节可以移植到其他实施例上并且也应与其他实施例结合地被视为公开的，只要这不出于技术原因或者自然规律原因而是明显错误的。在此意义上，不同实施例的特征原则上始终可以想相互组合，并且所述组合同样可以理解为本发明的实施例。
附图说明
下面根据优选的实施例并且借助附图详细描述本发明。在此：
图1是根据本发明的一个实施例的具有源域和宿域的通用参考架构的示意图；
图2A是到所述实施例的WebRTC应用的源侧实现中的可能的集成的示意图；
图2B是到所述实施例的WebRTC应用的宿侧实现中的可能的集成的示意图；
图3示出根据本发明的一个实施例的过程的流程图；
所述附图是纯示意性的并且不一定严格按比例。绘图和其描述旨在示例性说明本发明的原理并且不应该以任何方式对其进行限制。本领域技术人员可以由现有技术理解并应用的术语和方案在下面不详细阐述，以便不冲淡发明主题。
具体实施方式
在图1中示出具有源域和宿域的通用参考架构作为根据本发明的设备的一个实施例。
起源域或者源域（域1）100具有媒体源（客户端媒体源）110、HTTP/Web服务器120、实时协作服务器或者实时通信服务器（Real-Time Collaboration Server）130、会话边界控制器（SBC）140和STUN&TURN服务器150（STUN/TURN：NAT（网络地址转换）会话遍历实用程序/使用中继遍历NAT）。媒体源110主要通过设备（器件）111来实现。设备111具有Web浏览器112，在所述Web浏览器中实现具有MVC（模型-视图-控制器）设计模式114的有WebRTC能力的应用（WebRTC App）113。应用113通过具有合适的协议、诸如HTML 5/JS的连接121与HTTP/Web服务器120连接并且通过设备应用编程接口（器件API）115与设备111的外围设备连接。此外，应用113的控制应用编程接口（控制API）116通过具有专用协议、诸如“Websockets上的RESTful”（REST：Representational State Transfer：表述性状态转移）的连接131与通信服务器130连接。Web浏览器112还具有媒体接口117，所述媒体接口与STUN&TURN服务器150连接。在本发明的意义上，术语协作包括通信，但不限于通信。
目标域或者宿域（域2）关于涉及本发明的特征基本上如源域200那样构建。特别地，目标域200具有媒体宿（Client Media Sink：客户端媒体宿）210、HTTP/Web服务器220、实时通信服务器（Real-Time Collaboration Server：实时协作服务器）230、会话边界控制器240和STUN&TURN服务器250。媒体宿210主要通过设备（器件）211来实现。设备211具有Web浏览器212，在所述Web浏览器中实现具有MVC（模型-视图-控制器）设计模式214的有WebRTC能力的应用（WebRTC App）213。应用213通过具有合适的协议的连接221与HTTP/Web服务器220连接并且通过设备应用编程接口（器件API）215与设备211的外围设备连接。此外，应用213的控制应用编程接口（控制API）216通过连接231与通信服务器230连接。Web浏览器212还具有媒体接口217，所述媒体接口与STUN&TURN服务器250连接。所使用的协议可以相应于在源域100中使用的协议。
结合本发明，协作服务器130、230首先用作通信服务器，但也可以实现其他的协作功能。
源域100和目标域200通过多个数据连接相互连接。一方面，源域100的和目标域200的通信服务器130、230通过数据连接400相互连接，其中源域100的和目标域200的会话边界控制器140、240分别充当向外的接口。数据连接400例如利用具有SDP Offer/Answer的会话协议SIP-T或者XMPP来提供其他域的连接（Federation：联合）。此外，源域100的和目标域200的STUN&TURN服务器150、250为了实现源域100的和目标域200的媒体接口117、217之间的RTP连接500而相互连接并且源域100的和目标域200的媒体接口117、217通过SCTP（Stream Control Transmission Protocol：流控制传输协议）连接700也直接相互连接。
在本实施例中，目标域200或者其设备层211相应于（移动）终端设备。源域100或者其设备层111例如可以是媒体服务器。应理解，在图1的通用架构中，相应域100、200的各个元件可以布置在相应的物理设备111、211中或者之外。
图2A和2B在进一步的细节方面说明源域100的和目标域200的WebRTC浏览器112、214的结构。在此，图2A是到所述实施例的WebRTC应用113的源侧实现中的可能的集成的示意图，并且图2B是到所述实施例的WebRTC应用213的宿侧实现中的可能的集成的示意图。图2A和2B可以理解为图1的细节。
根据图2A中的示图，源域100的Web浏览器112的媒体接口117具有有WebRTC能力的应用编程接口（WebRTC API）117a和媒体引擎（Media Engine）117b。在源域100的侧上的媒体引擎117b可以作为所发送的媒体数据流的编码器工作。摄像机麦克风单元（Camera/Microphone：摄像机/麦克风）160与设备应用编程接口115连接。
同样地，根据图2B中的示图，目标域200的Web浏览器212的媒体接口217具有有WebRTC能力的应用编程接口（WebRTC API）217a和媒体引擎（Media Engine）217b。目标域200的侧上的媒体引擎217b可以作为所接收的媒体数据流的解码器工作。摄像机麦克风单元（Camera/Microphone：摄像机/麦克风）260、用于检测操作者900的交互的人机接口（人交互器件）270以及其他硬件传感器280与设备应用编程接口215连接。
在图2B中也示意性地示出宿域200的WebRTC应用213的扩展的MVC设计模式214和其实现。MVC设计模式214具有模型（Model）“M”、视图（View）“V”和控制装置（Controller）“C”，如已经在上面详细阐述的那样。该模型“M”从器件API 215和WebRTC媒体引擎217b获得输入数据。视图“V”控制视图在图像声音播放单元（Screen Speaker：屏幕扬声器）290上的显示。控制器“C”同样从器件API 215获得输入数据并且为控制API 216提供输出数据。控制API 216还与WebRTC API 217a和器件API 215连接。
如在图2A和2B中示出的那样，RTP连接500和SCTP连接700设立在源域100的WebRTC浏览器112的媒体接口117与目标域200的WebRTC浏览器212的媒体接口217之间。在此，单向的RTP连接500如在图1中所示的那样在源侧和宿侧上分别通过STUN&TURN服务器150、250运行，而双向的SCTP连接700直接在媒体接口117、217之间延伸。在实施变型方案中，STUN&TURN服务器150、250可以被省略或者限于STUN功能或者TURN功能。RTP连接500和SCTP连接700可以可选地被利用，并且在实施变型方案中可以仅仅存在它们中的一个。
在图1、2A和2B中示出的设备技术的功能原理在下面也根据图3的流程方案作为根据本发明的方法的一个实施例来描述。
（移动）终端设备210上的特定的WebRTC应用213通过在有HTML5/JavaScript（JS）能力的浏览器212中的相应的URL的选择来启动，并且然后从应用服务器（HTTP/Web服务器）220将实际的应用逻辑通过JS加载到浏览器212中。紧接着，首先建立到相应的RTC服务器130、230的Websocket连接231并且启动专用协议——大多作为RESTful设计的协议。在示例性的具有屏幕共享应用的视频电话中，为了通过器件API:getUserMedia访问麦克风、摄像机、和显卡而在本地启动设备接收资源。通过专用协议和会话协议（该会话协议可选地通过一个或多个会话边界控制器引导）传送远程设备110的地址，应与该远程设备110进行通信。所参与的设备——其作为源传送媒体——也即在所示的实施例中源域100的设备111借助WebRTC API 117建立分别单向的RTP连接500用于沿向前方向传送语音、视频和屏幕共享，示例性地作为流式视频。如所提到的那样，对于确定的其他媒体可以建立双向的SCTP连接700。在本实施例中，在连接建立中，相应的STUN&TURN服务器150、250参与到RTP通道500中。从源域的设备接收的媒体——摄像机的和屏幕的语音、运动图像根据在会话协议中协商的编码方法通过源侧的媒体引擎117b来编码并且通过各一个RTP连接500（在此同样又通过STUN&TURN服务器150、250）传送。进行接收的设备、也即宿侧的媒体引擎217b对媒体流进行解码并且根据当前由用户选择的显示、通过应用逻辑将所述媒体流在相应的本地设备输出资源上演示，在此在作为图像声音播放单元290的扬声器和屏幕上演示。
应用逻辑实现了典型地作为模型-视图-控制器（MVC）设计模式的视图。在此，MVC控制器“C”或者MVC模型“M”获得关于当前视图“V”的知识。在利用示例性的应用——示例性地在智能手机上的应用的情况下，不能够合理地在屏幕面上同时以合适的分辨率显示视频显示和共享的屏幕。因此，用户通过交互（人交互器件270）例如切换到桌面共享视图中。这由MVC 214检测并且确定，摄像机运动图像不再被显示。紧接着，通知本地的根据本发明扩展的控制API 216，该控制API例如通过回调函数传送根据本发明的用于该视频连接的RemoteMedia（中止）消息219到本地的（宿）WebRTC服务器230上。该（宿）WebRTC服务器将该信息通过所选择的并且根据本发明扩展的会话协议400转发至远程（源）WebRTC服务器130。远程WebRTC服务器130又将该消息转发至其本地连接的浏览器112的控制API 116。本地WebRTC-App 113的应用逻辑紧接着通过本地的器件API 111借助getUserMedia指令119切断摄像机160的媒体流，但保持所属的RTP连接500。必要时，所属的编码器（源侧的媒体引擎117b）生成替代媒体，例如静止图像，其具有明显减小了的带宽需求。如果在接收设备210处的用户现在短暂地切换到视频电话视图中，以便在关键方面在共享演示中看见对话伙伴的面部表情，则这通过MVC 214来检测并且紧接着通过根据本发明扩展的本地控制API 216通过回调函数来激励，将根据本发明的用于该视频连接的RemoteMedia（继续）消息219传送到本地的（宿）WebRTC服务器230上。该（宿）WebRTC服务器将该信息219通过所选择的并且根据本发明扩展的会话协议400转发至远程（源）WebRTC服务器130。远程WebRTC服务器130又将该消息转发至其本地连接的浏览器112的控制API 116。本地WebRTC-App 113的应用逻辑紧接着通过本地的器件API 115借助getUserMedia 119切断摄像机190的媒体流。编码器紧接着提供用过的媒体流。在用户保留在屏幕共享视图中的等待期之后，可以通过类似的方法中止作为运动图像传送的屏幕共享，等等。
在退出或者离开WebRTC应用213之后，与中止状态无关地释放或者拆除所使用的资源和RTP（SCTP）连接。
如所提及的那样，图2B示出通过MVC 214的根据本发明的扩展而到WebRTC应用213的客户端侧的实现中的可能的集成。当视图“V”已经改变使得存在通过WebRTC-API 217a创建的媒体流的改变了的利用的时候，根据本发明的控制API 216由控制器“V”触发。替代于视图“V”，控制器“C”也可以传播来自于设备周围的信号，显示器如何关断，低的电池状态，等等。控制API 216将这传送至WebRTC服务器 230，该WebRTC服务器又将这转发到远程WebRTC服务器130（未示出）。可选地，还能够在本地切断所接收的媒体流，所述媒体流是模型“M”的组成部分。然后远程地由控制API 130切断或者节省资源地修改待发送的媒体流。本地的器件API 216探测这，并且如果还没有已经在本地明确地处理，则相应地更新本地的模型“M”。
原则上，类似的效果也可以通过SDP：Offer/Answer来描绘。然而，这要求显著更高的信令化耗费，尤其用于RTP连接的建立和与此相关的设备资源的分配和解除分配。根据本发明的方法与此相对地允许在用户交互时提高的灵活性和因此改善的用户体验。
如上所述的那样，通过RemoteMedia{中止|继续}消息219实现到远程源100上的关于数据和/或数据的传输对终端设备200的适配的指令，以便使数据和/或数据的传输匹配于通过服务部件的运行状态预给定的最大可处理的用于显示多媒体数据的数据密度。其前提是，应用逻辑和因此为了实施根据本发明的方法所需的决定智能和决定能力位于终端设备（宿域）200的侧上。
在以上所述的实施例的一种变型中，应用逻辑也可以至少部分地布置在源100的侧上。因此，替代RemoteMedia{中止|继续}消息219，也可以产生包含状态消息本身的消息，并且用于将数据和/或数据的传输匹配于通过服务部件的运行状态预给定的最大可处理的用于显示多媒体数据的数据密度的预先规定可以通过源100的WebRTC应用113来确定并且然后通过getUserMedia来实现。
在另一种变型中，所产生的消息可以具有表明所述状态信息的信息，所述信息表明通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度。
如果根据现有技术例如启动多媒体应用、例如协作会议，则同样同时启动所属的通信部件。为此双向建立用于音频部件/视频部件、应用共享部件的连接和必要时其他通信通道。一旦这些被建立，则数据源开始数据流的和通信流的编码，而不依赖于所述编码是否由数据宿处理以及数据流的和通信流的解码是否被显示。但如果现在数据流和通信流没有被显示，则不必要地利用网络带宽并且附加地在进行发送与接收的设备上不必要地消耗能量，这在移动终端设备中缩短了电池运行时间。典型地，在具有较小的屏幕对角线的智能手机或者平板电脑上不能够同时以合理的分辨率显示视频会议和远程屏幕。
根据本发明，传送控制通过多媒体服务部件的（移动）数据网通过在（移动）目标设备（宿域200）上的用户视图和用户交互至起源设备（源域100）的反馈来改善。由此节省了数据网中的带宽和所参与的终端设备与传送设备中的能量并且在移动终端设备中因此延长了电池运行时间。
如果终端设备通过会议系统被连接，则根据本发明会议系统在源域100的意义上被使用并且以专用方式实现合适的功能性。
服务部件的根据本发明扩展的连接协议和有用连接也可以通过如STUN/TURN服务器150、250那样的网关装置或者代理装置来引导。根据本发明扩展的会话协议可以可选地通过SBC 140、240引导。
在设备上的显示经常借助设计模式“模型-视图-控制器（MVC）”来实现。在此，视图通过控制器控制，哪些数据根据用户交互从模型中显示，并且与此相反可以在由控制器观察的数据改变的情况下更新该视图。MVC实现模式不仅可以用于Web应用、本地客户端和小工具（Gadgets）。因此控制器具有以下知识：模型的哪个区段实际上当前被使用。对于诸如WebRTC的多媒体应用，该模型此外包括如音频、视频、屏幕共享、联合编辑和游戏那样的服务部件。根据本发明，该模型具有以下知识：从视图的角度哪些部件是激活的并且被需要。控制器此外拥有以下概览：哪些服务部件是激活的并且可以因此根据本发明提供合理的组合。
如果例如屏幕共享应用是激活的并且视频会议部件——因为不可显示——是未激活的，则控制器可以在音频连接的仍然持续的利用中促使视频连接的切断。根据本发明扩展的具有关于激活的和未激活的服务部件的知识的模型可以根据本发明针对相应的服务部件例如通过根据本发明扩展的控制API 216来通知客户端210中的WebRTC App 213，该控制API 216又触发宿-实时通信服务器（WebRTC服务器）230中的根据本发明的回调函数“RemoteMedia{中止|继续}”。为此，控制API 216例如可以作为由其控制的服务部件的附加“视图”进行登记。宿WebRTC服务器230可以根据本发明通过合适的隐含地或者明确地扩展的连接协议400来发信令给源WebRTC服务器130，反馈各个服务部件的使用，该连接协议400合适地映射函数“RemoteMedia{中止|继续}”219。源WebRTC Server 130然后又可以通过其本地的控制API 116控制对应的数据源110（例如通过器件API: getUserMedia 119），调节、中止、继续或者恢复数据的传送，降低或者提高数据密度，通过替代媒体屏蔽数据流或者又通过初始数据流取代所述屏蔽等等。也即，必要时提供更低品质的媒体或者替代媒体，以便避免由于未激活引起的可能的连接断开。在此，所使用的协议的根据本发明的明确的扩展具有以下优点：可以仅仅中止或者快速地又重新激活所涉及的部件，而不必重新建立连接（例如当今如所计划的那样通过SDP：Offer/Answer）并且因此可以降低与此相关的等待时间。
例如MVC 214的根据本发明的控制器“C”拥有以下概览：哪些服务部件是激活的并且因此可以根据本发明提供合理的组合。通过到终端设备中的硬传感器和/或软传感器（260、270、280）上的补充连接或者通过至基础设施的监视连接，可以提供关于实际上可用的带宽和服务品质的信息。控制器“C”因此可以进一步优化服务部件的合理的组合，其方式是，例如切断视频部件或者例如传送视图“V”的先前以有规律的间隔在模型“M”中附加地产生并且存储的（最后的）静止图像并且仅仅使用音频部件。
根据本发明扩展的客户端侧MVC 214的部件除控制器“C”以外也可以分配到后端服务器上，例如分配到http/Web服务器220上。
如所述的那样，应用逻辑可以在客户端侧在浏览器中通过JavaScript下载来实现。替代地，应用服务器提供所述应用逻辑并且所述应用逻辑与MVC的在客户端侧的实现交互。
本发明的参考所示实施方式描述的特征、例如MVC模型214在宿侧的WebRTC-App213的侧上的根据本发明的扩展也可以在本发明的其他实施方式和/或变型中存在，例如附加于或替代于MVC模型114的在源侧的WebRTC-App 113的侧上的扩展，例如用于在源侧确定宿侧的最大可处理的数据密度，除非另有说明或者出于技术原因本身不可能。
Claims (10)
1.用于控制尤其移动终端设备（200）上的多媒体应用（213）的方法，其中从远程源（100）接收多媒体数据并且处理多媒体数据用于在所述终端设备（200）的显示装置（290）上进行显示，所述方法具有以下步骤：
a）识别所述终端设备（200）的涉及所述多媒体应用（213）的数据的显示的至少一个服务部件的运行状态；
b）产生表明所述至少一个服务部件的所述运行状态的状态信息；
c）产生消息，所述消息包括：
- 状态信息，和/或
- 表明所述状态信息的信息，所述信息表明通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度，和/或
- 到所述远程源上的关于所述数据和/或所述数据的传输对所述终端设备的适配的指令，以便使所述数据和/或所述数据的传输匹配于通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度；
d）传输所述消息到所述远程源（100）上；
e）接收所述多媒体数据；以及
f）处理所述多媒体数据以用于在所述终端设备的显示装置（290）上进行显示。
2.根据权利要求1所述的方法，其特征在于，通过第一应用编程接口（API，尤其器件API）检测所述运行状态并且通过第二应用编程接口（API，尤其控制API）处理所述状态信息，其中优选地在所述终端设备的有WebRTC能力的Web浏览器中实现分配有所述第二应用编程接口的应用，并且其中优选地，所述第二应用编程接口产生所述消息或者促使尤其有RTC能力的服务器产生所述消息。
3.根据权利要求1或2所述的方法，其特征在于，根据设计模式（MVC）实现所述数据的显示，所述设计模式具有包含所述数据的模型（M）、作为用于显示所述数据的演示层的视图（V）和作为用于管理所述演示层的控制层的控制器（C），其中通过所述控制器（C）产生所述状态信息，其中优选地在所述模型（M）中实现所述运行状态。
4.根据引用权利要求2的权利要求3所述的方法，其特征在于，在所述设计模式中登记所述第二应用编程接口作为由所述第二应用编程接口控制的服务部件的附加视图，其中优选地将所述运行状态通过所述第一应用控制接口输送给所述模型。
5.根据以上权利要求中任一项所述的方法，其特征在于，所述消息包括到所述远程源上的关于所述数据和/或所述数据的传输对所述终端设备的适配的指令，其中所述指令涉及以下措施中的至少一个：
- 切断或者中止或者恢复或者接通数据流；
- 降低或者提高数据流的数据密度；
- 改变用于发送所述数据流的传输路径；
- 发送替代媒体，来代替所述数据流或者所述数据流的一部分。
6.用于控制多媒体数据适配于远程宿、尤其优选移动终端设备和到远程宿上、尤其到优选移动终端设备上的传输的方法，所述方法具有以下步骤：
A）从所述远程宿接收消息并且对消息进行解码；
B）分析所述消息，以便识别所述远程宿侧上的涉及所述多媒体应用的数据显示的至少一个服务部件的运行状态或者所述远程宿中的通过所述服务部件的运行状态预给定的最大可处理的用于显示所述多媒体数据的数据密度；
C）通过以下措施中的至少一个、通过分析所识别的运行状态或者所述最大可处理的用于显示所述多媒体数据的数据密度来改变所述多媒体数据的适配和/或传输：
- 切断或者中止或者恢复或者接通所述多媒体数据的数据流；
- 降低或者提高所述数据流的数据密度；
- 改变用于发送所述数据流的传输路径；
- 发送替代媒体，来代替所述数据流或者所述数据流的一部分，
以便使要传送到所述远程宿上的数据密度匹配于所述远程宿中的最大可处理的用于显示多媒体数据的数据密度。
7.根据权利要求6所述的方法，其特征在于，通过应用编程接口（API，尤其控制API）接收所述消息，其中优选地在有WebRTC能力的Web浏览器中实现分配有所述应用编程接口的应用。
8.用于控制尤其移动终端设备上的多媒体应用的方法，其中将所述多媒体应用的多媒体数据从源域向宿域传输，通过所述宿域接收所述多媒体数据并且处理所述多媒体数据以用于在所述终端设备的显示装置上进行显示，其中根据所述终端设备的涉及所述多媒体应用的数据的显示的至少一个服务部件的运行状态来适配和/或传输所述多媒体数据，其中所述方法优选具有根据权利要求1至5中任一项所述的方法的方法步骤和/或根据权利要求6或7所述的方法的方法步骤。
9.一种软件产品，所述软件产品存储在通过计算机可读的介质上并且所述软件产品优选地能够直接加载到计算机的内部存储器中并且具有计算机程序的程序代码，所述程序代码使得计算机当所述计算机程序在所述计算机上执行时有能力实施根据以上权利要求中任一项所述的方法的方法步骤。
10.用于执行根据权利要求1至8中任一项所述的方法的设备，其中所述设备优选包括尤其移动终端设备和/或服务器、尤其是游戏服务器或者会议服务器和/或会议单元，并且其中所述设备尤其通过根据权利要求9所述的软件产品的计算机程序的程序代码的实现而有能力执行所述方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DEDE102014012355.3 | 2014-08-25 | ||
| DE102014012355.3A DE102014012355A1 (de) | 2014-08-25 | 2014-08-25 | Verfahren zur Steuerung einer Multimedia-Anwendung, Softwareprodukt und Vorrichtung |
| PCT/EP2015/001639 WO2016037677A1 (de) | 2014-08-25 | 2015-08-07 | Verfahren zur steuerung einer multimedia-anwendung, softwareprodukt und vorrichtung |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106576185A true CN106576185A (zh) | 2017-04-19 |
Family
ID=54012149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580045624.8A Pending CN106576185A (zh) | 2014-08-25 | 2015-08-07 | 用于控制多媒体应用的方法、软件产品和设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10581946B2 (zh) |
| EP (1) | EP3186971A1 (zh) |
| CN (1) | CN106576185A (zh) |
| DE (1) | DE102014012355A1 (zh) |
| WO (1) | WO2016037677A1 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10917186B2 (en) * | 2015-07-21 | 2021-02-09 | Lg Electronics Inc. | Broadcasting signal transmitting apparatus, broadcasting signal receiving apparatus, broadcasting signal transmitting method, and broadcasting signal receiving method |
| CN106506632A (zh) * | 2016-10-27 | 2017-03-15 | 上海幻电信息科技有限公司 | 一种基于html5浏览器的音视频直播方法 |
| DE102016125345A1 (de) * | 2016-12-22 | 2018-06-28 | Unify Patente Gmbh & Co. Kg | Verfahren zum Betreiben einer Kollaborations- und Kommunikations-Plattform und Kollaborations- und Kommunikations-Plattform |
| DE102017108017A1 (de) * | 2017-04-13 | 2018-10-18 | Unify Patente Gmbh & Co. Kg | Verfahren zum Führen einer Audio- und/oder Videokonferenz |
| DE102017131420A1 (de) * | 2017-12-29 | 2019-07-04 | Unify Patente Gmbh & Co. Kg | Echtzeit-Kollaborations-Plattform und Verfahren zum Ausgeben von Mediaströmen über ein Echtzeit-Ansagesystem |
| CN109660764A (zh) * | 2018-12-24 | 2019-04-19 | 武汉长江通信智联技术有限公司 | 基于html5的车辆实时视频的监控方法、装置及系统 |
| US11503381B2 (en) | 2020-06-29 | 2022-11-15 | Seagate Technology Llc | Distributed surveillance system with abstracted functional layers |
| US11463739B2 (en) | 2020-06-29 | 2022-10-04 | Seagate Technology Llc | Parameter based load balancing in a distributed surveillance system |
| CN112153140B (zh) * | 2020-09-23 | 2022-12-06 | Oppo广东移动通信有限公司 | 远程控制方法、装置、设备、存储介质及系统 |
| CN112383803B (zh) * | 2020-11-16 | 2023-04-11 | Oppo广东移动通信有限公司 | 信息处理方法及相关装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1529986A (zh) * | 2000-09-11 | 2004-09-15 | ÷���Dz����˹�ɷݹ�˾ | 通过数字网络提供/接收媒体内容的方法和装置 |
| CN101146204A (zh) * | 2006-09-12 | 2008-03-19 | 腾讯科技（深圳）有限公司 | 即时通信视频质量调节方法及装置 |
| US20090161755A1 (en) * | 2007-12-21 | 2009-06-25 | Broadcom Corporation | Device adaptive video transmission system for use with layered video coding and methods for use therewith |
| US7596645B1 (en) * | 1999-07-27 | 2009-09-29 | T-Mobile Deutschland Gmbh | Method for automatically adapting to the capabilities of a data-transmitting terminal and a device supplying data to said terminal requesting the data |
| CN101552913A (zh) * | 2009-05-12 | 2009-10-07 | 腾讯科技（深圳）有限公司 | 多路视频通讯系统及处理方法 |
| US20100235520A1 (en) * | 2009-03-11 | 2010-09-16 | International Business Machines Corporation | Dynamically optimizing delivery of multimedia content over a network |
| US20100281042A1 (en) * | 2007-02-09 | 2010-11-04 | Novarra, Inc. | Method and System for Transforming and Delivering Video File Content for Mobile Devices |
| WO2013127459A1 (en) * | 2012-03-01 | 2013-09-06 | Telefonaktiebolaget L M Ericsson (Publ) | Mixer for providing media streams towards a plurality of endpoints whereby the media streams originating from one or more media source and method therefore |
| CN103414835A (zh) * | 2013-07-24 | 2013-11-27 | 佳都新太科技股份有限公司 | 一种使用WebRTC技术实现呼叫中心视频坐席的方法 |
| CN103841085A (zh) * | 2012-11-23 | 2014-06-04 | 华为技术有限公司 | 基于万维网的实时通信的实现方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6442699B1 (en) * | 1998-09-18 | 2002-08-27 | Matsushita Electric Industrial Co., Ltd. | Power control method and apparatus therefor |
| WO2004072765A2 (en) * | 2003-02-13 | 2004-08-26 | Nokia Corporation | Method for signaling streaming quality adaptation and control mechanisms in multimedia streaming |
| KR100604585B1 (ko) * | 2004-12-15 | 2006-07-25 | 주식회사 팬택앤큐리텔 | 멀티 미디어 데이터 관리 방법과 그를 이용한 이동통신단말기 |
| EP2271097A4 (en) * | 2008-04-18 | 2014-04-09 | Nec Corp | GATEWAY DEVICE, PROCESS AND PROGRAM |
| US8302145B2 (en) * | 2008-11-20 | 2012-10-30 | At&T Intellectual Property I, Lp | System and method to manage a content stream |
| US20130031485A1 (en) * | 2011-07-29 | 2013-01-31 | Pin Zhou Chen | Mobile business intelligence dynamic adaptor |
| US9271055B2 (en) * | 2011-08-23 | 2016-02-23 | Avaya Inc. | System and method for variable video degradation counter-measures |
| US8966370B2 (en) * | 2012-08-31 | 2015-02-24 | Google Inc. | Dynamic adjustment of video quality |
| DE102013110613B4 (de) * | 2012-09-28 | 2017-05-24 | Avaya Inc. | Verteilte Anwendung von Unternehmensrichtlinien auf interaktive Web-Real-Time-Communications(WebRTC)-Sitzungen und verwandte Verfahren, Systeme und computerlesbare Medien |
| EP2738721A1 (de) * | 2012-11-28 | 2014-06-04 | Deutsche Telekom AG | Verfahren und System zur Präsentation bei kollaborativer Zusammenarbeit |
| US20180144368A1 (en) * | 2013-08-26 | 2018-05-24 | Google Inc. | Isolating advertising identifiers from applications |
| CN104427296B (zh) * | 2013-09-05 | 2019-03-01 | 华为终端（东莞）有限公司 | 视频会议中媒体流的传输方法与装置 |
-
2014
- 2014-08-25 DE DE102014012355.3A patent/DE102014012355A1/de not_active Ceased
-
2015
- 2015-08-07 WO PCT/EP2015/001639 patent/WO2016037677A1/de active Application Filing
- 2015-08-07 US US15/505,183 patent/US10581946B2/en not_active Expired - Fee Related
- 2015-08-07 CN CN201580045624.8A patent/CN106576185A/zh active Pending
- 2015-08-07 EP EP15756555.7A patent/EP3186971A1/de not_active Ceased
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7596645B1 (en) * | 1999-07-27 | 2009-09-29 | T-Mobile Deutschland Gmbh | Method for automatically adapting to the capabilities of a data-transmitting terminal and a device supplying data to said terminal requesting the data |
| CN1529986A (zh) * | 2000-09-11 | 2004-09-15 | ÷���Dz����˹�ɷݹ�˾ | 通过数字网络提供/接收媒体内容的方法和装置 |
| CN101146204A (zh) * | 2006-09-12 | 2008-03-19 | 腾讯科技（深圳）有限公司 | 即时通信视频质量调节方法及装置 |
| US20100281042A1 (en) * | 2007-02-09 | 2010-11-04 | Novarra, Inc. | Method and System for Transforming and Delivering Video File Content for Mobile Devices |
| US20090161755A1 (en) * | 2007-12-21 | 2009-06-25 | Broadcom Corporation | Device adaptive video transmission system for use with layered video coding and methods for use therewith |
| US20100235520A1 (en) * | 2009-03-11 | 2010-09-16 | International Business Machines Corporation | Dynamically optimizing delivery of multimedia content over a network |
| CN101552913A (zh) * | 2009-05-12 | 2009-10-07 | 腾讯科技（深圳）有限公司 | 多路视频通讯系统及处理方法 |
| WO2013127459A1 (en) * | 2012-03-01 | 2013-09-06 | Telefonaktiebolaget L M Ericsson (Publ) | Mixer for providing media streams towards a plurality of endpoints whereby the media streams originating from one or more media source and method therefore |
| CN103841085A (zh) * | 2012-11-23 | 2014-06-04 | 华为技术有限公司 | 基于万维网的实时通信的实现方法及装置 |
| CN103414835A (zh) * | 2013-07-24 | 2013-11-27 | 佳都新太科技股份有限公司 | 一种使用WebRTC技术实现呼叫中心视频坐席的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10581946B2 (en) | 2020-03-03 |
| WO2016037677A1 (de) | 2016-03-17 |
| EP3186971A1 (de) | 2017-07-05 |
| DE102014012355A1 (de) | 2016-02-25 |
| US20170272488A1 (en) | 2017-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106576185A (zh) | 用于控制多媒体应用的方法、软件产品和设备 | |
| CN104253857B (zh) | 背靠背虚拟web实时通信代理以及相关的方法、系统 | |
| US10972776B2 (en) | Synchronizing and dynamic chaining of a transport layer network service for live content broadcasting | |
| CN104253856B (zh) | 可缩放Web实时通信媒体引擎以及相关的方法、系统 | |
| CN106165368B (zh) | 实时传输协议的流送控制 | |
| CN109274634A (zh) | 多媒体通信方法及装置、存储介质 | |
| CN104604286B (zh) | 用于流式传输和对话服务的能量感知多媒体自适应 | |
| CN105230029B (zh) | 建立和控制Wi-Fi显示连接的音频和语音反向信道 | |
| CN103108251B (zh) | 一种电视用户互动系统及其方法 | |
| CN102761564B (zh) | 图形共享方法、系统与终端 | |
| US8678915B2 (en) | Method and apparatus for managing a gaming application | |
| CN105027499A (zh) | 基于互联网协议(ip)多媒体子系统(ims)的对等(p2p)内容分发 | |
| CN104253742A (zh) | 虚拟web实时通信网关以及相关的方法、系统 | |
| CN103348657B (zh) | 流媒体播放方法、设备及系统 | |
| US11108840B2 (en) | Transport layer network service for live content broadcasting | |
| CN103650458A (zh) | 媒体流的传输方法、装置与系统 | |
| US20210273981A1 (en) | Method for establishing a communication connection which is suitable for transmitting media streams between a first rtc client and a second rtc client | |
| CN112511584A (zh) | 基于云手机系统的多屏互动方法、电子设备及存储介质 | |
| CN105049402B (zh) | 用于数据的传输和适配的方法和设备、计算机可读介质 | |
| CN108306986A (zh) | 多类型媒体数据网络地址转换穿越方法、终端及系统 | |
| WO2020238840A1 (zh) | 单机程序的运行方法、装置、设备及存储介质 | |
| CN109788301A (zh) | 一种流媒体的直播方法、终端设备、直播系统及计算机可读存储介质 | |
| CN114553839B (zh) | Rtc数据的处理方法以及装置 | |
| CN114666306A (zh) | WebRTC网络连接建立方法和服务器、电子设备及计算机可读存储介质 | |
| CN105814853B (zh) | Qos提升方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170419 |
|
| RJ01 | Rejection of invention patent application after publication |