CN116366620A - 自适应的媒体分享方法和系统 - Google Patents
自适应的媒体分享方法和系统 Download PDFInfo
- Publication number
- CN116366620A CN116366620A CN202210011495.2A CN202210011495A CN116366620A CN 116366620 A CN116366620 A CN 116366620A CN 202210011495 A CN202210011495 A CN 202210011495A CN 116366620 A CN116366620 A CN 116366620A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- media
- equipment
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000003044 adaptive effect Effects 0.000 title claims description 33
- 230000007246 mechanism Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 27
- 230000006855 networking Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 17
- 230000011664 signaling Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 claims description 7
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 45
- 238000013461 design Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011835 investigation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 101100321992 Drosophila melanogaster ABCD gene Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/64—Addressing
- H04N21/6405—Multicasting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W8/00—Network data management
- H04W8/005—Discovery of network devices, e.g. terminals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明实施例公开了一种自适应的媒体分享方法和系统,其中方法包括局域网内支持媒体分享功能的设备通过设备间发现机制组成媒体节点网络;通过设备间发现机制组成媒体节点网络后,设备发起媒体分享,构建媒体分享网络;数据源节点拉取数据源的媒体数据,依据数据源节点和数据呈现节点组成的媒体分享网络,把媒体数据投送给参与分享的各个数据呈现节点;数据呈现节点负责接收和处理从数据源收到的媒体数据进行呈现。本发明实施例用于实现在局域网内的多设备随时随地做即时媒体分享。
Description
技术领域
本发明属于媒体技术领域,具体涉及一种自适应的媒体分享方法和系统。
背景技术
随着互联网和媒体技术的极大发展,媒体应用的终端越来越多样化,从传统的电视、电脑到手机,平板,从电梯屏,户外大屏到智能座舱,终端上媒体应用的呈现方式也越来越多样化,各种各样大大小小的屏幕脱离了自身原有的或工作,或商业宣传或私人娱乐属性的束缚,趋向于融合,互联与共享。尤其是在局域网的共享空间里,想一起看剧,一起看球赛,想随时分享来自个人或者网络的媒体内容等等,要满足这些需求相对应的是媒体的多终端分享技术。
现有主流的媒体共享技术,比如商场、超市,是通过传统的视频分频器、分配器的方式实现,对硬件有极大依赖,物理距离上也受限;再比如MiraCast(由Wi-Fi联盟于2012年所制定,以Wi-Fi直连为基础的无线显示标准),DLNA(DIGITAL LIVING NETWORK ALLIANCE,数字生活网络联盟),AirPlay(苹果公司的隔空播放技术)相关的无线投屏,主要是针对小屏到大屏的点对点的数据投放,并不支持多设备的应用。
对于这种媒体共享的需求,一种可能的实现方式是所有终端设备各自访问共享的数据源,配合一定的同步机制达到同时观看的效果,但是这种实现的局限在于重复获取同一个数据源,既浪费流量,也浪费授权。
进一步的一种实现技术是作为分享的发起者以自己为中心点,把要共享的内容分发给参与分享的其他设备,这样做的缺点是,中心点这台设备是和分享资源牢牢绑定的,一旦中心点的这台设备出现运行异常或者这台设备要做别的事情,当前的这次分享就提前结束了,要继续只能重新发起分享,对于分享的持续性和流畅性而言都是非常不好的体验。
另外,主流的内容生态,基本以统一的技术规格提供多媒体内容,比如互联网视频内容大多数用用H.264/H.265编码,并且绝大部分的终端设备也是支持这些编码格式的;但也有一些例外的情况,比如AVS系列编码算法等,不支持的终端设备为数甚多;而较为前沿的8K/4K技术,中低端或使用年限较长的设备也相当多不支持的;小屏设备没有能力处理和呈现超高清的内容,反而常规标清内容可能更加适合它们;一些特定的数据源,使用的格式/协议较为特别,普通终端无法支持;以上这些情况都阻碍着分布式多媒体系统的应用和普及。
发明内容
本发明要解决的技术问题是提供一种自适应的媒体分享方法和系统,实现在局域网内的多设备随时随地做即时媒体分享。
为解决上述技术问题,本发明采用如下的技术方案:
第一方面,本发明实施例提供一种自适应的媒体分享方法,包括以下步骤:
局域网内支持媒体分享功能的设备通过设备间发现机制,新上线设备和原有在线设备形成组成媒体节点网络,新设备上线信息包括设备能力信息;
通过设备间发现机制组成媒体节点网络后,设备发起媒体分享,构建媒体分享网络;
数据源节点拉取数据源的媒体数据,依据数据源节点和数据呈现节点组成的媒体分享网络,把媒体数据投送给参与分享的各个数据呈现节点;
数据呈现节点用于接收和处理从数据源收到的媒体数据进行呈现;
格式转换节点用于从指定数据源节点接收数据,并进行处理,将处理后的媒体数据投送给指定的数据呈现节点。
第一方面的一种可能设计中,所述设备能力信息包括设备能够创建的节点类型、音视频编/解码能力、协议和文件格式输入/输出支持情况、视频输出能力、音频输出能力、所处网络环境、可用网络带宽中的至少一种。
第一方面的一种可能设计中,局域网内支持媒体分享功能的设备通过设备间发现机制,新上线设备和原有在线设备组成媒体节点网络包括:
基于给定的组播网地址,新设备宣告上线;
组播网内其它在线设备收到新设备上线信息包后,处理并判断包内的组网条件,如不满足,不处理;如满足,记录新设备的信息与通信地址,将新设备加入自己维护的在线设备列表,同时将本设备信息以及本设备维护的其它满足该组网条件的设备信息作为应答内容,根据新设备提供的通信地址,发回应答信息;新设备收到在线设备的应答包,将应答设备和信息包里包含的其它设备加入自己维护的在线设备列表;
新设备和原有在线设备形成媒体节点网络。
第一方面的一种可能设计中,新设备上线信息进一步包括设备唯一标识、设备通信地址、设备性能指标、设备在线定期更新周期以及用于组网判断的条件的其它在线设备的应答要求,所述应答要求包括指定应用类型为媒体分享。
第一方面的一种可能设计中,通过设备间发现机制组成媒体节点网络后,设备发起媒体分享,构建媒体分享网络包括:
发起媒体分享的设备成为主设备,创建媒体分享会话,启动会话管理模块,会话管理模块用于对当前媒体分享会话进行管理;
将设备发现提供的设备间通信的地址信息作为信令通道,主设备通知在网其它设备加入媒体分享会话;
同意加入会话的设备成为从设备;
会话管理模块获取加入的从设备的能力信息进行匹配,对于能力不匹配的设备,通过寻找支持格式转换的设备,创建格式转换节点,为能力不匹配的设备专门提供数据格式转换服务;或创建多个数据源节点,为不同能力的设备提供服务;
主设备在各个加入会话的从设备创建数据呈现节点;
主设备的会话管理模块记录并管理各个设备及设备包含的成员节点信息,规划和记录从数据源节点到数据呈现节点的数据传输路径,通过信令通道下发给各个节点;
数据源节点和各个数据呈现节点间按照规划的传输路径建立媒体数据分发通道,完成当前会话关联的媒体分享网络组网。
第一方面的一种可能设计中,媒体数据分享过程中,如果数据源节点的设备离开,主设备选择当前会话中其它适合的设备,通知该设备创建新的数据源节点;主设备通过会话管理模块重新规划和记录从新的数据源节点到其它数据呈现节点间的路径,分发给各个节点;各个数据节点按照新的路径组建媒体分享网络,基于新的网络发送或接收数据。
第一方面的一种可能设计中,媒体数据分享过程中,如果主设备离开或者不想承担主设备职责,将主设备的权限转让给当前会话的其它设备,接任的从设备成为主设备,在新的主设备上创建并运行会话管理模块。
第一方面的一种可能可能设计中,如果正在运行的数据源节点所属设备是主设备,在转让主设备权限之前迁移数据源节点到会话里别的设备。
第一方面的一种可能设计中,媒体数据分享过程中,如果格式转换节点所关联的从设备离开,主设备通知格式转换节点进行资源释放。
第二方面,本发明实施例提供一种自适应的媒体分享系统,包括多个终端,
所述多个终端设置在局域网内并支持媒体分享,通过设备间发现机制新上线设备和原有在线设备形成组成媒体节点网络,新设备上线信息包括设备能力信息;
发起媒体分享的设备成为主设备,创建媒体分享会话,启动会话管理模块;将设备发现提供的设备间通信的地址信息作为信令通道,主设备通知在网其它设备加入媒体分享会话;加入会话的设备成为从设备;会话管理模块获取加入的从设备的能力信息进行匹配,对于能力不匹配的设备,通过寻找支持格式转换的设备,创建格式转换节点,为能力不匹配的设备专门提供数据格式转换服务;或创建多个数据源节点,为不同能力的设备提供服务;主设备设置数据源节点,将其他加入会话的设备设置为数据呈现节点;主设备的会话管理模块根据各个成员节点的信息,规划数据传输路径,通过信令通道下发给各个节点;数据源节点和各个数据呈现节点间按照规划的传输路径建立媒体数据分发通道,完成与当前会话关联的媒体分享网络组网;
数据源节点用于拉取来自数据源的媒体数据,处理后分发给参与分享的各个数据呈现节点;数据呈现节点用于接收和处理从数据源节点收到的媒体数据;格式转换节点用于从指定数据源节点接收数据,并进行处理,将处理后的媒体数据投送给指定的数据呈现节点。
第二方面的一种可能设计中,媒体数据分享过程中,如果数据源节点的设备离开,主设备选择当前会话中其它适合的设备,通知该设备创建新的数据源节点;主设备通过会话管理模块重新规划和记录从新的数据源节点到其它数据呈现节点间的路径,分发给各个节点;各个数据节点按照新的路径组建媒体分享网络,基于新的网络发送或接收数据。
第二方面的一种可能设计中,媒体数据分享过程中,如果主设备离开或者不想承担主设备职责,将主设备的权限转让给当前会话的其它设备,接任的从设备成为主设备,在新的主设备上创建并运行会话管理模块。
第二方面的一种可能设计中,如果正在运行的数据源节点所属设备是主设备,在转让主设备权限之前迁移数据源节点到会话里别的设备。
第二方面的一种可能设计中,媒体数据分享过程中,如果格式转换节点所关联的从设备离开,主设备通知格式转换节点进行资源释放。
采用本发明具有如下的有益效果:
(1)去中心化的设备发现机制。这种自定义的轻量化的设备发现机制,不需要额外的注册或者管理服务器部署和参与,保证局域网内不同类型终端设备可以基于自己特有的需求灵活配置组网条件,跨终端快捷可靠地彼此发现,并构建去中心化的媒体节点网络,为后续实施媒体分享功能打下基础。
(2)去中心化的媒体分享机制,保障了媒体分享系统持续有效运行:负责分享会话管理的主设备和数据源节点分离,最优化系统运行能力。数据源节点负责媒体数据拉取、处理和分发,在媒体分享系统里的任务最重,主设备可以通过评估包括自己在内的参与会话的各个设备的能力,选择最适合作数据源节点的设备,从而把系统作为一个整体,实现能力调配最大化。
(3)数据源节点和实际物理设备解耦,主从设备可灵活切换,保障媒体分享系统持续有效运行。在分享的过程里,如果数据源节点所在设备异常或者离开,主设备可以通过会话管理模块将数据源节点迁移到其它设备;如果主设备想成为从设备或者想离开会话,可以及时把主设备权限移交给参与会话的其它从设备,保证分享有效继续。
(4)针对以上系统中存在的终端类型众多、播放能力不一的情况,使得应用可以在分享开始前即能了解各终端的能力情况,有机会选择兼容性最佳的方式(编码方式、流媒体格式等)进行分享;同时,对于能力不匹配的情况,也引入数据格式转换的机制,最大程度适配各种类型终端。
附图说明
图1为本发明实施例的自适应的媒体分享方法的步骤流程图;
图2为本发明实施例的自适应的媒体分享方法中设备发现与组网的步骤流程图;
图3为本发明实施例的自适应的媒体分享方法中媒体分享组网的步骤流程图;
图4为本发明实施例的自适应的媒体分享方法中又一媒体分享组网的步骤流程图;
图5为本发明实施例的自适应的媒体分享系统中数据源节点和数据呈现节点与物理设备的关系图;
图6为本发明实施例的自适应的媒体分享系统中又一数据源节点和数据呈现节点与物理设备的关系图;
图7为本发明实施例的自适应的媒体分享系统中数据源节点切换示意图;
图8为本发明实施例的自适应的媒体分享系统中主设备切换示意图;
图9为本发明实施例的自适应的媒体分享系统中格式转换节点示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中相关技术术语定义如下:设备指具备数据收发能力或者音视频编解码、渲染、输出能力的硬件终端。节点指参与分享过程的,具有相应音视频接收、处理和播放能力的软硬件模块。组网是指确定节点之间连接和通讯方式的过程,一般可以是以太网、无线网(包含但不限于WiFi、蓝牙、蜂窝数据网)等。数据源可以是音视频文件、通过网络传输的流媒体链接等,也可以是某个设备上的摄像头、屏幕投射;也可以是多个数据源组合起来的一个列表。数据源节点是指负责从数据源读取数据,并发送给会话中其它节点。数据呈现节点用于负责从数据源节点接收、处理数据,并对处理后的数据内容进行呈现。会话对应一个分享实例,包含至少一个数据源节点、一个以上的数据呈现节点。主设备是指当前会话的参与者,拥有管理权限(运行一个管理模块,可以包含也可以不包含任意节点)。从设备是指当前会话的参与者(包含至少一个任意类型的节点)。以上需要进一步说明的是一个物理设备上可以跑一个或多个节点。
参照图1,所示为本发明实施例的自适应的媒体分享方法的步骤流程图,包括以下步骤:
局域网内支持媒体分享功能的设备通过设备间发现机制,新上线设备和原有在线设备形成组成媒体节点网络,新设备上线信息包括设备能力信息;
通过设备间发现机制组成媒体节点网络后,设备发起媒体分享,构建媒体分享网络;
数据源节点拉取数据源的媒体数据,依据数据源节点和数据呈现节点组成的媒体分享网络,把媒体数据投送给参与分享的各个数据呈现节点;
数据呈现节点用于接收和处理从数据源收到的媒体数据进行呈现;
格式转换节点用于从指定数据源节点(一个或多个)接收数据,并进行处理,将处理后的媒体数据投送给指定的数据呈现节点。常见的处理有编码格式转换、流媒体格式转换、画面编辑(缩放、合成、裁剪、叠加等)。
采用以上设置的一种基于去中心化组网的自适应的媒体分享方法,应用于局域网内,实现对特定的多媒体资源的内容,比如图片,音频或者视频,在多设备间做即时共享。在设备上线时获取设备能力信息,对于能力不匹配的情况,也引入数据格式转换节点,最大程度适配各种类型终端。
参见图2,所示为本发明一实施例的自适应的媒体分享方法中局域网内支持媒体分享功能的设备通过设备间发现机制组成媒体节点网络的过程,主要包括以下步骤:
基于给定的组播网地址,新设备宣告自己上线,其中上线信息进一步包括设备唯一标识信息;设备通信地址信息,比如HTTP/TCP/UDP关联的地址和端口等;设备基本性能指标,包含但不限于CPU和内存信息;用于组网判断的条件的其它在线设备的应答要求,比如设备类型,应用类型,自定义字段等等,本发明必须指定应用类型为媒体分享;设备在线定期更新周期,便于其它在线设备检测本设备是否正常在线。
组播网内其它在线设备收到新设备上线信息包后,处理并判断包内的组网条件,如不满足,不处理。如满足,记录新设备的信息与通信地址,将新设备加入自己维护的在线设备列表,将本设备信息以及本设备维护的其它满足该组网条件的设备信息作为应答内容,根据新设备提供的通信地址,发回应答信息。
新设备收到在线设备的应答包,将应答设备和信息包里包含的其它设备加入自己维护的在线设备列表。通过附加在应答设备信息包的其它设备的方式,可以快捷地发现部分因为丢包没能及时响应的在线设备,解决这些设备发现慢或者无法发现的问题。
通过以上自定义的轻量化的设备发现机制,新上线的设备和原有的在线设备组网构成一张去中心化的媒体节点网络,节点间可以自由连接,每个设备都是网络上的一个节点,地位均等。
参见图3,所示为本发明一实施例的自适应的媒体分享方法中通过设备间发现机制组成媒体节点网络后,设备发起媒体分享,构建媒体分享网络的过程,以下描述的是设备之间创建一个媒体分享会话的情况,主要包括以下步骤:
局域网内包括设备A、设备B、设备C、设备D、设备E、设备F、设备G和设备T;
设备T为具有特殊编解码能力的设备(支持AVS3解码和H.264编码),创建格式转换节点。
设备A为发起媒体分享的设备成为主设备,创建媒体分享会话,启动会话管理模块。会话管理模块用于对当前媒体分享会话进行管理,包括但不限于数据传输路径规划,对包含数据源节点和数据呈现节点的所有成员节点的管理等。
将设备发现提供的设备间通信的地址信息作为信令通道,作为主设备的设备A通知在网其它设备加入媒体分享会话。
局域网中设备设备B、设备C、设备D同意加入会话,同意加入会话的设备成为从设备;此时设备A、设备B、设备C和设备D之间相互形成信令通道;
主设备在特定终端上创建数据源节点,此处设备A为数据源节点,也可以不是本机;
各个加入会话的从设备创建数据呈现节点,此处即设备B、设备C、设备D成为数据呈现节点;主设备A也可以是数据呈现节点;
主设备的会话管理模块记录并管理各个设备及设备包含的成员节点信息,规划和记录从数据源节点到数据呈现节点的数据传输路径,通过信令通道下发给各个节点
数据源节点和各个数据呈现节点间按照规划的传输路径建立媒体数据分发通道,完成当前会话关联的媒体分享网络组网。
可以理解的是,局域网内的设备之间也可以同时创建多个媒体分享会话,参见图4,以创建两个媒体分享会话为例进行说明,包括以下步骤:
局域网内多个设备A、B、C、D、E、F、G通过设备间发现机制发现彼此,构建一个可以互联的媒体节点网络;
设备A接收到媒体分享请求指令,设备A成为主设备,创建媒体分享会话,启动会话管理模块;
基于A、B、C、D之间能力考察,主设备A在本端创建数据源节点与数据呈现节点;
设备B、C、D加入会话,成为从设备,并创建数据呈现节点;
主设备A规划媒体数据分享路径,设备A上的数据源节点,数据呈现节点,以及其它设备B、C、D上的数据呈现节点构建出媒体分享网络1;
同时设备E接收到媒体分享请求指令,设备E成为主设备,创建媒体分享会话,启动会话管理模块;
基于E、F、G之间能力考察,主设备E在本端创建数据源节点与数据呈现节点;
设备F、G加入会话,成为从设备,并创建数据呈现节点;
主设备E规划媒体数据分享路径,设备E上的数据源节点,数据呈现节点,以及其它设备F、G上的数据呈现节点构建出媒体分享网络2。
构建好媒体分享网络后,接下来重点讲述数据分享过程。本发明一实施例的一种自适应的媒体分享方法中,数据分享过程如下:
数据源节点拉取数据源的数据,包含图片、音频、视频等,视数据源而定。依据数据源节点和数据呈现节点组成的媒体分享网络,把原始或者经过处理后的媒体数据投送给参与分享的各个数据呈现节点;
数据呈现节点负责接收和处理从数据源收到的媒体数据,通过扬声器或者显示屏等硬件把共享的媒体数据以可听、可看的形式展现出来。
进一步的,在媒体分享过程中,如果作为数据源节点的设备离开,主设备选择当前会话其它适合的设备,通知其它合适的设备创建新的数据源节点;主设备通过会话管理模块重新规划和记录从新的数据源节点到其它数据呈现节点间的路径,分发给各个数据节点;各个数据节点按照新的路径组建媒体分享网络,基于新的网络发送或接收数据。
进一步的,在媒体分享过程中,如果主设备离开或者不想承担主设备的职责,可以将主设备的权限转让给当前会话的其它设备,接任的从设备成为主设备,创建并运行会话管理模块。如果主设备上包含正在运行的数据源节点,需要在转让主设备权限之前迁移数据源节点到会话里别的设备,迁移相关的操作与上一步相同,即主设备选择当前会话其它适合的设备,通知其它合适的设备创建新的数据源节点;主设备通过会话管理模块重新规划和记录从新的数据源节点到其它数据呈现节点间的路径,分发给各个数据节点;各个数据节点按照新的路径组建媒体分享网络,基于新的网络发送或接收数据。
与本发明方法实施例对应的,本发明实施例提供了一种自适应的媒体分享系统,包括多个设备,多个终端设置在局域网内并支持媒体分享,通过设备间发现机制新上线设备和原有在线设备形成组成媒体节点网络,新设备上线信息包括设备能力信息;
发起媒体分享的设备成为主设备,创建媒体分享会话,启动会话管理模块;将设备发现提供的设备间通信的地址信息作为信令通道,主设备通知在网其它设备加入媒体分享会话;加入会话的设备成为从设备;会话管理模块获取加入的从设备的能力信息进行匹配,对于能力不匹配的设备,通过寻找支持格式转换的设备,创建格式转换节点,为能力不匹配的设备专门提供数据格式转换服务;或创建多个数据源节点,为不同能力的设备提供服务;主设备设置数据源节点,将其他加入会话的设备设置为数据呈现节点;主设备的会话管理模块根据各个成员节点的信息,规划数据传输路径,通过信令通道下发给各个节点;数据源节点和各个数据呈现节点间按照规划的传输路径建立媒体数据分发通道,完成与当前会话关联的媒体分享网络组网;
数据源节点用于拉取来自数据源的媒体数据,处理后分发给参与分享的各个数据呈现节点;数据呈现节点用于接收和处理从数据源节点收到的媒体数据;格式转换节点用于从指定数据源节点接收数据,并进行处理,将处理后的媒体数据投送给指定的数据呈现节点。
数据源节点和数据呈现节点可以在同一个或者不同的物理设备上。数据源节点不一定在主设备上,主设备也可选的包含数据呈现节点。数据源节点和数据呈现节点与物理设备的关系见图5和图6,图5中,设备A是主设备也是数据源节点,设备B、设备C和设备D是数据呈现节点;图6中,设备A是主设备、既是数据源节点也是数据呈现节点,设备B、设备C和设备D是数据呈现节点。
发起自适应的媒体分享设备成为主设备,创建媒体分享会话,启动会话管理模块;将设备发现提供的设备间通信的地址信息作为信令通道,主设备通知在网其它设备加入媒体分享会话;加入会话的设备成为从设备;主设备设置数据源节点,将其他加入会话的设备设置为数据呈现节点;主设备的会话管理模块根据各个成员节点的信息,规划数据传输路径,通过信令通道下发给各个节点;数据源节点和各个数据呈现节点间按照规划的传输路径建立媒体数据分发通道,完成与当前会话关联的媒体分享网络组网。
数据源节点用于拉取来自数据源的媒体数据,处理后分发给参与分享的各个数据呈现节点;数据呈现节点用于接收和处理从数据源节点收到的媒体数据。媒体数据分享过程中,如果数据源节点的设备离开,主设备选择当前会话中其它适合的设备,通知该设备创建新的数据源节点;主设备通过会话管理模块重新规划和记录从新的数据源节点到其它数据呈现节点间的路径,分发给各个节点;各个数据节点按照新的路径组建媒体分享网络,基于新的网络发送或接收数据。参见图7,所示为一实施例中数据源节点切换过程,包括如下步骤:
局域网内多个设备A、B、C、D通过设备间发现机制发现彼此,构建一个可以互联的媒体节点网络。
设备A接收到媒体分享请求指令,指令包含的数据源是一条基于HTTP传输的网络视频流。设备A成为主设备,创建媒体分享会话,启动会话管理模块;基于ABCD之间能力考察,主设备A在本端创建数据源节点与数据呈现节点;设备BCD成为从设备,并创建数据呈现节点;
主设备A规划媒体数据分享路径,设备A上的数据源节点,以及其它设备上的数据呈现节点构建出媒体分享网络;
设备A上的数据源节点开始实施网络视频流的共享操作,将获取到的音视频数据处理后分发给参与分享的各个数据呈现节点,各个数据呈现节点实施该视频流的同步播放;
分享中途主设备A不想承担数据源节点的处理工作,将数据源节点移交给设备B,包含数据源的信息,数据源当前的处理进度,比如基于当前的HTTP网络流,通过HTTP请求已经获取到的数据字节数;
设备A重新规划数据分享的传输路径,基于设备B上新建的数据源节点,以及其它设备上的数据呈现节点构建出新的媒体分享网络;
设备B上的数据源节点继续媒体数据的获取、处理工作,按照新规划的传输路径,把媒体数据分发给分享网络里的数据呈现节点;分享过程继续。
媒体数据分享过程中,如果主设备离开或者不想承担主设备职责,将主设备的权限转让给当前会话的其它设备,接任的从设备成为主设备,在新的主设备上创建并运行会话管理模块。如果正在运行的数据源节点所属设备是主设备,在转让主设备权限之前迁移数据源节点到会话里别的设备。参见图8,所示为主从设备切换的过程,包括如下步骤:
局域网内多个设备A、B、C、D通过设备间发现机制发现彼此,构建一个可以互联的媒体节点网络;
设备A接收到媒体分享请求指令,指令包含的数据源是一条基于HTTP传输的网络视频流。设备A成为主设备,创建媒体分享会话,启动会话管理模块。
基于ABCD之间能力考察,主设备A指定在设备B上创建数据源节点;设备BCD成为从设备,并创建数据呈现节点;
主设备A规划媒体数据分享路径,设备B上的数据源节点,以及其它设备上的数据呈现节点构建出媒体分享网络;
设备B上的数据源节点开始实施网络视频流的共享操作,将获取到的音视频数据处理后分发给参与分享的各个数据呈现节点,各个数据呈现节点实施该视频流的同步播放;
分享中途主设备A不能承担主设备的工作,将主设备的权限和会话管理信息移交给设备B;设备A成为从设备;设备B创建会话管理模块并运行,由于数据源节点并没有发生改变,数据分享无需作任何变动即可继续有效运行。
参见图9,所示为本发明实施例的一种自适应的媒体分享系统中格式转换过程,包括如下步骤:
局域网内多个设备A、B、C、D通过设备间发现机制发现彼此,构建一个可以互联的媒体节点网络。其中B只支持AVS3标清解码,C只支持H.264解码,A和D都同时支持AVS3解码和H.264编解码,A设备连接了高保真音频输出设备;
设备A接收到媒体分享请求指令,指令包含的数据源是一条基于HTTP传输的多码率(提供超高清和标清两种)视频流;
作为发起方,设备A成为主设备,启动会话管理模块,创建媒体分享会话;随后在本端创建数据源节点与数据呈现节点;同时通过能力匹配,发现自身拥有最佳的音频输出效果;
A依次邀请设备B、C、D一同观看:
A邀请B加入会话,根据能力匹配机制提前知晓B性能有限不支持超高清画质解码和显示,于是管理模块创建新的数据源节点收取标清流,并将标清流投送给B;同时通知B静音;
A邀请C加入会话,根据能力匹配机制提前知晓C只支持H.264解码而无法支持AVS3解码;同时通过设备发现机制得知网内有支持AVS3到H.264转换的设备T;于是选择在T上创建格式转换节点,并指定该节点从A上的数据源节点收取数据,转换为C支持的H.264媒体流后再发送给C;同时通知C静音;
A邀请D加入会话,根据能力匹配机制了解到D能够支持超高清AVS3的播放,于是将超高清流分享给D;同时通知D静音;
此时A临时需要处理其它事务,数据呈现节点进入后台运行并且关闭视频输出,音频照常输出,其数据源节点和管理模块继续工作,其余设备也正常工作。A处理完事情后,恢复视频输出;
随后A因故需要中止观看并关机,先终止设备A上的数据呈现节点,随后转移数据源节点到设备D上,转移完成后B和D上的数据呈现节点,以及T上的格式转换节点都改从D上的数据源节点接收媒体流;随后A将管理权转让给B,B设备上的管理模块生效成为新的主设备;设备A退出分享;由于B、C、D的音频输出能力均一般,B决定使用各自设备上自带的音频设备播放音频,解除其静音状态;
C退出观看,C设备上的数据呈现节点终止,位于B的管理模块判断不再需要T的格式转换能力,T结束格式转换节点的工作并退出会话;
D退出观看,由于只剩B一个设备,在B上重建标清流数据源节点用于支撑本机的呈现。
B结束观看,由于最后一个呈现节点退出,会话结束。
进一步参考图9,所示为本发明实施例的一种自适应的媒体分享系统中画面合成过程,包括如下步骤:
局域网内多个设备A、B、C、D通过设备间发现机制发现彼此,构建一个可以互联的媒体节点网络;设备D接到指令,要在本机观看视频的同时,呈现设备A、B、C分别提供的三个不同的视频流;设备D启动会话管理模块,创建媒体分享会话。会话管理模块进行能力匹配后,发现本机性能不足以支持同时播放3路视频流;同时也发现网内存在一个设备T可以提供画面合成的格式转换能力,于是在A、B、C上创建数据源节点,在T上创建格式转换节点,指定其从A、B、C上的数据源节点接收数据,进行画面合成后输出一路适合设备D播放的视频流;最后在D上创建数据呈现节点用于播放。
本领域技术人员可以理解的是,为了避免对技术方案实施过程的描述过于冗余,本发明实施例的媒体分享与数据保护方法和媒体分享与数据保护系统的实施过程的技术细节是可以相互参考的,对此不再赘述。
应当理解,本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例,本领域普通技术人员应当理解,在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下,可以做出各种形式和细节的改变。
Claims (14)
1.一种自适应的媒体分享方法,其特征在于,包括以下步骤:
局域网内支持媒体分享功能的设备通过设备间发现机制,新上线设备和原有在线设备形成组成媒体节点网络,新设备上线信息包括设备能力信息;
通过设备间发现机制组成媒体节点网络后,设备发起媒体分享,构建媒体分享网络;
数据源节点拉取数据源的媒体数据,依据数据源节点和数据呈现节点组成的媒体分享网络,把媒体数据投送给参与分享的各个数据呈现节点;
数据呈现节点用于接收和处理从数据源收到的媒体数据进行呈现;
格式转换节点用于从指定数据源节点接收数据,并进行处理,将处理后的媒体数据投送给指定的数据呈现节点。
2.如权利要求1所述的自适应的媒体分享方法,其特征在于,所述设备能力信息包括设备能够创建的节点类型、音视频编/解码能力、协议和文件格式输入/输出支持情况、视频输出能力、音频输出能力、所处网络环境、可用网络带宽中的至少一种。
3.如权利要求1所述的自适应的媒体分享方法,其特征在于,局域网内支持媒体分享功能的设备通过设备间发现机制,新上线设备和原有在线设备组成媒体节点网络包括:
基于给定的组播网地址,新设备宣告上线;
组播网内其它在线设备收到新设备上线信息包后,处理并判断包内的组网条件,如不满足,不处理;如满足,记录新设备的信息与通信地址,将新设备加入自己维护的在线设备列表,同时将本设备信息以及本设备维护的其它满足该组网条件的设备信息作为应答内容,根据新设备提供的通信地址,发回应答信息;新设备收到在线设备的应答包,将应答设备和信息包里包含的其它设备加入自己维护的在线设备列表;
新设备和原有在线设备形成媒体节点网络。
4.如权利要求1所述的自适应的媒体分享方法,其特征在于,新设备上线信息进一步包括设备唯一标识、设备通信地址、设备性能指标、设备在线定期更新周期以及用于组网判断的条件的其它在线设备的应答要求,所述应答要求包括指定应用类型为媒体分享。
5.如权利要求1所述的自适应的媒体分享方法,其特征在于,通过设备间发现机制组成媒体节点网络后,设备发起媒体分享,构建媒体分享网络包括:
发起媒体分享的设备成为主设备,创建媒体分享会话,启动会话管理模块,会话管理模块用于对当前媒体分享会话进行管理;
将设备发现提供的设备间通信的地址信息作为信令通道,主设备通知在网其它设备加入媒体分享会话;
同意加入会话的设备成为从设备;
会话管理模块获取加入的从设备的能力信息进行匹配,对于能力不匹配的设备,通过寻找支持格式转换的设备,创建格式转换节点,为能力不匹配的设备专门提供数据格式转换服务;或创建多个数据源节点,为不同能力的设备提供服务;
主设备在各个加入会话的从设备创建数据呈现节点;
主设备的会话管理模块记录并管理各个设备及设备包含的成员节点信息,规划和记录从数据源节点到数据呈现节点的数据传输路径,通过信令通道下发给各个节点;
数据源节点和各个数据呈现节点间按照规划的传输路径建立媒体数据分发通道,完成当前会话关联的媒体分享网络组网。
6.如权利要求5所述的自适应的媒体分享方法,其特征在于,媒体数据分享过程中,如果数据源节点的设备离开,主设备选择当前会话中其它适合的设备,通知该设备创建新的数据源节点;主设备通过会话管理模块重新规划和记录从新的数据源节点到其它数据呈现节点间的路径,分发给各个节点;各个数据节点按照新的路径组建媒体分享网络,基于新的网络发送或接收数据。
7.如权利要求5所述的自适应的媒体分享方法,其特征在于,媒体数据分享过程中,如果主设备离开或者不想承担主设备职责,将主设备的权限转让给当前会话的其它设备,接任的从设备成为主设备,在新的主设备上创建并运行会话管理模块。
8.如权利要求7所述的自适应的媒体分享方法,其特征在于,如果正在运行的数据源节点所属设备是主设备,在转让主设备权限之前迁移数据源节点到会话里别的设备。
9.如权利要求5所述的自适应的媒体分享方法,其特征在于,媒体数据分享过程中,如果格式转换节点所关联的从设备离开,主设备通知格式转换节点进行资源释放。
10.一种自适应的媒体分享系统,其特征在于,包括多个终端,
所述多个终端设置在局域网内并支持媒体分享,通过设备间发现机制新上线设备和原有在线设备形成组成媒体节点网络,新设备上线信息包括设备能力信息;
发起媒体分享的设备成为主设备,创建媒体分享会话,启动会话管理模块;将设备发现提供的设备间通信的地址信息作为信令通道,主设备通知在网其它设备加入媒体分享会话;加入会话的设备成为从设备;会话管理模块获取加入的从设备的能力信息进行匹配,对于能力不匹配的设备,通过寻找支持格式转换的设备,创建格式转换节点,为能力不匹配的设备专门提供数据格式转换服务;或创建多个数据源节点,为不同能力的设备提供服务;主设备设置数据源节点,将其他加入会话的设备设置为数据呈现节点;主设备的会话管理模块根据各个成员节点的信息,规划数据传输路径,通过信令通道下发给各个节点;数据源节点和各个数据呈现节点间按照规划的传输路径建立媒体数据分发通道,完成与当前会话关联的媒体分享网络组网;
数据源节点用于拉取来自数据源的媒体数据,处理后分发给参与分享的各个数据呈现节点;数据呈现节点用于接收和处理从数据源节点收到的媒体数据;格式转换节点用于从指定数据源节点接收数据,并进行处理,将处理后的媒体数据投送给指定的数据呈现节点。
11.如权利要求10所述的自适应的媒体分享系统,其特征在于,媒体数据分享过程中,如果数据源节点的设备离开,主设备选择当前会话中其它适合的设备,通知该设备创建新的数据源节点;主设备通过会话管理模块重新规划和记录从新的数据源节点到其它数据呈现节点间的路径,分发给各个节点;各个数据节点按照新的路径组建媒体分享网络,基于新的网络发送或接收数据。
12.如权利要求10所述的自适应的媒体分享系统,其特征在于,媒体数据分享过程中,如果主设备离开或者不想承担主设备职责,将主设备的权限转让给当前会话的其它设备,接任的从设备成为主设备,在新的主设备上创建并运行会话管理模块。
13.如权利要求10所述的自适应的媒体分享系统,其特征在于,如果正在运行的数据源节点所属设备是主设备,在转让主设备权限之前迁移数据源节点到会话里别的设备。
14.如权利要求10所述的自适应的媒体分享系统,其特征在于,媒体数据分享过程中,如果格式转换节点所关联的从设备离开,主设备通知格式转换节点进行资源释放。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2021116281772 | 2021-12-28 | ||
CN202111628177 | 2021-12-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116366620A true CN116366620A (zh) | 2023-06-30 |
Family
ID=86929181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210011495.2A Pending CN116366620A (zh) | 2021-12-28 | 2022-01-06 | 自适应的媒体分享方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116366620A (zh) |
-
2022
- 2022-01-06 CN CN202210011495.2A patent/CN116366620A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103368935B (zh) | 在Wi-Fi显示网络中提供增强Wi-Fi显示会话的方法和装置 | |
CN101583011B (zh) | 视频会议控制方法、系统、视频会议网络设备和会场 | |
US20100153578A1 (en) | Method and Apparatus for Peer to Peer Streaming | |
CN105828151B (zh) | 一种显示处理方法及装置 | |
KR102238399B1 (ko) | Wifi 네트워크에서 멀티미디어 콘텐츠를 스트리밍하기 위한 방법 및 시스템 | |
US20110187813A1 (en) | Method of Connecting Mesh-Topology Video Sessions to a Standard Video Conference Mixer | |
CN104954866B (zh) | 一种流媒体数据直播中播放点动态控制方法 | |
KR20050054975A (ko) | 미디어 통신 방법 및 장치 | |
JP6346380B2 (ja) | オーディオビデオ中継のための無線ドッキングシステム | |
WO2012155739A1 (zh) | 基于远程呈现系统的信令交互方法及装置 | |
US20200169695A1 (en) | Video conference multi-point control method and device, storage medium and computer apparatus | |
CN102195955A (zh) | 一种直播业务和时移业务的切换方法以及相应设备 | |
CN106612445A (zh) | 一种无线同屏音频通道的控制方法、发送设备及接受设备 | |
CN110943977A (zh) | 多媒体业务数据传输方法、服务端、设备及存储介质 | |
CN101656864A (zh) | 视频选看的实现方法及视频会议系统 | |
CN102948116A (zh) | 用于将内容发送到多个装置的方法和设备 | |
CN104754283A (zh) | 音视频通讯方法、服务器和系统 | |
US20120023239A1 (en) | Creation Method of Multimedia Service and System Thereof | |
CN104753997B (zh) | 一种多终端实时交互的方法及系统 | |
WO2012062153A1 (zh) | 在级联会议中实现多画面的方法、系统及mcu | |
CN103002226B (zh) | 一种播放设备切换方法及装置 | |
CN104581368A (zh) | 一种基于信令交互的多屏互动方法 | |
CN115379279B (zh) | 多屏联动的交互方法及装置、系统、存储介质、电子设备 | |
CN116366620A (zh) | 自适应的媒体分享方法和系统 | |
CN116367136A (zh) | 媒体分享的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |