CN106302362A - 多媒体内容发送方法、分享方法、接收方法及对应装置 - Google Patents

多媒体内容发送方法、分享方法、接收方法及对应装置 Download PDF

Info

Publication number
CN106302362A
CN106302362A CN201510317608.1A CN201510317608A CN106302362A CN 106302362 A CN106302362 A CN 106302362A CN 201510317608 A CN201510317608 A CN 201510317608A CN 106302362 A CN106302362 A CN 106302362A
Authority
CN
China
Prior art keywords
multimedia
information
content
processing units
sharing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510317608.1A
Other languages
English (en)
Other versions
CN106302362B (zh
Inventor
许健伟
陈川涛
沈志春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201510317608.1A priority Critical patent/CN106302362B/zh
Priority to KR1020160060215A priority patent/KR102549535B1/ko
Priority to US15/735,416 priority patent/US11089073B2/en
Priority to PCT/KR2016/005447 priority patent/WO2016200078A1/ko
Publication of CN106302362A publication Critical patent/CN106302362A/zh
Application granted granted Critical
Publication of CN106302362B publication Critical patent/CN106302362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4888Data services, e.g. news ticker for displaying teletext characters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种多媒体内容发送方法、分享方法、接收方法及对应装置。其中,多媒体内容传输方法包括:将多媒体内容拆分为多个媒体处理单元;提取每个媒体处理单元的特征信息;以及向客户端广播媒体处理单元及其特征信息。按照本申请的方案,在向客户端广播多媒体内容时,可以将与多媒体内容对应的特征信息也发送至客户端。

Description

多媒体内容发送方法、分享方法、接收方法及对应装置
技术领域
本公开一般涉及多媒体技术领域,具体涉及广播模式下多媒体资源快速分享的技术,尤其涉及多媒体内容发送方法、分享方法、接收方法及对应装置。
背景技术
多媒体资源分享主要有两种方式,一种是整体资源分享,即把整个多媒体资源文件进行分享。这种分享的前提是,多媒体资源是非持续性的,资源大小是有限大小。另外一种分享是部分分享,即在多媒体资源大小有限或者无限的情况下,从中获取一部分数据进行分享。在广播模式下,用户间分享都是部分数据分享,即只对其中的部分内容感兴趣,希望能通过特定途径和方法进行分享。
然而,传统的广播电视是单向的,只有下行通路,不提供上行通路。因此在传统的广播网络中,用户无法在收看或收听多媒体资源时进行实时共享。
现有技术中,已有基于网际协议(Internet Protocol,IP)技术的广播。此类的基于IP技术的广播实现分为两种,一种是基于宽带点播的技术,另一种是基于IP组播/广播的技术。
在第一种实现方式中,用户首先打开客户端,向服务器请求控制信息,根据控制信息获得目前广播的参数,如当前进度,播放频道,权限等,然后再根据这些参数向服务器请求相应的数据流。整个过程实质上不存在广播数据流,但从用户的角度来看,可以达到广播的效果。
在第二种实现方式中,由服务器向组播地址或者广播地址发送持续的数据流,客户端加入相应的组播组或者广播组,接收广播多媒体资源进行播放。
以上两种实现方式都基于IP技术,不仅有广播下行通路,同时客户端也可以通过上行通路向服务器反馈请求信息。因此用户在收看收听广播的同时,向其他用户分享当前多媒体资源也成为可能。
基于第一种实现方式,目前已经有相应的内容实时共享技术。具体而言,用户观看或收听特定的多媒体资源,记录感兴趣内容的时间信息,上传多媒体资源文件名和相关信息到服务器,服务器从原始多媒体资源中根据相应信息截取并产生新的多媒体资源,为新的多媒体资源生成新的统一资源定位符(Uniform Resource Locator,URL)并反馈给其他用户,其他用户通过新的URL访问此资源达到分享的目的。这也是目前现有广播多媒体资源实时分享的技术。
在如上所述的分享方式中,用户如果希望分享某一部分多媒体资源,首先需要告知服务器分享资源的参数,如起始时间,结束时间等。服务器根据这些参数对原始多媒体资源进行截取、拷贝等操作以生成新的资源,并生成新的指向此资源的URL,而后通知被分享用户。整个过程中,服务器增加了存储内容。随着内容越来越多,生成的URL也越来越多,服务器一次处理查找时间变得越来越长,对服务器容量和性能的要求也会越来越高。但从实际内容的角度来讲,很多多媒体资源是重复的,因为它们之间是整体与部分的关系。
此外,对分享者而言,服务器的处理时间和网络交互时间的增加导致了分享的实时性不够。
同时,这种分享方式基于传统点播,在一次点播过程中,客户端获得的多媒体资源,即用户(包括分享者和被分享者)看到或听到的多媒体资源都是在一个媒体流中,用户只能从时间上进行截取,无法从空间截取,或者截取片段中的不同元素,比如从电影片段中单独截取视频,音频,字幕等。而绝大多数情况下,用户仅仅对部分内容感兴趣而不是全部多媒体资源,整体的捆绑性使得用户体验变差。
最后,此方法下只能分享用户指定的内容,缺乏联想推荐功能,不够智能化。
基于第二种实现方式,即IP组播/广播技术,目前还没有相应的实时多媒体内容分享技术。
发明内容
为了实现上述一个或多个目的,本申请提供了一种多媒体内容发送方法、分享方法、接收方法及对应装置,在向客户端广播多媒体内容时,可以将与多媒体内容对应的特征信息也发送至客户端。
第一方面,本申请实施例提供了一种多媒体内容传输方法,包括:将多媒体内容拆分为多个媒体处理单元;提取每个媒体处理单元的特征信息;以及向客户端广播媒体处理单元及其特征信息。
在一种实现方式中,提取每个媒体处理单元的特征信息包括:基于媒体属性对媒体处理单元进行聚类;对聚类后的每一类媒体处理单元提取特征信息;以及生成特征信息与媒体处理单元的映射关系。
在一种实现方式中,媒体属性包括以下至少一项:图像属性、声音属性以及内容属性。
在一种实现方式中,向客户端广播媒体处理单元及其特征信息包括:按顺序以预定时间间隔发送媒体处理单元;以及按预定周期发送信号消息,信号消息包括在其所属周期内发送的媒体处理单元的特征信息以及特征信息与媒体处理单元的映射关系。
在一种实现方式中,按预定周期发送信号消息包括:确定在信号消息所属周期内发送的第一媒体处理单元;基于特征信息与媒体处理单元的映射关系查找第一媒体处理单元的特征信息;以及将第一媒体处理单元的特征信息及第一媒体处理单元与特征信息的映射关系添加在信号消息中。
在一种实现方式中,多媒体内容传输方法还包括:接收客户端发送的播放请求信息,播放请求信息包括所请求的多媒体内容中各媒体处理单元的描述信息;以及基于描述信息向发送播放请求信息的客户端传输所请求的多媒体内容。
在一种实现方式中,描述信息包括以下至少一项:时间、空间坐标、构成元素以及与多媒体内容相关的附加信息;其中,附加信息包括附加文档和/或附加应用。
在一种实现方式中,构成元素包括以下至少一项:视频信息、音频信息以及字幕信息。
在一种实现方式中,播放请求信息还包括所请求的多媒体内容中各媒体处理单元的特征信息,多媒体内容传输方法方法还包括:基于特征信息,查找与所请求的多媒体内容相关联的关联多媒体内容;向发送播放请求信息的客户端推送关联多媒体内容。
在一种实现方式中,播放请求信息还包括分享所请求的多媒体内容的客户端的传输地址信息,多媒体内容传输方法还包括:基于传输地址信息向分享所请求的多媒体内容的客户端推送关联多媒体内容。
第二方面,本申请实施例还提供了一种在分享发送客户端分享多媒体内容的方法,包括:接收多媒体内容,多媒体内容包括多个媒体处理单元和与媒体处理单元对应的特征信息;从多媒体内容中选择至少一个媒体处理单元作为待分享多媒体内容;针对待分享多媒体内容生成分享信息,分享信息包括待分享多媒体内容中的各媒体处理单元的描述信息和特征信息;以及发送分享信息。
在一种实现方式中,接收多媒体内容包括:按顺序以预定时间间隔接收媒体处理单元,以及按预定周期接收信号消息,信号消息包括在其所属周期内发送的媒体处理单元的特征信息以及特征信息与媒体处理单元的映射关系;并且生成分享信息包括:根据选择生成描述信息;基于特征信息与媒体处理单元的映射关系查找待分享多媒体内容中的各媒体处理单元的特征信息;以及将描述信息和特征信息添加至分享信息中。
在一种实现方式中,生成分享信息还包括:向分享信息中添加分享发送客户端的传输地址信息。
在一种实现方式中,从多媒体文件中选择至少一个媒体处理单元作为待分享多媒体内容包括,根据以下至少一项选择媒体处理单元:时间、空间坐标、构成元素以及与多媒体内容相关的附加信息;其中,附加信息包括附加文档和/或附加应用。
在一种实现方式中,发送分享信息包括以下至少一项:向目标客户端发送分享信息;以及向分享平台发送分享信息。
第三方面,本申请实施例还提供了一种在分享目标客户端获取多媒体内容的方法,包括:获取来自分享发送客户端的分享信息,分享信息包括分享多媒体内容中各媒体处理单元的描述信息和特征信息;生成与分享信息对应的请求信息,请求信息包括描述信息;向多媒体服务器发送请求信息;以及从多媒体服务器接收分享多媒体内容。
在一种实现方式中,生成与分享信息对应的请求信息包括:向请求信息中添加分享发送客户端的传输地址信息。
在一种实现方式中,请求信息还包括特征信息,在分享目标客户端获取多媒体内容的方法还包括:接收关联多媒体内容,其中关联多媒体内容是多媒体服务器基于特征信息推荐的与分享多媒体内容相关联的多媒体内容。
第四方面,本申请实施例还提供了一种多媒体内容传输装置,包括:拆分模块,配置用于将多媒体内容拆分为多个媒体处理单元;提取模块,配置用于提取每个媒体处理单元的特征信息;以及广播模块,配置用于向客户端广播媒体处理单元及其特征信息。
第五方面,本申请实施例还提供了一种在分享发送客户端分享多媒体内容的装置,包括:接收模块,配置用于接收多媒体内容,多媒体内容包括多个媒体处理单元和与媒体处理单元对应的特征信息;选择模块,配置用于从多媒体内容中选择至少一个媒体处理单元作为待分享多媒体内容;生成模块,配置用于针对待分享多媒体内容生成分享信息,分享信息包括待分享多媒体内容中的各媒体处理单元的描述信息和特征信息;以及发送模块,配置用于发送分享信息。
第六方面,本申请实施例还提供了一种在分享目标客户端获取多媒体内容的装置,包括:获取模块,配置用于获取来自分享发送客户端的分享信息,分享信息包括分享多媒体内容中各媒体处理单元的描述信息和特征信息;生成模块,配置用于生成与分享信息对应的请求信息,请求信息包括描述信息;发送模块,配置用于向多媒体服务器发送请求信息;以及接收模块,配置用于从多媒体服务器接收分享多媒体内容。
本申请实施例提供的多媒体内容发送方法、分享方法、接收方法及对应装置,包括以下一个或多个有益效果:
在任意一次多媒体分享过程中,服务器不需要产生额外的内容,不需要占用额外的存储资源,进而服务器的服务性能不会因为额外内容的增加而下降。
此外,用户间的分享过程是发生在客户端之间,直接请求不需要通过服务器中转,服务器只需要提供分享内容即可。
在一些实施例中,分享粒度可以非常精确,其分享粒度精确程度由每个媒体处理单元(Media Processing Unit,MPU)包含内容的多少来决定。用户不仅可以从时间上截取分享,也可以从空间上截取分享,还可以从广播多媒体内容组成结构上截取分享。
在一些实施例中,用户不仅可以分享当前播放的多媒体资源,还可以分享附加信息,例如文档、应用等资源。
在一些实施例中,还具备智能分享功能。分享发送客户端只需要分享一次,整个广播过程中的其他相似内容就可以部分或全部分享给分享目标客户端和/或分享发送客户端。不需要分享发送客户端一个接一个的分享,给用户提供了便利,节省了用户的时间,提高了用户体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出了可以应用本申请实施例的示例性系统架构;
图2示出了本申请实施例的多媒体内容分享交互过程的示例;
图3示出了根据本申请一个实施例的多媒体内容传输方法的示意性流程图;
图4示出了根据本申请一个实施例的提取每个媒体处理单元的特征信息的示意性流程图;
图5示出了根据本申请一个实施例的特征信息与媒体处理单元的映射关系的示意图;
图6示出了根据本申请一个实施例的向客户端广播媒体处理单元及其特征信息的示意性流程图;
图7A示出了现有MMT协议下,MPU的广播方式;
图7B示出了根据本申请一个实施例的对现有MMT协议进行修改后,MPU及其特征信息的广播方式;
图8示出了根据本申请一个实施例的描述信息包括时间信息时,与描述信息对应的MPU的示意图;
图9示出了根据本申请一个实施例的描述信息包括空间坐标时,与描述信息对应的MPU的示意图;
图10示出了根据本申请一个实施例的描述信息包括构成元素信息时,与描述信息对应的MPU的示意图;
图11示出了根据本申请一个实施例的在分享发送客户端分享多媒体内容的方法的示意性流程图;
图12示出了根据本申请一个实施例的在分享目标客户端获取多媒体内容的方法的示意性流程图;
图13示出了根据本申请一个实施例的多媒体内容传输装置的示意性结构图;
图14示出了根据本申请一个实施例的在分享发送客户端分享多媒体内容的装置的示意性结构图;以及
图15示出了根据本申请一个实施例的在分享目标客户端获取多媒体内容的装置的示意性结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了解决传统多媒体内容分享技术的局限性,已有了动态图像专家组(Moving Picture Experts Group,MPEG)媒体传输(MPEG MediaTransport,MMT)协议(ISO协议号ISO/IEC 23008-1)。此协议提供了一种全新的多媒体传输方式,为基于IP的多媒体广播提供了可能性。所有的多媒体资源都被分割打包成媒体处理单元(Media ProcessingUnit,MPU)的格式进行传输。终端呈现由组成信息(CompositionInformation,CI)实体(ISO协议号ISO/IEC 23008-11)进行控制。
CI实体(以后简称CI)是对HTML5的一种扩展,终端基于浏览器呈现多媒体资源。在此协议下,不同的多媒体资源元素通过不同的流进行传输,而后统一由CI进行排版,渲染和控制。所有的CI传输都采用信号消息(Signalling Message)的方式传输。每一个信号消息会包含很多不同的表项,CI会在服务器端被打包进特定的信号消息表项中去,此表项作为信号消息的一部分,随着信号消息传输到客户端。客户端通过解析信号消息获得CI和其他信息,例如网络时间协议(Network Time Protocol,NTP)信息,然后进行进一步处理。
但是MMT协议设计只针对IP广播,并没有考虑在广播过程中如何对多媒体内容进行实时共享。
本申请的多媒体内容发送方法、分享方法、接收方法及对应装置,旨在通过对相关协议进行修改,解决如上所述的一个或多个问题。
参见图1所示,为可以应用本申请实施例的示例性系统架构100。
如图1所示,系统架构100可以包括多媒体服务器104、分享发送客户端110和分享目标客户端120。
分享发送客户端110可包括各种终端设备,例如,手机111、计算机终端112和平板型电脑113。
类似地,分享目标客户端120也可以包括各种终端设备,例如,手机121、计算机终端122和平板型电脑123。
多媒体服务器104可与分享发送客户端110的各终端设备以及分享目标客户端120的各终端设备通信以实现数据交互。
同时,分享发送客户端110的各终端设备也可以与分享目标客户端120的各终端设备通信以实现数据交互。
参见图2所示,为本申请实施例的多媒体内容分享交互过程的示例。本领域技术人员可以理解,出于示例和便于理解的目的,在以下描述中绘出和描述了一个或多个特定技术细节,但是本申请的实施例也可以在不具有这些特征的情况下实践。在图2所示的实施例中,以一个分享发送客户端、一个分享目标客户端和一个多媒体服务器的交互为例进行说明。
如图2所示,在步骤201中,多媒体服务器提取多媒体内容的特征信息。
多媒体服务器为存储有多媒体内容的服务器。多媒体服务器可以从例如外界的任意位置获取多媒体内容。多媒体服务器还可以对多媒体内容进行加工,例如,对多媒体内容的加工可以包括但不限于提取多媒体内容的特征信息,或者将多媒体内容进行拆分、组合以及删除等操作。
接着,在步骤202中,多媒体服务器将多媒体内容及其特征信息向分享发送客户端广播。
接着,在步骤203中,分享发送客户端选择待分享内容并生成分享信息。
分享发送客户端在接收到来自多媒体服务器的多媒体内容后,可以从中节选一部分内容作为待分享的多媒体内容。而为了使得其它客户端(例如分享目标客户端)获得分享发送客户端待分享的多媒体内容,分享发送客户端可以生成与这段待分享的多媒体内容相对应的分享信息。
例如,在一些情形中,分享发送客户端欲分享其接收到的多媒体内容中的其中一时间段内的多媒体内容,则该分享信息可包含该时间段的信息。类似地,在另一些情形中,分享客户端欲分享其接收到的多媒体内容中其中一个空间区域内的多媒体内容,此时,分享信息中可以包含对应该空间区域的信息。
接着,在步骤204中,分享发送客户端向分享目标客户端发送分享信息。
在一些实现方式中,分享发送客户端可以向指定的分享目标客户端发送该分享信息。
而在另一些实现方式中,分享发送客户端可以不指定接收该分享信息的分享目标客户端。在这些实现方式中,分享发送客户端例如可以将分享消息发送至分享平台,并由能够访问该分享平台的分享目标客户端来选择是否接收该分享信息。
接着,在步骤205中,分享目标客户端生成请求信息。分享目标客户端在接收到来自分享发送客户端的分享信息后,若愿意获取分享信息对应的待分享的多媒体内容,则可生成与分享信息对应的请求信息。
在一些实现方式中,可以基于分享目标客户端的用户输入,来确定是否愿意获取待分享的多媒体内容。
需要指出的是,请求信息至少包括分享信息中用来描述待分享的多媒体内容的位置的信息。在这里,位置并不仅仅指空间位置,其还可以指代包括空间位置在内的其它位置,例如,待分享的多媒体内容所处的时间位置等。
接着,在步骤206中,分享目标客户端向多媒体服务器发送请求信息,以请求多媒体服务器向其发送待分享的多媒体内容。
接着,在步骤207中,多媒体服务器向分享目标客户端发送被请求多媒体内容。
多媒体服务器在接收到来自分享目标客户端的请求信息后,可基于请求信息查找出待分享的多媒体内容,并将其发送至分享目标客户端。
在如上所述的分享交互过程中,分享发送客户端生成分享信息后,并未将分享信息发送至多媒体服务器,多媒体服务器也并未基于该分享信息生成新的多媒体内容和指向该新内容的URL。因此,不会因为分享而对多媒体服务器的存储空间形成新的占用。
此外,由于分享发送客户端不直接向分享目标客户端发送待分享的多媒体内容,本实施例的分享交互过程的实施不受分享发送客户端自身存储空间的限制。
可选地,在本实施例的多媒体内容分享交互过程中,多媒体服务器还可以向分享发送客户端和分享目标客户端推送与分享发送客户端分享的多媒体内容相关联的关联多媒体内容。
具体而言,在步骤208中,多媒体服务器查找关联多媒体内容。
分享发送客户端在向分享接收客户端发送分享信息时,可以在分享信息中添加与待分享的多媒体内容对应的特征信息。
这样一来,多媒体服务器在接收到来自分享接收客户端的请求信息时,可以同时获知待分享的多媒体内容的特征信息。基于这些特征信息,多媒体服务器便可以查找出与待分享的多媒体内容相关联的关联多媒体内容。
接着,在步骤209中,多媒体服务器向分享发送客户端和分享接收客户端发送关联多媒体内容。分享接收客户端在向多媒体服务器发送请求信息时,还可以在请求信息中添加分享发送客户端的传输地址信息。当多媒体服务器查找到关联多媒体内容后,便可根据分享发送客户端的传输地址信息,将关联多媒体内容推送至分享发送客户端。
此外,由于分享目标客户端向多媒体服务器发送了请求信息,多媒体服务器显然可以获得分享目标客户端的传输地址信息,因而多媒体服务器显然可以将关联多媒体内容推送至分享目标客户端。
以上对多媒体内容分享交互的过程进行了描述。接下来,将分别对多媒体服务器、分享发送客户端和分享目标客户端进行详细描述。
参见图3所示,根据本申请一个实施例的多媒体内容传输方法的示意性流程图。
在步骤310中,将多媒体内容拆分为多个媒体处理单元(MediaProcessing Unit,MPU)。MPU格式定义了一种用于传输多媒体内容的统一的封装格式,其既可以封装时间相关的媒体内容,也可以封装非时间相关的媒体内容。MPU格式为一种独立的基于ISO的媒体文件格式(ISO Based Media File Format,ISOBMFF)结构,其能够独立地消费多媒体数据,而在传输功能中隐藏编解码器的具体细节。在一些实现方式中,MPU中例如可以包括多个图像帧、一段音频数据和/或一段字幕信息等。
接着,在步骤320中,提取每个媒体处理单元的特征信息。
特征信息为能够代表该MPU的至少部分特征的信息。例如,MPU为一段自然风光的视频,那么“自然风光”便可作为该MPU的一个特征信息。
一个MPU可对应一个或多于一个的特征信息。各MPU所对应的特征信息可以互不相同,也可以部分重叠,还可以一个MPU所对应的特征信息是另一个MPU所对应特征信息的子集。
接着,在步骤330中,向客户端广播媒体处理单元及其特征信息。
如何向客户端广播媒体处理单元及其特征信息,取决于广播这一动作所遵从的通信协议。
在一些实现方式中,可向客户端分别广播多媒体内容的各MPU和与各MPU对应的特征信息。例如,假设多媒体内容包括六个MPU:MPU1-MPU6,与每个MPU对应的特征信息分别为特征1~特征6。
在一种实现方式中,例如可以采用如下的序列来发送各MPU和与之对应的特征信息:
特征1,特征2,特征3;MPU1,MPU2,MPU3;特征4,特征5,特征6;MPU4,MPU5,MPU6。
或者,在另一种实现方式中,例如还可以先分别统计特征1~特征3和特征4~特征6,分别对特征1~特征3中相同的特征信息和特征4~特征6中相同的特征信息去重后,生成包含特征1~特征3中所有特征信息的特征A和包含特征4~特征6中所有特征信息的特征B,并采用如下的序列来发送:
特征A;MPU1,MPU2,MPU3;特征B;MPU1,MPU2,MPU3。
通过步骤310~330,可以将多媒体内容中的各MPU和与各MPU对应的特征信息均向客户端广播。
参见图4所示,为步骤320的一个实施例的示意性流程图。
在步骤321中,基于媒体属性对MPU进行聚类。
接着,在步骤322中,对聚类后的每一类MPU提取特征信息。
在这里,媒体属性例如可以包括MPU的图像属性、声音属性以及内容属性中的至少一者。
在一些实现方式中,可以基于MPU的图像属性对MPU进行聚类。
例如,可以依据MPU的图像中包含的不同电视台的台标来对各MPU进行聚类。这样一来,便可将分属于不同电视台的多媒体内容划分至不同的类别中,并将各MPU所属的电视台作为一个特征信息提取出来。
在另一些实现方式中,还可以基于MPU的声音属性对MPU进行聚类。
例如,可以依据MPU的音频中包含的不同人的姓名来对各MPU进行聚类。这样一来,可以将分别对应不同人的多媒体内容划分至不同的类别中,并将MPU中包含的人的姓名作为一个特征信息提取出来。
在另一些实现方式中,还可以基于MPU的内容属性对MPU进行聚类。
例如,可以依据MPU中的字幕信息来间接判断当前MPU的内容,将分属于不同内容的MPU划分至不同的类别中,并提取与该内容对应的特征信息。这样一来,可以将包含不同类型内容的MPU划分至不同的类别中。
接着,在步骤323中,生成特征信息与MPU的映射关系。
根据上述描述可知,特征信息与MPU之间,是一种“多对多”的映射关系。也即是说,对一个MPU而言,其可以具有多个特征信息;从另一个角度而言,多个MPU也可以同时具有相同的特征信息。
参见图5所示,为根据本申请一个实施例的特征信息520与媒体处理单元510的映射关系的示意图500。
图5中的媒体处理单元510包括了MPU1、MPU2、MPU3三个MPU。特征信息520包括特征A、特征B、特征C、特征D共四个特征。其中,MPU1具有特征B和特征D,MPU2具有特征A、特征B和特征C,MPU3具有特征C和特征D。将媒体处理单元510和特征信息520建立映射关系后,可以根据该映射关系获得与各MPU对应的特征信息,以及具有某些特征信息的MPU。
在一些实现方式中,为了表征各特征信息,可以为每一个特征信息分配一唯一的特征值(如图5中的530)。如图5所示,特征A与特征值101一一对应,特征B与特征值102一一对应,特征C与特征值203一一对应,特征D与特征值406一一对应。为各特征信息分配唯一的特征值,便于将特征信息以数值的方式向各客户端广播。
参见图6所示,为步骤330的一个实施例的示意性流程图。
在步骤331中,按顺序以预定时间间隔发送MPU。
在步骤332中,按预定周期发送信号消息。其中,信号消息包括在其所属周期内发送的MPU的特征信息以及特征信息与MPU的映射关系。
在这里,“预定时间间隔”与“预定周期”可以相同也可以不同。
在一些实现方式中,当“预定时间间隔”与“预定周期”相同时,例如可以按照特征A,MPU1;特征B,MPU2这样的信令-数据格式来进行广播。在这里,特征A为与MPU1对应的特征信息,特征B为与MPU2对应的特征信息。
在另一些实现方式中,当“预定时间间隔”与“预定周期”不同时,例如可以按照特征C,MPU1、MPU2;特征D,MPU3、MPU4这样的信令-数据格式来进行广播。在这里,特征C为与MPU1、MPU2对应的特征信息,特征D为与MPU3、MPU4对应的特征信息。在这些实现方式中,显然发送MPU的时间间隔与发送信号消息的周期是不同的。
可选地,步骤332可以通过以下方式来实现。
首先,确定在信号消息所属周期内发送的第一媒体处理单元。在这里,第一媒体处理单元即为在信号消息所属周期内发送的MPU。
接着,基于特征信息与MPU的映射关系查找第一媒体处理单元的特征信息。例如,可以根据如图5所示的映射关系来分别查找在信号消息所属周期内发送的各MPU的特征信息。
最后,将第一媒体处理单元的特征信息及第一媒体处理单元与特征信息的映射关系添加在信号消息中。将特征信息与映射关系添加至信号消息中,可以在向客户端广播信号消息的同时,将特征信息与映射关系也进行广播。
在一些实现方式中,例如可以采用MMT协议来传输MPU及其特征信息。
在现有的MMT协议中,MPU以如图7A所示的方式进行传输。
在MMT协议下,CI以信号消息的方式传输。每个发包周期(图7A中的701、702、703均为一个发包周期)中,按照CI-MPU的顺序传输。以发包周期701为例,先发送CI71,再发送对应的MPU72。在这里,MPU72包括了视频数据V1和音频数据A1。
然而,现有的MMT协议不支持MPU的特征信息的发送。也即,每次发送的CI的内容始终不会变化。为了在MMT协议框架下实现与MPU对应的特征信息的传输,可以对CI的格式进行修改,在CI中增加描述与MPU对应的特征信息的子表项。
例如,可以在CI中增加如下信息:
在这里,feature1~featureN代表了与MPU对应的各特征信息。
如图7B所示,为对现有MMT协议进行修改后,MPU及其特征信息的广播方式。
修改后的CI中包含了发包周期内的MPU的特征信息。
以发包周期711为例,该周期中的CI71’中,包含了该周期711中MPU的特征信息A和特征信息B。
返回图3,作为一种可选方式,本申请实施例的多媒体内容传输方法还可以包括以下的步骤。
在步骤340中,接收客户端发送的播放请求信息。其中,播放请求信息包括所请求的多媒体内容中各MPU的描述信息。在这里,描述信息为用来描述多媒体内容中,被请求的那部分多媒体内容所包含的MPU的信息。
在一些实现方式中,描述信息可以描述被请求的多媒体内容中各MPU的位置信息。在这里,“位置”一词的含义不仅仅是指其空间位置,而是具有比空间位置更宽泛的含义。
接着,在步骤350中,基于描述信息向发送播放请求信息的客户端传输所请求的多媒体内容。
这样一来,描述信息可以准确地描述请求的多媒体内容所包含的各MPU。
在一些实现方式中,描述信息例如可以包括时间、空间坐标、构成元素以及与多媒体内容相关的附加信息中的至少一项。
构成元素例如可以包括视频信息、音频信息以及字幕信息中的至少一者,附加信息例如可以包括附加文档和/或附加应用。
参见图8所示,为描述信息包括时间信息时,与描述信息对应的MPU的示意图800。
多媒体内容按照时间先后顺序分为MPU810、MPU820、MPU830和MPU840。被请求的多媒体内容为MPU820和MPU830。
此时,请求信息可包含用于描述MPU820和MPU830时间信息的描述信息。
例如,在一些实现方式中,描述信息可以包括MPU820的起始时间点802和MPU830的结束时间803。
具体而言,当在MMT协议架构下进行播放请求信息的传输时,可以在CI中添加用于描述MPU820的起始时间点802和MPU830的结束时间803的信息,例如:
增加sequence_number:start_time-end_time的描述语句。
在另一些实现方式中,描述信息还可以包括MPU820的起始时间802和MPU820、MPU830的持续时间804。当在MMT协议架构下进行播放请求信息的传输时,可以在CI中添加:
sequence_number:start_time-duaration的描述语句。
在另一些实现方式中,描述信息还可以包括MPU820、MPU830的持续时间804和MPU830的结束时间803。当在MMT协议架构下进行播放请求信息的传输时,可以在CI中添加:
sequence_number:duaration-end_time的描述语句。
参见图9所示,为描述信息包括空间坐标时,与描述信息对应的MPU的示意图900。
多媒体内容按照空间坐标从左到右、从上到下分为MPU901~MPU909。被请求的多媒体内容为虚线框910中的MPU905、MPU906、MPU908和MPU909。
在一些实现方式中,描述信息可以包括位于虚线框910左上角的MPU905的起始坐标值和位于虚线框910右下角的MPU909的结束坐标值。
具体而言,当在MMT协议架构下进行播放请求信息的传输时,可以在CI中添加用于描述MPU905的起始坐标值和MPU909的结束坐标值的信息,例如,可增加:
solid_axes:start_point-end_point
或者
solid_axes:(x1,y1)-(x2,y2)。
其中,x1、y1分别为MPU905的起始点的横坐标和纵坐标,x2和y2分别为MPU909的结束点的横坐标和纵坐标。
参见图10所示,为描述信息包括构成元素信息时,与描述信息对应的MPU的示意图1000。
多媒体内容按照不同的构成元素可分为轨道1010、轨道1020。轨道1030。其中,轨道1010包含MPU1011、MPU1012、MPU1013;轨道1020包含MPU1021、MPU1022、MPU1023;轨道1030包含MPU1031、MPU1032、MPU1033。被请求的多媒体内容为虚线框1040中的MPU1031、MPU1032和MPU1033。
此时,描述信息可包括MPU1031、MPU1032和MPU1033的构成元素信息。
具体而言,当在MMT协议架构下进行播放请求信息的传输时,可以在CI中添加用于描述MPU1031、MPU1032和MPU1033的构成元素的信息。例如,可以增加:
media_element:track。
类似地,当请求的内容为与某一多媒体内容对应的附加信息(附加文档和/或附加应用)时,可以将该附加信息添加至描述信息中。
具体而言,当在MMT协议架构下进行播放请求信息的传输时,可以在CI中添加用于描述附加信息的描述信息。例如,可以增加:
attachment_info:file。
此外,当请求的内容需要用时间、空间坐标、构成元素以及与多媒体内容相关的附加信息中超过一项来进行描述时,可以在描述信息中对应添加时间、空间坐标、构成元素以及与多媒体内容相关的附加信息中的内容,以准确描述请求的内容。
可选地,播放请求信息还可以包括所请求的多媒体内容中各媒体处理单元的特征信息。此时,本实施例的方法还可以包括:
步骤360,基于特征信息,查找与所请求的多媒体内容相关联的关联多媒体内容,以及步骤370,向发送播放请求信息的客户端推送关联多媒体内容。
由于播放请求信息中包含了所请求的多媒体内容中各媒体处理单元的特征信息,可以查找出与多媒体内容中各媒体处理单元具有相同特征信息的其它多媒体内容,并向发送播放请求信息的客户端推送这些多媒体内容。
在一些实现方式中,还可以将与所请求的多媒体内容中各媒体处理单元具有一定比例相同特征信息的多媒体内容作为关联多媒体内容进行推送。
例如,所请求的多媒体内容的MPU包含有A、B、C、D四个特征信息,可以将包含其中三个特征信息的多媒体内容,作为关联多媒体内容。
可选地,播放请求信息还可以包括分享所请求的多媒体内容的客户端的传输地址信息。此时,本实施例的方法还可以包括:
步骤370,基于传输地址信息向分享所请求的多媒体内容的客户端推送关联多媒体内容。
在这里,分享所请求的多媒体内容的客户端的传输地址信息可以包括该客户端的网络协议(Internet protocol,IP)地址,以及该客户端中执行分享操作的端口信息,例如点播监听端口信息。
由于在请求信息中包括了分享所请求的多媒体内容的客户端的传输地址信息,可以将与所请求的多媒体内容相关联的关联多媒体内容推送至该客户端。
参见图11所示,为根据本申请一个实施例的在分享发送客户端分享多媒体内容的方法的示意性流程图。
在步骤1110中,接收多媒体内容,多媒体内容包括多个MPU和与MPU对应的特征信息。
在一些实现方式中,例如可以从多媒体服务器接收多媒体内容。
接着,在步骤1120中,从多媒体内容中选择至少一个MPU作为待分享多媒体内容。
在一些实现方式中,可以基于用户对分享发送客户端的选择操作,来进行选择。例如,用户可以通过遥控器、触摸屏、麦克风、摄像头以及超声手势感应器中的至少一种,来使分享发送客户端从多媒体内容中选择待分享多媒体内容。
在一些实现方式中,可以根据时间、空间坐标、构成元素以及与多媒体内容相关的附加信息中的至少一项来选择作为待分享多媒体内容的MPU。其中,附加信息可包括附加文档和/或附加应用。
接着,在步骤1130中,针对待分享多媒体内容生成分享信息。分享信息可以包括待分享多媒体内容中的各MPU的描述信息和特征信息。
接着,在步骤1140中,发送分享信息。
在一些实现方式中,分享发送客户端可以向目标客户端发送分享信息。或者,在另一些实现方式中,分享发送客户端还可以不指定发送分享信息的对象,例如,其可以向分享平台(例如,微博、微信朋友圈等)发送分享信息。
在一些实现方式中,步骤1110可以包括:按顺序以预定时间间隔接收MPU,以及按预定周期接收信号消息。信号消息可以包括在其所属周期内发送的MPU的特征信息以及特征信息与MPU的映射关系。
在一些实现方式中,步骤1130可以包括:根据选择生成描述信息,基于特征信息与MPU的映射关系查找待分享多媒体内容中的各MPU的特征信息,以及,将描述信息和特征信息添加至分享信息中。
在一些实现方式中,步骤1130还可以包括:向分享信息中添加分享发送客户端的传输地址信息。
例如,当在MMT协议架构下进行分享信息的传输时,可以在CI中添加传输地址信息属性,例如share_src=IP:port,其中,IP代表分享发送客户端的IP地址,port代表分享发送客户端中执行分享信息发送操作的端口信息。
参见图12所示,为根据本申请一个实施例的在分享目标客户端获取多媒体内容的方法的示意性流程图。
在步骤1210中,获取来自分享发送客户端的分享信息。分享信息可以包括分享多媒体内容中各媒体处理单元的描述信息和特征信息;
接着,在步骤1220中,生成与分享信息对应的请求信息。请求信息可以包括描述信息。
接着,在步骤1230中,向多媒体服务器发送请求信息。
接着,在步骤1240中,从多媒体服务器接收分享多媒体内容。
在一些实现方式中,步骤1220还可以包括,向请求信息中添加分享发送客户端的传输地址信息。
在一些实现方式中,请求信息还可以包括特征信息。在这些实现方式中,本实施例的方法还可以包括,接收关联多媒体内容,其中关联多媒体内容是多媒体服务器基于特征信息推荐的与分享多媒体内容相关联的多媒体内容。
参见图13所示,为本申请一个实施例的多媒体内容传输装置1300的示意性结构图。
在该实施例中,多媒体内容传输装置包括拆分模块1310、提取模块1320和广播模块1330。
其中,拆分模块1310可配置用于将多媒体内容拆分为多个媒体处理单元。提取模块1320可配置用于提取每个媒体处理单元的特征信息。广播模块1330可配置用于向客户端广播媒体处理单元及其特征信息。
在一些实现方式中,提取模块1320可包括聚类单元1321、提取单元1322和映射生成单元1323。
其中,聚类单元1321可配置用于基于媒体属性对媒体处理单元进行聚类。提取单元1322可配置用于对聚类后的每一类媒体处理单元提取特征信息。映射生成单元1323可配置用于生成特征信息与媒体处理单元的映射关系。
在一些实现方式中,媒体属性可以包括图像属性、声音属性以及内容属性中的至少一项。
在一些实现方式中,广播模块1330可以包括第一发送单元1331和第二发送单元1332。
其中,第一发送单元1331可配置用于按顺序以预定时间间隔发送媒体处理单元。第二发送单元1332可配置用于按预定周期发送信号消息。信号消息例如可以包括在其所属周期内发送的媒体处理单元的特征信息以及特征信息与媒体处理单元的映射关系。
在一些实现方式中,第二发送单元1332还可配置用于确定在信号消息所属周期内发送的第一媒体处理单元,基于特征信息与媒体处理单元的映射关系查找第一媒体处理单元的特征信息,以及将第一媒体处理单元的特征信息及第一媒体处理单元与特征信息的映射关系添加在信号消息中。
在一些实现方式中,多媒体内容传输装置还可以包括接收模块1340和发送模块1350。
其中,接收模块1340可配置用于接收客户端发送的播放请求信息,播放请求信息可包括所请求的多媒体内容中各媒体处理单元的描述信息。发送模块1350可配置用于基于描述信息向发送播放请求信息的客户端传输所请求的多媒体内容。
在一些实现方式中,描述信息可以包括时间、空间坐标、构成元素以及与多媒体内容相关的附加信息中的至少一项。
在这里,附加信息例如可以包括附加文档和/或附加应用。构成元素信息例如可以包括视频信息、音频信息以及字幕信息中的至少一项。
在一些实现方式中,播放请求信息还可以包括所请求的多媒体内容中各媒体处理单元的特征信息。
在这些实现方式中,本实施例的多媒体内容传输装置还可以包括查找模块1360。查找模块1360可配置用于基于特征信息,查找与所请求的多媒体内容相关联的关联多媒体内容。
在这些实现方式中,发送模块1350还可配置用于向发送播放请求信息的客户端推送关联多媒体内容。
在一些实现方式中,播放请求信息还可以包括分享所请求的多媒体内容的客户端的传输地址信息。
在这些实现方式中,发送模块1350还可配置用于基于传输地址信息向分享所请求的多媒体内容的客户端推送关联多媒体内容。
参见图14所示,为根据本申请一个实施例的在分享发送客户端分享多媒体内容的装置1400的示意性结构图。
在该实施例中,在分享发送客户端分享多媒体内容的装置1400可包括接收模块1410、选择模块1420、生成模块1430和发送模块1440。
其中,接收模块1410可配置用于接收多媒体内容,多媒体内容包括多媒体处理单元和与媒体处理单元对应的特征信息。选择模块1420可配置用于从多媒体内容中选择至少一个媒体处理单元作为待分享多媒体内容。生成模块可配置用于针对待分享多媒体内容生成分享信息,分享信息包括待分享多媒体内容中的各媒体处理单元的描述信息和特征信息。发送模块1440可配置用于发送分享信息。
在一些实现方式中,接收模块1410可进一步配置用于按顺序以预定时间间隔接收媒体处理单元,以及按预定周期接收信号消息,信号消息包括在其所属周期内发送的媒体处理单元的特征信息以及特征信息与媒体处理单元的映射关系。
生成模块1430可进一步配置用于根据选择生成描述信息,基于特征信息与媒体处理单元的映射关系查找待分享多媒体内容中的各媒体处理单元的特征信息,并将描述信息和特征信息添加至分享信息中。
在一些实现方式中,生成模块1430还可配置用于向分享信息中添加分享发送客户端的传输地址信息。
在一些实现方式中,选择模块1420可根据时间、空间坐标、构成元素以及与多媒体文件相关的附加信息中的至少一项选择媒体处理单元。其中,附加信息可包括附加文档和/或附加应用。
在一些实现方式中,发送模块1440可包括第一发送单元1441和/或第二发送单元1442。
其中,第一发送单元1441可配置用于向目标客户端发送分享信息。第二发送单元1442可配置用于向分享平台发送分享信息。
参见图15所示,为根据本申请一个实施例的在分享目标客户端获取多媒体内容的装置1500的示意性结构图。
在该实施例中,在分享目标客户端获取多媒体内容的装置1500可包括获取模块1510、生成模块1520、发送模块1530和接收模块1540。
其中,获取模块1510可配置用于获取来自分享发送客户端的分享信息,分享信息可包括分享多媒体内容中各媒体处理单元的描述信息和特征信息。生成模块1520可配置用于生成与分享信息对应的请求信息,请求信息包括描述信息。发送模块1530可配置用于向多媒体服务器发送请求信息。接收模块1540可配置用于从多媒体服务器接收分享多媒体内容。
在一些实现方式中,生成模块1520还可配置用于向请求信息中添加分享发送客户端的传输地址信息。
在一些实现方式中,接收模块1540还可配置用于接收关联多媒体内容,其中关联多媒体内容是多媒体服务器基于特征信息推荐的与分享多媒体内容相关联的多媒体内容。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括拆分模块、提取模块和广播模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,拆分模块还可以被描述为“用于将多媒体文件拆分为多个媒体处理单元的模块”。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (21)

1.一种多媒体内容传输方法,其特征在于,包括:
将多媒体内容拆分为多个媒体处理单元;
提取每个所述媒体处理单元的特征信息;以及
向客户端广播媒体处理单元及其特征信息。
2.根据权利要求1所述的方法,其特征在于,所述提取每个所述媒体处理单元的特征信息包括:
基于媒体属性对媒体处理单元进行聚类;
对聚类后的每一类媒体处理单元提取特征信息;以及
生成所述特征信息与所述媒体处理单元的映射关系。
3.根据权利要求2所述的方法,其特征在于,所述媒体属性包括以下至少一项:
图像属性、声音属性以及内容属性。
4.根据权利要求2-3任一所述的方法,其特征在于,所述向客户端广播媒体处理单元及其特征信息包括:
按顺序以预定时间间隔发送媒体处理单元;以及
按预定周期发送信号消息,所述信号消息包括在其所属周期内发送的媒体处理单元的特征信息以及所述特征信息与所述媒体处理单元的映射关系。
5.根据权利要求4所述的方法,其特征在于,所述按预定周期发送信号消息包括:
确定在所述信号消息所属周期内发送的第一媒体处理单元;
基于所述特征信息与媒体处理单元的映射关系查找第一媒体处理单元的特征信息;以及
将所述第一媒体处理单元的特征信息及第一媒体处理单元与特征信息的映射关系添加在所述信号消息中。
6.根据权利要求1-5任一所述的方法,其特征在于,还包括:
接收客户端发送的播放请求信息,所述播放请求信息包括所请求的多媒体内容中各媒体处理单元的描述信息;以及
基于所述描述信息向发送播放请求信息的所述客户端传输所请求的多媒体内容。
7.根据权利要求6所述的方法,其特征在于,所述描述信息包括以下至少一项:
时间、空间坐标、构成元素以及与所述多媒体内容相关的附加信息;
其中,所述附加信息包括附加文档和/或附加应用。
8.根据权利要求7所述的方法,其特征在于,所述构成元素包括以下至少一项:
视频信息、音频信息以及字幕信息。
9.根据权利要求6-8任一所述的方法,其特征在于,所述播放请求信息还包括所请求的多媒体内容中各媒体处理单元的特征信息,所述方法还包括:
基于所述特征信息,查找与所请求的多媒体内容相关联的关联多媒体内容;
向发送播放请求信息的所述客户端推送所述关联多媒体内容。
10.根据权利要求9所述的方法,其特征在于,所述播放请求信息还包括分享所请求的多媒体内容的客户端的传输地址信息,所述方法还包括:
基于所述传输地址信息向所述分享所请求的多媒体内容的客户端推送所述关联多媒体内容。
11.一种在分享发送客户端分享多媒体内容的方法,其特征在于,包括:
接收多媒体内容,所述多媒体内容包括多个媒体处理单元和与所述媒体处理单元对应的特征信息;
从所述多媒体内容中选择至少一个媒体处理单元作为待分享多媒体内容;
针对所述待分享多媒体内容生成分享信息,所述分享信息包括所述待分享多媒体内容中的各媒体处理单元的描述信息和特征信息;以及
发送所述分享信息。
12.根据权利要求11所述的方法,其特征在于,
所述接收多媒体内容包括:
按顺序以预定时间间隔接收媒体处理单元,以及按预定周期接收信号消息,所述信号消息包括在其所属周期内发送的媒体处理单元的特征信息以及所述特征信息与所述媒体处理单元的映射关系;并且
所述生成分享信息包括:
根据所述选择生成所述描述信息;
基于特征信息与媒体处理单元的映射关系查找所述待分享多媒体内容中的各媒体处理单元的特征信息;以及
将所述描述信息和特征信息添加至所述分享信息中。
13.根据权利要求12所述的方法,其特征在于,所述生成分享信息还包括:
向所述分享信息中添加所述分享发送客户端的传输地址信息。
14.根据权利要求11-13任一所述的方法,其特征在于,从所述多媒体文件中选择至少一个媒体处理单元作为待分享多媒体内容包括,根据以下至少一项选择媒体处理单元:
时间、空间坐标、构成元素以及与所述多媒体内容相关的附加信息;
其中,所述附加信息包括附加文档和/或附加应用。
15.根据权利要求11-14任一所述的方法,其特征在于,所述发送所述分享信息包括以下至少一项:
向目标客户端发送所述分享信息;以及
向分享平台发送所述分享信息。
16.一种在分享目标客户端获取多媒体内容的方法,其特征在于,包括:
获取来自分享发送客户端的分享信息,所述分享信息包括分享多媒体内容中各媒体处理单元的描述信息和特征信息;
生成与所述分享信息对应的请求信息,所述请求信息包括所述描述信息;
向多媒体服务器发送所述请求信息;以及
从所述多媒体服务器接收所述分享多媒体内容。
17.根据权利要求16所述的方法,其特征在于,所述生成与所述分享信息对应的请求信息包括:
向所述请求信息中添加所述分享发送客户端的传输地址信息。
18.根据权利要求16或17所述的方法,其特征在于,所述请求信息还包括所述特征信息,所述方法还包括:
接收关联多媒体内容,其中所述关联多媒体内容是所述多媒体服务器基于所述特征信息推荐的与所述分享多媒体内容相关联的多媒体内容。
19.一种多媒体内容传输装置,其特征在于,包括:
拆分模块,配置用于将多媒体内容拆分为多个媒体处理单元;
提取模块,配置用于提取每个所述媒体处理单元的特征信息;以及
广播模块,配置用于向客户端广播媒体处理单元及其特征信息。
20.一种在分享发送客户端分享多媒体内容的装置,其特征在于,包括:
接收模块,配置用于接收多媒体内容,所述多媒体内容包括多个媒体处理单元和与所述媒体处理单元对应的特征信息;
选择模块,配置用于从所述多媒体内容中选择至少一个媒体处理单元作为待分享多媒体内容;
生成模块,配置用于针对所述待分享多媒体内容生成分享信息,所述分享信息包括所述待分享多媒体内容中的各媒体处理单元的描述信息和特征信息;以及
发送模块,配置用于发送所述分享信息。
21.一种在分享目标客户端获取多媒体内容的装置,其特征在于,包括:
获取模块,配置用于获取来自分享发送客户端的分享信息,所述分享信息包括分享多媒体内容中各媒体处理单元的描述信息和特征信息;
生成模块,配置用于生成与所述分享信息对应的请求信息,所述请求信息包括所述描述信息;
发送模块,配置用于向多媒体服务器发送所述请求信息;以及
接收模块,配置用于从所述多媒体服务器接收所述分享多媒体内容。
CN201510317608.1A 2015-06-11 2015-06-11 多媒体内容发送方法、分享方法、接收方法及对应装置 Active CN106302362B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510317608.1A CN106302362B (zh) 2015-06-11 2015-06-11 多媒体内容发送方法、分享方法、接收方法及对应装置
KR1020160060215A KR102549535B1 (ko) 2015-06-11 2016-05-17 멀티미디어 컨텐츠를 공유하는 방법 및 장치
US15/735,416 US11089073B2 (en) 2015-06-11 2016-05-23 Method and device for sharing multimedia content
PCT/KR2016/005447 WO2016200078A1 (ko) 2015-06-11 2016-05-23 멀티미디어 컨텐츠를 공유하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510317608.1A CN106302362B (zh) 2015-06-11 2015-06-11 多媒体内容发送方法、分享方法、接收方法及对应装置

Publications (2)

Publication Number Publication Date
CN106302362A true CN106302362A (zh) 2017-01-04
CN106302362B CN106302362B (zh) 2021-05-04

Family

ID=57661259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510317608.1A Active CN106302362B (zh) 2015-06-11 2015-06-11 多媒体内容发送方法、分享方法、接收方法及对应装置

Country Status (3)

Country Link
US (1) US11089073B2 (zh)
KR (1) KR102549535B1 (zh)
CN (1) CN106302362B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107404539A (zh) * 2017-08-31 2017-11-28 深圳市元征科技股份有限公司 音乐推送方法及终端设备
CN110708589A (zh) * 2017-11-30 2020-01-17 腾讯科技(深圳)有限公司 信息的分享方法和装置、存储介质、电子装置
CN111556352A (zh) * 2020-03-27 2020-08-18 北京达佳互联信息技术有限公司 多媒体资源分享方法、装置、电子设备及存储介质
CN111669364A (zh) * 2020-04-26 2020-09-15 视联动力信息技术股份有限公司 一种数据传输的方法、装置、电子设备及介质
CN111737218A (zh) * 2020-08-27 2020-10-02 北京联想协同科技有限公司 一种共享文件的方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302362B (zh) * 2015-06-11 2021-05-04 北京三星通信技术研究有限公司 多媒体内容发送方法、分享方法、接收方法及对应装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101189A2 (en) * 2004-04-07 2005-10-27 Seth Haberman System and method for enhanced video selection
US20080178230A1 (en) * 2006-12-05 2008-07-24 Crackle, Inc. Video sharing platform providing for public and private sharing and distributed downloads of videos
US20100125882A1 (en) * 2008-11-17 2010-05-20 Comcast Cable Communications, Llc Method and apparatus for creating and using video playlists within a network
CN102196008A (zh) * 2010-03-08 2011-09-21 株式会社日立制作所 点对点下载方法、视频设备和内容发送方法
US20130182128A1 (en) * 2012-01-12 2013-07-18 Kofax, Inc. Systems and methods for mobile image capture and processing
CN103533051A (zh) * 2013-10-15 2014-01-22 北京奇虎科技有限公司 网络多媒体资源信息的处理、提供方法及装置
CN104348899A (zh) * 2014-06-25 2015-02-11 深圳市天朗时代科技有限公司 客户端、服务端多媒体内容的分享方法和分享系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090095799A (ko) 2008-03-06 2009-09-10 주식회사 대우일렉트로닉스 Ip tv를 이용한 동일 방송 컨텐츠 서비스 제공 방법
JP2010226521A (ja) 2009-03-24 2010-10-07 Sharp Corp コンテンツ再生システム、コンテンツ再生方法、プログラム、および、記録媒体
KR101564224B1 (ko) 2009-04-17 2015-11-02 에스케이텔레콤 주식회사 홈네트워크 기반의 디바이스간 콘텐츠공유시스템 및 방법
WO2011014772A1 (en) * 2009-07-31 2011-02-03 Citizenglobal Inc. Systems and methods for content aggregation, editing and delivery
KR20110032674A (ko) 2009-09-23 2011-03-30 삼성전자주식회사 멀티미디어 방송 시스템에서 클라이언트 간의 정보 제공 방법 및 장치
KR101226560B1 (ko) 2011-03-29 2013-01-25 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
WO2012134150A2 (ko) 2011-03-29 2012-10-04 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
US9167287B2 (en) * 2011-12-08 2015-10-20 Verizon Patent And Licensing Inc. Controlling a viewing session for a video program
KR101947000B1 (ko) 2012-07-17 2019-02-13 삼성전자주식회사 방송 시스템에서 멀티미디어 데이터의 전송 특징 정보 전달 방법 및 장치
US9843845B2 (en) * 2012-11-28 2017-12-12 Sinclair Broadcast Group, Inc. Terrestrial broadcast market exchange network platform and broadcast augmentation channels for hybrid broadcasting in the internet age
US10069872B2 (en) * 2014-07-18 2018-09-04 Verizon Patent And Licensing Inc. Architecture to establish serverless WebRTC connections
CN106302362B (zh) * 2015-06-11 2021-05-04 北京三星通信技术研究有限公司 多媒体内容发送方法、分享方法、接收方法及对应装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101189A2 (en) * 2004-04-07 2005-10-27 Seth Haberman System and method for enhanced video selection
US20080178230A1 (en) * 2006-12-05 2008-07-24 Crackle, Inc. Video sharing platform providing for public and private sharing and distributed downloads of videos
US20100125882A1 (en) * 2008-11-17 2010-05-20 Comcast Cable Communications, Llc Method and apparatus for creating and using video playlists within a network
CN102196008A (zh) * 2010-03-08 2011-09-21 株式会社日立制作所 点对点下载方法、视频设备和内容发送方法
US20130182128A1 (en) * 2012-01-12 2013-07-18 Kofax, Inc. Systems and methods for mobile image capture and processing
CN103533051A (zh) * 2013-10-15 2014-01-22 北京奇虎科技有限公司 网络多媒体资源信息的处理、提供方法及装置
CN104348899A (zh) * 2014-06-25 2015-02-11 深圳市天朗时代科技有限公司 客户端、服务端多媒体内容的分享方法和分享系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107404539A (zh) * 2017-08-31 2017-11-28 深圳市元征科技股份有限公司 音乐推送方法及终端设备
CN110708589A (zh) * 2017-11-30 2020-01-17 腾讯科技(深圳)有限公司 信息的分享方法和装置、存储介质、电子装置
CN110708589B (zh) * 2017-11-30 2021-08-17 腾讯科技(深圳)有限公司 信息的分享方法和装置、存储介质、电子装置
CN111556352A (zh) * 2020-03-27 2020-08-18 北京达佳互联信息技术有限公司 多媒体资源分享方法、装置、电子设备及存储介质
CN111669364A (zh) * 2020-04-26 2020-09-15 视联动力信息技术股份有限公司 一种数据传输的方法、装置、电子设备及介质
CN111669364B (zh) * 2020-04-26 2023-09-12 视联动力信息技术股份有限公司 一种数据传输的方法、装置、电子设备及介质
CN111737218A (zh) * 2020-08-27 2020-10-02 北京联想协同科技有限公司 一种共享文件的方法及装置

Also Published As

Publication number Publication date
US11089073B2 (en) 2021-08-10
US20180167433A1 (en) 2018-06-14
CN106302362B (zh) 2021-05-04
KR102549535B1 (ko) 2023-06-29
KR20160146527A (ko) 2016-12-21

Similar Documents

Publication Publication Date Title
CN106302362A (zh) 多媒体内容发送方法、分享方法、接收方法及对应装置
JP7059327B2 (ja) コンテンツフィンガープリンティングのためのフィンガープリントレイアウト
US8982179B2 (en) Apparatus and method for modification of telecommunication video content
CN102790921B (zh) 为多屏业务选择和录制部分屏幕区域的方法和设备
US20120059884A1 (en) Devices, systems, and methods of accessing and sharing digital media content among users with a web based server
US11109093B2 (en) Method and apparatus for providing information associated with media content
CN109525853A (zh) 直播间封面展示方法、装置、终端、服务器及可读介质
WO2016074326A1 (zh) 一种频道切换的方法、装置和系统
CN103957469A (zh) 基于实时转封装的互联网视频点播方法及系统
WO2015169141A1 (zh) 频道的分类方法及装置
US20160164970A1 (en) Application Synchronization Method, Application Server and Terminal
US11252478B2 (en) Distribution device, distribution method, reception device, reception method, program, and content distribution system
CN104869132A (zh) 基于互联网的媒体资源分享系统、方法及服务器组
KR102373195B1 (ko) 수신 장치, 송신 장치, 데이터 통신 방법, 및 데이터 처리 방법
CN106604085A (zh) 一种视频分享方法及装置
CN114071170B (zh) 一种网络直播互动方法及设备
US20220141524A1 (en) Low Latency Synthetic Broadcast System and Method
US20170223410A1 (en) Mosaic service presentation/delivery method and apparatus
JP7094462B1 (ja) 地理的領域ベースの機能を備えたコンテンツ修正システム
KR102123208B1 (ko) 콘텐츠 공급 장치, 콘텐츠 공급 방법, 프로그램, 단말 장치, 및 콘텐츠 공급 시스템
JP2022524234A (ja) 送信遅延ベースの機能を備えたコンテンツ修正システム
CN104618500A (zh) 一种基于dlna的局域网应用程序数据分享的方法
CN109889434A (zh) 基于动态视频海报的社交方法、系统、装置及存储介质
US11418835B2 (en) Content-modification system with technical characteristic-based selection feature
CN115695892A (zh) 一种基于流媒体的群体标记可视化交互方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant