CN108989905A - 媒体流控制方法、装置、计算设备及存储介质 - Google Patents

媒体流控制方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN108989905A
CN108989905A CN201810684996.0A CN201810684996A CN108989905A CN 108989905 A CN108989905 A CN 108989905A CN 201810684996 A CN201810684996 A CN 201810684996A CN 108989905 A CN108989905 A CN 108989905A
Authority
CN
China
Prior art keywords
matching degree
media
media fragment
user
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810684996.0A
Other languages
English (en)
Other versions
CN108989905B (zh
Inventor
李大龙
张志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810684996.0A priority Critical patent/CN108989905B/zh
Publication of CN108989905A publication Critical patent/CN108989905A/zh
Application granted granted Critical
Publication of CN108989905B publication Critical patent/CN108989905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了媒体流控制方法、装置、计算设备及存储介质。其中,一种媒体流控制方法,包括:获取与内容相同且格式不同的多个媒体片段对应的内容标签,所述多个媒体片段的格式按照码率、分辨率和帧率中至少一个进行区分;确定用于描述用户兴趣的用户画像模型与所述内容标签的匹配度;以及根据所述匹配度,从所述多个媒体片段中选定一个待传输的媒体片段。

Description

媒体流控制方法、装置、计算设备及存储介质
技术领域
本申请涉及多媒体领域,尤其涉及媒体流控制方法、装置、计算设备及存储介质。
背景技术
随着互联网的发展,多媒体技术被广泛应用。例如,用户可以通过浏览器或者视频应用观看电影、电视剧、综艺、短视频等多媒体内容。在一些应用场景中,多媒体平台可以提供多种码流,用户可以在多媒体播放终端根据用户的码流切换请求,而从多媒体平台获取对应的码流。
发明内容
本申请提出了一种媒体流控制方案,能够根据用户兴趣自动切换媒体流格式。
根据本申请一方面,提供一种媒体流控制方法,包括:获取与内容相同且格式不同的多个媒体片段对应的内容标签,所述多个媒体片段的格式按照码率、分辨率和帧率中至少一个进行区分;确定用于描述用户兴趣的用户画像模型与所述内容标签的匹配度;以及根据所述匹配度,从所述多个媒体片段中选定一个待传输的媒体片段。
根据本申请一方面,提供一种媒体流控制装置,包括:标签获取单元,用于获取与内容相同且格式不同的多个媒体片段对应的内容标签,所述多个媒体片段的格式按照码率、分辨率和帧率中至少一个进行区分;匹配单元,用于确定用于描述用户兴趣的用户画像模型与所述内容标签的匹配度;以及选定单元,用于根据所述匹配度,从所述多个媒体片段中选定一个待传输的媒体片段。
根据本申请一面,提供一种计算设备,包括:一个或多个处理器、存储器以及一个或多个程序。一个或多个程序存储在该存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行本申请的媒体流控制方法的指令。
根据本申请一面,提供一种存储介质,存储有一个或多个程序,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行本申请的媒体流控制方法。
综上,根据本申请的技术方案可以根据用户兴趣自动化地对媒体流的格式进行切换,从而极大提高用户体验度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A示出了根据本申请一些实施例的应用场景的示意图;
图1B示出了根据本申请一些实施例的应用场景的示意图;
图2A示出了根据本申请一些实施例的媒体流控制方法200的流程图;
图2B示出了根据本申请一些实施例的码率切换过程的示意图;
图2C示出了根据本申请一些实施例的应用场景的示意图;
图3A示出了根据本申请一个实施例的媒体流控制方法300的流程图;
图3B至3D分别示出了根据本申请一些实施例的码率切换过程的示意图;
图4示出了根据本申请一些实施例的确定用户画像模型的方法400的流程图;
图5示出了根据本申请一些实施例的应用场景图;
图6示出了根据本申请一些实施例的选定媒体片段的流程图;
图7示出了根据本申请一些实施例的选定媒体片段的流程图;
图8示出了根据本申请一些实施例的媒体播放界面;
图9示出了根据本申请一个实施例的媒体流控制装置900的示意图;
图10示出了根据本申请一个实施例的媒体流控制方法1000的示意图;以及
图11示出了一个计算设备的组成结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
媒体平台可以向用户设备提供媒体内容,以便用户设备播放媒体内容。媒体内容例如为电影、电视剧、综艺、赛事直播或短视频等视频内容。对于一项媒体内容,媒体平台可以生成多种格式的媒体文件。这里,媒体文件的格式可以按照码率、分辨率和帧率中至少一个格式参数进行区分。每个媒体文件可以切分为多个媒体片段。用户设备可以获取媒体片段并进行播放。
在一些实施例中,媒体平台可以响应于用户设备的格式切换请求(例如,用户设备根据用户对分辨率或者码率的切换操作而生成的请求),向用户设备提供切换格式后的媒体内容,即向用户设备提供目标格式的媒体片段。在这些实施例中,媒体平台无法自动对媒体片段的格式进行切换。
图1A示出了根据本申请一些实施例的应用场景100a的示意图。
如图1A所示,媒体服务系统102可以通过一个或多个网络106向用户设备104(例如,用户设备104a-c)提供媒体内容110。这里,媒体内容110可以是各种媒体内容,例如电影、电视剧、综艺、纪录片、短视频和赛事直播等各种视频内容,但不限于此。这里,媒体服务系统102可以流式传输各项媒体内容。被流式传输的媒体内容110可以称为媒体流。对于一项媒体内容(例如一个电影、一集电视剧或者一个比赛的直播内容等等),媒体服务系统102可以提供多种格式的媒体流。媒体流的种类可以按照帧率、码率和分辨率等格式参数中至少一个进行划分。例如,媒体服务系统102可以将一项媒体内容的多种媒体流按照分辨率进行划分。一项媒体内容的媒体流的格式范围例如可以是低清、标清、高清和超清等分辨率格式。这里,低清例如是240P,标清例如是480P,高清例如是720P,超清例如是1080P。又例如,一项媒体内容的媒体流可以按照码率进行格式划分。在一些实施例中,媒体流的分辨率与码率成正比。换言之,不同分辨率的媒体流可以认为是不同码率格式的媒体流。媒体服务系统102可以将媒体流切分成由媒体片段组成的序列。这样,媒体服务系统102能够以提供媒体片段的方式向用户设备104提供媒体流。
在一些实施例中,媒体服务系统102的每个用户通过在相应的用户设备104(例如,用户设备104a-c)上执行的相应的媒体客户端应用108(例如,媒体客户端应用108a-c),与媒体服务系统102通信。在一些实施例中,媒体客户端应用108可以向用户提供用户界面元素(例如,文本框、按钮、视频播放窗口、消息显示区域等)。媒体客户端应用108例如是视频客户端应用、浏览器应用或者能够播放视频的社交网络客户端应用,但不限于此。
用户设备104可以包括但不限于掌上型计算机、可穿戴计算设备、个人数字助理(PDA)、平板计算机、笔记本电脑、台式计算机、移动电话、智能手机、增强型通用分组无线业务(EGPRS)移动电话、媒体播放器、导航设备、游戏控制台、电视机、或任意两个或更多的这些数据处理设备或其他数据处理设备的组合。
一个或多个网络106的示例包括局域网(LAN)和广域网(WAN)诸如互联网。本申请的实施例可以使用任意公知的网络协议来实现一个或多个网络106,包括各种有线或无线协议,诸如,以太网、通用串行总线(USB)、FIREWIRE、全球移动通讯系统(GSM)、增强数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、WiFi、IP语音(VoIP),Wi-MAX,或任意其他适合的通信协议。
图1B示出了根据本申请一些实施例的应用场景100b的示意图。如图1B所示,媒体服务系统102可以包括一个或多个转码服务器(例如转码服务器112)和一个或多个内容分发服务器(例如内容分发服务器114)。转码服务器112可以在一个或多个独立的数据处理设备或分布式计算机网络上实现。
在一些实施例中,转码服务器112可以包括编码单元1121和分片单元1122。编码单元1121可以将每项媒体内容进行编码处理,以生成该项媒体内容对应的多种格式的视频数据。这里,编码单元1121例如可以基于第二运动图像专家组标准(the second of severalstandards developed by the Moving Pictures Expert Group,简称MPEG-2)进行编码,但不限于此。对于一项媒体内容的任一种格式的视频数据,分片单元1122可以将该视频数据进行切片处理,以获取相应的切片文件(即,媒体片段)和索引文件。索引文件例如为M3U8格式。切片文件例如为传输流(Transport Stream,简称TS)切片格式。
内容分发服务器114可以包括各种格式的切片文件和索引文件。内容服务器114可以向用户设备104提供索引文件,以便用户设备104根据索引文件向内容分发服务器114请求相应的切片文件。在一些实施例中,对于一项媒体内容,内容分发服务器114可以向用户设备104提供多种媒体流。例如,针对一项媒体内容(例如为一个电影等等),内容分发服务器114可以提供第一媒体流1141和第二媒体流1142。其中,第一媒体流1141可以包括多个索引文件和多个切片文件,例如包括第一索引文件M1和第一切片文件TS1。第二媒体流1142例如可以包括第二索引文件M2和第二切片文件TS2。这里,第一切片文件TS1和第二切片文件TS2所承载的内容相同。内容分发服务器114还包括索引服务单元1143。索引服务单元1143可以向用户设备104发送索引文件。例如,索引服务单元1143可以向用户设备104发送第一索引文件M1。这样,用户设备104可以根据第一索引文件M1向内容分发服务器114请求第一切片文件TS1
在一些实施例中,内容分发服务器114可以包括索引服务器(未示出)和视频流服务器(未示出)。终端设备110可以向索引服务器发送对媒体流的访问请求,以便索引服务器返回与媒体流对应的媒体地址(即索引文件)。用户设备104可以接收媒体地址,并根据媒体地址从媒体流服务器获取媒体片段。
图2A示出了根据本申请一些实施例的媒体流控制方法200的流程图。媒体流控制方法200例如可以在媒体服务系统102中执行。
如图2A所示,在步骤S201中,获取与内容相同且格式不同的多个媒体片段对应的内容标签。其中,所述多个媒体片段的格式按照码率、分辨率和帧率中至少一个进行区分。这里,多个媒体片段是指多个媒体流中相同内容的片段。由于多个媒体片段的内容相同,步骤S201可以获取多个媒体片段中任一个媒体片段的内容标签作为与多个媒体片段对应的内容标签。这里,内容标签可以用于描述媒体片段的画面内容。在一些实施例中,步骤S201可以对多个媒体片段中任一个媒体片段中图像帧进行图像特征提取,而根据提取结果得到内容标签。内容标签的类别范围例如可以包括:花卉、人物、战争、武打和风景等等。
在步骤S202中,确定用于描述用户兴趣的用户画像模型与内容标签的匹配度。这里,用户画像模型可以由媒体服务系统102或者由其他设备根据用户历史操作记录而生成。用户历史操作记录例如包括:用户历史搜索记录、用户历史观看记录和用户对视频内容的评论等等。媒体服务系统102例如可以采用任意适合的数据挖掘方式而确定用户画像模型,本申请对此不做限制。这里,匹配度可以反映用于对媒体片段的感兴趣程度。匹配度越高,感兴趣程度越高。这样,媒体服务系统102可以利用内容标签,确定用户对媒体片段的感兴趣程度。感兴趣程度的范围例如可以划分为不感兴趣和感兴趣。又例如,感兴趣程度的范围可以划分为不感兴趣、一般感兴趣和非常感兴趣。
在步骤S203中,根据匹配度,从多个媒体片段中选定一个待传输的媒体片段。这里,媒体服务系统102可以根据用户对步骤S201中确定的匹配度,选定待传输的媒体片段。应注意,步骤S201中多个媒体片段属于一项媒体内容的同一个播放时间段。媒体服务系统102在确定待传输的媒体片段时,可以向用户设备104提供待传输的媒体片段对应的索引文件,以使用户设备根据索引文件获取该待传输的媒体片段。
综上,媒体服务系统102通过对媒体内容的多个播放时间段内媒体片段执行方法200,可以根据用户兴趣自动化地对媒体流的格式进行切换,从而极大提高用户体验度。例如,媒体服务系统102能够根据用户兴趣自动化切换媒体流的码率。图2B示出了根据本申请一些实施例的码率切换过程示意图。如图2B所示,对于一项媒体内容,媒体服务系统102可以提供码流1和码流2。通过方法200,媒体服务系统102确定的传输流可以包括媒体片段11、媒体片段22、媒体片段23和媒体片段14等等。
为了更形象说明方法200,下面结合图2C的应用场景对媒体片段的选定过程进行示例性说明。如图2C所示,分片解析器210可以对媒体片段1进行解析而得到解析结果。在此基础上,视频解码器220可以对解析结果进行解码而得到一个或多个图像帧。兴趣判断模块230可以在步骤S1中,提取图像帧的图像特征,并确定图像特征对应的内容标签。这里,步骤S1是步骤S201的一种实施方式。另外,兴趣判断模块230可以通过步骤S2-S3来实施步骤S202。兴趣判断模块230可以在步骤S2中,利用用户画像模型计算内容标签与用户画像模型的匹配度(也可以称为相似度)。在步骤S3中,兴趣判断模块230可以确定匹配度所属的匹配度级别。例如,匹配度未达到第一阈值时,兴趣判断模块230可以确定匹配度属于表示用户对内容标签不感兴趣的第一级别。反之,匹配度未达到第一阈值时,兴趣判断模块230可以确定匹配度属于表示用户对内容标签感兴趣的第二级别。在此基础上,选定单元240可以实施步骤203的操作,即可以根据所属的匹配度级别确定待传输的媒体片段。
图3A示出了根据本申请一些实施例的媒体流控制方法300的示意图。媒体流控制方法300例如可以在媒体服务系统102中执行。
如图3A所示,在步骤S301中,获取与内容相同且格式不同的多个媒体片段对应的内容标签。步骤S301的实施方式可以与步骤S201一致,这里不再赘述。
在步骤S302中,根据用户历史操作记录,确定用户画像模型。
在一些实施例中,步骤S302可以实施为图4所示的方法400。
在步骤S401中,获取历史操作记录对应的已播放视频。这里,已播放视频是根据用户历史操作记录而确定的用户已观看的视频内容。已播放视频的类型范围例如可以包括电视剧、电影、综艺、纪录片、赛事直播和短视频等等。
在步骤S402中,对已播放视频进行图像特征提取操作而得到图像特征。这里,媒体服务系统102可以采用各种图像分析方式确定图像特征。
在步骤S403中,基于已播放视频的图像特征,确定用户画像模型。
在一些实施例中,步骤S403例如可以利用自适应增强(Adaptive Boost)方式确定用于画像模型。
在一些实施例中,步骤S403可以实施为步骤S4031至S4033。在步骤S4031中,对已播放视频进行分组,每组包括至少一个已播放视频。例如,每个视频均为一个分组。又例如,步骤S4031可以按照视频内容的类别进行分组,但不限于此。在步骤S4032中,基于每组中已播放视频对应的图像特征,确定一个用于判断对不同内容标签的感兴趣程度的分类器。在此基础上,步骤S4033可以对每组对应的分类器进行级联操作而得到一个级联分类器,并将这个级联分类器作为用户画像模型。这里,步骤S4032和S4033的执行过程例如可以基于自适应增强方式,但不限于此。
在一些实施例中,媒体服务系统102可以通过关于用户画像模型的组件来实施步骤S403。这里,组件例如可以由软件和\或硬件来实现。图5示出了根据本申请一些实施例的应用场景图500。如图5所示,已播放视频(例如图5中视频1、视频2和视频N等等)例如可以封装为TS分片格式。组件可以包括分片解析器501、视频解码器502、图像特征提取模块503和训练器504。解析器501可以对已播放视频的TS分片进行解析,而得到相应的解析结果。视频解码器502可以对解析结果进行解码操作,而得到图像帧(例如为YUV等格式)。图像特征提取模块503可以对图像帧进行图像特征提取操作而得到每组的图像特征。这里,针对每组的图像特征,训练器504可以生成相应的一个分类器。例如,练器504可以生成分类器1、分类器2和分类器m等等。m为大于2的正整数。在此基础上,训练器504可以将每组图像特征对应的分类器进行级联操作而得到一个级联分类器,即用户画像模型505。训练器504例如可以基于自适应增强(Adaptive Boost)算法,但不限于此。
在步骤S303中,确定用户画像模型与内容标签的匹配度。步骤S303的实施方式与步骤S202一致,这里不再赘述。
在步骤S304中,根据匹配度,从多个媒体片段中选定一个待传输的媒体片段。这样,媒体服务系统102可以向用户设备104传输被选定为待传输的媒体片段。在一些实施例中,步骤S304可以确定匹配度所属的匹配度级别,并根据所属的匹配度级别而选定待传输的媒体片段。
在一些实施例中,步骤S304可以实现为方法600。
如图6所示,步骤S304可以通过步骤S601-S602来确定所属的匹配度级别。
在步骤S601中,当匹配度未达到第一阈值时,确定匹配度属于表示对内容标签不感兴趣的第一级别。第一阈值为例如为0.5,但不限于此。
在步骤S602中,当匹配度达到第一阈值时,确定匹配度属于表示对内容标签感兴趣的第二级别。
在一些实施例中,步骤S304可以通过步骤S603和S604来选定带传输的媒体片段。
在步骤S603中,当匹配度属于第一级别时,选定多个片段中默认格式的媒体片段作为待传输的媒体片段。这里,默认格式例如可以480p或者720p等等。在一些实施例中,媒体服务系统102例如可以根据与用户设备104的通信带宽而设定默认格式。在一些实施例中,用户设备104响应于用户格式切换操作而选定默认格式。
在步骤S604中,当匹配度属于第二级别时,选定多个媒体片段中码率高于默认格式的一个媒体片段作为待传输的媒体片段。在一些实施例中,默认格式例如为720p的格式。步骤S604中可以将1080p的媒体片段作为待传输的媒体片段。这样,通过步骤S603和S604,媒体服务系统102可以根据用户兴趣自动化地对媒体流的格式进行切换。例如,媒体服务系统102能够根据用户兴趣自动化切换媒体流的码率。
在一些实施例中,步骤S304可以通过步骤S605-S606选定待传输的媒体片段。
在步骤S605中,当匹配度属于第二级别时,选定多个片段中默认格式的媒体片段作为待传输的媒体片段。
在步骤S606中,当匹配度属于第一级别时,选定多个媒体片段中码率低于默认格式的一个媒体片段作为待传输的媒体片段。
在一些实施例中,步骤S304可以实施为图7所示的方法700。
如图7所示,步骤S304可以通过步骤S701至S703确定匹配度所属的匹配度级别。在步骤S701中,当匹配度未达到第二阈值时,确定匹配度属于表示对内容标签不感兴趣的第三级别。
在步骤S702中,当匹配度达到第二阈值且未达到第三阈值时,确定匹配度属于表示对内容标签一般感兴趣的第四级别。这里,第三阈值大于第二阈值。第二阈值例如为0.3,第三阈值例如为0.7,但不限于此。
在步骤S703中,当匹配度达到第三阈值时,确定匹配度属于表示对内容标签非常感兴趣的第五级别。
另外步骤S304可以通过步骤S704-S706确定待传输的媒体片段。
在步骤S704中,当匹配度属于第四级别时,选定多个片段中默认格式的媒体片段作为待传输的媒体片段。
在步骤S705中,当匹配度属于第三级别时,选定多个媒体片段中码率低于默认格式的一个媒体片段作为待传输的媒体片段。
在步骤S706中,当匹配度属于第五级别时,选定多个媒体片段中码率高于默认格式的一个媒体片段作为待传输的媒体片段。
由上述描述可知,步骤S304在方法600中将匹配度级别划分为两个等级,在方法700中匹配度划分为三个等级。除此之外,步骤S304还可以将匹配度划分为更多的级别,这里不再赘述。在上述方法中,通过匹配度级别的划分,可以确定用户对于媒体片段的内容的感兴趣程度,其中,匹配度越高,说明用户对媒体片段的内容的感兴趣程度越高。在匹配度越高时,媒体服务系统102可以选择码率越高的媒体片段作为待传输的媒体片段,达到用较高的画质显示用户感兴趣内容的目的。
综上,媒体服务系统102通过对媒体内容的多个播放时间段内媒体片段执行步骤S304,可以根据用户兴趣自动化地对媒体流的格式进行切换,从而极大提高用户体验度。为了更形象说明基于步骤S304切换媒体流的过程,下面结合图3B、图3C和图3D进行说明。
如图3B至3D所示,对于一项媒体内容,媒体服务系统102可以提供码流A、码流B和码流C。其中,码流A的分辨率高于码流B。码流B的分辨率高于码流C。码流A的分辨率例如为1080P,码流B的分辨率例如是720P,码流C的分辨率例如是480P。在用户设备104开始播放媒体内容时,默认格式例如为720P。其中,媒体片段11、21和31内容相同,对应的内容标签为标签1。媒体片段12、22和32对应的内容标签为标签2。媒体片段13、23和33对应的内容标签为标签3。媒体片段14、24和34对应的内容标签为标签4。
在步骤S304基于方法600选定待传输的媒体片段时,码率切换过程如图3B和3C所示。在步骤S304基于方法700选定待传输的媒体片段时,码率切换过程如3D所示。
在图3B中,步骤S304可以确定标签1对应的匹配度属于第一级别(即用户对标签1不感兴趣)。步骤S304可以确定标签2对应的匹配度属于第二级别(即用户对标签2感兴趣)。基于步骤S605和S606的方式,步骤S304可以将码流低于默认格式的媒体片段11作为待传输媒体片段。步骤S304可以将属于默认格式的媒体片段22作为待传输的媒体片段。类似地,步骤S304可以选定媒体片段23和14作为待传输媒体片段,这里不再赘述。图3B中传输流为码率切换结果。
在图3C中,各标签的所属匹配度级别与图3B中相应标签一致。基于步骤S603和S604,步骤S304可以选定媒体片段21和24作为待传输的媒体片段。另外,步骤S304可以选定媒体片段32和33作为待传输的媒体片段。图3C中传输流为码率切换结果。
在图3D中,基于方法700,步骤S304可以确定标签1的匹配度属于第四级别,标签2的匹配度属于第五级别,标签3的匹配度属于第三级别,标签4的匹配度属于第五级别。相应的,步骤S304可以将媒体片段21、32、13和34分别确定为待传输的媒体片段。图3D中传输流为码率切换结果。
另外说明的是,用户设备104中媒体客户端应用108可以播放所接收到的媒体片段。这里,媒体客户端应用108可以在媒体播放界面中提供用户切换格式的操作控件。例如,媒体客户端应用108可以呈现如图8所示的媒体播放界面。在用户点击按钮801时,媒体播放界面可以显示复选框802。复选框802例如可以包括选项A(480P)、选项B(720P)和选项C(1080P)三种分辨率选项。每种分辨率选项对应一种视频流。在当前默认格式为720P格式,并且用户点击复选框中选项C时,媒体客户端应用108可以向媒体服务系统102发送对正在播放的媒体片段的格式切换请求。这里,格式切换请求对应的目标格式可以被作为最新的默认格式。
在步骤S305中,响应于对正在播放的媒体片段的格式切换请求,确定格式切换前后的格式变化。在一些实施例中,格式变化可以包括两种情况。一种是码率提高,另一种是码率降低。这里,格式变化可以反应用户对正在播放的媒体片段的感兴趣程度。例如,码率提高可以表明用户对正在播放的媒体片段的内容标签感兴趣。码率降低可以表明用户对正在播放的媒体片段的内容标签不感兴趣。
在步骤S306中,根据格式变化和内容标签,更新用户画像模型。在一些实施例中,当格式变化表示码率提高时,媒体服务系统102在步骤S306中更新用户画像模型,以提高用户画像模型与正在播放的媒体片段的内容标签的匹配度。
当格式变化表示码率降低时,媒体服务系统102在步骤S306中更新用户画像模型,以降低用户画像模型与内容标签的匹配度。
综上,媒体服务系统102通过对媒体内容的多个播放时间段内媒体片段执行方法300,可以根据用户兴趣自动化地对媒体流的格式进行切换,从而极大提高用户体验度。进一步,通过在方法300中将匹配度划分成多个匹配度级别,媒体服务系统102可以准确地向用户设备实时提供满足用户兴趣的码流。另外,通过在方法300中不断切换码流,媒体服务系统102可以灵活地向用户设备提供满足用户需求的码流,并且可以节省传输带宽资源。
图9示出了根据本申请一些实施例的媒体流控制装置900的示意图。媒体流控制装置900例如可以驻留在媒体服务系统102中,但不限于此。
如图9所示,媒体流控制装置900可以包括标签获取单元901、匹配单元902和选定单元903。
标签获取单元901用于获取与内容相同且格式不同的多个媒体片段对应的内容标签。多个媒体片段的格式按照码率、分辨率和帧率中至少一个进行区分。在一些实施例中,标签获取单元901可以对多个媒体片段中任一个媒体片段中图像帧进行图像特征提取,而根据提取结果得到内容标签。
匹配单元902用于确定用于描述用户兴趣的用户画像模型与内容标签的匹配度。在一些实施例中,匹配单元902可以确定匹配度所属的匹配度级别,并根据所属的匹配度级别而选定待传输的媒体片段。
在一些实施例中,当匹配度未达到第一阈值时,匹配单元902可以确定匹配度属于表示对内容标签不感兴趣的第一级别。当匹配度达到第一阈值时,匹配单元902可以确定匹配度属于表示对内容标签感兴趣的第二级别。
在一些实施例中,当匹配度未达到第二阈值时,匹配单元902可以确定匹配度属于表示对内容标签不感兴趣的第三级别。当匹配度达到第二阈值且未达到第三阈值时,匹配单元902可以确定匹配度属于表示对内容标签一般感兴趣的第四级别。其中第三阈值大于第二阈值;当匹配度达到第三阈值时,匹配单元902可以确定匹配度属于表示对内容标签非常感兴趣的第五级别。
选定单元903用于根据匹配度,从多个媒体片段中选定一个待传输的媒体片段。
在一些实施例中,当匹配度属于第一级别时,选定单元903可以选定多个片段中默认格式的媒体片段作为待传输的媒体片段。当匹配度属于第二级别时,选定单元903选定多个媒体片段中码率高于默认格式的一个媒体片段作为待传输的媒体片段。
在一些实施例中,当匹配度属于第二级别时,选定单元903选定多个片段中默认格式的媒体片段作为待传输的媒体片段。当匹配度属于第一级别时,选定单元903选定多个媒体片段中码率低于默认格式的一个媒体片段作为待传输的媒体片段。
在一些实施例中,当匹配度属于第四级别时,选定单元903可以选定多个片段中默认格式的媒体片段作为待传输的媒体片段。当匹配度属于第三级别时,选定单元903可以选定多个媒体片段中码率低于默认格式的一个媒体片段作为待传输的媒体片段。当匹配度属于第五级别时,选定单元903可以选定多个媒体片段中码率高于默认格式的一个媒体片段作为待传输的媒体片段。
综上,媒体服务系统102通过装置900,可以根据用户兴趣自动化地对媒体流的格式进行切换,从而极大提高用户体验度。
图10示出了根据本申请一些实施例的媒体流控制装置1000的示意图。媒体流控制装置1000例如可以驻留在媒体服务系统102中,但不限于此。
如图10所示,媒体流控制装置1000可以包括标签获取单元1001、匹配单元1002和选定单元1003。这里,标签获取单元1001、匹配单元1002和选定单元1003分别与标签获取单元901、匹配单元902和选定单元903的实施方式一致,这里不再赘述。
另外,装置1000还包括画像确定单元1004,用于在所匹配单元1002确定匹配度之前,根据用户历史操作记录,确定用户画像模型。
在一些实施例中,画像确定单元1004可以获取历史操作记录对应的已播放视频。画像确定单元1004可以对已播放视频进行图像特征提取操作而得到图像特征。基于已播放视频的图像特征,画像确定单元1004可以确定用户画像模型。
在一些实施例中,画像确定单元1004可以对已播放视频进行分组,每组包括至少一个已播放视频。基于每组中已播放视频对应的图像特征,画像确定单元1004可以确定一个用于判断对不同内容标签的感兴趣程度的分类器。在此基础上,画像确定单元1004可以对每组对应的分类器进行级联操作而得到用户画像模型。
在一些实施例中,画像确定单元1004可以响应于对正在播放的媒体片段的格式切换请求,确定格式切换前后的格式变化。根据格式变化和正在播放的媒体片段的内容标签,画像确定单元1004更新用户画像模型。
在一些实施例中,当格式变化表示码率提高时,画像确定单元1004可以更新用户画像模型,以提高用户画像模型与正在播放的媒体片段的内容标签的匹配度。当格式变化表示码率降低时,画像确定单元1004更新用户画像模型,以降低用户画像模型与内容标签的匹配度。
综上,媒体服务系统102通过装置1000,可以根据用户兴趣自动化地对媒体流的格式进行切换,从而极大提高用户体验度。进一步,通过在装置1000中将匹配度划分成多个匹配度级别,媒体服务系统102可以准确地向用户设备实时提供满足用户兴趣的码流。另外,通过在装置1000中中不断切换码流,媒体服务系统102可以灵活地向用户设备提供满足用户需求的码流,并且可以节省传输带宽资源。
图11示出了一个计算设备的组成结构图。这里,计算设备例如可以是媒体服务系统102中一个节点(例如是管理节点,但不限于此)。如图11所示,该计算设备包括一个或者多个处理器(CPU)1102、通信模块1104、存储器1106、用户接口1110,以及用于互联这些组件的通信总线1108。
处理器1102可通过通信模块1104接收和发送数据以实现网络通信和/或本地通信。
用户接口1110包括一个或多个输出设备1112,其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1110也包括一个或多个输入设备1114。用户接口1110例如可以接收遥控器的指令,但不限于此。
存储器1106可以是高速随机存取存储器,诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备;或者非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备,或其他非易失性固态存储设备。
存储器1106存储处理器1102可执行的指令集,包括:
操作系统1116,包括用于处理各种基本系统服务和用于执行硬件相关任务的程序;
应用1118,包括用于实现上述媒体流控制方法的各种程序,这种程序能够实现上述各实施例中的媒体流控制流程,比如可以包括媒体流控制装置900或者媒体流控制装置1000。
另外,本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然,数据处理程序构成了本申请。
此外,通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此,这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式,例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质,其中存储有数据处理程序,该数据处理程序用于执行本申请上述媒体流控制方法的任意一种实施例。
另外,本申请所述的方法步骤除了可以用数据处理程序来实现,还可以由硬件来实现,例如,可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的可选实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (15)

1.一种媒体流控制方法,其特征在于,包括:
获取与内容相同且格式不同的多个媒体片段对应的内容标签,所述多个媒体片段的格式按照码率、分辨率和帧率中至少一个进行区分;
确定用于描述用户兴趣的用户画像模型与所述内容标签的匹配度;以及
根据所述匹配度,从所述多个媒体片段中选定一个待传输的媒体片段。
2.如权利要求1所述的方法,其中,所述获取与内容相同且格式不同的多个媒体片段对应的内容标签,包括:
对所述多个媒体片段中任一个媒体片段中图像帧进行图像特征提取,而根据提取结果得到所述内容标签。
3.如权利要求1所述的方法,进一步包括:
在确定所述匹配度之前,根据用户历史操作记录,确定所述用户画像模型。
4.如权利要求3所述的方法,其中,所述根据用户历史操作记录,确定所述用户画像模型,包括:
获取所述历史操作记录对应的已播放视频;
对所述已播放视频进行图像特征提取操作而得到图像特征;
基于所述已播放视频的所述图像特征,确定所述用户画像模型。
5.如权利要求4所述的方法,其中,所述基于所述已播放视频的所述图像特征,确定所述用户画像模型,包括:
对所述已播放视频进行分组,每组包括至少一个已播放视频;
基于所述每组中已播放视频对应的图像特征,确定一个用于判断对不同内容标签的感兴趣程度的分类器;
对每组对应的分类器进行级联操作而得到所述用户画像模型。
6.如权利要求1所述的方法,其中,所述根据所述匹配度,从所述多个媒体片段中选定一个待传输的媒体片段,包括:
确定所述匹配度所属的匹配度级别,并根据所述所属的匹配度级别而选定所述待传输的媒体片段。
7.如权利要求6所述的方法,其中,所述确定所述匹配度所属的匹配度级别,包括:
当所述匹配度未达到第一阈值时,确定所述匹配度属于表示对所述内容标签不感兴趣的第一级别;
当所述匹配度达到第一阈值时,确定所述匹配度属于表示对所述内容标签感兴趣的第二级别。
8.如权利要求7所述的方法,其中,所述根据所述所属的匹配度级别而选定所述待传输的媒体片段,包括:
当所述匹配度属于所述第一级别时,选定所述多个片段中默认格式的媒体片段作为所述待传输的媒体片段;
当所述匹配度属于所述第二级别时,选定所述多个媒体片段中码率高于所述默认格式的一个媒体片段作为所述待传输的媒体片段。
9.如权利要求7所述的方法,其中,所述根据所述所属的匹配度级别而选定所述待传输的媒体片段,包括:
当所述匹配度属于所述第二级别时,选定所述多个片段中默认格式的媒体片段作为所述待传输的媒体片段;
当所述匹配度属于所述第一级别时,选定所述多个媒体片段中码率低于所述默认格式的一个媒体片段作为所述待传输的媒体片段。
10.如权利要求6所述的方法,其中,
所述确定所述匹配度所属的匹配度级别,包括:
当所述匹配度未达到第二阈值时,确定所述匹配度属于表示对所述内容标签不感兴趣的第三级别;
当所述匹配度达到所述第二阈值且未达到第三阈值时,确定所述匹配度属于表示对所述内容标签一般感兴趣的第四级别,其中所述第三阈值大于所述第二阈值;
当所述匹配度达到所述第三阈值时,确定所述匹配度属于表示对所述内容标签非常感兴趣的第五级别;
所述根据所述所属的匹配度级别而选定所述待传输的媒体片段,包括:
当所述匹配度属于所述第四级别时,选定所述多个片段中默认格式的媒体片段作为所述待传输的媒体片段;
当所述匹配度属于所述第三级别时,选定所述多个媒体片段中码率低于所述默认格式的一个媒体片段作为所述待传输的媒体片段;
当所述匹配度属于所述第五级别时,选定所述多个媒体片段中码率高于所述默认格式的一个媒体片段作为所述待传输的媒体片段。
11.如权利要求1所述的方法,进一步包括:
响应于对正在播放的媒体片段的格式切换请求,确定格式切换前后的格式变化;
根据所述格式变化和所述正在播放的媒体片段的内容标签,更新所述用户画像模型。
12.如权利要求11所述的方法,其中,所述根据所述格式变化和所述内容标签,更新所述用户画像模型,包括:
当所述格式变化表示码率提高时,更新所述用户画像模型以提高所述用户画像模型与所述正在播放的媒体片段的内容标签的匹配度;
当所述格式变化表示码率降低时,更新所述用户画像模型以降低所述用户画像模型与所述内容标签的匹配度。
13.一种媒体流控制装置,其特征在于,包括:
标签获取单元,用于获取与内容相同且格式不同的多个媒体片段对应的内容标签,所述多个媒体片段的格式按照码率、分辨率和帧率中至少一个进行区分;
匹配单元,用于确定用于描述用户兴趣的用户画像模型与所述内容标签的匹配度;以及
选定单元,用于根据所述匹配度,从所述多个媒体片段中选定一个待传输的媒体片段。
14.一种计算设备,其特征在于包括:
处理器;
存储器;以及
一个或多个程序,存储在该存储器中并被配置为由所述处理器执行,所述一个或多个程序包括用于执行权利要求1-12中任一项所述的方法的指令。
15.一种存储介质,存储有一个或多个程序,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行如权利要求1-12中任一项所述的方法。
CN201810684996.0A 2018-06-28 2018-06-28 媒体流控制方法、装置、计算设备及存储介质 Active CN108989905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810684996.0A CN108989905B (zh) 2018-06-28 2018-06-28 媒体流控制方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810684996.0A CN108989905B (zh) 2018-06-28 2018-06-28 媒体流控制方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN108989905A true CN108989905A (zh) 2018-12-11
CN108989905B CN108989905B (zh) 2021-05-28

Family

ID=64539203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810684996.0A Active CN108989905B (zh) 2018-06-28 2018-06-28 媒体流控制方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN108989905B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898031A (zh) * 2020-08-14 2020-11-06 腾讯科技(深圳)有限公司 一种获得用户画像的方法及装置
CN114422854A (zh) * 2021-12-31 2022-04-29 北京五八信息技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN117750058A (zh) * 2022-12-07 2024-03-22 行吟信息科技(武汉)有限公司 多媒体数据的处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1761955A (zh) * 2002-10-15 2006-04-19 韩国情报通信大学校产学协力团 基于用户偏爱提供多媒体内容服务的系统、方法和存储介质
US20060187353A1 (en) * 2005-01-27 2006-08-24 Takeyuki Fujii Information-processing apparatus and removable substrate used therein
CN101661504A (zh) * 2008-08-29 2010-03-03 奥多比公司 动态改变播放列表
CN102783170A (zh) * 2010-03-05 2012-11-14 汤姆森特许公司 自适应流传输系统中的比特率调整
CN105453573A (zh) * 2013-06-27 2016-03-30 英国电讯有限公司 提供视频数据
CN107846624A (zh) * 2017-10-30 2018-03-27 广东欧珀移动通信有限公司 视频画质调整方法、装置、终端设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1761955A (zh) * 2002-10-15 2006-04-19 韩国情报通信大学校产学协力团 基于用户偏爱提供多媒体内容服务的系统、方法和存储介质
US20060187353A1 (en) * 2005-01-27 2006-08-24 Takeyuki Fujii Information-processing apparatus and removable substrate used therein
CN101661504A (zh) * 2008-08-29 2010-03-03 奥多比公司 动态改变播放列表
CN102783170A (zh) * 2010-03-05 2012-11-14 汤姆森特许公司 自适应流传输系统中的比特率调整
CN105453573A (zh) * 2013-06-27 2016-03-30 英国电讯有限公司 提供视频数据
CN107846624A (zh) * 2017-10-30 2018-03-27 广东欧珀移动通信有限公司 视频画质调整方法、装置、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李涛等: "《数据挖掘的应用与实践——大数据时代的案例分析》", 31 October 2013, 厦门大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898031A (zh) * 2020-08-14 2020-11-06 腾讯科技(深圳)有限公司 一种获得用户画像的方法及装置
CN111898031B (zh) * 2020-08-14 2024-04-05 腾讯科技(深圳)有限公司 一种获得用户画像的方法及装置
CN114422854A (zh) * 2021-12-31 2022-04-29 北京五八信息技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN117750058A (zh) * 2022-12-07 2024-03-22 行吟信息科技(武汉)有限公司 多媒体数据的处理方法

Also Published As

Publication number Publication date
CN108989905B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN105612753B (zh) 媒体流传输期间在适配集合间的切换方法和装置
CN107743708B (zh) 经由dash来参与abr流传送会话的方法、装置和节点
EP2750405B1 (en) Information stream management
CN107634930B (zh) 一种媒体数据的获取方法和装置
CN108282449B (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
WO2023202095A1 (zh) 点云媒体的编解码方法、装置、电子设备和存储介质
US20220369000A1 (en) Split rendering of extended reality data over 5g networks
CN108989905A (zh) 媒体流控制方法、装置、计算设备及存储介质
WO2019128668A1 (zh) 视频码流处理方法、装置、网络设备和可读存储介质
WO2019192481A1 (zh) 媒体信息处理方法、相关设备及计算机存储介质
CN108307248B (zh) 视频播放方法、装置、计算设备及存储介质
CN109698957A (zh) 图像编码方法、装置、计算设备及存储介质
CN116346794A (zh) 接收媒体数据的方法、装置和非易失性计算机可读存储介质
WO2024041239A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
CN111031032A (zh) 云端视频转码方法及装置、解码方法及装置、及电子设备
Laghari et al. The state of art and review on video streaming
WO2024183506A1 (zh) 沉浸媒体的数据处理方法、装置、计算机设备、存储介质及程序产品
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
WO2018072488A1 (zh) 一种数据处理方法、相关设备及系统
KR20240007142A (ko) 5g 네트워크들을 통한 확장 현실 데이터의 분할 렌더링
CN111869225B (zh) 信息处理装置、信息处理方法及非暂时性计算机可读存储介质
KR20110129064A (ko) 콘텐트 가상 세그멘테이션 방법과, 이를 이용한 스트리밍 서비스 제공 방법 및 시스템
CN107547917B (zh) 频道的播放和处理方法及装置,频道的处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant