CN108965925A - 多媒体资源编码、多媒体流解码方法、装置、设备及介质 - Google Patents

多媒体资源编码、多媒体流解码方法、装置、设备及介质 Download PDF

Info

Publication number
CN108965925A
CN108965925A CN201810899067.1A CN201810899067A CN108965925A CN 108965925 A CN108965925 A CN 108965925A CN 201810899067 A CN201810899067 A CN 201810899067A CN 108965925 A CN108965925 A CN 108965925A
Authority
CN
China
Prior art keywords
prediction mode
modes
multimedia resource
identification information
predicting unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810899067.1A
Other languages
English (en)
Inventor
黄书敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201810899067.1A priority Critical patent/CN108965925A/zh
Publication of CN108965925A publication Critical patent/CN108965925A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种多媒体资源编码、多媒体流解码方法、装置、设备及介质,属于网络技术领域。方法包括:根据待编码的多媒体资源的画面特征,获取目标预测模式集合,目标预测模式集合中包括部分预测模式;从目标预测模式集合中,获取多媒体资源中的每个预测单元对应的预测模式;基于多媒体资源的画面特征和目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对多媒体资源进行编码,得到多媒体流,每个预测单元携带有对应的预测模式的标识信息。本发明中多媒体流携带的预测模式的标识信息长度短,降低了标识信息占用的比特数,降低了多媒体资源编码的码率,也降低了多媒体资源编解码或传输的负担。

Description

多媒体资源编码、多媒体流解码方法、装置、设备及介质
技术领域
本发明涉及网络技术领域,特别涉及一种多媒体资源编码、多媒体流解码方法、装置、设备及介质。
背景技术
随着网络技术的发展以及终端功能的多样化,人们通过可以通过多媒体资源采集设备采集多媒体资源,并对多媒体资源进行编码,得到多媒体流后进行发送,解码设备可以对接收到的多媒体流进行解码。其中,多媒体帧可以是图像帧,也可以是视频帧。一般地,上述编码和解码过程中,通常需要对多媒体帧进行帧内预测。其中,帧内预测是指利用一帧图像内的像素间的空间相关性,预测已编码像素或已解码像素的值,预测待编码像素或待解码像素的值的过程。例如,H.264编码协议中每个宏块的大小可以为16x16,在进行帧内预测时,可以将该宏块作为预测单元,也可以将宏块分为4个8x8的子宏块,或者16个4x4的子宏块,从而将每个子宏块作为预测单元。
目前,对于预测模式的标识信息,通常是将所有的预测模式进行排序,并为每个预测模式设置有一个标识信息,该标识信息即为该预测模式在所有预测模式中的序号。可以理解地,预测模式的数量越大,该标识信息的长度越长。多媒体资源发送方法通常是获取到多媒体资源后,对于多媒体资源中的每个预测单元,从所有预测模式中选择一个最优的预测模式,以该最优的预存模式对该预测单元进行帧内预测和编码,得到多媒体流,从而可以将该多媒体流发送给其他设备。其中,该多媒体流中该预测单元携带有该预测模式的标识信息。
上述方法中对所有的预测模式进行统一编号,预测模式通常数量较大,例如,H.264中I4x4块或I8x8块有9个预测模式,I16x16块有4个预测模式。H.265的预测模式的数量比H.264更多,多达35种。并且随着图像或视频编码技术的发展,预测模式的数量也会越来愈大,则预测模式的标识信息的长度将越来越长,则增加了对多媒体资源进行编码的码率,增加了多媒体资源编解码或传输的负担。
发明内容
本发明实施例提供了一种多媒体资源编码、多媒体流解码方法、装置、设备及介质,可以解决相关技术中预测模式的标识信息的长度过长,增加多媒体资源编码的码率,多媒体资源编解码或传输的负担过大的问题。所述技术方案如下:
一方面,提供了一种多媒体资源编码方法,所述方法包括:
根据待编码的多媒体资源的画面特征,获取目标预测模式集合,所述目标预测模式集合中包括部分预测模式,所述待编码的多媒体资源中包括至少一个预测单元;
从所述目标预测模式集合中,获取所述多媒体资源中的每个预测单元对应的预测模式;
基于所述多媒体资源的画面特征和所述目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对所述多媒体资源进行编码,得到多媒体流,所述多媒体流携带有所述多媒体资源的画面特征或所述目标预测模式集合的标识信息,每个预测单元携带有对应的预测模式的标识信息,所述预测模式的标识信息用于体现所述预测模式在所述目标预测模式集合中的序号。
在一种可能实现方式中,所述待编码的多媒体资源的画面特征为所述多媒体资源的属性,所述属性包括资源类型、来源、材质或内容;或,所述待编码的多媒体资源的画面特征基于所述多媒体资源的属性确定,所述属性包括资源类型、来源或材质或内容。
在一种可能实现方式中,所述根据待编码的多媒体资源的画面特征,获取所述画面特征对应的目标预测模式集合,包括:
根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择所述待编码的多媒体资源的画面特征对应的候选预测模式集合作为目标预测模式集合。
在一种可能实现方式中,所述从所述目标预测模式集合中,获取所述多媒体资源中的每个预测单元对应的预测模式,包括:
对于每个预测单元,获取所述预测单元与所述目标预测模式集合中的每个预测模式之间的匹配度;
将与所述预测单元的匹配度最大的预测模式作为所述预测单元对应的预测模式。
在一种可能实现方式中,所述基于所述多媒体资源的画面特征和所述目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对所述多媒体资源进行编码,得到多媒体流,包括:
基于每个预测单元对应的预测模式,对每个预测单元进行预测和编码,对所述多媒体资源的画面特征或所述目标预测模式集合的标识信息进行编码,得到多媒体流,所述多媒体流中的指定字段用于存储所述多媒体资源的画面特征的编码或所述目标预测模式集合的标识信息的编码,每个预测单元的编码中的指定字段用于存储对应的预测模式的标识信息的编码。
在一种可能实现方式中,所述基于所述多媒体资源的画面特征和所述目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对所述多媒体资源进行编码,得到多媒体流之后,所述方法还包括:
将所述多媒体流发送至解码设备,由所述解码设备对所述多媒体流进行解码,基于所述多媒体流携带的所述画面特征和所述目标预测模式集合的标识信息中任一种,以及每个预测单元携带的对应的预测模式的标识信息进行预测,得到多媒体资源。
在一种可能实现方式中,所述待编码的多媒体资源为至少一个图像帧;或,所述待编码的多媒体资源为至少一个视频帧;或,所述待编码的多媒体资源为一个图像帧的部分;或,所述待编码的多媒体资源为一个视频帧的部分。
一方面,提供了一种多媒体流解码方法,所述方法包括:
对多媒体流进行解码,得到所述多媒体流包括的至少一个预测单元、所述多媒体流携带的多媒体资源的画面特征或目标预测模式集合的标识信息,以及每个预测单元携带有对应的预测模式的标识信息,所述预测模式的标识信息用于体现所述预测模式在所述目标预测模式集合中的序号;
根据所述画面特征或所述目标预测模式集合的标识信息,获取目标预测模式集合,所述目标预测模式集合中包括部分预测模式;
根据每个预测单元对应的预测模式的标识信息,从所述目标预测模式集合中,获取每个预测单元对应的预测模式,基于获取到的预测模式,对所述每个预测单元进行预测,得到多媒体资源。
在一种可能实现方式中,所述根据所述画面特征或所述目标预测模式集合的标识信息,获取目标预测模式集合,包括:
根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择所述画面特征对应的候选预测模式集合作为目标预测模式集合;或,
获取所述目标预测模式集合的标识信息对应的目标预测模式集合。
一方面,提供了一种多媒体资源编码装置,所述装置包括:
集合获取模块,用于根据待编码的多媒体资源的画面特征,获取目标预测模式集合,所述目标预测模式集合中包括部分预测模式,所述待编码的多媒体资源中包括至少一个预测单元;
模式获取模块,用于从所述目标预测模式集合中,获取所述多媒体资源中的每个预测单元对应的预测模式;
编码模块,用于基于所述多媒体资源的画面特征和所述目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对所述多媒体资源进行编码,得到多媒体流,所述多媒体流携带有所述多媒体资源的画面特征或所述目标预测模式集合的标识信息,每个预测单元携带有对应的预测模式的标识信息,所述预测模式的标识信息用于体现所述预测模式在所述目标预测模式集合中的序号。
在一种可能实现方式中,所述待编码的多媒体资源的画面特征为所述多媒体资源的属性,所述属性包括资源类型、来源、材质或内容;或,所述待编码的多媒体资源的画面特征基于所述多媒体资源的属性确定,所述属性包括资源类型、来源或材质或内容。
在一种可能实现方式中,所述集合获取模块用于根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择所述待编码的多媒体资源的画面特征对应的候选预测模式集合作为目标预测模式集合。
在一种可能实现方式中,所述模式获取模块用于:
对于每个预测单元,获取所述预测单元与所述目标预测模式集合中的每个预测模式之间的匹配度;
将与所述预测单元的匹配度最大的预测模式作为所述预测单元对应的预测模式。
在一种可能实现方式中,所述编码模块用于基于每个预测单元对应的预测模式,对每个预测单元进行预测和编码,对所述多媒体资源的画面特征或所述目标预测模式集合的标识信息进行编码,得到多媒体流,所述多媒体流中的指定字段用于存储所述多媒体资源的画面特征的编码或所述目标预测模式集合的标识信息的编码,每个预测单元的编码中的指定字段用于存储对应的预测模式的标识信息的编码。
在一种可能实现方式中,所述装置还包括:
发送模块,用于将所述多媒体流发送至解码设备,由所述解码设备对所述多媒体流进行解码,基于所述多媒体流携带的所述画面特征和所述目标预测模式集合的标识信息中任一种,以及每个预测单元携带的对应的预测模式的标识信息进行预测,得到多媒体资源。
在一种可能实现方式中,所述待编码的多媒体资源为至少一个图像帧;或,所述待编码的多媒体资源为至少一个视频帧;或,所述待编码的多媒体资源为一个图像帧的部分;或,所述待编码的多媒体资源为一个视频帧的部分。
一方面,提供了一种多媒体流解码装置,所述装置包括:
解码模块,用于对多媒体流进行解码,得到所述多媒体流包括的至少一个预测单元、所述多媒体流携带的多媒体资源的画面特征或目标预测模式集合的标识信息,以及每个预测单元携带有对应的预测模式的标识信息,所述预测模式的标识信息用于体现所述预测模式在所述目标预测模式集合中的序号;
获取模块,用于根据所述画面特征或所述目标预测模式集合的标识信息,获取目标预测模式集合,所述目标预测模式集合中包括部分预测模式;
预测模块,用于根据每个预测单元对应的预测模式的标识信息,从所述目标预测模式集合中,获取每个预测单元对应的预测模式,基于获取到的预测模式,对所述每个预测单元进行预测,得到多媒体资源。
在一种可能实现方式中,所述获取模块用于根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择所述画面特征对应的候选预测模式集合作为目标预测模式集合;或,
所述获取模块用于获取所述目标预测模式集合的标识信息对应的目标预测模式集合。
一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现所述多媒体资源编码方法所执行的操作;或实现所述多媒体流解码方法所执行的操作。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述指令由所述处理器加载并执行以实现所述多媒体资源编码方法所执行的操作;或实现所述多媒体流解码方法所执行的操作。
本发明实施例通过根据多媒体资源的画面特征,获取对应的预测模式集合,然后从集合中选择一个预测模式作为每个预测单元对应的预测模式,而不是从所有预测模式中确定一个预测模式,因而,对画面特征和预测单元进行编码,得到的多媒体流携带的预测模式的标识信息为在预测模式集合中的序号,而不是通过所有预测模式统一排序得到,则可以降低该预测模式的标识信息的长度,从而降低该预测模式的标识信息占用的比特数,从而可以降低多媒体资源编码的码率,也降低了多媒体资源编解码或传输的负担。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多媒体资源编码方法流程图;
图2是本发明实施例提供的一种多媒体流解码方法流程图;
图3是本发明实施例提供的一种多媒体资源编码方法流程图;
图4是本发明实施例提供的一种多媒体流解码方法流程图;
图5是本发明实施例提供的一种多媒体资源编码装置的结构示意图;
图6是本发明实施例提供的一种多媒体流解码装置的结构示意图;
图7是本发明实施例提供的一种终端的结构框图;
图8是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种多媒体资源编码方法流程图,参见图1,该方法可以包括以下步骤:
101、计算机设备根据待编码的多媒体资源的画面特征,获取目标预测模式集合,该目标预测模式集合中包括部分预测模式,该待编码的多媒体资源中包括至少一个预测单元。
102、计算机设备从该目标预测模式集合中,获取该多媒体资源中的每个预测单元对应的预测模式。
103、计算机设备基于该多媒体资源的画面特征和该目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对该多媒体资源进行编码,得到多媒体流,该多媒体流携带有该多媒体资源的画面特征或该目标预测模式集合的标识信息,每个预测单元携带有对应的预测模式的标识信息,该预测模式的标识信息用于体现该预测模式在该目标预测模式集合中的序号。
本发明实施例通过根据多媒体资源的画面特征,获取对应的预测模式集合,然后从集合中选择一个预测模式作为每个预测单元对应的预测模式,而不是从所有预测模式中确定一个预测模式,因而,对画面特征和预测单元进行编码,得到的多媒体流携带的预测模式的标识信息为在预测模式集合中的序号,而不是通过所有预测模式统一排序得到,则可以降低该预测模式的标识信息的长度,从而降低该预测模式的标识信息占用的比特数,从而可以降低多媒体资源编码的码率,也降低了多媒体资源编解码或传输的负担。
在一种可能实现方式中,该待编码的多媒体资源的画面特征为该多媒体资源的属性,该属性包括资源类型、来源、材质或内容;或,该待编码的多媒体资源的画面特征基于该多媒体资源的属性确定,该属性包括资源类型、来源或材质或内容。
在一种可能实现方式中,该根据待编码的多媒体资源的画面特征,获取该画面特征对应的目标预测模式集合,包括:
根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择该待编码的多媒体资源的画面特征对应的候选预测模式集合作为目标预测模式集合。
在一种可能实现方式中,该从该目标预测模式集合中,获取该多媒体资源中的每个预测单元对应的预测模式,包括:
对于每个预测单元,获取该预测单元与该目标预测模式集合中的每个预测模式之间的匹配度;
将与该预测单元的匹配度最大的预测模式作为该预测单元对应的预测模式。
在一种可能实现方式中,该基于该多媒体资源的画面特征和该目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对该多媒体资源进行编码,得到多媒体流,包括:
基于每个预测单元对应的预测模式,对每个预测单元进行预测和编码,对该多媒体资源的画面特征或该目标预测模式集合的标识信息进行编码,得到多媒体流,该多媒体流中的指定字段用于存储该多媒体资源的画面特征的编码或该目标预测模式集合的标识信息的编码,每个预测单元的编码中的指定字段用于存储对应的预测模式的标识信息的编码。
在一种可能实现方式中,该基于该多媒体资源的画面特征和该目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对该多媒体资源进行编码,得到多媒体流之后,该方法还包括:
将该多媒体流发送至解码设备,由该解码设备对该多媒体流进行解码,基于该多媒体流携带的该画面特征和该目标预测模式集合的标识信息中任一种,以及每个预测单元携带的对应的预测模式的标识信息进行预测,得到多媒体资源。
在一种可能实现方式中,该待编码的多媒体资源为至少一个图像帧;或,该待编码的多媒体资源为至少一个视频帧;或,该待编码的多媒体资源为一个图像帧的部分;或,该待编码的多媒体资源为一个视频帧的部分。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
图2是本发明实施例提供的一种多媒体流解码方法流程图,参见图2,该方法可以包括以下步骤:
201、计算机设备对多媒体流进行解码,得到该多媒体流包括的至少一个预测单元、该多媒体流携带的多媒体资源的画面特征或目标预测模式集合的标识信息,以及每个预测单元携带有对应的预测模式的标识信息,该预测模式的标识信息用于体现该预测模式在该目标预测模式集合中的序号。
202、计算机设备根据该画面特征或该目标预测模式集合的标识信息,获取目标预测模式集合,该目标预测模式集合中包括部分预测模式。
203、计算机设备根据每个预测单元对应的预测模式的标识信息,从该目标预测模式集合中,获取每个预测单元对应的预测模式,基于获取到的预测模式,对该每个预测单元进行预测,得到多媒体资源。
本发明实施例通过对多媒体流进行解码,得到该多媒体流携带的画面特征或对应的预测模式集合的标识信息,以及每个预测单元携带的对应的预测模式的标识信息,从而可以根据画面特征或对应的预测模式集合的标识信息,获取对应的预测模式集合后,从集合中选择预测模式的标识信息对应的预测模式,对预测单元进行预测,该预测模式的标识信息为在预测模式集合中的序号,而不是通过所有预测模式统一排序得到,则可以降低该预测模式的标识信息的长度,从而降低该预测模式的标识信息占用的比特数,从而可以降低多媒体资源编码的码率,提高了多媒体流解码的效率,也降低了多媒体资源编解码或传输的负担。
在一种可能实现方式中,该根据该画面特征或该目标预测模式集合的标识信息,获取目标预测模式集合,包括:
根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择该画面特征对应的候选预测模式集合作为目标预测模式集合;或,
获取该目标预测模式集合的标识信息对应的目标预测模式集合。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
图3是本发明实施例提供的一种多媒体资源编码方法流程图,该方法应用于计算机设备,该计算机设备可以为编码器,该计算机设备可以对获取到的多媒体资源进行编码,得到多媒体流。参见图3,该方法可以包括以下步骤:
301、计算机设备获取待编码的多媒体资源。
在本发明实施例中,该计算机设备可以具有编码功能,它可以对获取到的多媒体资源进行编码,从而得到多媒体流,以便于存储或向其他设备发送该多媒体流。
具体地,该步骤301中,该计算机设备可以从图像采集设备或视频采集设备处获取待编码的多媒体资源,也可以通过自身的图像采集功能或视频采集功能采集到待编码的多媒体资源,当然,该计算机设备还可以通过其他方式获取到待编码的多媒体资源,例如,可以从网站中下载得到,本发明实施例对此不作限定。
其中,该待编码的多媒体资源可以为至少一个图像帧;或,该待编码的多媒体资源可以为至少一个视频帧;或,该待编码的多媒体资源可以为一个图像帧的部分;或,该待编码的多媒体资源可以为一个视频帧的部分。也即是,该待编码的多媒体资源可以为一个图像序列,也可以为一个图像帧,也可以为一个视频帧,当然,还可以为一个图像帧或一个视频帧的一部分,本发明实施例对此不作限定。
302、计算机设备根据待编码的多媒体资源的画面特征,获取目标预测模式集合。
多媒体资源的画面特征不同,则适合使用不同的预测模式为该多媒体资源进行预测。也即是多媒体资源的画面特征不同,则该多媒体资源适合的预测模式则不同。其中,该预测模式是指参考像素的数量、位置,以及预测算法,该预测算法是指根据参考像素,预测待编码的预测单元的像素值所用的算法。在一种可能实现方式中,该参考像素的位置可以为传统算法中的左邻和上邻各一行像素,也可以是其它位置的多行或多个像素,本发明实施例对此不作限定。
在本发明实施例中,计算机设备对多媒体资源的画面特征进行了划分,每种画面特征均可以对应于适合对这种画面特征进行预测的至少一个预测模式。每种画面特征对应的至少一个预测模式可以组成一个预测模式集合,则该预测模式集合中包括的预测模式适用于对这种画面特征进行预测,计算机设备在进行预测编码时,即可以先获取多媒体资源的画面特征,以便于确定使用哪个预测模式集合中的预测模式对这种画面特征进行预测编码。
具体地,该待编码的多媒体资源的画面特征为该多媒体资源的属性,该属性包括资源类型、来源、材质或内容;或,该待编码的多媒体资源的画面特征基于该多媒体资源的属性确定,该属性包括资源类型、来源或材质或内容。可以理解地,多媒体资源的资源类型不同,或者来源不同,或者材质不同,或者内容不同,则该多媒体资源的画面特征则可能不同。当然,该多媒体资源的属性还可以包括其他内容,例如,多媒体资源的资源大小等,本发明实施例对此不作限定。
例如,以视频类型为例,视频类型可以包括自然风光、卡通、电影、体育赛事或秀场直播等,当然,还可能包括其他种类,在此不一一列举,不同的视频类型有不同的画面特征,则相应地,每个视频类型可以对应一个预测模式集合。因此,可以根据多媒体资源的属性,划分多种画面特征,从而计算机设备在通过步骤301获取到待编码的多媒体资源时,可以根据多媒体资源的属性,确定该待编码的多媒体资源的画面特征,或者获取该多媒体资源的属性,作为该待编码的多媒体资源的画面特征,例如,在通过滤波器对多媒体资源进行处理时,可以基于该多媒体资源进行主题推测,得到该多媒体资源的画面特征。
在一种可能实现方式中,上述计算机设备确定画面特征的过程可以采用基于机器自动判别的方式实现,也可以采用人工标注的方式实现,也即是,上述过程可以由计算机设备根据机器学习结果或根据预设的判定算法判别实现,也可以由相关技术人员进行识别并标注画面特征,本发明实施例对此不作限定。
其中,该待编码的多媒体资源中包括至少一个预测单元。预测单元为进行预测的基础单元,一方面,该预测单元可以为一个宏块,也可以为一个子宏块,另一方面,该预测单元可以为亮度块,也可以是色度块,本发明实施例对此不作限定。例如,以H.264为例,预测单元可以为16x16的宏块,也可以为4x4子宏块,也可以为8x8子宏块,本发明实施例对该预测单元具体为哪种不作限定。
该目标预测模式集合中包括部分预测模式,该部分预测模式其实为适用于对该画面特征进行预测的至少一个预测模式,也即是每种画面特征可以对应有一个预测模式集合,该预测模式集合中包括至少一个预测模式。具体地,在该计算机设备中,可以预先存储有至少一个预测模式集合以及预测模式集合与画面特征的对应关系。其中,该预测模式集合以及预测模式集合与画面特征的对应关系可以由相关技术人员预先设置,也可以通过机器学习得到,本发明实施例对此不作具体限定。
具体地,可以将所有的预测模式的集合称为集合S,每个预测模式集合为该集合S的一个子集,记为Si,i=1,2,3,…,n,n为子集的数量。也即是,将预测模式分为了n个预测模式集合,且每种预测模式集合均对应一种画面特征,例如,“自然风光”对应预测模式集合S1,“卡通”对应预测模式集合S2,…,“秀场直播”对应预测模式集合Sn。例如,以采用H.265协议为例,H.265中共有35种预测模式,通过对画面特征进行划分,得到4种画面特征:画面特征1、画面特征2、画面特征3和画面特征4。将上述35种预测模式中适用于对画面特征1进行预测的预测模式归入预测模式集合1中,例如有10种,以此类推,可以得到4个预测模式集合,分别包括的预测模式的数量可以为:10、9、8、10。
可以将上述划分得到的预测模式集合作为候选预测模式集合,则计算机设备可以根据上述对应关系,先确定适用于对多媒体资源进行预测的预测模式集合,再一一确定每个预测单元适用的预测模式。也即是该步骤302具体可以为:计算机设备根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择该待编码的多媒体资源的画面特征对应的候选预测模式集合作为目标预测模式集合。
在一种可能实现方式中,对应每个预测模式集合,该预测模式集合中的预测模式均可以对应存储有该预测模式的标识信息,该标识信息用于唯一标识该预测模式。具体地,该标识信息可以基于该预测模式在该预测模式集合中的序号确定,上述目标预测模式集合同理。相关技术中,通常将所有的预测模式进行统一编号,例如,上述H.265中的35种预测模式,如果不采用其他优化技术,则需要用至少6个比特(bit)来对预测模式进行标识,如果采用了其他优化技术,则可能用5个比特或者更少的比特来标识,需要说明的是,以上仅为不考虑熵编码等后续步骤对比特长度的影响情况为例进行说明。而通过预测模式集合的划分,预测模式集合中的预测模式的数量一般小于所有的预测模式,则以预测模式集合为基准进行编号,得到的标识信息的长度比较小,占用的比特数较少,可以节省多媒体资源编码的码率,也可以减轻多媒体资源的传输负担。例如,以预测模式集合1中的预测模式的数量为10,则如果不采用其他优化技术,则可以用4个bit来标识该预测模式集合中的预测模式即可,而如果采用了其他优化技术,则实际可能采用更少的比特数即可,本发明实施例在此不作过多赘述。需要说明的是,上述数值仅为一种示例性说明,本发明实施例对具体标识信息所占用的比特数不作限定。
303、计算机设备从该目标预测模式集合中,获取该多媒体资源中的每个预测单元对应的预测模式。
计算机设备获取到目标预测模式集合后,可以在该目标预测模式集合中,确定每个预测单元对应的预测模式。这样从集合中选择一个预测模式,而不是从所有预测模式中选择,可以提高预测模式的确定效率。具体地,对于每个预测单元,计算机设备可以从目标预测模式集合中选择一个最优的预测模式,来对该预测单元进行预测。在一种可能实现方式中,该步骤303可以为:对于每个预测单元,计算机设备获取该预测单元与该目标预测模式集合中的每个预测模式之间的匹配度,则计算机设备可以将与该预测单元的匹配度最大的预测模式作为该预测单元对应的预测模式。
例如,该步骤303可以采用基于拉格朗日的率失真编码优化算法实现,对于每个预测单元,计算机设备可以遍历该目标预测模式集合中每个预测模式,对每个预测模式进行率失真计算,得到每个预测模式的率失真值,则计算机设备可以将率失真值最小的预测模式作为该预测单元对应的预测模式。
当然,该步骤303也可以通过其他方式实现,例如,通过预先训练好的模型,对每种预测模式进行评估,确定最优的预测模式作为预测单元对应的预测模式,本发明实施例对此不作具体限定。
在一种可能实现方式中,对应于上述步骤302中提到的预测模式的标识信息,在该步骤303中,计算机设备获取每个预测单元对应的预测模式时,还可以获取该预测模式的标识信息。
304、计算机设备基于该多媒体资源的画面特征和该目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对该多媒体资源进行编码,得到多媒体流。
计算机设备获取到每个预测单元对应的预测模式后,可以对该多媒体资源进行编码,得到多媒体流。其中,该多媒体流携带有该多媒体资源的画面特征或目标预测模式集合的标识信息,每个预测单元携带有对应的预测模式的标识信息,该预测模式的标识信息用于体现该预测模式在该目标预测模式集合中的序号。也即是,该步骤304中,计算机设备可以在编码过程中,将上述获取到的多媒体资源的画面特征和每个预测单元对应的预测模式的标识信息编入码流中。
具体地,该步骤304可以包括两种可能实现方式:
第一种方式、计算机设备基于该多媒体资源的画面特征和每个预测单元对应的预测模式,对该多媒体资源进行编码,得到多媒体流。相应地,该多媒体流携带有该多媒体资源的画面特征。
在该第一种方式中,该多媒体资源的画面特征与预测模式集和具有对应关系,后续解码器获取到该多媒体流携带的画面特征后,可以基于该画面特征,获取对应的预测模式集合。
第二种方式、计算机设备基于该目标预测模式集合和每个预测单元对应的预测模式,对该多媒体资源进行编码,得到多媒体流。相应地,该多媒体流携带有目标预测模式集合的标识信息。
在该第二种方式中,在该计算机设备中还可以存储有预测模式集合和预测模式集合的标识信息的对应关系,该预测模式集合的标识信息用于唯一标识预测模式集合。该计算机设备基于画面特征,获取到目标预测模式集合后,可以将该目标预测模式集合的标识信息编入多媒体流中,后续解码器在获取到目标预测模式集合的标识信息后,可以根据该标识信息,获取相应的目标预测模式集合。
上述两种方式中,具体解码器获取到多媒体流携带的信息后进行预测的过程可以参见图4所示实施例,本发明实施例在此不多做赘述。
具体地,该步骤304可以为:计算机设备基于每个预测单元对应的预测模式,对每个预测单元进行预测和编码,对该多媒体资源的画面特征或该目标预测模式集合的标识信息进行编码,得到多媒体流,该多媒体流中的指定字段用于存储该多媒体资源的画面特征的编码或该目标预测模式集合的标识信息的编码,每个预测单元的编码中的指定字段用于存储对应的预测模式的标识信息的编码。
在上述过程中,如果计算机设备对多媒体资源的画面特征进行编码,则多媒体流中的指定字段用于存储该多媒体资源的画面特征的编码;如果计算机设备对该目标预测模式集合的标识信息进行编码,则该多媒体流中的指定字段用于存储该目标预测模式集合的标识信息的编码。
通过上述过程,该多媒体流可以携带多媒体资源的画面特征或目标预测模式集合的标识信息,每个预测单元也可以携带有对应的预测模式的标识信息,从而在对该多媒体流进行解码时,可以获取到上述携带的信息,从而确定如何对每个预测单元进行预测。且通过预测模式集合的设置,可以通过分级地表达预测模式,在预测模式的数量较多时,可以快速确定每个预测单元对应的预测模式,降低了多媒体资源编码的码率,进一步提升多媒体资源编码的效率。正是通过上述分级表达预测模式的方式,可以解决相关技术中通过机器学习的方法,从所有的预测模式中,为多媒体资源中的每个预测单元确定最优的预测模式时导致的预测模式的标识信息的长度较大,占用比特数较大的问题,也即是本发明实施例有利于释放机器学习的力量。进一步地,解决了预测模式的数量与编码后的码率的矛盾后,后续可以根据多媒体资源的特性,再增加预测模式的数量,以提高了帧内预测的准确性。
在一种可能实现方式中,上述编码过程具体可以通过下述步骤(1)至(3)实现:
(1)计算机设备基于每个预测单元对应的预测模式,对每个预测单元进行预测和编码,得到每个预测单元的编码,该每个预测单元的编码中的指定字段用于存储该对应的预测模式的标识信息的编码。
在该步骤(1)中,计算机设备获取到每个预测单元对应的预测模式后,可以对每个预测单元进行预测,得到该预测单元的残差值。例如,对于每个预测单元,计算机设备可以基于该预测模式包括的参考像素值和预测算法,确定该预测单元的残差值,具体地,对于该预测单元中的每个像素点,计算机设备基于该预测模式中的预测算法和参考像素值得到预测值,从而获取原始值和预测值的差值作为残差值。然后计算机设备可以对预测单元的残差值和该预测单元对应的预测模式的标识信息进行编码,得到该预测单元的编码。当然,上述仅以一种编码方式为例进行说明,本发明实施例对具体编码过程不作限定。
(2)计算机设备对该多媒体资源的画面特征或该目标预测模式集合的标识信息进行编码,得到该多媒体资源的画面特征的编码或该目标预测模式集合的标识信息的编码。也即是,计算机设备对该多媒体资源的画面特征进行编码,得到该多媒体资源的画面特征的编码;或,计算机设备对该目标预测模式集合的标识信息进行编码,得到该目标预测模式集合的标识信息的编码。
上述每个预测单元对应的预测模式的标识信息基于该预测模式在目标预测模式集合中的序号确定,则计算机设备可以将多媒体资源的画面特征编入码流中,从而解码并预测时,可以根据画面特征,确定目标预测模式集合,从而可以根据上述预测模式在目标预测模式集合中的序号,确定每个预测单元对应的预测模式。或者,计算机设备可以将目标预测模式集合的标识信息编入码流中,从而解码并预测时,可以直接根据该目标预测模式集合的标识信息,获取到目标预测模式集合,而无需通过画面特征,确定目标预测模式集合,可以进一步提高解码效率。
(3)计算机设备对该多媒体资源的画面特征的编码和该目标预测模式集合的标识信息的编码中任一种,以及该每个预测单元的编码进行封装,得到多媒体流,该多媒体流中的指定字段用于存储该多媒体资源的画面特征的编码或该目标预测模式集合的标识信息的编码。
计算机设备可以将通过上述过程得到的每个预测单元的编码和多媒体资源的画面特征的编码均封装在多媒体流中。需要说明的是,该编码过程中还可以包括变换、量化、熵编码等过程,当然,不同的编码协议,也可能有不同的过程,本发明实施例在此不多做赘述。
在一种可能实现方式中,计算机设备通过上述过程,对多媒体资源进行编码得到多媒体流后,可以将该多媒体流发送至解码设备,由该解码设备对该多媒体流进行解码,基于该多媒体流携带的该画面特征和该目标预测模式集合的标识信息中任一种,以及每个预测单元携带的对应的预测模式的标识信息进行预测,得到多媒体资源。具体解码过程可以参见图4所示实施例,本发明实施例在此不多做赘述。当然,还有一种可能实现方式中,该计算机设备也可以存储该多媒体流,或将该多媒体流发送至解码设备,由解码设备存储该多媒体流,本发明实施例对此不作限定。
本发明实施例通过根据多媒体资源的画面特征,获取对应的预测模式集合,然后从集合中选择一个预测模式作为每个预测单元对应的预测模式,而不是从所有预测模式中确定一个预测模式,因而,对画面特征和预测单元进行编码,得到的多媒体流携带的预测模式的标识信息为在预测模式集合中的序号,而不是通过所有预测模式统一排序得到,则可以降低该预测模式的标识信息的长度,从而降低该预测模式的标识信息占用的比特数,从而可以降低多媒体资源编码的码率,也降低了多媒体资源编解码或传输的负担。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
图4是本发明实施例提供的一种多媒体流解码方法流程图,该方法应用于计算机设备,该计算机设备可以为解码器,该计算机设备可以对获取到的多媒体流进行编码得到多媒体资源,在一种可能实现方式中,本发明实施例中涉及到的计算机设备可以为上述图3所示实施例中提到的解码设备,也即是本发明实施例中的解码器可以接收上述图3所示实施例中编码器发送的编码后得到的多媒体流,对多媒体流进行解码,得到多媒体资源。当然,在另一种可能实现方式中,本发明实施例中涉及到的计算机设备也可以从服务器获取多媒体资源,对多媒体资源进行解码,本发明实施例对此不作限定。参见图4,该方法可以包括以下步骤:
401、计算机设备获取多媒体流。
该计算机设备具有解码功能,它可以对获取到的多媒体流进行解码,得到多媒体资源,从而可以在该计算机设备上显示、播放或存储该多媒体资源,或将解码后的多媒体资源传输至其他设备,由其他设备显示或播放该多媒体资源。
在该步骤401中,该计算机设备可以获取多媒体流,具体地,该计算机设备可以接收上述图3所示实施例中的计算机设备发送的多媒体流,也可以从服务器中获取多媒体流,本发明实施例对多媒体流的具体来源不作限定。
402、计算机设备对多媒体流进行解码,得到该多媒体流包括的至少一个预测单元、该多媒体流携带的多媒体资源的画面特征或目标预测模式集合的标识信息,以及每个预测单元携带有对应的预测模式的标识信息。
其中,该预测模式的标识信息用于体现该预测模式在该目标预测模式集合中的序号。对应于图3所示实施例中的步骤304,该多媒体流中携带的信息可能包括两种情况:
第一种情况、该多媒体流携带有多媒体资源的画面特征。
需要说明的是,该计算机设备基于该步骤402获取到的多媒体资源的画面特征由图3所示出的计算机设备确定,并编入该多媒体流中由该多媒体流携带,在此称图3所示出的计算机设备为编码器,称图4所示出的计算机设备为解码器,也即是,编码器可以确定多媒体资源的画面特征,并在编码过程中将该画面特征编入多媒体流中,解码器获取到该多媒体流后,即可获取到该多媒体流携带的画面特征,而无需在获取到多媒体资源后进行画面特征确定步骤。
第二种情况、该多媒体流携带有该目标预测模式集合的标识信息。
编码器根据多媒体资源的画面特征,确定目标预测模式集合后,在进行编码时,可以将该目标预测模式集合的标识信息编入多媒体流中,从而解码器可以直接获取到目标预测模式集合的标识信息,根据标识信息,获取目标预测模式集合,而无需根据画面特征,以及画面特征和预测模式集合的对应关系,去获取目标预测模式集合,从而可以进一步提高多媒体流解码的效率。
与图3所示实施例中提出的内容同理,计算机设备获取到的多媒体流中携带有多媒体资源的画面特征或目标预测模式集合的标识信息,且每个预测单元均携带有对应的预测模式的标识信息,其中,该预测模式的标识信息用于体现该预测模式在目标预测模式集合中的序号。其中,该目标预测模式集合可以在后续步骤402中获取得到。则计算机设备可以先对多媒体流进行解码,获取到编入该多媒体流中的各项信息,从而可以基于这些信息,进一步对多媒体流中的数据进行处理,例如,可以基于每个预测单元对应的预测模式,对每个预测单元进行预测。
需要说明的是,在该解码过程还可以包括熵解码、反量化、反变换等过程,当然,不同的协议也可能有不同的过程,本发明实施例在此不多做赘述。
403、计算机设备根据该画面特征或该目标预测模式集合的标识信息,获取目标预测模式集合。
其中,该目标预测模式集合中包括部分预测模式,该部分预测模式其实为适用于对该画面特征进行预测的至少一个预测模式。在一种可能实现方式中,预测模式的标识信息基于该预测模式在目标预测模式集合中的序号得到,则计算机设备可以先根据画面特征,确定目标预测模式集合,从而才能在该目标预测模式集合中,根据标识信息,获取相应的预测模式,对预测单元进行预测。
具体地,对应于上述步骤402中计算机设备获取到的信息可能不同,该步骤403也可以包括两种情况:
第一种情况:计算机设备根据该画面特征,获取目标预测模式集合。该第一种情况与步骤402中的第一种情况对应。
与图3所示实施例中的内容同理,在该计算机设备中也可以存储有上述预测模式集合以及预测模式集合和画面特征的对应关系,具体地,与步骤303同理,计算机设备可以根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择该画面特征对应的候选预测模式集合作为目标预测模式集合。具体地,计算机设备可以调用该画面特征对应的目标预测模式集合,这样通过预测模式集合的设置,降低了该多媒体流中携带的预测模式的标识信息的长度,降低了多媒体资源编码的码率,进一步提升多媒体资源编码的效率。
需要说明的是,该计算机设备中存储的这部分信息可以与图3所示实施例中的计算机设备存储的信息相同,也即是,编码器和解码器中存储的预测模式集合以及预测模式集合和画面特征的对应关系均相同,从而解码器可以基于存储的信息,进行与编码器所做的编码过程相反的解码过程,从而得到多媒体资源。
第二种情况:计算机设备根据目标预测模式集合的标识信息,获取目标预测模式集合。该第二种情况与步骤402中的第二种情况对应。
与图3所示实施例中的内容同理,在该计算机设备中也可以存储有预测模式集合和标识信息的对应关系,则该第二种情况中,计算机设备可以获取该目标预测模式集合的标识信息对应的目标预测模式集合。这样该计算机设备无需获取到画面特征,再基于画面特征确定对应的目标预测模式集合,而是由编码器直接通知解码器目标预测模式集合,从而去调用相应的目标预测模式集合即可。需要说明的是,该计算机设备中存储的这部分信息可以与图3所示实施例中的计算机设备存储的信息相同。
404、计算机设备根据每个预测单元对应的预测模式的标识信息,从该目标预测模式集合中,获取每个预测单元对应的预测模式,基于获取到的预测模式,对该每个预测单元进行预测,得到多媒体资源。
具体地,对于每个预测单元,计算机设备从该目标预测模式集合中,获取该预测单元对应的预测模式的标识信息对应的预测模式作为该预测单元对应的预测模式。从而计算机设备可以基于获取到的预测模式对预测单元进行预测。
在一种可能实现方式中,计算机设备通过上述编码过程,还可以获取到每个预测单元的残差值,从而可以基于预测模式,确定每个预测单元的像素值,其中,该预测模式中包括参考像素值和预测算法。具体地,对于预测单元的每个像素点,该计算机设备可以基于预测模式中的参考像素值和预测算法,得到预测值,计算机设备可以获取该预测值和残差值的和值作为该像素点的像素值。上述仅以一种示例对预测过程进行了说明,预测模式不同,预测过程则可能不同,本发明实施例对此不多做赘述。对每个预测单元预测结束后,则得到了多媒体资源,该计算机设备可以对该多媒体资源进行存储、显示或播放等操作,本发明实施例对此不作限定。
本发明实施例通过对多媒体流进行解码,得到该多媒体流携带的画面特征或对应的预测模式集合的标识信息,以及每个预测单元携带的对应的预测模式的标识信息,从而可以根据画面特征或对应的预测模式集合的标识信息,获取对应的预测模式集合后,从集合中选择预测模式的标识信息对应的预测模式,对预测单元进行预测,该预测模式的标识信息为在预测模式集合中的序号,而不是通过所有预测模式统一排序得到,则可以降低该预测模式的标识信息的长度,从而降低该预测模式的标识信息占用的比特数,从而可以降低多媒体资源编码的码率,提高了多媒体流解码的效率,也降低了多媒体资源编解码或传输的负担。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
图5是本发明实施例提供的一种多媒体资源编码装置的结构示意图,参见图5,该装置包括:
集合获取模块501,用于根据待编码的多媒体资源的画面特征,获取目标预测模式集合,该目标预测模式集合中包括部分预测模式,该待编码的多媒体资源中包括至少一个预测单元;
模式获取模块502,用于从该目标预测模式集合中,获取该多媒体资源中的每个预测单元对应的预测模式;
编码模块503,用于基于该多媒体资源的画面特征和该目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对该多媒体资源进行编码,得到多媒体流,该多媒体流携带有该多媒体资源的画面特征或该目标预测模式集合的标识信息,每个预测单元携带有对应的预测模式的标识信息,该预测模式的标识信息用于体现该预测模式在该目标预测模式集合中的序号。
在一种可能实现方式中,该待编码的多媒体资源的画面特征为该多媒体资源的属性,该属性包括资源类型、来源、材质或内容;或,该待编码的多媒体资源的画面特征基于该多媒体资源的属性确定,该属性包括资源类型、来源或材质或内容。
在一种可能实现方式中,该集合获取模块501用于根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择该待编码的多媒体资源的画面特征对应的候选预测模式集合作为目标预测模式集合。
在一种可能实现方式中,该模式获取模块502用于:
对于每个预测单元,获取该预测单元与该目标预测模式集合中的每个预测模式之间的匹配度;
将与该预测单元的匹配度最大的预测模式作为该预测单元对应的预测模式。
在一种可能实现方式中,该编码模块503用于基于每个预测单元对应的预测模式,对每个预测单元进行预测和编码,对该多媒体资源的画面特征或该目标预测模式集合的标识信息进行编码,得到多媒体流,该多媒体流中的指定字段用于存储该多媒体资源的画面特征的编码或该目标预测模式集合的标识信息的编码,每个预测单元的编码中的指定字段用于存储对应的预测模式的标识信息的编码。
在一种可能实现方式中,该装置还包括:
发送模块,用于将该多媒体流发送至解码设备,由该解码设备对该多媒体流进行解码,基于该多媒体流携带的该画面特征和该目标预测模式集合的标识信息中任一种,以及每个预测单元携带的对应的预测模式的标识信息进行预测,得到多媒体资源。
在一种可能实现方式中,该待编码的多媒体资源为至少一个图像帧或至少一个视频帧或一个图像帧的部分或一个视频帧的部分。
本发明实施例提供的装置,通过根据多媒体资源的画面特征,获取对应的预测模式集合,然后从集合中选择一个预测模式作为每个预测单元对应的预测模式,而不是从所有预测模式中确定一个预测模式,因而,对画面特征和预测单元进行编码,得到的多媒体流携带的预测模式的标识信息为在预测模式集合中的序号,而不是通过所有预测模式统一排序得到,则可以降低该预测模式的标识信息的长度,从而降低该预测模式的标识信息占用的比特数,从而可以降低多媒体资源编码的码率,也降低了多媒体资源编解码或传输的负担。
需要说明的是:上述实施例提供的多媒体资源编码装置在对多媒体资源进行编码时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将编码器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的多媒体资源编码装置与多媒体资源编码方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本发明实施例提供的一种多媒体流解码装置的结构示意图,参见图6,该装置包括:
解码模块601,用于对多媒体流进行解码,得到该多媒体流包括的至少一个预测单元、该多媒体流携带的多媒体资源的画面特征或目标预测模式集合的标识信息,以及每个预测单元携带有对应的预测模式的标识信息,该预测模式的标识信息用于体现该预测模式在该目标预测模式集合中的序号;
获取模块602,用于根据该画面特征或该目标预测模式集合的标识信息,获取目标预测模式集合,该目标预测模式集合中包括部分预测模式;
预测模块603,用于根据每个预测单元对应的预测模式的标识信息,从该目标预测模式集合中,获取每个预测单元对应的预测模式,基于获取到的预测模式,对该每个预测单元进行预测,得到多媒体资源。
在一种可能实现方式中,该获取模块602用于根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择该画面特征对应的候选预测模式集合作为目标预测模式集合;或,
该获取模块602用于获取该目标预测模式集合的标识信息对应的目标预测模式集合。
本发明实施例提供的装置,通过对多媒体流进行解码,得到该多媒体流携带的画面特征或对应的预测模式集合的标识信息,以及每个预测单元携带的对应的预测模式的标识信息,从而可以根据画面特征或对应的预测模式集合的标识信息,获取对应的预测模式集合后,从集合中选择预测模式的标识信息对应的预测模式,对预测单元进行预测,该预测模式的标识信息为在预测模式集合中的序号,而不是通过所有预测模式统一排序得到,则可以降低该预测模式的标识信息的长度,从而降低该预测模式的标识信息占用的比特数,从而可以降低多媒体资源编码的码率,提高了多媒体流解码的效率,也降低了多媒体资源编解码或传输的负担。
需要说明的是:上述实施例提供的多媒体流解码装置在解码多媒体流时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将解码器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的多媒体流解码装置与多媒体流解码方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述计算机设备可以被提供为下述图7所示出的终端,也可以被提供为下述图8所示出的服务器:
图7是本发明实施例提供的一种终端的结构框图。该终端700可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端700包括有:处理器701和存储器702。
处理器701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器701所执行以实现本发明中方法实施例提供的多媒体资源编码方法或多媒体流解码方法。
在一些实施例中,终端700还可选包括有:外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地,外围设备包括:射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中,处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上;在一些其他实施例中,处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路704包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路704还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本发明对此不加以限定。
显示屏705用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时,显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时,显示屏705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏705可以为一个,设置终端700的前面板;在另一些实施例中,显示屏705可以为至少两个,分别设置在终端700的不同表面或呈折叠设计;在再一些实施例中,显示屏705可以是柔性显示屏,设置在终端700的弯曲表面上或折叠面上。甚至,显示屏705还可以设置成非矩形的不规则图形,也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地,摄像头组件706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器701进行处理,或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于:加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号,控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度,陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时,可以检测用户对终端700的握持信号,由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时,由处理器701根据用户对触摸显示屏705的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹,由处理器701根据指纹传感器714采集到的指纹识别用户的身份,或者,由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时,指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中,处理器701可以根据光学传感器715采集的环境光强度,控制触摸显示屏705的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏705的显示亮度;当环境光强度较低时,调低触摸显示屏705的显示亮度。在另一个实施例中,处理器701还可以根据光学传感器715采集的环境光强度,动态调整摄像头组件706的拍摄参数。
接近传感器716,也称距离传感器,通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中,当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时,由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态;当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时,由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图7中示出的结构并不构成对终端700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图8是本发明实施例提供的一种服务器的结构示意图,该服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processingunits,CPU)801和一个或一个以上的存储器802,其中,该存储器802中存储有至少一条指令,该至少一条指令由该处理器801加载并执行以实现上述各个方法实施例提供的多媒体资源编码方法或多媒体流解码方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由处理器执行以完成上述实施例中的多媒体资源编码方法或多媒体流解码方法。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种多媒体资源编码方法,其特征在于,所述方法包括:
根据待编码的多媒体资源的画面特征,获取目标预测模式集合,所述目标预测模式集合中包括部分预测模式,所述待编码的多媒体资源中包括至少一个预测单元;
从所述目标预测模式集合中,获取所述多媒体资源中的每个预测单元对应的预测模式;
基于所述多媒体资源的画面特征和所述目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对所述多媒体资源进行编码,得到多媒体流,所述多媒体流携带有所述多媒体资源的画面特征或所述目标预测模式集合的标识信息,每个预测单元携带有对应的预测模式的标识信息,所述预测模式的标识信息用于体现所述预测模式在所述目标预测模式集合中的序号。
2.根据权利要求1所述的方法,其特征在于,所述待编码的多媒体资源的画面特征为所述多媒体资源的属性,所述属性包括资源类型、来源、材质或内容;或,所述待编码的多媒体资源的画面特征基于所述多媒体资源的属性确定,所述属性包括资源类型、来源或材质或内容。
3.根据权利要求1所述的方法,其特征在于,所述根据待编码的多媒体资源的画面特征,获取目标预测模式集合,包括:
根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择所述待编码的多媒体资源的画面特征对应的候选预测模式集合作为目标预测模式集合。
4.根据权利要求1所述的方法,其特征在于,所述从所述目标预测模式集合中,获取所述多媒体资源中的每个预测单元对应的预测模式,包括:
对于每个预测单元,获取所述预测单元与所述目标预测模式集合中的每个预测模式之间的匹配度;
将与所述预测单元的匹配度最大的预测模式作为所述预测单元对应的预测模式。
5.根据权利要求1所述的方法,其特征在于,所述基于所述多媒体资源的画面特征和所述目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对所述多媒体资源进行编码,得到多媒体流,包括:
基于每个预测单元对应的预测模式,对每个预测单元进行预测和编码,对所述多媒体资源的画面特征或所述目标预测模式集合的标识信息进行编码,得到多媒体流,所述多媒体流中的指定字段用于存储所述多媒体资源的画面特征的编码或所述目标预测模式集合的标识信息的编码,每个预测单元的编码中的指定字段用于存储对应的预测模式的标识信息的编码。
6.根据权利要求1所述的方法,其特征在于,所述基于所述多媒体资源的画面特征和所述目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对所述多媒体资源进行编码,得到多媒体流之后,所述方法还包括:
将所述多媒体流发送至解码设备,由所述解码设备对所述多媒体流进行解码,基于所述多媒体流携带的所述画面特征和所述目标预测模式集合的标识信息中任一种,以及每个预测单元携带的对应的预测模式的标识信息进行预测,得到多媒体资源。
7.一种多媒体流解码方法,其特征在于,所述方法包括:
对多媒体流进行解码,得到所述多媒体流包括的至少一个预测单元、所述多媒体流携带的多媒体资源的画面特征或目标预测模式集合的标识信息,以及每个预测单元携带有对应的预测模式的标识信息,所述预测模式的标识信息用于体现所述预测模式在所述目标预测模式集合中的序号;
根据所述画面特征或所述目标预测模式集合的标识信息,获取目标预测模式集合,所述目标预测模式集合中包括部分预测模式;
根据每个预测单元对应的预测模式的标识信息,从所述目标预测模式集合中,获取每个预测单元对应的预测模式,基于获取到的预测模式,对所述每个预测单元进行预测,得到多媒体资源。
8.根据权利要求7所述的方法,其特征在于,所述根据所述画面特征或所述目标预测模式集合的标识信息,获取目标预测模式集合,包括:
根据预设的画面特征与预测模式集合的对应关系,从多个候选预测模式集合中,选择所述画面特征对应的候选预测模式集合作为目标预测模式集合;或,
获取所述目标预测模式集合的标识信息对应的目标预测模式集合。
9.一种多媒体资源编码装置,其特征在于,所述装置包括:
集合获取模块,用于根据待编码的多媒体资源的画面特征,获取目标预测模式集合,所述目标预测模式集合中包括部分预测模式,所述待编码的多媒体资源中包括至少一个预测单元;
模式获取模块,用于从所述目标预测模式集合中,获取所述多媒体资源中的每个预测单元对应的预测模式;
编码模块,用于基于所述多媒体资源的画面特征和所述目标预测模式集合中任一种,以及每个预测单元对应的预测模式,对所述多媒体资源进行编码,得到多媒体流,所述多媒体流携带有所述多媒体资源的画面特征或所述目标预测模式集合的标识信息,每个预测单元携带有对应的预测模式的标识信息,所述预测模式的标识信息用于体现所述预测模式在所述目标预测模式集合中的序号。
10.一种多媒体流解码装置,其特征在于,所述装置包括:
解码模块,用于对多媒体流进行解码,得到所述多媒体流包括的至少一个预测单元、所述多媒体流携带的多媒体资源的画面特征或目标预测模式集合的标识信息,以及每个预测单元携带有对应的预测模式的标识信息,所述预测模式的标识信息用于体现所述预测模式在所述目标预测模式集合中的序号;
获取模块,用于根据所述画面特征或所述目标预测模式集合的标识信息,获取目标预测模式集合,所述目标预测模式集合中包括部分预测模式;
预测模块,用于根据每个预测单元对应的预测模式的标识信息,从所述目标预测模式集合中,获取每个预测单元对应的预测模式,基于获取到的预测模式,对所述每个预测单元进行预测,得到多媒体资源。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至权利要求6任一项所述的多媒体资源编码方法所执行的操作;或如权利要求7或8所述的多媒体流解码方法所执行的操作。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的多媒体资源编码方法所执行的操作;或如权利要求7或8所述的多媒体流解码方法所执行的操作。
CN201810899067.1A 2018-08-08 2018-08-08 多媒体资源编码、多媒体流解码方法、装置、设备及介质 Pending CN108965925A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810899067.1A CN108965925A (zh) 2018-08-08 2018-08-08 多媒体资源编码、多媒体流解码方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810899067.1A CN108965925A (zh) 2018-08-08 2018-08-08 多媒体资源编码、多媒体流解码方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN108965925A true CN108965925A (zh) 2018-12-07

Family

ID=64468886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810899067.1A Pending CN108965925A (zh) 2018-08-08 2018-08-08 多媒体资源编码、多媒体流解码方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN108965925A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297781A (zh) * 2013-06-07 2013-09-11 安科智慧城市技术(中国)有限公司 一种基于纹理方向的hevc帧内编码方法、装置和系统
CN103369315A (zh) * 2012-04-06 2013-10-23 华为技术有限公司 色度分量的帧内预测模式的编码、解码方法、设备及系统
US20140161180A1 (en) * 2011-05-30 2014-06-12 JVC Kenwood Corporation Picture coding device, picture coding method and picture coding program as well as picture decoding device, picture decoding method, and picture decoding program
CN104639939A (zh) * 2015-02-04 2015-05-20 四川虹电数字家庭产业技术研究院有限公司 一种帧内预测mpm机制的优化方法
CN108184115A (zh) * 2017-12-29 2018-06-19 华南理工大学 Hevc帧内cu划分和pu预测模式选择方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161180A1 (en) * 2011-05-30 2014-06-12 JVC Kenwood Corporation Picture coding device, picture coding method and picture coding program as well as picture decoding device, picture decoding method, and picture decoding program
CN103369315A (zh) * 2012-04-06 2013-10-23 华为技术有限公司 色度分量的帧内预测模式的编码、解码方法、设备及系统
CN103297781A (zh) * 2013-06-07 2013-09-11 安科智慧城市技术(中国)有限公司 一种基于纹理方向的hevc帧内编码方法、装置和系统
CN104639939A (zh) * 2015-02-04 2015-05-20 四川虹电数字家庭产业技术研究院有限公司 一种帧内预测mpm机制的优化方法
CN108184115A (zh) * 2017-12-29 2018-06-19 华南理工大学 Hevc帧内cu划分和pu预测模式选择方法及系统

Similar Documents

Publication Publication Date Title
CN108966008A (zh) 直播视频回放方法及装置
CN110139142A (zh) 虚拟物品显示方法、装置、终端及存储介质
CN108401124A (zh) 视频录制的方法和装置
CN109982102A (zh) 直播间的界面显示方法和系统、以及直播服务器和主播端
CN110244998A (zh) 页面背景、直播页面背景的设置方法、装置及存储介质
CN110290421A (zh) 帧率调整方法、装置、计算机设备及存储介质
CN110049321A (zh) 视频编码方法、装置、设备及存储介质
CN108304265A (zh) 内存管理方法、装置及存储介质
CN109618212A (zh) 信息显示方法、装置、终端及存储介质
CN108769826A (zh) 直播媒体流获取方法、装置、终端及存储介质
CN108965922A (zh) 视频封面生成方法、装置和存储介质
CN108833963A (zh) 显示界面画面的方法、计算机设备、可读存储介质和系统
CN110278464A (zh) 显示榜单的方法和装置
CN108363569A (zh) 应用中的图像帧生成方法、装置、设备及存储介质
CN110493626A (zh) 视频数据处理方法及装置
CN109168073A (zh) 直播间封面显示的方法和装置
CN109120933A (zh) 动态调整码率的方法、装置、设备及存储介质
CN108563377A (zh) 切换显示页面的方法和装置
CN108616776A (zh) 直播分析数据获取方法及装置
CN109168032A (zh) 视频数据的处理方法、终端、服务器及存储介质
CN110149517A (zh) 视频处理的方法、装置、电子设备及计算机存储介质
CN108897597A (zh) 指导配置直播模板的方法和装置
CN109254775A (zh) 基于人脸的图像处理方法、终端及存储介质
CN109544117A (zh) 会议室信息显示方法、装置、终端、服务器及存储介质
CN109102811A (zh) 音频指纹的生成方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207

RJ01 Rejection of invention patent application after publication