CN111787319B - 一种视频信息处理方法、多媒体信息处理方法及装置 - Google Patents

一种视频信息处理方法、多媒体信息处理方法及装置 Download PDF

Info

Publication number
CN111787319B
CN111787319B CN202010713868.1A CN202010713868A CN111787319B CN 111787319 B CN111787319 B CN 111787319B CN 202010713868 A CN202010713868 A CN 202010713868A CN 111787319 B CN111787319 B CN 111787319B
Authority
CN
China
Prior art keywords
video
coding
coded
parameter
parameter set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010713868.1A
Other languages
English (en)
Other versions
CN111787319A (zh
Inventor
段争志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010713868.1A priority Critical patent/CN111787319B/zh
Publication of CN111787319A publication Critical patent/CN111787319A/zh
Application granted granted Critical
Publication of CN111787319B publication Critical patent/CN111787319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频信息处理方法,包括:获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段;得到与所述待编码视频相对应的编码复用参数集合;基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策;通过所确定的视频编码决策对待编码视频进行处理,以实现对所述待编码视频的编码。发明还提供了多媒体信息处理方法、装置、电子设备及存储介质。本发明能够更加准确地确定与待编码视频相匹配的视频编码决策,也更加快速地确定对视频的编码方式,减少了选择视频编码决策的等待时间,提升视频编码过程的速度。

Description

一种视频信息处理方法、多媒体信息处理方法及装置
技术领域
本发明涉及视频编码技术,尤其涉及一种视频信息处理方法、多媒体信息处理方法、装置、电子设备及存储介质。
背景技术
传统技术中的多媒体信息编码过程中,视频编码系统可以压缩数字视频信号。例如,视频编码系统可以压缩数字视频信号以减少这种信号的存储和/或传输带宽。视频编码系统可以包括但不限于基于块的、基于小波的、基于对象的系统和/或基于块的混合视频编码系统。基于块的视频编码系统的示例可以包括H.261(例如,运动图像专家组)、MPEG-1、MPEG-2、H.263、H.264/高级视频编码(AVC)和/或H.265/高效视频编码(HEVC)。但是这一过程中,如HEVC视频编码标准,丢弃了原始视频码流的解码过程中的信息,在视频信息处理中通过对原始解码帧进行下采样,然后进行分析,最后再利用分析结果指导编码,使得编码决策的选择过程极其复杂,导致编码的时间较长,不利于用户的使用体验,不利于复杂的视频信息处理场景。
发明内容
有鉴于此,本发明实施例提供一种视频信息处理方法、多媒体信息处理方法、装置及电子设备,能够根据编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导,快速准确地确定与待编码视频相匹配的视频编码决策,也更加快速地确定对视频的编码方式,减少了选择视频编码决策的等待时间,提升视频编码过程的速度。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种视频信息处理方法,所述方法包括:
获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段;
基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合;
基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导;
根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策;
通过所确定的视频编码决策对待编码视频进行处理,以实现对所述待编码视频的编码。
所述方法还包括:基于目标编码标准和所述编码复用参数集合中的帧内编码单元的尺寸,对所述编码复用参数集合中的帧内编码单元进行数据整合处理,确定相匹配的视频编码决策。
上述方案中,所述基于目标编码标准和所述编码复用参数集合中的帧内编码单元的尺寸,对所述编码复用参数集合中的帧内编码单元进行数据整合处理,确定相匹配的视频编码决策,包括:
当所述帧内编码单元的尺寸大小为32*32时,触发第一视频编码决策进程;
响应于所述第一视频编码决策进程,对所述帧内编码单元进行分割,形成尺寸大小为16*16的帧内编码单元的子块;
通过与帧内编码单元的子块相匹配的预分析块,利用不同的帧内预测模式对所述帧内编码单元所承载的待分析视频片段进行预分析处理,以确定相匹配的视频编码决策。
上述方案中,所述基于目标编码标准和所述编码复用参数集合中的帧内编码单元的尺寸,对所述编码复用参数集合中的帧内编码单元进行数据整合处理,确定相匹配的视频编码决策,包括:
当所述帧内编码单元的尺寸大小为64*64时,触发第二视频编码决策进程;
响应于所述第二视频编码决策进程,对所述帧内编码单元进行分割,形成尺寸大小为32*32的4个帧内编码单元的子块;
通过与每一个帧内编码单元的子块相匹配的4个预分析块,利用不同的帧内预测模式对所述帧内编码单元所承载的待分析视频片段进行预分析处理以确定相匹配的视频编码决策。
本发明实施例还提供了一种多媒体信息处理方法,包括:
从多媒体信息中分离出目标音频和目标视频;
确定与所述目标视频相匹配的视频编码决策;
根据所述视频编码决策确定相对应的视频编码方式;
通过所确定的视频编码方式对所述目标视频进行处理,以实现对所述目标视频的编码;
将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息,以实现对所述多媒体信息的压缩,其中,所述视频编码决策以及视频编码方式通过前序实施例获得。
本发明实施例还提供了一种视频信息处理装置,包括:
信息传输模块,用于获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段;
信息处理模块,用于基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合;
所述信息处理模块,用于基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导;
所述信息处理模块,用于根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策;
所述信息处理模块,用于通过所确定的视频编码决策对待编码视频进行处理,以实现对所述待编码视频的编码。
上述方案中,
所述信息处理模块,用于监听所述待分析视频片段的原始视频码流的解码进程,确定所述原始视频码流的解码信息;
所述信息处理模块,用于基于所述原始视频码流的解码信息,确定所述待分析视频片段中的编码宏块的类型参数、所述编码宏块的尺寸参数、比特量参数以及量化因子参数;
所述信息处理模块,用于在所述待分析视频片段的不同图像帧中,配置相应的额外存储空间,以承载所述编码复用参数集合;
所述信息处理模块,用于确定实时编码标准,并基于所述实时编码标准确定所述编码复用参数集合的输出数据格式,以实现输出所述不同图像帧中的额外存储空间所承载的编码复用参数集合。
上述方案中,
所述信息处理模块,用于确定所述待分析视频片段的原始视频码流的解码进程中的不同解码帧;
所述信息处理模块,用于监听所述待分析视频片段的原始视频码流的解码进程中的不同解码帧处理过程,确定解码帧的帧类型参数和所述解码帧的尺寸参数。
上述方案中,
所述信息处理模块,用于基于所述原始视频码流的解码信息,确定每一个编码宏块在所述原始码流中所占的比特量参数以及所述待分析视频片段的总比特量参数;
所述信息处理模块,用于基于所述原始视频码流的解码信息,确定每一个编码宏块的量化因子参数以及不同编码宏块的平均量化因子参数;
所述信息处理模块,用于基于所述原始视频码流的解码信息,确定与所述编码宏块相匹配的参考帧以及运动矢量。
上述方案中,
所述信息处理模块,用于基于每一图像帧的实际大小和所述编码复用参数集合中的不同编码宏块的平均量化因子参数,确定所述待编码视频的图像帧复杂度;
所述信息处理模块,用于基于所述编码复用参数集合中的不同编码宏块的类型和比特量参数,确定所述待编码视频的编码宏块的复杂度以及编码宏块级别的量化因子参数;
所述信息处理模块,用于基于所述编码复用参数集合中的编码宏块的类型参数和所述编码宏块的尺寸参数,确定与所述待编码视频相匹配的帧内预测模式;
所述信息处理模块,用于基于所述编码复用参数集合中的参考帧和运动矢量,确定所述待编码视频中的运动矢量的起始搜索位置。
上述方案中,
所述信息处理模块,用于基于所述待编码视频的码率控制参数,确定图像帧级别的量化因子参数;
所述信息处理模块,用于确定所述待编码视频中的原始编码宏块的量化因子参数;
所述信息处理模块,用于根据所述原始编码宏块的量化因子参数对所述编码宏块级别的量化因子参数进行动态调节。
上述方案中,
所述信息处理模块,用于当所述参考帧一致时,基于所述参考帧和运动矢量确定所述待编码视频中的运动矢量的起始搜索位置;
所述信息处理模块,用于当所述参考帧不一致时,导出所述编码复用参数集合中的不同的参考帧,确定相应的偏移量,并根据所述不同的参考帧对应的偏移量和所述运动矢量确定所述待编码视频中的运动矢量的起始搜索位置。
上述方案中,
所述信息处理模块,用于当所述待编码视频处于实时转码环境时,确定所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数;
所述信息处理模块,用于通过所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数进行比对;
所述信息处理模块,用于当所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数的重合度达到重合阈值时,通过所述编码复用参数集合确定相匹配的视频编码决策;
所述信息处理模块,用于当所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数的重合度未达到重合阈值时,将所述编码复用参数集合作为所述待编码视频预分析进程的补充。
上述方案中,
所述信息处理模块,用于当所述待编码视频处于不同编码标准间转码环境时,基于所述原始视频码流的解码过程,在所述编码复用参数集合中标记帧内编码单元的尺寸;
所述信息处理模块,用于基于目标编码标准和所述编码复用参数集合中的帧内编码单元的尺寸,对所述编码复用参数集合中的帧内编码单元进行数据整合处理,确定相匹配的视频编码决策。
上述方案中,
所述信息处理模块,用于当所述帧内编码单元的尺寸大小为32*32时,触发第一视频编码决策进程;
所述信息处理模块,用于响应于所述第一视频编码决策进程,对所述帧内编码单元进行分割,形成尺寸大小为16*16的帧内编码单元的子块;
所述信息处理模块,用于通过与帧内编码单元的子块相匹配的预分析块,利用不同的帧内预测模式对所述帧内编码单元所承载的待分析视频片段进行预分析处理,以确定相匹配的视频编码决策。
上述方案中,
所述信息处理模块,用于当所述帧内编码单元的尺寸大小为64*64时,触发第二视频编码决策进程;
所述信息处理模块,用于响应于所述第二视频编码决策进程,对所述帧内编码单元进行分割,形成尺寸大小为32*32的4个帧内编码单元的子块;
所述信息处理模块,用于通过与每一个帧内编码单元的子块相匹配的4个预分析块,利用不同的帧内预测模式对所述帧内编码单元所承载的待分析视频片段进行预分析处理以确定相匹配的视频编码决策。
上述方案中,
所述信息处理模块,用于获取所述待编码视频的标识信息,所述编码复用参数集合以及与所述待编码视频对应视频编码决策;
基于所述待编码视频的标识信息、所述编码复用参数集合、所述待编码视频对应的视频编码决策以及编码方式,生成目标区块,将所述目标区块加入所述区块链网络中。
本发明实施例还提供了一种多媒体信息处理装置,包括:
信息分离装置,用于从多媒体信息中分离出目标音频和目标视频;
视频处理装置,用于确定与所述目标视频相匹配的视频编码决策;
所述视频处理装置,根据所述视频编码决策确定相对应的视频编码方式;
所述视频处理装置,用于通过所确定的编码方式对所述目标视频进行处理,以实现对所述目标视频的编码;
所述视频处理装置,用于将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息,以实现对所述多媒体信息的压缩。
本发明实施例还提供了一种电子设备,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于运行所述存储器存储的可执行指令时,实现前序的视频信息处理方法,或者,实现前序的多媒体信息处理方法。
本发明实施例还提供了一种计算机可读存储介质,存储有可执行指令,其特征在于,所述可执行指令被处理器执行时实现前序的视频信息处理方法,或者实现前序的多媒体信息处理方法。
本发明实施例具有以下有益效果:
本发明通过获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段;基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合;基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导;根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策;通过所确定的视频编码决策对待编码视频进行处理,能够根据编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导,快速准确地确定与待编码视频相匹配的视频编码决策,也更加快速地确定对视频的编码方式,减少了选择视频编码决策的等待时间,提升视频编码过程的速度。
附图说明
图1是本发明实施例提供的一种视频信息处理方法的使用环境示意图;
图2为本发明实施例提供的电子设备的组成结构示意图;
图3为本发明实施例提供的视频信息处理方法一个可选的流程示意图;
图4为本发明实施例提供的视频信息处理方法一个可选的流程示意图;
图5为本发明实施例中HEVC帧内预测的35种帧内预测示意图;
图6是本发明实施例提供的视频信息处理装置100的架构示意图;
图7是本发明实施例提供的区块链网络200中区块链的结构示意图;
图8是本发明实施例提供的区块链网络200的功能架构示意图;
图9为本发明实施例提供的电子设备的组成结构示意图;
图10为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图;
图11为本发明实施例中视频处理方法的一个可选的数据处理示意图;
图12为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图;
图13为本发明实施例中视频处理方法的数据处理示意图;
图14为本发明实施例中视频处理方法的数据处理示意图;
图15为本发明实施例中视频处理方法的前端显示示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)API:全称Application Programming Interface,可翻译成应用程序接口,是一些预先定义的函数,或指软件系统不同组成部分衔接的约定。目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问原码,或理解内部工作机制的细节。
2)SDK:全称Software Development Kit,可翻译成软件开发工具包,是为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合广义上包括辅助开发某一类软件的相关文档、范例和工具的集合。
3)P帧:帧间预测帧,可采用帧内预测和帧间预测,可前向参考预测视频编码方式。
4)B帧:帧间预测帧,可采用帧内预测和帧间预测,可前向、后向、双向参考预测。
5)I帧:帧内预测帧,利用帧内信息进行预测。
6)视频编解码标准:某一种约定的视频码流解码规则。
7)视频编码(Video Transcoding),是指将已经压缩编码的视频码流转换成另一个视频码流,以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。
8)客户端,终端中实现特定功能的载体,例如移动客户端(APP)是移动终端中特定功能的载体,例如执行线上直播(视频推流)的功能或者是在线视频的播放功能。
9)帧内编码,高效率视频编码(HEVC)中的帧内编码(英语:Intra Coding,又称画面内编码)可以视为高阶视频编码(Advanced Video Coding,H.264/AVC)的扩展,因为他们都是利用空间上的取样预测来编码,而高效率视频编码的帧内编码包含以下基本元素:基于四元树(Quadtree)编码结构有33种预测方向的角度预测(Angular Prediction)借由平面预测(Planar Prediction)产生平滑的取样面引用取样自适应的平滑性过滤预测区块边界的样本依照预测模式的残量转换(Residual Transform)和系数扫描(CoefficientScanning)基于前后文信息的帧内模式编码。
10)响应于:用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
11)交易(Transaction):等同于计算机术语“事务”,交易包括了需要提交到区块链网络执行的操作,并非单指商业语境中的交易,鉴于在区块链技术中约定俗成地使用了“交易”这一术语,本发明实施例遵循了这一习惯。
例如,部署(Deploy)交易用于向区块链网络中的节点安装指定的智能合约并准备好被调用;调用(Invoke)交易用于通过调用智能合约在区块链中追加交易的记录,并对区块链的状态数据库进行操作,包括更新操作(包括增加、删除和修改状态数据库中的键值对)和查询操作(即查询状态数据库中的键值对)。
12)区块链(Block chain):是由区块(Block)形成的加密的、链式的交易的存储结构。
例如,每个区块的头部既可以包括区块中所有交易的哈希值,同时也包含前一个区块中所有交易的哈希值,从而基于哈希值实现区块中交易的防篡改和防伪造;新产生的交易被填充到区块并经过区块链网络中节点的共识后,会被追加到区块链的尾部从而形成链式的增长。
13)区块链网络(Block chain Network):通过共识的方式将新区块纳入区块链的一系列的节点的集合。
14)账本(Ledger):是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。
其中,区块链是以文件系统中的文件的形式来记录交易;状态数据库是以不同类型的键(Key)值(Value)对的形式来记录区块链中的交易,用于支持对区块链中交易的快速查询。
15)智能合约(Smart Contracts):也称为链码(Chain code)或应用代码,部署在区块链网络的节点中的程序,节点执行接收的交易中所调用的智能合约,来对账本数据库的键值对数据进行更新或查询的操作。
16)共识(Consensus):是区块链网络中的一个过程,用于在涉及的多个节点之间对区块中的交易达成一致,达成一致的区块将被追加到区块链的尾部,实现共识的机制包括工作量证明(Po W,Proof of Work)、权益证明(PoS,P roof of Stake)、股份授权证明(DPo S,Delegated Proof-of-Stake)、消逝时间量证明(Po ET,Proof of Elapsed Time)等。
17)编码宏块:视频帧中按照一定的大小为单位(h264中按照16x16的大小)进行切分,编码过程以此大小的块为单位进行编码。
18)参考帧:在视频编解码中,一种作为其他帧的参考数据,用于其他帧在编码/解码过程中获取帧间的参考数据的重建帧。
19)运动矢量(MV MotionVector):一个二维向量,用于描述编码器中一个编码块从其所在位置运动到另一个位置时,所发生的位置偏移。
20)运动搜索:为当前编码块在参考帧中按照某种算法寻找最优匹配块的过程。
21)预测运动矢量:MVP,根据已有的信息,对当前MV按照一定的算法进行的预测。
图1为本发明实施例提供的视频信息处理方法的使用场景示意图,参见图1,终端(包括终端10-1和终端10-2)上设置有能够执行不同功能相应客户端其中,所属客户端为终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中利用不同的业务进程获取不同的视频信息进行浏览,终端通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输,其中,终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中所获取的视频类型并不相同,例如:终端(包括终端10-1和终端10-2)既可以通过网络300从相应的服务器200中获取视频(即视频中携带视频信息或相应的视频链接),也可以通过网络300从相应的服务器400中获取仅包括文字或图像的相应视频进行浏览。服务器200和服务器400中可以保存有不同类型的视频。在本发明的一些实施例中,服务器200中所保存的不同类型的视频的进程可以是在不同编程语言的软件代码中所编写的,代码对象可以是不同类型的代码实体。例如,在C语言的软件代码中,一个代码对象可以是一个函数。在JAVA语言的软件代码中,一个代码对象可以是一个类,IOS端OC语言中可以是一段目标代码。在C++语言的软件代码中,一个代码对象可以是一个类或一个函数。其中本申请中不再对不同类型的视频的编译环境进行区分。但是,这一过程中,传统的视频编码过程中,HEVC(High Efficiency Video Coding,高性能视频编码)编码过程中,涉及到许多模式决策过程。
同时视频编码过程中,由于需要适应不同的业务,不同的网络带宽等条件,需要将一个原始的视频流进行转码,包含转封装、转标准、转协议、转码率、转分辨率以及插入特定水印log等。这其中大部分过程需要对原始流进行解码然后进行重新压缩。由于视频压缩一个数据量、计算复杂度都非常庞大的过程,如何减少计算量、优化编码器的实现,降低转码平台的成本。但是这一过程中,如HEVC视频编码标准,丢弃了原始视频码流的解码过程中的信息,在视频信息处理中通过对原始解码帧进行下采样,然后进行分析,最后再利用分析结果指导编码,使得编码决策的选择过程极其复杂,导致编码的时间较长,不利于用户的使用体验,不利于复杂的视频信息处理场景。
进一步地,服务器200通过网络300向终端(终端10-1和/或终端10-2)发送或接收不同类型的视频的过程中,由于视频信息所占用的存储空间较大,因此需要对视频信息进行压缩,因此。作为一个事例,服务器200用于获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段;基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合;基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导;根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策;通过所确定的视频编码决策对待编码视频进行处理,以实现对所述待编码视频的编码。
下面对本发明实施例的服务器的结构做详细说明,服务器可以各种形式来实施,如带有视频信息处理功能的专用终端例如网关,也可以为带有视频信息处理功能的服务器,例如前述图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图,可以理解,图2仅仅示出了服务器的示例性结构而非全部结构,根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的服务器包括:至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备20中的各个组件通过总线系统205耦合在一起。可以理解,总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统205。
其中,用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解,存储器202可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括:用于在终端(如10-1)上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中,本发明实施例提供的视频信息处理装置可以采用软硬件结合的方式实现,作为示例,本发明实施例提供的视频信息处理装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的视频信息处理方法。例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
作为本发明实施例提供的视频信息处理装置采用软硬件结合实施的示例,本发明实施例所提供的视频信息处理装置可以直接体现为由处理器201执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器202,处理器201读取存储器202中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的视频信息处理方法。
作为示例,处理器201可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的视频信息处理装置采用硬件实施的示例,本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成,例如,被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的视频信息处理方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备20的操作。这些数据的示例包括:用于在电子设备20上操作的任何可执行指令,如可执行指令,实现本发明实施例的从视频信息处理方法的程序可以包含在可执行指令中。
在另一些实施例中,本发明实施例提供的视频信息处理装置可以采用软件方式实现,图2示出了存储在存储器202中的视频信息处理装置2020,其可以是程序和插件等形式的软件,并包括一系列的模块,作为存储器202中存储的程序的示例,可以包括视频信息处理装置2020,视频信息处理装置2020中包括以下的软件模块:信息传输模块2081,信息处理模块2082。当视频信息处理装置2020中的软件模块被处理器201读取到RAM中并执行时,将实现本发明实施例提供的视频信息处理方法,下面对视频信息处理装置2020中各个软件模块的功能进行介绍:
信息传输模块2081,用于获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段;
信息处理模块2082,用于基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合;
所述信息处理模块2082,用于基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导;
所述信息处理模块2082,用于根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策;
所述信息处理模块2082,用于通过所确定的视频编码决策对待编码视频进行处理,以实现对所述待编码视频的编码。
结合图2示出的电子设备20说明本发明实施例提供的视频信息处理方法,参见图3,图3为本发明实施例提供的视频信息处理方法一个可选的流程示意图,可以理解地,图3所示的步骤可以由运行视频信息处理装置的各种服务器执行,例如可以是如带有视频信息处理功能的专用终端、服务器或者服务器集群。下面针对图3示出的步骤进行说明。
步骤301:视频信息处理装置获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段。
其中,以微信小程序所上传的视频为例,用户通过微信小程序可以上传终端所拍摄的视频或者终端中已经保存的视频,封装在服务器的可读存储介质中的视频信息处理装置可以通过通信链路获取这些待编码视频,并截取固定帧数(例如视频前部的10帧)的视频或者固定时间(视频前部的1秒)的视频作为待分析视频片段。
步骤302:视频信息处理装置基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合。
在本发明的一些实施例中,基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合,可以通过以下方式实现:
监听所述待分析视频片段的原始视频码流的解码进程,确定所述原始视频码流的解码信息;基于所述原始视频码流的解码信息,确定所述待分析视频片段中的编码宏块的类型参数、所述编码宏块的尺寸参数、比特量参数以及量化因子参数;在所述待分析视频片段的不同图像帧中,配置相应的额外存储空间,以承载所述编码复用参数集合;确定实时编码标准,并基于所述实时编码标准确定所述编码复用参数集合的输出数据格式,以实现输出所述不同图像帧中的额外存储空间所承载的编码复用参数集合。其中,视频服务器可以在每一帧的帧输出buffer后面额外分配一定的空间存储extra_info,这些信息包括但不限于,每个宏块的宏块类型,分割方式,bits大小,MV及参考帧、qp信息以及帧类型和帧Size数据等。视频服务器中的编码器获取到一帧frame_data后,同时得到了这些extra_info中所保存的信息,这些info中所保存的信息可以直接用来指导估计当前帧的复杂度,为每一个编码宏块确定搜索的起始地址,并且这些信息可以用来指导的码率控制,实现省略预分析过程,或者节约与分析过程中的计算量并作为补充。
在本发明的一些实施例中,监听所述待分析视频片段的原始视频码流的解码进程,确定所述原始视频码流的解码信息,可以通过以下方式实现:
确定所述待分析视频片段的原始视频码流的解码进程中的不同解码帧;监听所述待分析视频片段的原始视频码流的解码进程中的不同解码帧处理过程,确定解码帧的帧类型参数和所述解码帧的尺寸参数。
在本发明的一些实施例中,基于所述原始视频码流的解码信息,确定所述待分析视频片段中的编码宏块的类型参数、所述编码宏块的尺寸参数、比特量参数以及量化因子参数,可以通过以下方式实现:
基于所述原始视频码流的解码信息,确定每一个编码宏块在所述原始码流中所占的比特量参数以及所述待分析视频片段的总比特量参数;基于所述原始视频码流的解码信息,确定每一个编码宏块的量化因子参数以及不同编码宏块的平均量化因子参数;基于所述原始视频码流的解码信息,确定与所述编码宏块相匹配的参考帧以及运动矢量。其中,H.264编码时,可以将每一帧的图像分为很多个编码宏块,每个编码宏块编码后都有一个量化因子(qp)值(每个编码宏块的qp不一定相等)。所以对于每一帧图像来说,都有一个最大qp值和最小qp值,也就是max_qp和min_qp。还可以设置H.264可以使用的最小量化器。量化参数越小,输出越接近输入。
步骤303:视频信息处理装置基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导。
在本发明的一些实施例中,基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导,可以通过以下方式实现:
基于每一图像帧的实际大小和所述编码复用参数集合中的不同编码宏块的平均量化因子参数,确定所述待编码视频的图像帧复杂度;基于所述编码复用参数集合中的不同编码宏块的类型和比特量参数,确定所述待编码视频的编码宏块的复杂度以及编码宏块级别的量化因子参数;基于所述编码复用参数集合中的编码宏块的类型参数和所述编码宏块的尺寸参数,确定与所述待编码视频相匹配的帧内预测模式;基于所述编码复用参数集合中的参考帧和运动矢量,确定所述待编码视频中的运动矢量的起始搜索位置。具体来说,当所述参考帧一致时,基于所述参考帧和运动矢量确定所述待编码视频中的运动矢量的起始搜索位置;或者当所述参考帧不一致时,导出所述编码复用参数集合中的不同的参考帧,确定相应的偏移量,并根据所述不同的参考帧对应的偏移量和所述运动矢量确定所述待编码视频中的运动矢量的起始搜索位置。
在本发明的一些实施例中,还可以基于所述待编码视频的码率控制参数,确定图像帧级别的量化因子参数;确定所述待编码视频中的原始编码宏块的量化因子参数;根据所述原始编码宏块的量化因子参数对所述编码宏块级别的量化因子参数进行动态调节。其中,在帧间编码过程中,通过运动矢量表示当前编码块与其参考图像中的最佳匹配块之间的相对位移。每个划分的块都有相应的运动信息需要传送到解码端。如果对每个块的MV进行独立编码和传输,特别是划分成小尺寸的块,需要消耗相当多的比特。具体来说,为了降低用于编码运动信息的比特数,H.264/AVC利用相邻宏块之间的空间相关性,根据相邻已编码块的运动信息对当前待编码块的运动信息进行预测,然后对预测差进行编码。在对当前宏块的MV编码过程中,H.264/AVC首先使用相邻已编码块的MV预测当前宏块的MV,然后对MV的预测值与MV的真正估值之间的差值进行编码,从而有效降低MV的编码比特数,提升编码速率。
步骤304:视频信息处理装置根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策。
进一步地,参考图4,图4为本发明实施例提供的视频信息处理方法一个可选的流程示意图,可以理解地,图4所示的步骤可以由运行视频信息处理装置的各种服务器执行,例如可以是如带有视频信息处理功能的专用终端、服务器或者服务器集群。下面针对4示出的步骤进行说明。
步骤401:视频信息处理装置当所述待编码视频处于实时转码环境时,确定所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数;
步骤402:视频信息处理装置通过所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数进行比对;
步骤403:当所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数的重合度达到重合阈值时,通过所述编码复用参数集合确定相匹配的视频编码决策;
步骤404:当所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数的重合度未达到重合阈值时,将所述编码复用参数集合作为所述待编码视频预分析进程的补充。
在本发明的一些实施例中,根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策,可以通过以下方式实现:
当所述待编码视频处于不同编码标准间转码环境时,基于所述原始视频码流的解码过程,在所述编码复用参数集合中标记帧内编码单元的尺寸;基于目标编码标准和所述编码复用参数集合中的帧内编码单元的尺寸,对所述编码复用参数集合中的帧内编码单元进行数据整合处理,确定相匹配的视频编码决策。
其中,进一步地,由于待编码的视频信息体积较大(可能是体积数个GB的视频,甚至是数个TB的视频),通过不同的编码方式对视频处理过程中,待编码视频的编码代价均不同,因此,需要选择最适合待编码视频的相应编码方式。
其中,参考图5,图5为本发明实施例中HEVC帧内预测的35种帧内预测示意图,其中,HEVC帧内预测是利用周围的参考像素按照一定方向插值出当前块的预测块,一共有35个预测模式,具体来说,HEVC为帧内预测提供了35种模式,分别为DC模式,Planar模式和33种角度模式,模式0是Planar模式(大面积平坦区域模式),1是DC(渐变式的平滑纹理区域处理模式),2到34(记为第2至第34)对应33种角度模式,支持预测单元大小从4*4到64*64。其中,Planar模式是由H.264/AVC中的Plane模式发展而来的,它适用于图像值缓慢变化的区域。Planar模式使用水平和垂直方向的两个线性滤波器,并将二者的平均值作为当前块像素的预测值。DC模式适用于大面积平坦区域,其做法与H.264/AVC基本相同。当前块预测值可由其左侧和上方(不包含左上角、左上方和右上方)参考像素的平均值得到。H.264/AVC使用了8中不同的预测方向(4x4大小),H.265/HEVC则进一步细化了这些预测方向,规定了33种角度预测模式,以更好地适应视频内容种多个方向的纹理。图5给出了33种角度模式的具体方向,其中V0(第26模式)和H0(第10模式)分别表示为垂直和水平方向,其余模式的预测方向都可以看成再垂直或水平方向上做了一个偏移,该偏移角的大小可由模式下方的数字计算得出。对于模式11-25,当前块的预测需要同时用到上方和左侧的参考像素。为了能够使用一种统一的形式来计算预测像素值,H.264/HEVC标准采用了一种“投影像素”的方法,对于模式18-25(垂直类模式),须将左侧参考像素按给定方向偷影至上方参考像素的左侧(水平排列),而对于模式11-17(水平类模式),须将上方参考像素按给定方向投影至左侧参考像素的上方(垂直排列)。
因此,通过本发明实施例所提供的视频编码决策决定所要使用的编码方式,对待编码视频进行处理,可以提升对视频编码的效率,减少视频编码的时间。
继续结合图2示出的电子设备20说明本发明实施例提供的视频信息处理方法,参见图5,图5为本发明实施例提供的视频信息处理方法一个可选的流程示意图,可以理解地,图5所示的步骤可以由运行视频信息处理装置的各种服务器执行,例如可以是如带有视频信息处理功能的专用终端、服务器或者服务器集群,其中,帧内编码单元的尺寸大小为64*64,下面针对图5示出的步骤进行说明。
步骤501:视频信息处理装置当所述帧内编码单元的尺寸大小为64*64时,触发第二视频编码决策进程。
步骤502:视频信息处理装置响应于所述第二视频编码决策进程,对所述帧内编码单元进行分割,形成尺寸大小为32*32的4个帧内编码单元的子块。
步骤503:视频信息处理装置通过与每一个帧内编码单元的子块相匹配的4个预分析块,利用不同的帧内预测模式对所述帧内编码单元所承载的待分析视频片段进行预分析处理。
步骤504:视频信息处理装置基于所述预分析处理所确定的预分析编码代价,确定相匹配的视频编码决策。
当通过基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策之后,视频服务器可以根据视频编码决策进行视频编码或者转码处理,减少用户的等待时间,经过视频编码决策处理的视频信息能够更加适应使用环境,以及视频播放环境的带宽,具体可以通过步骤305实现。
步骤305:视频信息处理装置通过所确定的视频编码决策对待编码视频进行处理,以实现对所述待编码视频的编码。
其中,本发明实施例可结合云技术或区块链网络技术实现,云技术(Cloudtechnology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术,也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站,因此云技术需要以云计算作为支撑。
需要说明的是,云计算是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。作为云计算的基础能力提供商,会建立云计算资源池平台,简称云平台,一般称为基础设施即服务(IaaS,Infrastructure as a Service),在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(可为虚拟化机器,包含操作系统)、存储设备和网络设备。
在本发明的一些实施例中,还可以获取所述待编码视频的标识信息,以及与所述待编码视频对应视频编码决策;基于所述待编码视频的标识信息、所述待编码视频以及所述待编码视频对应的视频编码决策,生成目标区块,将所述目标区块加入所述区块链网络中。具体来说,将所述待编码视频的标识信息、所述编码复用参数集合、所述待编码视频对应的视频编码决策以及编码方式发送至区块链网络,以使
所述区块链网络的节点将所述待编码视频的标识信息、所述编码复用参数集合、所述待编码视频对应的视频编码决策以及编码方式填充至新区块,且当对所述新区块共识一致时,将所述新区块追加至区块链的尾部。
上述方案中,所述方法还包括:
接收所述区块链网络中的其他节点的数据同步请求;响应于所述数据同步请求,对所述其他节点的权限进行验证;当所述其他节点的权限通过验证时,控制当前节点与所述其他节点之间进行数据同步,以实现所述其他节点获取所述待编码视频的标识信息、所述编码复用参数集合、所述待编码视频对应的视频编码决策以及编码方式。
上述方案中,所述方法还包括:响应于查询请求,解析所述查询请求以获取对应的用户标识;根据所述用户标识,获取区块链网络中的目标区块内的权限信息;对所述权限信息与所述用户标识的匹配性进行校验;当所述权限信息与所述用户标识相匹配时,在所述区块链网络中获取相应的所述待编码视频的标识信息、所述编码复用参数集合、所述待编码视频对应的视频编码决策以及编码方式;响应于所述查询请求,将所获取的相应的所述待编码视频的标识信息、所述编码复用参数集合、所述待编码视频对应的视频编码决策以及编码方式向相应的客户端进行推送,以实现所述客户端获取所述区块链网络中所保存的相应的所述待编码视频的标识信息、所述编码复用参数集合、所述待编码视频对应的视频编码决策以及编码方式。
继续参见图6,图6是本发明实施例提供的视频信息处理装置100的架构示意图,包括区块链网络200(示例性示出了共识节点210-1至共识节点210-3)、认证中心300、业务主体400和业务主体500,下面分别进行说明。
区块链网络200的类型是灵活多样的,例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例,任何业务主体的电子设备例如用户终端和服务器,都可以在不需要授权的情况下接入区块链网络200;以联盟链为例,业务主体在获得授权后其下辖的电子设备(例如终端/服务器)可以接入区块链网络200,此时,成为区块链网络200中的客户端节点。
在一些实施例中,客户端节点可以只作为区块链网络200的观察者,即提供支持业务主体发起交易(例如,用于上链存储数据或查询链上数据)功能,对于区块链网络200的共识节点210的功能,例如排序功能、共识服务和账本功能等,客户端节点可以缺省或者有选择性(例如,取决于业务主体的具体业务需求)地实施。从而,可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络200中,通过区块链网络200实现数据和业务处理过程的可信和可追溯。
区块链网络200中的共识节点接收来自不同业务主体(例如前序实施中示出的业务主体400和业务主体500)的客户端节点(例如,前序实施例中示出的归属于业务主体400的客户端节点410、以及归属于数据库运营商系统的客户端节点510)提交的交易,执行交易以更新账本或者查询账本,执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。
例如,客户端节点410/510可以订阅区块链网络200中感兴趣的事件,例如区块链网络200中特定的组织/通道中发生的交易,由共识节点210推送相应的交易通知到客户端节点410/510,从而触发客户端节点410/510中相应的业务逻辑。
下面以多个业务主体接入区块链网络以实现对指令信息以及与所述指令信息相匹配的业务进程管理为例,说明区块链网络的示例性应用。
参见图6,管理环节涉及的多个业务主体,如业务主体400可以是视频信息处理装置,业务主体500可以是带有视频信息处理装功能的显示系统,从认证中心300进行登记注册获得各自的数字证书,数字证书中包括业务主体的公钥、以及认证中心300对业务主体的公钥和身份信息签署的数字签名,用来与业务主体针对交易的数字签名一起附加到交易中,并被发送到区块链网络,以供区块链网络从交易中取出数字证书和签名,验证消息的可靠性(即是否未经篡改)和发送消息的业务主体的身份信息,区块链网络会根据身份进行验证,例如是否具有发起交易的权限。业务主体下辖的电子设备(例如终端或者服务器)运行的客户端都可以向区块链网络200请求接入而成为客户端节点。
业务主体400的客户端节点410用于,获取所述待编码视频的标识信息,以及与所述待编码视频对应视频编码决策;基于所述待编码视频的标识信息、所述编码复用参数集合、所述待编码视频对应的视频编码决策以及编码方式,生成目标区块,将所述目标区块加入所述区块链网络200中。
其中,将相应的指令信息以及与所述指令信息相匹配的视频编码方式发送至区块链网络200,可以预先在客户端节点410设置业务逻辑,当形成相应的视频编码方式时,客户端节点410将待处理的指令信息以及与所述指令信息相匹配的视频编码方式自动发送至区块链网络200,也可以由业务主体400的业务人员在客户端节点410中登录,手动打包指令信息以及与所述指令信息相匹配的视频编码方式以及相应的转换进程信息,并将其发送至区块链网络200。在发送时,客户端节点410根据指令信息以及与所述指令信息相匹配的视频编码方式以及相应的转换视频编码方式生成对应更新操作的交易,在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数,交易还携带了客户端节点410的数字证书、签署的数字签名(例如,使用客户端节点410的数字证书中的私钥,对交易的摘要进行加密得到),并将交易广播到区块链网络200中的共识节点210。
区块链网络200中的共识节点210中接收到交易时,对交易携带的数字证书和数字签名进行验证,验证成功后,根据交易中携带的业务主体400的身份,确认业务主体400是否是具有交易权限,数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点210自己的数字签名(例如,使用节点210-1的私钥对交易的摘要进行加密得到),并继续在区块链网络200中广播。
区块链网络200中的共识节点210接收到验证成功的交易后,将交易填充到新的区块中,并进行广播。区块链网络200中的共识节点210广播的新区块时,会对新区块进行共识过程,如果共识成功,则将新区块追加到自身所存储的区块链的尾部,并根据交易的结果更新状态数据库,执行新区块中的交易:对于提交更新待处理的指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息的交易,在状态数据库中添加包括指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息的键值对。
业务主体500的业务人员在客户端节点510中登录,输入指令信息以及与所述指令信息相匹配的视频编码方式查询请求,客户端节点510根据指令信息以及与所述指令信息相匹配的视频编码方式查询请求生成对应更新操作/查询操作的交易,在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数,交易还携带了客户端节点510的数字证书、签署的数字签名(例如,使用客户端节点510的数字证书中的私钥,对交易的摘要进行加密得到),并将交易广播到区块链网络200中的共识节点210。
区块链网络200中的共识节点210中接收到交易,对交易进行验证、区块填充及共识一致后,将填充的新区块追加到自身所存储的区块链的尾部,并根据交易的结果更新状态数据库,执行新区块中的交易:对于提交的更新某一视频编码方式数据信息对应的人工识别结果的交易,根据人工识别结果更新状态数据库中该视频编码方式数据信息对应的键值对;对于提交的查询某个视频编码方式数据信息的交易,从状态数据库中查询指令信息以及与所述指令信息相匹配的视频编码方式对应的键值对,并返回交易结果。
值得说明的是,在图6中示例性地示出了将指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息直接上链的过程,但在另一些实施例中,对于指令信息以及与所述指令信息相匹配的视频编码方式数据量较大的情况,客户端节点410可指令信息以及与所述指令信息相匹配的视频编码方式的哈希以及相应的指令信息以及与所述指令信息相匹配的视频编码方式的哈希成对上链,将指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息存储于分布式文件系统或数据库。客户端节点510从分布式文件系统或数据库获取到指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息后,可结合区块链网络200中对应的哈希进行校验,从而减少上链操作的工作量。
作为区块链的示例,参见图7,图7是本发明实施例提供的区块链网络200中区块链的结构示意图,每个区块的头部既可以包括区块中所有交易的哈希值,同时也包含前一个区块中所有交易的哈希值,新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后,会被追加到区块链的尾部从而形成链式的增长,区块之间基于哈希值的链式结构保证了区块中交易的防篡改和防伪造。
下面说明本发明实施例提供的区块链网络的示例性的功能架构,参见图8,图8是本发明实施例提供的区块链网络200的功能架构示意图,包括应用层201、共识层202、网络层203、数据层204和资源层205,下面分别进行说明。
资源层205封装了实现区块链网路200中的各个节点210的计算资源、存储资源和通信资源。
数据层204封装了实现账本的各种数据结构,包括以文件系统中的文件实现的区块链,键值型的状态数据库和存在性证明(例如区块中交易的哈希树)。
网络层203封装了点对点(P2P,Point to Point)网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。
其中,P2P网络协议实现区块链网络200中节点210之间的通信,数据传播机制保证了交易在区块链网络200中的传播,数据验证机制用于基于加密学方法(例如数字证书、数字签名、公/私钥对)实现节点210之间传输数据的可靠性;接入认证机制用于根据实际的业务场景对加入区块链网络200的业务主体的身份进行认证,并在认证通过时赋予业务主体接入区块链网络200的权限;业务主体身份管理用于存储允许接入区块链网络200的业务主体的身份、以及权限(例如能够发起的交易的类型)。
共识层202封装了区块链网络200中的节点210对区块达成一致性的机制(即共识机制)、交易管理和账本管理的功能。共识机制包括POS、POW和DPOS等共识算法,支持共识算法的可插拔。
交易管理用于验证节点210接收到的交易中携带的数字签名,验证业务主体的身份信息,并根据身份信息判断确认其是否具有权限进行交易(从业务主体身份管理读取相关信息);对于获得接入区块链网络200的授权的业务主体而言,均拥有认证中心颁发的数字证书,业务主体利用自己的数字证书中的私钥对提交的交易进行签名,从而声明自己的合法身份。
账本管理用于维护区块链和状态数据库。对于取得共识的区块,追加到区块链的尾部;执行取得共识的区块中的交易,当交易包括更新操作时更新状态数据库中的键值对,当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作,包括:根据区块向量号(例如交易的哈希值)查询区块;根据区块哈希值查询区块;根据交易向量号查询区块;根据交易向量号查询交易;根据业务主体的账号(向量号)查询业务主体的账号数据;根据通道名称查询通道中的区块链。
应用层201封装了区块链网络能够实现的各种业务,包括交易的溯源、存证和验证等。
下面对本发明实施例的多媒体信息处理装置的结构做详细说明,多媒体信息处理装置可以各种形式来实施,如带有视频信息处理功能的专用终端例如网关,也可以为带有视频信息处理功能的多媒体信息处理装置,例如前述图1中的服务器400。
图9为本发明实施例提供的电子设备的组成结构示意图,可以理解,图9仅仅示出了多媒体信息处理装置的示例性结构而非全部结构,根据需要可以实施图9示出的部分结构或全部结构。
本发明实施例提供的多媒体信息处理装置包括:至少一个处理器1101、存储器1102、用户接口1103和至少一个网络接口1104。电子设备中的各个组件通过总线系统1105耦合在一起。可以理解,总线系统1105用于实现这些组件之间的连接通信。总线系统1105除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图9中将各种总线都标为总线系统1105。
其中,用户接口1103可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解,存储器1102可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。本发明实施例中的存储器1102能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括:用于在终端(如10-1)上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中,本发明实施例提供的视频信息处理装置可以采用软硬件结合的方式实现,作为示例,本发明实施例提供的视频信息处理装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的视频信息处理方法。例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
作为本发明实施例提供的视频信息处理装置采用软硬件结合实施的示例,本发明实施例所提供的视频信息处理装置可以直接体现为由处理器1101执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器1102,处理器1101读取存储器1102中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器1101以及连接到总线1105的其他组件)完成本发明实施例提供的视频信息处理方法。
作为示例,处理器1101可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的视频信息处理装置采用硬件实施的示例,本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器1101来执行完成,例如,被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的视频信息处理方法。
本发明实施例中的存储器1102用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括:用于在电子设备上操作的任何可执行指令,如可执行指令,实现本发明实施例的从视频信息处理方法的程序可以包含在可执行指令中。
在另一些实施例中,本发明实施例提供的视频信息处理装置可以采用软件方式实现,图9示出了存储在存储器1102中的多媒体信息处理装置11021,其可以是程序和插件等形式的软件,并包括一系列的模块,作为存储器1102中存储的程序的示例,可以包括多媒体信息处理装置11021,多媒体信息处理装置11021中包括以下的软件模块:信息分离装置11081,视频处理装置11082。当多媒体信息处理装置11021中的软件模块被处理器1101读取到RAM中并执行时,将实现本发明实施例提供的视频信息处理方法,下面对多媒体信息处理装置11021中各个软件模块的功能进行介绍:
信息分离装置11081,用于从多媒体信息中分离出目标音频和目标视频;
视频处理装置11082,用于确定与所述目标视频相匹配的视频编码决策;
视频处理装置11082,用于确定与所述目标视频相匹配的编码方式;
所述视频处理装置11082,用于通过所确定的编码方式对所述目标视频进行处理,以实现对所述目标视频的编码;
所述视频处理装置11082,用于将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息,以实现对所述多媒体信息的压缩。
结合图9示出的电子设备说明本发明实施例提供的多媒体信息处理方法,参见图10,图10为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图,可以理解地,图10所示的步骤可以由运行多媒体信息处理装置的各种服务器执行,例如可以是如带有多媒体信息处理功能的专用终端、多媒体信息处理装置或者多媒体信息处理装置集群。下面针对图10示出的步骤进行说明。
步骤1001:多媒体信息处理装置从多媒体信息中分离出目标音频和目标视频。
步骤1002:多媒体信息处理装置确定与所述目标视频相匹配的视频编码决策。
步骤1003:多媒体信息处理装置根据所述视频编码决策确定相对应的视频编码方式。
步骤1004:多媒体信息处理装置通过所确定的视频编码方式对所述目标视频进行处理,以实现对所述目标视频的编码。
下面以不同的视频处理场景为例,对本申请提供的视频信息处理方法进行说明,其中,结合前序图1所示的视频信息处理方法的使用场景,服务器200和服务器400中可以保存有不同类型的视频。但是,这一过程中,传统的视频编码过程中,HEVC(High EfficiencyVideo Coding,高性能视频编码)编码过程中,涉及到许多模式决策过程。
同时视频编码过程中,由于需要适应不同的业务,不同的网络带宽等条件,需要将一个原始的视频流进行转码,包含转封装、转标准、转协议、转码率、转分辨率以及插入特定水印log等。这其中大部分过程需要对原始流进行解码然后进行重新压缩。由于视频压缩一个数据量、计算复杂度都非常庞大的过程,如何减少计算量、优化编码器的实现,降低转码平台的成本。但是这一过程中,参考图11,图11为本发明实施例中视频处理方法的一个可选的数据处理示意图,如HEVC视频编码标准,丢弃了原始视频码流的解码过程中的信息,在视频信息处理中通过对原始解码帧进行下采样,然后进行分析,最后再利用分析结果指导编码,使得编码决策的选择过程极其复杂,导致编码的时间较长,不利于用户的使用体验,不利于复杂的视频信息处理场景。
为解决上述缺陷,参见图12,图12为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图,可以理解地,图12所示的步骤可以由运行多媒体信息处理装置的各种服务器执行,例如可以是如带有多媒体信息处理功能的专用终端、多媒体信息处理装置或者多媒体信息处理装置集群。下面针对图12示出的步骤进行说明。
步骤1201:基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合。
其中,图13为本发明实施例中视频处理方法的数据处理示意图,其中,每一帧的帧输出buffer后面额外分配一定的空间存储extra_info,这些信息包括但不限于,每个宏块的宏块类型,分割方式,bits大小,MV及参考帧、qp信息以及帧类型和帧Size数据等。编码器拿到一帧frame_data后,同时得到了这些extra_info信息,这些info信息可以直接用来指导估计当前帧的复杂度。为每一个宏块确定搜索的起始地址,并且用来指导的码率控制,由此,可以省略预分析过程,或者节约其中的大部分计算,减少视频用户的等待时间。具体来说,如图13,原始码流在解码过程中需要解码宏块类型(intra/inter/skip等)、分割类型(16x16/16x8/8x16/8x8/4x4等),参考帧和MV信息等不同参数,同时还可以收集每个宏块在码流中所占有的bits量,以及整个帧的总bits量,这些参数均可以进行复用。
步骤1202:基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导。
参考图14,图14为本发明实施例中视频处理方法的数据处理示意图,其中,编码器每读入一帧的frame_data时同时获得该帧的extra_info。其中,可用整帧的frame_size以及avrage_qp(各个宏块qp求得的统计均值)指导衡量帧级复杂度,根据当前指定的码率控制参数确定帧级编码qp,使用每个宏块的类型与bits指导计算宏块级复杂度,从而确定宏块级qp,原始宏块qp信息可用来按照一定的比率调整修正由码率控制计算得到的宏块级qp,宏块类型和分割类型则可以帮助快速确定编码过程中的模式判决,MV及参考帧信息可以直接用于(参考帧一致)或者导出计算(参考帧不同)搜索过程中的起始搜索位置,以达到快速搜索到最佳MV的目的,大量减少搜索次数节约运算量。
其中,图15为本发明实施例中视频处理方法的前端显示示意图,其中,用户可以通过用户界面(UI User Interface)利用视频类小程序或者插件上传需要处理的视频,经过编码处理的视频还可以供其他应用程序调用,例如迁移至不同的视频播放进程(例如网页视频的播放进程、小程序的视频播放进程或者短视频的客户端播放进程)。视频的传输过程中,传统技术中的视频编码系统可以压缩数字视频信号。例如,视频编码系统可以压缩数字视频信号以减少这种信号的存储和/或传输带宽。视频编码系统可以包括但不限于基于块的、基于小波的、基于对象的系统和/或基于块的混合视频编码系统。基于块的视频编码系统的示例可以包括H.261(例如,运动图像专家组)、MPEG-1、MPEG-2、H.263、H.264/高级视频编码(AVC)和/或H.265/高效视频编码(HEVC)。HEVC(High Efficiency Video Coding,高性能视频编码)编码过程中,涉及到许多模式决策过程。
步骤1203:确定与所述目标视频相匹配的视频编码决策。
具体来说,针对强实时转码场景,通过复用参数集合的处理可以直接代替预分析过程,用于快速指导编码过程。对于点播转码场景,可以本申请提供的视频信息处理方法与预分析技术结合,在转码启动的前面若干帧,对比预分析获取的信息与解码过程的信息,例如对比运动矢量mv信息,宏块类型以及帧类型等,如果吻合度较高(例如达到相应的重合阈值),则后续编码可以直接使用解码过程的extra_info,省去预分析过程,减少编码时间,提升用户的使用体验。否则,继续进行预分析,丢弃extra_info或者仅仅作为预分析中的一个补充,例如,将mv作为编码过程中的一个额外的mvp候选,使得视频编码更加准确。
当在不同编码标准压缩流之间进行转码应用时,通过本申请提供的视频信息处理方法,只需要解码器在输出的extra_info中标记block单元的大小(例如16x16)。编码器则根据block size与当前需要转码输出的标准所使用单元size进行数据整合(例如H264码流解码输出extra_info的block_size为16x16,转码输出为H265,编码单元大小为64x64,则每次读取extra_info的4x4个block单元信息指导当前编码单元编码)。
其中,一种可选推荐的方式是,不管转码前码流属于何种标准,编码单元大小为多大,输出extra_info全都按照16x16的block_size进行输出。编码则依据不同的压缩标准支持的编码单元大小(H264为16x16/H265为16x16/32x32/64x64 AV1为64x64 128x128)。读取对应大小数量的extra_info信息进行整合,以此实现性能平衡,降低转码平台的运行成本。
由此,通过本申请所提供的编码复用参数集合中的不同编码复用参数,可以在强实时转码过程实时场景中,尤其是高分辨率的实时转码应用中,编码计算量巨大的情况下,弥补传统技术无法使用预分析进程的不足,提升视频信息处理成功率。同时还能够还可以有效节省编码复杂度,例如加速甚至完全替换预分析过程,为编码过程中的确定最佳的起始位置,帮助快速获取最佳运动矢量,在视频转码场景获得一个较好的编码效果与性能平衡。
步骤1204:过所确定的视频编码方式对所述目标视频进行处理,以实现对所述目标视频的编码。
有益效果:
本发明通过获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段;基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合;基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导;根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策;通过所确定的视频编码决策对待编码视频进行处理,能够根据编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导,快速准确地确定与待编码视频相匹配的视频编码决策,也更加快速地确定对视频的编码方式,减少了选择视频编码决策的等待时间,提升视频编码过程的速度。
以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种视频信息处理方法,其特征在于,所述方法包括:
获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段;
基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合,其中所述编码复用参数集合包括至少以下之一:
编码宏块的类型参数、所述编码宏块的尺寸参数、比特量参数以及量化因子参数,所述待分析视频片段为所述待编码视频中固定帧数的视频或者固定时间的视频;
基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导;
当所述待编码视频处于实时转码环境时,确定所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数;
通过所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数进行比对;
当所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数的重合度达到重合阈值时,通过所述编码复用参数集合确定相匹配的视频编码决策;或者,
当所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数的重合度未达到重合阈值时,将所述编码复用参数集合作为所述待编码视频预分析进程的补充;
通过所确定的视频编码决策对待编码视频进行处理,以实现对所述待编码视频的编码。
2.根据权利要求1所述的方法,其特征在于,所述基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合,包括:
监听所述待分析视频片段的原始视频码流的解码进程,确定所述原始视频码流的解码信息;
基于所述原始视频码流的解码信息,确定所述待分析视频片段中的编码宏块的类型参数、所述编码宏块的尺寸参数、比特量参数以及量化因子参数;
在所述待分析视频片段的不同图像帧中,配置相应的额外存储空间,以承载所述编码复用参数集合;
确定实时编码标准,并基于所述实时编码标准确定所述编码复用参数集合的输出数据格式,以实现输出所述不同图像帧中的额外存储空间所承载的编码复用参数集合。
3.根据权利要求2所述的方法,其特征在于,所述监听所述待分析视频片段的原始视频码流的解码进程,确定所述原始视频码流的解码信息,包括:
确定所述待分析视频片段的原始视频码流的解码进程中的不同解码帧;
监听所述待分析视频片段的原始视频码流的解码进程中的不同解码帧处理过程,确定解码帧的帧类型参数和所述解码帧的尺寸参数。
4.根据权利要求2所述的方法,其特征在于,所述基于所述原始视频码流的解码信息,确定所述待分析视频片段中的编码宏块的类型参数、所述编码宏块的尺寸参数、比特量参数以及量化因子参数,包括:
基于所述原始视频码流的解码信息,确定每一个编码宏块在原始码流中所占的比特量参数以及所述待分析视频片段的总比特量参数;
基于所述原始视频码流的解码信息,确定每一个编码宏块的量化因子参数以及不同编码宏块的平均量化因子参数;
基于所述原始视频码流的解码信息,确定与所述编码宏块相匹配的参考帧以及运动矢量。
5.根据权利要求1所述的方法,其特征在于,所述基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导,包括:
基于每一图像帧的实际大小和所述编码复用参数集合中的不同编码宏块的平均量化因子参数,确定所述待编码视频的图像帧复杂度;
基于所述编码复用参数集合中的不同编码宏块的类型和比特量参数,确定所述待编码视频的编码宏块的复杂度以及编码宏块级别的量化因子参数;
基于所述编码复用参数集合中的编码宏块的类型参数和所述编码宏块的尺寸参数,确定与所述待编码视频相匹配的帧内预测模式;
基于所述编码复用参数集合中的参考帧和运动矢量,确定所述待编码视频中的运动矢量的起始搜索位置。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
基于所述待编码视频的码率控制参数,确定图像帧级别的量化因子参数;
确定所述待编码视频中的原始编码宏块的量化因子参数;
根据所述原始编码宏块的量化因子参数对所述编码宏块级别的量化因子参数进行动态调节。
7.根据权利要求5所述的方法,其特征在于,所述基于所述编码复用参数集合中的参考帧和运动矢量,确定所述待编码视频中的运动矢量的起始搜索位置,包括:
当所述参考帧一致时,基于所述参考帧和运动矢量确定所述待编码视频中的运动矢量的起始搜索位置;或者
当所述参考帧不一致时,导出所述编码复用参数集合中的不同的参考帧,确定相应的偏移量,并根据所述不同的参考帧对应的偏移量和所述运动矢量确定所述待编码视频中的运动矢量的起始搜索位置。
8.根据权利要求1所述的方法,其特征在于,所述根据所述编码复用参数集合的指导结果,确定相匹配的视频编码决策,包括:
当所述待编码视频处于不同编码标准间转码环境时,基于所述原始视频码流的解码过程,在所述编码复用参数集合中标记帧内编码单元的尺寸;
基于目标编码标准和所述编码复用参数集合中的帧内编码单元的尺寸,对所述编码复用参数集合中的帧内编码单元进行数据整合处理,确定相匹配的视频编码决策。
9.根据权利要求1-8任一所述的方法,其特征在于,所述方法还包括:
获取所述待编码视频的标识信息,所述编码复用参数集合以及与所述待编码视频对应视频编码决策;
基于所述待编码视频的标识信息、所述编码复用参数集合、所述待编码视频对应的视频编码决策以及编码方式,生成目标区块,将所述目标区块加入区块链网络中。
10.一种多媒体信息处理方法,其特征在于,所述方法包括:
从多媒体信息中分离出目标音频和目标视频;
确定与所述目标视频相匹配的视频编码决策;
根据所述视频编码决策确定相对应的视频编码方式;
通过所确定的视频编码方式对所述目标视频进行处理,以实现对所述目标视频的编码;
将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息,以实现对所述多媒体信息的压缩;其中,所述视频编码决策如权利要求1至9任一项所述的方法得到。
11.一种视频信息处理装置,其特征在于,所述装置包括:
信息传输模块,用于获取待编码视频,并得到与所述待编码视频相对应的待分析视频片段;
信息处理模块,用于基于所述待分析视频片段的原始视频码流的解码过程,得到与所述待编码视频相对应的编码复用参数集合,其中所述编码复用参数集合包括至少以下之一:
编码宏块的类型参数、所述编码宏块的尺寸参数、比特量参数以及量化因子参数,所述待分析视频片段为所述待编码视频中固定帧数的视频或者固定时间的视频;
所述信息处理模块,用于基于所述编码复用参数集合中的不同编码复用参数,触发相应的视频编码进程,以实现通过所述编码复用参数集合对所述待编码视频的编码过程进行指导;
所述信息处理模块,用于当所述待编码视频处于实时转码环境时,确定所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数;
所述信息处理模块,用于通过所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数进行比对;
所述信息处理模块,用于当所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数的重合度达到重合阈值时,通过所述编码复用参数集合确定相匹配的视频编码决策;或者,当所述编码复用参数集合中的不同编码复用参数,与所述待编码视频预分析进程中的运动矢量参数、编码宏块类型参数和解码帧类型参数的重合度未达到重合阈值时,将所述编码复用参数集合作为所述待编码视频预分析进程的补充;
所述信息处理模块,用于通过所确定的视频编码决策对待编码视频进行处理,以实现对所述待编码视频的编码。
12.一种多媒体信息处理装置,其特征在于,所述多媒体信息处理装置包括:
信息分离装置,用于从多媒体信息中分离出目标音频和目标视频;
视频处理装置,用于确定与所述目标视频相匹配的视频编码决策;
所述视频处理装置,根据所述视频编码决策确定相对应的视频编码方式;
所述视频处理装置,用于通过所确定的编码方式对所述目标视频进行处理,以实现对所述目标视频的编码;
所述视频处理装置,用于将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息,以实现对所述多媒体信息的压缩,其中,所述视频编码决策如权利要求1至9任一项所述的方法得到。
13.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于运行所述存储器存储的可执行指令时,实现权利要求1至9任一项所述的视频信息处理方法,或者,实现权利要求10所述的多媒体信息处理方法。
14.一种计算机可读存储介质,存储有可执行指令,其特征在于,所述可执行指令被处理器执行时实现权利要求1至9任一项所述的视频信息处理方法,或者实现权利要求10所述的多媒体信息处理方法。
CN202010713868.1A 2020-07-22 2020-07-22 一种视频信息处理方法、多媒体信息处理方法及装置 Active CN111787319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010713868.1A CN111787319B (zh) 2020-07-22 2020-07-22 一种视频信息处理方法、多媒体信息处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010713868.1A CN111787319B (zh) 2020-07-22 2020-07-22 一种视频信息处理方法、多媒体信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN111787319A CN111787319A (zh) 2020-10-16
CN111787319B true CN111787319B (zh) 2021-09-14

Family

ID=72764802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010713868.1A Active CN111787319B (zh) 2020-07-22 2020-07-22 一种视频信息处理方法、多媒体信息处理方法及装置

Country Status (1)

Country Link
CN (1) CN111787319B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117529918A (zh) * 2021-03-02 2024-02-06 抖音视界有限公司 用于图像编码的方法、电子设备、存储介质和记录介质
CN113676729A (zh) * 2021-07-12 2021-11-19 杭州未名信科科技有限公司 一种视频编码的方法、装置、计算机设备及存储介质
CN117579820B (zh) * 2024-01-15 2024-05-10 腾讯科技(深圳)有限公司 编码参数确定方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111010495A (zh) * 2019-12-09 2020-04-14 腾讯科技(深圳)有限公司 一种视频降噪处理方法及装置
CN111147926A (zh) * 2018-11-02 2020-05-12 杭州海康威视数字技术股份有限公司 一种数据转码方法及装置
CN111342937A (zh) * 2020-03-17 2020-06-26 北京百瑞互联技术有限公司 一种动态调整编解码处理器电压和/或频率的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2369952B (en) * 2001-03-10 2002-12-04 Ericsson Telefon Ab L M Transcoding of video signals
CN102685482A (zh) * 2011-12-12 2012-09-19 苏州科雷芯电子科技有限公司 混合式编解码方法及装置
WO2013113134A1 (en) * 2012-02-02 2013-08-08 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US20140037005A1 (en) * 2012-08-02 2014-02-06 Penne Y. LEE Transcoding video data
CN103475880B (zh) * 2013-09-11 2016-08-24 浙江大学 一种基于统计分析的由h.264到hevc低复杂度视频转码方法
CN104618734B (zh) * 2015-01-29 2019-02-01 华为技术有限公司 相同协议类型下视频码流的转码方法和装置
CN108076347B (zh) * 2016-11-15 2021-11-26 阿里巴巴集团控股有限公司 一种编码起始点的获取方法以及装置
CN110582008B (zh) * 2019-09-30 2022-01-21 北京奇艺世纪科技有限公司 一种视频质量评价方法及装置
CN111294591B (zh) * 2020-05-09 2020-09-25 腾讯科技(深圳)有限公司 视频信息处理方法、多媒体信息处理方法、装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147926A (zh) * 2018-11-02 2020-05-12 杭州海康威视数字技术股份有限公司 一种数据转码方法及装置
CN111010495A (zh) * 2019-12-09 2020-04-14 腾讯科技(深圳)有限公司 一种视频降噪处理方法及装置
CN111342937A (zh) * 2020-03-17 2020-06-26 北京百瑞互联技术有限公司 一种动态调整编解码处理器电压和/或频率的方法和装置

Also Published As

Publication number Publication date
CN111787319A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111787319B (zh) 一种视频信息处理方法、多媒体信息处理方法及装置
CN113545042B (zh) 视频编解码的方法和装置
CN111294591B (zh) 视频信息处理方法、多媒体信息处理方法、装置
CN114598885B (zh) 视频解码方法、设备以及计算机可读存储介质
KR102447241B1 (ko) 이미지 인코딩 방법 및 장치, 그리고 이미지 디코딩 방법 및 장치
CN113796083B (zh) 视频解码方法和设备
EP3244621A1 (en) Video encoding method, system and server
CN110708557B (zh) 解码器中的视频解码方法和设备、计算机设备
TW201820875A (zh) 視訊解碼裝置、視訊編碼方法及裝置與電腦可讀儲存媒體
TW201507439A (zh) 視訊編碼方法與裝置以及非暫時性電腦可讀記錄媒體
CN113196745B (zh) 视频编解码的方法和装置
TW201415904A (zh) 幀間預測的運動預測方法、運動補償方法、運動預測裝置、運動補償裝置以及電腦可讀記錄媒體
CN111294592B (zh) 视频信息处理方法、多媒体信息处理方法、装置
CN109996079A (zh) 视频解码方法和装置
CN102802024A (zh) 在服务器端实现的转码方法以及转码系统
EP3806462A1 (en) Image encoding and decoding method , related device and storage medium
Chavarrías et al. A DSP-Based HEVC decoder implementation using an actor language dataflow model
Zhang et al. Fast and adaptive mode decision and CU partition early termination algorithm for intra-prediction in HEVC
CN112565815A (zh) 文件封装方法、文件传输方法、文件解码方法及相关设备
CN115767092A (zh) 图像传输方法、云桌面及图像传输系统、设备及产品
CN112235582B (zh) 一种视频数据处理方法、装置、计算机设备及存储介质
CN116866591A (zh) 一种图像编码方法、装置及计算机设备、介质
KR102296987B1 (ko) 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템
CN112804525B (zh) Ibc模式帧内块拷贝预测方法、装置、介质及设备
JP2024517915A (ja) データ処理方法、装置、コンピュータ機器及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030723

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant