CN112788341B - 视频信息处理方法、多媒体信息处理方法、装置及电子设备 - Google Patents

视频信息处理方法、多媒体信息处理方法、装置及电子设备 Download PDF

Info

Publication number
CN112788341B
CN112788341B CN201911083699.1A CN201911083699A CN112788341B CN 112788341 B CN112788341 B CN 112788341B CN 201911083699 A CN201911083699 A CN 201911083699A CN 112788341 B CN112788341 B CN 112788341B
Authority
CN
China
Prior art keywords
video
coding
picture group
group combination
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911083699.1A
Other languages
English (en)
Other versions
CN112788341A (zh
Inventor
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911083699.1A priority Critical patent/CN112788341B/zh
Publication of CN112788341A publication Critical patent/CN112788341A/zh
Application granted granted Critical
Publication of CN112788341B publication Critical patent/CN112788341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频信息处理方法，包括：获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段，根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程；根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价，并通过相应的编码代价，确定最小编码代价所对应的画面组组合策略；根据所述最小编码代价所对应的画面组组合策略，确定相应的编码方式，并通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码。本发明还提供了多媒体信息处理方法、装置、电子设备及存储介质。本发明能够更加准确地确定对视频的编码方式，减少了选择视频编码方式的等待时间。

Description

视频信息处理方法、多媒体信息处理方法、装置及电子设备
技术领域
本发明涉及视频编码技术，尤其涉及一种视频信息处理方法、多媒体信息处理方法、装置及电子设备。
背景技术
相关技术的视频编码过程中，一般将连续若干帧画面组成的集合成为画面组（GOP group of pictures）。编码就是对每个GOP进行编码。GOP的大小决定了编码中基本的层级结构以及参考关系，对编码的性能影响较大。对于较复杂视频片段，选择较小的GOP能够充分利用GOP内近距离的帧进行参考，得到较好预测。而对于较简单视频片段，选择较大的GOP则能够对各层级的帧进行合理的质量分配得到更好的编码性能。因此现有方法采用固定GOP大小，如GOP16或者GOP8无法自适应编码序列的特性，从而无法得到较好的性能。无法实现根据视频的不同状态自动确定与视频特征相匹配的编码方式。
发明内容
有鉴于此，本发明实施例提供一种视频信息处理方法、多媒体信息处理方法、装置及电子设备，能够根据视频的不同状态自动确定与视频特征相匹配的编码方式，实现了更加准确地确定对视频的编码方式，减少了选择视频编码方式的等待时间。
本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种视频信息处理方法，所述方法包括：
获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段，其中，所述待分析视频片段包括至少24帧图像；
根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，以实现通过对应的画面组组合策略对所述待分析视频片段进行编码处理；
响应于所述视频预编码进程，根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价，并通过相应的编码代价，确定最小编码代价所对应的画面组组合策略；
根据所述最小编码代价所对应的画面组组合策略，确定相应的编码方式，并通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码。
本发明实施例还提供了一种多媒体信息处理方法，其特征在于，所述方法包括：
从多媒体信息中分离出目标音频和目标视频；
确定与所述目标视频相匹配的编码方式；
通过所确定的编码方式对所述目标视频进行处理，以实现对所述目标视频的编码；
将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息，以实现对所述多媒体信息的压缩。
本发明实施例还提供了一种视频信息处理装置，所述装置包括：
信息传输模块，用于获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段，其中，所述待分析视频片段包括至少24帧图像；
信息处理模块，用于根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，以实现通过对应的画面组组合策略对所述待分析视频片段进行编码处理；
所述信息处理模块，用于响应于所述视频预编码进程，根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价，并通过相应的编码代价，确定最小编码代价所对应的画面组组合策略；
所述信息处理模块，用于根据所述最小编码代价所对应的画面组组合策略，确定相应的编码方式，并通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码。
上述方案中，
所述信息处理模块，用于当所述待分析视频片段所包括的图像帧数N大于等于32帧时，触发第一视频预编码进程；
所述信息处理模块，用于响应于所述第一视频预编码进程，通过第一画面组组合策略集合对所述待分析视频片段进行编码处理，其中，所述第一画面组组合策略集合包括至少三种与所述图像帧数N相匹配的画面组组合策略。
上述方案中，
所述信息处理模块，用于响应于所述第一视频预编码进程，根据所述第一画面组组合策略集合对所述待分析视频片段进行编码处理；
所述信息处理模块，用于根据所述待分析视频片段编码处理的结果，确定所述第一画面组组合策略集合中的所有画面组组合策略各自对应的编码代价；
所述信息处理模块，用于遍历所述第一画面组组合策略集合中的所有画面组组合策略各自对应的编码代价，以确定所述第一画面组组合策略集合中最小编码代价所对应的画面组组合策略。
上述方案中，
所述信息处理模块，用于当最小编码代价所对应的画面组组合策略包括连续2个四分之N帧图像组和1个二分之N帧图像组的画面组的组合时，确定相应的编码方式为通过四分之N帧图像组对所述待编码视频进行处理。
上述方案中，
所述信息处理模块，用于当最小编码代价所对应的画面组组合策略不是连续2个四分之N帧图像组和1个二分之N帧图像组的画面组的组合时，调整所述画面组组合策略，并根据所调整的画面组组合策略对所述待分析视频片段进行编码处理；
所述信息处理模块，用于根据所调整的画面组组合策略对所述待分析视频片段进行编码处理的结果，确定通过四分之N帧图像组对所述待编码视频进行处理；
所述信息处理模块，用于根据所调整的画面组组合策略对所述待分析视频片段进行编码处理的结果，确定通过八分之N帧图像组对所述待编码视频进行处理。
上述方案中，
所述信息处理模块，用于当所述待分析视频片段所包括的图像帧数M大于等于24帧且小于32帧时，触发第二视频预编码进程；
所述信息处理模块，用于响应于所述第二视频预编码进程，通过第二画面组组合策略集合对所述待分析视频片段进行编码处理，其中，所述第二画面组组合策略集合包括至少三种与所述图像帧数M相匹配的画面组组合策略。
上述方案中，
所述信息处理模块，用于响应于所述第二视频预编码进程，根据所述第二画面组组合策略集合对所述待分析视频片段进行编码处理；
所述信息处理模块，用于根据所述待分析视频片段编码处理的结果，确定所述第二画面组组合策略集合中的所有画面组组合策略各自对应的编码代价；
所述信息处理模块，用于遍历所述第二画面组组合策略集合中的所有画面组组合策略各自对应的编码代价，以确定所述第二画面组组合策略集合中最小编码代价所对应的画面组组合策略。
上述方案中，
所述信息处理模块，用于当最小编码代价所对应的画面组组合策略包括连续2个四分之M帧图像组和1个M-16帧图像组的画面组的组合时，确定相应的编码方式为通过四分之M帧图像组对所述待编码视频进行处理。
上述方案中，
所述信息处理模块，用于当最小编码代价所对应的画面组组合策略不是连续2个四分之M帧图像组和1个M-16帧图像组的画面组的组合时，
所述信息处理模块，用于调整所述画面组组合策略，并根据所调整的画面组组合策略对所述待分析视频片段进行编码处理；
所述信息处理模块，用于根据所调整的画面组组合策略对所述待分析视频片段进行编码处理的结果，确定通过四分之M帧图像组对所述待编码视频进行处理；
所述信息处理模块，用于根据所调整的画面组组合策略对所述待分析视频片段进行编码处理的结果，确定通过八分之M帧图像组对所述待编码视频进行处理；
所述信息处理模块，用于根据所调整的画面组组合策略对所述待分析视频片段进行编码处理的结果，确定通过二分之M帧图像组对所述待编码视频进行处理。
上述方案中，
所述信息处理模块，用于获取所述待编码视频的标识信息，以及与所述待编码视频对应的编码方式；
所述信息处理模块，用于基于所述待编码视频的标识信息、所述待编码视频以及所述待编码视频对应的编码方式，生成目标区块，将所述目标区块加入区块链网络中。
本发明实施例还提供了一种多媒体信息处理装置，所述多媒体信息处理装置包括：
信息分离装置，用于从多媒体信息中分离出目标音频和目标视频；
视频处理装置，用于确定与所述目标视频相匹配的编码方式；
所述视频处理装置，用于通过所确定的编码方式对所述目标视频进行处理，以实现对所述目标视频的编码；
所述视频处理装置，用于将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息，以实现对所述多媒体信息的压缩。
本发明实施例还提供了一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权前序的视频信息处理方法。
本发明实施例还提供了一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现前序的多媒体信息处理方法。
本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前序的视频信息处理方法，或者实现前序的多媒体信息处理方法
本发明实施例具有以下有益效果：
通过获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段，其中，所述待分析视频片段包括至少24帧图像；根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，以实现通过对应的画面组组合策略对所述待分析视频片段进行编码处理；响应于所述视频预编码进程，根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价，并通过相应的编码代价，确定最小编码代价所对应的画面组组合策略；根据所述最小编码代价所对应的画面组组合策略，确定相应的编码方式，并通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码，由此，能够根据视频的不同状态自动确定与视频特征相匹配的编码方式，实现了更加准确地确定对视频的编码方式，减少了选择视频编码方式的等待时间，同时经过编码处理的视频能够节省视频传输时所占用的网络带宽。
附图说明
图1是本发明实施例提供的一种视频信息处理方法的使用场景示意图；
图2为本发明实施例提供的电子设备的组成结构示意图；
图3为本发明实施例提供的视频信息处理方法一个可选的流程示意图；
图4为本发明实施例提供的视频信息处理方法一个可选的流程示意图；
图5为本发明实施例中视频信息处理的一个可选的过程示意图；
图6为本发明实施例中GOP16画面组的数据结构示意图；
图7为本发明实施例中GOP8画面组的数据结构示意图；
图8为本发明实施例中GOP4画面组的数据结构示意图；
图9为本发明实施例提供的视频信息处理方法一个可选的流程示意图；
图10是本发明实施例提供的视频信息处理装置100的架构示意图；
图11是本发明实施例提供的区块链网络200中区块链的结构示意图；
图12是本发明实施例提供的区块链网络200的功能架构示意图；
图13为本发明实施例提供的电子设备的组成结构示意图；
图14为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图；
图15为本发明所提供的视频信息处理方法的一个可选的处理流程示意图；
图16为本发明所提供的视频信息处理方法的一个可选的处理流程示意图；
图17为本发明所提供的视频信息处理方法的一个可选的画面组组合策略示意图；
图18为本发明所提供的视频信息处理方法的一个可选的处理流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解， “一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1）API：全称Application Programming Interface，可翻译成应用程序接口，是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问原码，或理解内部工作机制的细节。
2）SDK：全称Software Development Kit，可翻译成软件开发工具包，是为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合广义上包括辅助开发某一类软件的相关文档、范例和工具的集合。
3）P帧：帧间预测帧，可采用帧内预测和帧间预测，可前向参考预测视频编码方式。
4）B帧：帧间预测帧，可采用帧内预测和帧间预测，可前向、后向、双向参考预测。
5）视频编解码标准：某一种约定的视频码流解码规则。
6）I帧即Intra-coded picture（帧内编码图像帧），不参考其他图像帧，只利用本帧的信息进行编码。
7）视频编码（Video Transcoding），是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。
8）客户端，终端中实现特定功能的载体，例如移动客户端（APP）是移动终端中特定功能的载体，例如执行线上直播（视频推流）的功能或者是在线视频的播放功能。
图1为本发明实施例提供的视频信息处理方法的使用场景示意图，参见图1，终端（包括终端10-1和终端10-2）上设置有能够执行不同功能相应客户端其中，所属客户端为终端（包括终端10-1和终端10-2）通过网络300从相应的电子设备200中利用不同的业务进程获取不同的视频信息进行浏览，终端通过网络300连接电子设备200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端（包括终端10-1和终端10-2）通过网络300从相应的电子设备200中所获取的视频类型并不相同，例如：终端（包括终端10-1和终端10-2）既可以通过网络300从相应的电子设备200中获取视频（即视频中携带视频信息或相应的视频链接），也可以通过网络300从相应的电子设备200中获取仅包括文字或图像的相应视频进行浏览。电子设备200中可以保存有不同类型的视频。在本发明的一些实施例中，电子设备200中所保存的不同类型的视频的进程可以是在不同编程语言的软件代码中所编写的，代码对象可以是不同类型的代码实体。例如，在C语言的软件代码中，一个代码对象可以是一个函数。在JAVA语言的软件代码中，一个代码对象可以是一个类，IOS端OC语言中可以是一段目标代码。在C++语言的软件代码中，一个代码对象可以是一个类或一个函数。其中本申请中不再对不同类型的视频的编译环境进行区分。但是，这一过程中，传统的视频编码过程中，一般将连续若干帧画面组成的集合成为画面组（GOP groupof pictures）。编码就是对每个GOP进行编码。GOP的大小决定了编码中基本的层级结构以及参考关系，对编码的性能影响较大。对于较复杂视频片段，选择较小的GOP能够充分利用GOP内近距离的帧进行参考，得到较好预测。而对于较简单视频片段，选择较大的GOP则能够对各层级的帧进行合理的质量分配得到更好的编码性能。因此现有方法采用固定GOP大小，如GOP16、GOP8或者GOP4无法自适应不同视频所特有的编码序列的特性，从而无法得到较好的性能，也无法实现根据视频的不同状态自动确定与视频特征相匹配的编码方式。
电子设备200通过网络300向终端（终端10-1和/或终端10-2）发送或接收不同类型的视频的过程中，由于视频信息所占用的存储空间较大，因此需要对视频信息进行压缩，因此。作为一个事例，服务器200用于获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段，其中，所述待分析视频片段包括至少24帧图像；根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，以实现通过对应的画面组组合策略对所述待分析视频片段进行编码处理；响应于所述视频预编码进程，根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价，并通过相应的编码代价，确定最小编码代价所对应的画面组组合策略；根据所述最小编码代价所对应的画面组组合策略，确定相应的编码方式，并通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码。
下面对本发明实施例的服务器的结构做详细说明，服务器可以各种形式来实施，如带有视频信息处理功能的专用终端例如网关，也可以为带有视频信息处理功能的服务器，例如前述图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的电子设备包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备20中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端（如10-1）的操作。这些数据的示例包括：用于在终端（如10-1）上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的视频信息处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的视频信息处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的视频信息处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，ApplicationSpecific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable LogicDevice）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。
作为本发明实施例提供的视频信息处理装置采用软硬件结合实施的示例，本发明实施例所提供的视频信息处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件（例如，包括处理器201以及连接到总线205的其他组件）完成本发明实施例提供的视频信息处理方法。
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的视频信息处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）或其他电子元件执行实现本发明实施例提供的视频信息处理方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备20的操作。这些数据的示例包括：用于在电子设备20上操作的任何可执行指令，如可执行指令，实现本发明实施例的从视频信息处理方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的视频信息处理装置可以采用软件方式实现，图2示出了存储在存储器202中的视频信息处理装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括视频信息处理装置2020，视频信息处理装置2020中包括以下的软件模块：信息传输模块2081，信息处理模块2082。当视频信息处理装置2020中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的视频信息处理方法，下面对视频信息处理装置2020中各个软件模块的功能进行介绍：
信息传输模块2081，用于获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段，其中，所述待分析视频片段包括至少24帧图像；
信息处理模块2082，用于根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，以实现通过对应的画面组组合策略对所述待分析视频片段进行编码处理；
所述信息处理模块2082，用于响应于所述视频预编码进程，根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价，并通过相应的编码代价，确定最小编码代价所对应的画面组组合策略；
所述信息处理模块2082，用于根据所述最小编码代价所对应的画面组组合策略，确定相应的编码方式，并通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码。
结合图2示出的电子设备20说明本发明实施例提供的视频信息处理方法，参见图3，图3为本发明实施例提供的视频信息处理方法一个可选的流程示意图，可以理解地，图3所示的步骤可以由运行视频信息处理装置的各种服务器执行，例如可以是如带有视频信息处理功能的专用终端、服务器或者服务器集群。下面针对图3示出的步骤进行说明。
步骤301：视频信息处理装置获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段。
其中，所述待分析视频片段包括至少24帧图像。
步骤302：视频信息处理装置根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，以实现通过对应的画面组组合策略对所述待分析视频片段进行编码处理。
步骤303：视频信息处理装置响应于所述视频预编码进程，根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价，并通过相应的编码代价，确定最小编码代价所对应的画面组组合策略。
在本发明的一些实施例中，所述根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，可以通过以下方式实现：
当所述待分析视频片段所包括的图像帧数N大于等于32帧时，触发第一视频预编码进程；响应于所述第一视频预编码进程，通过第一画面组组合策略集合对所述待分析视频片段进行编码处理，其中，所述第一画面组组合策略集合包括至少三种与所述图像帧数N相匹配的画面组组合策略。
继续结合图2示出的电子设备20说明本发明实施例提供的视频信息处理方法，参见图4，图4为本发明实施例提供的视频信息处理方法一个可选的流程示意图，可以理解地，图4所示的步骤可以由运行视频信息处理装置的各种服务器执行，例如可以是如带有视频信息处理功能的专用终端、服务器或者服务器集群，其中，待分析视频片段所包括的图像帧数N大于等于32帧，下面针对图4示出的步骤进行说明。
步骤401：视频信息处理装置响应于所述第一视频预编码进程，根据所述第一画面组组合策略集合对所述待分析视频片段进行编码处理。
步骤402：视频信息处理装置根据所述待分析视频片段编码处理的结果，确定所述第一画面组组合策略集合中的所有画面组组合策略各自对应的编码代价。
步骤403：视频信息处理装置遍历所述第一画面组组合策略集合中的所有画面组组合策略各自对应的编码代价，以确定所述第一画面组组合策略集合中最小编码代价所对应的画面组组合策略。
在本发明的一些实施例中，所述根据所述目标画面组组合策略确定相应的编码方式，包括：
当最小编码代价所对应的画面组组合策略包括连续2个四分之N帧图像组和1个二分之N帧图像组的画面组的组合时，确定相应的编码方式为通过四分之N帧图像组对所述待编码视频进行处理。
在本发明的一些实施例中，所述方法还包括：
当最小编码代价所对应的画面组组合策略不是连续2个四分之N帧图像组和1个二分之N帧图像组的画面组的组合时，调整所述画面组组合策略，并根据所调整的画面组组合策略对所述待分析视频片段进行编码处理；根据所调整的画面组组合策略对所述待分析视频片段进行编码处理的结果，确定通过四分之N帧图像组对所述待编码视频进行处理，或者，确定通过八分之N帧图像组对所述待编码视频进行处理。其中，以N=32为例，说明不同的画面组组合对所述待分析视频片段进行编码处理的过程，参考图5，图5为本发明实施例中视频信息处理的一个可选的过程示意图，其中，在视频编码序列中，GOP即Group ofpicture（画面组），指两个I帧之间的距离，Reference（参考周期）指两个P帧之间的距离。一个I帧所占用的字节数大于一个P帧，一个P帧所占用的字节数大于一个B帧，在码率不变的前提下，GOP值越大，P、B帧的数量会越多，画面细节更多，也就更容易获取较好的图像质量；Reference越大，B帧的数量越多，同理也更容易获得较好的图像质量。同时，通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP值也不宜设置过大。进一步地，由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。另外，过长的GOP还会影响Seek操作（找I帧）的响应速度，由于P、B帧是由前面的I或P帧预测得到的，所以Seek操作需要直接定位，解码某一个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。其中，图6为本发明实施例中GOP16画面组的数据结构示意图，图7为本发明实施例中GOP8画面组的数据结构示意图，图8为本发明实施例中GOP4画面组的数据结构示意图，因此，针对N=32时，需要根据不同的视频选择相应的编码方式（也即是选择不同的画面组策略），以适应视频的特征。
进一步地，由于待编码的视频信息体积较大（可能是体积数个GB的视频，甚至是数个TB的视频），通过不同的编码方式对视频处理过程中，待编码视频的编码代价均不同，因此，需要选择最适合待编码视频的相应编码方式。
因此，通过不同的目标画面组组合策略对与待编码视频相对应的待分析视频片段进行编码，以确定不同的目标画面组组合策略中哪一种目标画面组组合策略对应的编码代价最小（视频损失程度最小），当然，待分析视频片段可以是从待编码视频中所随机抽取的，也可以通过封装于电子设备中的应用程序固定抽取不同视频的相同时间段的视频帧，以实现对待编码视频的自动化的处理。
继续以GOP4、GOP8和GOP16为例说明本发明实施例中目标画面组组合策略的配置，参考表1， GOP8和GOP16之间相互组合可以形成不同的目标画面组组合策略。
；
表1
通过表1所示的这些不同的目标画面组组合策略对待分析视频片段进行编码处理，确定不同画面组组合策略相对应的编码代价，并确定最小编码代价所对应的画面组组合策略为目标画面组组合策略，进而确定哪一种编码方式对于待编码的视频是最合适的。
继续结合图2示出的电子设备20说明本发明实施例提供的视频信息处理方法，参见图9，图9为本发明实施例提供的视频信息处理方法一个可选的流程示意图，可以理解地，图9所示的步骤可以由运行视频信息处理装置的各种服务器执行，例如可以是如带有视频信息处理功能的专用终端、服务器或者服务器集群，其中，待分析视频片段所包括的图像帧数为M帧，24≤M＜32，下面针对图9示出的步骤进行说明。
步骤901：视频信息处理装置当所述待分析视频片段所包括的图像帧数M大于等于24帧且小于32帧时，触发第二视频预编码进程；
步骤902：响应于所述第二视频预编码进程，通过第二画面组组合策略集合对所述待分析视频片段进行编码处理。
其中，所述第二画面组组合策略集合包括至少三种与所述图像帧数M相匹配的画面组组合策略。
在本发明的一些实施例中，所述确定最小编码代价所对应的画面组组合策略为目标画面组组合策略，可以通过以下方式实现：
响应于所述第二视频预编码进程，根据所述第二画面组组合策略集合对所述待分析视频片段进行编码处理；根据所述待分析视频片段编码处理的结果，确定所述第二画面组组合策略集合中的所有画面组组合策略各自对应的编码代价；遍历所述第二画面组组合策略集合中的所有画面组组合策略各自对应的编码代价，以确定所述第二画面组组合策略集合中最小编码代价所对应的画面组组合策略。
在本发明的一些实施例中，所述根据所述最小编码代价所对应的画面组组合策略，确定相应的编码方式，可以通过以下方式实现：
当最小编码代价所对应的画面组组合策略包括连续2个四分之M帧图像组和1个M-16帧图像组的画面组的组合时，
确定相应的编码方式为通过四分之M帧图像组对所述待编码视频进行处理。
在本发明的一些实施例中，所述方法还包括：
当最小编码代价所对应的画面组组合策略不是连续2个四分之M帧图像组和1个M-16帧图像组的画面组的组合时，调整所述画面组组合策略，并根据所调整的画面组组合策略对所述待分析视频片段进行编码处理；根据所调整的画面组组合策略对所述待分析视频片段进行编码处理的结果，确定通过四分之M帧图像组对所述待编码视频进行处理，或者，确定通过八分之M帧图像组对所述待编码视频进行处理，或者，确定通过二分之M帧图像组对所述待编码视频进行处理。
步骤304：视频信息处理装置根据所述最小编码代价所对应的画面组组合策略，确定相应的编码方式，并通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码。
在本发明的一些实施例中，所述方法还包括：
获取所述待编码视频的标识信息，以及与所述待编码视频对应的编码方式；
基于所述待编码视频的标识信息、所述待编码视频以及所述待编码视频对应的编码方式，生成目标区块，将所述目标区块加入区块链网络中。
继续参见图10，图10是本发明实施例提供的视频信息处理装置100的架构示意图，包括区块链网络200（示例性示出了共识节点210-1至共识节点210-3）、认证中心300、业务主体400和业务主体500，下面分别进行说明。
区块链网络200的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如用户终端和服务器，都可以在不需要授权的情况下接入区块链网络200；以联盟链为例，业务主体在获得授权后其下辖的电子设备（例如终端/服务器）可以接入区块链网络200，此时，成为区块链网络200中的客户端节点。
在一些实施例中，客户端节点可以只作为区块链网络200的观察者，即提供支持业务主体发起交易（例如，用于上链存储数据或查询链上数据）功能，对于区块链网络200的共识节点210的功能，例如排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性（例如，取决于业务主体的具体业务需求）地实施。从而，可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络200中，通过区块链网络200实现数据和业务处理过程的可信和可追溯。
区块链网络200中的共识节点接收来自不同业务主体（例如图1中示出的业务主体400和业务主体500）的客户端节点（例如，图1中示出的归属于业务主体400的客户端节点410、以及归属于数据库运营商系统500的客户端节点510）提交的交易，执行交易以更新账本或者查询账本，执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。
例如，客户端节点410/510可以订阅区块链网络200中感兴趣的事件，例如区块链网络200中特定的组织/通道中发生的交易，由共识节点210推送相应的交易通知到客户端节点410/510，从而触发客户端节点410/510中相应的业务逻辑。
下面以多个业务主体接入区块链网络以实现对指令信息以及与所述指令信息相匹配的业务进程管理为例，说明区块链网络的示例性应用。
参见图10，管理环节涉及的多个业务主体，如业务主体400可以是基于人工智能的视频信息处理装置，业务主体500可以是带有视频信息处理装功能的显示系统，从认证中心300进行登记注册获得各自的数字证书，数字证书中包括业务主体的公钥、以及认证中心300对业务主体的公钥和身份信息签署的数字签名，用来与业务主体针对交易的数字签名一起附加到交易中，并被发送到区块链网络，以供区块链网络从交易中取出数字证书和签名，验证消息的可靠性（即是否未经篡改）和发送消息的业务主体的身份信息， 区块链网络会根据身份进行验证，例如是否具有发起交易的权限。业务主体下辖的电子设备（例如终端或者服务器）运行的客户端都可以向区块链网络200请求接入而成为客户端节点。
业务主体400的客户端节点410用于获取所述待编码视频的标识信息，以及与所述待编码视频对应的编码方式；基于所述待编码视频的标识信息、所述待编码视频以及所述待编码视频对应的编码方式，生成目标区块，将所述目标区块发送至区块链网络200。
其中，将相应的指令信息以及与所述指令信息相匹配的视频编码方式发送至区块链网络200，可以预先在客户端节点410设置业务逻辑，当形成相应的视频编码方式时，客户端节点410将待处理的指令信息以及与所述指令信息相匹配的视频编码方式自动发送至区块链网络200，也可以由业务主体400的业务人员在客户端节点410中登录，手动打包指令信息以及与所述指令信息相匹配的视频编码方式以及相应的转换进程信息，并将其发送至区块链网络200。在发送时，客户端节点410根据指令信息以及与所述指令信息相匹配的视频编码方式以及相应的转换视频编码方式生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点410的数字证书、签署的数字签名（例如，使用客户端节点410的数字证书中的私钥，对交易的摘要进行加密得到），并将交易广播到区块链网络200中的共识节点210。
区块链网络200中的共识节点210中接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的业务主体400的身份，确认业务主体400是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点210自己的数字签名（例如，使用节点210-1的私钥对交易的摘要进行加密得到），并继续在区块链网络200中广播。
区块链网络200中的共识节点210接收到验证成功的交易后，将交易填充到新的区块中，并进行广播。区块链网络200中的共识节点210广播的新区块时，会对新区块进行共识过程，如果共识成功，则将新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交更新待处理的指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息的交易，在状态数据库中添加包括指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息的键值对。
业务主体500的业务人员在客户端节点510中登录，输入指令信息以及与所述指令信息相匹配的视频编码方式查询请求，客户端节点510根据指令信息以及与所述指令信息相匹配的视频编码方式查询请求生成对应更新操作/查询操作的交易，在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点510的数字证书、签署的数字签名（例如，使用客户端节点510的数字证书中的私钥，对交易的摘要进行加密得到），并将交易广播到区块链网络200中的共识节点210。
区块链网络200中的共识节点210中接收到交易，对交易进行验证、区块填充及共识一致后，将填充的新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交的更新某一视频编码方式数据信息对应的人工识别结果的交易，根据人工识别结果更新状态数据库中该视频编码方式数据信息对应的键值对；对于提交的查询某个视频编码方式数据信息的交易，从状态数据库中查询指令信息以及与所述指令信息相匹配的视频编码方式对应的键值对，并返回交易结果。
值得说明的是，在图10中示例性地示出了将指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息直接上链的过程，但在另一些实施例中，对于指令信息以及与所述指令信息相匹配的视频编码方式数据量较大的情况，客户端节点410可指令信息以及与所述指令信息相匹配的视频编码方式的哈希以及相应的指令信息以及与所述指令信息相匹配的视频编码方式的哈希成对上链，将指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息存储于分布式文件系统或数据库。客户端节点510从分布式文件系统或数据库获取到指令信息以及与所述指令信息相匹配的视频编码方式以及相应的进程触发信息后，可结合区块链网络200中对应的哈希进行校验，从而减少上链操作的工作量。
作为区块链的示例，参见图11，图11是本发明实施例提供的区块链网络200中区块链的结构示意图，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长，区块之间基于哈希值的链式结构保证了区块中交易的防篡改和防伪造。
下面说明本发明实施例提供的区块链网络的示例性的功能架构，参见图12，图12是本发明实施例提供的区块链网络200的功能架构示意图，包括应用层201、共识层202、网络层203、数据层204和资源层205，下面分别进行说明。
资源层205封装了实现区块链网路200中的各个节点210的计算资源、存储资源和通信资源。
数据层204封装了实现账本的各种数据结构，包括以文件系统中的文件实现的区块链，键值型的状态数据库和存在性证明（例如区块中交易的哈希树）。
网络层203 封装了点对点（P2P，Point to Point）网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。
其中，P2P网络协议实现区块链网络200中节点210之间的通信，数据传播机制保证了交易在区块链网络200中的传播，数据验证机制用于基于加密学方法（例如数字证书、数字签名、公/私钥对）实现节点210之间传输数据的可靠性；接入认证机制用于根据实际的业务场景对加入区块链网络200的业务主体的身份进行认证，并在认证通过时赋予业务主体接入区块链网络200的权限；业务主体身份管理用于存储允许接入区块链网络200的业务主体的身份、以及权限（例如能够发起的交易的类型）。
共识层202封装了区块链网络200中的节点210对区块达成一致性的机制（即共识机制）、交易管理和账本管理的功能。共识机制包括POS、POW和DPOS等共识算法，支持共识算法的可插拔。
交易管理用于验证节点210接收到的交易中携带的数字签名，验证业务主体的身份信息，并根据身份信息判断确认其是否具有权限进行交易（从业务主体身份管理读取相关信息）；对于获得接入区块链网络200的授权的业务主体而言，均拥有认证中心颁发的数字证书，业务主体利用自己的数字证书中的私钥对提交的交易进行签名，从而声明自己的合法身份。
账本管理用于维护区块链和状态数据库。对于取得共识的区块，追加到区块链的尾部；执行取得共识的区块中的交易，当交易包括更新操作时更新状态数据库中的键值对，当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作，包括：根据区块向量号（例如交易的哈希值）查询区块；根据区块哈希值查询区块；根据交易向量号查询区块；根据交易向量号查询交易；根据业务主体的账号（向量号）查询业务主体的账号数据；根据通道名称查询通道中的区块链。
应用层201 封装了区块链网络能够实现的各种业务，包括交易的溯源、存证和验证等。
下面对本发明实施例的多媒体信息处理装置的结构做详细说明，多媒体信息处理装置可以各种形式来实施，如带有视频信息处理功能的专用终端例如网关，也可以为带有视频信息处理功能的多媒体信息处理装置，例如前述图1中的电子设备200。图13为本发明实施例提供的电子设备的组成结构示意图，可以理解，图13仅仅示出了电子设备130的示例性结构而非全部结构，根据需要可以实施图13示出的部分结构或全部结构。
本发明实施例提供的多媒体信息处理装置包括：至少一个处理器1301、存储器1302、用户接口1303和至少一个网络接口1304。电子设备130中的各个组件通过总线系统1305耦合在一起。可以理解，总线系统1305用于实现这些组件之间的连接通信。总线系统1305除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图13中将各种总线都标为总线系统1305。
其中，用户接口1303可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器1302可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器1302能够存储数据以支持终端（如10-1）的操作。这些数据的示例包括：用于在终端（如10-1）上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的视频信息处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的视频信息处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的视频信息处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，ApplicationSpecific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable LogicDevice）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。
作为本发明实施例提供的视频信息处理装置采用软硬件结合实施的示例，本发明实施例所提供的视频信息处理装置可以直接体现为由处理器1301执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器1302，处理器1301读取存储器1302中软件模块包括的可执行指令，结合必要的硬件（例如，包括处理器1301以及连接到总线1305的其他组件）完成本发明实施例提供的视频信息处理方法。
作为示例，处理器1301可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的视频信息处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器1301来执行完成，例如，被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）或其他电子元件执行实现本发明实施例提供的视频信息处理方法。
本发明实施例中的存储器1302用于存储各种类型的数据以支持电子设备130的操作。这些数据的示例包括：用于在电子设备130上操作的任何可执行指令，如可执行指令，实现本发明实施例的从视频信息处理方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的视频信息处理装置可以采用软件方式实现，图13示出了存储在存储器1302中的视频信息处理装置13021，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器1302中存储的程序的示例，可以包括视频信息处理装置13021，视频信息处理装置13021中包括以下的软件模块：信息分离装置13081，视频处理装置13082。当视频信息处理装置13021中的软件模块被处理器1301读取到RAM中并执行时，将实现本发明实施例提供的视频信息处理方法，下面对视频信息处理装置13021中各个软件模块的功能进行介绍：
信息分离装置13081，用于从多媒体信息中分离出目标音频和目标视频；
视频处理装置13082，用于确定与所述目标视频相匹配的编码方式；
所述视频处理装置13082，用于通过所确定的编码方式对所述目标视频进行处理，以实现对所述目标视频的编码；
所述视频处理装置13082，用于将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息，以实现对所述多媒体信息的压缩。
结合图13示出的电子设备130说明本发明实施例提供的多媒体信息处理方法，参见图14，图14为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图，可以理解地，图14所示的步骤可以由运行多媒体信息处理装置的各种服务器执行，例如可以是如带有多媒体信息处理功能的专用终端、多媒体信息处理装置或者多媒体信息处理装置集群。下面针对图14示出的步骤进行说明。
步骤1401：多媒体信息处理装置从多媒体信息中分离出目标音频和目标视频；
步骤1402：确定与所述目标视频相匹配的编码方式；
步骤1403：通过所确定的编码方式对所述目标视频进行处理，以实现对所述目标视频的编码；
步骤1404：将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息，以实现对所述多媒体信息的压缩。
下面以N=32，N=24为例说明本申请所提供的视频信息处理方法，其中，
参考图15，图15为本发明所提供的视频信息处理方法的一个可选的处理流程示意图，具体包括以下步骤：
步骤1501：获取待编码视频，触发确定视频编码策略进程；
步骤1502：确定待分析的视频片段帧数，根据待分析的视频片段帧数触发不同的检测进程，以确定相应的视频编码策略。
步骤1503：通过相应的视频编码策略对待编码视频进行处理。
其中，参考图16和图17，图16为本发明所提供的视频信息处理方法的一个可选的处理流程示意图，图17为本发明所提供的视频信息处理方法的一个可选的画面组组合策略示意图，如果当前待分析帧数L>=32，则选择最前面的32帧进行分析，具体包括以下步骤：
步骤1601：将待分析的32帧图像分别按照c1，c2和c3的编码策略进行编码，并确定相应的编码代价。
具体的，c1由两个GOP16构成，该候选的预分析编码代价由第一个GOP16的预分析编码代价和第二个GOP16的预分析编码代价相加得到。而每个GOP的预分析编码代价则是GOP内部每帧的预分析编码代价的和，一般在它之前的预分析过程计算得到，并不需要重复计算。
同样的，c2由一个GOP16和两个GOP8构成，该候选的预分析编码代价由第一个GOP16的预分析编码代价和第二个GOP8以及第三个GOP8的预分析编码代价相加得到。
c3由两个GOP8和一个GOP16构成，该候选的预分析编码代价由第一个GOP8的预分析编码代价和第二个GOP8以及第三个GOP16的预分析编码代价相加得到。
步骤1602：在计算得到步骤301中三种候选组合的代价之后，对它们进行比较。选择代价最小的候选组合。
其中，如果c3为最好组合，则选择当前待编码视频片段为GOP8结构；如果c1或者c2为最好组合，则进一步对候选组合c4进行预分析编码代价的计算。
其中，c4由一个GOP8和一个GOP16以及一个GOP8构成，该候选的预分析编码代价由第一个GOP8的预分析编码代价和第二个GOP16以及第三个GOP8的预分析编码代价相加得到。
步骤1603：如果c4为最小编码代价组合，则选择GOP8结构；否则进一步计算候选组合c5，如果c5为最小编码代价组合，则选择GOP8结构，否则选择GOP16结构进行编码。
其中，c5由4个GOP8构成，该候选的预分析编码代价由4个GOP8的预分析编码代价相加得到。
步骤1604：如果根据前面步骤1601-1604，选择的GOP结构为GOP8，则进一步对待分析帧最前面的8帧组合成c6和c7两种方式进行比较，确定相应的编码策略。
具体的，如果c6的代价小于c7，则当前编码序列选择GOP8进行编码，否则选择GOP4结构进行编码。其中，c6为1个GOP8，c7为2个GOP4。
继续参考图17和图18，图18为本发明所提供的视频信息处理方法的一个可选的处理流程示意图，如果当前待分析帧数L<32并且L>=24，则选择当前待分析的L帧进行分析，具体包括以下步骤：
步骤1801：将待分析的若干帧图像分别按照c8，c9和c10的编码策略进行编码，并确定相应的编码代价。
其中，候选组合c8由一个GOP16结构和一个大小为x=L-16的GOP构成，该候选的预分析编码代价由第一个GOP16的预分析编码代价和第二个GOPx的预分析编码代价相加得到。
同理，c9组合由一个GOP16结构、由一个GOP8结构和一个大小为x=L-24的GOP构成。
C10组合由2个GOP8结构和一个大小为x=L-16的GOP构成。
步骤1802：在计算得到步骤501中三种候选组合的代价之后，对它们进行比较。选择代价最小的候选组合。
如果c10为最好组合，则选择当前待编码视频片段为GOP8结构；如果c8或者c9为最好组合，则进一步对候选组合c11进行预分析编码代价的计算。
步骤1803：如果c11为最小编码代价组合，则选择GOP8结构；否则进一步计算候选组合c12，如果c12为最小编码代价组合，则选择GOP8结构，否则选择GOP16结构进行编码。
步骤1804：如果根据前面的步骤，选择的GOP结构为GOP8，则进一步对待分析帧最前面的8帧组合成c13和c14两种方式进行比较。如果c13的代价小于c14，则当前编码序列选择GOP8进行编码，否则选择GOP4结构进行编码。
通过本实施例所示的技术方案，当目标视频进行传输时（例如使用视频通话，视频分享，上传视频网站等应用场景），通过根据视频的不同状态自动确定与视频特征相匹配的编码方式，可以实现对目标视频的有效压缩，减少视频的传输时间，有效提升用户的使用感受。
本发明具有以下有益技术效果：
本发明通过获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段，根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，以实现通过对应的画面组组合策略对所述待分析视频片段进行编码处理；响应于所述视频预编码进程，根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价，并通过相应的编码代价，确定最小编码代价所对应的画面组组合策略；根据所述最小编码代价所对应的画面组组合策略，确定相应的编码方式，并通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码，由此，能够根据视频的不同状态自动确定与视频特征相匹配的编码方式，实现了更加准确地确定对视频的编码方式，减少了选择视频编码方式的等待时间，同时经过编码处理的视频能够节省视频传输时所占用的网络带宽。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种视频信息处理方法，其特征在于，所述方法包括：
获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段；
根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，以实现通过对应的画面组组合策略对所述待分析视频片段进行编码处理；
根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价；其中，所述不同画面组组合策略包括：c1、c2、c3、c4和c5，所述c1包括两个GOP16，所述c2包括一个GOP16和两个GOP8，所述c3包括两个GOP8和一个GOP16，所述c4包括一个GOP8、一个GOP16以及一个GOP8，所述c5包括4个GOP8；
确定最小编码代价所对应的画面组组合策略为目标画面组组合策略；其中，若所述c3在所述c1、所述c2和所述c3中的编码代价最小，则所述c3为所述目标画面组组合策略；若所述c1或者所述c2在所述c1、所述c2和所述c3中的编码代价最小，且当所述c4在所述c1、所述c2、所述c3和c4中的编码代价最小时，所述c4为所述目标画面组组合策略；若所述c1或者所述c2在所述c1、所述c2、所述c3和c4中的编码代价最小，且当所述c5在所述c1、所述c2、所述c3、所述c4和c5中的编码代价最小时，所述c5为所述目标画面组组合策略；
根据所述目标画面组组合策略确定相应的编码方式；其中，当所述c3为所述目标画面组组合策略时，相应的编码方式为GOP8；当所述c4为所述目标画面组组合策略时，相应的编码方式为GOP8；当所述c5为所述目标画面组组合策略时，相应的编码方式为GOP8；否则选择GOP16作为相应的编码方式；
通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，包括：
当所述待分析视频片段所包括的图像帧数N大于等于32帧时，触发第一视频预编码进程；
响应于所述第一视频预编码进程，通过第一画面组组合策略集合对所述待分析视频片段进行编码处理，其中，所述第一画面组组合策略集合包括至少三种与所述图像帧数N相匹配的画面组组合策略。
3.根据权利要求2所述的方法，其特征在于，所述确定最小编码代价所对应的画面组组合策略为目标画面组组合策略，包括：
响应于所述第一视频预编码进程，根据所述第一画面组组合策略集合对所述待分析视频片段进行编码处理；
根据所述待分析视频片段编码处理的结果，确定所述第一画面组组合策略集合中的所有画面组组合策略各自对应的编码代价；
遍历所述第一画面组组合策略集合中的所有画面组组合策略各自对应的编码代价，以确定所述第一画面组组合策略集合中最小编码代价所对应的画面组组合策略。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标画面组组合策略确定相应的编码方式，包括：
当最小编码代价所对应的画面组组合策略包括连续2个四分之N帧图像组和1个二分之N帧图像组的画面组的组合时，
确定相应的编码方式为通过四分之N帧图像组对所述待编码视频进行处理。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当最小编码代价所对应的画面组组合策略不是连续2个四分之N帧图像组和1个二分之N帧图像组的画面组的组合时，
调整所述画面组组合策略，并根据所调整的画面组组合策略对所述待分析视频片段进行编码处理；
根据所调整的画面组组合策略对所述待分析视频片段进行编码处理的结果，确定通过四分之N帧图像组对所述待编码视频进行处理，或者，
确定通过八分之N帧图像组对所述待编码视频进行处理。
6.根据权利要求1所述的方法，其特征在于，所述根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，包括：
当所述待分析视频片段所包括的图像帧数M大于等于24帧且小于32帧时，触发第二视频预编码进程；
响应于所述第二视频预编码进程，通过第二画面组组合策略集合对所述待分析视频片段进行编码处理，其中，所述第二画面组组合策略集合包括至少三种与所述图像帧数M相匹配的画面组组合策略。
7.根据权利要求6所述的方法，其特征在于，所述确定最小编码代价所对应的画面组组合策略为目标画面组组合策略，包括：
响应于所述第二视频预编码进程，根据所述第二画面组组合策略集合对所述待分析视频片段进行编码处理；
根据所述待分析视频片段编码处理的结果，确定所述第二画面组组合策略集合中的所有画面组组合策略各自对应的编码代价；
遍历所述第二画面组组合策略集合中的所有画面组组合策略各自对应的编码代价，以确定所述第二画面组组合策略集合中最小编码代价所对应的画面组组合策略。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标画面组组合策略确定相应的编码方式，包括：
当最小编码代价所对应的画面组组合策略包括连续2个四分之M帧图像组和1个M-16帧图像组的画面组的组合时，
确定相应的编码方式为通过四分之M帧图像组对所述待编码视频进行处理。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
当最小编码代价所对应的画面组组合策略不是连续2个四分之M帧图像组和1个M-16帧图像组的画面组的组合时，
调整所述画面组组合策略，并根据所调整的画面组组合策略对所述待分析视频片段进行编码处理；
根据所调整的画面组组合策略对所述待分析视频片段进行编码处理的结果，确定通过四分之M帧图像组对所述待编码视频进行处理，或者，
确定通过八分之M帧图像组对所述待编码视频进行处理，或者，
确定通过二分之M帧图像组对所述待编码视频进行处理。
10.根据权利要求1-9任一所述的方法，其特征在于，所述方法还包括：
获取所述待编码视频的标识信息，以及与所述待编码视频对应的编码方式；
基于所述待编码视频的标识信息、所述待编码视频以及所述待编码视频对应的编码方式，生成目标区块，将所述目标区块加入区块链网络中。
11.一种多媒体信息处理方法，其特征在于，所述方法包括：
从多媒体信息中分离出目标音频和目标视频；
确定与所述目标视频相匹配的编码方式；
通过所确定的编码方式对所述目标视频进行处理，以实现对所述目标视频的编码；
将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息，以实现对所述多媒体信息的压缩；其中，所述编码方式如权利要求1至10任一项所述的方法得到。
12.一种视频信息处理装置，其特征在于，所述装置包括：
信息传输模块，用于获取待编码视频，并得到与所述待编码视频相对应的待分析视频片段；
信息处理模块，用于根据所述待分析视频片段所包括的图像帧数，触发相应的视频预编码进程，以实现通过对应的画面组组合策略对所述待分析视频片段进行编码处理；
所述信息处理模块，用于根据所述视频预编码进程的处理结果，确定不同画面组组合策略相对应的编码代价；其中，所述不同画面组组合策略包括：c1、c2、c3、c4和c5，所述c1包括两个GOP16，所述c2包括一个GOP16和两个GOP8，所述c3包括两个GOP8和一个GOP16，所述c4包括一个GOP8、一个GOP16以及一个GOP8，所述c5包括4个GOP8；确定最小编码代价所对应的画面组组合策略为目标画面组组合策略；其中，若所述c3在所述c1、所述c2和所述c3中的编码代价最小，则所述c3为所述目标画面组组合策略；若所述c1或者所述c2在所述c1、所述c2和所述c3中的编码代价最小，且当所述c4在所述c1、所述c2、所述c3和c4中的编码代价最小时，所述c4为所述目标画面组组合策略；若所述c1或者所述c2在所述c1、所述c2、所述c3和c4中的编码代价最小，且当所述c5在所述c1、所述c2、所述c3、所述c4和c5中的编码代价最小时，所述c5为所述目标画面组组合策略；
所述信息处理模块，用于根据所述目标画面组组合策略确定相应的编码方式；其中，当所述c3为所述目标画面组组合策略时，相应的编码方式为GOP8；当所述c4为所述目标画面组组合策略时，相应的编码方式为GOP8；当所述c5为所述目标画面组组合策略时，相应的编码方式为GOP8；否则选择GOP16作为相应的编码方式；通过所确定的编码方式对所述待编码视频进行处理，以实现对所述待编码视频的编码。
13.一种多媒体信息处理装置，其特征在于，所述多媒体信息处理装置包括：
信息分离装置，用于从多媒体信息中分离出目标音频和目标视频；
视频处理装置，用于确定与所述目标视频相匹配的编码方式；
所述视频处理装置，用于通过所确定的编码方式对所述目标视频进行处理，以实现对所述目标视频的编码；
所述视频处理装置，用于将经过编码处理的所述目标视频和所述目标音频封装为新的多媒体信息，以实现对所述多媒体信息的压缩；其中，所述编码方式如权利要求1至10任一项所述的方法得到。
14.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至10任一项所述的视频信息处理方法，或者，实现权利要求11所述的多媒体信息处理方法。
15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的视频信息处理方法，或者实现权利要求11所述的多媒体信息处理方法。
CN201911083699.1A 2019-11-07 2019-11-07 视频信息处理方法、多媒体信息处理方法、装置及电子设备 Active CN112788341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911083699.1A CN112788341B (zh) 2019-11-07 2019-11-07 视频信息处理方法、多媒体信息处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911083699.1A CN112788341B (zh) 2019-11-07 2019-11-07 视频信息处理方法、多媒体信息处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112788341A CN112788341A (zh) 2021-05-11
CN112788341B true CN112788341B (zh) 2023-10-27

Family

ID=75748033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911083699.1A Active CN112788341B (zh) 2019-11-07 2019-11-07 视频信息处理方法、多媒体信息处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112788341B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323636A (zh) * 2015-10-29 2016-02-10 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
CN107431807A (zh) * 2015-03-04 2017-12-01 超威半导体公司 内容自适应b‑图像模式视频编码
CN110351558A (zh) * 2018-04-03 2019-10-18 朱政 一种基于强化学习的视频图像编码压缩效率提升方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10951914B2 (en) * 2015-08-27 2021-03-16 Intel Corporation Reliable large group of pictures (GOP) file streaming to wireless displays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431807A (zh) * 2015-03-04 2017-12-01 超威半导体公司 内容自适应b‑图像模式视频编码
CN105323636A (zh) * 2015-10-29 2016-02-10 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
CN110351558A (zh) * 2018-04-03 2019-10-18 朱政 一种基于强化学习的视频图像编码压缩效率提升方法

Also Published As

Publication number Publication date
CN112788341A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
US20200304508A1 (en) Method and device for providing authentication in network-based media processing (nbmp) system
CN111586599B (zh) 网络辅助信息提供方法及相关设备
CN112235420B (zh) 基于区块链的数据同步方法、系统及相关设备
WO2021073202A1 (zh) 智能合约处理方法、计算机设备及存储介质
CN111294591B (zh) 视频信息处理方法、多媒体信息处理方法、装置
US11363679B2 (en) Facilitating integrated management of connected assets in 5G and other advanced networks
CN111885133A (zh) 基于区块链的数据处理方法、装置及计算机存储介质
KR20100101170A (ko) 콘텐츠 분류 방법 및 시스템
CN111787319B (zh) 一种视频信息处理方法、多媒体信息处理方法及装置
CN110719526B (zh) 视频播放方法及装置
CN111294592B (zh) 视频信息处理方法、多媒体信息处理方法、装置
CN113129008B (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN112788341B (zh) 视频信息处理方法、多媒体信息处理方法、装置及电子设备
WO2020257123A1 (en) Systems and methods for blockchain-based authentication
CN110807203B (zh) 数据处理方法、业务运营中心平台、系统以及存储介质
CN114760602B (zh) 全息通信方法、装置、系统及计算机可读存储介质
CN116055403A (zh) 报文数据的传输方法、装置和服务器
CN115412568A (zh) 分布式数据传输方法、装置及系统
CN116781764A (zh) 长连接的任务执行方法、装置及相关设备
CN113709461A (zh) 视频信息处理方法、多媒体信息处理方法及装置
CN115834584B (zh) 跨网数据传输方法、装置、设备及介质
CN113282662B (zh) 区块信息处理方法、装置、设备及介质
US20240184632A1 (en) A method and apparatus for enhanced task grouping
CN116743785A (zh) 基于雾计算的云网数据存储方法、装置、设备及介质
CN115314293A (zh) 信息获取方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043538

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant