CN116886912A - 一种多路视频编码方法、装置、设备及存储介质 - Google Patents

一种多路视频编码方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116886912A
CN116886912A CN202211559271.1A CN202211559271A CN116886912A CN 116886912 A CN116886912 A CN 116886912A CN 202211559271 A CN202211559271 A CN 202211559271A CN 116886912 A CN116886912 A CN 116886912A
Authority
CN
China
Prior art keywords
picture
current
picture frame
information
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211559271.1A
Other languages
English (en)
Other versions
CN116886912B (zh
Inventor
黄浩成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kaidelian Software Technology Co ltd
Original Assignee
Guangzhou Kaidelian Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kaidelian Software Technology Co ltd filed Critical Guangzhou Kaidelian Software Technology Co ltd
Priority to CN202211559271.1A priority Critical patent/CN116886912B/zh
Publication of CN116886912A publication Critical patent/CN116886912A/zh
Application granted granted Critical
Publication of CN116886912B publication Critical patent/CN116886912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

本申请公开了一种多路视频编码方法、装置、设备及存储介质，该方法包括获取所采集各路视频流的当前画面帧以及获取画面决策信息，画面决策信息通过对各当前画面帧进行画面内容决策确定；根据各画面决策信息结合各当前画面帧，生成当前合成画面帧；根据画面决策信息，通过给定编码器对当前合成画面帧编码，获得当前编码画面帧。利用该方法，能够在将待编码的合成画面帧通过编码器编码之前，利用录播系统中根据多路视频流画面帧确定的画面决策信息，提前作为编码器编码的预测信息，使得编码器能够基于画面决策信息快速实现对待编码的当前合成画面帧的编码。实现了画面决策信息的充分利用，在保证编码精度的同时，有效降低了编码阶段的算力资源。

Description

一种多路视频编码方法、装置、设备及存储介质
技术领域
本申请涉及录播技术领域，尤其涉及一种多路视频编码方法、装置、设备及存储介质。
背景技术
目前，录播的应用越来越广泛，在教学、会议以及培训等场景中都较为常见。录播主要依赖于录播系统实现，录播系统中包括的音频采集设备以及视频采集设备均布设于录播空间场景内，场景内可布设多个音视频采集设备，不同音视频采集设备可用于采集不同对象。
在录播系统的录播实现中，首先可以通过不同的视频采集设备采集形成多路视频流，各路视频流对应了不同的录播画面，之后可以通过对多路视频流中画面帧的分析从中选取一个或多个画面，然后对选中的画面进行合成形成合成画面，最终将合成画面通过编码器编码为码流，存储为录制文件或者直播形成传输给观看者。
上述录播实现中，一方面，进行画面选取时所确定出的画面决策信息会在完成多画面合成后丢弃，造成信息资源浪费；另一方面，进入编码阶段后，所采用编码器则独立对合成画面帧进行编码，该阶段会占用很多计算资源再次对合成画面帧进行画面信息决策以实现编码预测。由此，现有录播实现存在信息资源浪费以及算力浪费的问题。
发明内容
有鉴于此，本申请实施例提供了一种多路视频编码方法、装置、设备及存储介质，有效解决录播系统信息资源浪费以及编码实现中算力过度占用的问题。
第一方面，本申请实施例提供了一种多路视频编码方法，包括：
获取所采集各路视频流的当前画面帧以及获取画面决策信息，所述画面决策信息通过对各所述当前画面帧进行画面内容决策确定；
根据各所述画面决策信息结合各所述当前画面帧，生成当前合成画面帧；
根据所述当前合成画面帧及所述画面决策信息，通过给定编码器确定所述当前合成画面帧的当前编码画面帧。
进一步地，所述画面决策信息包括：构成所述当前合成画面帧的目标当前画面帧的画面帧来源信息、各所述目标当前画面帧在所述当前合成画面帧中的画面帧呈现位置信息、画面来源切换判定信息。
进一步地，所述根据所述当前合成画面帧及所述画面决策信息，通过给定编码器获得所述当前合成画面帧的编码画面帧，包括：
提取所述画面决策信息中的画面帧来源信息以及画面帧呈现位置信息；
根据所述画面帧来源信息、所述画面帧呈现位置信息以及已编码比特数，确定当前量化映射表；
通过所述编码器，根据接收的所述当前量化映射表结合所述当前合成画面帧的画面数据信息，对所述当前合成画面帧进行编码，获得当前编码画面帧。
进一步地，所述根据所述画面帧来源信息、所述画面帧呈现位置信息以及已编码比特数，确定当前量化映射表，包括：
对所述当前合成画面帧进行区块划分，获得多个区域子画面；
根据所述画面帧来源信息及所述画面帧呈现位置信息，确定各所述区域子画面的区域属性信息；
根据所述已编码比特数及各所述区域属性信息，确定各所述区域子画面的量化参数，并基于各所述量化参数构成所述当前量化映射表。
进一步地，所述根据所述画面帧来源信息及所述画面帧呈现位置信息，确定各所述区域子画面的区域属性信息，包括：
针对每个区域子画面，在所述画面帧呈现位置信息中查找所述区域子画面的子画面位置，确定所述区域子画面归属的目标当前画面帧，以及在所述目标当前画面帧中的初始呈现位置；
通过所述画面帧来源信息，确定所述目标当前画面帧的画面来源；
当所述画面来源中的所述初始呈现位置在预先给定的画质要求信息中对应高画质要求时，将感兴趣确定为所述区域子画面的区域属性信息，否则，
将非感兴趣确定为所述区域子画面的区域属性信息。
进一步地，所述根据所述画面帧来源信息及所述画面帧呈现位置信息，确定各所述区域子画面的区域属性信息，包括：
针对每个区域子画面，根据所述画面帧来源信息及所述画面帧呈现位置信息，确定所述区域子画面是否为静止画面区域；
若是，则将非感兴趣确定为所述区域子画面的区域属性信息；
若否，则将感兴趣确定为所述区域子画面的区域属性信息。
进一步地，所述根据所述已编码比特数及各所述区域属性信息，确定各所述区域子画面的量化参数，包括：
提取区域属性信息为感兴趣的第一区域子画面构成感兴趣区域ROI，以及区域属性信息为非感兴趣的第二区域子画面构成非ROI；
如果所述第二区域子画面由静止画面区域构成，则将静止画面区域在前一帧对应的量化参数作为非ROI的第二量化参数，并基于所述第二量化参数确定所述ROI的第一量化参数；否则，
根据所述ROI及非ROI的位置信息，确定所述ROI的第一编码复杂度以及非ROI的第二编码复杂度；
根据所述已编码比特数及所给定总目标比特数，结合所述第一编码复杂度及第二编码复杂度，确定所述ROI的第一量化参数以及非ROI的第二量化参数，构成各所述区域子画面的量化参数。
进一步地，所述根据所述已编码比特数及所给定总目标比特数，结合所述第一编码复杂度及第二编码复杂度，确定所述ROI的第一量化参数以及非ROI的第二量化参数，包括：
将所述总目标比特数及所述已编码比特数的差值作为所述当前合成画面帧的当前目标比特数；
基于所述当前目标比特数，结合所述第一编码复杂度，确定所述ROI所需的第一比特数；
将所述当前目标比特数与所述第一比特数的差值记为所述非ROI所需的第二比特数；
根据所述第二比特数及所述第二编码复杂度，确定所述非ROI的第二量化参数；
在确定所述第二量化参数满足设定量化条件时，将所述第一比特数对应的量化参数确定为所述ROI的第一量化参数。
进一步地，根据所述画面决策信息，通过给定编码器对所述当前合成画面帧编码，获得当前编码画面帧，包括：
提取所述画面决策信息中的画面来源切换判定信息；
当所述画面来源切换判定信息为相对于前一合成画面帧存在画面来源切换时，向所述编码器输入进行内部画面帧编码的指示信息；
通过所述编码器，根据接收的所述指示信息结合所述当前合成画面帧的画面数据信息，对所述当前合成画面帧进行内部画面帧编码，获得当前编码画面帧。
进一步地，在当所述画面来源切换判定信息为相对于前一合成画面帧存在画面来源切换时，还包括：
根据所述画面帧来源信息、所述画面帧呈现位置信息以及已编码比特数，确定当前量化映射表；
将所述当前量化映射表及所述进行内部画面帧编码作为新的指示信息，输入至所述编码器。
第二方面，本申请实施例提供了一种多路视频编码装置，包括：
信息获取模块，用于获取所采集各路视频流的当前画面帧以及获取画面决策信息，所述画面决策信息通过对各所述当前画面帧进行画面内容决策确定；
画面生成模块，用于根据各所述画面决策信息结合各所述当前画面帧，生成当前合成画面帧；
画面编码模块，用于根据所述当前合成画面帧及所述画面决策信息，通过给定编码器确定所述当前合成画面帧的当前编码画面帧。
第三方面，本申请实施例还提供一种计算机设备，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所述的一种多路视频编码方法。
第四方面，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的一种多路视频编码方法。
上述提供的一种多路视频编码方法、装置、设备及存储介质，该方法首先获取所采集各路视频流的当前画面帧以及获取画面决策信息，所述画面决策信息通过对各所述当前画面帧进行画面内容决策确定，然后根据各所述画面决策信息结合各所述当前画面帧，生成当前合成画面帧；最终根据所述当前合成画面帧及所述画面决策信息，通过给定编码器确定所述当前合成画面帧的当前编码画面帧。本实施例上述技术方案，适用于录播系统中的视频编码，能够在将待编码的合成画面帧通过编码器编码之前，利用录播系统中根据多路视频流画面帧确定的画面决策信息，提前作为编码器编码的预测信息，使得编码器能够基于画面决策信息快速实现对待编码的当前合成画面帧的编码。整个编码过程通过对录播系统中画面决策信息的充分利用，在保证编码精度的同时，有效降低了编码阶段的算力资源，也更好加快了视频编码速度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例一提供的一种多路视频编码方法的流程示意图；
图2为本申请实施例一提供的另一种多路视频编码方法的流程示意图；
图3为本申请实施例二提供的一种多路视频编码装置的结构框图；
图4为本申请实施例三提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
实施例一
图1为本申请实施例提供的一种多路视频编码方法的流程示意图，该方法适用于对录播系统中的多路视频流进行视频编码的情况。该方法可以由多路视频编码装置执行，该装置可以由硬件和/或软件实现，并一般集成在计算机设备中。
需要说明的是，将录播教学系统作为本实施例的应用场景时，可以将集成本实施例所提供方法的计算机设备看作进行教学录播的录播设备。一般的，录播设备配置于教学空间场景中，作为录播系统中的智能终端用于对各路视频采集设备采集的画面帧进行画面决策分析、画面合成以及输入编码器，以将编编码后的画面帧进行传输或存储等。现有录播设备通过编码器进行编码的阶段，由编码器独立通过预测-变换-量化以及熵编码四个阶段实现视频编码，编码预测阶段占用的算力资源最大。录播设备中现有确定出的画面决策信息只参与到画面合成中，并不能融合到后续的编码阶段，造成了信息资源浪费。
本实施例提供的一种多路视频编码方法，能够有效解决录播系统信息资源浪费以及编码实现中算力过度占用的问题。
如图1所示，本实施例一提供的一种多路视频编码方法，具体包括如下步骤：
S101、获取所采集各路视频流的当前画面帧以及获取画面决策信息，所述画面决策信息通过对各所述当前画面帧进行画面内容决策确定。
需要知道的是，可以将本实施例所提供多路视频编码方法的执行看作录播系统中的一部分执行逻辑，在执行本实施例所提供的方法逻辑之前，录播系统可以按照已有方式进行各路视频画面的采集。
示例性的，以教学录播场景为例，录播系统中的视频采集设备以及执行本实施例所提供方法的录播设备均配置在教学录播场景中，视频采集设备的数量可以由多个，每个视频采集设备可以负责教学录播场景中的一路视频画面采集。如，一台视频采集设备可用于对教学场景中的教师进行教师特写画面捕获，另有一台视频采集设备可以面向讲台方向布设于教室中，用于对教学场景中的教学全景进行画面捕获，同样的，也可以有一台视频采集设备布设于教室前方，面向听课人员，用于对教室中的听课人员进行全景画面捕获；此外，还可以有一台视频采集设备用于对教室的板书设备进行画面捕获，获得板书内容。
此外，已有执行逻辑中还包括了通过预先给定的画面内容决策逻辑对所采集各路视频流的画面帧进行内容决策分析，由此获得画面决策信息。
仍以教学录播场景为例，该画面内容决策逻辑的执行可以描述为：可以对教师特定画面进行分析，识别教师面部信息，以及分析教师行为等，当教师行为为在黑板上板书时，可以将另一路对准黑板进行画面采集的板书内容画面作为当前的关键画面帧，确定合成画面帧中需要包含该板书内容画面；在此基础上合成画面中还可以包含显示屏展示的课件内容。同样的，也可以对其他采集设备采集到的听课人员画面进行分析，确定是否存在提问人员或者应答人员等，如果存在，可以将提问人员或应答人员的画面作为合成画面帧中的一部分画面。
通过上述执行逻辑，本步骤可以获得各路视频采集设备在当前执行时刻采集到的画面帧，本实施例记为当前画面帧；本步骤还可以获得到进行画面内容决策分析后确定的画面决策信息。
其中，所述画面决策信息包括：构成所述当前合成画面帧的目标当前画面帧的画面帧来源信息、各所述目标当前画面帧在所述当前合成画面帧中的画面帧呈现位置信息、画面来源切换判定信息。
在本实施例中，画面决策信息包含了多路视频流中当前画面帧进行画面帧合成所需的决策信息，其具体可以包括应该选择哪些画面来源的当前画面帧用于画面合成，可以将构成当前合成画面帧的当前画面帧记为目标当前画面帧，由此可以包含各目标当前画面帧的画面帧来源信息；还需要包括各目标当前画面帧进行画面帧合成时所处的合成位置，即，在待合成的当前合成画面帧的画面尺寸已知的情况下，需要知道每个目标当前画面帧的画面帧呈现位置信息，该画面帧呈现位置信息中可以具备目标当前画面帧在当前合成画面帧中的坐标位置以及呈现区域大小。
接上述描述，该画面决策信息中除了包含构成当前合成画面帧所需的相关信息外，还可以包括与在前合成画面帧相比对后的对比结果信息，如可以包含与前一合成画面帧所包含画面内容进行比对后确定的结果信息，如果待合成的当前合成画面帧与前一合成画面帧相比对后发现合成画面帧的画面来源不同，可以将画面来源切换作为画面来源切换判定信息构成画面决策信息的一部分；如果画面来源相同，可以将画面来源未切换作为画面来源切换判定信息。
此外，如果待合成的当前合成画面帧与前一合成画面帧相比对后发现二者的画面内容中存在一部分区域画面相同，可认为该部分画面区域相对于当前合成画面帧为静止画面，由此，画面决策信息中还可以包括该部分静置画面的相关信息。
S102、根据各所述画面决策信息结合各所述当前画面帧，生成当前合成画面帧。
在本实施例中，可以通过本步骤在所获取画面决策信息的基础上采用给定的画面帧合成算法从各所述当前画面帧中选定目标当前画面帧，然后基于各目标当前画面帧的画面帧呈现位置信息进行画面合成，最终可以获得当前执行时刻的当前合成画面帧。
示例性的，仍以教学录播场景举例，所获取的画面决策信息中画面来源信息可以是所采集的板书视频、显示屏上所采集的课件内容，还包括各路视频来源中画面帧的呈现位置信息。通过本步骤合成后的当前合成画面帧中包括板书画面帧以及课件内容画面帧，且以板书视频中板书画面帧为主要画面帧进行满画面尺寸展示，然后以课件内容作为辅助画面帧在所展示画面的右上角以设定尺寸展示。
S103、根据所述当前合成画面帧及所述画面决策信息，通过给定编码器确定所述当前合成画面帧的当前编码画面帧。
在本实施例中，本步骤可以作为编码的具体实现，其可以将当前合成画面帧以及上述获取的画面决策信息均作为编码器进行编码操作的前置数据信息，由此在编码器进行编码操作前可以先对画面决策信息进行分析，分析结果可以替代编码器的一部分预测数据，用于当前合成画面帧的编码。
区别于编码器现有的编码方式，本实施例中编码器可以简化编码预测阶段的预测执行逻辑，本实施例中编码器可以借用画面决策阶段确定出的画面决策信息，来决定该当前执行时刻应该对当前合成画面帧进行怎样的编码操作。
示例性的，在一种执行方式中，可以根据画面决策信息中的画面来源切换判定信息，确定当前合成画面帧的画面来源相较于在前合成画面帧是否发生了切换，若切换，则可认为当前合成画面帧与在前合成画面帧的关联性不大，编码器可以省去原有需要进行的帧间预测，直接对当前画面帧进行内部画面帧编码。
示例性的，另一种执行方式中，编码器也可以在画面来源未发生切换的情况下，根据画面决策信息中的画面来源以及画面帧呈现位置结合已编码的比特数，确定出画面帧编码所需的量化参数信息，以使编码器通过该量化参数信息实现当前合成画面帧的编码操作，获得相应的当前编码画面帧。此外，如果画面决策信息中包含了静止画面区域的记录，可直接基于静止画面区域的位置信息以及其他画面帧的呈现位置结合比特数来确定画面帧编码所需的量化参数信息。
需要说明的是，对于上述直接对当前画面帧进行内部画面帧编码的实现，也可以与量化参数信息预测相结合，即，在进行内部画面帧编码前，先通过画面来源及画面帧呈现位置确定当前合成画面帧的量化参数信息，由此将进行内部画面帧编码的指示以及量化参数信息传递给编码器。
本申请实施例一提供的一种多路视频编码方法，适用于录播系统中的视频编码，能够在将待编码的合成画面帧通过编码器编码之前，利用录播系统中根据多路视频流画面帧确定的画面决策信息，提前作为编码器编码的预测信息，使得编码器能够基于画面决策信息快速实现对待编码的当前合成画面帧的编码。整个编码过程通过对录播系统中画面决策信息的充分利用，在保证编码精度的同时，有效降低了编码阶段的算力资源，也更好加快了视频编码速度。
作为本实施例的第一可选实施例，也给出了对当前合成画面帧进行编码的一种实现方式。进一步地，可以将根据所述画面决策信息，通过给定编码器对所述当前合成画面帧编码，获得当前编码画面帧具体优化为下述步骤：
需要说明的是，本第一可选实施例提供的当前合成画面帧的编码实现方式，可认为是本实施例所提供多路视频编码方法中执行频率较高的方式，其具体实现范围可以是目标当前画面帧的画面来源未发生变化时采用。
a1)提取所述画面决策信息中的画面帧来源信息以及画面帧呈现位置信息。
在本可选实施例中，作为当前合成画面帧编码的又一种实现方式，可以通过本步骤获取画面决策信息中包含的画面帧来源信息以及画面帧呈现位置信息，该画面帧来源信息可以为构成当前合成画面帧的各目标当前画面帧的画面来源；该画面帧呈现位置信息可以为各目标当前画面帧在当前合成画面帧中所处的坐标位置以及区域大小等信息。
b1)根据所述画面帧来源信息、所述画面帧呈现位置信息以及已编码比特数，确定当前量化映射表。
在本实施例中，通过上述提取的画面帧来源信息以及画面帧呈现位置信息，结合视频编码过程中已采用的已编码比特数，可以确定当前合成画面帧的当前量化映射表。其中，可认为该当前量化映射表中包含了当前合成画面帧进行编码时所需的量化参数信息。
在本实施例中，所述量化参数(quantizationparameter，QP)，可认为是在压缩处理中反映了空间细节压缩情况的信息，量化参数可以是量化步长的序号，一般情况下，量化步长可以随编码对象的不同有不同的长度范围。如，对于图像亮度的编码而言，所对应的量化步长为0～52，那么量化参数的取值就为0～51；对于图像色度的编码而言，所对应的量化步长可以取0～39，那么量化参数的取值也调整0～38。
可以知道的是，某个图像区域所对应量化参数的值越小，对该图像区域进行压缩的量化越精细，图像区域中的大部分细节都会被保留，压缩后所获得图像区域的图像质量就越高，产生的码流也就越长；相反的，如果量化参数的值越大，压缩时一些细节会丢失，码率会相对降低，但图像质量则相应下降。
在本实施例中，可以通过画面帧来源信息及所述画面帧呈现位置信息确定哪些是当前合成画面帧中的感兴趣区域(regionofinterest，ROI)及非ROI(非感兴趣区域)，然后可以根据ROI以及非ROI的位置信息及已编码比特数，结合量化参数确定逻辑确定出ROI以及非ROI的量化参数，最终通过各区域对应的量化参数，可以得到当前合成画面帧关联的当前量化映射表。
具体的，在ROI和非ROI确定的实现中，可以先将当前合成画面帧划分出多个小区块画面，记为区域子画面，之后可以判定每个区域子画面的区域属性信息，区域属性信息可以通过画面帧来源以及画面帧呈现位置来确定，当该区域子画面来自主画面帧时，该区域子画面作为感兴趣区域的可能较大，当该区域子画面来自辅助画面帧时，该区域子画面作为非感兴趣区域的可能较大，区域属性信息可以通过判定区域子画面为感兴趣区域还是非感兴趣区域来决定。
接上述描述，在区域属性信息确定后，相当于清楚了哪些区域子画面为ROI，哪些区域子画面为非ROI，即可以获得ROI及非ROI的位置信息，再结合已编码比特数，可以对ROI及非ROI的量化参数进行动态调整，直至达到调整结束条件，可以获得ROI及非ROI区域最终的量化参数，由此也相当于获得了当前合成画面帧的当前量化映射表。
c1)通过所述编码器，根据接收的所述当前量化映射表结合所述当前合成画面帧的画面数据信息，对所述当前合成画面帧进行编码，获得当前编码画面帧。
可以知道的是，对视频画面帧的编码相当于对视频画面帧的压缩处理，当前量化参数表中包括的量化参数可认为是图形压缩编码所依据的有效参数，在本实施例中，本步骤可以通过编码器基于上述确定出的当前合成画面帧中各区域的量化参数，结合当前合成画面帧的画面数据信息，可以对各区域画面内容进行压缩编码，压缩编码后的画面帧可以作为当前执行时刻的当前编码画面帧。
需要说明的是，通过各执行时刻确定出的当前编码画质就可以获得对多路视频进行编码后的编码视频。
本第一可选实施例，通过画面决策信息，简化了编码预测阶段对画面帧中各区域的量化参数预测，能够基于画面决策信息来确定区域的量化精度，有效节省了编码预测时间，降低编码预测算力的资源消耗，更好的保证了多路视频编码的有效性。
在第一可选实施例的基础上，图2为本申请实施例一提供的另一种多路视频编码方法的流程示意图，如图2所示，本申请实施例提供的一种多路视频编码方法可以包括下述步骤：
S201、获取所采集各路视频流的当前画面帧以及获取画面决策信息，所述画面决策信息通过对各所述当前画面帧进行画面内容决策确定。
S202、根据各所述画面决策信息结合各所述当前画面帧，生成当前合成画面帧。
本实施例下述S203至S207实现了当前合成画面帧的画面帧编码，下述步骤可认为在上述第一可选实施例所提供实现方式基础上的进一步优化，其中，S204至S206具体给出了当前量化信息表的确定实现。
S203、提取所述画面决策信息中的画面帧来源信息以及画面帧呈现位置信息。
S204、对所述当前合成画面帧进行区块划分，获得多个区域子画面。
在本实施例中，所采用的区块划分方式可以是按照给定的划分行列值来划分画面帧，从而形成多个矩形块，分别记为区域子画面。对于划分形成的多个区域子画面，本实施例可优选其具备相同的区块大小。
此外，也可以采用给定的区块大小(如，可以是4×4的像素点区域)对整个当前合成画面帧进行划分，存在部分区域所形成区域子画面不满足给定的区域大小的情况，该种以实际大小进行信息记录即可。
S205、根据所述画面帧来源信息及所述画面帧呈现位置信息，确定各所述区域子画面的区域属性信息。
通过上述步骤获得区块划分后的各区域子画面后，可以分别确定各区域子画面的区域属性信息。其中一种实现方式中，对于每个区域子画面而言，可以通过其所在的区块位置，确定出区域子画面属于当前合成画面帧中的哪个目标当前画面帧，之后结合所属目标当前画面帧的画面帧来源，以及预先设定的画面组合或者感兴趣区域划分设定信息，确定该区域子画面是否属于目标当前画面帧中的感兴趣区域，若是，则可以将感兴趣作为该区域子画面的区域属性信息；如果该区域子画面不属于该目标当前画面帧中的感兴趣区域，则可以将非感兴趣确定为该区域子画面的区域属性信息。
本实施例进一步通过下述步骤给出了区域属性信息的一种确定实现，具体的，下述步骤可以包括：
a2)针对每个区域子画面，在所述画面帧呈现位置信息中查找所述区域子画面的子画面位置，确定所述区域子画面归属的目标当前画面帧，以及在所述目标当前画面帧中的初始呈现位置。
本实施例各执行步骤针对每个区域子画面执行，首先可以通过本步骤来确定区域子画面归属的目标当前画面帧。其中，进行区块划分后，每个区域子画面的子画面位置可以确定。再与画面决策信息中的画面帧呈现位置信息相结合，可以查找子画面位置处于哪个目标当前画面帧的呈现位置区域内，由此可以定出区域子画面归属于哪个目标当前画面帧。
在确定出所归属的目标当前画面帧之后，可以根据该区域子画面在当前合成画面帧中的子画面呈现位置，以及所归属的目标当前画面帧，来确定出该区域子画面在实际的目标当前画面帧中对应的呈现位置，本实施例记为初始呈现位置。
示例性的，区域子画面处于画面编号为a的目标当前画面帧中，假设区域子画面在当前合成画面帧中处于目标当前画面帧的左上角区域，则在采集得到的目标当前画面帧中，可以查找到区域子画面所处的初始呈现位置。
b2)通过所述画面帧来源信息，确定所述目标当前画面帧的画面来源。
上述确定出区域子画面归属于哪个目标当前画面帧之后，本步骤可以根据画面帧来源信息，确定出该目标当前画面帧的画面来源。
示例性的，在教学录播场景中，画面编号为a的目标当前画面帧在画面帧来源信息中对应板书画面采集设备，则板书画面采集设备为目标当前画面帧的画面来源。
c2)当所述画面来源中的所述初始呈现位置在预先给定的画质要求信息中对应高画质要求时，将感兴趣确定为所述区域子画面的区域属性信息；否则，执行步骤d2)。
需要知道的是，在某个录播场景中进行录播操作前，可以预先为该录播场景中能能出现的画面组合进行画质要求设置。仍以教学录播场景为例，多路视频画面可以包括：教师特定画面、教师全景画面、听课人员全景画面、听课人员特定画面、板书画面以及课件画面等。上述画面可以进行一路画面帧或多路画面帧的组合，如可直接选中任一种画面作为待编码的当前合成画面帧；也可以选择两路或多路画面帧进行画面帧组合，构成待编码的当前合成画面帧。
本实施例可以预先对各种画面组合下合成画面帧进行画质要求并存储。其中，可配置的画质要求包括多个画质要求层级，如可以包括高要求画质、中要求画质以及低要求画质等，又或者可以包括高要求画质及低要求画质。
另一种实现方式可以是由录播相关管理人员提前配置各路画面帧中需要进行高画质要求的区域，并进行画质要求的配置信息存储。
本步骤可以获取到预先存储的画质要求信息，然后可以将该区域子画面通过确定的初始呈现位置与该画质要求信息进行匹配，获得该区域子画面对应的画质要求。当该区域子画面对应的画质要求为高画质要求时，就可以将该其余子画面的区域属性信息确定为感兴趣，以此来标记该区域子画面在当前合成画面帧中可以作为感兴趣区域(ROI)。
d2)将非感兴趣确定为所述区域子画面的区域属性信息。
本步骤接上述步骤c2)的判定，其可以在判定区域子画面的画质要求部位高画质要求时，就可以通过本步骤将非感兴趣确定为该区域子画面的区域属性信息。
需要说明的是，本实施例中的画质要求可以清晰度、分辨率以及码率等参数的限制要求。高画质要求可认为画面应当具备高清晰度、高分辨率、在编码时采用更多比特数编码等。
对于区域属性信息的确定，另一种实现方式中，可以通过画面决策信息中对静止画面信息的记录，以及画面帧来源信息和画面帧呈现位置信息，来确定每个区域子画面是否为静止画面区域，可以将属于静止画面区域的区域子画面确定为非感兴趣区域，该区域子画面的区域属性信息也可以记为非感兴趣；相应的，可以将属于非静止画面区域的区域子画面确定为感兴趣区域，该区域子画面的区域属性信息也可以记为感兴趣。
本实施例进一步通过下述步骤给出了区域属性信息的一种确定实现，具体的，下述步骤可以包括：
a3)针对每个区域子画面，根据所述画面帧来源信息及所述画面帧呈现位置信息，确定所述区域子画面是否为静止画面区域。
在本实施例中，画面决策信息中所画面帧来源信息及画面帧呈现位置信息中还附带了静止画面帧的相关信息，比如静止画面帧的画面帧来源，静止画面帧的画面帧呈现位置。本步骤中对于每个区域子画面而言，可以通过区域子画面的呈现位置，确定出画面帧来源是什么，以及该画面帧来源的画面帧是否为静止画面帧，由此相当于对区域子画面是否为静止画面区域进行判定。其中，静止画面帧可理解为相对于当前画面帧中的画面内容相对于同一来源的前一画面帧中画面内容没有发生变化。
b3)若是，则将非感兴趣确定为所述区域子画面的区域属性信息。
区别于区域属性信息的前一种实现方式，本实施例进行区域属性信息确定的确定角度定位在不同画面来源的当前画面帧中是否存在静置画面帧，如果存在的话，就可以直接将处于静置画面帧中的区域子画面的区域属性信息确定为非感兴趣。相较于上述实现中给出的通用型判定方式，本实施例所提供实现方式能够借助画面决策信息中的静止画面帧的相关信息，更简单快速的进行量化参数信息的确定。
示例性的，本步骤可以直接将属于静止画面帧的区域子画面确定为非感兴趣区域，由此可以将非感兴趣作为区域子画面的区域属性信息。
c3)若否，则将感兴趣确定为所述区域子画面的区域属性信息。
可以理解的是，与上述步骤b3)相反的判定结果下，可以通过本步骤将不属于静止画面帧的区域子画面确定为感兴趣区域，由此可以将非感兴趣区域作为区域子画面的区域属性信息。
S206、根据所述已编码比特数及各所述区域属性信息，确定各所述区域子画面的量化参数，并基于各所述量化参数构成所述当前量化映射表。
在本实施例中，所述已编码比特数可理解为整个视频编码中对各历史合成画面帧进行压缩编码时所使用比特数的累加。就待编码的当前合成画面帧而言，在已知当前合成画面帧中各区域子画面的区域属性信息后，可以确定出哪些区域子画面为感兴趣区域，哪些区域子画面为非感兴趣区域，由此可以确定出整个当前合成画面帧中的感兴趣区域以及非感兴趣区域。
需要说明的是，对视频进行编码时，往往会预先设置视频编码所期望的总比特数，该总比特数可以记为目标比特数。本步骤进行量化参数确定的过程可以描述为：通过目标比特数和已编码比特数，可以确定当前执行时刻编码可采用的比特数，通过各所述区域属性信息可以确定当前合成画面帧中ROI(感兴趣区域)及非ROI，还可以分别获得ROI及非ROI的位置信息。
需要说明的是，视频编码中需要为非ROI赋予较高的量化参数，以及为ROI赋予较低的量化参数，来保证压缩编码后非ROI具备较低的画面质量，以及保证压缩编码后ROI具备较高的画面质量。为保证当前合成画面帧在压缩编码后的整体视觉效果，本实施例考虑将非ROI与ROI的压缩编码后的显示效果控制在一个合适的范围，即需要将非ROI与ROI的量化参数之差控制在一个合适的范围，本实施例可以基于合适的量化参数之差，以及当前合成画面帧可用的比特数来考虑非ROI与ROI的量化参数设定。
具体的，对于ROI和非ROI所对应量化参数的确定过程，例如可以基于当前合成画面帧可用比特数以及ROI和非ROI的位置信息，结合ROI所具备量化参数与非ROI所具备量化参数的量化参数差，来动态调整ROI的量化参数和非ROI的量化参数，最终找到量化参数差满足设定条件的量化参数对，分别作为ROI和非ROI最终的量化参数。在确定当前合成画面帧中ROI区域和非ROI区域的量化参数后，也相当于当前合成画面帧中各区域子画面的量化参数。
在本实施例中，确定出各区域子画面的量化参数后，可以按照各区域子画面的位置顺序以及相应的量化参数形成当前合成画面帧的当前量化映射表。需要说明的是，可以采用一个二维矩阵来表示当前量化映射表，其中，二维矩阵中所具备的行列值可以是对当前合成画面帧进行区域划分后，所形成区域子画面的行列数。二维矩阵中每个矩阵元素的元素值为相对应区域子画面所具备的量化参数。
示例性的，假设一个当前合成画面帧按照划分规则划分成m*n个区域子画面，则表示当前量化映射表的二维矩阵的行列值分别m和n，而相对每个区域子画面确定的量化参数，则作为二维矩阵中相对应矩阵元素的元素值。
进一步地，本实施例通过下述步骤给出了当前合成画面帧中各区域子画面量化参数确定的一种实现方式，具体的，实现步骤可以描述为：
a4)提取区域属性信息为感兴趣的第一区域子画面构成ROI，以及区域属性信息为非感兴趣的第二区域子画面构成非ROI。
本步骤中，通过每个区域子画面的区域属性信息，可以知道该区域子画面为ROI还是非ROI，由此可以汇总区域属性信息为感兴趣的各区域子画面，记为第一区域子画面并构成当前合成画面帧的ROI。还可以汇总区域属性信息为非感兴趣的各区域子画面，记为第二区域子画面并构成当前合成画面帧的非ROI。
本实施例根据上述区域属性信息确定方式的不同，给出了不同的量化参数确定方式。具体的，可以通过下述步骤b4)进行不同量化参数实现的执行。
b4)确定所述第二区域子画面是否由静止画面区域构成，若是，则执行步骤c4)；若否，则执行步骤d4)。
需要说明的是，在基于静止画面区域进行区域属性信息确定时，可以认为属于静止画面区域的区域子画面均可以记为第二区域子画面，本步骤可以对构成非感兴趣区域的各第二区域子画面进行是否属于静止画面区域的判定，若是，则可认为当前构成非ROI的画面为静止画面，该种判定结果下可以执行步骤c4；若不属于，则可认为当前构成非ROI的画面不为静止画面，该种判定结果下需要进一步执行步骤d4)。
c4)将静止画面区域在前一帧对应的量化参数作为非ROI的第二量化参数，并基于所述第二量化参数确定所述ROI的第一量化参数。
在本实施例中，假设基于静止画面区域构成了非ROI，则不需要采用本实施例给出的通用确定方式来进行量化参数的确定，可以直接将静止画面区域在前一帧时所具备的量化参数作为当前合成画面帧中非ROI的量化参数，并记为第二量化参数。
在已知第二量化参数的基础上，结合预先设定的非ROI的量化参数与ROI的量化参数的量化参数之差应当满足的设定条件，可知直接确定出二者的量化参数之差满足该设定条件时ROI具备的量化参数，并记为第一量化参数。其中，该设定条件可以是二者的量化参数之差应当大于或等于设定的某个阈值。
示例性的，假设非ROI区域的第二量化参数为a(QP)，其中，QP为量化参数的单位表示，而预先设定ROI与非ROI的量化参数差大于或等于b(QP)为要满足的条件，则可以将ROI此时的第一量化参数确定为大于或等于(a+b)(QP)的量化参数。
d4)根据所述ROI及非ROI的位置信息，确定所述ROI的第一编码复杂度以及非ROI的第二编码复杂度。
在本实施例中，ROI的位置信息可理解为ROI中各像素点的位置信息，或者构成ROI的最小外接矩形的位置信息。非ROI的位置信息可理解为非ROI中各像素点的位置信息，或者图像中除ROI以外的位置信息。
编码复杂度具体可用于描述编码量与所解决问题的规模的关系，本实施例中编码复杂度可理解为对ROI进行压缩编码处理时的复杂度，假设n为ROI压缩编码时所解决问题的规模，则该编码复杂度可以表示为C(n)，同样的，假设m为非ROI编码是所解决问题的规模，则该编码复杂度可以表示为C(m)。
本实施例中可分别通过ROI的位置信息来确定待解决问题的规模，即可以通过ROI的位置信息来确定ROI的编码复杂度，并记为第一编码复杂度；本实施例也可通过非ROI的位置信息来确定待解决问题的规模，由此也可以通过非ROI的位置信息来确定非ROI的编码复杂度，并记为第二编码复杂度。
e4)根据所述已编码比特数及所给定总目标比特数，结合所述第一编码复杂度及第二编码复杂度，确定所述ROI的第一量化参数以及非ROI的第二量化参数，构成各所述区域子画面的量化参数。
在本实施例中，总目标比特数可以理解为对视频画面帧进行压缩编码所期望使用的总比特数，通过总目标比特数和已编码比特数，可以确定当前合成画面帧的可用比特数。
示例性的，基于该可用比特数，结合上述确定的第一编码复杂度和第二编码复杂度，再结合进行压缩编码时图像中ROI和非ROI的量化参数之差所期望满足的设定条件，以及预先为ROI设定的初始量化参数，就可以实现对第一量化参数以及第二量化参数的动态调整，最终可以获得量化参数差满足设定条件的量化参数对。
上述动态调整第一量化参数和第二量化参数的过程可以是：先为ROI设定初始的ROI量化参数，通过ROI的位置信息可以确定出编码该ROI所需的第一比特数，结合已知的目标比特数，确定编码非ROI所需的第二比特数，之后可以通过第二比特数以及非ROI的位置信息，反推非ROI的当前量化参数，然后可以确定此时ROI量化参数与非ROI量化参数的量化参数差，如果量化参数差没有满足设定条件，就可以对ROI量化参数进行调整，并采用调整后ROI量化参数重新通过上述操作确定非ROI量化参数，以及进行量化参数差的判定，循环进行上述操作，直至最终确定出满足设定条件的ROI量化参数和非ROI量化参数，ROI量化参数就可记为第一量化参数，非ROI量化参数就可以记为第二量化参数。
在本实施例中，可以采用第一量化参数作为区域属性信息为感兴趣的各第一区域子画面的量化参数；可以采用第二量化参数作为区域属性信息为非感兴趣的各第二区域子画面的量化参数。
进一步地，下述步骤给出了第一量化参数以及第二量化参数确定的具体实现步骤：
e41)将所述总目标比特数及所述已编码比特数的差值作为所述当前合成画面帧的当前目标比特数。
本步骤的目的在于确定当前合成画面帧的可用比特数，即当前目标比特数。通过当前目标比特数，可以实现编码过程中的码率控制。
e42)基于所述当前目标比特数，结合所述第一编码复杂度，确定所述ROI所需的第一比特数。
在本实施例中，通过已知的量化参数、编码复杂度以及比特数之间的逻辑转换关系，本步骤可以在已知当前第一量化参数及第一编码复杂度后，确定出编码ROI所需的第一比特数。
其中，当前第一量化参数可理解为量化参数动态调整中ROI当前赋予的量化参数，动态调整之初可设定初始的第一量化参数，并将初始设定的第一量化参数作为循环动态调整执行中的首个当前第一量化参数。该初始的第一量化参数可以是一个相对较小的量化值。
e43)将所述当前目标比特数与所述第一比特数的差值记为所述非ROI所需的第二比特数。
在本实施例中，可以通过当前目标比特数与第一比特数的差值计算，确定出对图像中非ROI进行压缩编码所需要的第二比特数。
e44)根据所述第二比特数及所述第二编码复杂度，确定所述非ROI的第二量化参数。
基于上述描述，在量化参数、编码复杂度以及比特数之间的逻辑转换关系后，可以通过确定的第二比特数、第二编码复杂度来确定非ROI的第二量化参数，该第二量化参数可能并不是非ROI最终对应的量化参数，后续还会对该第二量化参数进行动态调整。
e45)在确定所述第二量化参数满足设定量化条件时，将所述第一比特数对应的量化参数确定为所述ROI的第一量化参数。
该步骤可以细化为：如果前述步骤确定的第二量化参数与前述步骤确定的当前第一量化参数的差值大于设定阈值，认为该第二量化参数还未满足设定量化条件，则需要调整当前第一量化参数，并返回重新执行第一比特数的确定操作。否则，可以认为该第二量化参数已经满足设定量化条件，可以将第一比特数对应的量化参数作为ROI的第一量化参数，以及将上述确定的第二量化参数作为非ROI最终的第二量化参数。
其中，本步骤可以按照设定步长来增加第一量化参数的量化值，形成ROI动态调整后新的当前第一量化参数；同时，该设定阈值可看做ROI和非ROI之间所允许的量化参数的最大绝对差值。
本实施例上述循环逻辑的描述，更好的说明了本实施例考虑将非ROI与ROI的压缩编码后的显示效果控制在一个合适范围的具体实现。当ROI和非ROI的压缩编码后的显示效果在一个合适范围时，可以保证图像在传输过程中输在节省码流的同时也保证了图像所展示视觉效果最佳。
S207、通过所述编码器，根据接收的所述当前量化映射表结合所述当前合成画面帧的画面数据信息，对所述当前合成画面帧进行编码，获得当前编码画面帧。
示例性的，上述步骤相当于在通过编码器对当前画面帧进行编码之前，已经通过画面决策信息进行了编码的部分预测，获得了当前量化映射表，该当前量化映射表相当于预先告知了编码器当前合成画面帧中各像素点在编码时所要使用的量化参数，由此编码器就可以省略量化参数的预测，可以直接基于当前合成画面帧的画面数据信息，实现当前合成画面帧的编码，最终获得相应的当前编码画面帧。
本实施例的第一可选实施例，通过画面决策信息，简化了编码预测阶段的感兴趣区域和非感兴趣区域的量化参数编码预测，实现了画面决策阶段所确定画面决策信息的充分利用，同样降低了编码预测阶段的算力消耗。同时，该种编码方式可以更好的降低码率大小，实现在不改变编码器结构下的彩色编码优化。
作为本实施例的第二可选实施例，给出了对当前合成画面帧进行编码的一种实现方式。进一步地，可以将根据所述画面决策信息，通过给定编码器对所述当前合成画面帧编码，获得当前编码画面帧具体优化为下述步骤：
a5)提取所述画面决策信息中的画面来源切换判定信息。
在本实施例给出的实现方式中，首先可以通过本步骤获取画面决策信息中包含的画面来源切换判定信息，该画面来源切换判定信息用于表征要合成的当前合成画面帧中所包括各目标当前画面帧的画面来源相较于前一合成画面帧中画面来源是否发生了变化的判定结果。
b5)当所述画面来源切换判定信息为相对于前一合成画面帧存在画面来源切换时，向所述编码器输入进行内部画面帧编码的指示信息。
在本实施例中，当画面来源切换判定信息中的判定结果为相对于前一合成画面帧存在画面来源切换时，就可以确定当前合成画面帧的画面内容与在前合成画面帧的画面内容不具备关联性，由此无需继续进行帧间预测，通过本步骤可以直接向编码器发送进行内部画面帧编码的指示信息。
c5)通过所述编码器，根据接收的所述指示信息结合所述当前合成画面帧的画面数据信息，对所述当前合成画面帧进行内部画面帧编码，获得当前编码画面帧。
在本实施例中，进行视频编码的编码器可以根据上述步骤生成的指示信息直接对当前合成画面帧进行内部画面帧编码，编码器基于已有编码逻辑通过画面数据信息可以生成当前合成画面帧的内部画面帧，并作为当前编码画面帧。
本实施例第一可选实施例，通过画面决策信息，简化了编码预测阶段的帧间编码预测，实现了画面决策阶段所确定画面决策信息的充分利用，降低了编码预测阶段的算力消耗。
本申请实施例提供的一种多路视频编码方法，具体化了对画面决策信息中信息资源在编码阶段的使用。通过对画面决策信息的有效使用，减少了编码器在预测阶段的算力占用，能够根据画面决策信息中的画面帧来源以及画面帧呈现位置、画面来源切换判定以及画面静止判定等信息，简单快速的实现录播过程中的多路视频编码。整个编码过程通过对录播系统中画面决策信息的充分利用，在保证编码精度的同时，有效降低了编码阶段的算力资源，也更好加快了视频编码速度。
实施例二
图3为本申请实施例二提供的一种多路视频编码装置的结构框图，该装置适用于向用户进行网络教学平台中网络课程推荐的情况。该装置可以由硬件和/或软件实现，并一般集成在计算机设备中。如图3所示，该装置包括：信息获取模块31、画面生成模块32以及画面编码模块33。
信息获取模块31，用于获取所采集各路视频流的当前画面帧以及获取画面决策信息，所述画面决策信息通过对各所述当前画面帧进行画面内容决策确定；
画面生成模块32，用于根据各所述画面决策信息结合各所述当前画面帧，生成当前合成画面帧；
画面编码模块33，用于根据所述当前合成画面帧及所述画面决策信息，通过给定编码器确定所述当前合成画面帧的当前编码画面帧。
本实施例二提供的一种多路视频编码装置，适用于录播系统中的视频编码，能够在将待编码的合成画面帧通过编码器编码之前，利用录播系统中根据多路视频流画面帧确定的画面决策信息，提前作为编码器编码的预测信息，使得编码器能够基于画面决策信息快速实现对待编码的当前合成画面帧的编码。整个编码过程通过对录播系统中画面决策信息的充分利用，在保证编码精度的同时，有效降低了编码阶段的算力资源，也更好加快了视频编码速度。
进一步地，所述画面决策信息包括：构成所述当前合成画面帧的目标当前画面帧的画面帧来源信息、各所述目标当前画面帧在所述当前合成画面帧中的画面帧呈现位置信息、画面来源切换判定信息。
进一步地，目标推荐模块33具体也可以包括：
提取单元，用于提取所述画面决策信息中的画面帧来源信息以及画面帧呈现位置信息；
确定单元，用于根据所述画面帧来源信息、所述画面帧呈现位置信息以及已编码比特数，确定当前量化映射表；
编码单元，用于通过所述编码器，根据接收的所述当前量化映射表结合所述当前合成画面帧的画面数据信息，对所述当前合成画面帧进行编码，获得当前编码画面帧。
进一步地，该确定单元具体可以包括：
区块划分子单元，用于对所述当前合成画面帧进行区块划分，获得多个区域子画面；
属性确定子单元，用于根据所述画面帧来源信息及所述画面帧呈现位置信息，确定各所述区域子画面的区域属性信息；
参数确定子单元，用于根据所述已编码比特数及各所述区域属性信息，确定各所述区域子画面的量化参数，并基于各所述量化参数构成所述当前量化映射表。
进一步地，属性确定子单元具体可以用于：
针对每个区域子画面，在所述画面帧呈现位置信息中查找所述区域子画面的子画面位置，确定所述区域子画面归属的目标当前画面帧，以及在所述目标当前画面帧中的初始呈现位置；
通过所述画面帧来源信息，确定所述目标当前画面帧的画面来源；
当所述画面来源中的所述初始呈现位置在预先给定的画质要求信息中对应高画质要求时，将感兴趣确定为所述区域子画面的区域属性信息，否则，
将非感兴趣确定为所述区域子画面的区域属性信息。
进一步地属性确定子单元具体还可以用于：
针对每个区域子画面，根据所述画面帧来源信息及所述画面帧呈现位置信息，确定所述区域子画面是否为静止画面区域；
若是，则将非感兴趣确定为所述区域子画面的区域属性信息；
若否，则将感兴趣确定为所述区域子画面的区域属性信息。
进一步地，参数确定子单元具体可以用于：
提取区域属性信息为感兴趣的第一区域子画面构成感兴趣区域ROI，以及区域属性信息为非感兴趣的第二区域子画面构成非ROI；
如果所述第二区域子画面由静止画面区域构成，则将静止画面区域在前一帧对应的量化参数作为非ROI的第二量化参数，并基于所述第二量化参数确定所述ROI的第一量化参数；否则，
根据所述ROI及非ROI的位置信息，确定所述ROI的第一编码复杂度以及非ROI的第二编码复杂度；
根据所述已编码比特数及所给定总目标比特数，结合所述第一编码复杂度及第二编码复杂度，确定所述ROI的第一量化参数以及非ROI的第二量化参数，构成各所述区域子画面的量化参数。
进一步地，参数确定子单元执行根据所述已编码比特数及所给定总目标比特数，结合所述第一编码复杂度及第二编码复杂度，确定所述ROI的第一量化参数以及非ROI的第二量化参数，构成各所述区域子画面的量化参数的具体步骤包括：
将所述总目标比特数及所述已编码比特数的差值作为所述当前合成画面帧的当前目标比特数；基于所述当前目标比特数，结合所述第一编码复杂度，确定所述ROI所需的第一比特数；将所述当前目标比特数与所述第一比特数的差值记为所述非ROI所需的第二比特数；根据所述第二比特数及所述第二编码复杂度，确定所述非ROI的第二量化参数；在确定所述第二量化参数满足设定量化条件时，将所述第一比特数对应的量化参数确定为所述ROI的第一量化参数
进一步地，画面编码模块33具体可以用于：
提取所述画面决策信息中的画面来源切换判定信息；
当所述画面来源切换判定信息为相对于前一合成画面帧存在画面来源切换时，向所述编码器输入进行内部画面帧编码的指示信息；
通过所述编码器，根据接收的所述指示信息结合所述当前合成画面帧的画面数据信息，对所述当前合成画面帧进行内部画面帧编码，获得当前编码画面帧。
进一步地，该画面编码模块33具体还可以在当所述画面来源切换判定信息为相对于前一合成画面帧存在画面来源切换时，根据所述画面帧来源信息、所述画面帧呈现位置信息以及已编码比特数，确定当前量化映射表；将所述当前量化映射表及所述进行内部画面帧编码作为新的指示信息，输入至所述编码器。
实施例三
图4为本申请实施例三提供的一种计算机设备的结构示意图。该计算机设备包括：处理器40、存储器41、显示屏42、输入装置43以及输出装置44。该计算机设备中处理器40的数量可以是一个或者多个，图4中以一个处理器40为例。该计算机设备中存储器41的数量可以是一个或者多个，图4中以一个存储器41为例。该计算机设备的处理器40、存储器41、显示屏42、输入装置43以及输出装置44可以通过总线或者其他方式连接，图4中以通过总线连接为例。实施例中，计算机设备可以是电脑、笔记本或智能平板等。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的计算机设备对应的程序指令/模块(例如，多路视频编码装置中的信息获取模块31、画面生成模块32以及画面编码模块33)。存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏42可以为具有触摸功能的显示屏42，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。
输入装置43可用于接收输入的数字或者字符信息，以及产生与展示设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置44可以包括扬声器等音频设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定。
处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的一种多路视频编码方法。
上述提供的计算机设备可用于执行上述任意实施例提供的一种多路视频编码方法，具备相应的功能和有益效果。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种多路视频编码方法，包括：
获取所采集各路视频流的当前画面帧以及获取画面决策信息，所述画面决策信息通过对各所述当前画面帧进行画面内容决策确定；
根据各所述画面决策信息结合各所述当前画面帧，生成当前合成画面帧；
根据所述画面决策信息，通过给定编码器对所述当前合成画面帧编码，获得当前编码画面帧。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的一种多路视频编码方法操作,还可以执行本发明任意实施例所提供的一种多路视频编码方法中的相关操作，且具备相应的功能和有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccessMemory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本申请任意实施例所述的一种多路视频编码方法。
值得注意的是，上述多路视频编码装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (13)

1.一种多路视频编码方法，其特征在于，包括：
获取所采集各路视频流的当前画面帧以及获取画面决策信息，所述画面决策信息通过对各所述当前画面帧进行画面内容决策确定；
根据各所述画面决策信息结合各所述当前画面帧，生成当前合成画面帧；
根据所述画面决策信息，通过给定编码器对所述当前合成画面帧编码，获得当前编码画面帧。
2.根据权利要求1所述的方法，其特征在于，所述画面决策信息包括：构成所述当前合成画面帧的目标当前画面帧的画面帧来源信息、各所述目标当前画面帧在所述当前合成画面帧中的画面帧呈现位置信息、画面来源切换判定信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述画面决策信息，通过给定编码器对所述当前合成画面帧编码，获得当前编码画面帧，包括：
提取所述画面决策信息中的画面帧来源信息以及画面帧呈现位置信息；
根据所述画面帧来源信息、所述画面帧呈现位置信息以及已编码比特数，确定当前量化映射表；
通过所述编码器，根据接收的所述当前量化映射表结合所述当前合成画面帧的画面数据信息，对所述当前合成画面帧进行编码，获得当前编码画面帧。
4.根据权利要求3所述的方法，其特征在于，所述根据所述画面帧来源信息、所述画面帧呈现位置信息以及已编码比特数，确定当前量化映射表，包括：
对所述当前合成画面帧进行区块划分，获得多个区域子画面；
根据所述画面帧来源信息及所述画面帧呈现位置信息，确定各所述区域子画面的区域属性信息；
根据所述已编码比特数及各所述区域属性信息，确定各所述区域子画面的量化参数，并基于各所述量化参数构成所述当前量化映射表。
5.根据权利要求4所述的方法，其特征在于，所述根据所述画面帧来源信息及所述画面帧呈现位置信息，确定各所述区域子画面的区域属性信息，包括：
针对每个区域子画面，在所述画面帧呈现位置信息中查找所述区域子画面的子画面位置，确定所述区域子画面归属的目标当前画面帧，以及在所述目标当前画面帧中的初始呈现位置；
通过所述画面帧来源信息，确定所述目标当前画面帧的画面来源；
当所述画面来源中的所述初始呈现位置在预先给定的画质要求信息中对应高画质要求时，将感兴趣确定为所述区域子画面的区域属性信息，否则，
将非感兴趣确定为所述区域子画面的区域属性信息。
6.根据权利要求4所述的方法，其特征在于，所述根据所述画面帧来源信息及所述画面帧呈现位置信息，确定各所述区域子画面的区域属性信息，包括：
针对每个区域子画面，根据所述画面帧来源信息及所述画面帧呈现位置信息，确定所述区域子画面是否为静止画面区域；
若是，则将非感兴趣确定为所述区域子画面的区域属性信息；
若否，则将感兴趣确定为所述区域子画面的区域属性信息。
7.根据权利要求4所述的方法，其特征在于，所述根据所述已编码比特数及各所述区域属性信息，确定各所述区域子画面的量化参数，包括：
提取区域属性信息为感兴趣的第一区域子画面构成感兴趣区域ROI，以及区域属性信息为非感兴趣的第二区域子画面构成非ROI；
如果所述第二区域子画面由静止画面区域构成，则将静止画面区域在前一帧对应的量化参数作为非ROI的第二量化参数，并基于所述第二量化参数确定所述ROI的第一量化参数；否则，
根据所述ROI及非ROI的位置信息，确定所述ROI的第一编码复杂度以及非ROI的第二编码复杂度；
根据所述已编码比特数及所给定总目标比特数，结合所述第一编码复杂度及第二编码复杂度，确定所述ROI的第一量化参数以及非ROI的第二量化参数，构成各所述区域子画面的量化参数。
8.根据权利要求7所述的方法，其特征在于，所述根据所述已编码比特数及所给定总目标比特数，结合所述第一编码复杂度及第二编码复杂度，确定所述ROI的第一量化参数以及非ROI的第二量化参数，包括：
将所述总目标比特数及所述已编码比特数的差值作为所述当前合成画面帧的当前目标比特数；
基于所述当前目标比特数，结合所述第一编码复杂度，确定所述ROI所需的第一比特数；
将所述当前目标比特数与所述第一比特数的差值记为所述非ROI所需的第二比特数；
根据所述第二比特数及所述第二编码复杂度，确定所述非ROI的第二量化参数；
在确定所述第二量化参数满足设定量化条件时，将所述第一比特数对应的量化参数确定为所述ROI的第一量化参数。
9.根据权利要求1所述的方法，其特征在于，所述根据所述画面决策信息，通过给定编码器对所述当前合成画面帧编码，获得当前编码画面帧，包括：
提取所述画面决策信息中的画面来源切换判定信息；
当所述画面来源切换判定信息为相对于前一合成画面帧存在画面来源切换时，向所述编码器输入进行内部画面帧编码的指示信息；
通过所述编码器，根据接收的所述指示信息结合所述当前合成画面帧的画面数据信息，对所述当前合成画面帧进行内部画面帧编码，获得当前编码画面帧。
10.根据权利要求3所述的方法，其特征在于，在当所述画面来源切换判定信息为相对于前一合成画面帧存在画面来源切换时，还包括：
根据所述画面帧来源信息、所述画面帧呈现位置信息以及已编码比特数，确定当前量化映射表；
将所述当前量化映射表及所述进行内部画面帧编码作为新的指示信息，输入至所述编码器。
11.一种多路视频编码装置，其特征在于，包括：
信息获取模块，用于获取所采集各路视频流的当前画面帧以及获取画面决策信息，所述画面决策信息通过对各所述当前画面帧进行画面内容决策确定；
画面生成模块，用于根据各所述画面决策信息结合各所述当前画面帧，生成当前合成画面帧；
画面编码模块，用于根据所述当前合成画面帧及所述画面决策信息，通过给定编码器确定所述当前合成画面帧的当前编码画面帧。
12.一种计算机设备，其特征在于，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10任一所述的方法。
13.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10所述的方法。
CN202211559271.1A 2022-12-06 2022-12-06 一种多路视频编码方法、装置、设备及存储介质 Active CN116886912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211559271.1A CN116886912B (zh) 2022-12-06 2022-12-06 一种多路视频编码方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211559271.1A CN116886912B (zh) 2022-12-06 2022-12-06 一种多路视频编码方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116886912A true CN116886912A (zh) 2023-10-13
CN116886912B CN116886912B (zh) 2024-02-13

Family

ID=88261049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211559271.1A Active CN116886912B (zh) 2022-12-06 2022-12-06 一种多路视频编码方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116886912B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707714A (zh) * 2009-11-18 2010-05-12 深圳华为通信技术有限公司 多画面视频会议的图像处理方法和设备
CN102301730A (zh) * 2011-07-18 2011-12-28 华为技术有限公司 多路音视频传输和处理方法、装置及系统
US20130176389A1 (en) * 2012-01-05 2013-07-11 Qualcomm Incorporated Signaling view synthesis prediction support in 3d video coding
US20130236120A1 (en) * 2012-03-12 2013-09-12 Samsung Techwin Co., Ltd. Method and system for analyzing multi-channel images
CN204669511U (zh) * 2015-05-04 2015-09-23 广州盈可视电子科技有限公司 一种一体化的自动录播跟踪系统
KR102031739B1 (ko) * 2019-06-27 2019-10-14 보은전자방송통신(주) 디스플레이 화면과 별도로 수업 진행모드에 따른 강의화면을 구성하여 실시간 인터넷 방송을 지원하는 인터랙티브 화이트보드
CN110933331A (zh) * 2019-12-06 2020-03-27 浙江蓝鸽科技有限公司 教学视频的合成方法及系统
CN210986247U (zh) * 2019-04-25 2020-07-10 杭州海康威视数字技术股份有限公司 一种录播互动系统
CN111654715A (zh) * 2020-06-08 2020-09-11 腾讯科技（深圳）有限公司 直播的视频处理方法、装置、电子设备及存储介质
CN111885346A (zh) * 2020-08-28 2020-11-03 中移（杭州）信息技术有限公司 画面码流合成方法、终端、电子设备和存储介质
CN111901572A (zh) * 2020-08-14 2020-11-06 广州盈可视电子科技有限公司 一种多路视频流合成方法和装置
CN114125400A (zh) * 2021-12-17 2022-03-01 浙江大华技术股份有限公司 一种多通道视频分析方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707714A (zh) * 2009-11-18 2010-05-12 深圳华为通信技术有限公司 多画面视频会议的图像处理方法和设备
CN102301730A (zh) * 2011-07-18 2011-12-28 华为技术有限公司 多路音视频传输和处理方法、装置及系统
US20130176389A1 (en) * 2012-01-05 2013-07-11 Qualcomm Incorporated Signaling view synthesis prediction support in 3d video coding
US20130236120A1 (en) * 2012-03-12 2013-09-12 Samsung Techwin Co., Ltd. Method and system for analyzing multi-channel images
CN204669511U (zh) * 2015-05-04 2015-09-23 广州盈可视电子科技有限公司 一种一体化的自动录播跟踪系统
CN210986247U (zh) * 2019-04-25 2020-07-10 杭州海康威视数字技术股份有限公司 一种录播互动系统
KR102031739B1 (ko) * 2019-06-27 2019-10-14 보은전자방송통신(주) 디스플레이 화면과 별도로 수업 진행모드에 따른 강의화면을 구성하여 실시간 인터넷 방송을 지원하는 인터랙티브 화이트보드
CN110933331A (zh) * 2019-12-06 2020-03-27 浙江蓝鸽科技有限公司 教学视频的合成方法及系统
CN111654715A (zh) * 2020-06-08 2020-09-11 腾讯科技（深圳）有限公司 直播的视频处理方法、装置、电子设备及存储介质
CN111901572A (zh) * 2020-08-14 2020-11-06 广州盈可视电子科技有限公司 一种多路视频流合成方法和装置
CN111885346A (zh) * 2020-08-28 2020-11-03 中移（杭州）信息技术有限公司 画面码流合成方法、终端、电子设备和存储介质
CN114125400A (zh) * 2021-12-17 2022-03-01 浙江大华技术股份有限公司 一种多通道视频分析方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄廷学, 朱志祥, 戴冠中: "一种在H.261算法压缩域中的多画面合成算法", 计算机工程, no. 05 *

Also Published As

Publication number Publication date
CN116886912B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
US20220014819A1 (en) Video image processing
CN108063976B (zh) 一种视频处理方法及装置
US9013536B2 (en) Augmented video calls on mobile devices
CN111357289A (zh) 针对视频编码器渲染的游戏引擎应用程序
KR20180013879A (ko) 가상 현실을 위한 메타데이터를 생성하고 송신하기 위한 방법 및 장치
US10250838B1 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN110166850B (zh) 多重cnn网络预测全景视频观看位置的方法和系统
JP2017537539A (ja) サンプル単位予測符号化装置及びその方法
US20180343470A1 (en) Method of using cube mapping and mapping metadata for encoders
CN102724492A (zh) 视频图像传输、播放方法和系统
US20190379917A1 (en) Image distribution method and image display method
JP2017504251A (ja) 輝度補償を利用したインターレイヤビデオ符号化方法及びその装置、該ビデオ復号化方法及びその装置
JP2017518706A (ja) デプスブロックを利用する、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法
CN113068034A (zh) 视频编码方法及装置、编码器、设备、存储介质
US11006184B2 (en) Enhanced distribution image system
CN103929640A (zh) 用于管理视频流播的技术
CN113315927B (zh) 视频处理方法和装置、电子设备和存储介质
JP2017513426A (ja) 類型情報を利用した、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法
CN116886912B (zh) 一种多路视频编码方法、装置、设备及存储介质
CN113366842A (zh) 基于内容层的视频压缩的系统和方法
CN107004018B (zh) 数据处理方法及装置
CN111343475A (zh) 数据处理方法和装置、直播服务器及存储介质
CN112073724B (zh) 视频信息处理方法、装置、电子设备及存储介质
CN103442231A (zh) 一种视频编码的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant