CN107181744B

CN107181744B - 一种视频处理及编码方法、处理器与编码器

Info

Publication number: CN107181744B
Application number: CN201710343517.4A
Authority: CN
Inventors: 胡居成
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2017-05-16
Filing date: 2017-05-16
Publication date: 2020-09-29
Anticipated expiration: 2037-05-16
Also published as: CN107181744A

Abstract

本申请公开了一种视频处理及编码方法、处理器与编码器，其中视频处理方法包括：处理器根据预设参数确定视频中的关键帧；所述视频由多帧有播放时序的原始图像组成；所述处理器对所述关键帧进行图像处理，得到目标图像；所述处理器将所述目标图像发送给编码器，以使所述编码器对所述目标图像和所述视频中各原始图像进行编码；所述处理器将编码后视频中的各关键帧，对应替换为与关键帧对应的编码后的目标图像。采用本申请实施例，在达到与现有技术相同的图像处理效果的同时，提高了对视频进行图像处理的速度。

Description

一种视频处理及编码方法、处理器与编码器

技术领域

本申请涉及视频处理领域，特别是涉及一种视频处理及编码方法、处理器与编码器。

背景技术

目前，随着科技的发展，视频会议、视频通话以及直播等在生活中的应用越来越普遍。在进行视频或者直播的过程中，为了保证画面的流畅性，需要在内存中缓冲接下来需要播放的一系列图像，将该一系列图像按照顺序播放所形成的视频称为实时通信视频。为了提升实时通信视频给人的视觉感受，在播放前需要对实时通信视频进行图像处理，例如对实时通信视频中出现的人物的美白处理、肤色调整或者对亮度的调整、对实时通信视频中各帧图像进行锐化等图像处理，为了减少实时通信视频中各帧图像间的冗余信息，需要对处理后的实时通信视频中的各帧图像进行编码。

在现有技术中，对实时通信视频进行图像处理的方法大都是，对实时通信视频中的每帧图像都进行图像处理，图像处理完成后，对实时通信视频中的各帧图像进行编码。但现有技术对实时通信视频进行图像处理是对每帧图像都进行图像处理后再编码，导致对实时通信视频从图像处理到进行编码所用的时间较长，无法满足在进行视频或者直播过程中，对实时通信视频进行图像处理实时性的要求。因此需要在满足实时性要求的时间内对实时通信视频进行图像处理且编码。所以，快速的实时通信视频的图像处理方法是非常有必要的。

发明内容

有鉴于此，本申请的主要目的是提供实时通信视频的图像处理及编码方法、处理器与编码器，采用实时通信视频的图像处理及编码方法、处理器与编码器可以实现快速对实时通信视频进行图像处理，以满足实时性的要求。

为此，本申请解决上述问题的技术方案是：

本申请公开了一种视频处理方法，所述方法应用于处理器上，所述方法包括：

所述处理器根据预设参数确定视频中的关键帧；所述视频由多帧有播放时序的原始图像组成；

所述处理器对所述关键帧进行图像处理，得到目标图像；

所述处理器将所述目标图像发送给编码器，以使所述编码器对所述目标图像和所述视频中各原始图像进行编码；

所述处理器将编码后视频中的关键帧，替换为与关键帧对应的编码后的目标图像。

其中，所述处理器根据预设参数确定视频中的关键帧，包括：

所述处理器按照录入视频中的原始图像的顺序，将每隔所述预设参数的一帧原始图像确定为一帧关键帧。

其中所述方法还包括：

将替换后的视频发送至接收端，以使所述接收端解码所述替换后的视频并播放。

本申请还公开了一种视频的编码方法，所述方法应用于编码器上，包括：

接收处理器发送的目标图像和视频中的各帧原始图像；所述目标图像通过以下方式得到：所述处理器按照录入视频中的原始图像的顺序，将每隔预设参数一帧原始图像确定为一帧关键帧；所述处理器对所述关键帧进行图像处理，得到目标图像；

分别对所述目标图像和所述视频中的各帧原始图像进行编码；

将所述编码后的目标图像和编码后的视频发送至所述处理器，以使所述处理器将编码后的视频中的关键帧，替换为与关键帧对应的编码后的目标图像。

其中，所述编码器分别对所述目标图像和所述视频中的各帧原始图像进行编码，包括：

所述编码器在对所述目标图像和所述视频中的关键帧编码时，采用相同的序列参数集和图像参数集。

本申请还公开了一种处理器，所述处理器包括：

确定单元，用于根据预设参数确定视频中的关键帧；所述视频由多帧有播放时序的原始图像组成；

图像处理单元，用于对所述关键帧进行图像处理，得到目标图像；

第一发送单元，用于将所述目标图像发送给编码器，以使所述编码器对所述目标图像和所述视频中各原始图像进行编码；

替换单元，用于将编码后视频中的关键帧，替换为与关键帧对应的编码后的目标图像。

其中，所述确定单元具体包括：

确定子单元，用于按照录入视频中的原始图像的顺序，将每隔所述预设参数的一帧原始图像确定为一帧关键帧。

其中，所述处理器还包括：

第二发送单元，用于将替换后的视频发送至接收端，以使所述接收端解码所述替换后的视频并播放。

本申请还公开了一种编码器，所述编码器包括：

接收单元，用于接收处理器发送的目标图像和视频中的各帧原始图像；所述目标图像通过以下方式得到：所述处理器按照录入视频中的原始图像的顺序，将每隔预设参数的一帧原始图像确定为一帧关键帧；所述处理器对所述关键帧进行图像处理，得到目标图像；

编码单元，用于分别对所述目标图像和所述视频中的各帧原始图像进行编码；

第三发送单元，用于将所述编码后的目标图像和编码后的视频发送至所述处理器，以使所述处理器将编码后的视频中的关键帧，替换为与关键帧对应的编码后的目标图像。

其中，所述编码单元采用相同的序列参数集和图像参数集对所述目标图像和所述视频中的关键帧进行编码。

与现有技术相比，本申请具有以下有益效果：

本申请提供实时通信视频的图像处理及编码方法、处理器与编码器，所述方法、处理器与编码器只对实时通信视频中，根据预设参数确定出的关键帧(帧内图像IntraFrame，即I帧)进行图像处理，节省了大量时间。并将编码后的目标图像对应替换编码后的实时通信视频中的关键帧I帧，完成了对实时通信视频进行图像处理的过程。虽然本申请是将编码后的目标图像对应替换编码后的实时通信视频中编码后的关键帧I帧，但是，对图像处理且编码后的实时通信视频解码后，对于视频中的非关键帧图像同样具有处理效果。因此，本申请的方法、处理器与编码器，在达到与现有技术相同的图像处理效果的同时，提高了对实时通信视频进行图像处理的速度，并且，利用节省的时间可以对关键帧做更多的图像处理，使得包括目标图像的实时通信视频具有更好的效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请中提供的一种对实时通信视频进行图像处理的框架图；

图2是本申请中提供的一种对实时通信视频进行图像处理的方法流程图；

图3是本申请中提供的一种集成于处理器上对实时通信视频进行图像处理的装置示意图；

图4是本申请中提供的一种集成于编码器上对实时通信视频进行编码的装置示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供的实时通信视频的图像处理及编码方法、处理器与编码器。随着实时通信视频中各原始图像的录入，处理器根据预设的参数实时确定实时通信视频中的关键帧，处理器只对此关键帧进行图像处理，得到目标图像。并将编码后的目标图像对应替换编码后的实时通信视频中的关键帧I帧，此时完成了对实时通信视频的图像处理的过程。采用本申请的方法对实时通信视频图像处理后，对处理后的实时通信视频进行解码，所得到的解码后的实时通信视频中的各帧图像都具有图像处理后的效果。

为了使本领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。

实施例1

图1，是本申请实施例1提供的一种对实时通信视频进行图像处理的框架图。本申请实施例所要实现的对实时通信视频进行图像处理的过程，是指对实时通信视频进行图像处理与编码的过程。从框架图中可以看出，本申请实施例实现对实时通信视频进行图像处理的过程可以包括：

首先，处理器确定实时通信视频中的关键帧，此时实时通信视频中的图像分为两类，一类是关键帧，另一类是非关键帧。

然后，处理器对关键帧进行图像处理，得到目标图像，并将编码后的目标图像称为I-better帧。处理器将实时通信视频中的各帧原始图像发送给编码器。编码器对实时通信视频中的关键帧和非关键帧进行编码，将关键帧编码为关键帧I帧，将非关键帧编码为P帧。编码器对实时通信视频中的各帧原始图像编码得到的关键帧I帧与P帧形成一个编码流(ES流)并发送给处理器。

最后，处理器将I-better帧替换编码流(ES流)中相对应的关键帧I帧，此时得到新的编码流(新的ES流)。此时，完成了对实时通信视频进行图像处理的过程。

本实施例主要介绍处理器根据预设参数确定实时通信视频中的关键帧，并进行图像处理，得到目标图像。将对目标图像进行编码后得到的I-better帧，对应替换编码后的实时通信视频中的关键帧I帧，最终得到新的编码流(新的ES流)。本实施例主要介绍了对实时通信视频进行图像处理的整体思路。对于对实时通信视频进行图像处理的详细过程由实施例2进行介绍。

实施例2

图2，是本申请提供的一种对实时通信视频进行图像处理的方法流程图，该方法可以包括：

步骤201：所述处理器根据预设参数确定实时通信视频中的关键帧；所述实时通信视频由多帧有播放时序的原始图像组成。

在电话会议、电话视频或者直播的过程中，为了保证进行视频或者直播过程中画面的流畅性，需要在内存中缓冲接下来需要播放的一系列图像，将播放一系列图像所形成的视频称为实时通信视频。此实时通信视频可以通过摄像头采集得到，并将此实时通信视频中的各帧原始图像保存在内存中，以便该处理器从内存中获取此实时通信视频中的各帧原始图像，对此实时通信视频中的原始图像人物进行美白处理、肤色调整、亮度调整等或者对实时通信视频中的图像进行图像锐化等图像处理，以提升实时通信视频给人的视觉感受。

在本步骤中，处理器随着对实时通信视频中原始图像的录入，根据预设的参数，实时地确定原始图像中的关键帧。

具体的，处理器确定关键帧的过程为：在本申请的所提供的方法中，已提前设定了用于确定摄像头录入的原始图像中的关键帧的参数，在本申请中将此参数称为预设参数。当处理器从内存中录入原始图像时，根据对原始图像的录入顺序，从第一帧原始图像开始，将每隔已设定的预设参数的一帧图像确定为一帧关键帧，当处理器录入完视频后，一般会得到多帧关键帧。其中，第一帧原始图像可以被确定为关键帧，也可以不被确定为关键帧，具体情况根据需要来确定。

例如，假设本申请的预设参数为30，在处理器从内存中录入实时通信视频中的原始图像时，处理器根据原始图像的录入顺序，从第一帧图像开始计数，当计数到第30帧图像时，此时的第30帧原始图像被确定为一帧关键帧，随着原始图像的录入，当计数到第60帧图像、第90帧图像等等，以此类推，随着处理器从内存中录入原始图像，当录入到预设参数的整数倍图像时，将所有整数倍图像所对应的图像都作为实时通信视频中关键帧。

需要说明的是，本步骤中的预设参数是根据具体情况来设定的，没有固定的标准，一般预设参数的取值范围在30～60，只要图像处理后的实时通信视频能达到图像处理的要求即可。

步骤202：所述处理器对所述关键帧进行图像处理，得到目标图像。

在本实施例中，处理器每次从内存中录入的实时通信视频中原始图像一般在3～5帧，如果处理器在录入当前3～5帧图像时确定了其中的某一帧为关键帧后。处理器对确定的关键帧按照需要进行图像处理，例如，对此关键帧中的人物进行美颜处理、肤色调整等，对关键帧中的画面进行亮度调整、图像锐化等图像处理。本实施例中，将对关键帧进行上述图像处理后得到的图像称为目标图像。

步骤203：所述处理器将所述目标图像发送给编码器，以使所述编码器对所述目标图像和所述实时通信视频中各原始图像进行编码。

在进行视频或者直播过程中，为了使用最少的信息来表示实时通信视频中的各帧图像，需要在信道中传输之前，对实时通信视频中的各帧图像进行编码，以去除各帧图像的冗余信息。因此，该处理器将目标图像发送给编码器。

编码器接收处理器发送的目标图像后，对此目标图像编码，以便提高传输效率。编码器对其所接收的目标图像进行编码，本实施例将编码后的目标图像称为I-better帧。在本实施例中，编码器将目标图像编码为I-better帧时，可以采用h264、mpeg2、mpeg4、vc1、h265、h263等任意一种编码方式。

在本实施例中，编码器需要对目标图像进行编码之外，还需要对实时通信视频中的各原始图像进行编码。具体的，编码器对该实时通信视频中各原始图像进行编码的过程为：按照此实时通信视频中各原始图像的前后顺序进行编码。其中，对关键帧进行编码时，编码器无需参考其他图像，本实施例将编码后的关键帧称为关键帧I帧。对非关键帧进行编码时，编码器参考此非关键帧的前一帧图像对其进行编码，本实施例将编码后的非关键帧称为P帧，P帧描述的是与其前一帧图像在宏块的运动矢量和残差数据。按照上述的编码方法，直到编码器对实时通信视频中的每一帧图像都进行编码，此时得到包括关键帧I帧和P帧的编码后的实时通信视频，将此编码后的包括关键帧I帧和P帧的实时通信视频称为编码流(ES流)。

例如，当前处理器录入的实时通信视频包含5帧原始图像，并且，处理器确定出实时通信视频中的第1帧图像为关键帧。此时，编码器对实时通信视频进行编码的具体过程为：编码器对实时通信视频视频中的第1帧原始图像不参考任何一帧图像进行编码，得到关键帧I帧，接着对实时通信视频中的第2帧原始图像参考第1帧原始图像进行编码，得到P帧，第3帧原始图像参考第2帧原始图像进行编码，得到P帧，以此类推，直到第5帧原始图像参考第4帧原始图像进行编码，得到P帧，此时得到编码流(ES流)。

需要说明的是，在编码器对视频中各原始图像，以及，目标图像进行编码时，对于目标图像与原始图像中的关键帧采用相同的序列参数集与图像参数集来编码，其中，序列参数集包括了一个图像序列的所有信息，图像参数集包括一个图像所有片的信息。其中，一幅图像由一个或者多个片组组成，而每一个片组由一个或者若干个片组成，在图像的解码过程中，按照片进行解码。

步骤204：所述处理器将编码后的实时通信视频中的关键帧，替换为与关键帧对应的编码后的目标图像。

在本步骤中，处理器将编码后的目标图像对应替换编码后的实时通信视频中的编码后的关键帧，即将得到的I-better帧替换编码流(ES流)中相应的关键帧I帧，形成新的编码流(新的ES流)。此时，完成了对实时通信视频的编码。

需要说明的是，编码器对实时通信视频中的各帧原始图像进行编码，与编码器对目标图像进行编码没有先后顺序。只需要在执行本步骤将编码后的实时通信视频中编码后的关键帧，替换为与编码后的关键帧对应的编码后的目标图像之前完成即可。

在执行本步骤之后，该处理器还可以将替换后的包括编码后的目标图像的实时通信视频发送至接收端，方便接收端对此包括编码后的目标图像的实时通信视频解码，并播放解码后的实时通信视频。

本实施例主要介绍了，对实时通信视频进行图像处理过程。虽然多出了对目标图像编码，和，将编码后的目标图像对应替换编码后的视频中的关键帧I帧两个过程。但是，本申请多出的这两个过程所有的时间，远小于本申请只对视频中的关键帧进行图像处理所节省的时间。本实施例在对图像处理且编码后的视频解码后，对于视频中的非关键帧图像同样具有图像处理效果。因此，在达到与现有技术相同的图像处理效果的同时，提高了对视频进行图像处理的速度，并且，利用节省的时间可以对关键帧做更多的图像处理，使包括目标图像的视频具有更好的效果

实施例3

本申请实施例公开一种处理器，请参见图3，该处理器可以包括：

确定单元301，用于根据预设参数确定视频中的关键帧；所述视频由多帧有播放时序的原始图像组成。

其中，确定单元301可以包括：

图像处理单元302，用于对所述关键帧进行图像处理，得到目标图像。

第一发送单元303，用于将所述目标图像发送给编码器，以使所述编码器对所述目标图像和所述视频中各原始图像进行编码。

替换单元304，用于将编码后视频中的关键帧，替换为与关键帧对应的编码后的目标图像。

在本实施例中，该处理器还可以包括第二发送单元，用于将替换后的视频发送至接收端，以使所述接收端解码所述替换后的视频并播放。

本实施例主要介绍了，通过处理器中的确定单元来确定实时通信视频中的各帧原始图像中的关键帧；通过图像处理单元对关键帧进行图像处理，得到目标图像；通过第一发送单元将目标图像发送给编码器，以便编码器对目标图像进行编码；最后，通过替换单元，将编码后的视频中编码后的关键帧，替换为与编码后的关键帧对应的编码后的目标图像，得到了包括编码后的目标图像的实时通信视频，完成了对实时通信视频的进行图像处理并编码的过程。

实施例4

本申请实施例公开一种编码器，请参见图4，该编码器可以包括：

接收单元401，用于接收处理器发送的目标图像和视频中的各帧原始图像；所述目标图像通过以下方式得到：所述处理器按照录入视频中的原始图像的顺序，将每隔预设参数的一帧原始图像确定为一帧关键帧；所述处理器对所述关键帧进行图像处理，得到目标图像。

编码单元402，用于分别对所述目标图像和所述视频中的各帧原始图像进行编码。

其中，编码单元402在对目标图像和实时通信视频视频中的关键帧编码时，采用相同的序列参数集和图像参数集。

第三发送单元403，用于将所述编码后的目标图像和编码后的视频发送至所述处理器，以使所述处理器将编码后的视频中的关键帧，替换为与关键帧对应的编码后的目标图像。

本实施例主要介绍了，编码器包括了接收单元、编码单元和第三发送单元。其中，通过接收单元来接收处理器发送的目标图像和实时通信视频的各帧原始图像；通过编码单元，实现对目标图像和实时通信视频中的各帧原始图像的编码；并通过第三发送单元，将编码后的目标图像和编码后的实时通信视频发送至处理器，以便处理器对其进行操作。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖未排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种视频处理方法，所述方法应用于处理器上，其特征在于，所述方法包括：

所述处理器对所述关键帧进行图像处理，得到目标图像；

所述处理器将所述目标图像发送给编码器，以使所述编码器对所述目标图像进行编码，得到编码后的目标图像，并对所述视频中各原始图像进行编码，得到编码后视频；在编码器对视频中各原始图像以及目标图像进行编码时，对于目标图像与原始图像中的关键帧采用相同的序列参数集与图像参数集编码，序列参数集包括一个图像序列的所有信息，图像参数集包括一个图像所有片的信息；

2.根据权利要求1所述的方法，其特征在于，所述处理器根据预设参数确定视频中的关键帧，包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.一种视频的编码方法，其特征在于，所述方法应用于编码器上，包括：

对所述目标图像进行编码，得到编码后的目标图像，并对所述视频中各原始图像进行编码，得到编码后视频；在编码器对视频中各原始图像以及目标图像进行编码时，对于目标图像与原始图像中的关键帧采用相同的序列参数集与图像参数集编码，序列参数集包括一个图像序列的所有信息，图像参数集包括一个图像所有片的信息；

5.根据权利要求4所述的方法，其特征在于，所述编码器分别对所述目标图像和所述视频中的各帧原始图像进行编码，包括：

6.一种处理器，其特征在于，所述处理器包括：

第一发送单元，用于将所述目标图像发送给编码器，以使所述编码器对所述目标图像进行编码，得到编码后的目标图像，并对所述视频中各原始图像进行编码，得到编码后视频；在编码器对视频中各原始图像以及目标图像进行编码时，对于目标图像与原始图像中的关键帧采用相同的序列参数集与图像参数集编码，序列参数集包括一个图像序列的所有信息，图像参数集包括一个图像所有片的信息；

7.根据权利要求6所述的处理器，其特征在于，所述确定单元具体包括：

8.根据权利要求6所述的处理器，其特征在于，还包括：

9.一种编码器，其特征在于，所述编码器包括：

编码单元，用于对所述目标图像进行编码，得到编码后的目标图像，并对所述视频中各原始图像进行编码，得到编码后视频；对视频中各原始图像以及目标图像进行编码时，对于目标图像与原始图像中的关键帧采用相同的序列参数集与图像参数集编码，序列参数集包括一个图像序列的所有信息，图像参数集包括一个图像所有片的信息；

10.根据权利要求9所述的编码器，其特征在于，所述编码单元采用相同的序列参数集和图像参数集对所述目标图像和所述视频中的关键帧进行编码。