CN109905711B

CN109905711B - 一种图像的处理方法、系统及终端设备

Info

Publication number: CN109905711B
Application number: CN201910149842.6A
Authority: CN
Inventors: 袁孝亮
Original assignee: Shenzhen Infinova Intelligent Technology Co Ltd
Current assignee: Shenzhen Infineon Information Co ltd
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2021-02-09
Anticipated expiration: 2039-02-28
Also published as: CN109905711A

Abstract

本发明提供了一种图像的处理方法、系统及终端设备，方法包括：获取视频，并获得所述视频中每帧图像的图像信息数据；基于所述图像信息数据，确定每帧图像的场景；基于每帧图像的场景，获得每帧图像的图像编码参数，并基于所述图像编码参数处理每帧图像，获得满足预设条件的处理后的图像。本发明通过分析视频中每帧图像，并获得每帧图像对应的场景，将同样场景下的图像进行处理，得到处理后的图像，提高了视频中图像的图像质量。

Description

一种图像的处理方法、系统及终端设备

技术领域

本发明属于图像处理技术领域，尤其涉及一种图像的处理方法、系统及终端设备。

背景技术

图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要手段。如果图像质量不高，模糊不清，视觉效果就会不好，需要对图像进行处理以提高图像质量。

用现有的图像处理的方法处理视频中图像，得到的视频图像效果不好。

发明内容

有鉴于此，本发明实施例提供了一种图像的处理方法、系统及终端设备，以解决现有的图像处理方法在处理视频中图像时图像质量粗糙的问题。

本发明实施例的第一方面提供了一种图像的处理方法，包括：

获取视频，并获得所述视频中每帧图像的图像信息数据；

基于所述图像信息数据，确定每帧图像的场景；

基于每帧图像的场景，获得每帧图像的图像编码参数，并基于所述图像编码参数处理每帧图像，获得满足预设条件的处理后的图像。

本发明实施例的第二方面提供了一种图像的处理系统，包括：

图像获取模块，用于获取视频，并获得所述视频中每帧图像的图像信息数据；

场景确认模块，用于基于所述图像信息数据，确定每帧图像的场景；

图像处理模块，用于基于每帧图像的场景，获得每帧图像的图像编码参数，并基于所述图像编码参数处理每帧图像，获得满足预设条件的处理后的图像。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述图像的处理方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述图像的处理方法的步骤。

本发明通过分析视频中每帧图像，并获得每帧图像对应的场景，将同样场景下的图像进行处理，得到处理后的图像，提高了视频中图像的图像质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一个实施例提供的图像的处理方法的流程示意图；

图2是本发明的一个实施例提供的图像的处理系统的结构示意图；

图3是本发明的一个实施例提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明的说明书和权利要求书及上述附图中的术语“包括”以及其他任何变形，是指“包括但不限于”，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例1：

图1示出了本发明一实施例所提供的图像的处理方法的实现流程图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

如图1所示，本发明实施例所提供的一种图像的处理方法，包括：

S101，获取视频，并获得所述视频中每帧图像的图像信息数据。

S102，基于所述图像信息数据，确定每帧图像的场景。

S103，基于每帧图像的场景，获得每帧图像的图像编码参数，并基于所述图像编码参数处理每帧图像，获得满足预设条件的处理后的图像。

在本发明的一个实施例中，S102包括：

S201，利用所述图像信息数据，得到每帧图像对应的场景复杂度。

在本实施例中，场景复杂度是根据YUV数据得到的。

S202，根据图像对应的场景复杂度和各个场景对应的场景复杂度阈值区间，查找图像对应的场景。

作为举例，各个场景对应的场景复杂度阈值区间包括：复杂场景的场景复杂度阈值区间为85-100，较复杂场景的场景复杂度阈值区间为65-85，白天复杂场景的场景复杂度阈值区间为60-65，夜晚简单场景的场景复杂度阈值区间为40-60，简单场景的场景复杂度阈值区间为20-40。

在本发明的一个实施例中，在S202之后还包括：

S203，利用每帧图像对应的场景复杂度，绘制所述视频的场景复杂度变化图。

在本实施例中，视频中图像对应的场景复杂度，绘制成场景复杂度变化图，可以更加形象的看到图像的场景复杂度变化过程。

S204，利用每帧图像对应的场景，在所述场景复杂度变化图上得到同一场景对应的图像集合。

在本实施例中，利用场景复杂度将图像分成几个集合，同一场景下的图像为一个集合，方便处理。

在本发明的一个实施例中，图像信息数据包括图像的YUV数据、编码帧率和码率。

在本发明的一个实施例中，图像编码参数包括：GOP步长、编码复杂度、I帧和P帧的比例、宏块级码率控制参数、I帧的QP值和P帧的QP值。

在本发明的一个实施例中，S103中的预设条件包括：

GOP步长为编码帧率的1-4倍，编码复杂度为低级、中级和高级，I帧和P帧的比例为I帧的大小小于等于P帧的15倍，宏块级码率控制参数为0-255，I帧的QP值在25-48，P帧的QP值在25-48。

在本实施例中，以H.264编码为例，通常图像QP越低，图像的质量越好，码率越高；图像QP越高，图像质量越差，码率越低。在相同的码率下，复杂的场景的的平均QP会升高，量化会变得粗糙，导致图像质量下降。这种图像质量下降引起前一个GOP组最后一个P帧和后一个GOP组的第一个I帧的编码图像差异变大，到达一定程度时就会引起呼吸效应等问题。

GOP(GOP(Group of Pictures)策略影响编码质量的大小最好设置为编码帧率的整数倍，如果不是整数倍，I帧的分布在时间上会不均匀，导致图像质量波动，引发呼吸效应等问题。在相同的码率下，增大GOP可以增大I、P帧的大小，提高图像质量，同时可以缓解低码率下的编码压力。但是，由于P帧的复杂度大于I帧，过多的P帧会导致编码效率降低，造成编码和解码的延时增加。因此，需针对实际应用场景对GOP大小进行控制，如码率低的复杂场景应适当增大GOP，而低延时场景则应适当减小GOP。

编码复杂度：以H264为例，设置编码复杂度为high profile，编码复杂度增加，在同样的码率下，I帧、P帧的信息量增加，QP值会降低，提升图像质量。

I帧和P帧的比例：复杂场景下，适当的调高I帧占比，可以提升图像质量。过度的调节会造成I帧过大，而引起码率过冲，如H264 4M码率，I帧所占比例不应超过P帧的15倍。

宏块级码率控制参数：宏块(Macro Block)：一个编码图像首先要划分成多个块(4x4像素)才能进行处理，显然宏块应该是整数个块组成，通常宏块大小为16x16个像素。

分别设置一组I帧和P帧的宏块复杂度阈值(范围0-255)，如ThrdI[12]和ThrdP[12]，根据复杂度对每个编码宏块的QP进行适当的调整。如果当前宏块的图像复杂度处于某两阈值之间时，当前宏块的QP值就在宏块行起始QP值的基础上加上x，x取值如下(可以取负值，表示减小)：C表示图像复杂度，若C≤ThrdI[0]，x＝-4；ThrdI[0]＜C≤ThrdI[1]，x＝-3；ThrdI[1]＜C≤ThrdI[2]，x＝-2；ThrdI[2]＜C≤ThrdI[3]，x＝-1；...；ThrdI[9]＜C≤ThrdI[10]，x＝6；ThrdI[10]＜C≤ThrdI[11]，x＝7。宏块级码率控制参数受设置的I、p帧的最大QP值和最小QP值影响，超出范围后会强行被钳位到最大QP和最小QP。通过调节宏块级码率控制参数，可以平衡编码图像的QP值，使主观图像质量变好。

在本发明的一个实施例中，S103包括：

第一场景下的图像处理包括：调整GOP步长为编码帧率的2倍，编码复杂度为高级，提高I帧和P帧的比例，限制I帧的QP值在25-48，限制P帧的QP值在25-48，增大宏块级码率控制参数。

第二场景下的图像处理包括：调整GOP步长为编码帧率的2倍，编码复杂度为高级，调高I帧的QP最小值(例如，将I帧的QP最小值调整到30或35等)，提高I帧和P帧的比例，降低宏块级码率控制参数。

第三场景下的图像处理包括：调整GOP步长为编码帧率的2倍，编码复杂度为高级，降低I帧和P帧的比例，限制I帧的QP值在25-48，限制P帧的QP值在25-48，增大宏块级码率控制参数。

第四场景下的图像处理包括：调整GOP步长为编码帧率的2倍，编码复杂度为高级，提高I帧和P帧的比例，降低宏块级码率控制参数。

为了方便理解，下面以一个具体实施例说明：

以H264编码为例，固定码率4000kbps，编码帧率25，对应的GOP设置为50，编码复杂度设置High profile，并针对以下主要的四个场景对参数进行调节。

1、非常复杂的纹理级场景

复杂的纹理级场景下，编码图像的整体的QP值会急剧上升，图像质量明显下降，同时，为了控制码率过冲，码率控制器的负载会加重，导致图像质量波动。因此，限制I、P帧QP最大值和最小值(复杂场景下的QP值通常在25到48之间，可根据实际场景调整)，以控制图像质量波动，增大宏块级码率控制参数的调节幅度，降低编码图像的平均QP值，提升整体图像质量。低码率下的复杂场景，可适当降低图像锐度，降低图像细节，以缓解编码压力。

2、室内简单场景

室内简单场景，平均QP值较低，宏块级码率控制参数会导致细节区域的QP值升高。因此，降低宏块级码率控制参数调整幅度或关闭宏块级码率控制，降低细节区域的QP值，提高主观图像质量。

3、室外白天较复杂场景

室外白天场景的特点是部分编码宏块处于平坦区域，部分宏块处于纹理复杂的区域。通过限制I、P帧QP最大值和最小值，以控制图像质量波动，适当增大I帧和P帧的平均QP差值，提高I帧质量，同时降低I帧、P帧比例以防止I帧过大传输卡顿。运动场景下，由于物体的运动常发生在相对平坦区域(如路面)，可以适当增大宏块级码率控制参数，降低平坦区域的QP，从而缓解运动物体带来的图像质量波动。相反，在静止场景下，可以适当降低宏块级码率控制参数，增大纹理复杂的细节区域QP，提高整体图像效果。

4、室外夜晚场景

室外夜晚场景的特点是夜晚噪点增多，宏块变化速度增加。调高I帧QP最小值，降低I帧和P帧的QP差值，以控制I帧大小，防止码率过冲。同时调低增大宏块级码率控制参数，提高细节区域的QP，提高整体图像质量。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例2：

如图2所示，本发明的一个实施例提供的图像的处理系统100，用于执行图1所对应的实施例中的方法步骤，其包括：

图像获取模块110，用于获取视频，并获得所述视频中每帧图像的图像信息数据；

场景确认模块120，用于基于所述图像信息数据，确定每帧图像的场景；

图像处理模块130，用于基于每帧图像的场景，获得每帧图像的图像编码参数，并基于所述图像编码参数处理每帧图像，获得满足预设条件的处理后的图像。

在本发明的一个实施例中，场景确认模块120还包括：

数据处理单元，用于利用所述图像信息数据，得到每帧图像对应的场景复杂度；

场景计算单元，用于根据图像对应的场景复杂度和各个场景对应的场景复杂度阈值区间，查找图像对应的场景。

在本发明的一个实施例中，与场景计算单元相连的还包括：

图形绘制单元，用于利用每帧图像对应的场景复杂度，绘制所述视频的场景复杂度变化图；

图像分组单元，用于利用每帧图像对应的场景，在所述场景复杂度变化图上得到同一场景对应的图像集合。

在本发明的一个实施例中，图像获取模块110中图像信息数据包括图像的YUV数据、编码帧率和码率。

在本发明的一个实施例中，图像处理模块130中图像编码参数包括：GOP步长、编码复杂度、I帧和P帧的比例、宏块级码率控制参数、I帧的QP值和P帧的QP值。

在本发明的一个实施例中，图像处理模块130中预设条件包括：

在本发明的一个实施例中，图像处理模块130用于：

第一场景下的图像处理包括：调整GOP步长为编码帧率的2倍，编码复杂度为高级，提高I帧和P帧的比例，限制I帧的QP值在25-48，限制P帧的QP值在25-48，增大宏块级码率控制参数；

第二场景下的图像处理包括：调整GOP步长为编码帧率的2倍，编码复杂度为高级，调高I帧的QP最小值，提高I帧和P帧的比例，降低宏块级码率控制参数；

第三场景下的图像处理包括：调整GOP步长为编码帧率的2倍，编码复杂度为高级，降低I帧和P帧的比例，限制I帧的QP值在25-48，限制P帧的QP值在25-48，增大宏块级码率控制参数；

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即所述图像的处理系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述图像的处理系统中模块的具体工作过程，可以参考前述方法实施例1中的对应过程，在此不再赘述。

实施例3：

图3是本发明一实施例提供的终端设备的示意图。如图3所示，该实施例的终端设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现如实施例1中所述的各实施例中的步骤，例如图1所示的步骤S101至S103。或者，所述处理器30执行所述计算机程序32时实现如实施例2中所述的各系统实施例中的各模块/单元的功能，例如图2所示模块110至130的功能。

所述终端设备3是指具有数据处理能力的终端，包括但不限于计算机、工作站、服务器，甚至是一些性能优异的智能手机、掌上电脑、平板电脑、个人数字助理(PDA)、智能电视(Smart TV)等。终端设备上一般都安装有操作系统，包括但不限于：Windows操作系统、LINUX操作系统、安卓(Android)操作系统、Symbian操作系统、Windows mobile操作系统、以及iOS操作系统等等。以上详细罗列了终端设备3的具体实例，本领域技术人员可以意识到，终端设备并不限于上述罗列实例。

所述终端设备可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是终端设备3的示例，并不构成对终端设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备3还可以包括输入输出设备、网络接入设备、总线等。

所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器31可以是所述终端设备3的内部存储单元，例如终端设备3的硬盘或内存。所述存储器31也可以是所述终端设备3的外部存储设备，例如所述终端设备3上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述终端设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述终端设备3所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。

实施例4：

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如实施例1中所述的各实施例中的步骤，例如图1所示的步骤S101至步骤S103。或者，所述计算机程序被处理器执行时实现如实施例2中所述的各系统实施例中的各模块/单元的功能，例如图2所示的模块110至130的功能。

所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

在上述实施例中，对各个实施例的描述都各有侧重，实施例1至4可以任意组合，组合后形成的新的实施例也在本申请的保护范围之内。某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的系统/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims

1.一种图像的处理方法，其特征在于，包括：

获取视频，并获得所述视频中每帧图像的图像信息数据；

利用所述图像信息数据中的YUV数据，得到每帧图像对应的场景复杂度；

根据图像对应的场景复杂度和各个场景对应的场景复杂度阈值区间，查找图像对应的场景；

基于每帧图像的场景，获得每帧图像的图像编码参数，并基于所述图像编码参数处理每帧图像，获得满足预设条件的处理后的图像，

所述图像编码参数包括：GOP步长、编码复杂度、I帧和P帧的比例、宏块级码率控制参数、I帧的QP值和P帧的QP值；

所述预设条件包括：GOP步长为编码帧率的1-4倍，编码复杂度为低级、中级和高级，I帧和P帧的比例为I帧的大小小于等于P帧的15倍，宏块级码率控制参数为0-255，I帧的QP值在25-48，P帧的QP值在25-48。

2.如权利要求1所述的图像的处理方法，其特征在于，在所述根据图像对应的场景复杂度和各个场景对应的场景复杂度阈值区间，查找图像对应的场景之后，还包括：

利用每帧图像对应的场景复杂度，绘制所述视频的场景复杂度变化图；

利用每帧图像对应的场景，在所述场景复杂度变化图上得到同一场景对应的图像集合。

3.如权利要求1所述的图像的处理方法，其特征在于，所述图像信息数据包括图像的YUV数据、编码帧率和码率。

4.如权利要求1所述的图像的处理方法，其特征在于，所述基于每帧图像的场景，获得每帧图像的图像编码参数，并基于所述图像编码参数处理每帧图像，获得满足预设条件的处理后的图像，包括：

5.一种图像的处理系统，其特征在于，包括：

图像处理模块，用于基于每帧图像的场景，获得每帧图像的图像编码参数，并基于所述图像编码参数处理每帧图像，获得满足预设条件的处理后的图像；

场景确认模块包括：

场景计算单元，用于根据图像对应的场景复杂度和各个场景对应的场景复杂度阈值区间，查找图像对应的场景；

图像处理模块中图像编码参数包括：GOP步长、编码复杂度、I帧和P帧的比例、宏块级码率控制参数、I帧的QP值和P帧的QP值；

图像处理模块中预设条件包括：

6.一种终端设备，其特征在于，包括存储器、处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述图像的处理方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述图像的处理方法的步骤。