CN107547895B - 一种图像处理方法及其装置 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法，包括：获取初始图像；对所述初始图像进行划分，得到至少两个待编码数据块；计算所述至少两个待编码数据块的至少两个图像分布特征值；基于所述至少两个图像分布特征值，分别确定针对所述至少两个待编码数据块的处理方式；其中，所述处理方式至少包括第一处理方式和第二处理方式；所述第一处理方式表征直接对待编码数据块进行编码；所述第二处理方式表征将待编码数据块再次进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述至少两个待编码数据块的处理过程。本发明实施例还公开了一种图像处理装置。

Description

一种图像处理方法及其装置

技术领域

本发明涉及图像处理技术，尤其涉及一种图像处理方法及其装置。

背景技术

随着高清视频的快速普及，能够提供更高编码效率的视频压缩技术受到越来越多的关注。例如，目前公布的H.265视频编码标准，相比于之前的H.264/AVC，该H.265视频编码标准能够保证在同等压缩质量的前提下，码率减少50％；但是，该H.265视频编码标准在提高编码压缩效率的同时也带来了更高的编码复杂度。进一步地，当采用H.265视频编码标准处理大数据量的全景视频时，较高的编码复杂度则成为了全景视频实时编码所面临的严重障碍。因此，采用H.265视频编码标准处理大数据量的全景视频的过程中，如何提高编码速度成则成为亟待解决的一个问题。

发明内容

为解决现有存在的技术问题，本发明实施例提供了一种图像处理方法及其装置，能至少解决现有技术中存在的上述问题。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种图像处理方法，包括：

获取初始图像；

对所述初始图像进行划分，得到至少两个待编码数据块；

计算所述至少两个待编码数据块的至少两个图像分布特征值；

基于所述至少两个图像分布特征值，分别确定针对所述至少两个待编码数据块的处理方式；

其中，所述处理方式至少包括第一处理方式和第二处理方式；所述第一处理方式表征直接对待编码数据块进行编码；所述第二处理方式表征将待编码数据块再次进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述至少两个待编码数据块的处理过程。

本发明实施例还提供了一种图像处理装置，包括：

获取单元，用于获取初始图像；

分块单元，用于对所述初始图像进行划分，得到至少两个待编码数据块；

计算单元，用于计算所述至少两个待编码数据块的至少两个图像分布特征值；

处理单元，用于基于所述至少两个图像分布特征值，分别确定针对所述至少两个待编码数据块的处理方式；其中，所述处理方式至少包括第一处理方式和第二处理方式；所述第一处理方式表征直接对待编码数据块进行编码；所述第二处理方式表征将待编码数据块再次进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述至少两个待编码数据块的处理过程。

本发明实施例所述的图像处理方法及其装置，将初始图像划分为待编码数据块，基于待编码数据块的图像分布特征值确定其处理方式，并且能够采用差别化的处理方式对待编码数据块进行处理，尤其是能够对一部分待编码数据块采用第一处理方式，即不需要进一步进行划分就能够直接进行编码。如此，就能够避免对全部待编码数据块不做区分的全部进行再次划分直至能够进行编码而导致的效率较低的问题，进而提升了对图像进行编码处理的速度。

附图说明

图1a为本发明实施例图像处理方法的实现流程示意图一；

图1b为本发明实施例对待编码数据块进行划分后的示意图；

图2为本发明实施例图像处理方法的实现流程示意图二；

图3为本发明实施例图像处理方法的具体实现流程示意图；

图4a为本发明实施例利用H.265视频编码标准对最大编码单元进行划分后的示意图；

图4b为本发明实施例对初始图像进行划分后的示意图；

图5为本发明实施例图像处理装置的结构示意图；

图6为本发明实施例图像处理装置硬件组成结构示意图。

具体实施方式

人类视觉系统(HVS)是一个高度复杂的系统，但并不是一个完美的系统。比如，人眼对各个频率的敏感程度是不同的，对于中低频信息，敏感度较高，对于高频细节，敏感度相对较低；又比如，人眼对细小的变化可能觉察不到，存在一个最小可觉差(JND，Justnoticeable distortion)，即超过JND，人眼能够觉察到，小于JND，觉察不到。此外，人眼具有时域和空域两方面的掩盖特性。其中，时域掩盖特性表现在人眼对快速运动物体的细节往往难以觉察；空域掩盖特性反映的是一个失真信号容易在图像平滑区被觉察，而在活跃区域(如纹理区域)却难以觉察的现象。因此，本发明实施例利用了JND的特性，取代了现有H.265视频编码标准中的率失真优化算法，从而实现对全景视频的快速编码。为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

实施例一

图1为本发明实施例图像处理方法的实现流程示意图一；如图1所示，所述方法包括：

步骤101：获取初始图像；

本实施例中，所述初始图像可以具体为普通视频数据，如二维平面视频所对应的一帧普通图像；或者，所述初始图像还可以具体为全景视频所对应的一帧全景图像。

步骤102：对所述初始图像进行划分，得到至少两个待编码数据块；

本实施例中，所述步骤102可以具体为：采用H.265视频编码标准对所述初始图像进行划分，得到至少两个编码单元(CU)；这里，所述编码单元的大小为2N×2N；其中，所述N取值为4、8、16或32。

对应地，所述步骤103可以具体为：计算至少两个CU中每一个CU所对应的图像分别特征值，例如，计算每个CU的JND的方差，简称JND方差，进而基于JND方差，确定每个CU的处理方式。

步骤103：计算所述至少两个待编码数据块的至少两个图像分布特征值；

在一具体实施例中，步骤103之前，所述方法还包括：计算所述初始图像所对应的至少两个像素点的像素特征值；对应地，步骤103具体为：根据所述至少两个像素点的像素特征值，计算所述至少两个待编码数据块的至少两个图像分布特征值；例如，利用Yang X.K等提出的NAMM模型计算所述初始图像的至少两个像素域JND，然后基于计算出的至少两个像素域JND计算每个编码单元的JND方差。

步骤104：基于所述至少两个图像分布特征值，分别确定针对所述至少两个待编码数据块的处理方式；

其中，所述处理方式至少包括第一处理方式和第二处理方式；所述第一处理方式表征直接对待编码数据块进行编码；所述第二处理方式表征将待编码数据块再次进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述至少两个待编码数据块的处理过程。

在实际应用中，步骤104可以具体为：基于所述至少两个CU中每一个CU所对应JND方差，分别确定出所述至少两个CU中每一个CU的处理方式；这里，所述处理方式至少包括两种；

具体地，第一种，直接对CU进行编码；第二种，先对CU进行进一步的划分，得到次级的至少两个待编码子数据块，进而对次级的至少两个待编码子数据块进行处理，以最终完成对所述至少两个待编码数据块的编码过程。

比如，参见图1b，其中，经过判断可以确定A数据块可以采用第一处理方式；B数据块需要采用第二处理方式，那么就将B数据块再次进行划分得到B1、B2、B3以及B4这几个子数据块，以进一步的对上述四个子数据块进行处理。

在一具体实施例中，当CU对应64×64大小的编码单元时，对CU进一步划分后得到的次级的待编码子数据块可以具体为32×32大小的编码单元；例如，将64×64大小的编码单元进一步划分为4个32×32大小的次级的编码单元；

或者，当CU对应32×32大小的编码单元时，对CU进一步划分后得到的次级的待编码子数据块可以具体为16×16大小的编码单元；例如，将32×32大小的编码单元进一步划分为4个16×16大小的次级的编码单元；

或者，当CU对应16×16大小的编码单元时，对CU进一步划分后得到的次级的待编码子数据块可以具体为8×8大小的编码单元；例如，将16×16大小的编码单元进一步划分为4个8×8大小的次级的编码单元；

或者，当CU对应8×8大小的编码单元时，直接对CU进行编码。

这样，将初始图像划分为待编码数据块，基于待编码数据块的图像分布特征值确定其处理方式，并且能够采用差别化的处理方式对待编码数据块进行处理，尤其是能够对一部分待编码数据块采用第一处理方式，即不需要进一步进行划分就能够直接进行编码。如此，就能够避免对全部待编码数据块不做区分的全部进行再次划分直至能够进行编码而导致的效率较低的问题，提升了对图像进行编码处理的速度。

进一步地，当将本发明实施例所述的方法应用于处理大数据量的全景视频时，能够实现简化编码过程的目的，进而为采用H.265视频编码标准对大数据量的全景视频进行实时编码奠定了基础。

实施例二

图2为本发明实施例图像处理方法的实现流程示意图二；如图2所示，所述方法包括：

步骤201：获取初始图像；

本实施例中，所述初始图像可以具体为普通视频数据，如二维平面视频所对应的一帧普通图像；或者，所述初始图像还可以具体为全景视频所对应的一帧全景图像。

步骤202：对所述初始图像进行划分，得到至少两个待编码数据块；

本实施例中，所述步骤202可以具体为：采用H.265视频编码标准对所述初始图像进行划分，得到至少两个CU；这里，所述编码单元的大小为2N×2N；其中，所述N取值为4、8、16或32。

对应地，所述步骤203可以具体为：计算至少两个CU中每一个CU所对应的图像分别特征值，例如，计算每个CU的JND的方差，简称JND方差，进而基于JND方差，确定每个CU的处理方式。

步骤203：计算所述至少两个待编码数据块的至少两个图像分布特征值；

在一具体实施例中，步骤203之前，所述方法还包括：计算所述初始图像所对应的至少两个像素点的像素特征值；对应地，步骤203具体为：根据所述至少两个像素点的像素特征值，计算所述至少两个待编码数据块的至少两个图像分布特征值；例如，利用Yang X.K等提出的NAMM模型计算所述初始图像的至少两个像素域JND，然后基于计算出的至少两个像素域JND计算每个编码单元的JND方差。

步骤204：确定所述至少两个待编码数据块的数据特征；

本实施例中，所述数据特征可以具体为待编码数据块的数据量。

在实际应用中，步骤203和步骤204的执行顺序可以调换。

步骤205：基于所述至少两个待编码数据块的数据特征，确定与所述至少两个待编码数据块对应的预设阈值；

在实际应用中，待编码数据块的数据特征不同，对应不同的预设阈值；也即待编码数据块的数据量不同，对应不同的预设阈值；例如，对于64×64大小的编码单元，对应预设阈值T₁；对于32×32大小的编码单元，对应预设阈值T₂；对于16×16大小的编码单元，对应预设阈值T₃。其中，T₁>T₂>T₃。这里，T₁，T₂，T₃可以根据大量的实验数据统计得到；例如，通过调整不同大小的待编码数据块对应的预设阈值，使得在某一预设阈值下得到的次级待编码子数据与按照H.265视频编码标准中的率失真优化算法得到的次级待编码子数据的匹配程度足够大，则将该条件下对应的预设阈值作为对应待编码数据块的预设阈值，进而将该待编码数据块的JND方差与该对应预设阈值比较，以确定对该待编码数据块的处理方式。

步骤206：判断所述至少两个待编码数据块的至少两个图像分布特征值是否大于等于对应的预设阈值；基于判断结果确定针对所述至少两个待编码数据块的处理方式；

在实际应用中，需要判断所述至少两个待编码数据块中每一待编码数据块对应的图像分布特征值是否大于等于对应的预设阈值，进而根据判断结果分别选取对应于每个待编码数据块的处理方式。

具体地，当判断结果表征所述至少两个待编码数据块中的第一待编码数据块的图像分布特征值大于等于对应的预设阈值时，执行步骤207；当判断结果表征所述至少两个待编码数据块中的第二待编码数据块的图像分布特征值小于对应的预设阈值时，执行步骤208。

步骤207：选取所述第二处理方式再次对所述第一待编码数据块进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述第一待编码数据块的处理过程。

步骤208：选取所述第一处理方式直接对所述第二待编码数据块进行编码处理。

在实际应用中，基于所述至少两个CU中每一个CU的数据量，选取与CU的数据量相对应的预设阈值，进而将计算出的CU所对应JND方差与选取出的对应的预设阈值进行比较，进而基于比较结果确定出所述至少两个CU中每一个CU的处理方式；这里，所述处理方式至少包括两种；具体地，第一种，直接对CU进行编码；第二种，先对CU进行进一步的划分，得到次级的至少两个待编码子数据块，进而对次级的至少两个待编码子数据块进行处理，以最终完成对所述至少两个待编码数据块的编码过程。比如，参见图1b，其中，经过判断可以确定A数据块可以采用第一处理方式；B数据块需要采用第二处理方式，那么就将B数据块再次进行划分得到B1、B2、B3以及B4这几个子数据块，以进一步的对上述四个子数据块进行处理。

具体地，当CU对应64×64大小的编码单元时，对CU进一步划分后得到的次级的待编码子数据块可以具体为32×32大小的编码单元；例如，将64×64大小的编码单元进一步划分为4个32×32大小的次级的编码单元；

或者，当CU对应32×32大小的编码单元时，对CU进一步划分后得到的次级的待编码子数据块可以具体为16×16大小的编码单元；例如，将32×32大小的编码单元进一步划分为4个16×16大小的次级的编码单元；

或者，当CU对应16×16大小的编码单元时，对CU进一步划分后得到的次级的待编码子数据块可以具体为8×8大小的编码单元；例如，将16×16大小的编码单元进一步划分为4个8×8大小的次级的编码单元；

或者，当CU对应8×8大小的编码单元时，直接对CU进行编码。

这样，将初始图像划分为待编码数据块，基于待编码数据块的图像分布特征值确定其处理方式，并且能够采用差别化的处理方式对待编码数据块进行处理，尤其是能够对一部分待编码数据块采用第一处理方式，即不需要进一步进行划分就能够直接进行编码。如此，就能够避免对全部待编码数据块不做区分的全部进行再次划分直至能够进行编码而导致的效率较低的问题，提升了对图像进行编码处理的速度。

进一步地，当将本发明实施例所述的方法应用于处理大数据量的全景视频时，能够实现简化编码过程的目的，进而为采用H.265视频编码标准对大数据量的全景视频进行实时编码奠定了基础。

以下结合图3和图4a对本发明实施例做进一步详细说明；其中，图3为本发明实施例图像处理方法的具体实现流程示意图；图4a为本发明实施例利用H.265视频编码标准对最大编码单元进行划分后的示意图；这里，所述最大编码单元(LCU)为基于H.265视频编码标准对全景视频序列中每一帧全景图像进行初始分块后得到的最大编码单元；在实际应用中，对于每一帧全景图像均是以LCU为单位进行编码的；具体地，如图3所示，包括：

步骤301：获取全景视频序列；

步骤302：根据H.265视频编码标准对所述全景视频序列中每一帧全景图像进行分块处理，得到至少两个CU；

具体地，首先，利用H.265视频编码标准对每一帧全景图像进行初始划分，得到多个LCU；其次，如图4a所示，利用H.265视频编码标准在每个LCU内部按照四叉树结构进行划分，直至划分到得到多个待编码数据块，如划分得到13个CU。也就是说，利用H.265视频编码标准进一步对LCU进行划分时，能够得到大小不一的多种CU。

步骤303：利用Yang X.K等提出的NAMM模型计算所述全景视频序列中每一帧全景图像的像素域JND，即JND_s(x,y)；然后利用如下公式计算每一帧全景图像所对应的每个CU的JND方差JND_v；

其中，

这里，所述

表示一个2N×2N大小的CU所对应的像素的像素域JND的平均值；所述(x,y)表示像素所对应的坐标，所述x和y的取值与N有关，也即所述x和y的取值与CU有关。

在实际应用中，步骤302得到的CU的大小可以具体为64×64、32×32、16×16或者8×8。对应不同的数据大小，CU对应不同的预设阈值；因此，对于每一CU均需要判断CU的JND方差是否大于等于对应的预设阈值；具体如步骤304至步骤308；

以下以64×64大小的CU为例，对本发明实施例做进一步详细说明；当然，对于其他数据大小的CU而言，划分方式类似，这里不再赘述。

步骤304：对于64×64大小的CU，判断64×64的CU的JND方差是否大于等于T₁；当大于等于T₁时，执行步骤305；否则，执行步骤310；

步骤305：将64×64的CU划分为四个次级的32×32的CU；

步骤306：判断32×32的CU的JND方差是否大于等于T₂；当大于等于T₂时，执行步骤307；否则，执行步骤310；

步骤307：将32×32的CU划分为四个次级的16×16的CU；

步骤308：判断16×16的CU的JND方差是否大于等于T₃；当大于等于T₃时，执行步骤309；否则，执行步骤310；

步骤309：将16×16的CU划分为四个次级的8×8的CU；随后执行步骤310；

步骤310：对CU做帧内预测，以除去相邻块之间的空间冗余度，取得更为有效的压缩。

在实际应用中，每个像素都可用多个最接近的先前已编码的像素的不同加权和(有的权值可为0)来预测，实现帧内预测；这里，显然，所述帧内预测不是在时间上，而是在空间域上进行的预测编码算法；也就是说，所述帧内预测就是通过参考块来比较待处理块，进而找出最合理的一种比较方法，作为编码时的处理方法。

步骤311：对帧内预测后的CU进行编码，以完成对每一帧全景图像的编码过程，进而完成全景视频序列的编码过程。

基于上述处理流程，结合图4b进行具体说明，假设根据H.265视频编码标准对所述全景视频序列中每一帧全景图像进行分块处理，得到大小为64×64如待编码数据块41至44的四个待编码数据块；这里，由于待编码数据块41至44的数据大小大于等于预设的门限值，也就是说待编码数据块41至44并不是最小编码单元，所以能够进一步划分；

进一步地，对待编码数据块41至44进行分析，以确定针对不同的64×64的待编码数据块的处理方式；具体地，从图中可以看出，待编码数据块41的JND方差小于对应的预设阈值，也即待编码数据块41的纹理内容较为简单，所以，保持该待编码数据块41不予划分，直接对待编码数据块41进行编码处理；与此同时，待编码数据块42至44的JND方差大于等于对应的预设阈值，也即该待编码数据块42至44内纹理内容较为丰富，需要将该待编码数据块42至44做进一步划分，得到次级的四个32×32的待编码子数据块，这样，以此类推，直至得到的待编码子数据块的JND方差小于对应的预设阈值，或者，得到的待编码子数据块为最小编码单元为止，进而将JND方差小于对应的预设阈值的次级待编码子数据进行编码，或者对得到的最小编码单元进行编码，实现对每一帧全景图像的编码过程，进而实现对全景视频序列的编码过程。

本实施例中，利用每一帧全景图像的像素域JND的分布特性，即每一帧全景图像对应的编码单元内的JND方差指导编码单元的划分，差别化划分编码单元，以简化编码单元的划分过程，进而简化编码单元的编码过程。具体地，当某一编码单元的JND方差大于等于对应预设阈值时，说明该编码单元内纹理内容较为丰富，需要将该编码单元做进一步划分；当某一编码单元的JND方差小于对应的预设阈值时，说明该编码单元内区域较为平滑，纹理内容较为简单，可以保持该编码单元不予划分。这样，通过上述方式，简化了编码单元的划分过程，进而简化了编码单元的编码过程，当将该方法应用于处理大数据量的全景视频时，能够实现简化编码过程的目的，进而为采用H.265视频编码标准对大数据量的全景视频进行实时编码奠定了基础。

这里，T₁>T₂>T₃；且T₁，T₂，T₃可以根据大量的实验数据统计得到；例如，通过调整不同大小的编码单元对应的预设阈值，使得在某一预设阈值下得到的次级编码单元与按照H.265视频编码标准中的率失真优化算法得到的次级编码单元的匹配程度足够大，则将该条件下对应的预设阈值作为对应编码单元的预设阈值，进而将该编码单元的JND方差与该对应预设阈值比较，以确定对该编码单元的处理方式。

本发明实施例所述方法利用现有像素域JND计算方法，计算出编码单元所对应的JND方差，进而基于计算出的JND方差指导H.265视频编码标准对编码单元的划分方式，从而简化了编码单元的划分方式，提升了编码效率，为实现全景视频的快速帧内编码奠定了基础。

实施例三

基于实施例一或实施例二所述的方法，在实际应用中，当对初始图像进行划分得到至少两个待编码子数据块后，还需要确定所述至少两个待编码子数据块的数据特征；例如，确定待编码子数据块的数据量，进而基于所述至少两个待编码子数据块的数据特征，判断是否执行计算所述至少两个待编码子数据块的图像分布特征值的处理，以确定针对所述至少两个待编码子数据块的处理方式，完成对所述第一待编码数据块的处理过程。

具体地，当待编码子数据块为64×64、32×32或16×16，需要计算待编码子数据块的JND方差，进而基于计算出的待编码子数据块的JND方差与对应预设阈值的比较结果，确定对待编码子数据进行处理方式。当待编码子数据块为8×8时，由于最小的编码单元，因为无需再计算8×8的待编码数据块的JND方差，直接对8×8的待编码数据块进行编码处理即可。

实施例四

图5为本发明实施例图像处理装置的结构示意图；如图5所示，所述装置包括：

获取单元51，用于获取初始图像；

分块单元52，用于对所述初始图像进行划分，得到至少两个待编码数据块；

计算单元53，用于计算所述至少两个待编码数据块的至少两个图像分布特征值；

处理单元54，用于基于所述至少两个图像分布特征值，分别确定针对所述至少两个待编码数据块的处理方式；其中，所述处理方式至少包括第一处理方式和第二处理方式；所述第一处理方式表征直接对待编码数据块进行编码；所述第二处理方式表征将待编码数据块再次进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述至少两个待编码数据块的处理过程。

本实施例中，所述初始图像可以具体为普通视频数据，如二维平面视频所对应的一帧普通图像；或者，所述初始图像还可以具体为全景视频所对应的一帧全景图像。

本实施例中，所述分块单元具体采用H.265视频编码标准对所述初始图像进行划分，得到至少两个编码单元；这里，所述编码单元的大小为2N×2N；其中，所述N取值为4、8、16或32。

对应地，所述计算单元具体计算至少两个CU中每一个CU所对应的图像分别特征值，例如，计算每个CU的JND的方差，简称JND方差，进而基于JND方差，确定每个CU的处理方式。

在实际应用中，所述处理单元具体基于所述至少两个CU中每一个CU所对应JND方差，分别确定出所述至少两个CU中每一个CU的处理方式；这里，所述处理方式至少包括两种；具体地，第一种，直接对CU进行编码；第二种，先对CU进行进一步的划分，得到次级的至少两个待编码子数据块，进而对次级的至少两个待编码子数据块进行处理，以最终完成对所述至少两个待编码数据块的编码过程。

本实施例中，所述计算单元53，还用于计算所述初始图像所对应的至少两个像素点的像素特征值，根据所述至少两个像素点的像素特征值，计算所述至少两个待编码数据块的至少两个图像分布特征值。例如，利用Yang X.K等提出的NAMM模型计算所述初始图像的至少两个像素域JND，然后基于计算出的至少两个像素域JND计算每个编码单元的JND方差。

本实施例中，所述处理单元54，还用于：确定所述至少两个待编码数据块的数据特征；基于所述至少两个待编码数据块的数据特征，确定与所述至少两个待编码数据块对应的预设阈值；判断所述至少两个待编码数据块的至少两个图像分布特征值是否大于等于对应的预设阈值；基于判断结果确定针对所述至少两个待编码数据块的处理方式。这里，在实际应用中，待编码数据块的数据特征不同，对应不同的预设阈值；也即待编码数据块的数据量不同，对应不同的预设阈值；例如，对于64×64大小的编码单元，对应预设阈值T₁；对于32×32大小的编码单元，对应预设阈值T₂；对于16×16大小的编码单元，对应预设阈值T₃。其中，T₁>T₂>T₃。这里，T₁，T₂，T₃可以根据大量的实验数据统计得到；例如，通过调整不同大小的待编码数据块对应的预设阈值，使得在某一预设阈值下得到的次级待编码子数据与按照H.265视频编码标准中的率失真优化算法得到的次级待编码子数据的匹配程度足够大，则将该条件下对应的预设阈值作为对应待编码数据块的预设阈值，进而将该待编码数据块的JND方差与该对应预设阈值比较，以确定对该待编码数据块的处理方式。

本实施例中，所述处理单元54，还用于当判断结果表征所述至少两个待编码数据块中的第一待编码数据块的图像分布特征值大于等于对应的预设阈值时，选取所述第二处理方式再次对所述第一待编码数据块进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述第一待编码数据块的处理过程。

本实施例中，所述处理单元54，还用于确定所述至少两个待编码子数据块的数据特征，基于所述至少两个待编码子数据块的数据特征，确定是否计算所述至少两个待编码子数据块的图像分布特征值，以确定针对所述至少两个待编码子数据块的处理方式，完成对所述第一待编码数据块的处理过程。

本实施例中，所述处理单元54，还用于当判断结果表征所述至少两个待编码数据块中的第二待编码数据块的图像分布特征值小于对应的预设阈值时，选取第一处理方式直接对所述第二待编码数据块进行编码处理。

在实际应用中，基于所述至少两个CU中每一个CU的数据量，选取与CU的数据量相对应的预设阈值，进而将计算出的CU所对应JND方差与选取出的对应的预设阈值进行比较，进而基于比较结果确定出所述至少两个CU中每一个CU的处理方式；这里，所述处理方式至少包括两种；具体地，第一种，直接对CU进行编码；第二种，先对CU进行进一步的划分，得到次级的至少两个待编码子数据块，进而对次级的至少两个待编码子数据块进行处理，以最终完成对所述至少两个待编码数据块的编码过程。

具体地，当CU对应64×64大小的编码单元时，对CU进一步划分后得到的次级的待编码子数据块可以具体为32×32大小的编码单元；例如，将64×64大小的编码单元进一步划分为4个32×32大小的次级的编码单元；

或者，当CU对应32×32大小的编码单元时，对CU进一步划分后得到的次级的待编码子数据块可以具体为16×16大小的编码单元；例如，将32×32大小的编码单元进一步划分为4个16×16大小的次级的编码单元；

或者，当CU对应16×16大小的编码单元时，对CU进一步划分后得到的次级的待编码子数据块可以具体为8×8大小的编码单元；例如，将16×16大小的编码单元进一步划分为4个8×8大小的次级的编码单元；

或者，当CU对应8×8大小的编码单元时，直接对CU进行编码。

这样，将初始图像划分为待编码数据块，基于待编码数据块的图像分布特征值确定其处理方式，并且能够采用差别化的处理方式对待编码数据块进行处理，尤其是能够对一部分待编码数据块采用第一处理方式，即不需要进一步进行划分就能够直接进行编码。如此，就能够避免对全部待编码数据块不做区分的全部进行再次划分直至能够进行编码而导致的效率较低的问题，提升了对图像进行编码处理的速度。

进一步地，当将本发明实施例所述的方法及其装置应用于处理大数据量的全景视频时，能够实现简化编码过程的目的，进而为采用H.265视频编码标准对大数据量的全景视频进行实时编码奠定了基础。

本发明实施例所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、基站、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

本实施例基于上述设备实施例提供一个具体的硬件，如图6所示，所述图像处理装置包括处理器62、存储介质64以及至少一个外部通信接口61；所述处理器62、存储介质64以及外部通信接口61均通过总线63连接。所述处理器62可为微处理器、中央处理器、数字信号处理器或可编程逻辑阵列等具有处理功能的电子元器件。所述存储介质中存储有计算机可执行代码。

所述硬件可以为所述图像处理装置，所述处理器执行所述计算机可执行代码时，至少能实现以下功能：获取初始图像；对所述初始图像进行划分，得到至少两个待编码数据块；计算所述至少两个待编码数据块的至少两个图像分布特征值；基于所述至少两个图像分布特征值，分别确定针对所述至少两个待编码数据块的处理方式；其中，所述处理方式至少包括第一处理方式和第二处理方式；所述第一处理方式表征直接对待编码数据块进行编码；所述第二处理方式表征将待编码数据块再次进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述至少两个待编码数据块的处理过程。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，包括：

获取初始图像；

对所述初始图像进行划分，得到至少两个待编码数据块；

计算所述至少两个待编码数据块的至少两个最小可觉差的方差；

基于所述至少两个最小可觉差的方差，分别确定针对所述至少两个待编码数据块的处理方式；

其中，所述处理方式至少包括第一处理方式和第二处理方式；所述第一处理方式表征直接对待编码数据块进行编码；所述第二处理方式表征将待编码数据块再次进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述至少两个待编码数据块的处理过程。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

计算所述初始图像所对应的至少两个像素点的最小可觉差；

对应地，所述计算所述至少两个待编码数据块的至少两个最小可觉差的方差，包括：

根据所述至少两个像素点的最小可觉差，计算所述至少两个待编码数据块的至少两个最小可觉差的方差。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述至少两个待编码数据块的数据特征；

基于所述至少两个待编码数据块的数据特征，确定与所述至少两个待编码数据块对应的预设阈值；

对应地，所述基于所述至少两个最小可觉差的方差，分别确定针对所述至少两个待编码数据块的处理方式，包括：

判断所述至少两个待编码数据块的至少两个最小可觉差的方差是否大于等于对应的预设阈值；

基于判断结果确定针对所述至少两个待编码数据块的处理方式。

4.根据权利要求3所述的方法，其特征在于，所述基于判断结果确定针对所述至少两个待编码数据块的处理方式，包括：

当判断结果表征所述至少两个待编码数据块中的第一待编码数据块的最小可觉差的方差大于等于对应的预设阈值时，选取所述第二处理方式再次对所述第一待编码数据块进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述第一待编码数据块的处理过程。

5.根据权利要求3所述的方法，其特征在于，所述基于判断结果确定针对所述至少两个待编码数据块的处理方式，包括：

当判断结果表征所述至少两个待编码数据块中的第二待编码数据块的最小可觉差的方差小于对应的预设阈值时，选取第一处理方式直接对所述第二待编码数据块进行编码处理。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

确定所述至少两个待编码子数据块的数据特征；

基于所述至少两个待编码子数据块的数据特征，判断是否执行计算所述至少两个待编码子数据块的最小可觉差的方差的处理。

7.一种图像处理装置，包括：

获取单元，用于获取初始图像；

分块单元，用于对所述初始图像进行划分，得到至少两个待编码数据块；

计算单元，用于计算所述至少两个待编码数据块的至少两个最小可觉差的方差；

处理单元，用于基于所述至少两个最小可觉差的方差，分别确定针对所述至少两个待编码数据块的处理方式；其中，所述处理方式至少包括第一处理方式和第二处理方式；所述第一处理方式表征直接对待编码数据块进行编码；所述第二处理方式表征将待编码数据块再次进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述至少两个待编码数据块的处理过程。

8.根据权利要求7所述的装置，其特征在于，所述计算单元，还用于计算所述初始图像所对应的至少两个像素点的最小可觉差，根据所述至少两个像素点的最小可觉差，计算所述至少两个待编码数据块的至少两个最小可觉差的方差。

9.根据权利要求7所述的装置，其特征在于，

所述处理单元，还用于确定所述至少两个待编码数据块的数据特征；基于所述至少两个待编码数据块的数据特征，确定与所述至少两个待编码数据块对应的预设阈值；判断所述至少两个待编码数据块的至少两个最小可觉差的方差是否大于等于对应的预设阈值；基于判断结果确定针对所述至少两个待编码数据块的处理方式。

10.根据权利要求9所述的装置，其特征在于，

所述处理单元，还用于当判断结果表征所述至少两个待编码数据块中的第一待编码数据块的最小可觉差的方差大于等于对应的预设阈值时，选取所述第二处理方式再次对所述第一待编码数据块进行划分得到至少两个待编码子数据块，以基于所述至少两个待编码子数据块完成对所述第一待编码数据块的处理过程。

11.根据权利要求9所述的装置，其特征在于，所述处理单元，还用于当判断结果表征所述至少两个待编码数据块中的第二待编码数据块的最小可觉差的方差小于对应的预设阈值时，选取第一处理方式直接对所述第二待编码数据块进行编码处理。

12.根据权利要求7-11任一项所述的装置，其特征在于，所述处理单元，还用于确定所述至少两个待编码子数据块的数据特征，基于所述至少两个待编码子数据块的数据特征，判断是否执行计算所述至少两个待编码子数据块的最小可觉差的方差的处理。

13.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现如权利要求1至6任一项所述的图像处理方法。

14.一种存储介质，其特征在于，存储有可执行指令，所述可执行指令被执行时，用于实现如权利要求1至6任一项所述的图像处理方法。

Images