CN111127342B - 一种图像处理方法、装置、存储介质以及终端设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质以及终端设备，该方法包括：对待处理图像进行切割，获得多个图像块；计算所述多个图像块中每一图像块的内容变化量；其中，所述内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，所述第一图像块集合中每一图像块的内容变化量均大于预设阈值；对所述第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到所述第一图像块集合中每一图像块的处理曲线；基于所得到的处理曲线，对所述待处理图像进行增强处理。

Description

一种图像处理方法、装置、存储介质以及终端设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质以及终端设备。

背景技术

直方图增强算法是视频增强算法中比较常见的方法，能够将像素点尽可能在灰度级上均匀分布而实现图像增强，为了改进图像的局部对比度以及获得更多的图像细节，进一步产生了自适应直方图均衡化(Adaptive Histogram Equalization，AHE)算法。为了避免AHE算法带来的过度放大噪音的问题，进一步产生了对比度受限自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization，CLAHE)算法。

在CLAHE算法中，由于对待处理图像的每个子区域都必须使用预先定义的预设阈值来裁剪直方图以达到限制放大幅度的目的，使得在预览或者视频应用时，需要对每帧图像的所有图像块分别计算CLAHE灰度拉伸曲线，这时候将会产生大量的冗杂计算，增加了硬件的耗损，同时由于卡顿或加载时间长的异常现象而导致使用者的体验感低，降低了产品的使用率。

发明内容

本申请实施例提出一种图像处理方法、装置、存储介质以及终端设备，可以减少运算量，提升设备对图像的处理速度，并且还能够降低硬件功耗。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

对待处理图像进行切割，获得多个图像块；

计算所述多个图像块中每一图像块的内容变化量；其中，所述内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；

将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，所述第一图像块集合中每一图像块的内容变化量均大于预设阈值；

对所述第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到所述第一图像块集合中每一图像块的处理曲线；

基于所得到的处理曲线，对所述待处理图像进行增强处理。

第二方面，本申请实施例提供了一种图像处理装置，包括：

切割模块，配置为对待处理图像进行切割，获得多个图像块；

计算模块，配置为计算所述多个图像块中每一图像块的内容变化量；其中，所述内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；

第一选取模块，配置为将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，所述第一图像块集合中每一图像块的内容变化量均大于预设阈值；

第一配置模块，配置为对所述第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到所述第一图像块集合中每一图像块的处理曲线；

增强模块，配置为基于所得到的处理曲线，对待处理图像进行增强处理。

第三方面，本申请实施例提供了一种图像处理装置，包括存储器和处理器，其中，

存储器，配置为存储能够在所述处理器上运行的计算机程序；

处理器，配置为在运行所述计算机程序时，执行如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机存储介质，所述计算机可读介质储存有图像处理程序，所述图像处理程序被处理器执行时实现如第一方面所述的方法。

第五方面，本申请实施例提供了一种终端设备，所述终端设备至少包括第二方面或第三方面所述的图像处理装置。

本申请实施例所提供的一种图像处理方法、装置、存储介质以及终端设备，对待处理图像进行切割，获得多个图像块；计算所述多个图像块中每一图像块的内容变化量；其中，内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；将多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，第一图像块集合中每一图像块的内容变化量均大于预设阈值；对第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到第一图像块集合中每一图像块的处理曲线；基于所得到的处理曲线，对待处理图像进行增强处理。这样，通过对待处理图像中每一个图像块的内容变化量的比较，仅对大于预设阈值(即内容变化较大)的图像块重新计算处理曲线，而对于不大于预设阈值(即内容变化较小)的图像块无需重新计算处理曲线；如此，在该过程中，可以实现采用计算量较少的方式来确定处理曲线，从而在保证增强效果的前提下，不仅减少了整个处理过程的冗杂计算量，提高了图像的处理效率，还降低了硬件的功耗，同时提高了终端设备的产品使用率。

附图说明

图1为相关技术方案提供的一种CLAHE算法剪裁限幅的示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的另一种图像处理方法的流程示意图；

图4为本申请实施例提供的再一种图像处理方法的流程示意图；

图5为本申请实施例提供的一种图像处理装置的组成结构示意图；

图6为本申请实施例提供的一种图像处理装置的具体硬件结构示意图；

图7为本申请实施例提供的一种终端设备的组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要理解的是，为了便于描述，附图中仅示出了与有关申请相关的部分。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

在实际应用中，视频序列由时间排序的一系列图像组成，一般以“帧”进行描述，每帧图像通常在时间上与前一帧和后一帧相隔固定的时间间隔，这个时间间隔可以为1/30、1/20秒。视频处理过程，实际上是对每帧图像进行处理的过程，所以本申请中的图像处理方法也可认为是一种视频处理方法，即通过对连续流动的多帧图像进行连续处理，得到输出的视频。在图像处理方法领域，针对不同目的存在对应的处理算法，比如处理目的是去噪、锐化、调整对比度等。

目前，效果较优的新一代处理算法经常会用到分块的思想，即基于图像的局部内容生成针对该局部的进一步处理标准，也即采用同一种处理算法对一幅图像进行处理时，该算法需要对图像进行分块，根据每一块图像的具体内容经过大量计算生成更有针对性的处理曲线，再根据该处理曲线对于图像块进行处理。此处，该处理曲线为宏观概念，用于描述处理算法针对该图像块生成的任何映射关系，在下一部分将以CLAHE算法为例对此处的描述进行进一步说明。在视频处理的过程中，由于每秒流动的图像多达几十帧，在此基础上对每帧图像进行分块、分块后针对每一图像块根据预设算法生成处理曲线、然后利用处理曲线对该图像块进行处理，该过程将造成非常庞大的计算量。虽然这样做会使得每帧图像的增强处理效果更好，但整个处理过程耗能高、处理效率低，而且会给使用者带来加载时间长、卡顿的不良观看体验。同时，对于时序流动的一系列视频序列而言，每帧图像具有连续性，即在相邻的视频帧中具有一部分不变的区域，比如在场景不发生变化的视频中，仅有局部位置出现了运动的人或车，此时对于每帧图像中固定的场景图像块都重新计算处理曲线不仅产生大量的冗杂计算，而且不会带来处理效果的提高。

在本申请实施例中，将采用CLAHE算法对视频序列中的每一帧图像进行增强处理。在此处，对于CLAHE算法进行背景说明。

首先，直方图增强算法的基本思想是把原始图的直方图变换为均匀分布的形式，增加像素灰度值的动态范围，从而达到增强图像整体对比度的效果。在此基础上，采用块操作以改善图像中的局部对比度，产生了AHE算法，通过计算图像的局部直方图，然后重新分布亮度来改变图像对比度，此时直方图在每一个块上都会最优，从而实现各个局部最优，组合块时采用双线性插值法以避免边界效应。再进一步的，为了改良AHE过度放大噪音的问题，产生了CLAHE算法。在CLAHE中，对于每个图像块都必须使用对比度限幅，指定的像素点周边的对比度放大主要是由变换函数的斜度决定的。这个斜度和图像块的累积直方图的斜度成一定比例。如图1所示，CLAHE通过在计算累积分布函数(Cumulative distributionfunction，CDF)前用预先定义的预设阈值来裁剪直方图以达到限制放大幅度的目的，这限制了CDF的斜度，因此，也限制了变换函数的斜度。直方图被裁剪的值，也就是所谓的裁剪限幅，取决于直方图的分布，同时也取决于邻域图像块尺寸大小的取值。在预览或视频应用时，需要对每帧图像的所有图像块计算CLAHE灰度拉伸曲线，再对图像用该拉伸曲线做灰度拉伸得到增强后的图像。

另外，本申请实施例中大量采用了“相应”一词，其具体含义指两帧图像中位于相同区域的图像块或像素点；对于相应图像块，其一重含义是两个图像块位于不同帧图像中的相同区域，另一重含义是两个图像块内具有相同数量的对应像素点；所述相应像素点的含义是两个像素点相对于所在的图像具有相同的位置坐标；同时，“对应”一词在本文中具有与“相应”一词相同的内在含义。

利用CLAHE算法进行视频处理时，每帧图像都要对其内每个图像块统计直方图，裁剪限幅，并积分生成灰度拉伸曲线，而实际预览或视频应用时，场景切换不频繁，图像内容并不是每帧都在快速变化；另一方面，有时场景不发生变化，只是整个场景里局部位置出现了运动的人或车等运动目标，这时候如果对每帧图像中所有图像块都实时生成CLAHE直方图拉伸曲线，而内容变化不明显图像块的增强效果不明显且没有意义，同时还增加了大量的冗余运算。

本申请实施例提供了一种图像处理方法，对待处理图像进行切割，获得多个图像块；计算多个图像块中每一图像块的内容变化量；其中，内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；将多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，第一图像块集合中每一图像块的内容变化量均大于预设阈值；对第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到第一图像块集合中每一图像块的处理曲线；基于所得到的处理曲线，对待处理图像进行增强处理。这样，通过对待处理图像中每一个图像块的内容变化量的比较，仅对大于预设阈值(即内容变化较大)的图像块重新计算处理曲线，而对于不大于预设阈值(即内容变化较小)的图像块无需重新计算处理曲线；如此，在该过程中，可以实现采用计算量较少的方式来确定处理曲线，从而在保证增强效果的前提下，不仅减少了整个处理过程的冗杂计算量，提高了图像的处理效率，还降低了硬件的功耗，同时提高了终端设备的产品使用率。

下面将结合附图对本申请各实施例进行详细说明。

本申请的一实施例中，参见图2，其示出了本申请实施例提供的一种图像处理方法的流程图。如图2所示，该方法可以包括：

S101：对待处理图像进行切割，获得多个图像块；

需要理解的是，对待处理图像的切割方式可采用已有的切割方式，如基于数量的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等；进一步的，切割后获得图像块的数量可以为(6*6)36块，也可以为(8*8)64块，具体数值不做限定，可以依据目标处理效果、预设处理算法、处理装置的计算能力等进行具体设计。另外，在比较极端的情况下，获得的图像块数量也可能是1块，即不对待处理图像进行切割，这种情况也包含在本申请的保护范围之内。

这样，首先从待处理图像中获得多个图像块，其中每一图像块作为后续操作的基础。

在一些实施例中，S101可以包括以下两个子步骤：

获取待处理图像；

切割待处理图像获得多个图像块。

需要理解的是，待处理图像可以从视频序列中获取；比如，将视频序列中某一帧图像作为待处理图像。具体地，可以通过包含摄像头的终端设备进行实时获取，比如通过手机、笔记本电脑、掌上电脑或者带有摄像头的其他终端设备进行拍摄或录像，以获取待处理图像；也可以是通过播放或读取本地已储存的数据进行获取，比如获取已存放在手机、笔记本电脑等终端设备上的视频，以获取待处理图像。

S102：计算所述多个图像块中每一图像块的内容变化量；其中，所述内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；

需要理解的是，参考图像和待处理图像位于同一视频序列中。其中，对于参考图像的设定，可以包含多种形式，例如：(1)当待处理图像为第N帧图像时，参考图像可以为第N-1帧图像，也可以为第N-2帧图像；(2)参考图像可以固定为视频序列的第1帧图像或者最中间一帧图像；本申请实施例中，参考图像通常为待处理图像的前一帧图像，但是本申请实施例不作具体限定。

还需要理解的是，所述多个图像块中每一图像块涉及了待处理图像中的全部图像块。对于预设算法，当其对于不同图像块进行增强时会根据该图像块的具体内容进一步产生计算出更具针对性的处理曲线，而这种处理曲线的重新计算需要非常大的计算量，是占用大量内存和消耗过量计算能力的主要原因，也是造成使用者视频卡顿、加载失败的主要因素。所述内容变化量，即为衡量该图像块相比于参考图像中相应图像块在内容上所发生变化的指标，以便于后续仅对变动比较大的图像块根据预设算法进行处理曲线的重新计算。

同时，所述内容变化量基于每一图像块中的像素属性值得到。在当前常用的图像格式中，存在灰度图、YUV图、HSV图等多种类型，对于灰度图像，属性值可以是像素的灰度值，通常是表示黑色的0到表示白色的255；对于YUV、HSV等彩色图像，属性值可以为一个也可以为多个的集合，如亮度值、色度值、饱和度值等。基于图像块中的像素的属性值，通过与参考图像中每一相应图像块的像素的属性值进行运算，即得到内容变化量。在此处，当属性值为一种数值时，采用简单的一维计算即可进行属性值的具体运算，如差值取平均、差值平方和的算数平均数等；当属性值为多种数值时，可以采用多维运算计算差值或者对不同属性值进行赋权后计算。隐式理解的是，相对于按照预设算法重新计算某一图像块的处理曲线，内容变化量的计算量要小很多数量级。

这样，通过定义内容变化量，即可表针待处理图像中每一图像块相对于参考图像中每一相应图像块的变化量，以便于作为判断是否重新计算该图像块处理曲线的标准。

S103：将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，所述第一图像块集合中每一图像块的内容变化量均大于预设阈值；

需要理解的是，所述预设阈值在此不做规定，可以依据处理器的计算能力或者目标增强效果自行设定；同时，所确定的第一图像块集合中所包含的每一图像块的内容变化量均超过预设阈值，证明该集合中的每一图像块相对于参考图像的每一相应图像块发生了较大变化，需要基于处理算法重新计算处理曲线，以保证图像增强效果。

S104：对所述第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到所述第一图像块集合中每一图像块的处理曲线；

其中，对于处理曲线的作用，可以理解为预设算法根据每个图像块的具体内容计算得出处理曲线，该图像块依据处理曲线进行后续具体增强。进一步的，处理曲线可以是针对每个原始像素点的具体映射关系，也可以是像素点增强后的整体分布标准曲线。例如，当以CLAHE作为预设算法时针对待处理图像的全局内容预设有全局直方图高度预设阈值，基于每一图像块的灰度均值、灰度方差、局部直方图的分布以及图像块大小将进一步得到不同图像块的局部直方图的高度预设阈值。进一步地，在预设阈值的限制下，计算得到灰度拉伸曲线(即为处理曲线)，在部分情况下，灰度拉伸曲线也被成为映射曲线、变换函数等；又例，AHE算法中，同样存在灰度拉伸曲线，可将其作为处理曲线；再例，对于色度、亮度处理算法中，处理曲线可以是色度、亮度变换函数。

需要理解的是，对于未超过预设阈值的图像块集合，可认为这些图像块相对于参考图像中未产生明显的内容变化。此时，对于这些图像块的处理方式在本部分实施例可能具有多种，例如，直接将参考图像中经过增强的相应的图像块代替待处理图像中的图像块；也可以根据参考图像中相应图像块的处理曲线代替待处理图像中的图像块的处理曲线，然后整体进行图像增强；也可以对参考图像中相应图像块的处理曲线进行预设更改后代替待处理图像中的图像块的处理曲线。隐式理解的是，计算内容变化量、当内容变化量小于预设阈值时采用代替方式确定图像块的增强这一过程中的计算量，远小于根据图像块的内容重新计算处理曲线的计算量。

S105：基于所得到的处理曲线，对所述待处理图像进行增强处理。

需要理解的是，处理曲线并不仅限于直接的转换关系，在部分实施例中，可以根据处理曲线对每个像素点进行直接处理；在另外一些实施例中，处理曲线可能还需要进行少量的运算后才能够对待处理图像中每个像素点进行处理。例如，在CLAHE算法中，以灰度拉伸曲线作为处理曲线，需要根据每个图像块的灰度拉伸曲线确定中心像素点的灰度值，并通过插值的方法获得边缘处的像素点的灰度值。在此，插值是为了进一步提高计算速度和避免块效应，在目前的应用中已得到比较详细的阐述，在此不做赘述。

需要理解的是，所述基于所得到的处理曲线，对所述待处理图像进行增强处理的步骤实际上包含两种情况：如果对于预设算法而言，每个图像块之间的增强处理是相互独立的，那么可以在得到图像块的处理曲线后随即进行该图像块的增强；如果对于预设算法而言，每个图像块之间的增强处理不是相互独立的，即整个图像的增强需要基于所有图像块的处理曲线融合计算，那么需要在获得所有图像块的处理曲线之后进行整体增强。

本申请实施例提供了一种图像处理方法，对待处理图像进行切割，获得多个图像块；计算多个图像块中每一图像块的内容变化量；其中，内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；将多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，第一图像块集合中每一图像块的内容变化量均大于预设阈值；对第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到第一图像块集合中每一图像块的处理曲线；基于所得到的处理曲线，对待处理图像进行增强处理。这样，通过对待处理图像中每一个图像块的内容变化量的比较，仅对大于预设阈值(即内容变化较大)的图像块重新计算处理曲线，而对于不大于预设阈值(即内容变化较小)的图像块无需重新计算处理曲线；如此，在该过程中，可以实现采用计算量较少的方式来确定处理曲线，从而在保证增强效果的前提下，不仅减少了整个处理过程的冗杂计算量，提高了图像的处理效率，还降低了硬件的功耗，同时提高了终端设备的产品使用率。

本申请的另一实施例中，参见图3，其示出了本申请实施例提供的另一种图像处理方法的流程图。如图3所示，该方法还可以包括：

S201：获取参考图像中每一相应图像块的处理曲线；其中，所述参考图像中每一相应图像块与所述待处理图像中每一图像块之间具有对应关系。

需要理解的是，所述待处理图像的参考图像一般已经进行过增强处理，故其中图像区域具有确定的处理曲线。更进一步的，对于处于一列视频序列的图像而言，其处理的方式一般基于一种固定的模式，也即，参考图像也经过分块、并对分块后的每一图像块进行增强处理，所以获取参考图像中与待处理图像中每一图像块相应的每一图像块的处理曲线是比较简单并易于执行的。

在一些实施例中，所述获取参考图像中每一图像块的处理曲线，可以包括：

按照预设算法对所述参考图像中每一相应图像块进行处理曲线计算，得到所述参考图像中每一相应图像块的处理曲线。

需要理解的是，如果参考图像是固定图像，如参考图像固定为第1帧图像或者中间一帧图像时，参考图像中每个图像块的处理曲线一般是基于预设算法对图像块的内容确定的；

如果参考图像不是固定帧图像，而是随着待处理图像依次更迭的图像帧，如将第N-1帧作为参考图像、第N帧为待处理图像时，由于整个视频序列属于时序排列的一系列图像处理的过程，在循环流动的过程中，待处理图像也依次更迭，即之前循环中的待处理图像可能为下一循环的参考图像；在这种情况下，所谓的参考图像实际上包含两种情况：参考图像为整个视频序列的第一帧图像，以及参考图像为整个视频序列的非第一帧图像。当参考图像为整个视频序列的第一帧图像时，该图像中每个图像块的处理曲线需要根据预设算法针对每个图像块的内容计算后确定；当参考图像为整个视频序列的非第一帧图像时，参考图像也采用类似当前的方法确定每个图像块的处理曲线，即仅有参考图像中变动较大的图像块的处理曲线是根据预设算法对图像块的内容进行计算后确定的。

S202：将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第二图像块集合；其中，所述第二图像块集合中每一图像块的内容变化量均不大于预设阈值；

S203：针对所述第二图像块集合中每一图像块，从所述参考图像中分别获取与所述第二图像块集合中每一图像块对应的相应图像块的处理曲线；

S204：将分别获取的相应图像块的处理曲线对应确定为所述第二图像块集合中每一图像块的处理曲线。

需要理解的是，第二图像块集合中的每一图像块的内容变化量均不超过预设阈值，可认为第二图像块集合中的每一图像块相对于参考图像中每一相应图像块没有明显的内容变化，可能是视频中不变的背景、场景等。由于内容相差少，利用参考图像中相应图像块的处理曲线作为待处理图像中每一图像块的处理曲线进而实现图像增强，并不会造成待处理图像增强效果的降低，而且能够节省大量运算，对于使用者而言能够提升视频加载速度，提升观看体验。

本实施例所提供的一种图像处理方法，通过上述实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，仅对大于预设阈值(即内容变化较大)的图像块重新计算处理曲线，而对于不大于预设阈值(即内容变化较小)的图像块直接采用参考图像中相应图像块的处理曲线；如此，在该过程中，可以实现采用计算量较少的方式来确定处理曲线，从而在保证增强效果的前提下，不仅减少了整个处理过程的冗杂计算量，提高了图像的处理效率，还降低了硬件的功耗，同时提高了终端设备的产品使用率。

在本申请的又一实施例中，所述预设算法可以包括限制对比度自适应直方图均衡CLAHE算法；

相应地，所述处理曲线可以包括CLAHE灰度拉伸曲线。

需要说明的：视频的图像处理包括很多方面，如对比度调整、亮度调整、降噪、锐利度调整等，同时，每方面的调整并不局限于一种算法。综合而言，凡是对于连续图像进行的增强处理，所采用的算法是基于图像分块，并且针对每一图像块内容重新计算处理曲线的，均可作为本申请的预设算法，可以利用本申请的思想减少其冗杂计算量，均属于本申请的保护范围之内。

进一步的，当所述预设算法为CLAHE算法，所述处理曲线为CLAHE灰度拉伸曲线时，由于CLAHE主要是对于灰度图像进行计算，那么首先还需要判断待处理图像是否为灰度图像。

在一些实施例中，对于S101来说，所述对待处理图像进行切割，获得多个图像块，可以包括：

判断所述待处理图像是否为灰度图像；

若所述待处理图像是灰度图像，则对所述待处理图像进行切割，以获得多个图像块；

若所述待处理图像不是灰度图像，则将所述待处理图像转换为灰度图像，对所述灰度图像进行切割，以获得多个图像块。

该步骤用于对待处理图像格式的进一步限定，而这与预设算法的要求相适应。对于采用CLAHE作为预设的图像处理算法时，因为该算法仅用于对灰度图像的处理，所以需要判断待处理图像是否为灰度图像，当待处理图像是灰度图像时，则可以直接对其进行切割以获得多个图像块，如果当待处理图像不是灰度图像时，则需要将待处理图像转换为灰度图像，然后进行切割以获得多个图像块。在此应当理解，所述转换的目的仅在于使得后续处理可以执行，故转换为灰度图像并不意味着得到物理上完整的灰度图像，只要使得原本无法进行CLAHE算法的图像转变为能够进行CLAHE算法的过程，均属于转换为灰度图像的范畴。

进一步地，在一些实施例中，所述当所述待处理图像不是灰度图像时，则将所述待处理图像转换为灰度图像，可以包括：

当所述待处理图像为彩色图像时，基于第一图像分量对所述待处理图像进行转换，得到所述灰度图像。

需要理解的是，对于彩色图像时，一般具有三个图像分量，包括第一图像分量、第二图像分量和第三图像分量；当彩色图像采用YUV格式时，这三个图像分量分别为亮度分量(用Y分量表示)、第一色度分量(用U分量表示)和第二色度分量(用V分量表示)；当彩色图像采用HSV格式时，这三个图像分量分别为色调分量(用H分量表示)、饱和度分量(用S分量表示)、明度分量(用V分量表示)。通常而言，第一图像分量可以为Y分量或者V分量；也就是说，当希望对于彩色图像进行CLAHE算法增强时，只要仅利用第一图像分量进行相关转换即可，例如YUV格式的彩色图像可以利用Y分量进行转换和处理计算，对于HSV格式的彩色图像可以利用V分量进行转换和处理计算。

相应的，所述计算所述多个图像块中每一图像块的内容变化量可以包括以下三个子步骤：

获取所述待处理图像中每一图像块各像素对应的灰度值以及参考图像中每一相应图像块各像素对应的灰度值；

对所述待处理图像中每一图像块各像素对应的灰度值与参考图像中每一相应图像块各像素对应的灰度值进行差值绝对值计算，得到所述待处理图像中每一图像块各像素对应的灰度变化量；

对所述待处理图像中每一图像块各像素对应的灰度变化量进行平均值计算，得到所述多个图像块中每一图像块的内容变化量。

需要理解的是，该子步骤中，采用像素点的灰度值作为属性值计算内容变化量，其中的灰度值也可以为其他含义相近的属性量或者经过转换后与灰度值代表含义相同或者相近的属性量，如果采用YUV格式的Y分量或者HSV格式中的V分量进行对应转换后的属性值。

同时该子步骤中，利用待处理图像中每一图像块与参考图像中相应图像块的灰度差值绝对值的平均数作为内容变化量，计算量较少，且结果能够较好的反应灰度值变化的差异，能够指示待处理图像中每一图像块相对参考图像中相应图像块的变化程度，进而筛选出变化程度比较大的图像块。

本申请实施例提供了一种图像处理方法，通过上述实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，仅对大于预设阈值(即内容变化较大)的图像块重新计算处理曲线，而对于不大于预设阈值(即内容变化较小)的图像块无需重新计算处理曲线；如此，在该过程中，可以实现采用计算量较少的方式来确定处理曲线，从而在保证增强效果的前提下，不仅减少了整个处理过程的冗杂计算量，提高了图像的处理效率，还降低了硬件的功耗，同时提高了终端设备的产品使用率。

本申请的再一实施例中，参见图4，其示出了本申请实施例提供的再一种图像处理方法的流程示意图，如图4所示，该详细流程可以包括：

S301：初始化相机程序，采集第一帧图像；

S302：判断图像是否是灰度图像；

需要理解的是：采用本流程的装置可以是手机、相机、平板电脑、笔记本电脑等装有摄像头终端，首先初始化相机程序，采集第一帧图像。因为后续采用的图像增强方法仅针对于灰度图像，所以首先确认所采集的第一帧图像是否是灰度图像。易于理解的是，在实际使用中，对于一个视频序列而言，仅存在一种图像格式，即不会存在一个视频中同时有YUV彩色图像帧和灰度图像帧的情况，基于此，仅需要对第一帧图像进行图像格式的检查，而无需对于接下来的每一帧图像都进行格式检查。

S303：当判断结果为否时，基于第一图像分量将第一帧图像转化为灰度图像；

需要理解的是：所述第一图像分量一般为亮度分量，如基于YUV格式的视频中的Y分量进行处理，或者基于HSV格式中的V分量进行处理；隐式理解的是，在对第一帧图像提取分量转换处理后，即默认在视频序列中后续其他图像帧中提取同样分量进行转换处理；这样，在得到灰度图像之后，将继续执行步骤S304。

S304：当判断结果为是时，对所采集的第一帧图像进行分块，初始化所有图像块的CLAHE灰度拉伸曲线，并进行第一帧图像的增强；

需要理解的是：采用的分块方式是基于数量进行分块，这也是实际中最常用的分块方式，例如，将图像分为(8*8)64块；当然，在比较极端的时候，也存在将图像分为1块的情况，即仍以整个待处理图像为单元进行处理。

这样，通过CLAHE算法，计算出第一帧图像中每一图像块的CLAHE灰度拉伸曲线，并依据其进行第一帧图像的增强。

S305：采集下一帧图像作为待处理图像；

S306：按前一帧的分块方式将待处理图像分块获得多个图像块；

需要理解的是：在实际使用中，对于视频序列来说，其每一帧图像的尺寸相同，所以按照第一帧图像的分块方式，将会得到与第一帧图像一一对应的图像块。

S307：针对待处理图像中的每一图像块，将所包含的所有像素点的灰度值与前一帧图像对应像素点的灰度值求差取绝对值的平均值，得到图像块的内容变化量；

这样，利用对应像素点的灰度值的差值绝对值的平均值作为内容变化量，作为指示该图像块相对于上一帧图像是否发生变化的指标。

S308：判断每个图像块的内容变化量是否大于预设阈值；

S309：当判断结果为是时，将该图像块放入第一图像块集合；

S310：当判断结果为否时，将该图像块放入第二图像块集合；

这样，通过将内容变化量与预设阈值相比较，将待处理图像中的图像块分为第一图像块集合和第二图像块集合，例如，对于固定道路上有汽车驶过的视频，当内容变化量超过预设阈值，则可认为该图像块的主要内容为移动中的汽车，当内容变化量不超过预设阈值时，可认为该图像块的主要内容为道路、固定设施，进而根据上述的分类进行不同的后续处理。

S311：对于第一图像块集合中的每一图像块，利用CLAHE算法重新计算CLAHE灰度拉伸曲线；

这样，对于内容变化量超过预设阈值的第一图像块集合，利用CLAHE算法重新计算其中图像块的CLAHE灰度拉伸曲线，以防止放大噪声或者增强效果较差的问题。

S312：对于第二图像块集合中的每一图像块，取上一帧图像中图像块的CLAHE灰度拉伸曲线作为第二图像块集合中相应图像块的CLAHE灰度拉伸曲线；

这样，对于内容变化量不超过预设阈值的第二图像块集合，利用取上一帧图像中图像块的CLAHE灰度拉伸曲线作为第二图像块集合中相应图像块的CLAHE灰度拉伸曲线，可以在不牺牲增强效果的前提下减少冗杂计算量，降低对硬件的耗损，对于使用者来说，也可以在保留原有观感的情况下增加加载速度，提高用户体验。

S313：利用所得到的CLAHE灰度拉伸曲线对待处理图像进行增强，并再次进入S305。

这样，由于CLAHE需要整合全部图像块的处理曲线然后对待处理图像进行增强处理，所以在确定待处理图像中所有图像块的CLAHE灰度拉伸曲线后，对待处理图像进行增强处理，并进行下一帧的循环，直至整个视频处理完成。

本申请实施例提供了一种图像处理方法，通过上述实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，通过对待处理图像中每一个图像块的内容变化量的比较，仅对大于预设阈值(即内容变化较大)的图像块重新计算处理曲线，而对于不大于预设阈值(即内容变化较小)的图像块无需重新计算处理曲线；如此，在该过程中，可以实现采用计算量较少的方式来确定处理曲线，从而在保证增强效果的前提下，不仅减少了整个处理过程的冗杂计算量，提高了图像的处理效率，还降低了硬件的功耗，同时提高了终端设备的产品使用率。

基于前述实施例相同的发明构思，参见图5，其示出了本申请实施例提供的一种图像处理装置40的组成结构示意图。如图5所示，所述图像处理装置40可以包括切割模块401、计算模块402、第一选取模块403，第一配置模块404、增强模块405；其中，

所述切割模块401，配置为对待处理图像进行切割，获得多个图像块；

所述计算模块402，配置为计算所述多个图像块中每一图像块的内容变化量；其中，所述内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；

所述第一选取模块403，配置为将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，所述第一图像块集合中每一图像块的内容变化量均大于预设阈值；

所述第一配置模块404，配置为对所述第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到所述第一图像块集合中每一图像块的处理曲线；

所述增强模块405：配置为基于所得到的处理曲线，对所述待处理图像进行增强处理。

其中，所述预设算法，可以为CLAHE算法或其他基于分块思想用于图像处理的增强算法。当预设算法采用CLAHE算法时，相应的，所述处理曲线可以为CLAHE灰度拉伸曲线。

其中，在一部分实施例中，所述计算模块402还配置为：

获取所述待处理图像中每一图像块各像素对应的灰度值以及参考图像中每一相应图像块各像素对应的灰度值；

对所述待处理图像中每一图像块各像素对应的灰度值与参考图像中每一相应图像块各像素对应的灰度值进行差值绝对值计算，得到所述待处理图像中每一图像块各像素对应的灰度变化量；

对所述待处理图像中每一图像块各像素对应的灰度变化量进行平均值计算，得到所述多个图像块中每一图像块的内容变化量。

上述方案中，参见图5，所述图像处理装置40还可以包括获取模块406，配置为获取参考图像中每一相应图像块的处理曲线；其中，所述参考图像中每一相应图像块与所述待处理图像中每一图像块之间具有对应关系。

相应地，参见图5，所述图像处理装置40还可以包括第二选取模块407和第二配置模块408，其中，

所述第二选取模块407，配置为将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第二图像块集合；其中，所述第二图像块集合中每一图像块的内容变化量均不大于预设阈值；

所述第二配置模块408，配置为针对所述第二图像块集合中每一图像块，从所述参考图像中分别获取与所述第二图像块集合中每一图像块对应的相应图像块的处理曲线；以及将分别获取的相应图像块的处理曲线对应确定为所述第二图像块集合中每一图像块的处理曲线。

在上述方案中，切割模块401，还配置为：

判断所述待处理图像是否为灰度图像；

若所述待处理图像是灰度图像，则对所述待处理图像进行切割，以获得多个图像块；

若所述待处理图像不是灰度图像，则将所述待处理图像转换为灰度图像，对所述灰度图像进行切割，以获得多个图像块。

需要理解地是，本实施例中，“模块”、“单元”可以是部分电路、部分处理器、部分程序或软件等等，可以是工业集成化的、也可以是非集成化的，而且在本实施例中，各组成部分可以集成在一个处理模块中，也可以是各个单元门单独物理存在，也可以是单元、模块交叉集成在一个部分中，上述集成的单元/模块既可以采用硬件形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有图像处理程序，所述图像处理程序被至少一个处理器执行时实现前述实施例中任一项所述的方法的步骤。

基于上述图像处理装置40的组成以及计算机存储介质，参见图6，其示出了本申请实施例提供的图像处理装置40的具体硬件结构，可以包括：通信接口501、存储器502和处理器503；各个组件通过总线系统504耦合在一起。可理解，总线系统504用于实现这些组件之间的连接通信。总线系统504除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统504。其中，通信接口501，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

存储器502，用于存储能够在处理器503上运行的计算机程序；

处理器503，用于在运行所述计算机程序时，执行：

对待处理图像进行切割，获得多个图像块；

计算所述多个图像块中每一图像块的内容变化量；其中，所述内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；

将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，所述第一图像块集合中每一图像块的内容变化量均大于预设阈值；

对所述第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到所述第一图像块集合中每一图像块的处理曲线；

基于所得到的处理曲线，对所述待处理图像进行增强处理。

可以理解，本申请实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本申请描述的系统和方法的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器503可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器503中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器503可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器503读取存储器502中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。其中，对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。对于软件实现，可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所描述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地，作为另一个实施例，处理器503还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法。

本申请实施例中的终端设备可以是智能手机、平板电脑、数码相机、摄像机等具有摄像头的电子设备。参见图7，其示出了本申请实施例提供的一种终端设备的组成结构示意图。如图7所示，终端设备50至少可以包括有前述实施例中任一项所述的图像处理装置40。这样，终端设备50通过图像处理装置40可以使得无需对待处理图像中所有图像块的处理曲线进行重新计算，仅对变化较大的图像块重新计算处理曲线，从而可以在保证增强效果的前提下，减少冗杂计算量、提高处理效率，增加使用者的预览或者观看体验。

需要理解的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

对待处理图像进行切割，获得多个图像块；

计算所述多个图像块中每一图像块的内容变化量；其中，所述内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；

将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，所述第一图像块集合中每一图像块的内容变化量均大于预设阈值；

对所述第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到所述第一图像块集合中每一图像块的处理曲线；

基于所得到的处理曲线，对所述待处理图像进行增强处理；

在所述对待处理图像进行切割，获得多个图像块之前，所述方法还包括：

获取参考图像中每一相应图像块的处理曲线；其中，所述参考图像中每一相应图像块与所述待处理图像中每一图像块之间具有对应关系；

在所述计算所述多个图像块中每一图像块的内容变化量之后，所述方法还包括：

将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第二图像块集合；其中，所述第二图像块集合中每一图像块的内容变化量均不大于预设阈值；

针对所述第二图像块集合中每一图像块，从所述参考图像中分别获取与所述第二图像块集合中每一图像块对应的相应图像块的处理曲线；

将分别获取的相应图像块的处理曲线对应确定为所述第二图像块集合中每一图像块的处理曲线。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取参考图像中每一图像块的处理曲线，包括：

按照预设算法对所述参考图像中每一相应图像块进行处理曲线计算，得到所述参考图像中每一相应图像块的处理曲线。

3.根据权利要求1所述的图像处理方法，其特征在于，所述计算所述多个图像块中每一图像块的内容变化量，包括：

获取所述待处理图像中每一图像块各像素对应的灰度值以及参考图像中每一相应图像块各像素对应的灰度值；

对所述待处理图像中每一图像块各像素对应的灰度值与参考图像中每一相应图像块各像素对应的灰度值进行差值绝对值计算，得到所述待处理图像中每一图像块各像素对应的灰度变化量；

对所述待处理图像中每一图像块各像素对应的灰度变化量进行平均值计算，得到所述多个图像块中每一图像块的内容变化量。

4.根据权利要求1所述的图像处理方法，其特征在于：所述预设算法包括限制对比度自适应直方图均衡CLAHE算法；

相应地，所述处理曲线包括CLAHE灰度拉伸曲线。

5.根据权利要求1所述的图像处理方法，其特征在于，所述对待处理图像进行切割，获得多个图像块，包括：

判断所述待处理图像是否为灰度图像；

若所述待处理图像是灰度图像，则对所述待处理图像进行切割，以获得多个图像块；

若所述待处理图像不是灰度图像，则将所述待处理图像转换为灰度图像，对所述灰度图像进行切割，以获得多个图像块。

6.根据权利要求5所述的图像处理方法，其特征在于，所述若所述待处理图像不是灰度图像，则将所述待处理图像转换为灰度图像，包括：

当所述待处理图像为彩色图像时，基于第一图像分量对所述待处理图像进行转换，得到所述灰度图像。

7.一种图像处理装置，其特征在于，包括：

切割模块，配置为对待处理图像进行切割，获得多个图像块；

计算模块，配置为计算所述多个图像块中每一图像块的内容变化量；其中，所述内容变化量用于指示待处理图像中每一图像块相对于参考图像中相应图像块的变化量；

第一选取模块，配置为将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第一图像块集合；其中，所述第一图像块集合中每一图像块的内容变化量均大于预设阈值；

第一配置模块，配置为对所述第一图像块集合中每一图像块基于预设算法进行处理曲线计算，得到所述第一图像块集合中每一图像块的处理曲线；

增强模块，配置为基于所得到的处理曲线，对所述待处理图像进行增强处理；

获取模块，配置为获取参考图像中每一相应图像块的处理曲线；其中，所述参考图像中每一相应图像块与所述待处理图像中每一图像块之间具有对应关系；

第二选取模块，配置为将所述多个图像块中每一图像块的内容变化量与预设阈值进行比较，确定第二图像块集合；其中，所述第二图像块集合中每一图像块的内容变化量均不大于预设阈值；

第二配置模块，配置为针对所述第二图像块集合中每一图像块，从所述参考图像中分别获取与所述第二图像块集合中每一图像块对应的相应图像块的处理曲线；以及将分别获取的相应图像块的处理曲线对应确定为所述第二图像块集合中每一图像块的处理曲线。

8.一种图像处理装置，其特征在于，包括存储器和处理器；其中，

所述存储器，配置为存储能够在所述处理器上运行的计算机程序；

所述处理器，配置为在运行所述计算机程序时，执行如权利要求1-6任一项所述的方法。

9.一种计算机可读储存介质，其特征在于，所述计算机可读介质储存有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1-6任一项所述的方法。

10.一种终端设备，其特征在于，所述终端设备至少包括如权利要求7或8所述的图像处理装置。