CN103440637B - 用于图像序列增强的方法和装置 - Google Patents

Abstract

本发明公开了一种用于图像序列增强的方法和装置，其中，该方法包括：对于多个关联图像中的每个图像，确定该图像中每个单元的属性值，其中，每个单元包括至少一个像素；根据预定的属性值与映射函数的对应关系，确定该图像中每个单元所对应的映射函数，其中，属性值与映射函数的对应关系根据多个关联图像中的至少一帧图像得到；对于每个图像，根据该图像中所有单元的映射函数确定该图像的映射图像。本发明通过计算关联图像中的部分图像的映射函数，并根据预定的属性值与映射函数的对应关系确定其它图像的映射图像，能够减少对其它图像的遍历次数，减少图像增强方法的计算量，快速有效地对图像序列进行增强，应用范围广泛。

Description

用于图像序列增强的方法和装置

技术领域

本发明涉及图像处理领域，并且特别地，涉及一种用于图像序列增强的方法和装置。

背景技术

在图像采集系统中，不可避免的会出现一些图像细节变弱的情况（如：曝光不足，恶劣天气条件等）。【文献1】提出了一种对图像进行直方图均衡化处理的图像增强算法，该方法把原始图像的属性直方图从比较集中的某个属性区间变成在全部属性范围内的均匀分布。直方图均衡化就是对图像进行非线性拉伸，重新分配图像像素值，使一定属性范围内的像素数量大致相同。直方图均衡化就是把给定图像的直方图分布改变成“均匀”分布直方图分布。【文献1】提出的图像增强算法具有很强的普适性，但其计算量过大，限制了该算法的应用范围。

其中，文献1为K.Zuiderveld,“ContrastLimitedAdaptiveHistogramEqualization,”ChapterVIII.5,GraphicsGemsIV.P.S.Heckbert(Eds.),Cambridge,MA,AcademicPress,1994。

针对相关技术中对图像序列进行均衡化处理的方法计算量过大，限制了该算法的应用范围的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中对图像序列进行均衡化处理的方法计算量过大，限制了该算法的应用范围的问题，本发明提出一种用于图像序列增强的方法和装置，能够减少遍历图像的次数，节约图像增强方法的计算量，快速有效地对图像序列进行增强，应用范围广泛。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种用于图像序列增强的方法。

该方法包括：

对于多个关联图像中的每个图像，确定该图像中每个单元的属性值，其中，每个单元包括至少一个像素；

根据预定的属性值与映射函数的对应关系，确定该图像中每个单元所对应的映射函数，其中，属性值与映射函数的对应关系根据多个关联图像中的至少一帧图像得到；

对于每个图像，根据该图像中所有单元的映射函数确定该图像的映射图像。

进一步地，属性值与映射函数的对应关系根据多个关联图像中的至少一帧图像得到包括：

对于多个关联图像中至少一帧图像中的每个图像，遍历该图像，确定该图像内每个单元的直方图；

根据该图像内每个单元的直方图得到每个单元对应的映射函数。

此外，在每个单元包括多个像素的情况下，在确定每个单元所对应的映射函数之后，上述方法进一步包括：

对于每个图像内至少部分单元的每个像素，计算该单元的至少一邻近单元中每个邻近单元与该像素的插值系数，并根据每个邻近单元对应的插值系数和映射函数，确定该像素的映射函数；

并且，根据每个图像中所有单元的映射函数确定该图像的映射图像包括：

根据该图像中所有像素的映射函数，得到该图像的映射图像。

优选地，在得到多个图像中一个或多个图像内的至少部分像素的映射函数的情况下，根据该像素的插值系数确定其他图像中对应位置处像素的映射函数。

优选地，在确定一帧图像的映射图像时，对于该图像内的每个位置，优先将该图像该位置处像素的属性与已知图像中对应位置像素的属性进行比较，并在相似度大于预定阈值的情况下，将已知图像中该位置处像素的映射值作为该图像对应位置处像素的映射值，其中，已知图像为已确定映射图像的图像。

根据本发明的一个方面，提供了一种用于图像序列增强的装置。

该装置包括：

第一确定模块，对于多个关联图像中的每个图像，用于确定该图像中每个单元的属性值，其中，每个单元包括至少一个像素；

第二确定模块，用于根据预定的属性值与映射函数的对应关系，确定该图像中每个单元所对应的映射函数，其中，属性值与映射函数的对应关系根据多个关联图像中的至少一帧图像得到；

第三确定模块，对于每个图像，用于根据该图像中所有单元的映射函数确定该图像的映射图像。

进一步地，对于多个关联图像中至少一帧图像中的每个图像，上述第二确定模块还用于遍历该图像，确定该图像内每个单元的直方图；

并且，上述第二确定模块还用于根据该图像内每个单元的直方图得到每个单元对应的映射函数。

此外，在每个单元包括多个像素的情况下，在确定每个单元所对应的映射函数之后，上述装置进一步包括：

计算模块，对于每个图像内至少部分单元的每个像素，用于计算该单元的至少一邻近单元中每个邻近单元与该像素的插值系数，并根据每个邻近单元对应的插值系数和映射函数，确定该像素的映射函数；

第四确定模块，用于根据每个图像中所有单元的映射函数确定该图像的映射图像包括：

获得模块，用于根据该图像中所有像素的映射函数，获得该图像的映射图像。

并且，在计算模块得到多个图像中一个或多个图像内的至少部分像素的映射函数的情况下，计算模块用于根据该像素的插值系数确定其他图像中对应位置处像素的映射函数。

优选地，在确定一帧图像的映射图像时，第三确定模块用于对于该图像内的每个位置，优先将该图像该位置处像素的属性与已知图像中对应位置像素的属性进行比较，并在相似度大于预定阈值的情况下，将已知图像中该位置处像素的映射值作为该图像对应位置处像素的映射值，其中，已知图像为已确定映射图像的图像。

本发明通过计算关联图像中的部分图像的属性值和映射函数，并根据预定的属性值与映射函数的对应关系，从而确定其它图像的映射图像，能够减少对其它图像的遍历次数，减少图像增强方法的计算量，快速有效地对图像序列进行增强，应用范围广泛。

附图说明

图1是根据本发明实施例的用于图像序列增强的方法的流程图；

图2是现有技术中CLAHE算法的示意图；

图3是根据本发明另一个实施例的基于CLAHE算法的用于图像序列增强的方法；

图4是根据本发明又一个实施例的计算插值系数的示意图；

图5是根据本发明实施例的用于图像序列增强的装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种用于图像序列增强的方法。

如图1所示，根据本发明实施例的方法包括：

步骤S101，对于多个关联图像（即图像序列，可以由摄相机或其它设备采集而得到的多个图像）中的每个图像，确定该图像中每个单元的属性值，其中，每个单元包括至少一个像素，如果每个单元包括多个像素，则可以预先对图像进行单元划分，并且可以以像素为最小单位划分为规则或不规则的单元，属性值可以是灰度值或者YUV值；

步骤S103，根据预定的属性值与映射函数的对应关系，确定该图像中每个单元所对应的映射函数，其中，属性值与映射函数的对应关系根据多个关联图像中的至少一帧图像得到；

步骤S105，对于每个图像，根据该图像中所有单元的映射函数确定该图像的映射图像，例如，可以遍历图像序列中的第一帧图像，然后得出该图像每个单元的属性值、直方图及映射函数，然后再遍历该图像时，根据每个单元的映射函数得到该图像的映射图像，然后，在对第二帧图像进行遍历时，只要确定每个单元的属性值，即可从第一帧图像中找出与单元属性值相同的单元，并获取第一帧图像中该单元的映射函数作为第二帧图像中该单元的映射函数，从而得到第二帧图像的映射图像，后面多帧图像可以依次类推。

进一步地，属性值与映射函数的对应关系根据多个关联图像中的至少一帧图像得到包括：对于多个关联图像中至少一帧图像中的每个图像，遍历该图像，确定该图像内每个单元的直方图；根据该图像内每个单元的直方图得到每个单元对应的映射函数。

根据本发明的一个实施例，可以提供一种基于直方图均衡化算法的图像增强方法，主要包括：

遍历第T帧图像获取每个像素的灰度值；

根据获取的灰度值计算第T帧图像的直方图P₁和映射函数S₁，其中，根据映射函数S₁可以在第二次遍历第T帧图像的时候增强第T帧图像自身，从而得到增强后的映射图像；

将P₁、S₁用于增强第T+1至T+N帧图像，此外，再对第T+N+1帧图像计算直方图P₂和映射函数S₂，再对第T+N+1帧图像进行图像增强得到对应的映射图像，以此类推。

$P_r\left(r_k\right)=\frac{n_k}{n}$

$s_k=T\left(r_k\right)=\underset{j=0}{\overset{k}{\mathrm{\Σ}}}P\left(r_k\right)k=\mathrm{0,1,2}...,L-1$

其中，P_r(r_k)为直方图，n_k是灰度值为r_k的像素的个数；

T(r_k)为直方图均衡化映射函数，其中L为图像中可能的灰度值总数。

根据本发明的另一个实施例，在每个单元包括多个像素的情况下，在确定每个单元所对应的映射函数之后，根据本发明实施例的方法可以进一步对于每个图像内至少部分单元的每个像素，计算该单元的至少一邻近单元中每个邻近单元与该像素的插值系数，并根据每个邻近单元对应的插值系数和映射函数，确定该像素的映射函数；

并且，根据每个图像中所有单元的映射函数确定该图像的映射图像可以根据该图像中所有像素的映射函数，得到该图像的映射图像。

优选地，在得到多个图像中一个或多个图像内的至少部分像素的映射函数的情况下，根据该像素的插值系数确定其他图像中对应位置处像素的映射函数。

在实际应用中，本发明的方法可以基于抑制对比度的直方图均衡化算法（简称CLAHE）进行。

如图2所示，CLAHE算法的主要步骤：

对需要进行均衡算法的灰度图像进行分块（M*N块）；

计算对比度抑制因子；

统计每个块的灰度属性，然后计算各个块的直方图；

根据对比度抑制因子裁剪直方图，可以预先设定饱和阈值，并且把比饱和阈值大的值平均分给本块中的其它直方图区间，通过对块的直方图进行峰值切割可以抑制每个块的对比度。

产生直方图映射函数；

对块的每个像素按照双线性插值的方式计算各个像素的直方图映射值。

如图3所示，为根据本发明另一个实施例的基于CLAHE算法的用于图像序列增强的均衡方法，该均衡方法可以包括：

如图3中①部分所示，使用视频（即图像序列）第一帧计算双线性插值所需要的插值系数；

如图3中②部分所示，对第T帧图像计算直方图和映射函数并增强得出第T帧图像的映射图像，用T帧图像的映射函数对其后第T+1至T+n帧图像进行增强，即，在对第T+1至T+n帧中的每帧图像进行增强的时候，遍历该帧图像，得出该图像中每个块的灰度值，然后从第T帧图像中查询到与该灰度值对应的灰度值的块，获取第T帧图像中查询到的块的映射函数作为该帧图像中该块的映射函数，从而得出该帧图像的映射图像；

如图3中③所示，在遍历T+n+1帧图像后，计算该帧中块的直方图和映射函数然后对该帧图像进行增强，供后续使用；

进一步地，未在图3中示出，基于CLAHE增强算法的方法还包括：利用映射函数进行双线性插值映射，利用邻域映射函数加权求得最终的增强图像值，如图4所示，为计算双线性插值系数的示意图，如下式所述：

P_t+1(i,j)=a₁H^t _left,up+a₂H^t _left,bottom+a₃H^t _right,up+a₄H^t _right,bottom

其中： $a_1=\frac{s*y}{(r+s)*(x+y)}$

$a_2=\frac{s*x}{(r+s)*(x+y)}$

$a_3=\frac{r*y}{(r+s)*(x+y)}$

$a_4=\frac{r*x}{(r+s)*(x+y)}$

其中：H^t _left,up为像素P_t+1(i,j)左上角的前一帧直方图映射函数，a₁为对应的插值系数（系数计算中的位置变量如图4所示）；H^t _left,bottom为像素P_t+1(i,j)左下角的前一帧直方图映射函数，a₂为对应的插值系数；H^t _right,up为像素P_t+1(i,j)右上角的前一帧直方图映射函数，a₃为对应的插值系数；H^t _right,bottom为像素P_t+1(i,j)右下角的前一帧直方图映射函数，a₄为对应的插值系数。

优选地，对于算法中应用的双线性插值算法系数的计算也可以进一步优化的，对于一个视频流，其每帧图像的尺寸是固定的，分块系数确定后，可以确定所有视频图像序列中像素的双线性插值系数，利用视频序列的第一帧图像计算双线性插值系数，然后将双线性插值系数存储在内存中，用于其它图像的映射函数计算。通过使用相同的双线性插值系数可以减少计算量，同时有利于针对不同类型的算法运行平台做出进一步的优化。

通过本发明的技术方案，可以避免CLAHE增强算法中需要多次遍历图像的缺点，且对于本发明的技术方案，也不需要针对视频中的图像序列的每帧图像都进行插值系数计算，这是由于视频序列有尺寸相同，分块系统相同的特征，所以根据本发明实施例的算法利用此特征可以减少计算量，

在一个优选的实施例中，在确定一帧图像的映射图像时，对于该图像内的每个位置，优先将该图像该位置处像素的属性与已知图像中对应位置像素的属性进行比较，并在相似度大于预定阈值的情况下，将已知图像中该位置处像素的映射值作为该图像对应位置处像素的映射值，其中，已知图像为已确定映射图像的图像。

根据本发明的又一个实施例，可以将像素变化检测（优选地，选用差分计算进行像素变化检测）的结果引入到本发明的算法中。差分计算是指使用不同的两帧（例如，T和T+N）视频图像进行逐像素做差。对于视频图像中第j个像素其差分值为D_j，如果D_j小于某个阈值（例如，5），可以认为两帧图像几乎没有变化，从而可以直接引用T帧视频图像增强之后的像素值作为T+N帧需要增强的像素的值，从而可以直接减少插值运算的次数，从而减少该算法的整体的计算量，从而避免由于双线性插值算法在CLAHE算法中的大量计算量。

根据本发明的一个方面，提供了一种用于图像序列增强的装置。

如图5所示，根据本发明实施例的装置包括：

第一确定模块51，对于多个关联图像中的每个图像，用于确定该图像中每个单元的属性值，其中，每个单元包括至少一个像素；

第二确定模块52，用于根据预定的属性值与映射函数的对应关系，确定该图像中每个单元所对应的映射函数，其中，属性值与映射函数的对应关系根据多个关联图像中的至少一帧图像得到；

第三确定模块53，对于每个图像，用于根据该图像中所有单元的映射函数确定该图像的映射图像。

进一步地，对于多个关联图像中至少一帧图像中的每个图像，上述第二确定模块还用于遍历该图像，确定该图像内每个单元的直方图；

并且，上述第二确定模块52还用于根据该图像内每个单元的直方图得到每个单元对应的映射函数。

此外，在每个单元包括多个像素的情况下，在确定每个单元所对应的映射函数之后，根据本发明实施例的装置进一步包括：

计算模块（未示出），对于每个图像内至少部分单元的每个像素，用于计算该单元的至少一邻近单元中每个邻近单元与该像素的插值系数，并根据每个邻近单元对应的插值系数和映射函数，确定该像素的映射函数；

第四确定模块（未示出），用于根据每个图像中所有单元的映射函数确定该图像的映射图像包括：

获得模块（未示出），用于根据该图像中所有像素的映射函数，获得该图像的映射图像。

并且，在计算模块得到多个图像中一个或多个图像内的至少部分像素的映射函数的情况下，计算模块用于根据该像素的插值系数确定其他图像中对应位置处像素的映射函数。

优选地，在确定一帧图像的映射图像时，第三确定模块53用于对于该图像内的每个位置，优先将该图像该位置处像素的属性与已知图像中对应位置像素的属性进行比较，并在相似度大于预定阈值的情况下，将已知图像中该位置处像素的映射值作为该图像对应位置处像素的映射值，其中，已知图像为已确定映射图像的图像。

本发明的技术方案拓展了图像增强算法的适用范围，如可以将本发明的技术方案应用到PC的实时处理高解像度图像、以及在嵌入式平台（如DSP）上实时进行增强处理等，在此对这两个应用进行描述。

在PC上实时处理高解像度图像时应用本发明的技术方案：在PC平台上内部存储空间对于图像预处理是足够的，则按照本发明的技术方案进行创新，可以减少图像的遍历次数，在整个视频流中用第一帧计算出各个像素对应的双线性插值系数，在内存中存储起来，在后续的视频帧中运行插值算法时索引系数值，同时采用多帧共用直方图映射函数的机制，可以减少对高解像度图像大量数据的访问，再利用帧间差分的结果减少大量双线性插值的计算，减少计算量和运行时间。

在DSP嵌入式平台上运用CLAHE算法实时处理图像时应用本发明的技术方案：在DSP平台中对片上存储空间是非常小的，往往不足以存储多幅图像，而需要将图像存储到外存中，这样就带来了问题，对外部存储空间的访问是非常耗时间的。在DSP上运行CLAHE算法基本思想按照原算法实施，对图像数据的操作则可以按照本发明的技术方案进行处理，T帧图像计算直方图和对应的映射函数用于T+N帧图像的增强处理，以此类推，每次处理都可以减少M*N次（图像被分成了M*N块）图像块从外部存储到内存中的搬移操作，再加入帧间差分优化选项减少大量的双线性插值计算，能极大的提高其实时性。

综上所述，借助于本发明的上述技术方案，本发明通过计算关联图像中的部分图像的属性值和映射函数，并根据预定的属性值与映射函数的对应关系，从而确定其它图像的映射图像，能够减少对其它图像的遍历次数，减少图像增强方法的计算量，快速有效地对图像序列进行增强，本发明提出了一种图像增强算法的快速计算方法，对原视频图像或经变换后的视频图像计算第T帧的直方图信息用于后T+N帧的直方图均衡；并且本发明可以分块计算第T帧图像的直方图信息用于后T+N帧图像的自适应直方图均衡；还针对自适应直方图均衡加入像素变化检测结果来减少需要进行双线性插值计算的像素可以提高运行速度；此外，针对自适应直方图均衡预先计算好增强算法需要的双线性插值系数也可以减少计算量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于图像序列增强的方法，其特征在于，包括：

对于多个关联图像中的每个图像，确定该图像中每个单元的属性值，其中，每个单元包括至少一个像素；

根据预定的属性值与映射函数的对应关系，确定该图像中每个单元所对应的映射函数，其中，属性值与映射函数的对应关系根据所述多个关联图像中的至少一帧图像得到；

对于每个图像，根据该图像中所有单元的映射函数确定该图像的映射图像；

在每个单元包括多个像素的情况下，在确定每个单元所对应的映射函数之后，对于每个图像内至少部分单元的每个像素，计算该单元的至少一邻近单元中每个邻近单元与该像素的插值系数，并根据每个邻近单元对应的插值系数和映射函数，确定该像素的映射函数；

在得到所述多个图像中一个或多个图像内的至少部分像素的映射函数的情况下，根据该像素的插值系数确定其他图像中对应位置处像素的映射函数。

2.根据权利要求1所述的方法，其特征在于，属性值与映射函数的对应关系根据所述多个关联图像中的至少一帧图像得到包括：

对于所述多个关联图像中至少一帧图像中的每个图像，遍历该图像，确定该图像内每个单元的直方图；

根据该图像内每个单元的直方图得到每个单元对应的映射函数。

3.根据权利要求1所述的方法，其特征在于，在每个单元包括多个像素的情况下，在确定每个单元所对应的映射函数之后，根据每个图像中所有单元的映射函数确定该图像的映射图像包括：

根据该图像中所有像素的映射函数，得到该图像的映射图像。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在确定一帧图像的映射图像时，对于该图像内的每个位置，优先将该图像该位置处像素的属性与已知图像中对应位置像素的属性进行比较，并在相似度大于预定阈值的情况下，将所述已知图像中该位置处像素的映射值作为该图像对应位置处像素的映射值，其中，所述已知图像为已确定映射图像的图像。

5.一种用于图像序列增强的装置，其特征在于，包括：

第一确定模块，对于多个关联图像中的每个图像，用于确定该图像中每个单元的属性值，其中，每个单元包括至少一个像素；

第二确定模块，用于根据预定的属性值与映射函数的对应关系，确定该图像中每个单元所对应的映射函数，其中，属性值与映射函数的对应关系根据所述多个关联图像中的至少一帧图像得到；

第三确定模块，对于每个图像，用于根据该图像中所有单元的映射函数确定该图像的映射图像；

在每个单元包括多个像素的情况下，在确定每个单元所对应的映射函数之后，所述装置进一步包括：

计算模块，对于每个图像内至少部分单元的每个像素，用于计算该单元的至少一邻近单元中每个邻近单元与该像素的插值系数，并根据每个邻近单元对应的插值系数和映射函数，确定该像素的映射函数；

在所述计算模块得到多个图像中一个或多个图像内的至少部分像素的映射函数的情况下，所述计算模块用于根据该像素的插值系数确定其他图像中对应位置处像素的映射函数。

6.根据权利要求5所述的装置，其特征在于，对于所述多个关联图像中至少一帧图像中的每个图像，所述第二确定模块还用于遍历该图像，确定该图像内每个单元的直方图；

并且，所述第二确定模块还用于根据该图像内每个单元的直方图得到每个单元对应的映射函数。

7.根据权利要求5所述的装置，其特征在于，在每个单元包括多个像素的情况下，在确定每个单元所对应的映射函数之后，所述装置进一步包括：

第四确定模块，用于根据每个图像中所有单元的映射函数确定该图像的映射图像包括：

获得模块，用于根据该图像中所有像素的映射函数，获得该图像的映射图像。

8.根据权利要求5至7中任一项所述的装置，其特征在于，在确定一帧图像的映射图像时，所述第三确定模块用于对于该图像内的每个位置，优先将该图像该位置处像素的属性与已知图像中对应位置像素的属性进行比较，并在相似度大于预定阈值的情况下，将所述已知图像中该位置处像素的映射值作为该图像对应位置处像素的映射值，其中，所述已知图像为已确定映射图像的图像。