CN114187204A - 黑边优化的图像处理方法及其装置、设备和存储介质 - Google Patents

Abstract

本发明提供了一种黑边优化的图像处理方法，包括提供原始图像；依据原始图像获取所有像素点的原始数据，依据原始图像依次获取第一图像、第一亮度数据、第二图像、第二亮度数据和拉伸增益值，依据原始数据和拉伸增益值获取输出数据；依据第二亮度数据确定图像的高亮区域；依据高亮区域获取黑边像素点；调整拉伸增益值，以调整黑边像素点的输出数据得到黑边优化数据；将黑边优化数据输出。本发明实现了对黑边像素点的处理，避免了黑边像素点的滤除及图像的整体动态范围的牺牲，在保证图像的整体动态范围的情况下对黑边进行处理，保证了图像黑边的处理质量。本发明还提供了用于实现所述黑边优化的图像处理方法的装置、设备和存储介质。

Description

黑边优化的图像处理方法及其装置、设备和存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种黑边优化的图像处理方法及其装置、设备和存储介质。

背景技术

CMOS图像传感器在进行高动态范围(High-Dynamic Range，HDR)图像曝光的时候，由于受限于传感器的限制，曝光比例固定，例如长、中、短三帧曝光的固定曝光比例为256:16:1，在夜晚等一些场景环境下会导致长中短三帧图像曝光的动态范围相差过大，在对融合后的HDR图像进行色调映射(Tone Mapping)的时候会出现局部拉伸比例过高的现象，从而导致像素点的数据从亮度域转换为RAW域的时候会出现的局部光晕现象，也即高亮灯光周围的黑边现象。

目前常规的Tone Mapping算法上并没有对上述的局部光晕和黑边问题进行专门的处理，现有技术中的算法可以通过牺牲图像整体的动态范围来避免局部光晕和黑边的问题，但是牺牲了图像的整体的动态范围，会降低图像的质量。

公开号为CN 105450908 A的中国专利公开了一种黑边优化的图像处理方法视频图像消除黑边的方法和装置，该方法采用双预设阈值和判断连续变化的方法，检测在内存中的图像黑边然后获得数据有效图像信号的起始位置，最终达到消除黑边的目的。该装置包括：数据获取模块、黑边检测统计模块、黑边消除模块、设定接收模块、输出模块。该发明采用双预设阈值和判断连续变化的方法，检测在内存中的图像黑边然后获得数据有效图像信号的起始位置最终达到消除黑边的目的，但是牺牲了图像整体的动态范围。

因此，有必要提供一种黑边优化的图像处理方法及其装置、设备和存储介质以解决上述的现有技术中存在的问题。

发明内容

本发明的目的在于提供一种黑边优化的图像处理方法及其装置、设备和存储介质，以在保留图像的整体动态范围的同时对黑边进行优化处理。

为实现上述目的，本发明的所述黑边优化的图像处理方法，包括步骤：

提供原始图像，依据所述原始图像获取所有像素点的原始数据；

对所述原始图像进行处理以得到第一图像，依据所述第一图像获取所有像素点的第一亮度数据；

预设亮度区间，对所述第一图像进行色调映射以获取第二图像，依据所述第二图像获取所有像素点的第二亮度数据，使得所述所有像素点的第二亮度数据均处于所述亮度区间内；

依据所述第一亮度数据和所述第二亮度数据获取拉伸增益值，依据所述原始数据和所述拉伸增益值获取输出数据；

依据所述所有像素点的第二亮度数据确定图像的高亮区域，依据所述高亮区域内像素点的所述第二亮度数据和所述输出数据获取黑边像素点；

调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据，将所述黑边优化数据作为图像的终点数据输出。

本发明的所述黑边优化的图像处理方法的有益效果在于：

通过所述第一亮度数据确定图像的高亮区域，通过所述高亮区域的像素点的第二亮度数据和输出数据获取黑边像素点；获取所述高亮区域及所述高亮区域的黑边像素点后，调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据，将所述黑边优化数据作为图像的终点数据输出；避免了黑边像素点的滤除及图像的整体动态范围的牺牲，从而在保证图像的整体动态范围的情况下对黑边进行优化处理，保证了图像黑边的处理质量。

可选地，依据所述原始数据和所述拉伸增益值获取输出数据的步骤包括：

对所述原始数据与所述拉伸增益值执行乘运算以获取所述输出数据，所述输出数据的格式与所述原始数据的数据格式一致。

可选地，依据所述所有像素点的第二亮度数据确定图像的高亮区域的步骤包括：

预设亮度阈值和个数阈值；

将所述第二图像划分为若干个窗口，每个所述窗口的大小为M×N，所述M和所述N均为正整数；

计算所述窗口内的像素点的亮度，比较所述像素点的亮度和所述亮度阈值，当所述像素点的亮度大于所述亮度阈值时标记该像素点为高亮像素点；

统计所述窗口内的所述高亮像素点的个数，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域。其有益效果在于，由于黑边像素一般均在高亮区域附近，因此先检测或区域高亮区域，为黑边像素点的查找和确定提供了区域定位，提高了黑边像素点的检测效率。

可选地，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域的步骤包括：

当所述窗口内的高亮像素点的个数大于或等于所述个数阈值时，确定该窗口为高亮区域。其有益效果在于，通过统计所述窗口内所述高亮像素点的个数来确定高亮区域，从而为高亮区域的黑边像素点的确定提供了基础，由于所述高亮区域的边缘可能具有黑边像素点，因此所述高亮区域为黑边像素点的检测和获取提供了区域和范围选择，从而提高所述黑边像素点的确定效率。

可选地，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域的步骤包括：

当所述窗口内的高亮像素点的个数小于所述个数阈值时，确定该窗口为非高亮区域，将所述非高亮区域内的所有像素点的所述输出数据作为所述图像的终点数据输出。其有益效果在于，检测窗口为非高亮区域后，不需对非高亮区域的像素点进行处理，直接将所述非高亮区域内所有像素点的输出数据输出，以提高数据处理速度。

可选地，依据所述高亮区域内像素点的所述第二亮度数据和所述输出数据获取黑边像素点的步骤包括：

依据所述高亮区域中像素点的所述第二亮度数据和所述输出数据的局部边缘信息以分别获取第一边缘强度和第二边缘强度，依据所述第一边缘强度和所述第二边缘强度获取黑边像素点。

可选地，所述第一边缘强度包括第一水平边缘强度和第一竖直边缘强度，所述第二边缘强度包括第二水平边缘强度和第二竖直边缘强度，依据所述高亮区域中像素点的第一亮度数据和所述输出数据的局部边缘信息以分别获取第一边缘强度和第二边缘强度的步骤包括：

计算所述第二亮度数据的水平方向上的边缘强度以获取所述第一水平边缘强度，并计算所述第一亮度数据的竖直方向上的边缘强度以获取所述第一竖直边缘强度；

计算所述输出数据的水平方向上的边缘强度以获取所述第二水平边缘强度，并计算所述输出数据的竖直方向上的边缘强度以获取所述第二竖直边缘强度。

可选地，依据所述第一边缘强度和所述第二边缘强度获取黑边像素点的步骤包括：

对所述第一水平边缘强度与所述第二水平边缘强度执行乘运算以获取水平边缘信息，对所述第一竖直边缘强度与所述第二竖直边缘强度执行乘运算以获取竖直边缘信息，依据所述水平边缘信息和所述竖直边缘信息确定黑边像素点。

可选地，依据所述水平边缘信息和所述竖直边缘信息确定黑边像素点的步骤包括：

当所述水平边缘信息和所述竖直边缘信息中任意一个小于0，则确定该水平边缘信息和该竖直边缘信息对应的像素点为黑边像素点。

可选地，当所述水平边缘信息和所述竖直边缘信息均大于或等于0，则将所述水平边缘信息对应的像素点为正常像素点，将所述正常像素点的所述输出数据作为所述图像的终点数据输出。

可选地，所述黑边优化数据包括第一黑边优化数据，调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据的步骤包括：

对所述拉伸增益值做滤波，以获取第一拉伸增益值；

对所述第一拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第一黑边优化数据。其有益效果在于，通过对所述拉伸增益值做滤波以获取第一拉伸增益值，对所述第一拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第一黑边优化数据，实现了对所述黑边像素值的处理，且保留了图像的整体动态范围。

可选地，所述黑边优化数据包括第二黑边优化数据，调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据的步骤包括：

设置矫正控制系数，对所述矫正控制系数与所述拉伸增益值执行乘运算以获取第二拉伸增益值；

对所述第二拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第二黑边优化数据。其有益效果在于，通过矫正控制系数调整所述拉伸增益值以获取第二拉伸增益值，对所述第二拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第二黑边优化数据，实现了对所述黑边像素值的处理。

本发明还提供一种黑边优化的图像处理装置，包括：

数据处理模块，用于提供提供原始图像，依据所述原始图像分别获取所有像素点的原始数据，对所述原始图像进行处理以得到第一图像，依据所述第一图像获取所有像素点的第一亮度数据，预设亮度区间，对所述第一图像进行色调映射以获取第二图像，依据所述第二图像获取所有像素点的第二亮度数据，使得所述所有像素点的第二亮度数据均处于所述亮度区间内，依据每一个像素点的所述第一亮度数据和所述第二亮度数据获取拉伸增益值，依据所述原始数据和所述拉伸增益值获取输出数据；

高亮检测模块，用于依据所述所有像素点的第二亮度数据确定图像的高亮区域；

黑边像素获取模块，用于依据所述高亮区域的像素点的所述第二亮度数据和所述输出数据获取黑边像素点；

黑边处理模块，用于调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据；

输出模块，用于将所述黑边优化数据作为图像的终点数据输出。

本发明的所述黑边优化的图像处理装置的有益效果在于：

通过所述数据处理模块获取原始数据、第一数据、第二数据和输出数据，为获取所述高亮区域和所述黑边像素点做支撑，通过所述高亮检测模块确定图像的高亮区域，以为所述黑边像素点的确定划定区域，提高获取所述黑边像素点的效率；通过黑边像素获取模块从所述高亮区域中获取黑边像素点；通过所述黑边处理模块调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据，通过所述输出模块所述黑边优化数据作为图像的终点数据输出；实现了对所述黑边像素点的优化，避免了黑边像素点的滤除及图像的整体动态范围的牺牲，从而在保证图像的整体动态范围的情况下对黑边进行优化处理，保证了图像黑边的处理质量。

本发明还提供一种设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行所述程序时实现所述黑边优化的图像处理方法。

本发明还提供一种存储介质，其上存储有程序，所述程序被处理器执行时实现所述黑边优化的图像处理方法。

本发明的所述设备和所述存储介质的有益效果均在于：

实现了对所述黑边像素点的处理，避免了黑边像素点的滤除，避免了图像的整体动态范围的牺牲，从而在保证图像的整体动态范围的情况下对黑边进行优化处理，保证了图像黑边的处理质量。

附图说明

图1为本发明实施例的黑边优化的图像处理方法的流程图；

图2为本发明实施例的依据第一亮度数据确定图像的高亮区域的流程图；

图3为本发明实施例的黑边优化的图像处理装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

针对现有技术存在的问题，本发明实施例提供了一种黑边优化的图像处理方法及其装置、设备和存储介质，以在保留图像的整体动态范围的同时对黑边进行优化处理。

图1为本发明实施例的黑边优化的图像处理方法的流程图。

为实现上述目的，参照图1，所述黑边优化的图像处理方法包括步骤：

S0：提供原始图像，依据所述原始图像获取所有像素点的原始数据；

S1：对所述原始图像进行处理以得到第一图像，依据所述第一图像获取所有像素点的第一亮度数据；

S2：预设亮度区间，对所述第一图像进行色调映射以获取第二图像，依据所述第二图像获取所有像素点的第二亮度数据，使得所述所有像素点的第二亮度数据均处于所述亮度区间内；

S3：依据所述第一亮度数据和所述第二亮度数据获取拉伸增益值，依据所述原始数据和所述拉伸增益值获取输出数据；

S4：依据所述所有像素点的第二亮度数据确定图像的高亮区域，依据所述高亮区域内像素点的所述第二亮度数据和所述输出数据获取黑边像素点；

S5：调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据，将所述黑边优化数据作为图像的终点数据输出。

本发明的所述黑边优化的图像处理方法的优点为：通过所述第一亮度数据确定图像的高亮区域，通过所述高亮区域的像素点的第二亮度数据和输出数据获取黑边像素点；获取所述高亮区域及所述高亮区域的黑边像素点后，调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据，将所述黑边优化数据作为图像的终点数据输出；避免了黑边像素点的滤除及图像的整体动态范围的牺牲，从而在保证图像的整体动态范围的情况下对黑边进行优化处理，保证了图像黑边的处理质量。

现有技术中的算法可以通过牺牲图像整体的动态范围来避免局部光晕和黑边的问题，如直接将黑边像素点滤除，但是牺牲了图像的整体的动态范围，会降低图像的质量。本发明通过先检测图像的高亮区域，然后在图像的高亮区域内寻找黑边像素点，最后对黑边像素点进行优化，而非对黑边像素点进行滤除，从而在优化黑边像素点的同时保证了图像的整体的动态范围，保证了图像的优化黑边质量。

在一些实施例中，步骤S5中的所述图像为高动态范围图像融合过程中的图像。

在一些实施例中，所述步骤S2中的所述亮度区间根据图像的处理需求以及拍摄设备和场景来综合确认。

在一些可选的实施例中，所述亮度区间的取值范围为10bit-12bit，其中，10bit的亮度范围为0-1023，12bit的亮度范围为0-4095。

作为本发明的一种可选的实施方式，依据所述原始数据和所述拉伸增益值获取输出数据的步骤包括：

对所述原始数据与所述拉伸增益值执行乘运算以获取所述输出数据，所述输出数据的格式与所述原始数据的数据格式一致。

在一些具体实施例中，依据所述第一亮度数据和所述第二亮度数据获取拉伸增益值，依据所述原始数据和所述拉伸增益值获取输出数据的计算公式为：

imageBayer′＝gain×imageBayer

其中，gain为拉伸增益值，imageY'为第二亮度数据，imageY为第一亮度数据，imageBayer'为输出数据，imageBayer为原始数据。

在一些实施例中，原始数据imageBayer和输出数据imageBayer'均为RAW格式的数据。

图2为本发明实施例的依据所述第一亮度数据确定图像的高亮区域的流程图。

作为本发明一种可选的实施方式，参照图2，所述步骤S4中，依据所述所有像素点的第二亮度数据确定图像的高亮区域的步骤包括的步骤包括：

S401：预设亮度阈值和个数阈值；

S402：将所述第二图像划分为若干个窗口，每个所述窗口的大小为M×N，所述M和所述N均为正整数；

S403：计算所述窗口内的像素点的亮度，比较所述像素点的亮度和所述亮度阈值，当所述像素点的亮度大于所述亮度阈值时标记该像素点为高亮像素点；

S404：统计所述窗口内的所述高亮像素点的个数，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域。其优点为，由于黑边像素一般均在高亮区域附近，因此先检测或区域高亮区域，为黑边像素点的查找和确定提供了区域定位，提高了黑边像素点的检测效率。

作为本发明一种可选的实施方式，所述步骤S404中，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域的步骤包括：

当所述窗口内的高亮像素点的个数大于或等于所述个数阈值时，确定该窗口为高亮区域。其优点为，通过统计所述窗口内所述高亮像素点的个数来确定高亮区域，从而为高亮区域的黑边像素点的确定提供了基础，由于所述高亮区域的边缘可能具有黑边像素点，因此所述高亮区域为黑边像素点的检测和获取提供了区域和范围选择，从而提高所述黑边像素点的确定效率。

作为本发明一种可选的实施方式，所述步骤S204中，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域的步骤还包括：

当所述窗口内的高亮像素点的个数小于所述个数阈值时，确定该窗口为非高亮区域，将所述非高亮区域内的所有像素点的所述输出数据作为所述图像的终点数据输出。其有益效果在于，检测窗口为非高亮区域后，不需对非高亮区域的像素点进行处理，直接将所述非高亮区域内所有像素点的输出数据输出，以提高数据处理速度。

在本发明的一些具体实施例中，依据所述第二亮度数据确定图像的高亮区域的具体步骤包括：

预设亮度阈值T和个数阈值K，其中0≤T≤所述第二亮度数据对应图像的亮度最大值，0≤K≤M×N-1；

在一些可选实施例中，依据原始图像的位宽和拍摄场景来确定所述亮度阈值T，所述亮度阈值T的取值范围为0-800。

在另一些可选的实施例中，所述亮度阈值T的取值范围为0-3000。

将所述第二图像划分为若干个窗口，每个所述窗口的大小为M×N，M，N均为正整数；

在一些实施例中，所述窗口的大小为M×N是指每个窗口中有M×N个像素点；根据图像的处理需求，M×N的取值从5×5、7×7和9×9中选取一个最合理或最合适的，避免因窗口过大而造成的黑边变淡而产生的负面影响，避免破坏正常的黑边边界，以提高确定所述高亮区域的黑边像素点的准确性。

计算所述窗口内的像素点的亮度，比较所述像素点的亮度和所述亮度阈值，当所述像素点的亮度Lum大于亮度阈值T，即Lum>T时标记该像素点为高亮像素点；

统计所述窗口内的所述高亮像素点的个数n；

当所述窗口内的高亮像素点的个数n大于或等于所述个数阈值K时，即n≥K时，确定该窗口为高亮区域；

当所述窗口内的高亮像素点的个数n小于所述个数阈值K时，即n<K时，确定该窗口为非高亮区域，并将所述非高亮区域的像素点的输出数据imageBayer'作为所述图像的终点数据输出。

作为本发明一种可选的实施方式，所述步骤S4中，依据所述高亮区域内像素点的所述第二亮度数据和所述输出数据获取黑边像素点的步骤包括：

依据所述高亮区域中像素点的所述第二亮度数据和所述输出数据的局部边缘信息以分别获取第一边缘强度和第二边缘强度，依据所述第一边缘强度和所述第二边缘强度获取黑边像素点。

在一些实施例中，通过索贝尔算子(Sobel)算子、Prewitt算子和Lapladan算子中的任意一种算法计算所述第二亮度数据和所述输出数据的局部边缘信息以分别获取第一边缘强度和第二边缘强度。由于通过Sobel算子、Prewitt算子和Lapladan算子为本领域的常用技术，在此不在赘述。

作为本发明一种可选的实施方式，所述第一边缘强度包括第一水平边缘强度和第一竖直边缘强度，所述第二边缘强度包括第二水平边缘强度和第二竖直边缘强度，依据所述高亮区域中像素点的第一亮度数据和所述输出数据的局部边缘信息以分别获取第一边缘强度和第二边缘强度的步骤包括：

计算所述第二亮度数据的水平方向上的边缘强度以获取所述第一水平边缘强度，并计算所述第一亮度数据的竖直方向上的边缘强度以获取所述第一竖直边缘强度；

计算所述输出数据的水平方向上的边缘强度以获取所述第二水平边缘强度，并计算所述输出数据的竖直方向上的边缘强度以获取所述第二竖直边缘强度。

作为本发明一种可选的实施方式，所述步骤S302中，依据所述第一边缘强度和所述第二边缘强度获取黑边像素点的步骤包括：

对所述第一水平边缘强度与所述第二水平边缘强度执行乘运算以获取水平边缘信息，对所述第一竖直边缘强度与所述第二竖直边缘强度执行乘运算以获取竖直边缘信息，依据所述水平边缘信息和所述竖直边缘信息确定黑边像素点。

作为本发明一种可选的实施方式，依据所述水平边缘信息和所述竖直边缘信息确定黑边像素点的步骤包括：

当所述水平边缘信息和所述竖直边缘信息中任意一个小于0，则确定该水平边缘信息和该竖直边缘信息对应的像素点为黑边像素点。

作为本发明一种可选的实施方式，依据所述水平边缘信息和所述竖直边缘信息确定黑边像素点的步骤包括：

当所述水平边缘信息和所述竖直边缘信息均大于或等于0，则将所述水平边缘信息对应的像素点为正常像素点，将所述正常像素点的所述输出数据作为所述图像的终点数据输出。

在本发明的一些具体实施例中，依据所述高亮区域的像素点的第一亮度数据和输出数据获取黑边像素点的具体步骤包括：

计算所述第二亮度数据imageY'的水平方向上的边缘强度以获取第一水平边缘强度YX，并计算所述第一亮度数据的竖直方向上的边缘强度以获取第一竖直边缘强度YY；

计算所述输出数据imageBayer'的水平方向上的边缘强度以获取第二水平边缘强度BayerX，并计算所述输出数据的竖直方向上的边缘强度以获取第二竖直边缘强度BayerY。

在一些实施例中，可通过Sobel算子计算所述第二亮度数据imageY'的水平方向及竖直方向上的边缘强度以获得第一水平边缘强度YX和第一竖直边缘强度YY，并通过Sobel算子计算输出数据imageBayer'的水平方向和竖直方向上的边缘强度以获取第二水平边缘强度BayerX和第二竖直边缘强度BayerY。

在另一些实施例中，还可通过Lapladan算子计算所述第一亮度数据imageY'的水平方向及竖直方向上的边缘强度和输出数据imageBayer'的水平方向和竖直方向上的边缘强度，以分别获取第一水平边缘强度YX、第一竖直边缘强度YY、第二水平边缘强度BayerX和第二竖直边缘强度BayerY。

对所述第一水平边缘强度YX与所述第二水平边缘强度BayerX执行乘运算以获取水平边缘信息YX×BayerX，对所述第一竖直边缘强度YY与所述第二竖直边缘强度BayerY执行乘运算以获取竖直边缘信息YY×BayerY；

当所述水平边缘信息YX×BayerX和所述竖直边缘信息YY×BayerY中任意一个小于0，确定该水平边缘信息对应的像素点为黑边像素点；

当所述水平边缘信息YX×BayerX和所述竖直边缘信息YY×BayerY均大于或等于0，则确定则将所述水平边缘信息对应的像素点为正常像素点，并将所述正常像素点的输出数据imageBayer'作为图像的终点数据输出。

在一些实施例中，依据所述水平边缘信息和所述竖直边缘信息确定黑边像素点可以用下述公式表示：

其中，YX为第一水平边缘强度，BayerX为第二水平边缘强度，YY为第一竖直边缘强度，BayerY为第二竖直边缘强度；

当flagBlack＝1时，表示此像素点为黑边像素点；

当flagBlack＝0时，表示此像素点为正常像素点。

在本发明的一些实施例中，所述步骤S5中，所述黑边优化数据包括第一黑边优化数据，调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据的步骤包括：

对所述拉伸增益值做滤波，以获取第一拉伸增益值；

对所述第一拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取所述第一黑边优化数据；

获取所述第一黑边优化数据后，将所述第一黑边优化数据作为图像的终点数据输出。通过对所述拉伸增益值做滤波以获取第一拉伸增益值，对所述第一拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第一黑边优化数据，实现了对所述黑边像素值的处理，且保留了图像的整体动态范围。

在本发明的一些具体实施例中，调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据的具体步骤包括：

对所述拉伸增益值gain做局部范围内的滤波，所述局部范围的窗口大小为M×N，M，N均为正整数，以获取第一拉伸增益值gain'；

对所述第一拉伸增益值gain'与所述黑边像素点的原始数据imageBayer执行乘运算以获取第一黑边优化数据，其计算公式如下：

flagBlack'＝gain'×imageBayer

其中，weight为局部范围内的滤波权重，

表示M×N的窗口内所有像素点拉伸增益值的加权平均，flagBlack'为第一黑边优化数据。

在一些实施例中，局部范围内的滤波权重weight可根据滤波器来调整。

在一些实施例中，局部范围内的滤波权重weight可采用均值1，窗口内所有点对应的weight的和为M×N。

在本发明的另一些实施例中，所述步骤S5中，所述黑边优化数据包括第二黑边优化数据，调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据的步骤包括：

设置矫正控制系数，对所述矫正控制系数与所述拉伸增益值执行乘运算以获取第二拉伸增益值；

对所述第二拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第二黑边优化数据；

获取所述第二黑边优化数据后，将所述第二黑边优化数据作为图像的终点数据输出。其优点为，通过矫正控制系数调整所述拉伸增益值以获取第二拉伸增益值，对所述第二拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第二黑边优化数据，实现了对所述黑边像素值的处理。

在本发明的另一些具体实施例中，对所述黑边像素点进行处理的具体步骤包括：

设置矫正控制系数actor，对所述矫正控制系数actor与所述拉伸增益值gain执行乘运算以获取第二拉伸增益值gain”；

在一些实施例中，根据拍摄设备、图像处理需求和拍摄场景来确定所述矫正控制系数actor的值。

在一些可选的实施例中，所述矫正控制系数actor的取值范围为大于1并小于或等于5，即1<actor≤5。

对所述第二拉伸增益值gain”与所述黑边像素点的原始数据imageBayer执行乘运算以获取第二黑边优化数据，其计算公式如下：

gain”＝actor×gain；

flagBlack”＝gain”×imageBayer

其中，flagBlack”为第二黑边优化数据。

图3为本发明实施例的黑边优化的图像处理装置的结构框图。

本发明还提供一种黑边优化的图像处理装置，参照图3，所述黑边优化的图像处理装置包括：

数据处理模块1，用于提供提供原始图像，依据所述原始图像分别获取所有像素点的原始数据，对所述原始图像进行处理以得到第一图像，依据所述第一图像获取所有像素点的第一亮度数据，预设亮度区间，对所述第一图像进行色调映射以获取第二图像，依据所述第二图像获取所有像素点的第二亮度数据，使得所述所有像素点的第二亮度数据均处于所述亮度区间内，依据每一个像素点的所述第一亮度数据和所述第二亮度数据获取拉伸增益值，依据所述原始数据和所述拉伸增益值获取输出数据

高亮检测模块2，用于依据所述所有像素点的第二亮度数据确定图像的高亮区域域；

黑边像素获取模块3，用于依据所述高亮区域的像素点的所述第二亮度数据和所述输出数据获取黑边像素点；

黑边处理模块4，用于调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据；

输出模块5，用于将所述黑边优化数据作为图像的终点数据输出。

本发明的所述黑边优化的图像处理装置的有益效果在于：

通过所述数据处理模块1获取原始数据、第一数据、第二数据和输出数据，为获取所述高亮区域和所述黑边像素点做支撑，通过所述高亮检测模块2确定图像的高亮区域，以为所述黑边像素点的确定划定区域，提高获取所述黑边像素点的效率；通过所述黑边像素获取模块3从所述高亮区域中获取黑边像素点；通过所述黑边处理模块4调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据，通过所述输出模块5所述黑边优化数据作为图像的终点数据输出；实现了对所述黑边像素点的优化，避免了黑边像素点的滤除及图像的整体动态范围的牺牲，从而在保证图像的整体动态范围的情况下对黑边进行优化处理，保证了图像黑边的处理质量。

在本发明的一些实施例中，参照图3，所述黑边优化的图像处理装置进行图像黑边的处理的步骤包括：

(1)通过所述数据处理模块1提供提供原始图像，依据所述原始图像分别获取所有像素点的原始数据，对所述原始图像进行处理以得到第一图像，依据所述第一图像获取所有像素点的第一亮度数据，预设亮度区间，对所述第一图像进行色调映射以获取第二图像，依据所述第二图像获取所有像素点的第二亮度数据，使得所述所有像素点的第二亮度数据均处于所述亮度区间内，依据每一个像素点的所述第一亮度数据和所述第二亮度数据获取拉伸增益值，依据所述原始数据和所述拉伸增益值获取输出数据；

(2)通过所述高亮检测模块2依据所述所有像素点的第二亮度数据确定图像的高亮区域，具体步骤包括：

预设亮度阈值和个数阈值，获取所述第一亮度数据对应的第一图像，将所述第一图像划分为若干个窗口，每个所述窗口的大小为M×N，所述M和所述N均为正整数；

预设亮度阈值和个数阈值；

将所述第二图像划分为若干个窗口，每个所述窗口的大小为M×N，所述M和所述N均为正整数；

计算所述窗口内的像素点的亮度，比较所述像素点的亮度和所述亮度阈值，当所述像素点的亮度大于所述亮度阈值时标记该像素点为高亮像素点；

统计所述窗口内的所述高亮像素点的个数，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域；

所述输出模块5与所述数据处理模块1连接，通过所述输出模块5将所述非高亮区域的所有像素点的所述输出数据作为图像的终点数据输出；

(3)通过所述黑边像素获取模块3依据所述高亮区域的像素点的所述第二亮度数据和所述输出数据获取黑边像素点，具体步骤包括：

计算所述第一亮度数据的水平方向上的边缘强度以获取第一水平边缘强度，并计算所述第一亮度数据的竖直方向上的边缘强度以获取第一竖直边缘强度；

计算所述输出数据的水平方向上的边缘强度以获取第二水平边缘强度，并计算所述输出数据的竖直方向上的边缘强度以获取第二竖直边缘强度；

对所述第一水平边缘强度与所述第二水平边缘强度执行乘运算以获取水平边缘信息，对所述第一竖直边缘强度与所述第二竖直边缘强度执行乘运算以获取竖直边缘信息；

当所述水平边缘信息和所述竖直边缘信息中任意一个小于0，确定该水平边缘信息对应的像素点为黑边像素点。

当所述水平边缘信息和所述竖直边缘信息均大于或等于0，则确定则将所述水平边缘信息对应的像素点为正常像素点，并通过所述输出模块5将所述正常像素点的所述输出数据作为图像的终点数据输出。

(4)通过所述黑边处理模块4调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据，其具体步骤包括：

对所述拉伸增益值做滤波，以获取第一拉伸增益值；

对所述第一拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第一黑边优化数据；

所述输出模块5与所述黑边处理模块4连接，通过所述输出模块5将所述第二黑边优化数据作为图像的终点数据输出。

在本发明的另一些实施例中，通过所述黑边处理模块4调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据的具体步骤包括：

设置矫正控制系数，所述矫正控制系数大于1小于或等于3，对所述矫正控制系数与所述拉伸增益值执行乘运算以获取第二拉伸增益值；

对所述第二拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第二黑边优化数据；

通过所述输出模块5将所述第二黑边优化数据作为图像的终点数据输出。

本发明还提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现所述黑边优化的图像处理方法。

本发明还提供一种存储介质，其上存储有程序，所述程序被处理器执行时实现所述黑边优化的图像处理方法。

本发明的所述设备和所述存储介质的优点为：实现了对所述黑边像素点的处理，避免了黑边像素点的滤除，避免了图像的整体动态范围的牺牲，从而在保证图像的整体动态范围的情况下对黑边进行优化处理，保证了图像黑边的处理质量。

虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (15)

1.一种黑边优化的图像处理方法，其特征在于，包括步骤：

提供原始图像，依据所述原始图像获取所有像素点的原始数据；

对所述原始图像进行处理以得到第一图像，依据所述第一图像获取所有像素点的第一亮度数据；

预设亮度区间，对所述第一图像进行色调映射以获取第二图像，依据所述第二图像获取所有像素点的第二亮度数据，使得所述所有像素点的第二亮度数据均处于所述亮度区间内；

依据所述第一亮度数据和所述第二亮度数据获取拉伸增益值，依据所述原始数据和所述拉伸增益值获取输出数据；

依据所述所有像素点的第二亮度数据确定图像的高亮区域，依据所述高亮区域内像素点的所述第二亮度数据和所述输出数据获取黑边像素点；

调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据，将所述黑边优化数据作为图像的终点数据输出。

2.如权利要求1所述的黑边优化的图像处理方法，其特征在于，依据所述原始数据和所述拉伸增益值获取输出数据的步骤包括：

对所述原始数据与所述拉伸增益值执行乘运算以获取所述输出数据，所述输出数据的格式与所述原始数据的数据格式一致。

3.如权利要求1所述的黑边优化的图像处理方法，其特征在于，依据所述所有像素点的第二亮度数据确定图像的高亮区域的步骤包括：

预设亮度阈值和个数阈值；

将所述第二图像划分为若干个窗口，每个所述窗口的大小为M×N，所述M和所述N均为正整数；

计算所述窗口内的像素点的亮度，比较所述像素点的亮度和所述亮度阈值，当所述像素点的亮度大于所述亮度阈值时标记该像素点为高亮像素点；

统计所述窗口内的所述高亮像素点的个数，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域。

4.如权利要求3所述的黑边优化的图像处理方法，其特征在于，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域的步骤包括：

当所述窗口内的高亮像素点的个数大于或等于所述个数阈值时，确定该窗口为高亮区域。

5.如权利要求3所述的黑边优化的图像处理方法，其特征在于，依据所述高亮像素点的个数与所述个数阈值的比较结果获取所述高亮区域的步骤包括：

当所述窗口内的高亮像素点的个数小于所述个数阈值时，确定该窗口为非高亮区域，将所述非高亮区域内的所有像素点的所述输出数据作为所述图像的终点数据输出。

6.如权利要求5所述的黑边优化的图像处理方法，其特征在于，依据所述高亮区域内像素点的所述第二亮度数据和所述输出数据获取黑边像素点的步骤包括：

依据所述高亮区域中像素点的所述第二亮度数据和所述输出数据的局部边缘信息以分别获取第一边缘强度和第二边缘强度，依据所述第一边缘强度和所述第二边缘强度获取黑边像素点。

7.如权利要求6所述的黑边优化的图像处理方法，其特征在于，所述第一边缘强度包括第一水平边缘强度和第一竖直边缘强度，所述第二边缘强度包括第二水平边缘强度和第二竖直边缘强度，依据所述高亮区域中像素点的第一亮度数据和所述输出数据的局部边缘信息以分别获取第一边缘强度和第二边缘强度的步骤包括：

计算所述第二亮度数据的水平方向上的边缘强度以获取所述第一水平边缘强度，并计算所述第一亮度数据的竖直方向上的边缘强度以获取所述第一竖直边缘强度；

计算所述输出数据的水平方向上的边缘强度以获取所述第二水平边缘强度，并计算所述输出数据的竖直方向上的边缘强度以获取所述第二竖直边缘强度。

8.如权利要求7所述的黑边优化的图像处理方法，其特征在于，依据所述第一边缘强度和所述第二边缘强度获取黑边像素点的步骤包括：

对所述第一水平边缘强度与所述第二水平边缘强度执行乘运算以获取水平边缘信息，对所述第一竖直边缘强度与所述第二竖直边缘强度执行乘运算以获取竖直边缘信息，依据所述水平边缘信息和所述竖直边缘信息确定黑边像素点。

9.如权利要求8所述的黑边优化的图像处理方法，其特征在于，依据所述水平边缘信息和所述竖直边缘信息确定黑边像素点的步骤包括：

当所述水平边缘信息和所述竖直边缘信息中任意一个小于0，则确定该水平边缘信息和该竖直边缘信息对应的像素点为黑边像素点。

10.如权利要求8所述的黑边优化的图像处理方法，其特征在于，依据所述水平边缘信息和所述竖直边缘信息确定黑边像素点的步骤包括：

当所述水平边缘信息和所述竖直边缘信息均大于或等于0，则将所述水平边缘信息对应的像素点为正常像素点，将所述非高亮区域内的所有像素点的所述输出数据作为所述图像的终点数据输出。

11.如权利要求1所述的黑边优化的图像处理方法，其特征在于，所述黑边优化数据包括第一黑边优化数据，调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据的步骤包括：

对所述拉伸增益值做滤波，以获取第一拉伸增益值；

对所述第一拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第一黑边优化数据。

12.如权利要求1所述的黑边优化的图像处理方法，其特征在于，所述黑边优化数据包括第二黑边优化数据，调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据的步骤包括：

设置矫正控制系数，对所述矫正控制系数与所述拉伸增益值执行乘运算以获取第二拉伸增益值；

对所述第二拉伸增益值与所述黑边像素点的原始数据执行乘运算以获取第二黑边优化数据。

13.一种黑边优化的图像处理装置，其特征在于，包括：

数据处理模块，用于提供提供原始图像，依据所述原始图像分别获取所有像素点的原始数据，对所述原始图像进行处理以得到第一图像，依据所述第一图像获取所有像素点的第一亮度数据，预设亮度区间，对所述第一图像进行色调映射以获取第二图像，依据所述第二图像获取所有像素点的第二亮度数据，使得所述所有像素点的第二亮度数据均处于所述亮度区间内，依据每一个像素点的所述第一亮度数据和所述第二亮度数据获取拉伸增益值，依据所述原始数据和所述拉伸增益值获取输出数据；

高亮检测模块，用于依据所述所有像素点的第二亮度数据确定图像的高亮区域；

黑边像素获取模块，用于依据所述高亮区域的像素点的所述第二亮度数据和所述输出数据获取黑边像素点；

黑边处理模块，用于调整拉伸增益值，以调整所述黑边像素点的输出数据得到黑边优化数据；

输出模块，用于将所述黑边优化数据作为图像的终点数据输出。

14.一种设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-12中任意一项所述的黑边优化的图像处理方法。

15.一种存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-12中任意一项所述的黑边优化的图像处理方法。

Images