CN111225162B

CN111225162B - 图像曝光的控制方法、系统、可读存储介质及摄像设备

Info

Publication number: CN111225162B
Application number: CN202010071673.1A
Authority: CN
Inventors: 王永清; 陈智松; 冯万键
Original assignee: Xiamen Yealink Network Technology Co Ltd
Current assignee: Xiamen Yealink Network Technology Co Ltd
Priority date: 2020-01-21
Filing date: 2020-01-21
Publication date: 2021-08-03
Anticipated expiration: 2040-01-21
Also published as: CN111225162A

Abstract

本发明公开了一种图像曝光的控制方法、系统、存储可读存储介质及摄像设备，所述方法包括：根据待曝光图像的纹理信息，将该待曝光图像划分为若干区域图像，并计算各区域图像的信息量；计算所述待曝光图像中与目标图像匹配度最高的区域图像，以得到最佳区域图像，根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新；根据各区域图像的信息量、进行权重更新后的初始权重矩阵、及各区域图像的亮度值建立图像曝光模型，以对所述待曝光图像进行曝光。本发明能够在逆光和有大面积高亮色块时使注纹理理丰富的部分达到最佳曝光量，从而提高了用户摄像体验的满意度。

Description

图像曝光的控制方法、系统、可读存储介质及摄像设备

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像曝光的控制方法、系统、存储可读存储介质及摄像设备。

背景技术

随着科技的发展，电子产品得到了广泛普及，其中，具有摄像功能的电子产品，若手机、相机、电脑等，更是受到消费者的青睐，电子产品的对图像的拍摄效果已经影响了消费者的购买兴趣。

由于现实世界中，光的辐照动态范围是大于相机捕获能力的动态范围，因此普通的摄像设备在拍摄的图像通常会由于曝光不足和曝光过度而缺乏部分信息。其中，曝光是用来描述从景物到达成像系统光通量大小的物理量，曝光是否正常直接影响图像的效果，曝光过度，图像看起来就太亮；曝光不足，图像看起来就太暗。为了解决这一技术问题，自动曝光应用而生。

然而，传统的自动曝光是基于全局亮度平均值或人工设定固定区块的权重来计算全局亮度进行曝光，因此在大面积发光或者高亮的场景下，纹理或者色彩丰富的物体过暗，从而降低了用户摄像体验的满意度。

发明内容

为了解决上述问题，本发明的目的是提供一种能够在逆光和有大面积高亮色块时使注纹理理丰富的部分达到最佳曝光量，以提高用户摄像体验的满意度的图像曝光的控制方法、系统、存储可读存储介质及摄像设备。

一种图像曝光的控制方法，所述方法包括：

根据待曝光图像的纹理信息，将该待曝光图像划分为若干区域图像，并计算各区域图像的信息量；

计算所述待曝光图像中与目标图像匹配度最高的区域图像，以得到最佳区域图像，根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新；

根据各区域图像的信息量、进行权重更新后的初始权重矩阵、及各区域图像的亮度值建立图像曝光模型，以对所述待曝光图像进行曝光。

根据本发明提供的图像曝光的控制方法，通过根据待曝光图像的纹理信息，将该待曝光图像划分为若干区域图像，从而使具有不同纹理丰富度的图像处于不同区域，且便于对具有相同纹理丰富度图像进行统计与曝光；通过对各区域图像的信息量进行计算，以为后期图像的精准曝光提供必要条件；通过计算所述待曝光图像中与目标图像匹配度最高的区域图像，以便于根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新，从而使各区域图形具有对应的权重；根据各区域图像的信息量、进行权重更新后的初始权重矩阵、及各区域图像的亮度值建立图像曝光模型，以对所述待曝光图像进行曝光，从而实现精准曝光，避免了对待曝光图像进行曝光时由于采用整体曝光而使部分纹理不丰富区域曝光过度，而部分纹理丰富的区域曝光不足的问题。因此，本发明能够解决用户在逆光或大面积高亮场景中进行摄像时而出现兴趣区物体过暗，导致用户摄像体验的满意度降低的问题，满足了实际应用需求。

另外，根据本发明上述的图像曝光的控制方法，还可以具有如下附加的技术特征：

进一步地，接收服务端根据各客户端的图像分布数据下发的图像增强信息，并将进行图像增强后的图像分布数据传送至服务端的方法包括：

接收各客户端进行图像操作时所产生的图像分布数据，并将所述图像分布数据发送至服务端；

根据所述图像分布数据中各客户端图像的类别分布概率，得到全局图像的概率分布；

通过所述全局图像的概率分布对客户端图像的各类别图像进行图像增强，并将进行图像增强后的图像分布数据传送至服务端。

进一步地，所述信息量计算模型为：

进一步地，计算所述待曝光图像中与目标图像匹配度最高的区域图像，以得到最佳区域图像的方法包括：

对所述待曝光图像及目标图像进行归一化处理后进行卷积计算，以得到匹配矩阵；

根据所述匹配矩阵计算所述待曝光图像中与目标图像匹配度最高的区域图像。

进一步地，根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新的方法包括：

将所述最佳区域图像与所述目标图像进行卷积计算，并对卷积结果进行归一化处理后得到相关矩阵；

根据所述相关矩阵对所述待曝光图像的初始权重矩阵进行更新。

进一步地，根据各区域图像的信息量、进行权重更新后的初始权重矩阵、及各区域图像的亮度值建立的图像曝光模型为：

其中，N_(i,j)为区域图像的信息量，R_(i,j)为进行权重更新后的初始权重矩阵，B_(i,j)为各区域图像的亮度值，(i,j)为区域图像坐标，δ、α、β为调节系数。

进一步地，所述方法还包括：

将各区域图像的信息量及当前亮度输入预测模型，以得到待曝光区域的阈值基准，其中，所述预测模型为曝光模型通过梯度下降法训练所得；

当当前区域图像的曝光量大于或小于阈值基准时，则对当前区域图像的曝光量进行替换。

本发明的另一实施例提出一种图像曝光的控制系统，解决了现有的自动曝光是基于全局亮度平均值或人工设定固定区块的权重来计算全局亮度进行曝光，因此在大面积发光或者高亮的场景下，纹理或者色彩丰富的物体过暗，从而降低了用户摄像体验的满意度的问题。

根据本发明实施例的图像曝光的控制系统，包括：

区域划分模块，用于根据待曝光图像的纹理信息，将该待曝光图像划分为若干区域图像，并计算各区域图像的信息量；

图像处理模块，用于计算所述待曝光图像中与目标图像匹配度最高的区域图像，以得到最佳区域图像，根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新；

图像曝光模块，用于根据各区域图像的信息量、进行权重更新后的初始权重矩阵、及各区域图像的亮度值建立图像曝光模型，以对所述待曝光图像进行曝光。

本发明的另一个实施例还提出一种存储可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

本发明的另一个实施例还提出一种摄像设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

附图说明

图1是本发明第一实施例提出的图像曝光的控制方法的流程图；

图2是图1中步骤S101的具体流程图；

图3是图1中步骤S102的具体流程图；

图4是本发明第二实施例提出的图像曝光的控制系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明第一实施例提出的一种图像曝光的控制方法，其中，包括步骤S101～S103：

步骤S101，根据待曝光图像的纹理信息，将该待曝光图像划分为若干区域图像，并计算各区域图像的信息量。

本实施例中的摄像设备可以为摄像机、手机、平板、电脑等摄像设备。在进行摄像时，以摄像机为例，由于摄像机在对焦平面的不同位置进行拍摄时，所得到的图像的清晰程度及明暗程度也不相同，因此需根据当前拍摄环境的环境亮度，获取焦距与相距相等时拍摄的图像。

但由于现有技术中对拍摄图像的曝光都是基于全局亮度平均值或人工设定固定区块的权重来计算全局亮度进行曝光，因此在大面积发光或者高亮的场景下，则纹理或者色彩丰富的物体就会出现过暗的问题，从而降低了用户摄像体验的满意度。为解决上述技术问题，本申请通过根据不同待曝光区域的信息量进行曝光，以提高图像曝光的精度与可靠度，能够在逆光和有大面积高亮色块时使纹理丰富的部分达到最佳曝光量，提高了用户摄像体验的满意度，满足了实际应用需求。

在本实施例中，通过获取待曝光图像的纹理信息，根据待曝光图像的纹理信息对该待曝光图像进行区域划分，以便于根据各区域图像的纹理信息计算出对应的信息量，为后续根据不同区域的信息量进行图像曝光提供必要条件。

请参阅图2，根据待曝光图像的纹理信息，将该待曝光图像划分为若干区域图像，并计算各区域图像的信息量包括如下步骤：

步骤S1011，根据待曝光图像的纹理信息的反差量，将该待曝光图像划分为若干区域图像。

步骤S1012，将各区域图像根据对应的分割矩阵分割成亮度处于不同亮度区间的像素点。

步骤S1013，对不同亮度区间的像素点的数量进行统计，以得到 n段亮度区间的像素点数量直方图，根据每段亮度区间在各自区域的关键度及信息量计算模型确定各区域图像的信息量。

进一步地，在对待曝光图像进行区域划分时，可根据待曝光图像的纹理信息的反差量进行划分。可以理解的，由于图像上关键信息的非规则性，因此根据纹理信息的反差量所划分的区域图像可以为规则的，也可以为非规则的，且每个区域图像都具有对应的坐标。

可以理解的，划分区域的数量可根据摄像设备的性能和图像质量要求进行调整，一般图像划分的越细，得到的图像越自然，轮廓越清晰，曝光越准确。对于CPU性能较好、运行较快的摄像设备，可以将每一个图像划分为多个区域图像的尺寸不大于人眼能分辨的尺寸，如每个区域图像的尺寸可以设置为0.01mm*0.01mm。反差量与图像的清晰度有关，反差量越大的区域图像清晰度越高。其中，待曝光图像的纹理信息的反差量可通过灰度差进行计算，因此该纹理信息的反差量的计算模型为：

F＝∑δ(i,j)²P_δ(i,j)

其中，δ(i,j)＝|i-j|，表示相邻的两个像素之间的灰度差；P_δ(i,i)，为相邻像素间的灰度差为δ的像素分布概率。

进一步地，通过将整幅待曝光图像根据对应的分割矩阵，分割成亮度处于不同亮度区间的像素点，以便于像素点的数量及位置进行统计。分割矩阵的模型为：

其中，M为使用的模糊聚类算法的数目；N为待分割图像的象素点数目；K为设定的类别数目；

表示所收集到的M个配准后的隶属度矩阵中第(t)个矩阵的第i'个象素点属于第j'类的隶属度；

表示所收集到的M个配准后的隶属度矩阵中第(l)个矩阵的第 i'个象素点属于第j'类的隶属度。

可以理解的，在本发明其他实施例中，还可将各个区域图像中的像素点的亮度值根据设置的分割阈值，分成亮度处于不同亮度区间的像素点，如，当当前的像素点的亮度小于第一预设值时划分为第一区域，当当前的像素点与第二预设值成线性关系时划分为第二区域，当当前的像素点小于第三预设值时划分为第三区域。

进一步地，通过对不同亮度区间的像素点的数量进行统计，以得到n段亮度区间的像素点数量直方图，根据每段亮度区间在各自区域的关键度及信息量计算模型确定各区域图像的信息量。

所述信息量计算模型为：

其中，

p_s为当前亮度区间在当前区域图像中的关键度。

其中，各个区域像素数量做了分段式的统计后，可以计算每段的在各自区域的关键度，当区域中亮暗变化越丰富的时候，各个段所占的概率相近，该区域有纹理越丰富，这时候的区域的信息量也就越大，基于人在摄像的时候总是希望图像中的信息尽可能的多的能被观测，所以信息量越大表示更应该被关注，所以纹理丰富区块的亮度对整体亮度的影响也因最大，这样才能更好的就这个区域曝光。可以理解的，本实施例中的亮暗，可以通过灰度体现，当前区域的纹理的丰富度还可以为颜色、灰度、亮暗变化的丰富度。

步骤S102，计算所述待曝光图像中与目标图像匹配度最高的区域图像，以得到最佳区域图像，根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新。

如上所述，通过计算所述待曝光图像中与目标图像匹配度最高的区域图像，以便于根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新，从而使各区域图形具有对应的权重，为下一步进行实现精准曝光提供必要条件。

请参阅图3，计算所述待曝光图像中与目标图像匹配度最高的区域图像，以得到最佳区域图像，根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新的方法包括如下步骤：

步骤S1021，对所述待曝光图像及目标图像进行归一化处理后进行卷积计算，以得到匹配矩阵。

步骤S1022，根据所述匹配矩阵计算所述待曝光图像中与目标图像匹配度最高的区域图像，以作为最佳区域图像。

步骤S1023，将最佳区域图像与所述目标图像进行卷积计算，并对卷积结果进行归一化处理后得到相关矩阵。

步骤S1024，根据所述相关矩阵对所述待曝光图像的初始权重矩阵进行更新。

如上所述，通过对所述待曝光图像及目标图像进行归一化处理，以得到能够进行比对及运算的两个图像，对通过归一化处理后的待曝光图像及目标图像进行卷积计算，以便于得到一匹配矩阵，该匹配矩阵能够帮助找出待曝光图像中与目标图像的匹配度最高的区域，通过根据所述匹配矩阵计算所述待曝光图像中与目标图像匹配度最高的区域图像，以便于根据最佳区域图像与目标图像的相关矩阵，为对待曝光图像的初始权重矩阵的更新进提供必要条件。所述目标图像可以为多张图像，也可以为进行关键区域融合后的图像，还可以为模型所预测的图像，在此不做限制。可以理解的，通过对初始权重矩阵进行跟新的方法，从而使的该待曝光图像的区域曝光更加准确。

具体的，根据公式

对所述待曝光图像进行归一化处理；

根据公式

对所述目标物图像进行归一化处理；

根据公式

进行所述卷积计算以得到所述匹配矩阵；

根据公式

将最佳区域图像与目标图像进行卷积计算，并对M'(i,j)进行归一化处理以得到相关度矩阵M(i,j)；

根据公式R'＝NORM(α·R+β·M)对所述待曝光图像的初始权重矩阵进行更新；

其中，I_b(i,j)为待曝光图像，I_o(i,j)为目标图像，R(i,j)为初始权重矩阵，i、j、i”以及j”均为所述目标图像的自变量，w、l分别为目图像的宽度与高度，x与y分别为待曝光图像的自变量。

步骤S103，根据各区域图像的信息量、进行权重更新后的初始权重矩阵、及各区域图像的亮度值建立图像曝光模型，以对所述待曝光图像进行曝光。

具体的，根据各区域图像的信息量、进行权重更新后的初始权重矩阵、及各区域图像的亮度值建立的图像曝光模型为：

可以理解的，本发明由于采用区域加权策略赋予感兴趣区域更高的权重，所以此时得到的图像亮度可以准确地反应感兴趣区域的亮度，这样进行的自动曝光不会导致感兴趣区域的曝光过度或曝光不足。通常情况下，自动曝光可以通过控制摄像设备的动态范围来增加场景中可感知的亮度信息。但是，动态范围控制与曝光时间控制是相互耦合的，在实际中同时控制好很困难，并且不适合于对每个像素光强响应特性固定的一般相机或者sensor帧率不能低于30帧每秒，采用多种合成后实际帧率会降低很多，造成视频不流畅或者拖影，然而利用基于图像信息量的自动曝光的方法可以增加曝光后的图像的动态范围，增加可感知的亮度信息。另外本发明可以有效提高对复杂光照条件的场景的成像质量，同时并没有对正常光照下场景的成像质量有负面的影响。

在此还需要说明的是，所述方法还包括将各区域图像的信息量及当前亮度输入预测模型，以得到待曝光区域的阈值基准，其中，所述预测模型为曝光模型通过梯度下降法训练所得；当当前区域图像的曝光量大于或小于阈值基准时，则对当前区域图像的曝光量进行替换。

可以理解的，通过将当前区域图像的曝光量与阈值基准进行对比，当当前区域图像的曝光量存在异常时，对当前区域图像的曝光量进行阈值基准值替换，以避免异常曝光量对图像质量的影响，满足了实际应用需求。

请参阅图4，基于同一发明构思，本发明第二实施例提供的图像曝光的控制系统，包括：

区域划分模块10，用于根据待曝光图像的纹理信息，将该待曝光图像划分为若干区域图像，并计算各区域图像的信息量。

具体的，所述区域划分模块10包括：

区域划分单元，用于根据待曝光图像的纹理信息的反差量，将该待曝光图像划分为若干区域图像。

像素分割单元，用于将各区域图像根据对应的分割矩阵分割成亮度处于不同亮度区间的像素点。

信息量计算单元，用于对不同亮度区间的像素点的数量进行统计，以得到n段亮度区间的像素点数量直方图，根据每段亮度区间在各自区域的关键度及信息量计算模型确定各区域图像的信息量。

所述信息量计算模型为：

图像处理模块20，用于计算所述待曝光图像中与目标图像匹配度最高的区域图像，以得到最佳区域图像，根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新。

具体的，所述图像处理模块20包括：

第一卷积单元，用于对所述待曝光图像及目标图像进行归一化处理后进行卷积计算，以得到匹配矩阵。

图像匹配单元，用于根据所述匹配矩阵计算所述待曝光图像中与目标图像匹配度最高的区域图像。

第二卷积单元，用于将所述最佳区域图像与所述目标图像进行卷积计算，并对卷积结果进行归一化处理后得到相关矩阵；

矩阵更新单元，用于根据所述相关矩阵对所述待曝光图像的初始权重矩阵进行更新。

图像曝光模块30，用于根据各区域图像的信息量、进行权重更新后的初始权重矩阵、及各区域图像的亮度值建立图像曝光模型，以对所述待曝光图像进行曝光。

所述图像曝光模块30还用于

根据本发明提供的图像曝光的控制系统，通过根据待曝光图像的纹理信息，将该待曝光图像划分为若干区域图像，从而使具有不同纹理丰富度的图像处于不同区域，且便于对具有相同纹理丰富度图像进行统计与曝光；通过对各区域图像的信息量进行计算，以为后期图像的精准曝光提供必要条件；通过计算所述待曝光图像中与目标图像匹配度最高的区域图像，以便于根据最佳区域图像与目标图像的相关矩阵对所述待曝光图像的初始权重矩阵进行更新，从而使各区域图形具有对应的权重；根据各区域图像的信息量、进行权重更新后的初始权重矩阵、及各区域图像的亮度值建立图像曝光模型，以对所述待曝光图像进行曝光，从而实现精准曝光，避免了对待曝光图像进行曝光时由于采用整体曝光而使部分纹理不丰富区域曝光过度，而部分纹理丰富的区域曝光不足的问题。因此，本发明能够解决用户在逆光或大面积高亮场景中进行摄像时而出现兴趣区物体过暗，导致用户摄像体验的满意度降低的问题，满足了实际应用需求。

本发明实施例提出的图像曝光的控制系统的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。

此外，本发明的实施例还提出一种存储可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

此外，本发明的实施例还提出一种摄像设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述方法的步骤。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的可读存储介质，因为可以例如通过对纸或其他可读存储介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。