CN107545555B

CN107545555B - 图像处理方法及装置

Info

Publication number: CN107545555B
Application number: CN201610478644.0A
Authority: CN
Inventors: 杜云飞
Original assignee: BYD Semiconductor Co Ltd
Current assignee: BYD Semiconductor Co Ltd
Priority date: 2016-06-27
Filing date: 2016-06-27
Publication date: 2021-07-30
Anticipated expiration: 2036-06-27
Also published as: CN107545555A

Abstract

本发明提供一种图像处理方法，通过分别获取同一场景下的长积分时间图像、短积分时间图像和普通积分时间图像；然后根据所述普通积分时间图像中像素点所处的光照度区域，对所述长积分时间图像、短积分时间图像和普通积分时间图像进行合成，由于合成后的图像中包含有普通积分时间图像的数据，即对于较暗区域和较亮区域之间的过渡区域，可以找到有效的数据来进行表示，能很好的提升图像的动态范围。本发明还提供一种图像处理装置。

Description

图像处理方法及装置

技术领域

本发明属于图像处理领域，具体涉及一种图像处理方法及装置。

背景技术

通常在图像处理中，长积分时间图像可以获得场景中较暗区域的有用信息，而较亮部分会因过度曝光而丢失信息；短积分时间图像可以获得场景中较亮区域的有用信息，而较暗部分会因曝光不足而丢失信息。

为了得到一副既包含较亮区域又包含较暗区域的图像，现有技术中一般都是通过从两张积分时间不同的图像中分别提取有用信息，按比例进行合成，而且合成过程中的比例都为固定的。即在整个场景中所有区域都按一个统一的比例来进行合成的。而事实上我们希望的是在整个场景中，对于较亮的区域，短积分时间图像所占的比例尽可能大，对于较暗的区域，长积分时间图像所占比例尽可能大，也就是说对于一幅图像不同的区域，比例值也应该不同。发明人发现，上述采用一个统一的比例来进行合成时，对于场景中的较亮部分，由于短积分图像所占比例较大，动态范围提高了，但是对于场景中较暗部分，短积分图像所占比例同样较大，所以对动态范围的提高就有限。

而且，由于合成只涉及到长积分时间图像和短积分时间图像，在某些场景中，除了有较亮区域和较暗区域外，还会有亮度适中的过渡区域，而这部分区域的有效信息，无论在长积分时间图像还是在短积分时间图像中都无法很好的体现，此时无论如何调整比例，都无法很好的表示这部分过渡区域，因为它们的有效信息根本就不存在。

发明内容

为解决上述至少一个技术问题，本发明提出了一种能够很好的提升图像动态范围的图像处理方法及装置。

本发明实施例提供的图像处理方法，包括如下步骤：分别获取同一场景下的长积分时间图像、短积分时间图像和普通积分时间图像；根据所述普通积分时间图像中像素点所处的光照度区域，对所述长积分时间图像、短积分时间图像和普通积分时间图像进行合成，其中所述光照度区域包括较暗区域、过渡区域和较亮区域。

根据本发明实施例提供的图像处理方法，通过分别获取同一场景下的长积分时间图像、短积分时间图像和普通积分时间图像；然后根据所述普通积分时间图像中像素点所处的光照度区域，对所述长积分时间图像、短积分时间图像和普通积分时间图像进行合成，由于合成后的图像中包含有普通积分时间图像的数据，即对于较暗区域和较亮区域之间的过渡区域，可以找到有效的数据来进行表示，能很好的提升图像的动态范围。

本发明实施例提供的图像处理装置，包括：图像获取单元，用于分别获取同一场景下的长积分时间图像、短积分时间图像和普通积分时间图像；以及根据所述普通积分时间图像中像素点所处的光照度区域，对所述长积分时间图像、短积分时间图像和普通积分时间图像进行合成，其中所述光照度区域包括较暗区域、过渡区域和较亮区域。

在接下来的描述中将阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

图1为本发明一实施例中的图像处理方法的流程图；

图2为本发明另一实施例中的图像处理方法的流程图；

图3为长积分时间图像、短积分时间图像和普通积分时间图像同一位置的3*3像素矩阵；

图4为长积分时间图像与普通积分时间图像的合成过程图；

图5为短积分时间图像与普通积分时间图像的合成过程图；

图6为合成后的图像的光照度与像素值的关系图；

图7为分段折线近视逼近的映射曲线；

图8为本发明一实施例中的图像处理装置的结构图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

像素值的大小在达到过爆区域以前，与光照度大致呈一个线性关系，一般数字图像只用8位数据表述像素值大小，现有的普通显示器显示的像素值大小范围为0到255之间。

发明人发现，图像中普通积分时间的像素值与光照度的关系如下：在较暗区域，由于像素值普遍较小，显示不太清晰；在较亮区域，由于像素值较大，且光照达到一定的程度后，像素值会因为感光器件的饱和像素值变为255，出现过爆现象，造成图像信息的丢失。

短积分时间的像素值与光照度的关系如下：在较亮区域，像素值随着光照度的增加，短积分时间图像能够较晚的到达饱和区，也就是在较亮区域能够更大范围的表示出图像的信息；而在较暗区域，由于像素值太小，会造成信息的丢失。

长积分时间的像素值与光照度的关系如下：在较暗区域，像素值随着光照度的增加上升较快，像素值也较大，所以在这个区域，能够较好的表示出图像信息；而在较亮区域，由于过早的进入了饱和区，会造成信息的丢失。

基于上述的发现，本发明提供了一种图像处理方法，同一图像中像素点的像素值在不同的光照度区域，采用不同的积分时间的像素值来表示，即在较暗区域、过渡区域和较亮区域的像素点的像素值分别采用长积分时间图像、普通积分时间图像和短积分时间图像的像素值来表示图像。这样，由于合成后的图像中包含有普通积分时间图像的数据，即对于较暗区域和较亮区域之间的过渡区域，可以找到有效的数据来进行表示，能很好的提升图像的动态范围。

图1为本发明一实施例中的一种图像处理方法，包括以下步骤：

S1：分别获取同一场景下的长积分时间图像、短积分时间图像和普通积分时间图像。

通过调整积分时间和增益，拍摄同一场景下不同积分时间的3张图像，长积分时间图像、短积分时间图像和普通积分时间图像，其中，普通积分时间图像的积分时间和增益位于长积分时间图像和短积分时间图像之间。

S2：根据所述普通积分时间图像中像素点所处的光照度区域，对所述长积分时间图像、短积分时间图像和普通积分时间图像进行合成，其中所述光照度区域包括较暗区域、过渡区域和较亮区域。

上述方法中，同一图像中像素点的像素值在不同的光照度区域，采用不同的积分时间的像素值来表示，这样，由于合成后的图像中包含有普通积分时间图像的数据，即对于较暗区域和较亮区域之间的过渡区域，可以找到有效的数据来进行表示，能很好的提升图像的动态范围。

如图2-7所示，在本发明另一实施例中，步骤S2的实现方法具体如下：

S21：分别计算长积分时间图像、短积分时间图像和普通积分时间图像中各个像素点的亮度值。

具体地，分别以任一像素点为中心构建M*M的像素矩阵，所述像素矩阵的平均像素值为该像素点的亮度值。

作为本实施例的一优先实施方式，M*M的像素矩阵为3*3的像素矩阵，具体如图3所示。图3A、3B、3C中分别表示以短积分时间图像的像素点R_S_22，普通积分时间图像的像素点R_M_22，长积分时间图像的像素点R_L_22为中心点，构建3*3的像素矩阵。其中，像素点R_S_22、像素点R_M_22和像素点R_L_22位于3幅图像中的同一位置。

像素点R_S_22、像素点R_M_22和像素点R_L_22的亮度值分别用mean_Y_S、mean_Y_M和mean_Y_L表示。具体计算公式如下:

其中，等式右边的分子表示：对应的3*3矩阵中9个像素点的像素值的总和。

S22：设定较暗区域到过渡区域的亮度值第一阈值TH1，过渡区域到较亮区域的亮度值第二阈值TH2。根据一般人眼对亮度区域的感知，TH1可设定在40～60之间，TH2可设定在220～240之间。

逐一判断所述普通积分时间图像的像素点属于较暗区域、过渡区域或较亮区域。具体判断一个像素点属于较暗区域、过渡区域或较亮区域，如下：

S23：如果该像素点的亮度值小于第一阈值TH1，则该像素点属于较暗区域，同时将该像素点的像素值替换为对应位置的长积分时间图像像素点的像素值，得到合成后的图像中较暗区域像素点的像素值。具体地，可以用如下公式表示：

PIXEL_VAL_HDR_DARK＝PIXEL_VAL_L_DARK (4)

其中，PIXEL_VAL_HDR_DARK为合成后的图像中较暗区域像素点的像素值，PIXEL_VAL_L_DARK为长积分时间图像中较暗区域像素点的像素值。

S24：如果该像素点的亮度值大于或者等于第一阈值TH1且小于第二阈值TH2，则该像素点属于过渡区域，同时将该像素点的像素值替换为对应位置的普通积分时间图像像素点的像素值与第一差值平均值之和，得到合成后的图像中过渡区域像素点的像素值。具体地，可以用如下公式表示：

PIXEL_VAL_HDR_NOR＝PIXEL_VAL_M_NOR+Y_AVE_TH1 (5)

其中，PIXEL_VAL_HDR_NOR为合成后的图像中过渡区域像素点的像素值，PIXEL_VAL_M_NOR为普通积分时间图像中过渡区域像素点的像素值，Y_AVE_TH1为第一差值平均值。这样相当于将过渡区域的普通积分时间图像的光照度与像素值关系曲线向上平移一个Y_AVE_TH1的距离，与较暗区域的长积分时间图像曲线连接起来，保持图像过渡的连续性，具体的如图4所示。

S25：如果该像素点的亮度值大于或者等于第二阈值TH2，则该像素点属于较亮区域，同时将该像素点的像素值替换为对应位置的短积分时间图像像素点的像素值与第一差值平均值以及第二差值平均值之和，得到合成后的图像中较亮区域像素点的像素值。具体地，可以用如下公式表示：

PIXEL_HDR_VAL_BRI＝PIXEL_S_VAL_BRI+Y_AVE_TH1+Y_AVE_TH2

(6)

其中，PIXEL_HDR_VAL_BRI为合成后的图像中较亮区域像素点的像素值，PIXEL_S_VAL_BRI为短积分时间图像中较亮区域像素点的像素值，Y_AVE_TH2为第二差值平均值。这样相当于将较亮区域的短积分时间图像的光照度与像素值关系曲线向上平移一个Y_AVE_TH1+Y_AVE_TH2的距离，使其与步骤24中的曲线连接起来，保持图像过渡的连续性，具体的如图5所示。

作为本实施例的另一优先实施方式，第一差值平均值Y_AVE_TH1表示：所有与普通积分时间图像中亮度值等于第一阈值TH1的像素点对应的长积分时间图像中的像素点的亮度值和第一阈值TH1差值的平均值。

第二差值平均值Y_AVE_TH2表示：第二阈值TH2和所有与普通积分时间图像中亮度值等于第二阈值TH2的像素点对应的短积分时间图像中的像素点的亮度值的差值的平均值。

具体地，第一差值平均值Y_AVE_TH1及第二差值平均值Y_AVE_TH2的计算公式如下：

其中，mean_Y_L_(i)表示长积分时间图像中第i个像素点亮度值，该像素点与普通积分时间图像中亮度值等于第一阈值的像素点对应，TH1表示第一阈值，i为从1到N的任一正整数，N为普通积分时间图像中亮度值等于第一阈值的像素点的个数。

其中，mean_Y_S_(i)表示短积分时间图像中第i个像素点亮度值，该像素点与普通积分时间图像中亮度值等于第二阈值的像素点对应，TH2表示第二阈值，i为从1到N的任一正整数，N为普通积分时间图像中亮度值等于第二阈值的像素点的个数。

综上所述，经过前面几个步骤，最终得到合成后的图片各个光照度区域像素点的像素值，其像素值的大小与光照度的关系曲线如图6所示。可以看到，在较暗区域，采用的是长积分时间图像的关系曲线，像素值随着光照度的增加能够快速上升，获得较多的图像信息；在过渡区域，采用的是普通积分时间图像的关系曲线，过渡自然；在较亮区域，采用的是短积分时间图像的关系曲线，随着光照度的增加，能够更晚的到达饱和区域，以获得更多的图像信息。

由于经过前面的平移拉伸，到达饱和区像素点的像素值已不是255，而是大于255，其像素值虽然也包含了图像信息，但由于显示器显示的像素值范围为0到255，如果不做处理，有可能大于255的这部分像素值会统一显示为255，而丢失信息。

为了避免信息丢失，步骤S25之后进行步骤S26处理：对合成后的图像数据进行映射处理。通过映射处理后，在较暗区域，能够进一步拉伸像素的值，以获得更多的图像信息；在过渡区域，能够尽量调整，使得过渡区域平滑自然；在较亮区域，希望对像素值大于255的像素点进行压缩，使其能够正常显示在显示器上。

优选地，本实施例采用分段折线的方法对与合成后的图像数据对应的映射函数进行近似逼近，对较暗区域的像素值进行拉伸，对较亮区域的像素值进行压缩，折现逼近后的映射曲线如图7所示，具体计算公式如下：

Output＝(Input–Input_N)*Slope_N+Start_N (9)

式9中，Output为经过映射处理后的合成图像像素点的像素值，Input为合成图像像素点的像素值，Input_N为图7中划分的N段中的手工设定的一个固定输入点，就是在0～255之间插入多个值来进行逼近，划分的段数越多，折线逼近的效果也就越好。可根据像素值的大小判定该像素在哪个折线分段中进行处理。Start_N为固定输入点对应的固定起始点，Slope_N为手工设定的各个分段对应的斜率值。

根据需求可知，在较暗区，各分段斜率值应该尽可能大，这样才能起到拉伸作用；在过渡区各分段斜率值应该适中，这样才能使过渡自然；在较亮区，各分段斜率值应该较小，这样才能压缩图像值。本实施例中，映射函数的曲线在较暗区域的曲线斜率大于1，达到拉伸的效果；在较亮区域的曲线斜率小于1，达到对图像进行压缩的目的；在过渡区域的曲线斜率位于较暗区域的曲线斜率和较亮区域的曲线斜率之间，可以根据实际情况进行调整，使图像过渡自然。例如：较暗区域的曲线斜率为1.5，过渡区域的曲线斜率位1.2，较亮区域的曲线斜率0.9；或者，较暗区域的曲线斜率为1.1，过渡区域的曲线斜率位0.9，较亮区域的曲线斜率0.7。

图8为本发明一实施例中的图像处理装置的结构图，包括图像获取单元10和图像合成单元，其中，图像获取单元10用于分别获取同一场景下的长积分时间图像、短积分时间图像和普通积分时间图像；图像合成单元20，根据所述普通积分时间图像中像素点所处的光照度区域，对所述长积分时间图像、短积分时间图像和普通积分时间图像进行合成，其中所述光照度区域包括较暗区域、过渡区域和较亮区域。

根据本发明实施例提供的图像处理装置，通过分别获取同一场景下的长积分时间图像、短积分时间图像和普通积分时间图像；然后根据所述普通积分时间图像中像素点所处的光照度区域，对所述长积分时间图像、短积分时间图像和普通积分时间图像进行合成，由于合成后的图像中包含有普通积分时间图像的数据，即对于较暗区域和较亮区域之间的过渡区域，可以找到有效的数据来进行表示，能很好的提升图像的动态范围。

优选地，图像合成单元20包括：判断模块21和合成模块22。其中，判断模块21用于逐一判断所述普通积分时间图像的像素点属于较暗区域、过渡区域或较亮区域。具体地，判断模块21用于判断该像素点的亮度值是否小于第一阈值,如果是则该像素点属于较暗区域；判断该像素点的亮度值是否大于或者等于第一阈值且小于第二阈值，如果是则该像素点属于过渡区域；判断该像素点的亮度值是否大于或者等于第二阈值，如果是则该像素点属于较亮区域。

合成模块22，如果该像素点属于较暗区域，则该像素点的像素值替换为对应位置的长积分时间图像像素点的像素值。具体地，如果该像素点的亮度值小于第一阈值TH1，则该像素点属于较暗区域，同时将该像素点的像素值替换为对应位置的长积分时间图像像素点的像素值，得到合成后的图像中较暗区域像素点的像素值。

如果该像素点属于过渡区域，则该像素点的像素值替换为对应位置的普通积分时间图像像素点的像素值与第一差值平均值之和。具体地，如果该像素点的亮度值大于或者等于第一阈值TH1且小于第二阈值TH2，则该像素点属于过渡区域，同时将该像素点的像素值替换为对应位置的普通积分时间图像像素点的像素值与第一差值平均值之和，得到合成后的图像中过渡区域像素点的像素值。

如果该像素点属于较亮区域，则该像素点的像素值替换为对应位置的短积分时间图像像素点的像素值与第一差值平均值以及第二差值平均值之和。具体地，如果该像素点的亮度值大于或者等于第二阈值TH2，则该像素点属于较亮区域，同时将该像素点的像素值替换为对应位置的短积分时间图像像素点的像素值与第一差值平均值以及第二差值平均值之和，得到合成后的图像中较亮区域像素点的像素值。

其中，所述第一差值平均值的计算公式为：

其中，Y_AVE_TH1表示第一差值平均值，mean_Y_L_(i)表示长积分时间图像中第i个像素点亮度值，该像素点与普通积分时间图像中亮度值等于第一阈值的像素点对应，TH1表示第一阈值，i为从1到N的任一正整数，N为普通积分时间图像中亮度值等于第一阈值的像素点的个数。

所述第二差值平均值的计算公式为：

其中，Y_AVE_TH2表示第二差值平均值，mean_Y_S_(i)表示短积分时间图像中第i个像素点亮度值，该像素点与普通积分时间图像中亮度值等于第二阈值的像素点对应，TH2表示第二阈值，i为从1到N的任一正整数，N为普通积分时间图像中亮度值等于第二阈值的像素点的个数。

优选地，还包括用于对合成后的图像数据进行映射处理的映射处理单元23，所述映射处理单元23采用分段折线的方法对与所述合成后的图像数据对应的映射函数进行近似逼近。通过映射处理后，在较暗区域，能够进一步拉伸像素的值，以获得更多的图像信息；在过渡区域，能够尽量调整，使得过渡区域平滑自然；在较亮区域，希望对像素值大于255的像素点进行压缩，使其能够正常显示在显示器上。

本实施例中，映射函数的曲线在较暗区域的曲线斜率大于1，达到拉伸的效果；在较亮区域的曲线斜率小于1，达到对图像进行压缩的目的；在过渡区域的曲线斜率在较暗区域的曲线斜率和较亮区域的曲线斜率之间，可以根据实际情况进行调整，使图像过渡自然。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种图像处理方法，其特征在于，包括如下步骤：

分别获取同一场景下的长积分时间图像、短积分时间图像和普通积分时间图像；

根据所述普通积分时间图像中像素点所处的光照度区域，对所述长积分时间图像、短积分时间图像和普通积分时间图像进行合成，其中所述光照度区域包括较暗区域、过渡区域和较亮区域，具体包括：

逐一判断所述普通积分时间图像的像素点属于较暗区域、过渡区域或较亮区域，

如果该像素点属于较暗区域，则该像素点的像素值替换为对应位置的长积分时间图像像素点的像素值；

如果该像素点属于过渡区域，则该像素点的像素值替换为对应位置的普通积分时间图像像素点的像素值与第一差值平均值之和；

所述第一差值平均值的计算公式为：

其中，Y_AVE_TH1表示第一差值平均值，mean_Y_L(i)表示长积分时间图像中第i个像素点亮度值，该像素点与普通积分时间图像中亮度值等于第一阈值的像素点对应，TH1表示第一阈值，i为从1到N的任一正整数，N为普通积分时间图像中亮度值等于第一阈值的像素点的个数；

如果该像素点属于较亮区域，则该像素点的像素值替换为对应位置的短积分时间图像像素点的像素值与第一差值平均值以及第二差值平均值之和；

所述第二差值平均值的计算公式为：

其中，Y_AVE_TH2表示第二差值平均值，mean_Y_S(j)表示短积分时间图像中第j个像素点亮度值，该像素点与普通积分时间图像中亮度值等于第二阈值的像素点对应，TH2表示第二阈值，j为从1到K的任一正整数，K为普通积分时间图像中亮度值等于第二阈值的像素点的个数。

2.如权利要求1所述的图像处理方法，其特征在于，所述逐一判断所述普通积分时间图像的像素点属于较暗区域、过渡区域或较亮区域，具体包括：

判断该像素点的亮度值是否小于第一阈值，如果是则该像素点属于较暗区域；

判断该像素点的亮度值是否大于或者等于第一阈值且小于第二阈值，如果是则该像素点属于过渡区域；

判断该像素点的亮度值是否大于或者等于第二阈值，如果是则该像素点属于较亮区域。

3.如权利要求2所述的图像处理方法，其特征在于，以该像素点为中心构建M*M的像素矩阵，所述像素矩阵的平均像素值为该像素点的亮度值。

4.如权利要求1-3任一所述的图像处理方法，其特征在于，还包括对合成后的图像数据进行映射处理。

5.如权利要求4所述的图像处理方法，其特征在于，所述对合成后的图像数据进行映射处理，具体包括：

采用分段折线的方法对与所述图像数据对应的映射函数进行近似逼近，对较暗区域的像素值进行拉伸，对较亮区域的像素值进行压缩。

6.如权利要求5所述的图像处理方法，其特征在于，所述映射函数的曲线在较暗区域的曲线斜率大于1，在较亮区域的曲线斜率小于1。

7.一种图像处理装置，其特征在于，包括：

图像获取单元，用于分别获取同一场景下的长积分时间图像、短积分时间图像和普通积分时间图像；以及

图像合成单元，根据所述普通积分时间图像中像素点所处的光照度区域，对所述长积分时间图像、短积分时间图像和普通积分时间图像进行合成，其中所述光照度区域包括较暗区域、过渡区域和较亮区域，所述图像合成单元包括：

判断模块，所述判断模块用于逐一判断所述普通积分时间图像的像素点属于较暗区域、过渡区域或较亮区域；以及

合成模块，所述合成模块用于如果该像素点属于较暗区域，则该像素点的像素值替换为对应位置的长积分时间图像像素点的像素值；

所述第一差值平均值的计算公式为：

所述第二差值平均值的计算公式为：

8.如权利要求7所述的图像处理装置，其特征在于，所述判断模块具体用于判断该像素点的亮度值是否小于第一阈值，如果是则该像素点属于较暗区域；

9.如权利要求7-8任一所述的图像处理装置，其特征在于，还包括用于对合成后的图像数据进行映射处理的映射处理单元，所述映射处理单元采用分段折线的方法对与合成后的图像数据对应的映射函数进行近似逼近，其中，所述映射函数的曲线在较暗区域的曲线斜率大于1，在较亮区域的曲线斜率小于1。