CN104320575B - 一种用于便携式终端的图像处理方法及图像处理装置 - Google Patents

一种用于便携式终端的图像处理方法及图像处理装置 Download PDF

Info

Publication number
CN104320575B
CN104320575B CN201410522514.3A CN201410522514A CN104320575B CN 104320575 B CN104320575 B CN 104320575B CN 201410522514 A CN201410522514 A CN 201410522514A CN 104320575 B CN104320575 B CN 104320575B
Authority
CN
China
Prior art keywords
image
pixel
gray value
highlighted
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410522514.3A
Other languages
English (en)
Other versions
CN104320575A (zh
Inventor
程懿远
赵铮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201410522514.3A priority Critical patent/CN104320575B/zh
Publication of CN104320575A publication Critical patent/CN104320575A/zh
Application granted granted Critical
Publication of CN104320575B publication Critical patent/CN104320575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种用于便携式终端的图像处理方法及图像处理装置,所述图像处理方法包括,基于单张图像执行高动态范围图像生成处理:通过所述便携式终端的摄像头捕捉第一图像;通过调整所述第一图像的亮度分别生成亮度提高的第二图像和亮度降低的第三图像;将所述第一图像分别与所述第二图像和第三图像进行合成,生成第四图像和第五图像,再将所述第四图像和所述第五图像进行合成,生成第六图像。本发明的用于便携式终端的图像处理方法及图像处理装置,实现了在不增加硬件成本的前提下,只需捕捉一张图像并对其进行处理,就能够获得高动态范围的图像,从而无论拍摄场景为移动状态还是静止状态,都能够获得效果较优的高动态范围图像。

Description

一种用于便携式终端的图像处理方法及图像处理装置
技术领域
本发明涉及图像处理技术,尤其涉及一种用于便携式终端的图像处理方法及图像处理装置。
背景技术
真实世界场景中的动态范围能够达到1014个数量级,人类视觉系统(HVS)能够感知到105个数量级的动态范围,并且通过人类视觉系统自适应机制的调整能够感知到109个数量级的动态范围。但是目前的数字图像获取设备和显示设备的动态范围却相对有限,仅仅有102~103个数量级。因此,在图像中若同时具有亮区和暗区,由于采集设备和显示设备的局限性,亮区细节和暗区细节将被损失。
为了解决上述问题,现有技术通过高动态范围图像技术,在有限动态范围的显示设备上,呈现更多细节,满足图像中的亮暗部的细节都很明显的要求。在现有技术中通常采用以下两个技术方案获得高动态范围图像:
1)拍摄多重曝光图片组,对多重曝光图片组进行对齐校正,然后进行32位光谱图(数字底片)生成。
2)通过硬件HDR精确地单独控制每一行像素的曝光时间,从而在传感器层面上就实现原生的高动态范围渲染。
然而,使用技术方案1)的方法不能抓拍,不能拍动的物体,场景中若有移动物体,会出现重影,并且该方案存储的HDR照片的文件非常大。而技术方案2)的硬件成本高,且无法自适应匹配各种机型。
发明内容
本发明的目的在于提供一种用于便携式终端的图像处理方法及图像处理装置,在不增加硬件成本的前提下,无论拍摄场景为移动状态还是静止状态,都能够获得效果更优的高动态范围图像。
根据本发明的一方面,本发明提供一种用于便携式终端的图像处理方法,包括,基于单张图像执行高动态范围图像生成处理:通过所述便携式终端的摄像头捕捉第一图像;通过调整所述第一图像的亮度分别生成亮度提高的第二图像和亮度降低的第三图像;将所述第一图像分别与所述第二图像和第三图像进行合成,生成第四图像和第五图像,再将所述第四图像和所述第五图像进行合成,生成第六图像。
根据本发明的另一方面,本发明提供一种用于便携式终端的图像处理装置,包括第一高动态范围图像生成单元,所述第一高动态范围图像生成单元包括:第一图像捕捉单元,用于通过所述便携式终端的摄像头捕捉第一图像;第一亮度调整单元,用于通过调整所述第一图像的亮度分别生成亮度提高的第二图像和亮度降低的第三图像;第一图像合成单元,用于将所述第一图像分别与所述第二图像和第三图像进行合成,生成第四图像和第五图像,再将所述第四图像和所述第五图像进行合成,生成第六图像。
本发明提供的用于便携式终端的图像处理方法及图像处理装置,通过基于单张图像执行高动态范围图像生成处理,实现了在不增加硬件成本的前提下,只需捕捉一张图像并对其进行处理,就能够获得高动态范围的第六图像,从而无论拍摄场景为移动状态还是静止状态,都能够获得效果较优的高动态范围图像。
附图说明
图1为本发明示例性实施例的用于便携式终端的图像处理方法的流程图;
图2为本发明示例性实施例的用于便携式终端的图像处理的示例图;
图3为本发明的优选实施例的用于便携式终端的图像处理方法的总体流程图;
图4为本发明的优选实施例中基于多张图像执行高动态范围图像生成处理的示例图;
图5为本发明示例性实施例的用于便携式终端的图像处理装置的逻辑框图;
图6为本发明的优选实施例的用于便携式终端的图像处理装置的总体逻辑框图。
具体实施方式
本发明的总体发明构思是,提供一种用于便携式终端的图像处理方法及图像处理装置,通过软件处理的方式对摄像头捕捉的单张图像进行处理,以获得质量较优的高动态范围图像。具体地,通过所述便携式终端的摄像头捕捉第一图像,并通过调整所述第一图像的亮度分别生成亮度提高的第二图像和亮度降低的第三图像,然后将所述第一图像分别与所述第二图像和第三图像进行合成,生成第四图像和第五图像,再将所述第四图像和所述第五图像进行合成,生成第六图像。通过上述的方法,实现了在不增加硬件成本的前提下,只需捕捉一张图像并对其进行上述的处理,就能够获得高动态范围的第六图像,从而无论拍摄场景为移动状态还是静止状态,都能够获得效果较优的高动态范围图像。
除此以外,在拍摄场景中的移动物体的位移较小时,还可以优先采取基于多张图像执行高动态范围图像生成处理方案:通过调整所述便携式终端的摄像头的曝光补偿,分别捕捉高亮图像组和暗光图像组,每组含有预定个数的图像,从所述高亮图像组和暗光图像组中分别选取代表图像作为第一高亮图像和第一暗光图像,然后对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像,再将所述亮度调整参考图像与第一高亮图像或第一暗光图像进行合成,生成高动态范围图像。
结合上述的发明构思,本发明可在不提高硬件成本的前提下,自适应选择最适合当前拍摄场景的获取高动态范围图像的方案,无论拍摄场景为移动状态还是静止状态,都能够获得效果更优的高动态范围图像。
下面结合附图对本发明的用于便携式终端的图像处理方法及图像处理装置进行详细描述。
图1是示出本发明示例性实施例的用于便携式终端的图像处理方法的流程图。
参照图1,在步骤S110,通过所述便携式终端的摄像头捕捉第一图像。具体地,可以通过调整曝光补偿,捕捉在正常光照条件下的第一图像。
在步骤S120,通过调整所述第一图像的亮度分别生成亮度提高的第二图像和亮度降低的第三图像。
根据本发明的示例性实施例,在步骤S120中,可根据预定的映射规则分别调整所述第一图像的亮度,生成亮度提高的第二图像和亮度降低的第三图像。
例如,可根据式(1)将所述第一图像每个像素的灰度值映射为所述第二图像中相应像素的灰度值,以生成所述第二图像,
map[x]=min(x+c,255) (1)
其中,x为像素在第一图像中的灰度值,map[x]为在第二图像中对应像素的灰度值,c为预定的常量,x∈[0,255],map[x]∈[0,255]。
再例如,根据式(2)将所述第一图像每个像素的灰度值映射为所述第三图像中相应像素的灰度值,以生成所述第三图像,
其中,x为像素在第一图像中的灰度值,map[x]为在第三图像中对应像素的灰度值,x∈[0,255],map[x]∈[0,255],x0、y0、a为常量,x0、y0、a是通过多次曲线调整试验得到的经验值,可根据具体情况调整这三个系数的值。
具体地,对所述第一图像中灰度值大于预定的灰度阈值的像素,将所述像素的灰度值按照预定的抛物线函数映射成为第三图像中对应像素的灰度值;对所述第一图像中灰度值不大于所述灰度阈值的像素,将所述像素的灰度值不变地映射成为第三图像中对应像素的灰度值。
通过步骤S120的处理,根据第一图像分别模拟出一张亮度提高的第二图像和亮度降低的第三图像,为后续步骤S130的合成处理提供了良好的基础。
在步骤S130,将所述第一图像分别与所述第二图像和第三图像进行合成,生成第四图像和第五图像,再将所述第四图像和所述第五图像进行合成,生成第六图像。
根据本发明的示例性实施例,在步骤S130中,对要进行合成的每两个图像,将所述两个图像中每个相互对应的像素的灰度值按照各自的权值进行加权求和,得到合成的图像中对应像素的灰度值。
其中,对所述要进行合成的每两个图像,根据任一像素在所述两个图像中的RGB分量值计算所述像素的提亮权值。假设要对图像s1和图像s2进行合成,可按照以下式(3)计算任一像素(x,y)的提亮权值weight:
其中,s1(x,y)_r、s1(x,y)_g和s1(x,y)_b分别为像素(x,y)在图像s1中红、绿、蓝分量值,s2(x,y)_r、s2(x,y)_g和s2(x,y)_分别为像素(x,y)在图像s2中的红、绿、蓝分量值。
在将第一图像和第二图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值weight赋予所述像素在第一图像中的灰度值,那么所述像素在第二图像中的权值为1-weight。
在将第一图像和第三图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值weight赋予所述像素在第三图像中的灰度值,那么所述像素在第一图像中的权值为1-weight。
在将第四图像和第五图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值weight赋予所述像素在第五图像中的灰度值,那么所述像素在第四图像中的权值为1-weight。
由此可见,根据本发明的发明构思,将高的权值赋予像素在亮度相对低的图像中的灰度值,以进行图像亮度的均衡,并保留图像中的细节。
根据本发明的优选实施例,在步骤S130之后,还对第六图像进行局部对比度增强。例如,但不限于:将第六图像分成m×n块区域(m、n各为自然数),对每一块区域的图像进行限制对比度直方图均衡,并以边界渐变方式,将m×n块进行限制对比度直方图均衡后的结果图拼接,形成最终的呈现给用户的图像。本实施例也可以采取其它的方法来进行局部对比度增强的处理,不局限于上述方法。通过该局部对比度增强的处理,进一步提升了第六图像的清晰度,给用户提供了更高的成像质量。
图2为经过上述的基于单张图像执行高动态范围图像生成处理的示例图,其中左图为在正常光照条件下便携式终端拍摄的第一图像,右图为经过本实施例的基于单张图像执行高动态范围图像生成处理后得到的第六图像。可以看出,在第一图像中不清楚的细节部分在第六图像中得到了很清楚的呈现。
图3是示出本发明的优选实施例的用于便携式终端的图像处理方法的总体流程图。
参照图3,在步骤S310,调整所述便携式终端的摄像头的曝光补偿,分别捕捉高亮图像组和暗光图像组,每组含有预定个数(如两张)的图像。
在步骤320,根据所述高亮图像组和暗光图像组中的多张图像的位移差别基于单张图像执行高动态范围图像生成处理或者基于多张图像执行高动态范围图像生成处理。具体地,先获得曝光补偿调整时间t1,并计算高亮图像组帧差diff1、s暗光图像组帧差diff2,如果t1大于预定的时间阈值(如两秒),或者diff1+diff2大于预定的阈值,则确定述位移差别大于预定阈值,否则确定所述位移差别小于或等于预定阈值。如果所述位移差别大于预定阈值,则进行步骤S110~S130,即基于单张图像执行高动态范围图像生成处理;如果所述位移差别小于或等于预定阈值,则进行步骤S330~S350,即基于多张图像执行高动态范围图像生成处理。
在步骤S330,基于捕捉的高亮图像组和暗光图像组,从所述高亮图像组和暗光图像组中分别选取代表图像作为第一高亮图像和第一暗光图像。
在步骤S340,对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像。
根据本发明的示例性实施例,在步骤S340中,对所述第一高亮图像和所述第一暗光图像分别进行亮度调整,生成第二高亮图像和第二暗光图像。具体地,先计算所述高亮图像组的亮度平均值gray_averbright和所述暗光图像组的亮度平均值gray_averdark,然后根据gray_averbright和gray_averdark的平均值分别对第一高亮图像和第一暗光图像分别进行亮度调整,生成第二高亮图像和第二暗光图像。
然后,通过对所述第二高亮图像和所述第二暗光图像进行特征点匹配,计算所述第二高亮图像和第二暗光图像之间的旋转平移矩阵。在此,可以计算第二暗光图像相对于第二高亮图像的旋转平移矩阵,也可以计算第二高亮图像相对于第二暗光图像的旋转平移矩阵。根据所述第二高亮图像和第二暗光图像来计算旋转平移矩阵,可以使计算的旋转平移矩阵更加准确。
此后,根据所述旋转平移矩阵,对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像。
根据上述本发明的示例性实施例,即所述旋转平移矩阵是第二暗光图像相对于第 二高亮图像的旋转平移矩阵,此处是对所述第一暗光图像进行位置矫正与所述第一高亮图 像对齐,生成的亮度调整参考图像为暗光。具体矫正方法可参考式(4)。其中,x、y为第一暗 光图像的坐标值,x_new、y_new为亮度调整参考图像的坐标值,为所述旋
根据上述本发明的可选实施例,所述旋转平移矩阵也可以是第二高亮图像相对于 第二暗光图像的旋转平移矩阵,此处是对所述第一高亮图像进行位置矫正与所述第一暗光 图像对齐,生成的亮度调整参考图像为亮光。具体矫正方法可参考式(4)。其中,x、y为第一 高亮图像的坐标值,x_new、y_new为亮度调整参考图像的坐标值,为所述旋转 平移矩阵。
在步骤S350,将所述亮度调整参考图像与第一高亮图像或第一暗光图像进行合成,生成高动态范围图像。
根据前述本发明的示例性实施例,所述亮度调整参考图像为暗光,在步骤S350,将所述亮度调整参考图像与第一高亮图像进行合成,生成高动态范围图像。在生成的亮度调整参考图像为亮光的可选实施例中,将所述亮度调整参考图像与第一暗光图像进行合成,生成高动态范围图像。具体地,将要合成的所述第一高亮图像或第一暗光图像中每个像素的灰度值与所述亮度调整参考图像中对应像素的灰度值按照各自的权值进行加权求和,得到所述高动态范围图像的对应像素的灰度值。
其中,根据任一像素在要进行合成的亮度调整参考图像与第一高亮图像或第一暗光图像中的RGB分量值计算所述像素的提亮权值weight。所述提亮权值的计算方法可参照式(3)。
在将所述第一高亮图像和所述亮度调整参考图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值weight赋予所述像素在亮度调整参考图像的灰度值。
在将所述第一暗光图像和所述亮度调整参考图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值weight赋予所述像素在第一暗光图像的灰度值。
根据本发明的优选实施例,在步骤S350之后,还对所述高动态范围图像进行局部对比度增强,所述局部对比度增强的处理与前述对第六图像执行的对比度增强处理类似,在此不再赘述。
图4为经过上述的基于多张图像执行高动态范围图像生成处理的示例图,其中从左边数第一、二张图像为第一暗光图像和第一高亮图像,第三张图像为经过本实施例的基于多张图像执行高动态范围图像生成处理后得到的高动态范围图像。可以看出,在第一高亮图像和第一暗光图像中不清楚的细节部分在高动态范围图像中得到了很清楚的呈现。
图5是示出本发明示例性实施例的用于便携式终端的图像处理装置的逻辑框图。
参照图5,本发明的用于便携式终端的图像处理装置包括第一高动态范围图像生成单元500。第一高动态范围图像生成单元500包括:第一图像捕捉单元510、第一亮度调整单元520、第一图像合成单元530。
第一图像捕捉单元510用于通过所述便携式终端的摄像头捕捉第一图像。
第一亮度调整单元520用于通过调整所述第一图像的亮度分别生成亮度提高的第二图像和亮度降低的第三图像。
根据本发明的实例性实施例,第一亮度调整单元520用于根据预定的映射规则分别调整所述第一图像的亮度,生成亮度提高的第二图像和亮度降低的第三图像。
例如,第一亮度调整单元520根据式(1)将所述第一图像每个像素的灰度值映射为所述第二图像中相应像素的灰度值,以生成所述第二图像。其中,x为像素在第一图像中的灰度值,map[x]为在第二图像中对应像素的灰度值,c为预定的常量,x∈[0,255],map[x]∈[0,255]。
再例如,第一亮度调整单元520根据式(2)将所述第一图像每个像素的灰度值映射为所述第三图像中相应像素的灰度值,以生成所述第三图像。
第一图像合成单元530用于将所述第一图像分别与所述第二图像和第三图像进行合成,生成第四图像和第五图像,再将所述第四图像和所述第五图像进行合成,生成第六图像。
根据本发明的示例性实施例,第一图像合成单元530对要进行合成的每两个图像,将所述两个图像中每个相互对应的像素的灰度值按照各自的权值进行加权求和,得到合成的图像中对应像素的灰度值。
其中,第一图像合成单元530对所述要进行合成的每两个图像,根据任一像素在所述两个图像中的RGB分量值计算所述像素的提亮权值。
第一图像合成单元530在将第一图像和第二图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第一图像中的灰度值。
第一图像合成单元530在将第一图像和第三图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第三图像中的灰度值。
第一图像合成单元530在将第四图像和第五图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第五图像中的灰度值。
由此可见,根据本发明的发明构思,亮度较高时,将高的权值赋予像素在亮度相对低的图像中的灰度值,在亮度较低时,将高的权值赋予像素在亮度相对高的图像中的灰度值,以进行图像亮度的均衡,并保留图像中的细节。
根据本发明的优选实施例,第一高动态范围图像生成单元500还包括局部对比度增强单元(图中未示出),用于对第六图像进行局部对比度增强。通过局部对比度增强单元,进一步提升了第六图像的清晰度,给用户提供了更高的成像质量。
图6是示出本发明的优选实施例的用于便携式终端的图像处理装置的总体逻辑框图。
参照图6,本发明的用于便携式终端的图像处理装置还包括处理方案确定单元610。处理方案确定单元610用于调整所述便携式终端的摄像头的曝光补偿,分别捕捉高亮图像组和暗光图像组,每组含有预定个数的图像,并用于根据所述高亮图像组和暗光图像组中的多张图像的位移差别调用第一高动态范围图像生成单元或者调用第二高动态范围图像生成单元。具体地,如果处理方案确定单元610确定所述位移差别大于预定阈值,则处理方案确定单元610调用第一高动态范围图像生成单元500;如果所述位移差别小于或等于预定阈值,则处理方案确定单元610调用第二高动态范围图像生成单元620。
下面同样结合图6对第二高动态范围图像生成单元620进行详细说明。
参照图6,所述第二高动态范围图像生成单元620包括:图像选取单元621、亮度调整参考图像生成单元622和第二图像合成单元623。
图像选取单元621,用于基于处理方案确定单元捕捉的高亮图像组和暗光图像组,从所述高亮图像组和暗光图像组中分别选取代表图像作为第一高亮图像和第一暗光图像。
亮度调整参考图像生成单元622,用于对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像。
根据本发明的实例性实施例,亮度调整参考图像生成单元622包括:第二亮度调整单元(图中未示出),用于对所述第一高亮图像和所述第一暗光图像分别进行亮度调整,生成第二高亮图像和第二暗光图像。具体地,所述第二亮度调整单元用于计算所述高亮图像组的亮度平均值gray_averbright和所述暗光图像组的亮度平均值gray_averdark,并根据gray_averbright和gray_averdark的平均值分别对第一高亮图像和第一暗光图像分别进行亮度调整,生成第二高亮图像和第二暗光图像;旋转平移矩阵计算单元(图中未示出),用于通过对所述第二高亮图像和所述第二暗光图像进行特征点匹配,计算所述第二高亮图像和第二暗光图像之间的旋转平移矩阵;图像对齐单元(图中未示出),用于根据所述旋转平移矩阵,对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像。
第二图像合成单元623,用于将所述亮度调整参考图像与第一高亮图像或第一暗光图像进行合成,生成高动态范围图像。
根据本发明的实例性实施例,第二图像合成单元623用于将所述第一高亮图像或第一暗光图像中每个像素的灰度值与所述亮度调整参考图像中对应像素的灰度值按照各自的权值进行加权求和,得到所述高动态范围图像的对应像素的灰度值。
其中,所述第二图像合成单元623根据任一像素在要进行合成的亮度调整参考图像与第一高亮图像或第一暗光图像中的RGB分量值计算所述像素的提亮权值。
所述第二图像合成单元623在将所述第一高亮图像和所述亮度调整参考图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在亮度调整参考图像的灰度值。
或者,所述第二图像合成单元623在将所述第一暗光图像和所述亮度调整参考图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第一暗光图像的灰度值。
根据本发明的优选实施例,第二高动态范围图像生成单元620还包括局部对比度增强单元(图中未示出),用于对所述高动态范围图像进行局部对比度增强。通过局部对比度增强单元,进一步提升了第六图像的清晰度,给用户提供了更高的成像质量。
根据上述实施例的用于便携式终端的图像处理方法及图像处理装置,通过基于单张图像执行高动态范围图像生成处理的方案,实现了在不增加硬件成本的前提下,只需捕捉一张图像并对其进行本发明所述的处理,就能够获得高动态范围的第六图像,从而无论拍摄场景为移动状态还是静止状态,都能够获得效果较优的高动态范围图像。
此外,通过根据所述高亮图像组和暗光图像组中的多张图像的位移差别确定基于单张图像执行高动态范围图像生成处理还是基于多张图像执行高动态范围图像生成处理,使得高动态范围图像生成处理更加灵活,能够自适应选择最适合当前拍摄场景的获取高动态范围图像的方案。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种用于便携式终端的图像处理方法,其特征在于,所述方法包括:
基于单张图像的高动态范围图像生成处理:捕捉第一图像,通过调整所述第一图像的亮度分别生成亮度提高的第二图像和亮度降低的第三图像,并且将所述第一图像分别与所述第二图像和第三图像进行合成,生成第四图像和第五图像,再将所述第四图像和所述第五图像进行合成,生成第六图像,其中,对要进行合成的每两个图像,根据所述两个图像中每个相互对应的像素的提亮权值得到合成的图像中对应像素的灰度值;对所述要进行合成的每两个图像,根据任一像素在所述两个图像中的RGB分量值计算所述像素的提亮权值;
所述方法还包括:调整所述便携式终端的摄像头的曝光补偿,分别捕捉高亮图像组和暗光图像组,每组含有预定个数的图像,根据所述高亮图像组和暗光图像组中的多张图像的位移差别,执行所述基于单张图像的高动态范围图像生成处理,或者基于多张图像执行高动态范围图像生成处理。
2.根据权利要求1所述的方法,其特征在于,所述通过调整所述第一图像的亮度分别生成亮度提高的第二图像和亮度降低的第三图像的处理包括:
根据预定的映射规则分别调整所述第一图像的亮度,生成亮度提高的第二图像和亮度降低的第三图像。
3.根据权利要求2所述的方法,其特征在于,所述根据预定的映射规则调整所述第一图像的亮度,生成亮度提高的第二图像的处理包括:
根据下式将所述第一图像每个像素的灰度值映射为所述第二图像中相应像素的灰度值,
map[x]=min(x+c,255)
其中,x为像素在第一图像中的灰度值,map[x]为在第二图像中对应像素的灰度值,c为预定的常量,x∈[0,255],map[x]∈[0,255]。
4.根据权利要求3所述的方法,其特征在于,所述根据预定的映射规则调整所述第一图像的亮度,生成亮度降低的第三图像的处理包括:
根据下式将所述第一图像每个像素的灰度值映射为所述第三图像中相应像素的灰度值,
其中,x为像素在第一图像中的灰度值,map[x]为在第三图像中对应像素的灰度值,x∈[0,255],map[x]∈[0,255],x0、y0、a为常量。
5.根据权利要求2所述的方法,其特征在于,在将所述第一图像分别与所述第二图像和第三图像进行合成,生成第四图像和第五图像,再将所述第四图像和所述第五图像进行合成,生成第六图像的处理中,
对要进行合成的每两个图像,将所述两个图像中每个相互对应的像素的灰度值按照各自的权值进行加权求和,得到合成的图像中对应像素的灰度值。
6.根据权利要求1所述的方法,其特征在于,
在将第一图像和第二图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第一图像中的灰度值,
在将第一图像和第三图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第三图像中的灰度值,
在将第四图像和第五图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第五图像中的灰度值。
7.根据权利要求1所述的方法,其特征在于,所述基于多张图像执行高动态范围图像生成处理包括:
基于捕捉的高亮图像组和暗光图像组,从所述高亮图像组和暗光图像组中分别选取代表图像作为第一高亮图像和第一暗光图像,对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像,
将所述亮度调整参考图像与第一高亮图像或第一暗光图像进行合成,生成高动态范围图像。
8.根据权利要求7所述的方法,其特征在于,所述对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像的处理包括:
对所述第一高亮图像和所述第一暗光图像分别进行亮度调整,生成第二高亮图像和第二暗光图像,
通过对所述第二高亮图像和所述第二暗光图像进行特征点匹配,计算所述第二高亮图像和第二暗光图像之间的旋转平移矩阵,
根据所述旋转平移矩阵,对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像。
9.根据权利要求8所述的方法,其特征在于,所述对所述第一高亮图像和所述第一暗光图像分别进行亮度调整,生成第二高亮图像和第二暗光图像的处理包括:
计算所述高亮图像组的亮度平均值gray_averbright和所述暗光图像组的亮度平均值gray_averdark
根据gray_averbright和gray_averdark的平均值分别对第一高亮图像和第一暗光图像分别进行亮度调整,生成第二高亮图像和第二暗光图像。
10.根据权利要求9所述的方法,其特征在于,所述将所述亮度调整参考图像与第一高亮图像或第一暗光图像进行合成,生成高动态范围图像的处理包括:
将所述第一高亮图像或第一暗光图像中每个像素的灰度值与所述亮度调整参考图像中对应像素的灰度值按照各自的权值进行加权求和,得到所述高动态范围图像的对应像素的灰度值。
11.根据权利要求10所述的方法,其特征在于,所述将所述第一高亮图像或第一暗光图像中每个像素的灰度值与所述亮度调整参考图像中对应像素的灰度值按照各自的权值进行加权求和的处理包括:
根据任一像素在要进行合成的亮度调整参考图像与第一高亮图像或第一暗光图像中的RGB分量值计算所述像素的提亮权值。
12.根据权利要求11所述的方法,其特征在于,
在将所述第一高亮图像和所述亮度调整参考图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在亮度调整参考图像的灰度值,或者
在将所述第一暗光图像和所述亮度调整参考图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第一暗光图像的灰度值。
13.一种用于便携式终端的图像处理装置,其特征在于,所述装置包括:
第一高动态范围图像生成单元,用于基于单张图像生成高动态范围图像,其包括:
第一图像捕捉单元,用于通过所述便携式终端的摄像头捕捉第一图像;
第一亮度调整单元,用于通过调整所述第一图像的亮度分别生成亮度提高的第二图像和亮度降低的第三图像;
第一图像合成单元,用于将所述第一图像分别与所述第二图像和第三图像进行合成,生成第四图像和第五图像,再将所述第四图像和所述第五图像进行合成,生成第六图像,其中,所述第一图像合成单元对要进行合成的每两个图像,根据所述两个图像中每个相互对应的像素的提亮权值得到合成的图像中对应像素的灰度值;所述第一图像合成单元对所述要进行合成的每两个图像,根据任一像素在所述两个图像中的RGB分量值计算所述像素的提亮权值;
所述装置还包括处理方案确定单元,用于调整所述便携式终端的摄像头的曝光补偿,分别捕捉高亮图像组和暗光图像组,每组含有预定个数的图像,并用于根据所述高亮图像组和暗光图像组中的多张图像的位移差别调用第一高动态范围图像生成单元或者调用第二高动态范围图像生成单元。
14.根据权利要求13所述的装置,其特征在于,所述第一亮度调整单元用于根据预定的映射规则分别调整所述第一图像的亮度,生成亮度提高的第二图像和亮度降低的第三图像。
15.根据权利要求14所述的装置,其特征在于,所述第一亮度调整单元根据下式将所述第一图像每个像素的灰度值映射为所述第二图像中相应像素的灰度值,
map[x]=min(x+c,255)
其中,x为像素在第一图像中的灰度值,map[x]为在第二图像中对应像素的灰度值,c为预定的常量,x∈[0,255],map[x]∈[0,255]。
16.根据权利要求15所述的装置,其特征在于,所述第一亮度调整单元根据下式将所述第一图像每个像素的灰度值映射为所述第三图像中相应像素的灰度值,
其中,x为像素在第一图像中的灰度值,map[x]为在第三图像中对应像素的灰度值,x∈[0,255],map[x]∈[0,255],x0、y0、a为常量。
17.根据权利要求14所述的装置,其特征在于,所述第一图像合成单元对要进行合成的每两个图像,将所述两个图像中每个相互对应的像素的灰度值按照各自的权值进行加权求和,得到合成的图像中对应像素的灰度值。
18.根据权利要求17所述的装置,其特征在于,所述第一图像合成单元在将第一图像和第二图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第一图像中的灰度值,
所述第一图像合成单元在将第一图像和第三图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第三图像中的灰度值,
所述第一图像合成单元在将第四图像和第五图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第五图像中的灰度值。
19.根据权利要求13所述的装置,其特征在于,所述第二高动态范围图像生成单元包括:
图像选取单元,用于基于处理方案确定单元捕捉的高亮图像组和暗光图像组,从所述高亮图像组和暗光图像组中分别选取代表图像作为第一高亮图像和第一暗光图像;
亮度调整参考图像生成单元,用于对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像;
第二图像合成单元,用于将所述亮度调整参考图像与第一高亮图像或第一暗光图像进行合成,生成高动态范围图像。
20.根据权利要求19所述的装置,其特征在于,所述亮度调整参考图像生成单元包括:
第二亮度调整单元,用于对所述第一高亮图像和所述第一暗光图像分别进行亮度调整,生成第二高亮图像和第二暗光图像;
旋转平移矩阵计算单元,用于通过对所述第二高亮图像和所述第二暗光图像进行特征点匹配,计算所述第二高亮图像和第二暗光图像之间的旋转平移矩阵;
图像对齐单元,用于根据所述旋转平移矩阵,对所述第一高亮图像和所述第一暗光图像进行位置对齐,生成亮度调整参考图像。
21.根据权利要求20所述的装置,其特征在于,所述第二亮度调整单元用于计算所述高亮图像组的亮度平均值gray_averbright和所述暗光图像组的亮度平均值gray_averdark,并根据gray_averbright和gray_averdark的平均值分别对第一高亮图像和第一暗光图像分别进行亮度调整,生成第二高亮图像和第二暗光图像。
22.根据权利要求21所述的装置,其特征在于,所述第二图像合成单元用于将所述第一高亮图像或第一暗光图像中每个像素的灰度值与所述亮度调整参考图像中对应像素的灰度值按照各自的权值进行加权求和,得到所述高动态范围图像的对应像素的灰度值。
23.根据权利要求22所述的装置,其特征在于,所述第二图像合成单元根据任一像素在要进行合成的亮度调整参考图像与第一高亮图像或第一暗光图像中的RGB分量值计算所述像素的提亮权值,其中,
所述第二图像合成单元在将所述第一高亮图像和所述亮度调整参考图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在亮度调整参考图像的灰度值,或者
所述第二图像合成单元在将所述第一暗光图像和所述亮度调整参考图像中每个相互对应的像素的灰度值进行加权求和的处理中,将计算的提亮权值赋予所述像素在第一暗光图像的灰度值。
CN201410522514.3A 2014-09-30 2014-09-30 一种用于便携式终端的图像处理方法及图像处理装置 Active CN104320575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410522514.3A CN104320575B (zh) 2014-09-30 2014-09-30 一种用于便携式终端的图像处理方法及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410522514.3A CN104320575B (zh) 2014-09-30 2014-09-30 一种用于便携式终端的图像处理方法及图像处理装置

Publications (2)

Publication Number Publication Date
CN104320575A CN104320575A (zh) 2015-01-28
CN104320575B true CN104320575B (zh) 2019-01-15

Family

ID=52375738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410522514.3A Active CN104320575B (zh) 2014-09-30 2014-09-30 一种用于便携式终端的图像处理方法及图像处理装置

Country Status (1)

Country Link
CN (1) CN104320575B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104869297A (zh) * 2015-06-15 2015-08-26 联想(北京)有限公司 图像处理方法和电子设备
CN105791707B (zh) * 2015-12-31 2019-05-28 北京金山安全软件有限公司 一种图像处理的方法、装置及电子设备
US11017501B2 (en) 2016-12-28 2021-05-25 Huawei Technologies Co., Ltd. Demosaicing method and apparatus
CN107917679B (zh) * 2017-07-20 2020-04-24 重庆大学 一种高亮、过暗区域动态检测、补偿的方法
CN107395983B (zh) * 2017-08-24 2020-04-07 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN107635098B (zh) * 2017-10-30 2019-09-10 Oppo广东移动通信有限公司 高动态范围图像噪声去除方法、装置及设备
CN111050143B (zh) 2018-10-11 2021-09-21 华为技术有限公司 一种图像拍摄方法和终端设备
CN109740505B (zh) * 2018-12-29 2021-06-18 成都视观天下科技有限公司 一种训练数据生成方法、装置及计算机设备
CN109858449B (zh) * 2019-02-01 2022-08-16 安谋科技(中国)有限公司 图像处理方法、装置、介质及系统
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
CN111372001B (zh) * 2020-03-17 2021-09-03 捷开通讯(深圳)有限公司 图像融合方法、装置、存储介质及移动终端
CN111885312B (zh) * 2020-07-27 2021-07-09 展讯通信(上海)有限公司 Hdr图像的成像方法、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098411A (zh) * 2006-06-09 2008-01-02 三星电子株式会社 用于对比度增强的图像处理方法和装置
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与系统
CN101841631A (zh) * 2009-03-20 2010-09-22 微星科技股份有限公司 暗部曝光补偿方法及应用该方法的图像处理装置
CN102420944A (zh) * 2011-04-25 2012-04-18 展讯通信(上海)有限公司 一种高动态范围图像合成方法及装置
CN104050651A (zh) * 2014-06-19 2014-09-17 青岛海信电器股份有限公司 一种场景图像的处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098411A (zh) * 2006-06-09 2008-01-02 三星电子株式会社 用于对比度增强的图像处理方法和装置
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与系统
CN101841631A (zh) * 2009-03-20 2010-09-22 微星科技股份有限公司 暗部曝光补偿方法及应用该方法的图像处理装置
CN102420944A (zh) * 2011-04-25 2012-04-18 展讯通信(上海)有限公司 一种高动态范围图像合成方法及装置
CN104050651A (zh) * 2014-06-19 2014-09-17 青岛海信电器股份有限公司 一种场景图像的处理方法及装置

Also Published As

Publication number Publication date
CN104320575A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
CN104320575B (zh) 一种用于便携式终端的图像处理方法及图像处理装置
CN104995905B (zh) 图像处理设备、拍摄控制方法和程序
US9444991B2 (en) Robust layered light-field rendering
CN104050651B (zh) 一种场景图像的处理方法及装置
WO2015023074A1 (en) A method and apparatus for dynamic range enhancement of an image
CN106030653B (zh) 用于生成高动态范围图像的图像处理系统和图像处理方法
CN107800979B (zh) 高动态范围视频拍摄方法及拍摄装置
EP3479559A1 (en) Systems and methods for capturing digital images
Jia et al. Bayesian correction of image intensity with spatial consideration
JP6218389B2 (ja) 画像処理装置及び画像処理方法
JP7369175B2 (ja) 画像処理装置およびその制御方法及びプログラム
CN110225330A (zh) 用于多视点降噪和高动态范围的系统和方法
CN108833775B (zh) 一种抗运动鬼影的hdr方法、装置及便携式终端
JP2013031174A (ja) 多重露出フュージョン基盤でゴーストブラーを除去したhdr映像生成装置及び方法
CN105141841B (zh) 摄像设备及其方法
CN106169182B (zh) 一种合成多幅不同曝光度图像的方法
CN110473159A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN106063249A (zh) 摄像装置及其控制方法以及计算机可读记录介质
JP2014072595A (ja) 映像処理装置
JP2013127774A (ja) 画像処理装置、画像処理方法及びプログラム
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
CN110445986A (zh) 图像处理方法、装置、存储介质及电子设备
JP2004200971A (ja) 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
TWI388200B (zh) A method for generating a high dynamic range image and a digital image pickup device thereof
WO2020107646A1 (zh) 图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant