CN115278090B - 一种基于行曝光的单帧四曝光wdr处理方法 - Google Patents
一种基于行曝光的单帧四曝光wdr处理方法 Download PDFInfo
- Publication number
- CN115278090B CN115278090B CN202211186260.3A CN202211186260A CN115278090B CN 115278090 B CN115278090 B CN 115278090B CN 202211186260 A CN202211186260 A CN 202211186260A CN 115278090 B CN115278090 B CN 115278090B
- Authority
- CN
- China
- Prior art keywords
- exposure
- brightness
- pictures
- value
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于行曝光的单帧四曝光WDR处理方法,设置四种曝光模式,每种曝光模式分别对应有曝光时长信息和插值映射函数,采用行曝光获取单帧RAW格式图片,若物体在拍摄过程中发生了移动,则只需对每行像素位置进行平移与上一行像素对齐即可得到无重影的图像。分别提取出四种曝光模式下的数据进行对应处理后再进行整体融合,从而可自适应的赋予在过亮图像中正常亮度像素点及过暗图像中正常亮度像素点较高的比重,有效抑制过曝并保留暗部细节。针对于车载影像这种面临复杂环境并且对影像速度需求较高的场景下,使用本方法即可满足图像无重影的提高画面质量并且做到快速影像展示的条件。
Description
技术领域
本发明涉及一种图像处理方法,具体涉及一种图像宽动态范围处理方法。
背景技术
数字图像采集是利用摄像头等传感器将光信号转化成电信号并用数字形式进行存储、传输和显示。但由于材料和工艺的限制,普通的传感器一般可以提供50-70 dB的动态范围。但是室外应用经常需要捕捉100-110 dB的动态范围。由于车载影像的工作场景多处于室外,因此需要实现对较宽动态范围的捕获。
图像WDR处理技术可实现在有限传感器工艺的前提下捕获较宽动态范围的图像,在高清图像处理中具有极大价值。现有的图像WDR处理算法主要是基于多帧多曝光模式,即对同一场景多次拍摄,每次拍摄采用不同的曝光模式,从短曝光依次向长曝光过渡,得到多帧图像,最后采用相关技术合成一帧宽动态图像。
在车载影像的实际运用中,其多被用以拍摄运动场景以及物体;并且由于车载摄像头体积有限,无法承载过于复杂的运算;而多帧曝光模式进行WDR处理需要对同一画面进行多次拍摄处理,并进行曝光时间的计算,通常会存在对于运动的物体容易形成重影的问题;并且由于获取多帧的图像,帧与帧之间时间间隔较长,图像处理时间会相对较长。
发明内容
发明目的:针对现有基于多帧多曝光模式的WDR处理技术存在的问题,提出一种基于行曝光的单帧四曝光WDR处理方法,可规避多帧融合产生重影的问题,并且只用获取一帧图像,加快图像处理速度。
技术方案:一种基于行曝光的单帧四曝光WDR处理方法,包括:
步骤1:设置E l 、E ml 、E mh 、E h 四种曝光模式,每种曝光模式分别对应有曝光时长信息和插值映射函数;
步骤2:采取行曝光模式,循环所述四种曝光模式获取单帧RAW格式图片;如果物体在拍摄过程中发生了移动,则对RAW格式图片的每行像素位置进行平移来与上一行像素对齐;
步骤3:将RAW格式图片转换为RGB三通道图片,再将RGB三通道图片的三通道像素值转化为一通道的亮度值;
步骤4:基于行对步骤3得到的图像进行分割,提取出相同曝光模式下的行数据,得到四种曝光模式对应的四张图片;对于提取出的各图片,根据相邻两行纵向正对的像素,根据所述插值映射函数获取亮度插值权重,根据所述亮度插值权重进行梯度插值来填补相邻行之间的空白部分,从而得到四幅不同曝光模式的图片P E l 、P E ml 、P E mh 、P E h ;
步骤5:分别求得图片P E l 、P E ml 、P E mh 、P E h 各像素点的对比度C l,i,j 、C ml,i,j 、C mh,i,j 、 C h,i,j ;
步骤6:分别求得图片P E l 、P E ml 、P E mh 、P E h 各像素点的饱和度S l,i,j 、S ml,i,j 、S mh,i,j 、S h,i,j ;
步骤7:分别求得图片P E l 、P E ml 、P E mh 、P E h 各像素点的亮度E l,i,j 、E ml,i,j 、E mh,i,j 、E h,i,j ;
步骤8:基于求得的对比度、饱和度、亮度计算图片P E l 、P E ml 、P E mh 、P E h 每个像素点在图片融合时的比重W n,i,j ,并对W n,i,j 进行归一化处理:
W n,i,j =(C n,i,j ) aC ×(S n,i,j ) aS ×(E n,i,j ) aE
norma(W n,i,j )=W n,i,j /∑nW n,i,j
其中,参数n对应取l、ml、mh、h,aC表示对比度、饱和度以及亮度三者加权后的对比度比重,aS表示对比度、饱和度以及亮度三者加权后的饱和度比重,aE表示对比度、饱和度以及亮度三者加权后的亮度比重,norma(W n,i,j )表示W n,i,j 归一化的值;
步骤9:图片P E l 、P E ml 、P E mh 、P E h 各自对应的归一化的比重图记为W l 、W ml 、W mh 、W h ,根据归一化的比重图将各图片进行融合。
进一步的,所述步骤1中,所述曝光时长信息的确认方法为:在不同环境下采集500张图片,将图片根据平均亮度值分类为低亮度、中低亮度、中高亮度、高亮度四种类型,依次将分类后低亮度、中低亮度、中高亮度、高亮度图片的曝光时间的平均值分别作为E l 、E ml 、E mh 、E h 曝光模式的曝光时长。
进一步的,所述步骤1中,所述插值映射函的建立方法为:求得根据平均亮度值分类的每一类型中所有图片第n行像素值的均值I,求得每一类型中所有图片第n行与第(n+4)行像素值的差的加权均值D,分别对所述均值I和加权均值D取均值、取三分之一均值、取三分之二均值后向对数函数曲线进行拟合,得到插值映射函数W(I):
其中,参数β为中间变量;
步骤2中获取的单帧RAW格式图片通过插值映射函数W(I)得到步骤4中所述亮度插值权重。
进一步的,每种曝光模式分别对应有动态范围函数R(r),所述动态范围函数R(r)的建立方法为:根据平均亮度值分类的每一类型中所有图片的动态范围r的最大值r max 、中值r mid 以及最小值r min ,向对数函数曲线进行拟合,得到动态范围函数R(r):
其中,α为中间变量;
步骤2中获取的单帧RAW格式图片通过动态范围函数R(r)得到对应动态范围值,在完成步骤9后,根据所述动态范围值对融合后图片的各部分分别进行色调映射,实现图片的压缩。
进一步的,还包括完成步骤9后对融合后的图片进行均值滤波或高斯滤波处理。
有益效果:现有技术中若采用多帧曝光后融合成一帧宽动态图像,由于帧与帧之间存在时间差,如果在两帧之间的时间内物体产生了移动,则融合之后的图像就会产生重影。本发明采用行曝光获取图像,若物体在拍摄过程中发生了移动,则只需对每行像素位置进行平移与上一行像素对齐即可得到无重影的图像。因此,针对于车载影像这种面临复杂环境并且对影像速度需求较高的场景下,使用本方法即可满足图像无重影的提高画面质量并且做到快速影像展示的条件。
附图说明
图1为本发明方法的流程图;
图2为本发明步骤4中分割提取出的不同曝光模式分别对应的图片;
图3为本发明步骤4中分割提取出的不同曝光模式的图片经插值填补后的图片。
具体实施方式
下面结合附图对本发明做更进一步的解释。
一种基于行曝光的单帧四曝光WDR处理方法,包括:
步骤1:定义E l 、E ml 、E mh 、E h 四种曝光模式,每种曝光模式分别对应有曝光时长信息、插值映射函数以及动态范围函数。
其中,曝光时长信息的确认方法为:在不同环境下采集500张图片,将图片根据平均亮度值分类为低亮度、中低亮度、中高亮度、高亮度四种类型,四种亮度按亮度值递增均匀划分各区间;依次将分类后低亮度、中低亮度、中高亮度、高亮度图片的曝光时间的平均值分别作为E l 、E ml 、E mh 、E h 曝光模式的曝光时长。本实施例中,四种模式的曝光时间分别为Tl:250ms,TMl:125ms,Tmh:15ms,Th:5ms。
插值映射函的建立方法为:求得根据平均亮度值分类的每一类型中所有图片第n行像素值的均值I,求得每一类型中所有图片第n行与第(n+4)行像素值的差的加权均值D,分别对均值I和加权均值D取均值、取三分之一均值、取三分之二均值后向对数函数曲线进行拟合,得到插值映射函数W(I):
其中,参数β为中间变量。
每种曝光模式分别对应有动态范围函数R(r),该动态范围函数R(r)的建立方法为:根据平均亮度值分类的每一类型中所有图片的动态范围r的最大值r max 、中值r mid 以及最小值r min ,向对数函数曲线进行拟合,得到动态范围函数R(r):
其中,α为中间变量。
步骤2:采取行曝光模式获取单帧图像,图像从第一行开始依次往下分别采用模式E l 、E ml 、E mh 、E h 进行曝光,即第一行采用E l 模式进行曝光,第二行采用E ml 模式进行曝光,第三行采用E mh 模式进行曝光,第四行采用E h 模式进行曝光,如第五行重新采用E l 模式进行曝光,如此循环实现单帧RAW格式图片的获取。如果物体在拍摄过程中发生了移动,则对RAW格式图片的每行像素位置进行平移来与上一行像素对齐。
步骤3:对RAW格式图片进行插值,得到RGB三通道图片,再将RGB三通道图片的三通道像素点数值转化为一通道的亮度值。
步骤4:基于行对步骤3得到的图像进行分割,提取出相同曝光模式下的行数据,得到四种曝光模式对应的四张图片;对于提取出的各图片,根据相邻两行纵向正对的像素,根据插值映射函数W(I)获取亮度插值权重,根据亮度插值权重进行梯度插值来填补相邻行之间的空白部分,从而得到四幅不同曝光模式的图片P E l 、P E ml 、P E mh 、P E h 。
步骤4具体的包括:
S1:对于采用E l 模式进行曝光的行提取出来,即对于1920*1080格式的图片,将图片的第1行,第5行,第9行……第1917行提取出来,各行之间的部分用0值进行填充,得到图像RP E l 。本实施例中,完成S1之后得到的四张图片如图2所示。
S2:对于第1行和第5行之间的0值行,以第1行和第5行纵向正对的像素值分别与权重W l 相乘后进行插值形成梯度进行数值的填补,按此方法对图像RP E l 中的所有0值进行替换,最终得到图像P E l 。本实施例中,完成S2之后得到四张图片如图3所示。
S3:对于其他三种曝光模式也分别按照步骤S1和S2进行以上处理,得到图片P E ml 、P E mh 、P E h 。
步骤5:分别求得图片P E l 、P E ml 、P E mh 、P E h 各像素点的对比度C l,i,j 、C ml,i,j 、C mh,i,j 、 C h,i,j ,计算公式为:
C n,i,j =|∆gray(P E n,i,j )|
其中,参数n对应取l、ml、mh、h;∆gray为拉普拉斯算子,用于提取图像梯度信息;P E n,i,j 表示各图片中第i行j列像素点。
步骤6:分别求得图片P E l 、P E ml 、P E mh 、P E h 各像素点的饱和度S l,i,j 、S ml,i,j 、S mh,i,j 、S h,i,j ,计算公式为:
步骤7:分别求得图片P E l 、P E ml 、P E mh 、P E h 各像素点的亮度E l,i,j 、E ml,i,j 、E mh,i,j 、E h,i,j ,计算公式为:
其中,变量n取l、ml、mh、h,σ为方差,经过测试取0.2时较佳。
步骤8:基于求得的对比度、饱和度、亮度来求得图片P E l 、P E ml 、P E mh 、P E h 每个像素点在融合时的比重W n,i,j ,并且为了防止多张图像融合出现像素值过高或者过低的情况,对W n,i,j 进行归一化处理,计算公式为:
W n,i,j =(C n,i,j ) aC ×(S n,i,j ) aS ×(E n,i,j ) aE
norma(W n,i,j )=W n,i,j /∑nW n,i,j
其中,变量n取l、ml、mh、h,aC表示对比度、饱和度以及亮度加权后的对比度比重,aS表示三者加权后的饱和度比重,aE表示三者加权后的亮度比重,norma(W n,i,j )表示归一下的值。通过本步骤,可自适应的赋予在过亮图像中正常亮度像素点及过暗图像中正常亮度像素点较高的比重,如此进行融合可有效抑制过曝并保留暗部细节。
步骤9:图片P E l 、P E ml 、P E mh 、P E h 各自对应一张归一化的比重图W l 、W ml 、W mh 、W h ,根据归一化的比重图将各图片进行融合。
为减轻融合后拼接感,还包括完成步骤9后对融合的图像进行均值滤波或高斯滤波处理,以使图像拼接处平滑过渡。为了优化图像也可使用拉普拉斯金字塔,从低分辨率层开始上采样叠加同尺度的融合图像。
步骤2中获取的单帧RAW格式图片通过动态范围函数R(r)得到对应动态范围值,拼接完成之后,根据动态范围值对融合后图片的各部分分别进行色调映射,即根据分割块的来源匹配提前设置好的对应动态范围进行色调映射,实现图片的压缩。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种基于行曝光的单帧四曝光WDR处理方法,其特征在于,包括:
步骤1:设置E l 、E ml 、E mh 、E h 四种曝光模式,每种曝光模式分别对应有曝光时长信息和插值映射函数;
步骤2:采取行曝光模式,循环所述四种曝光模式获取单帧RAW格式图片;如果物体在拍摄过程中发生了移动,则对RAW格式图片的每行像素位置进行平移来与上一行像素对齐;
步骤3:将RAW格式图片转换为RGB三通道图片,再将RGB三通道图片的三通道像素值转化为一通道的亮度值;
步骤4:基于行对步骤3得到的图像进行分割,提取出相同曝光模式下的行数据,得到四种曝光模式对应的四张图片;对于提取出的各图片,根据相邻两行纵向正对的像素,根据所述插值映射函数获取亮度插值权重,根据所述亮度插值权重进行梯度插值来填补相邻行之间的空白部分,从而得到四幅不同曝光模式的图片P E l 、P E ml 、P E mh 、P E h ;
步骤5:分别求得图片P E l 、P E ml 、P E mh 、P E h 各像素点的对比度C l,i,j 、C ml,i,j 、C mh,i,j 、C h,i,j ;
步骤6:分别求得图片P E l 、P E ml 、P E mh 、P E h 各像素点的饱和度S l,i,j 、S ml,i,j 、S mh,i,j 、S h,i,j ;
步骤7:分别求得图片P E l 、P E ml 、P E mh 、P E h 各像素点的亮度E l,i,j 、E ml,i,j 、E mh,i,j 、E h,i,j ;
步骤8:基于求得的对比度、饱和度、亮度计算图片P E l 、P E ml 、P E mh 、P E h 每个像素点在图片融合时的比重W n,i,j ,并对W n,i,j 进行归一化处理:
W n,i,j =(C n,i,j ) aC ×(S n,i,j ) aS ×(E n,i,j ) aE
norma(W n,i,j )=W n,i,j /∑nW n,i,j
其中,参数n对应取l、ml、mh、h,aC表示对比度、饱和度以及亮度三者加权后的对比度比重,aS表示对比度、饱和度以及亮度三者加权后的饱和度比重,aE表示对比度、饱和度以及亮度三者加权后的亮度比重,norma(W n,i,j )表示W n,i,j 归一化的值;
步骤9:图片P E l 、P E ml 、P E mh 、P E h 各自对应的归一化的比重图记为W l 、W ml 、W mh 、W h ,根据归一化的比重图将各图片进行融合;
所述步骤1中,所述曝光时长信息的确认方法为:在不同环境下采集500张图片,将图片根据平均亮度值分类为低亮度、中低亮度、中高亮度、高亮度四种类型,依次将分类后低亮度、中低亮度、中高亮度、高亮度图片的曝光时间的平均值分别作为E l 、E ml 、E mh 、E h 曝光模式的曝光时长;
所述步骤1中,所述插值映射函的建立方法为:求得根据平均亮度值分类的每一类型中所有图片第n行像素值的均值I,求得每一类型中所有图片第n行与第(n+4)行像素值的差的加权均值D,分别对所述均值I和加权均值D取均值、取三分之一均值、取三分之二均值后向对数函数曲线进行拟合,得到插值映射函数W(I):
其中,参数β为中间变量;
步骤2中获取的单帧RAW格式图片通过插值映射函数W(I)得到步骤4中所述亮度插值权重。
3.根据权利要求2所述的基于行曝光的单帧四曝光WDR处理方法,其特征在于,还包括完成步骤9后对融合后的图片进行均值滤波或高斯滤波处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211186260.3A CN115278090B (zh) | 2022-09-28 | 2022-09-28 | 一种基于行曝光的单帧四曝光wdr处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211186260.3A CN115278090B (zh) | 2022-09-28 | 2022-09-28 | 一种基于行曝光的单帧四曝光wdr处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115278090A CN115278090A (zh) | 2022-11-01 |
CN115278090B true CN115278090B (zh) | 2022-12-06 |
Family
ID=83757007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211186260.3A Active CN115278090B (zh) | 2022-09-28 | 2022-09-28 | 一种基于行曝光的单帧四曝光wdr处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115278090B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881854A (zh) * | 2015-05-20 | 2015-09-02 | 天津大学 | 基于梯度和亮度信息的高动态范围图像融合方法 |
CN114240767A (zh) * | 2021-11-16 | 2022-03-25 | 上海赛昉科技有限公司 | 一种基于曝光融合的图像宽动态范围处理方法及装置 |
CN114283100A (zh) * | 2021-11-16 | 2022-04-05 | 上海赛昉科技有限公司 | 高动态范围图像合成与色调映射方法及电子设备 |
-
2022
- 2022-09-28 CN CN202211186260.3A patent/CN115278090B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881854A (zh) * | 2015-05-20 | 2015-09-02 | 天津大学 | 基于梯度和亮度信息的高动态范围图像融合方法 |
CN114240767A (zh) * | 2021-11-16 | 2022-03-25 | 上海赛昉科技有限公司 | 一种基于曝光融合的图像宽动态范围处理方法及装置 |
CN114283100A (zh) * | 2021-11-16 | 2022-04-05 | 上海赛昉科技有限公司 | 高动态范围图像合成与色调映射方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115278090A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9591237B2 (en) | Automated generation of panning shots | |
CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
CN106713755B (zh) | 全景图像的处理方法及装置 | |
CN102970549B (zh) | 图像处理方法及装置 | |
CN110602467B (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
CN113992861B (zh) | 一种图像处理方法及图像处理装置 | |
CN110930301B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108024054A (zh) | 图像处理方法、装置及设备 | |
EP1417644A2 (en) | Method and apparatus for varying focus in a scene | |
KR20150108774A (ko) | 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체 | |
WO2022116988A1 (zh) | 图像处理方法、装置、设备和存储介质 | |
CN110557584A (zh) | 图像处理方法及装置、计算机可读存储介质 | |
CN111724317A (zh) | Raw域视频去噪监督数据集构造方法 | |
JP2017502557A (ja) | バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置 | |
CN113313661A (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
CN111986106A (zh) | 一种基于神经网络的高动态图像重建方法 | |
US20180197282A1 (en) | Method and device for producing a digital image | |
CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
CN112750092A (zh) | 训练数据获取方法、像质增强模型与方法及电子设备 | |
CN114862698A (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
CN111242860A (zh) | 超级夜景图像的生成方法、装置、电子设备及存储介质 | |
CN115115516A (zh) | 基于Raw域的真实世界视频超分辨率算法 | |
KR20230074136A (ko) | 세일리언시 기반 캡처 또는 이미지 프로세싱 | |
CN115278090B (zh) | 一种基于行曝光的单帧四曝光wdr处理方法 | |
CN112598609A (zh) | 一种动态图像的处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230411 Address after: No. 88, Wenchang East Road, Yangzhou, Jiangsu 225000 Patentee after: Jiangsu Daoyuan Technology Group Co.,Ltd. Address before: 211135 enlightenment star Nanjing maker space G41, second floor, No. 188, Qidi street, Qilin science and Technology Innovation Park, Qixia District, Nanjing, Jiangsu Province Patentee before: Jiangsu Peregrine Microelectronics Co.,Ltd. |