CN112235505A - 去除图像闪烁的方法及其相关装置 - Google Patents

去除图像闪烁的方法及其相关装置 Download PDF

Info

Publication number
CN112235505A
CN112235505A CN202011017398.1A CN202011017398A CN112235505A CN 112235505 A CN112235505 A CN 112235505A CN 202011017398 A CN202011017398 A CN 202011017398A CN 112235505 A CN112235505 A CN 112235505A
Authority
CN
China
Prior art keywords
exposure image
short
current
long
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011017398.1A
Other languages
English (en)
Other versions
CN112235505B (zh
Inventor
杨熙丞
王廷鸟
张东
刘晓沐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011017398.1A priority Critical patent/CN112235505B/zh
Publication of CN112235505A publication Critical patent/CN112235505A/zh
Application granted granted Critical
Publication of CN112235505B publication Critical patent/CN112235505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种去除图像闪烁的方法及其相关装置。其中，去除图像闪烁的方法包括：获取当前长曝光图像和当前短曝光图像；计算当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量；基于当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量计算得到去除闪烁后的短曝光图像。本申请去除图像闪烁的方法能够去除图像中闪烁。

Description

去除图像闪烁的方法及其相关装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种去除图像闪烁的方法及其相关装置。
背景技术
拍摄图像时，为了准确捕捉高速运动物体，需要降低成像系统的曝光时间。但是降低曝光时间后，拍摄得到的图像会出现多条不规则的、类似明暗相间的条带状闪烁现象。
发明内容
本申请提供一种去除图像闪烁的方法及其相关装置，以去除图像中闪烁。
为达到上述目的，本申请提供一种去除图像闪烁的方法，包括：
获取当前长曝光图像和当前短曝光图像；
计算当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量；
基于当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量计算得到去除闪烁后的短曝光图像。
其中，计算当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量，包括：
对当前长曝光图像和当前短曝光图像分别进行对数处理，以得到第一长曝光图像和第一短曝光图像；
对第一长曝光图像和第一短曝光图像分别进行低通滤波，以得到当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量。
其中，对当前长曝光图像和当前短曝光图像分别进行对数处理，以得到第一长曝光图像和第一短曝光图像，包括：
基于当前短曝光图像生成强光抑制权重矩阵；
利用强光抑制权重矩阵和当前短曝光图像对当前长曝光图像进行强光抑制，得到抑制长曝光图像；
对抑制长曝光图像和当前短曝光图像分别进行对数处理，得到第一长曝光图像和第一短曝光图像。
其中，基于当前短曝光图像生成强光抑制权重矩阵，包括：
获取第一预设值、第二预设值、第三预设值和第四预设值；
基于第一预设值、第二预设值、第三预设值和第四预设值得到映射关系；
基于映射关系将当前短曝光图像中每一像素点的像素值映射成强光抑制权重矩阵中对应位置的值。
其中，对当前长曝光图像和当前短曝光图像分别进行对数处理，以得到第一长曝光图像和第一短曝光图像，包括：对当前长曝光图像和当前短曝光图像分别进行下采样处理，得到第二长曝光图像和第二短曝光图像；对第二长曝光图像和第二短曝光图像分别进行对数处理，得到第一长曝光图像和第一短曝光图像；
对第一长曝光图像和第一短曝光图像分别进行低通滤波，以得到当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量，包括：对第一长曝光图像和第一短曝光图像分别进行低通滤波，得到第三长曝光图像和第三短曝光图像；对第三长曝光图像和第三短曝光图像分别进行上采样，以得到当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量；
其中，当前长曝光图像的对数域光照分量和当前长曝光图像的分辨率相同，当前短曝光图像的对数域光照分量和当前短曝光图像的分辨率相同。
其中，对第一长曝光图像和第一短曝光图像分别进行低通滤波，之前包括：
获取当前长曝光图像的前N-1帧长曝光图像和当前短曝光图像的前N-1帧短曝光图像；
对第一长曝光图像和第一短曝光图像分别进行低通滤波，以得到当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量，包括：
基于前N帧长曝光图像对第一长曝光图像进行时域滤波操作，以得到第四长曝光图像；
基于前N帧短曝光图像对第一短曝光图像进行时域滤波操作，以得到第四短曝光图像；
对第四长曝光图像和第四短曝光图像分别进行低通滤波处理，以得到当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量。
其中，基于当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量计算去除闪烁后的短曝光图像，包括：
对当前短曝光图像进行对数处理，得到第五短曝光图像；
计算第五短曝光图像和当前短曝光图像的对数域光照分量的差值，得到短曝光图像的对数域反射分量；
计算当前短曝光图像的对数域反射分量和当前长曝光图像的对数域光照分量的和，得到第六短曝光图像；
对第六短曝光图像进行指数处理，得到去除闪烁后的短曝光图像。
其中，对第六短曝光图像进行指数处理，之后包括：
将去除闪烁后的短曝光图像和当前短曝光图像进行加权，以得到最终去除闪烁的短曝光图像。
为达到上述目的，本申请提供一种去除图像闪烁的方法，包括处理器和存储器，存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述去除图像闪烁的方法中的步骤。
为达到上述目的，本申请提供一种计算机可读存储介质，其中存储有计算机程序，计算机程序被执行时实现上述去除图像闪烁的方法中的步骤。
本申请先获得当前长曝光图像和当前短曝光图像，然后计算当前长曝光图像和当前短曝光图像的对数域光照分量；接着基于当前长曝光图像和当前短曝光图像的对数域光照分量计算得到去除闪烁后的短曝光图像，以消除当前短曝光图像的闪烁现象，同时高亮区像素值近似于短曝光原始像素值，防止引入当前长曝光图像的过曝问题，并且在对数域下对图像进行处理，可以简化计算过程。
附图说明
图1是本申请去除图像闪烁的方法一实施方式的流程示意图；
图2是本申请去除图像闪烁的方法中长曝光图像的示意图；
图3是本申请去除图像闪烁的方法中短曝光图像的示意图；
图4是本申请去除图像闪烁的方法另一实施方式的流程示意图；
图5是本申请去除图像闪烁的方法中第二短曝光图像的示意图；
图6是本申请去除图像闪烁的方法中强光抑制权重矩阵的示意图；
图7是本申请去除图像闪烁的装置一实施方式的结构示意图；
图8是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本申请所提供的一种去除图像闪烁的方法及其相关装置做进一步详细描述。
具体请参阅图1，图1是本申请去除图像闪烁的方法第一实施方式的流程示意图。本实施例去除图像闪烁的方法包括以下步骤。
S110：获取当前长曝光图像和当前短曝光图像。
在本实施方式中，可以先获取当前长曝光图像和当前短曝光图像，以基于当前长曝光图像去除当前短曝光图像中的闪烁。
一般情况下，如图2所示，长曝光图像没有闪烁现象，但运动物体模糊。如图3所示，短曝光图像存在闪烁现象，但运动物体清晰，从而可以利用长曝光图像没有闪烁现象的特性对短曝光图像进行处理，以得到去除闪烁后的短曝光图像。
可以理解的是，当前长曝光图像为曝光时间为第一值时采集到的图像。当前短曝光图像为曝光时间为第二值时采集到的图像。第一值大于第二值。第一值和第二值可以根据具体情况进行调整。例如，第一值为3s，第二值为0.1s。
当前长曝光图像和当前短曝光图像可以分别是原始长曝光图像和原始短曝光图像。在另一实现方式中，当前长曝光图像和当前短曝光图像可以分别为原始长曝光和短曝光拜耳图像经过图像信号处理单元一系列的图像处理得到的，其中，图像处理不仅限于多帧宽动态融合、gamma提亮、图像去噪等图像处理操作。在又一实现方式中，当前长曝光图像和当前短曝光图像可以分别由其他图像融合得到，如当前短曝光图像可以由多帧相同或不同曝光时间的短曝光图像融合得到。当前长曝光图像和当前短曝光图像可以是YUV图像或RGB图像等，其中YUV图像可以包括亮度图像和色度图像。
S120：计算当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量。
S130：基于当前长曝光图像和当前短曝光图像的对数域光照分量计算得到去除闪烁后的短曝光图像。
在本实施方式中，可以先获得当前长曝光图像和当前短曝光图像，然后计算当前长曝光图像和当前短曝光图像的对数域光照分量；接着基于当前长曝光图像和当前短曝光图像的对数域光照分量计算得到去除闪烁后的短曝光图像，以消除当前短曝光图像的闪烁现象，同时高亮区像素值近似于短曝光原始像素值，防止引入当前长曝光图像的过曝问题，并且在对数域下对图像进行处理，可以简化计算过程。
具体请参阅图4，图4是本申请去除图像闪烁的方法第二实施方式的流程示意图。本实施例去除图像闪烁的方法包括以下步骤。
S201：对当前长曝光图像和当前短曝光图像分别进行下采样处理，得到第二长曝光图像和第二短曝光图像。
获得当前长曝光图像和当前短曝光图像后，可以对当前长曝光图像和当前短曝光图像分别进行下采样，以缩小图像大小，降低获得当前长曝光图像和当前短曝光图像的对数域光照分量的计算量。
其中，可以通过下采样将当前长曝光图像和当前短曝光图像分别缩小a倍。例如，对宽为w和高为h的当前长曝光图像进行a＝2的下采样操作，得到宽为w/2和高为h/2的第二长曝光图像。
可以通过最邻近插值法、双线性插值法、三次多项式插值法或双三次卷积法等方法对长曝光图像和短曝光图像分别进行下采样。
S202：基于第二短曝光图像生成强光抑制权重矩阵。
可以基于第二短曝光图像生成强光抑制权重矩阵，以便利用强光抑制权重矩阵对第二长曝光图像进行强光抑制处理，以防止长曝光图像部分像素点亮度过高导致闪烁去除效果不佳。
可选地，步骤S202可以包括：获取第一预设值low_x、第二预设值high_x、第三预设值low_y和第四预设值high_y；
基于第一预设值low_x、第二预设值high_x、第三预设值low_y和第四预设值high_y得到映射关系，其中，映射关系的公式可为
Figure BDA0002699521320000061
基于映射关系将短曝光图像中每一像素点的像素值映射成强光抑制权重矩阵中对应位置的值。
其中，lut(x)表示映射关系；low_x和high_x分别表示映射关系中转折点1和转折点2的横坐标，其中low_x<high_x，low_x和high_x可以根据实际情况进行调整，例如，low_x和high_x可以分别为100和150；low_y和high_y分别表示映射关系中转折点1和转折点2的纵坐标，其中low_y<high_y，low_y和high_y均处于0～1之间，low_y和high_y可以根据实际情况进行调整，例如，low_y和high_y可以分别为0.3和0.8。
例如，假设low_x、high_x、low_y和high_y分别为80、130、0.25和0.69，则映射关系
Figure BDA0002699521320000062
从而基于该映射关系可以将图5所示的第二短曝光图像中每一像素点的像素值映射成图6所示的强光抑制权重矩阵中对应位置的值。
可选地，当第二短曝光图像为yuv图像时，可以利用第二短曝光图像的亮度通道的像素值生成强光抑制权重矩阵w_h。可利用基于第二短曝光图像的亮度通道生成的强光抑制权重矩阵w_h对第二长曝光图像的亮度通道和色度通道进行强光抑制处理。
S203：利用强光抑制权重矩阵和第二短曝光图像对第二长曝光图像进行强光抑制，得到抑制长曝光图像。
得到强光抑制权重矩阵后，可以利用强光抑制权重矩阵和第二短曝光图像对第二长曝光图像进行抑制，得到抑制长曝光图像，这样可以对第二长曝光图像中高亮的像素点进行抑制。
可选地，步骤S203的计算公式可为：F2Sl k＝F2s k*w_h+F2l k*(1-w_h)；其中，F2s k为第二短曝光图像；w_h为强光抑制权重矩阵；F2l k为第二长曝光图像；F2Sl k为抑制长曝光图像。
S204：对第二短曝光图像和抑制长曝光图像分别进行对数处理，得到第一长曝光图像和第一短曝光图像。
对第二长曝光图像进行抑制后，可以对第二短曝光图像和抑制长曝光图像分别进行对数处理，以将第二短曝光图像和抑制长曝光图像转入对数域进行处理，拉伸暗区动态范围，以便后续对对数处理后的长曝光图像和短曝光图像进行低通滤波处理，以得到长曝光图像和短曝光图像各自的对数域光照分量。
其中，步骤S204的对数处理的公式分别为：
Figure BDA0002699521320000071
其中，F2Sl k为抑制长曝光图像，F1l k为第一长曝光图像；
Figure BDA0002699521320000072
其中，F2s k为第二短曝光图像，F1s k为第一短曝光图像。
上述公式中的b即为对数处理的底数，其可以根据实际情况进行设定，例如可为2、3、10或e等值。
S205：基于前N-1帧长曝光图像对第一长曝光图像进行时域滤波操作，得到第四长曝光图像；基于前N-1帧短曝光图像对第一短曝光图像进行时域滤波操作，得到第四短曝光图像。
将第二短曝光图像和抑制长曝光图像转入对数域得到第一短曝光图像和第一长曝光图像后，可以对第一短曝光图像和第一长曝光图像进行时域滤波操作，以通过多帧长短曝光图像序列进一步消除运动物体带来的影响，提升去除闪烁现象的效果。
在对当前长曝光图像的第一长曝光图像进行时域滤波操作时，需要获取前N-1帧长曝光图像的第一长曝光图像。其中，前N-1帧长曝光图像是指第一长曝光图像之前的前N-1帧长曝光图像，而前N-1帧长曝光图像对应的第一长曝光图像是指对前N-1帧长曝光图像进行下采样、强光抑制和/或对数处理等处理得到的。同样地，在对当前端曝光图像的第一短曝光图像进行时域滤波操作时，需要获取前N短曝光图像的第一短曝光图像。其中，前N-1帧短曝光图像是指第一短曝光图像之前的前N-1帧短曝光图像，而前N-1帧短曝光图像各自对应的第一短曝光图像是指对前N-1帧短曝光图像进行下采样和/或对数处理等处理得到的。
其中，时域滤波操作的方法可以为均值滤波、高斯滤波、中值滤波或双边滤波等。
例如，可通过下述公式分别对第一长曝光图像和第一短曝光图像进行时域滤波操作：
Figure BDA0002699521320000081
Figure BDA0002699521320000082
其中，F3_TimeAvel k为当前第四长曝光图像，F3_TimeAves k为第四短曝光图像，N表示参与时域滤波的帧数量。例如N＝5代表：当前长曝光图像和前N-1帧长曝光图像各自的第一长曝光图像参与了当前长曝光图像的时域滤波计算；当前短曝光图像和前N-1帧短曝光图像各自的第一短曝光图像参与了当前短曝光图像的时域滤波计算。j表示时域滤波中帧序号。w_t表示加权系数，当前长曝光图像和前N-1帧长曝光图像的加权系数可以相同，例如均为1，代表参与时域滤波的图像帧重要性相同。在其他实现方式中，当前长曝光图像和前N-1帧长曝光图像的加权系数可以不相同。示例性地，当前长曝光图像和前N-1帧长曝光图像距离当前长曝光图像越近，加权系数越大，例如当前长曝光图像和前4帧长曝光图像的加权系数可以分别为10、3、2、1和1。
S206：对第四长曝光图像和第四短曝光图像分别进行低通滤波处理，得到第三长曝光图像和第三短曝光图像。
对当前长曝光图像的第一长曝光图像和当前短曝光图像的第一短曝光图像进行时域滤波后，可以对第四长曝光图像和第四短曝光图像分别进行低通滤波处理，以便后续利用第四长曝光图像和第四短曝光图像各自的低通滤波处理结果得到当前长曝光图像和当前短曝光图像各自的对数域光照分量。
可选地，对第四长曝光图像和第四短曝光图像分别进行低通滤波处理的公式可如下所示：
Figure BDA0002699521320000091
Figure BDA0002699521320000092
其中，(x,y)为第四长曝光图像和第四短曝光图像中像素点的位置信息，w_s为低通滤波的权重矩阵，该权重矩阵可以是均值权重矩阵，可以是高斯权重矩阵，也可以是其他类型的权重矩阵。以5*5的邻域为例，若w_s为均值权重矩阵，则
Figure BDA0002699521320000093
若w_s为高斯权重矩阵，则
Figure BDA0002699521320000094
S207：对第三长曝光图像和第三短曝光图像分别进行上采样，得到当前长曝光图像和当前短曝光图像各自的对数域光照分量。
对第四长曝光图像和第四短曝光图像分别进行低通滤波处理，得到第三长曝光图像和第三短曝光图像后，可以对第三长曝光图像和第三短曝光图像分别进行上采样，以得到当前长曝光图像和当前短曝光图像各自的对数域光照分量。
其中，可以通过上采样将当前长曝光图像和当前短曝光图像分别放大c倍。例如，对宽为w/2,高为h/2的第三短曝光图像进行b＝2的上采样操作，得到宽为w,高为h的当前短曝光图像的对数域光照分量。
可以通过最邻近插值法、双线性插值法或三次多项式插值法等方法对第三长曝光图像和第三短曝光图像分别进行上采样。
其中，长曝光图像的对数域光照分量和当前长曝光图像的分辨率相同，短曝光图像的对数域光照分量和当前短曝光图像的分辨率相同。
S208：对当前短曝光图像进行对数处理，得到第五短曝光图像。
具体可参见步骤S204，在此不做赘述。
可以理解的是，本步骤的对数处理的底数和步骤S204的对数处理的底数相同。
S209：计算第五短曝光图像和当前短曝光图像的对数域光照分量的差值，得到当前短曝光图像的对数域反射分量。
对当前短曝光图像进行对数处理和得到当前短曝光图像的对数域光照分量后，可以计算第五短曝光图像和当前短曝光图像的对数域光照分量的差值，以得到当前短曝光图像的对数域反射分量。
步骤S209的具体计算公式可如下所示：F4_reflects k＝F4s k-F_lights k；
其中，F_lights k为当前短曝光图像的对数域光照分量，F4s k为当前短曝光图像的第五短曝光图像，F4_reflects k为当前短曝光图像的对数域反射分量。
S210：计算当前短曝光图像的对数域反射分量和当前长曝光图像的对数域光照分量的和，得到第六短曝光图像。
计算得到当前短曝光图像的对数域反射分量后，可以计算当前短曝光图像的对数域反射分量和当前长曝光图像的对数域光照分量的和，得到第六短曝光图像，以便基于第六短曝光图像得到去除闪烁后的短曝光图像。
步骤S210的具体计算公式可如下所示：F5s k＝F_Lightl k+F4_reflects k；
其中，F_Lightl k为当前长曝光图像的对数域光照分量，F4_reflects k为当前短曝光图像的对数域反射分量，F5s k为第六短曝光图像。
S211：对第六短曝光图像进行指数处理，得到去除闪烁后的短曝光图像。
基于当前短曝光图像的对数域反射分量和当前长曝光图像的对数域光照分量得到第六短曝光图像后，可以对第六短曝光图像进行指数处理，以得到去除闪烁后的短曝光图像。
可以理解的是，本步骤的指数处理的底数和步骤S204、S208的对数处理的底数相同，例如，步骤S204和S208中对数处理的底数为e，那本步骤的指数处理的底数也为e。
步骤S211的具体计算公式可如下所示：F_Results k＝exp(F5s k)；
其中，F5s k为第六短曝光图像，F_Results k为去除闪烁后的短曝光图像。
S212：将去除闪烁后的短曝光图像和当前短曝光图像进行加权，以得到最终去除闪烁的短曝光图像。
通过上述步骤得到去除闪烁后的短曝光图像后，还可以将去除闪烁后的短曝光图像和当前短曝光图像进行加权，以控制去除闪烁的程度，若当前短曝光图像的加权系数为0，则可以完全去除当前短曝光图像的闪烁；若当前短曝光图像和去除闪烁后的短曝光图像的加权系数均在0到1之间时，则可以部分去除当前短曝光图像的闪烁。
步骤S212的具体计算公式可如下所示：F_Result2s k＝F_Results k*w_fusion+F1s k*(1-w_fusion)；
其中，F_Result2s k代表最终去除闪烁的短曝光图像，w_fusion为一个0～1的预设值；F1s k为当前短曝光图像；F_Results k为去除闪烁后的短曝光图像。
在本实施方式中，可以先获得当前长曝光图像和当前短曝光图像，然后计算当前长曝光图像和当前短曝光图像的对数域光照分量；接着基于当前长曝光图像和当前短曝光图像的对数域光照分量计算得到去除闪烁后的短曝光图像，以消除当前短曝光图像的闪烁现象，同时高亮区像素值近似于短曝光原始像素值，防止引入当前长曝光图像的过曝问题，并且在对数域下对图像进行处理，可以简化计算过程。
可选地，得到去除闪烁后的短曝光图像或最终去除闪烁的短曝光图像后，可以将去除闪烁后的短曝光图像或最终去除闪烁的短曝光图像重新送入图像信号处理单元进行其他算法处理或者直接进行显示和储存。
需要注意的是，以上编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序，或者可以根据实际情况进行增减步骤。
例如，在一实现方式中，可以只执行步骤S202、S203、S204、S206、S209、S210和S211。具体地，本申请去除图像闪烁的方法可以包括：先基于当前短曝光图像生成强光抑制权重矩阵；利用强光抑制权重矩阵和当前短曝光图像对当前长曝光图像进行抑制，得到抑制长曝光图像；对当前短曝光图像和抑制长曝光图像分别进行对数处理，得到第一短曝光图像和第一长曝光图像；对第一长曝光图像和第一短曝光图像分别进行低通滤波处理，得到当前长曝光图像和当前短曝光图像各自的对数域光照分量；计算第一短曝光图像和当前短曝光图像的对数域光照分量的差值，得到当前短曝光图像的对数域反射分量；计算当前短曝光图像的对数域反射分量和当前长曝光图像的对数域光照分量的和，得到第六短曝光图像，这样不仅可以去除当前短曝光图像的闪烁现象，还可通过对当前长曝光图像进行强光抑制，防止当前长曝光图像部分像素点亮度过高导致闪烁去除效果不佳。
另例如，在另一实现方式中，可以只执行步骤S201、S204、S206、S207、S208、S209、S210和S211。具体地，本申请去除图像闪烁的方法可以包括：先对当前长曝光图像和当前短曝光图像分别进行下采样处理，得到第二长曝光图像和第二短曝光图像；对第二长曝光图像和第二短曝光图像分别进行对数处理，得到第一长曝光图像和第一短曝光图像；对第一长曝光图像和第一短曝光图像分别进行低通滤波处理，得到第三长曝光图像和第三短曝光图像；对第三长曝光图像和第三短曝光图像分别进行上采样，得到当前长曝光图像和当前短曝光图像各自的对数域光照分量；对当前短曝光图像进行对数处理，得到第五短曝光图像；计算第五短曝光图像和当前短曝光图像的对数域光照分量的差值，得到当前短曝光图像的对数域反射分量；计算当前短曝光图像的对数域反射分量和当前长曝光图像的对数域光照分量的和，得到第六短曝光图像；对第六短曝光图像进行指数处理，得到去除闪烁后的短曝光图像，这样不仅可以去除当前短曝光图像的闪烁现象，还可通过上下采样的方法减少计算量，有效减少算法耗时。
又例如，在又一实现方式中，可以只执行步骤S204、S205、S206、S207、S208、S209、S210和S211。具体地，本申请去除图像闪烁的方法可以包括：先对当前短曝光图像和当前长曝光图像分别进行对数处理，得到第一长曝光图像和第一短曝光图像；基于前N-1帧长曝光图像对第一长曝光图像进行时域滤波操作，得到第四长曝光图像；基于前N-1帧短曝光图像对第一短曝光图像进行时域滤波操作，得到第四短曝光图像；对第四长曝光图像和第四短曝光图像分别进行低通滤波处理，得到当前长曝光图像和当前短曝光图像各自的对数域光照分量；计算第一短曝光图像和当前短曝光图像的对数域光照分量的差值，得到当前短曝光图像的对数域反射分量；计算当前短曝光图像的对数域反射分量和当前长曝光图像的对数域光照分量的和，得到第六短曝光图像；对第六短曝光图像进行指数处理，得到去除闪烁后的短曝光图像，这样不仅可以去除短曝光图像的闪烁现象，还可通过使用多帧长短曝光图像序列估计光照，更好避免快速运动物体干扰，提高闪烁去除效率。
请参阅图7，图7是本申请去除图像闪烁的装置一实施方式的结构示意图。本去除图像闪烁的装置10包括相互耦接的存储器11和处理器12，存储器11用于存储程序指令，处理器12用于执行程序指令以实现上述任一实施方式的方法。
上述去除图像闪烁的方法的逻辑过程以计算机程序呈现，在计算机程序方面，若其作为独立的软件产品销售或使用时，其可存储在计算机可读存储介质中，因而本申请提出一种计算机可读存储介质。请参阅图8，图8是本申请计算机可读存储介质一实施方式的结构示意图，本实施方式计算机可读存储介质20中存储有计算机程序21，计算机程序21被处理器执行时实现上述去除图像闪烁的方法中的步骤。
该计算机可读存储介质20具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。该计算机可读存储介质20从物理实体上来看，可以为多个实体的组合，例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种去除图像闪烁的方法，其特征在于，所述方法包括：
获取当前长曝光图像和当前短曝光图像；
计算所述当前长曝光图像的对数域光照分量和所述当前短曝光图像的对数域光照分量；
基于所述当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量计算得到去除闪烁后的短曝光图像。
2.根据权利要求1所述的去除图像闪烁的方法，其特征在于，所述计算所述当前长曝光图像的对数域光照分量和所述当前短曝光图像的对数域光照分量，包括：
对所述当前长曝光图像和所述当前短曝光图像分别进行对数处理，以得到第一长曝光图像和第一短曝光图像；
对所述第一长曝光图像和所述第一短曝光图像分别进行低通滤波，以得到所述当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量。
3.根据权利要求2所述的去除图像闪烁的方法，其特征在于，所述对所述当前长曝光图像和所述当前短曝光图像分别进行对数处理，以得到第一长曝光图像和第一短曝光图像，包括：
基于所述当前短曝光图像生成强光抑制权重矩阵；
利用所述强光抑制权重矩阵和所述当前短曝光图像对所述当前长曝光图像进行强光抑制，得到抑制长曝光图像；
对所述抑制长曝光图像和所述当前短曝光图像分别进行对数处理，得到所述第一长曝光图像和所述第一短曝光图像。
4.根据权利要求3所述的去除图像闪烁的方法，其特征在于，
所述基于所述当前短曝光图像生成强光抑制权重矩阵，包括：
获取第一预设值、第二预设值、第三预设值和第四预设值；
基于第一预设值、第二预设值、第三预设值和第四预设值得到映射关系；
基于所述映射关系将所述当前短曝光图像中每一像素点的像素值映射成所述强光抑制权重矩阵中对应位置的值。
5.根据权利要求2所述的去除图像闪烁的方法，其特征在于，所述对所述当前长曝光图像和所述当前短曝光图像分别进行对数处理，以得到第一长曝光图像和第一短曝光图像，包括：对所述当前长曝光图像和所述当前短曝光图像分别进行下采样处理，得到第二长曝光图像和第二短曝光图像；对所述第二长曝光图像和所述第二短曝光图像分别进行对数处理，得到所述第一长曝光图像和所述第一短曝光图像；
所述对所述第一长曝光图像和所述第一短曝光图像分别进行低通滤波，以得到所述当前长曝光图像的对数域光照分量和所述当前短曝光图像的对数域光照分量，包括：对所述第一长曝光图像和第一短曝光图像分别进行低通滤波，得到所述第三长曝光图像和所述第三短曝光图像；对所述第三长曝光图像和所述第三短曝光图像分别进行上采样，以得到所述当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量；
其中，所述当前长曝光图像的对数域光照分量和所述当前长曝光图像的分辨率相同，所述当前短曝光图像的对数域光照分量和所述当前短曝光图像的分辨率相同。
6.根据权利要求2所述的去除图像闪烁的方法，其特征在于，所述对所述第一长曝光图像和第一短曝光图像分别进行低通滤波，之前包括：
获取所述当前长曝光图像的前N-1帧长曝光图像和所述当前短曝光图像的前N-1帧短曝光图像；
所述对所述第一长曝光图像和所述第一短曝光图像分别进行低通滤波，以得到所述当前长曝光图像的对数域光照分量和所述当前短曝光图像的对数域光照分量，包括：
基于所述前N帧长曝光图像对所述第一长曝光图像进行时域滤波操作，以得到第四长曝光图像；
基于所述前N帧短曝光图像对所述第一短曝光图像进行时域滤波操作，以得到第四短曝光图像；
对第四长曝光图像和第四短曝光图像分别进行低通滤波处理，以得到所述当前长曝光图像的对数域光照分量和所述当前短曝光图像的对数域光照分量。
7.根据权利要求1所述的去除图像闪烁的方法，其特征在于，所述基于所述当前长曝光图像的对数域光照分量和当前短曝光图像的对数域光照分量计算去除闪烁后的短曝光图像，包括：
对所述当前短曝光图像进行对数处理，得到第五短曝光图像；
计算所述第五短曝光图像和所述当前短曝光图像的对数域光照分量的差值，得到短曝光图像的对数域反射分量；
计算所述当前短曝光图像的对数域反射分量和所述当前长曝光图像的对数域光照分量的和，得到第六短曝光图像；
对第六短曝光图像进行指数处理，得到所述去除闪烁后的短曝光图像。
8.根据权利要求1所述的去除图像闪烁的方法，其特征在于，所述对第六短曝光图像进行指数处理，之后包括：
将所述去除闪烁后的短曝光图像和所述当前短曝光图像进行加权，以得到最终去除闪烁的短曝光图像。
9.一种去除图像闪烁的装置，其特征在于，所述去除图像闪烁的装置包括存储器和处理器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
CN202011017398.1A 2020-09-24 2020-09-24 去除图像闪烁的方法、装置及存储介质 Active CN112235505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011017398.1A CN112235505B (zh) 2020-09-24 2020-09-24 去除图像闪烁的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011017398.1A CN112235505B (zh) 2020-09-24 2020-09-24 去除图像闪烁的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112235505A true CN112235505A (zh) 2021-01-15
CN112235505B CN112235505B (zh) 2022-08-09

Family

ID=74108381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011017398.1A Active CN112235505B (zh) 2020-09-24 2020-09-24 去除图像闪烁的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112235505B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738414A (zh) * 2021-04-06 2021-04-30 荣耀终端有限公司 一种拍照方法、电子设备及存储介质
CN113642555A (zh) * 2021-07-29 2021-11-12 深圳市芯成像科技有限公司 一种图像处理方法、计算机可读介质和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1509069A (zh) * 2002-12-17 2004-06-30 运动画面中闪烁的消除方法
JP2014110484A (ja) * 2012-11-30 2014-06-12 Samsung Techwin Co Ltd 画像処理装置および画像処理方法
CN103975578A (zh) * 2011-12-08 2014-08-06 索尼公司 图像处理设备、图像处理方法以及程序
US20150312464A1 (en) * 2014-04-25 2015-10-29 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1509069A (zh) * 2002-12-17 2004-06-30 运动画面中闪烁的消除方法
CN103975578A (zh) * 2011-12-08 2014-08-06 索尼公司 图像处理设备、图像处理方法以及程序
JP2014110484A (ja) * 2012-11-30 2014-06-12 Samsung Techwin Co Ltd 画像処理装置および画像処理方法
US20150312464A1 (en) * 2014-04-25 2015-10-29 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738414A (zh) * 2021-04-06 2021-04-30 荣耀终端有限公司 一种拍照方法、电子设备及存储介质
CN112738414B (zh) * 2021-04-06 2021-06-29 荣耀终端有限公司 一种拍照方法、电子设备及存储介质
WO2022213683A1 (zh) * 2021-04-06 2022-10-13 荣耀终端有限公司 一种拍照方法、电子设备及存储介质
CN113642555A (zh) * 2021-07-29 2021-11-12 深圳市芯成像科技有限公司 一种图像处理方法、计算机可读介质和系统
CN113642555B (zh) * 2021-07-29 2022-08-05 深圳市芯成像科技有限公司 一种图像处理方法、计算机可读介质和系统

Also Published As

Publication number Publication date
CN112235505B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
EP2489007B1 (en) Image deblurring using a spatial image prior
RU2400815C2 (ru) Способ повышения качества цифрового фотоизображения
JP3070860B2 (ja) 画像データの増強方法およびカラー画像データの増強方法
US8203615B2 (en) Image deblurring using panchromatic pixels
EP2164040B1 (en) System and method for high quality image and video upscaling
JP2005323365A (ja) デジタル映像信号フィルタリング装置及び方法
CN112235505B (zh) 去除图像闪烁的方法、装置及存储介质
CN112734650A (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN111242860B (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
EP3438923B1 (en) Image processing apparatus and image processing method
WO2023273868A1 (zh) 图像降噪方法、装置、终端、存储介质
JP2019016117A (ja) 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム
JP2010193199A (ja) 画像処理装置および画像処理方法
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
CN111953893B (zh) 一种高动态范围图像生成方法、终端设备及存储介质
CN111402111A (zh) 图像虚化方法、装置、终端及计算机可读存储介质
KR102395305B1 (ko) 저조도 영상 개선 방법
CN110136085B (zh) 一种图像的降噪方法及装置
CN111311498B (zh) 图像鬼影剔除方法及装置、存储介质、终端
CN111325680A (zh) 一种具有抑制局部过曝的图像增亮方法
CN111429368B (zh) 一种自适应细节增强和鬼影消除的多曝光图像融合方法
Dasgupta Comparative analysis of non-blind deblurring methods for noisy blurred images
CN113469889A (zh) 一种图像降噪的方法及装置
Sadaka et al. Efficient perceptual attentive super-resolution
JP7385311B2 (ja) デジタル画像における背景高周波ノイズを抑制するデータ処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant