CN109035181B - 一种基于图像平均亮度的宽动态范围图像处理方法 - Google Patents

一种基于图像平均亮度的宽动态范围图像处理方法 Download PDF

Info

Publication number
CN109035181B
CN109035181B CN201710426998.5A CN201710426998A CN109035181B CN 109035181 B CN109035181 B CN 109035181B CN 201710426998 A CN201710426998 A CN 201710426998A CN 109035181 B CN109035181 B CN 109035181B
Authority
CN
China
Prior art keywords
image
average brightness
processed
threshold value
brightness threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710426998.5A
Other languages
English (en)
Other versions
CN109035181A (zh
Inventor
贾伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoyuan Perception Beijing Technology Co ltd
Original Assignee
Xiaoyuan Perception Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaoyuan Perception Beijing Technology Co ltd filed Critical Xiaoyuan Perception Beijing Technology Co ltd
Priority to CN201710426998.5A priority Critical patent/CN109035181B/zh
Publication of CN109035181A publication Critical patent/CN109035181A/zh
Application granted granted Critical
Publication of CN109035181B publication Critical patent/CN109035181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种宽动态范围视频图像处理方法，适于在计算设备中执行，通过设定平均亮度阈值并对比待处理图像的平均亮度与平均亮度阈值之间的大小关系来决定对待处理图像采用何种图像处理方法；若待处理图像的平均亮度高于平均亮度阈值，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度低于平均亮度阈值，则对待处理图像采用图像多值化处理。保证了在超出宽动态范围图像处理能力的环境光线亮度条件下，现实场景的主要认知特性在输出图像中得以体现。

Description

一种基于图像平均亮度的宽动态范围图像处理方法
技术领域
本发明涉及数字图像的处理技术，尤其涉及一种基于图像平均亮度的宽动态范围图像处理方法
背景技术
宽动态范围(High Dynamic Range，简称HDR)图像能够更加准确的记录真实场景的绝大部分色彩和光照信息，并能表现出丰富的色彩细节和明暗层次，而且能够提供更高的对比度、更丰富的信息和更真实的视觉感受，能更好地匹配人眼对现实世界场景的认知特性。正因为如此，HDR技术可以被应用于对图像质量要求较高的领域，如医学影像、视频监控、卫星遥感和计算机视觉等领域中。
目前的宽动态范围成像的实现方法主要采用三种方法，其一为拍摄相机多次曝光得到不同曝光度的图像，再将不同曝光度的图像进行叠加，从而得到宽动态的图像。该方法是与拍摄相机结合在一起，目前广泛应用于手机上，其特点是能部分改善成像质量，达到一定的宽动态范围成像效果，其缺点为对于运动场景的拍摄会出现较大的运动模糊。其二为利用多次拍照而得到的同一场景多幅图像，采用软件进行宽动态处理，这种方法在原理上和第一种方法一样，不同的只是将相机中图像叠加处理的方法拿到后期处理平台上来实现，其优点是参数可调，效果可调可以进行个性化处理，同样存在对于运动场景会出现模糊的问题。第三种方法就是利用软件对单一图像进行处理而得到宽动态处理，其处理效果随着采用的方法不同而各有不同。但是当环境光线亮度过低或者过高，超出HDR技术处理能力范围时，会导致宽动态范围视频图像平均亮度过高或过低，使得现实场景的认知特性被掩盖。
发明内容
本发明所要解决的技术问题是在环境光线过亮或过暗时，使宽动态范围视频图像能够输出现实场景的主要认知特性。
为了解决上述技术问题，本发明提供了一种宽动态范围视频图像处理方法，适于在计算设备中执行，其特征在于该方法包括：
获取待处理图像；并计算该待处理图像的平均亮度；
设定平均亮度阈值，并对比待处理图像的平均亮度与平均亮度阈值之间的大小关系；若待处理图像的平均亮度高于平均亮度阈值，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度低于平均亮度阈值，则对待处理图像采用图像多值化处理；
输出处理后的图像，并获取下一帧待处理图像。
在一个实施例中，对所述平均亮度阈值设置浮动值，并对比待处理图像的平均亮度与平均亮度阈值±浮动值之间的大小关系；若待处理图像的平均亮度高于平均亮度阈值+浮动值，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度低于平均亮度阈值-浮动值，则对待处理图像采用图像多值化处理；若待处理图像的平均亮度处于平均亮度阈值+浮动值与平均亮度阈值-浮动值之间，则对当前待处理图像采用与上一帧图像相同的处理。
在一个实施例中，所述宽动态范围图像处理包括：图像预处理、图像的金字塔分解、图像的亮度变换、图像的细节处理和图像的合成。
在一个实施例中，所述图像多值化处理采用LUT多值化映射表处理。
在一个实施例中，所述图像平均亮度是采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得。
根据本发明的另一方面，还提供了一种宽动态范围视频图像处理方法，适于在计算设备中执行，其特征在于该方法包括：
获取待处理图像；并计算该待处理图像的平均亮度；
设定第一平均亮度阈值和第二平均亮度阈值，且第一平均亮度阈值小于第二平均亮度阈值；
对比待处理图像的平均亮度与第一、第二平均亮度阈值之间的大小关系；若待处理图像的平均亮度低于第一平均亮度阈值，则对待处理图像采用第一图像多值化处理；若待处理图像的平均亮度高于第二平均亮度阈值，则对待处理图像采用第二图像多值化处理；若待处理图像的平均亮度位于第一平均亮度阈值和第二平均亮度阈值之间，则对待处理图像采用宽动态范围图像处理；
输出处理后的图像，并获取下一帧待处理图像。
在一个实施例中，对所述第一、第二平均亮度阈值设置浮动值，并对比待处理图像的平均亮度与第一平均亮度阈值±浮动值和第二平均亮度阈值±浮动值之间的大小关系；
若待处理图像的平均亮度低于第一平均亮度阈值-浮动值，则对待处理图像采用第一图像多值化处理；若待处理图像的平均亮度高于第二平均亮度阈值+浮动值，则对当前待处理图像采用第二图像多值化处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第二平均亮度阈值-浮动值之间，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第一平均亮度阈值-浮动值之间，或第二平均亮度阈值+浮动值和第二平均亮度阈值-浮动值之间，则对当前待处理图像采用与上一帧图像相同的处理。
在一个实施例中，所述宽动态范围图像处理包括：图像预处理、图像的金字塔分解、图像的亮度变换、图像的细节处理和图像的合成。
在一个实施例中，所述图像多值化处理采用LUT多值化映射表处理。
在一个实施例中，所述图像平均亮度是采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得。
根据本发明的另一个方面，本发明提供了一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行：获取待处理图像；并计算该待处理图像的平均亮度；
设定平均亮度阈值，并对比待处理图像的平均亮度与平均亮度阈值之间的大小关系；若待处理图像的平均亮度高于平均亮度阈值，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度低于平均亮度阈值，则对待处理图像采用图像多值化处理；
输出处理后的图像，并获取下一帧待处理图像。
在一个实施例中，对所述平均亮度阈值设置浮动值，并对比待处理图像的平均亮度与平均亮度阈值±浮动值之间的大小关系；若待处理图像的平均亮度高于平均亮度阈值+浮动值，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度低于平均亮度阈值-浮动值，则对待处理图像采用图像多值化处理；若待处理图像的平均亮度处于平均亮度阈值+浮动值与平均亮度阈值-浮动值之间，则对当前待处理图像采用与上一帧图像相同的处理。
在一个实施例中，所述宽动态范围图像处理包括：图像预处理、图像的金字塔分解、图像的亮度变换、图像的细节处理和图像的合成。
在一个实施例中，所述图像多值化处理采用LUT多值化映射表处理。
在一个实施例中，所述图像平均亮度是采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得。
根据本发明的另一个方面，本发明提供了一种用于图像处理的设备，其包括：
处理器，适用于实现各指令；以及
存储设备，适用于存储多条指令，所述指令适于有处理器加载并执行：获取待处理图像；并计算该待处理图像的平均亮度；
设定平均亮度阈值，并对比待处理图像的平均亮度与平均亮度阈值之间的大小关系；若待处理图像的平均亮度高于平均亮度阈值，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度低于平均亮度阈值，则对待处理图像采用图像多值化处理；
输出处理后的图像，并获取下一帧待处理图像。
在一个实施例中，对所述平均亮度阈值设置浮动值，并对比待处理图像的平均亮度与平均亮度阈值±浮动值之间的大小关系；若待处理图像的平均亮度高于平均亮度阈值+浮动值，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度低于平均亮度阈值-浮动值，则对待处理图像采用图像多值化处理；若待处理图像的平均亮度处于平均亮度阈值+浮动值与平均亮度阈值-浮动值之间，则对当前待处理图像采用与上一帧图像相同的处理。
在一个实施例中，所述宽动态范围图像处理包括：图像预处理、图像的金字塔分解、图像的亮度变换、图像的细节处理和图像的合成。
在一个实施例中，所述图像多值化处理采用LUT多值化映射表处理。
在一个实施例中，所述图像平均亮度是采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得。
根据本发明的另一个方面，本发明提供了一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行：获取待处理图像；并计算该待处理图像的平均亮度；
设定第一平均亮度阈值和第二平均亮度阈值，且第一平均亮度阈值小于第二平均亮度阈值；
对比待处理图像的平均亮度与第一、第二平均亮度阈值之间的大小关系；若待处理图像的平均亮度低于第一平均亮度阈值，则对待处理图像采用第一图像多值化处理；若待处理图像的平均亮度高于第二平均亮度阈值，则对待处理图像采用第二图像多值化处理；若待处理图像的平均亮度位于第一平均亮度阈值和第二平均亮度阈值之间，则对待处理图像采用宽动态范围图像处理；
输出处理后的图像，并获取下一帧待处理图像。
在一个实施例中，对所述第一、第二平均亮度阈值设置浮动值，并对比待处理图像的平均亮度与第一平均亮度阈值±浮动值和第二平均亮度阈值±浮动值之间的大小关系；
若待处理图像的平均亮度低于第一平均亮度阈值-浮动值，则对待处理图像采用第一图像多值化处理；若待处理图像的平均亮度高于第二平均亮度阈值+浮动值，则对当前待处理图像采用第二图像多值化处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第二平均亮度阈值-浮动值之间，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第一平均亮度阈值-浮动值之间，或第二平均亮度阈值+浮动值和第二平均亮度阈值-浮动值之间，则对当前待处理图像采用与上一帧图像相同的处理。
在一个实施例中，所述宽动态范围图像处理包括：图像预处理、图像的金字塔分解、图像的亮度变换、图像的细节处理和图像的合成。
在一个实施例中，所述图像多值化处理采用LUT多值化映射表处理。
在一个实施例中，所述图像平均亮度是采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得。
根据本发明的另一个方面，本发明提供了一种用于图像处理的设备，其包括：
处理器，适用于实现各指令；以及
存储设备，适用于存储多条指令，所述指令适于有处理器加载并执行：获取待处理图像；并计算该待处理图像的平均亮度；
设定第一平均亮度阈值和第二平均亮度阈值，且第一平均亮度阈值小于第二平均亮度阈值；
对比待处理图像的平均亮度与第一、第二平均亮度阈值之间的大小关系；若待处理图像的平均亮度低于第一平均亮度阈值，则对待处理图像采用第一图像多值化处理；若待处理图像的平均亮度高于第二平均亮度阈值，则对待处理图像采用第二图像多值化处理；若待处理图像的平均亮度位于第一平均亮度阈值和第二平均亮度阈值之间，则对待处理图像采用宽动态范围图像处理；
输出处理后的图像，并获取下一帧待处理图像。
在一个实施例中，对所述第一、第二平均亮度阈值设置浮动值，并对比待处理图像的平均亮度与第一平均亮度阈值±浮动值和第二平均亮度阈值±浮动值之间的大小关系；
若待处理图像的平均亮度低于第一平均亮度阈值-浮动值，则对待处理图像采用第一图像多值化处理；若待处理图像的平均亮度高于第二平均亮度阈值+浮动值，则对当前待处理图像采用第二图像多值化处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第二平均亮度阈值-浮动值之间，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第一平均亮度阈值-浮动值之间，或第二平均亮度阈值+浮动值和第二平均亮度阈值-浮动值之间，则对当前待处理图像采用与上一帧图像相同的处理。
在一个实施例中，所述宽动态范围图像处理包括：图像预处理、图像的金字塔分解、图像的亮度变换、图像的细节处理和图像的合成。
在一个实施例中，所述图像多值化处理采用LUT多值化映射表处理。
在一个实施例中，所述图像平均亮度是采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得。
本发明所采用的宽动态范围图像处理算法如下：
步骤1.图像的预处理；
假设输入图像y＝f(i，j)，图像预处理需要完成图像空间转换，通过图像预处理可以获得图像的亮度分量：
Im g＝clolorspace[f(i，j)]＝g(i，j)
步骤2.图像的金字塔分解；
金字塔分解的层数是N层，每一层的尺度是MN，则第n层分解以如下方式进行：
Figure BSA0000145741540000061
其中Mn是第n层金字塔分解的尺度，diffn是尺度n-1和尺度n分解之后两个图像的残差。
步骤3.图像的亮度变换；
对fn(i，j)做亮度变换处理，获得Fn(i，j)，如下所示：
Fn(i，j)＝LUTn[fn(i，j)]，
其中，LUTn是第n层尺度分解后图像的亮度转换数据对应表。
步骤4.图像的细节处理；
对diffn(i，j)做细节处理，如下所示
DIFFn＝DiffTrans[diffn(i，j)]，
其中的变换处理，根据LUTn适当进行调整；
步骤5.图像的合成
图像合成过程，是将N层金字塔分解的图像以及对应的残差图像，经过调整后，复原成原始图像的过程，如下所示：
Figure BSA0000145741540000071
其中，G(i，j)是结果输出图像，即本发明的宽动态范围图像处理算法的输出图像。
在本发明中所采用的宽动态范围图像处理算法并不局限于上述实施方式，现有技术中的其他的HDR算法均可结合到本发明中。
本发明所采用的图像平均亮度算法及多值化算法：
本发明计算图像平均亮度的方法是采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得：
histY(i)＝HistCount[f(i，j)]
Figure BSA0000145741540000072
其中，histY(i)是直方图在任意一个灰度值上的像素点个数，
Figure BSA0000145741540000073
是图像平均亮度。
本发明的图像多值化处理方法的理论公式可表示为：
Figure BSA0000145741540000074
其中Xk-1＜Xk，且Xk∈[0，2p-1]，p是采样量化深度，Nk是映射函数。
结合LUT生成公式则可以生成本发明图像多值化处理方法的LUT查找表，即：
y(i，j)＝N[f(i，j)]，f(i，j)∈[0，2p-1]，p是采样量化深度，N是映射函数
特别的，针对8位数据图像，令m＝2，p＝255，得到二值化映射关系函数：
Figure BSA0000145741540000081
X1∈[0，2p-1]，p是采样量化深度
同样针对8位数据图像，领m＝3，p＝255，则可以得到三值化映射关系函数：
Figure BSA0000145741540000082
X1，X2∈[0，2p-1]
采用LUT映射表处理可以跳过做大量循环判断的过程，可以实现查找表直接赋值，提高计算机运行效率。
在本发明中所采用的图像多值化处理算法并不局限于上述实施方式，现有技术中的其他的图像多值化处理算法均可结合到本发明中。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明第一实施例的方法的流程图；
图2是根据本发明第二实施例的方法的流程图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。
第一实施例
图1是根据本发明一实施例的方法的流程图。下面结合图1对本方法进行说明。
步骤101：参数值初始化，设置图像平均亮度阈值的Y1以及浮动值ΔY，同时需要设置宽动态范围算法基础参数；
步骤102：提取视频图像数据的第一帧，对第一帧图像进行直方图统计，获得第一帧图像总亮度，然后计算该帧图像的平均亮度Y0，即：
histY0(i)＝HistCount[f0(i，j)]，其中i∈[0，255]
Figure BSA0000145741540000091
其中，histY0(i)是直方图在任意一个灰度值上的像素点个数；
步骤103：判断第一帧图像平均亮度Y0与亮度阈值的Y1的大小关系；
步骤104；当Y0＞Y1时，对第一帧图像采用宽动态范围算法进行图像处理；具体为：假设输入图像y1＝f1(i，j)，图像预处理需要完成图像空间转换，通过图像预处理可以获得图像的亮度分量：
Im g＝clolorspace[f1(i，j)]＝g1(i，j)
对图像进行金字塔分解，金字塔分解的层数是N层，每一层的尺度是MN，则第n层分解以如下方式进行：
Figure BSA0000145741540000092
其中Mn是第n层金字塔分解的尺度，fiffn是尺度n-1和尺度n分解之后两个图像的残差；
对f1n(i，j)做亮度变换处理，获得F1n(i，j)，如下所示：
F1n(i，j)＝LUTn[f1n(i，j)]，
其中，LUTn是第n层尺度分解后图像的亮度转换数据对应表；
对diffn(i，j)做细节处理，如下所示
DIFFn＝DiffTrans[diffn(i，j)]，
其中的变换处理，根据LUTn适当进行调整
对图像进行合成，将N层金字塔分解的图像以及对应的残差图像，经过调整后，复原成原始图像的过程，如下所示：
Figure BSA0000145741540000101
其中，G1(i，j)是结果输出图像，即本发明的宽动态范围图像处理算法的输出图像。
步骤105：当Y0＜Y1时，对第一帧图像采用二值化算法进行图像处理；具体为：
采用LUT二值化映射表处理，即：
针对8位数据图像，令m＝2，p＝255，得到二值化映射关系函数：
Figure BSA0000145741540000102
X1∈[0，2p-1]，p是采样量化深度
步骤106：提取下一帧图像数据；
步骤107：计算当前帧图像的平均亮度值Y，采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得：
histY(i)＝HistCount[f(i，j)]，其中i∈[0，255]
Figure BSA0000145741540000103
其中，histY(i)是直方图在任意一个灰度值上的像素点个数，Y是图像平均亮度；
步骤108：判断当前帧图像平均亮度Y与亮度阈值的Y1的大小关系；
步骤109：当Y＞Y1时，进一步判断Y与Y1+ΔY的大小关系；
步骤110：当Y＜Y1时，进一步判断Y与Y1-ΔY的大小关系；
步骤111：当Y＞Y1+ΔY时，对当前帧图像进行宽动态范围算法进行图像处理；具体为：假设输入图像y＝f1(i，j)，图像预处理需要完成图像空间转换，通过图像预处理可以获得图像的亮度分量：
Im g＝clolorspace[f(i，j)]＝g(i，j)
对图像进行金字塔分解，金字塔分解的层数是N层，每一层的尺度是MN，则第n层分解以如下方式进行：
Figure BSA0000145741540000104
其中Mn是第n层金字塔分解的尺度，diffn是尺度n-1和尺度n分解之后两个图像的残差；
对fn(i，j)做亮度变换处理，获得Fn(i，j)，如下所示：
Fn(i，j)＝LUTn[fn(i，j)]，
其中，LUTn是第n层尺度分解后图像的亮度转换数据对应表；
对diffn(i，j)做细节处理，如下所示
DIFFn＝DiffTrans[diffn(i，j)]，
其中的变换处理，根据LUTn适当进行调整
对图像进行合成，将N层金字塔分解的图像以及对应的残差图像，经过调整后，复原成原始图像的过程，如下所示：
Figure BSA0000145741540000111
其中，G(i，j)是结果输出图像，即本发明的宽动态范围图像处理算法的输出图像。
步骤112：当Y1+ΔY＞Y＞Y1-ΔY时，对当前帧图像采用前一帧图像相同的图像处理方式，即如果前一帧图像是采用宽动态范围处理算法，则当前帧图像仍然使用宽动态范围处理算法；如果前一帧图像采用的是二值化图像处理算法，则当前帧图像仍然使用二值化图像处理算法。
步骤113：当Y＜Y1-ΔY时，对当前帧图像采用二值化算法进行图像处理；具
体为：采用LUT二值化映射表处理，即：
针对8位数据图像，令m＝2，p＝255，得到二值化映射关系函数：
Figure BSA0000145741540000112
X1∈[0，2p-1]，p是采样量化深度
步骤114：输出当前帧图像处理结果，并转向下一帧图像。
由此可知，本实施例的图像处理方法，通过设置平均亮度阈值，对不同平均亮度下的图像进行判断，当其大于阈值时采用宽动态范围图像处理算法输出图像，其小于阈值时采用的是二值化图像处理算法输出图像。这样就保证了在超出宽动态范围图像处理能力的极暗条件下，通过对图像采用二值化图像处理算法使得现实场景的主要认知特性在输出图像中得以体现。
本实施例中，同时还设置了亮度阈值的浮动值ΔY，通过设置亮度阈值的浮动值ΔY可以有效的避免，图像平均亮度Y在阈值Y0附近跳变时，所造成的输出图像跳变。
第二实施例
图2是根据本发明第二实施例的方法的流程图。下面结合图2对第二实施例进行说明。
步骤201：参数值初始化，设置图像第一平均亮度阈值Y1，第二平均亮度阈值Y2以及浮动值ΔY，同时需要设置宽动态范围算法基础参数；
步骤202：提取视频图像数据的第一帧，对第一帧图像进行直方图统计，获得第一帧图像总亮度，然后计算该帧图像的平均亮度Y0，即：
histY0(i)＝HistCount[f0(i，j)]，其中i∈[0，255]
Figure BSA0000145741540000121
其中，histY0(i)是直方图在任意一个灰度值上的像素点个数；
步骤203：判断第一帧图像平均亮度Y0与第一平均亮度阈值的Y1的大小关系；
步骤204：当Y0＜Y1时，对第一帧图像采用第一图像多值化算法进行图像处理；
具体为：采用LUT多值化映射表处理，即：
G1(i，j)＝LUT低亮度多值化(f1(i，j))
步骤205：当Y0＞Y1时，判断第一帧图像平均亮度Y0与第二平均亮度阈值的Y2的大小关系；
步骤206：当Y0＞Y2时，，对第一帧图像采用第二图像多值化算法进行图像处
理；具体为：采用LUT多值化映射表处理，即：
G1(i，j)＝LUT高亮度多值化(f1(i，j))
步骤207：当Y2＞Y0＞Y1时，对第一帧图像采用宽动态范围算法进行图像处理；具体为：假设输入图像y1＝f1(i，j)，图像预处理需要完成图像空间转换，通过图像预处理可以获得图像的亮度分量：
Im g＝clolorspace[f1(i，j)]＝g1(i，j)
对图像进行金字塔分解，金字塔分解的层数是N层，每一层的尺度是MN，则第n层分解以如下方式进行：
Figure BSA0000145741540000122
其中Mn是第n层金字塔分解的尺度，diffn是尺度n-1和尺度n分解之后两个图像的残差；
对f1n(i，j)做亮度变换处理，获得F1n(i，j)，如下所示：
F1n(i，j)＝LUTn[f1n(i，j)]，
其中，LUTn是第n层尺度分解后图像的亮度转换数据对应表；
对diffn(i，j)做细节处理，如下所示
DIFFn＝DiffTrans[diffn(i，j)]，
其中的变换处理，根据LUTn适当进行调整
对图像进行合成，将N层金字塔分解的图像以及对应的残差图像，经过调整后，复原成原始图像的过程，如下所示：
Figure BSA0000145741540000131
其中，G1(i，j)是结果输出图像，即本发明的宽动态范围图像处理算法的输出图像。
步骤208：提取下一帧图像数据；
步骤209：计算当前帧图像的平均亮度值Y，采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得：
histY(i)＝HistCount[f(i，j)]，其中i∈[0，255]
Figure BSA0000145741540000132
其中，histY(i)是直方图在任意一个灰度值上的像素点个数，Y是图像平均亮度；
步骤210：判断图像平均亮度Y与Y1-ΔY的大小关系；
步骤211：当Y＜Y1-ΔY时，对当前帧图像采用第一图像多值化算法进行图像
处理；具体为：采用LUT多值化映射表处理，即：
G(i，j)＝LUT低亮度多值化(f(i，j))
步骤212：判断图像平均亮度Y与Y2+ΔY的大小关系；
步骤213：当Y＞Y2+ΔY时，对当前帧图像采用第二图像多值化算法进行图像
处理；具体为：采用LUT多值化映射表处理，即：
G(i，j)＝LUT高亮度多值化(f(i，j))
步骤214：判断图像平均亮度Y、Y2-ΔY、Y1+ΔY的大小关系；
步骤215：当Y2-ΔY＞Y＞Y1+ΔY时，对当前帧图像进行宽动态范围算法进行图像处理；具体为：假设输入图像y＝f1(i，j)，图像预处理需要完成图像空间转换，通过图像预处理可以获得图像的亮度分量：
Img＝clolorspace[f(i，j)]＝g(i，j)
对图像进行金字塔分解，金字塔分解的层数是N层，每一层的尺度是MN，则第n层分解以如下方式进行：
Figure BSA0000145741540000141
其中Mn是第n层金字塔分解的尺度，diffn是尺度n-1和尺度n分解之后两个图像的残差；
对fn(i，j)做亮度变换处理，获得Fn(i，j)，如下所示：
Fn(i，j)＝LUTn[fn(i，j)]，
其中，LUTn是第n层尺度分解后图像的亮度转换数据对应表；
对diffn(i，j)做细节处理，如下所示
DIFFn＝DiffTrans[diffn(i，j)]，
其中的变换处理，根据LUTn适当进行调整
对图像进行合成，将N层金字塔分解的图像以及对应的残差图像，经过调整后，复原成原始图像的过程，如下所示：
Figure BSA0000145741540000142
其中，G(i，j)是结果输出图像，即本发明的宽动态范围图像处理算法的输出图像。
步骤216：当Y1+ΔY＞Y＞Y1-ΔY，对当前帧图像采用前一帧图像相同的图像处理方式，即如果前一帧图像是采用宽动态范围处理算法，则当前帧图像仍然使用宽动态范围处理算法；如果前一帧图像采用的是第一图像多值化图像处理算法，则当前帧图像仍然使用第一图像多值化图像处理算法。当Y2+ΔY＞Y＞Y2-ΔY时，对当前帧图像采用前一帧图像相同的图像处理方式，即如果前一帧图像是采用宽动态范围处理算法，则当前帧图像仍然使用宽动态范围处理算法；如果前一帧图像采用的是第二图像多值化图像处理算法，则当前帧图像仍然使用第二图像多值化图像处理算法。
步骤217：输出当前帧图像处理结果，并转向下一帧图像。
由此可知，根据本实施例的图像处理方法，针对过亮或过暗的环境光线，分别设置过亮阈值与过暗阈值，当图像平均亮度大于过亮阈值时采用高亮度多值化图像处理算法输出图像，当小于过暗阈值时采用低亮度多值化图像处理算法输出图像，当图像平均亮度位于过亮阈值与过暗阈值之间时，采用宽动态范围图像处理算法输出图像。这样就保证了在超出宽动态范围图像处理能力的极暗条件或极亮条件下，通过对图像采用多值化图像处理算法使得现实场景的主要认知特性在输出图像中得以体现。
以上所述，仅为本发明的具体实施案例，本发明的保护范围并不局限于此，任何熟悉本技术的技术人员在本发明所述的技术规范内，对本发明的修改或替换，都应在本发明的保护范围之内。

Claims (5)

1.一种宽动态范围视频图像处理方法，适于在计算设备中执行，其特征在于该方法包括：
获取待处理图像；并计算该待处理图像的平均亮度；
设定第一平均亮度阈值和第二平均亮度阈值，且第一平均亮度阈值小于第二平均亮度阈值；对所述第一、第二平均亮度阈值设置浮动值，并对比待处理图像的平均亮度与第一平均亮度阈值±浮动值和第二平均亮度阈值±浮动值之间的大小关系；
若待处理图像的平均亮度低于第一平均亮度阈值－浮动值，则对待处理图像采用第一图像多值化处理；若待处理图像的平均亮度高于第二平均亮度阈值+浮动值，则对当前待处理图像采用第二图像多值化处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第二平均亮度阈值－浮动值之间，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第一平均亮度阈值－浮动值之间，或第二平均亮度阈值+浮动值和第二平均亮度阈值－浮动值之间，则对当前待处理图像采用与上一帧图像相同的处理；
所述宽动态范围图像处理包括：
步骤1.图像的预处理；
输入待处理图像y＝f(i,j)，对待处理图像完成图像空间转换，获得图像的亮度分量；
步骤2.进行图像的金字塔分解；
金字塔分解的层数是N层，每一层的尺度是MN，则第n层分解以如下方式进行：
Figure FDA0003390108430000011
其中Mn是第n层金字塔分解的尺度，diffn是尺度n-1和尺度n分解之后两个图像的残差；
步骤3.进行图像的亮度变换；
对进行了第n层金字塔分解的图像fn(i,j)做亮度变换处理，获得Fn(i,j)，如下所示：
Fn(i,j)＝LUTn[fn(i,j)]，
其中，LUTn是第n层尺度分解后图像的亮度转换数据对应表；
步骤4.进行图像的细节处理；
对残差diffn(i,j)做细节处理，如下所示
DIFFn＝DiffTrans[diffn(i,j)]，
其中的变换处理，根据LUTn适当进行调整；
步骤5.图像的合成
图像合成过程，是将N层金字塔分解的图像以及对应的残差图像，经过调整后，复原成原始图像的过程，如下所示：
Figure FDA0003390108430000021
其中，G(i,j)是结果输出图像；
输出处理后的图像，并获取下一帧待处理图像。
2.如权利要求1所述的宽动态范围视频图像处理方法，其特征在于，所述图像多值化处理采用LUT多值化映射表处理。
3.如权利要求1至2之一所述的宽动态范围视频图像处理方法，其特征在于，所述图像平均亮度是采用直方图统计的方法，获得图像的总亮度，然后进行平均化获得。
4.一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行：获取待处理图像；并计算该待处理图像的平均亮度；
设定第一平均亮度阈值和第二平均亮度阈值，且第一平均亮度阈值小于第二平均亮度阈值；对所述第一、第二平均亮度阈值设置浮动值，并对比待处理图像的平均亮度与第一平均亮度阈值±浮动值和第二平均亮度阈值±浮动值之间的大小关系；
若待处理图像的平均亮度低于第一平均亮度阈值－浮动值，则对待处理图像采用第一图像多值化处理；若待处理图像的平均亮度高于第二平均亮度阈值+浮动值，则对当前待处理图像采用第二图像多值化处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第二平均亮度阈值－浮动值之间，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第一平均亮度阈值－浮动值之间，或第二平均亮度阈值+浮动值和第二平均亮度阈值－浮动值之间，则对当前待处理图像采用与上一帧图像相同的处理；
所述宽动态范围图像处理包括：
步骤1.图像的预处理；
输入待处理图像y＝f(i,j)，对待处理图像完成图像空间转换，获得图像的亮度分量；
步骤2.进行图像的金字塔分解；
金字塔分解的层数是N层，每一层的尺度是MN，则第n层分解以如下方式进行：
Figure FDA0003390108430000031
其中Mn是第n层金字塔分解的尺度，diffn是尺度n-1和尺度n分解之后两个图像的残差；
步骤3.进行图像的亮度变换；
对进行了第n层金字塔分解的图像fn(i,j)做亮度变换处理，获得Fn(i,j)，如下所示：
Fn(i,j)＝LUTn[fn(i,j)]，
其中，LUTn是第n层尺度分解后图像的亮度转换数据对应表；
步骤4.进行图像的细节处理；
对残差diffn(i,j)做细节处理，如下所示
DIFFn＝DiffTrans[diffn(i,j)]，
其中的变换处理，根据LUTn适当进行调整；
步骤5.图像的合成
图像合成过程，是将N层金字塔分解的图像以及对应的残差图像，经过调整后，复原成原始图像的过程，如下所示：
Figure FDA0003390108430000041
其中，G(i,j)是结果输出图像；
输出处理后的图像，并获取下一帧待处理图像。
5.一种用于图像处理的设备，其包括：
处理器，适用于实现各指令；以及
存储设备，适用于存储多条指令，所述指令适于有处理器加载并执行：获取待处理图像；并计算该待处理图像的平均亮度；
设定第一平均亮度阈值和第二平均亮度阈值，且第一平均亮度阈值小于第二平均亮度阈值；对所述第一、第二平均亮度阈值设置浮动值，并对比待处理图像的平均亮度与第一平均亮度阈值±浮动值和第二平均亮度阈值±浮动值之间的大小关系；
若待处理图像的平均亮度低于第一平均亮度阈值－浮动值，则对待处理图像采用第一图像多值化处理；若待处理图像的平均亮度高于第二平均亮度阈值+浮动值，则对当前待处理图像采用第二图像多值化处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第二平均亮度阈值－浮动值之间，则对待处理图像采用宽动态范围图像处理；若待处理图像的平均亮度位于第一平均亮度阈值+浮动值和第一平均亮度阈值－浮动值之间，或第二平均亮度阈值+浮动值和第二平均亮度阈值－浮动值之间，则对当前待处理图像采用与上一帧图像相同的处理；
所述宽动态范围图像处理包括：
步骤1.图像的预处理；
输入待处理图像y＝f(i,j)，对待处理图像完成图像空间转换，获得图像的亮度分量；
步骤2.进行图像的金字塔分解；
金字塔分解的层数是N层，每一层的尺度是MN，则第n层分解以如下方式进行：
Figure FDA0003390108430000051
其中Mn是第n层金字塔分解的尺度，diffn是尺度n-1和尺度n分解之后两个图像的残差；
步骤3.进行图像的亮度变换；
对进行了第n层金字塔分解的图像fn(i,j)做亮度变换处理，获得Fn(i,j)，如下所示：
Fn(i,j)＝LUTn[fn(i,j)]，
其中，LUTn是第n层尺度分解后图像的亮度转换数据对应表；
步骤4.进行图像的细节处理；
对残差diffn(i,j)做细节处理，如下所示
DIFFn＝DiffTrans[diffn(i,j)]，
其中的变换处理，根据LUTn适当进行调整；
步骤5.图像的合成
图像合成过程，是将N层金字塔分解的图像以及对应的残差图像，经过调整后，复原成原始图像的过程，如下所示：
Figure FDA0003390108430000052
其中，G(i,j)是结果输出图像；
输出处理后的图像，并获取下一帧待处理图像。
CN201710426998.5A 2017-06-08 2017-06-08 一种基于图像平均亮度的宽动态范围图像处理方法 Active CN109035181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710426998.5A CN109035181B (zh) 2017-06-08 2017-06-08 一种基于图像平均亮度的宽动态范围图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710426998.5A CN109035181B (zh) 2017-06-08 2017-06-08 一种基于图像平均亮度的宽动态范围图像处理方法

Publications (2)

Publication Number Publication Date
CN109035181A CN109035181A (zh) 2018-12-18
CN109035181B true CN109035181B (zh) 2022-02-08

Family

ID=64628622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710426998.5A Active CN109035181B (zh) 2017-06-08 2017-06-08 一种基于图像平均亮度的宽动态范围图像处理方法

Country Status (1)

Country Link
CN (1) CN109035181B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223244B (zh) * 2019-05-13 2021-08-27 浙江大华技术股份有限公司 一种图像处理的方法、装置、电子设备和存储介质
CN111601048B (zh) * 2020-05-13 2022-04-19 展讯通信（上海）有限公司 图像处理方法及装置
CN112528944A (zh) * 2020-12-23 2021-03-19 杭州海康汽车软件有限公司 一种图像识别方法、装置、电子设备及存储介质
CN116977214A (zh) * 2023-07-21 2023-10-31 萱闱(北京)生物科技有限公司 图像优化方法、装置、介质和计算设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
CN104408752B (zh) * 2014-12-11 2017-07-04 西安电子科技大学 一种基于混合色调映射算法的高动态范围图像压缩方法
CN105578068B (zh) * 2015-12-21 2018-09-04 广东欧珀移动通信有限公司 一种高动态范围图像的生成方法、装置及移动终端
CN106530263A (zh) * 2016-10-19 2017-03-22 天津大学 一种适应于医学影像的单曝光高动态范围图像生成方法
CN106686320B (zh) * 2017-01-22 2019-06-18 宁波星帆信息科技有限公司 一种基于数密度均衡的色调映射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Contrast Enhancement Based on Layered Difference Representation of 2D Histograms";Chulwoo Lee et al.;《IEEE Transactions on Image Processing》;20131231;第22卷(第12期);第5372-5384页 *

Also Published As

Publication number Publication date
CN109035181A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109035181B (zh) 一种基于图像平均亮度的宽动态范围图像处理方法
US8391598B2 (en) Methods for performing local tone mapping
US9230304B2 (en) Apparatus and method for enhancing image using color channel
TWI473039B (zh) 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置
US20060088209A1 (en) Video image quality
CN105407296B (zh) 实时视频增强方法和装置
CN111311524B (zh) 一种基于msr的高动态范围视频生成方法
WO2015184208A1 (en) Constant bracketing for high dynamic range operations (chdr)
CN107292830B (zh) 低照度图像增强及评价方法
US9396526B2 (en) Method for improving image quality
CN111885312B (zh) Hdr图像的成像方法、系统、电子设备及存储介质
KR102144577B1 (ko) 최적의 감마보정 기반 저조도 영상 보정방법
CN112634384A (zh) 一种高动态范围图像压缩的方法及装置
US20130287299A1 (en) Image processing apparatus
US11887286B2 (en) Image processing device and image processing method to generate image for object recognition
CN112614063B (zh) 用于楼宇内低照度环境的图像增强和噪声自适应去除方法
US20210125318A1 (en) Image processing method and apparatus
Marsi et al. Image contrast enhancement using a recursive rational filter
Wang et al. Adaptive enhancement for non-uniform illumination images via pixel-wise histogram modification and color reconstruction
CN113724144A (zh) 一种图像处理方法及终端设备上的图像信号处理器
Hu et al. Using adaptive tone mapping to enhance edge-preserving color image automatically
Mittal et al. An efficient video enhancement method using LA* B* analysis
Wilson et al. FPGA implementation of hardware efficient algorithm for image contrast enhancement using Xilinx System Generator
Zhao et al. An enhancement method of fog-degraded images
Bataineh Brightness and Contrast Enhancement Method for Color Images via Pairing Adaptive Gamma Correction and Histogram Equalization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100097 10C, block C, Jinyuan times business center, No.2, lantianchang East Road, Haidian District, Beijing

Applicant after: Xiaoyuan perception (Beijing) Technology Co.,Ltd.

Address before: 100097 10C, block C, Jinyuan times business center, No.2, lantianchang East Road, Haidian District, Beijing

Applicant before: TYPONTEQ Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant