CN116645291A - 基于区域亮度感知的自适应Gamma矫正眩光抑制方法 - Google Patents
基于区域亮度感知的自适应Gamma矫正眩光抑制方法 Download PDFInfo
- Publication number
- CN116645291A CN116645291A CN202310647385.XA CN202310647385A CN116645291A CN 116645291 A CN116645291 A CN 116645291A CN 202310647385 A CN202310647385 A CN 202310647385A CN 116645291 A CN116645291 A CN 116645291A
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- glare
- area
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004313 glare Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000001629 suppression Effects 0.000 title claims abstract description 39
- 238000012937 correction Methods 0.000 title claims abstract description 25
- 230000008447 perception Effects 0.000 title claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000005286 illumination Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 125000001475 halogen functional group Chemical group 0.000 claims description 7
- 230000005764 inhibitory process Effects 0.000 claims description 5
- 230000004043 responsiveness Effects 0.000 claims description 4
- 230000002207 retinal effect Effects 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 13
- 238000011156 evaluation Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 7
- 230000004438 eyesight Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 16
- 238000013461 design Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001795 light effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- LHMQDVIHBXWNII-UHFFFAOYSA-N 3-amino-4-methoxy-n-phenylbenzamide Chemical compound C1=C(N)C(OC)=CC=C1C(=O)NC1=CC=CC=C1 LHMQDVIHBXWNII-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于区域亮度感知的自适应Gamma矫正眩光抑制算法，综合考虑对人眼亮度视觉的间接感知，针对不同亮度区域进行处理。在真实图像的定量和定性实验评价中表明，所提方法的处理效果优于其他对比方法，该算法不仅能够较好地抑制图像眩光区域的亮度，也可以有效增强暗光区域的亮度，且易于结合嵌入式硬件FPGA进行加速，提高图像处理的实时性。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种基于区域亮度感知的自适应Gamma矫正眩光抑制方法。
背景技术
常用的低照度图像增强方法仍具有较多不足之处，如基于传统的算法无法有效解决亮度不均问题。基于深度学习的算法因其无法建立像素之间的依赖，导致不能充分考虑图像的上下文信息，该缺陷难以解决各局部区域光照不均问题。
现有低照度图像增强算法主要针对低光区域，导致眩光区域的过度增强，且算法复杂度高难以应用于嵌入式设备。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于区域亮度感知的自适应Gamma矫正眩光抑制方法，以解决局部区域产生的亮度不均问题，并提高区域亮度划分的精准性，消除亮度范围划分对抑制效果的影响。
为了实现上述目的，本发明采用的技术方案是：
一种基于区域亮度感知的自适应Gamma矫正眩光抑制方法，其特征在于，包括如下步骤：
步骤1，获取输入图像I的灰度图Igray，所述输入图像I为低照度图像；
步骤2，计算灰度图Igray的亮度阈值τt，将输入图像I的亮度区域划分为暗光区域、晕光区域、眩光区域以及剩下的其他区域；
步骤3，调整图像暗光区域像素，将其由暗场景拉伸至中亮场景，使暗光区域对应的Gamma值均小于1；
步骤4，调整图像晕光区域像素，将其由高亮场景降低至中亮场景，使晕光区域对应的Gamma值均大于1；
步骤5，调整图像眩光区域像素，将其由高亮场景降低至中亮场景，使眩光区域对应的Gamma值均大于1；
步骤6，调整图像剩下的其他区域像素，使其他区域的亮度保持不变；
步骤7，输出对整体处理后的图像。
本发明提供了一种实现所述基于区域亮度感知的自适应Gamma矫正眩光抑制方法的FPGA平台上的图像处理框架，包括两个USB解码器、两个DMA控制器和图像增强眩光抑制IP核，整个图像处理框架使用AXI4 Stream协议；其中图像增强眩光抑制IP核实现所述方法；USB解码器一用于输入低照度图像img和其对应的灰度图img_gray；DMA控制器一用于传输所述低照度图像img和其对应的灰度图img_gray的内存数据；DMA控制器二用于传输经图像增强眩光抑制IP核处理过后结果图的内存数据；USB解码器二用于输出所述结果图至PC端。
本发明还提供了一种实现所述基于区域亮度感知的自适应Gamma矫正眩光抑制方法的FPGA加速器，包括：
处理系统，实现访存和控制任务；
FPGA加速核系统，采用图像增强眩光抑制IP核，实现所述方法的加速任务，包括：访存模块、参数缓存模块和Gamma_trans图像处理模块。
在一个实施例中，所述处理系统由ARM CPU核及外部存储器组成。
在一个实施例中，所述访存模块，从外部存储读取低照度图像和对应灰度图像数据，并将其缓存到参数缓存模块；所述参数缓存模块，由位于芯片上的块随机存储器组成，对Gamma_trans图像处理模块处理之后的结果进行缓存；所述Gamma_trans图像处理模块，通过计算图像中像素点的亮度与周围区域的像素点亮度进行评估，对图像进行非线性化操作，得到整体增强和区域抑制图像。
在一个实施例中，所述FPGA加速器采用流水线操作，使图像数据在FPGA内缓存与处理同时进行。
与现有技术相比，本发明提出了利用人眼亮度间接感知进行区域自适应Gamma矫正的眩光抑制算法，相比较区域分割结合局部增强算法的较复杂实现，或者雾夜辉光去除算法对于抑制低照度图像眩光区域的较弱针对性，以及各种深度学习算法在资源受限的嵌入式设备上的局限性，提出的算法在保证图片细节信息不丢失的前提下，对图片的眩光抑制和暗光增强有明显的效果。
同时，本发明考虑图像的实时处理，在Xilinx Zynq-7020上进行实现相关的抑制算法并移植到FPGA开发板上，解决算法不能实时在实际应用场景中对眩光进行处理以及暗光区域亮度增强的问题。实验结果表明，该算法实现了1280×720低照度图像的19ms执行效率，满足了低照度图像的实时处理，且设计的算法构建简单，处理过后的图像层次感更加强烈，达到了预期的良好效果。
附图说明
图1是本发明基于区域亮度的自适应Gamma矫正算法流程图。
图2本发明方法的层分解结果
图3是本发明图像处理框架示意图。
图4是本发明FPGA加速器总体设计框架示意图。
图5是不同算法在BDD数据集上处理效果对比示意图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如图1所示，本发明的一种基于区域亮度感知的自适应Gamma矫正眩光抑制方法，以低照度图像为输入图像I，具体包括如下步骤：
步骤1，获取输入图像I的灰度图Igray。
在本发明中，输入图像I为低照度图像，即RGB图像，低照度图像本质上是一个三维矩阵，比如I[1280,720,3]分别代表列、行以及在色彩上有三个RGB分量，如果直接对输入图像I进行亮度划分，需要考虑每一层通道数中图像的灰度值，较为麻烦，因此是不易进行亮度划分的。在本发明中，将其转为更为简单的单通道灰度图，由于灰度图本质是一个二维矩阵，图像的每个像素点只能有一个值表示颜色，像素值范围为0-255，因此更利于后续步骤的亮度划分。
步骤2，利用灰度图Igray，计算其亮度阈值τt，将输入图像I的亮度区域划分为暗光区域、晕光区域、眩光区域以及剩下的其他区域。
在本发明中，亮度阈值和图像的亮度区域划分都是在灰度图上进行的。在图像的灰度范围上，本发明以灰度值0、255和四个亮度阈值将灰度图的亮度区域划分为暗光区域、晕光区域、眩光区域和其他区域。后续步骤中，在灰度图上确定相应Gamma值拉伸不同区域的像素，完成后将不同Gamma值对低照度图像I的处理结果返回给低照度图像I，视觉上低照度I的四个亮度区域都会有对应的结果。
为了增强明暗光区域的细节信息，本发明通过对输入图像I对应的灰度图Igray提取亮度信息，并通过通过注意图Reg(Igray)表现。本发明需要抑制的区域包括：眩光区域(Reg图中白色部分)、晕光区域(Reg图中白色稍浅部分)和暗光区域(Reg图中蓝色部分)。使用迭代法进行多层次过渡亮度阈值选择后，在算法的层分解结果上利用注意图Reg(Igray)所呈现的亮度信息，对不同区域的像素亮度进行处理，以达到低照度图像更好的视觉处理效果，本发明的层分解结果如图2所示。
在具体方法上，传统的图像分割算法虽然也可以对图像进行亮度划分，但其方式不能完全顾及图像的上下文信息，尤其在背景复杂的实际生活中，无法充分考虑多光源情况精准划分图像的亮度区域。在图像处理的过程中，结合区域的亮度感知，可以改善图像分割算法的缺陷。由于人眼视觉特点对亮度的感知范围可达108cd/m2，并对暗部的变化更为敏感，针对多光源及单光源在复杂背景下的情况，因此本发明提出的图像亮度区域为：暗光区域、晕光区域、眩光区域及其他区域。
其中，由于暗光区域亮度和眩光区域亮度存在两种区域亮度相反的情况，为选取各自区域当前最适合利用算法进行该区域调整的亮度，亮度阈值通过人眼亮度间接感知函数R(L)计算，公式如下：
式中，R(L)为输入灰度图Igray的视网膜响应度，人眼亮度感知函数覆盖低照度图像的全动态范围[R(Lmin)＝0，R(Lmax)＝255]。L为灰度图原始像素亮度强度，取值范围为[0，255]。k为灵敏度参数，决定了随着亮度亮度强度的增加，视网膜响应度增长的速度。由于人类视网膜响应度是由背景亮度自适应决定的，因此根据亮度感知的情况，k(L)可表示为以下函数形式：
式中，CDFG(L)为输入直方图的累积分布函数；p(x)表示归一化灰度直方图。
L～为归一化到[0，1]的像素强度，具体为：
式中，Lmax为输入灰度图Igray的最大亮度等级，由此：
迭代求解R(L)，使用初始空间[0,50]、[50,150]、[150,200]、[200,255]分四次来实现迭代过程，直到达到最大迭代次数100时停止，获得适合当前区域亮度的亮度阈值τt。
具体地，本发明实施例中，使用一维搜索算法中的黄金分割搜索算法对区间进行收缩，将最优解的区间逐步缩小，直至区间长度为0，得到适合当前区域亮度的亮度阈值τt。
由于本发明是将亮度区域划分为四个区域，因此，此处的“当前区域”分别指上述的暗光区域、晕光区域、眩光区域以及剩下的其他区域。为实现该划分，需要将灰度图Igray的原始像素强度分为四个区间部分，本实施例中，四个部分为[0,50]、[50,150]、[150,200]、[200,255]。在R(L)公式中，L的取值分别为这四个部分，依次计算出四个亮度阈值，分别为暗场景阈值τt1、中亮场景阈值τt2、亮场景阈值τt3和τt4。此时，将(T0，)范围的亮度区域划分为暗光区域，将(/>，τt4)范围的亮度区域划分为晕光区域，将(，T255)范围的亮度区域划分为眩光区域，除去暗光、晕光、眩光的区域为其他区域，即(/>)、(τt4，/>)，其中T0和T255分别表示灰度级数值0和灰度级数值255。
在更具体的算法中，分别使用初始区间[0,50]、[50,150]、[150,200]、[200,255]，共分四次实现迭代计算过程，直到达到最大迭代次数100时停止，仅仅利用了函数值就能找到在[0,50]、[50,150]、[150,200]、[200,255]亮度区间的阈值τt1，τt2，τt3，τt4，以τt1的推导为例，其算法描述如下：
步骤1)设置a＝0为初始左区间，b＝50为初始右区间。
步骤2)计算x1＝a+0.382(b-a)。
步骤3)计算x2＝a+0.618(b-a)。
步骤4)若f(x1)≤f(x2)，说明极小值点在(a,x2)。
步骤5)若x2-a≤0.01，更新τt1＝x1，输出τt1。
步骤6)否则b＝x1，并且x1＝a+0.382(b-a)。
步骤7)若b-x1≤0.01，更新τt1＝x2，输出τt1。
步骤8)否则a＝x2，并且x2＝a+0.618(b-a)。
步骤9)重复以上步骤1)-步骤8)，输出τt1。
τt2，τt3，τt4的推导方式与之相同。
本发明在区域亮度感知函数的基础上，利用Gamma矫正算法的非线性特征，提出根据不同类型区域的感知亮度结果，不进行区域分割，而是通过识别不同亮度区域，利用亮度阈值τt自适应调节不同亮度区域，来控制图像亮度数据的改变，从而达到图像亮度的自适应调节。
步骤3，调整图像暗光区域像素。
由于低照度图像灰度范围窄、灰度变换不明显，且相邻像素的空间关联性高，这些特点使得图像中的细节、背景等都包含在较窄的灰度范围内，为了改善较窄灰度范围内图像的视觉效果，通过对其图像的灰度值进行非线性操作将图像的灰度范围提升到更适合人眼观察的亮度范围，调整公式如下：
式中，Gdark表示暗光增强函数，τt1为暗场景阈值、τt2为中亮场景阈值、τt3为亮场景阈值，T0为灰度级数值0；
上述公式表示将灰度图像像素明暗由暗场景通过拉伸窄灰度范围至中亮场景/>，使得暗光区域中低于暗场景阈值τt1的部分对应的Gamma值均小于1。
步骤4，调整图像晕光区域像素。
在图像视觉区域上除了关注暗光区域部分外，高灰度值的区域也需抑制晕光，使图像的亮度维持在相同范围，保留图像更多信息，对晕光区域的调整公式如下：
式中，Ghalo表示晕光抑制函数，
上述公式表示灰度图像像素明暗由高亮场景logτt4降低至中亮场景通过晕光抑制函数矫正使晕光区域对应的Gamma值均大于1。
步骤5，调整图像眩光区域像素。
眩光是造成图像亮度未均匀分布的最主要原因，现实生活中眩光的出现多变且复杂，眩光带来的强亮度给人眼造成了视觉负担，抑制眩光是需要解决的核心问题。因此，对眩光区域像素值灰度值跨越的大小和数量尤为重要，其调整公式如下：
式中，Gglare为眩光抑制函数；
上述公式表示使灰度图像像素明暗由接近最大灰度值的高亮场景降低至中亮场景/>减少视觉差异，通过眩光抑制函数使眩光区域对应的Gamma值均大于1。
步骤6，调整图像剩下的其他区域像素，调整公式如下：
Gother＝1
Gother表示其他区域的亮度调整函数，上述公式表示使其他区域的亮度保持不变。
步骤7，输出对整体处理后的图像，输出为：
G＝Gdark+Gglare+Ghalo+Gother
本发明的具体调节过程为从整体灰度图像素中，每一行的第一个像素亮度所对应的灰度值，依次遍历到图像每一列的最后一个像素亮度所对应的灰度值。使之在不同的亮度区域使用基于区域亮度的自适应Gamma矫正算法进行相应的处理，处理结束后图像呈现出暗光区域的亮度被增强，同时眩光区域的亮度被抑制。
本发明基于区域亮度的自适应Gamma矫正算法被简要地概括为GS-AGCGamma，值得注意的是，本发明抑制算法可以通过区域亮度像素在特定亮度区域中进行调整，在对局部眩光进行抑制的基础上达到整体低照度图像的增强，将图像的亮度维持在平衡的状态。
本发明与现有技术算法的一大区别在于，本发明适宜于FPGA实现，基于本发明方法构建的眩光抑制系统框架也即FPGA平台图像处理框架如图3所示。整个处理框架可使用AXI4 Stream协议，它是面向流的传输，不涉及到内存地址，不限制突发长度，尤其适宜高速大数据应用。因此整个图像处理框架是基于ARM AMBA AXI4协议，使得整体框架具有高宽带、低时延、低功耗等特点，满足算法的实时性要求。
本发明FPGA平台图像处理框架包括两个USB解码器、两个DMA控制器和图像增强眩光抑制IP核，整个图像处理框架使用AXI4 Stream协议；其中图像增强眩光抑制IP核实现所述方法；USB解码器一用于输入低照度图像img和其对应的灰度图img_gray；DMA控制器一用于传输所述低照度图像img和其对应的灰度图img_gray的内存数据；DMA控制器二用于传输经图像增强眩光抑制IP核处理过后结果图的内存数据；USB解码器二用于输出所述结果图至PC端。
本发明方法的FPGA加速器总体设计框架实现如图4所示，总体设计框架包括两个子系统：处理系统和FPGA加速核系统。处理系统实现访存和控制任务，由ARM CPU核及外部存储器组成。FPGA加速核系统实现算法的加速任务，过程分成三个模块：访存模块、Gamma_trans图像处理模块、参数缓存模块。为了满足Vivado_HLS全局处理的要求及提升图像处理速度，采用流水线操作，使图像数据在FPGA内缓存与处理同时进行，有利于实现低时延、高宽带的IP核。
(1)访存模块
在运行时，CPU对片外存储模块进行初始化，将低照度图像数据存储到外部存储器DDR。CPU负责通过AXI总线将待处理的输入灰度图发送给访存模块。访存模块从外部存储读取输入灰度图，并将其缓存到缓存模块。
(2)参数缓存模块
在传输时，为保证传输的每一个数据都是有效数据，参数缓存模块由位于芯片上的块随机存储器(BRAM)组成，FPGA中的BRAM资源就是一个个独立的RAM，主要是对图像数据和Gamma_trans模块处理之后的结果进行缓存。
(3)图像处理模块
图像处理模块可以看出做是通过计算图像中像素点的亮度与周围区域的像素点亮度进行评估来对图像进行非线性化操作，并将计算结果传输到图像处理模块，得到整体增强和区域抑制图像。
使用定制计算结合并行计算实现算法加速，通过vivado设计专用的电路实现数学的计算来完成定制计算，多个电路同时计算完成并行计算。在数据并行计算阶段，以一种流水线的方式从缓存模块取数据、运算、将运算结果写回到缓存模块。在此过程中遍历像素时，通过Xilinx HLS中的#Pragma HLS PIPELINE指令来指导综合过程，将PIPELINE添加到J循环内，沿着输入图片宽度方向展开，这样HLS可以达到一个时钟周期能够处理一个像素。HLS会完全展开窗口计算，增大宽带一次读取9个数据。如下表所示:
为此，Gamma_trans非线性化操作借助DSP Slice实现了流水线乘加运算，流水线主要包含从缓存模块取数据、运算、将运算结果写回到缓存模块。并且流水线周期可以用执行时间最长的那段任务的执行时间来表示。通过设计流水线系统，可以提高FPGA的吞吐量，更好地利用逻辑资源对参数缓存和图像处理两个任务的并行处理。
在本发明的一个具体实施例中，使用的低照度图像数据来自伯克利大学AI实验室(BAIR)发布的公开驾驶数据集BDD100K，该数据集包含10万段高清视频，每个视频约40秒，720p，30fps。每个视频的第10秒对关键帧进行采样，得到10万张图片(图片尺寸：1280*720)。此外，选取公共数据集LLVIP对本算法进行性能测试。
构建仿真实验环境如下：
PC：惠普OMEN 8P；操作系统：Windows 11家庭中文版；配置：第12代i7-12700H处理器，NVIDIA GeForce RTX 3070Ti，16GB+512GB；开发语言：面向对象的动态编程语言python、面向过程的动态编程语言C；开发工具：JetBrains公司推出的PyCharm编辑器、赛灵思公司发布的集成设计环境Vivado设计套件；
本发明眩光抑制系统使用了Xilinx Zynq-7020(XC7Z020-1CLG400C)款的开发板，是一个具有650MHz双核ARM Cortex-A9处理器和FPGA结构的SoC家族。内部集成了13,300个逻辑片，每个逻辑片有4个6-input LUC和8个触发器，630KB的快速block RAM，220个DSPSlice，集成了内存控制器硬核，具有并行硬件执行、硬件加速算法、低延迟控制和开发灵活的优势。
为了验证基于区域亮度的自适应Gamma矫正方法对于暗光的增强效果以及眩光的抑制效果，搭建了基于USB接口的实验环境。基于FPGA强大的数据处理能力，利用其并行计算和流水线处理的特点，流水线是一个能够并行执行程序指令的过程。例如，在数据缓存的同时进行处理，相较于串行处理的软件实现方法可以极大的减少算法计算时间。体现出本发明硬件设计方案与其他通用平台算法相比，在实时性、功耗和性能方面的优势。此外，该方法成本较低，对FPGA资源消耗较少，图像处理能力满足大部分工程的使用需求。
通过两个数据集的测试图像，对比本发明方法和其他方法。如自适应伽马矫正(Adaptive Gamma Correction)、基于无监督的光效应抑制(Unsupervised Night ImageEnhancement)、零参考低照度增强(Zero-reference low-light enhancement，Zero-DCE)和其他一些有代表性的方法。再对实验结果进行全局和局部的质量评价，以测试本发明方法的眩光抑制性能及暗光增强性能。
在全局图像质量评价方面，采用PSNR、Entropy、VIF和MSE等图像质量评估指标对处理后的图像进行评价，如表1及表2所示。本发明从图像失真的角度使用了峰值信噪比(PSNR)。PSNR值越大，表明待评图像与参考图像之间的失真较小，图像质量较好。从信息论的角度使用了信息熵(Entropy)反映图像信息丰富程度，图像信息熵越大，其信息量就越丰富，质量越好。从图像自身的清晰度、细节信息等角度使用了视觉信息传递率(VIF)和均方误差(MSE)。VIF值越大，表明图像的清晰度越高，图像质量越好，MSE的值越小，表明图像的质量和网络的模型越好。
表1不同算法在BDD数据集上的评估
| 算法 | PSNR | Entropy | VIF | MSE |
| Jin Y | 27.84 | 7.19 | 0.80 | 106.69 |
| HWMNet | 27.88 | 6.85 | 0.80 | 105.84 |
| Zero-DCE | 27.20 | 7.20 | 0.79 | 98.27 |
| AGCgamma | 27.76 | 7.62 | 0.80 | 108.87 |
| 暗通道先验 | 26.33 | 6.33 | 0.71 | 97.03 |
| 直方图均衡 | 28.13 | 7.16 | 0.80 | 93.17 |
| Ours | 28.91 | 7.37 | 0.81 | 83.40 |
表2不同算法在LLVIP数据集上的评估
| 算法 | PSNR | Entropy | VIF | MSE |
| Jin Y | 27.43 | 7.29 | 0.80 | 117.25 |
| HWMNet | 27.87 | 6.17 | 0.68 | 106.07 |
| Zero-DCE | 27.58 | 6.91 | 0.81 | 113.49 |
| AGCgamma | 27.41 | 6.72 | 0.80 | 118.05 |
| 暗通道先验 | 27.61 | 6.58 | 0.79 | 118.55 |
| 直方图均衡 | 27.82 | 6.55 | 0.81 | 107.32 |
| Ours | 28.10 | 7.74 | 0.81 | 102.59 |
表1和表2显示了低照度数据的定量结果，将本发明提出的GS-AGCGamma算法与深度学习方法和经典的低照度图像增强方法进行比较。结果表明，GS-AGCGamma算法在一定程度上表现出优势。通过上述比较可以看出，在BDD数据集上，尽管AGCgamma在信息熵指标上表现最佳，但在其他指标上稍逊于本发明算法。与其他算法相比，在上述评估指标中，本发明算法展示出更好的性能。在LLVIP数据集上，与其余算法相比，本发明GS-AGCGamma算法在以上评估指标的结果显示中稍优于其他算法。
采用不同方法对实验对象进行相应处理后得到实验视觉效果图如图5所示。在图5中可以看出自适应Gamma校正算法、Zero-DCE算法和HWMNet算法都可以增强图像的亮度却对眩光区域产生了过度增强，造成视觉效果不佳的现象，这表明单一图像增强方法在眩光抑制方面的效果欠缺。通过实际实验，本发明方法与Jin Y的处理结果在LLVIP数据集上相当，且在BDD数据集上暗光区域附近具有良好的视觉效果，同时光源形状具有良好的一致性，但Jin Y的方法在房屋附近有明显的偏色，使图像出现一定程度的失真现象。
本发明采用显著性引导的局部质量评价(SG-ESSIM)和结合全局与局部变化的图像质量评价(GLV-SIM)两个结合全参考图像评价算法的评价指标，更加全面的对图像进行评价，如下表3所示。SG-ESSIM算法利用视觉显著性作为加权权重，强调对观察者而言突出的图像区域，之后结合全参考图像质量评估算法。而GLV-SIM算法利用分数阶导数来度量图像的全局变化，利用梯度模来度量图像的局部变化，然后结合二者计算参考图像和退化图像之间的相似度谱(Similar-ity map)，进而得到图像的客观评分。
表3本发明方法在不同局部评估指标上的结果
表3显示了不同算法在局部目标区域的指标对比结果。与Jin Y算法相比，虽然其在LLVIP数据集上的GLV-SIM指标与本算法相当，但其他指标皆低于本算法。与AGCgamma相比，虽然在LLVIP数据集和BDD数据集上的GLV-SIM指标与本算法相当，但其他指标皆低于本算法。直方图均衡算法除了在BDD数据集上的GLV-SIM指标与本算法相当，其他指标皆低于本算法。与其余的HWMNet算法、Zero-DCE算法、暗通道先验算法相比较，本算法在LLVIP数据集和BDD数据集的局部评估指标GLV-SIM和SG-ESSIM上取得更好的结果。
由于嵌入式系统对能耗和实时性较为关注，本发明进行了与其他通用硬件平台加速器的能效和实时性方面的比较。表4展示了测试结果，测试平台分别为Intel Core i7和Zynq 7020，测试数据为1280×720低照度图像文件。
在能效方面，FPGA通过合理设计和配置硬件电路，充分利用其并行处理能力，从而实现更快的运行时间。在FPGA中使用PIPELINE指令展现并行处理能力，将步骤(7)中的Gamma值划分为多个阶段并同时执行，从而比在CPU平台上运行更快。FPGA也可以通过定制硬件进行加速，根据GS-AGCGamma算法的需求进行硬件逻辑的定制化设计。相比之下，CPU是通用处理器，无法直接优化算法的硬件执行。将算法转化为硬件电路可以消除在CPU上的一些开销，提高执行效率。
在实时性方面，FPGA具有低延迟，通过HLS工具给出的Latency(1 900172)和Interval(1 900 173)得以体现。在FPGA中，电路和信号传输路径是直接的，没有操作系统和其他软件层的干扰。因此，FPGA上执行的算法可以更快地响应输入和输出，从而减少整体的执行时间。在测试中，CPU平台完成该单帧图片的时间为680ms，而FPGA加速器只需19ms。在实时性方面，CPU平台的处理速率为每秒处理1.47帧，而FPGA能够达到52帧的速率。相对于CPU，本发明设计的加速器实现了约35.3倍的性能提升。因此，通过采用FPGA作为加速器，能够充分利用其在能效和实时性方面的优势，从而获得更高的计算性能和更快的执行时间。
表4实时性与能耗对比
| 平台 | CPU | FPGA |
| 处理器型号 | Intel Core i7 | ZYNQ |
| 工艺制程(nm) | 10 | 28 |
| 时钟频率(GHz) | 2.30 | 0.05 |
| 单帧处理时间(ms) | 680 | 19 |
| 处理帧率(帧/s) | 1.47 | 52 |
| 功耗(w) | 49.50 | 1.67 |
从本发明方法的处理结果来看，在黑暗光区域，能够增强该部分图像的视觉可见性，保留更多的图像细节信息，特别是在汽车周围的地面及房屋建筑的视觉效果上，基本满足行人和驾驶员对其视觉信息的需求，同时也有效解决了低照度图像因车灯等光效应造成的眩光问题。从这些视觉效果比较中，本发明的方法可以更好的解决低照度图像因眩光而产生的光照不均匀问题，在增强图像较暗光区域视觉效果的同时抑制了图像眩光区域的亮度，在处理此类图像问题上具有明显的优势。
实验结果表明，本发明方法实现了更高的对比度增强性能，需要更少的计算复杂度，实现了较低的图像失真，同时相对更加清晰，细节信息更加丰富。
Claims (10)
1.一种基于区域亮度感知的自适应Gamma矫正眩光抑制方法，其特征在于，包括如下步骤：
步骤1，获取输入图像I的灰度图Igray，所述输入图像I为低照度图像；
步骤2，计算灰度图Igray的亮度阈值τt，将输入图像I的亮度区域划分为暗光区域、晕光区域、眩光区域以及剩下的其他区域；
步骤3，调整图像暗光区域像素，将其由暗场景拉伸至中亮场景，使暗光区域对应的Gamma值均小于1；
步骤4，调整图像晕光区域像素，将其由高亮场景降低至中亮场景，使晕光区域对应的Gamma值均大于1；
步骤5，调整图像眩光区域像素，将其由高亮场景降低至中亮场景，使眩光区域对应的Gamma值均大于1；
步骤6，调整图像剩下的其他区域像素，使其他区域的亮度保持不变；
步骤7，输出对整体处理后的图像。
2.根据权利要求1所述基于区域亮度感知的自适应Gamma矫正眩光抑制方法，其特征在于，所述步骤2，亮度阈值通过如下的人眼亮度间接感知函数公式计算：
式中，R(L)为输入灰度图的视网膜响应度，人眼亮度感知函数覆盖低照度图像的全动态范围[R(Lmin)＝0，R(Lmax)＝255]，L为灰度图原始像素亮度强度，取值范围为[0，255]，k为灵敏度参数，决定了随着像素亮度强度的增加，视网膜响应度增长的速度，k(L)表示为以下函数形式：
式中，CDFG(L)为输入直方图的累积分布函数，p(x)表示归一化灰度直方图；为归一化到[0，1]的像素强度，表示为：
式中，Lmax为输入灰度图的最大亮度等级；
迭代求解R(L)，使用一维搜索算法中的黄金分割搜索算法对区间进行收缩，将最优解的区间逐步缩小，直至区间长度为0，使用初始空间[0,50]、[50,150]、[150,200]、[200,255]分四次实现迭代过程，直到达到最大迭代次数100时停止。
3.根据权利要求1所述基于区域亮度感知的自适应Gamma矫正眩光抑制方法，其特征在于，将灰度图Igray的原始像素强度分为[0,50]、[50,150]、[150,200]、[200,255]四个部分，在R(L)公式中，L的取值分别为所述四个部分，依次计算出四个亮度阈值，分别为暗场景阈值τt1、中亮场景阈值τt2、亮场景阈值τt3和高亮场景阈值τt4，将(T0，)范围的亮度区域划分为暗光区域，将(/>τt4)范围的亮度区域划分为晕光区域，将(/>T255)范围的亮度区域划分为眩光区域，其中T0和T255分别表示灰度级数值0和灰度级数值255。
4.根据权利要求3所述基于区域亮度感知的自适应Gamma矫正眩光抑制方法，其特征在于，所述步骤3，调整公式如下：
式中，Gdark表示暗光增强函数；
所述步骤4，调整公式如下：
式中，Ghalo表示晕光抑制函数；
所述步骤5，调整公式如下：
式中，Gglare为眩光抑制函数；
所述步骤6，调整公式如下：
Gother＝1
Gother表示其他区域的亮度调整函数。
5.根据权利要求4所述基于区域亮度感知的自适应Gamma矫正眩光抑制方法，其特征在于，所述步骤7，输出为：
G＝Gdark+Gglare+Ghalo+Gother
6.实现权利要求1所述基于区域亮度感知的自适应Gamma矫正眩光抑制方法的FPGA平台图像处理框架，其特征在于，包括两个USB解码器、两个DMA控制器和图像增强眩光抑制IP核，整个图像处理框架使用AXI4 Stream协议；其中图像增强眩光抑制IP核实现所述方法；USB解码器一用于输入低照度图像img和其对应的灰度图img_gray；DMA控制器一用于传输所述低照度图像img和其对应的灰度图img_gray的内存数据；DMA控制器二用于传输经图像增强眩光抑制IP核处理过后结果图的内存数据；USB解码器二用于输出所述结果图至PC端。
7.实现权利要求1所述基于区域亮度感知的自适应Gamma矫正眩光抑制方法的FPGA加速器，其特征在于，包括：
处理系统，实现访存和控制任务；
FPGA加速核系统，采用图像增强眩光抑制IP核，实现所述方法的加速任务，包括：访存模块、参数缓存模块和Gamma_trans图像处理模块。
8.根据权利要求7所述FPGA加速器，其特征在于，所述处理系统由ARM CPU核及外部存储器组成。
9.根据权利要求7所述FPGA加速器，其特征在于，所述访存模块，从外部存储读取低照度图像和对应灰度图像数据；所述参数缓存模块，由位于芯片上的块随机存储器组成，对Gamma_trans图像处理模块处理之后的结果进行缓存；所述Gamma_trans图像处理模块，通过计算图像中像素点的亮度与周围区域的像素点亮度进行评估，对图像进行非线性化操作，得到整体增强和区域抑制图像。
10.根据权利要求7所述FPGA加速器，其特征在于，采用流水线操作，使图像数据在FPGA内缓存与处理同时进行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310647385.XA CN116645291A (zh) | 2023-06-02 | 2023-06-02 | 基于区域亮度感知的自适应Gamma矫正眩光抑制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310647385.XA CN116645291A (zh) | 2023-06-02 | 2023-06-02 | 基于区域亮度感知的自适应Gamma矫正眩光抑制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116645291A true CN116645291A (zh) | 2023-08-25 |
Family
ID=87624431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310647385.XA Pending CN116645291A (zh) | 2023-06-02 | 2023-06-02 | 基于区域亮度感知的自适应Gamma矫正眩光抑制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116645291A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455780A (zh) * | 2023-12-26 | 2024-01-26 | 广东欧谱曼迪科技股份有限公司 | 内镜暗场图像的增强方法、装置、电子设备及存储介质 |
-
2023
- 2023-06-02 CN CN202310647385.XA patent/CN116645291A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455780A (zh) * | 2023-12-26 | 2024-01-26 | 广东欧谱曼迪科技股份有限公司 | 内镜暗场图像的增强方法、装置、电子设备及存储介质 |
| CN117455780B (zh) * | 2023-12-26 | 2024-04-09 | 广东欧谱曼迪科技股份有限公司 | 内镜暗场图像的增强方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232661B (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
| Possa et al. | A multi-resolution FPGA-based architecture for real-time edge and corner detection | |
| Zhu et al. | An adaptive histogram equalization algorithm on the image gray level mapping | |
| Huang et al. | An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems | |
| EP4198875A1 (en) | Image fusion method, and training method and apparatus for image fusion model | |
| CN110428379B (zh) | 一种图像灰度增强方法及系统 | |
| Banerjee et al. | Real-time underwater image enhancement: An improved approach for imaging with AUV-150 | |
| US20230215132A1 (en) | Method for generating relighted image and electronic device | |
| CN105469373A (zh) | 一种Retinex图像增强方法及系统 | |
| CN104268843A (zh) | 基于直方图修饰的图像自适应增强方法 | |
| Yan et al. | Enhanced network optimized generative adversarial network for image enhancement | |
| CN110717868A (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN116645291A (zh) | 基于区域亮度感知的自适应Gamma矫正眩光抑制方法 | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| Park et al. | A low-cost and high-throughput FPGA implementation of the retinex algorithm for real-time video enhancement | |
| Sonker et al. | Comparison of histogram equalization techniques for image enhancement of grayscale images of dawn and dusk | |
| Shiau et al. | A low-cost hardware architecture for illumination adjustment in real-time applications | |
| Xue et al. | Video image dehazing algorithm based on multi-scale retinex with color restoration | |
| US20130287299A1 (en) | Image processing apparatus | |
| Liu et al. | Deep image inpainting with enhanced normalization and contextual attention | |
| Jeon et al. | Low-light image enhancement using inverted image normalized by atmospheric light | |
| Xu et al. | Deep video inverse tone mapping | |
| Pandey et al. | A fast and effective vision enhancement method for single foggy image | |
| Li et al. | Mine image enhancement using adaptive bilateral gamma adjustment and double plateaus histogram equalization | |
| CN111383299B (zh) | 图像的处理方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |