CN113222859B - 基于对数图像处理模型的低照度图像增强系统及方法 - Google Patents
基于对数图像处理模型的低照度图像增强系统及方法 Download PDFInfo
- Publication number
- CN113222859B CN113222859B CN202110611694.2A CN202110611694A CN113222859B CN 113222859 B CN113222859 B CN 113222859B CN 202110611694 A CN202110611694 A CN 202110611694A CN 113222859 B CN113222859 B CN 113222859B
- Authority
- CN
- China
- Prior art keywords
- image
- value
- color
- logarithmic
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 11
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000000889 atomisation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于对数处理模型的低照度图像增强系统及方法，旨在解决低照度图像快速增强的问题，本发明使用图像存储转换模块提取待处理图像的亮度分量，对数变换模块将亮度分量转换到对数域，方形窗构造模块构造3×3的方形窗，数据缓存模块将亮度分量缓存到方形窗中的存储器，亮度平均模块计算方形窗亮度平均值，图像增强模块利用Lee增强算法增强图像；图像显示转换模块显示彩色增强图像。本发明在现场可编程门阵列FPGA上实现基于对数图像处理模型的低照度图像增强，具有图像处理速度快，增强图像清晰的优点。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及图像增强技术领域中的一种基于对数图像处理模型的低照度图像增强系统及方法。本发明可以提高低照度图像的对比度，增强低照度图像的细节信息，强化图像特征，从而用于安防、视频监控、夜间交通运输等领域中。
背景技术
图像增强一直以来都是数字图像处理领域的热点和难点，其主要目的是为了改善视觉效果、便于人或机器对图像的分析理解，人们根据图像的特点和存在的问题，采取不同的图像增强方法改善图像质量或加强图像的某些特征。图像增强处理的主要内容是突出图像中感兴趣的部分，减弱或去除不需要的信息，加强有用信息，从而得到更加实用的图像或者更适合人或机器分析处理的图像，研究如何快速而又准确地改善图像质量或加强图像的某些特征具有重要意义。而低照度图像由于光照环境不均致使图像亮度值动态范围大、存在整体亮度低、对比度低、颜色偏暗，实际运算中常常产生超区间的问题，且人眼对不同灰度变化的响应是不同的，然而对数变换曲线恰恰能够满足人类的视觉特性。对数图像处理模型可以将图像像素值在基本域和对数域之间转换，在图像增强前将像素值转换到对数域可以缩减像素值范围，使得像素值计算更加准确。Lee增强算法是低照度图像增强领域的经典算法之一，其算法简单快捷，通过计算图像像素中心点的亮度平均值，扩大图像的亮度对比度，从而达到增强低照度图像的效果，综上将Lee增强算法和对数图像处理模型结合可以更好地增强图像特征。另外FPGA具有并行和流水线的特点，在FPGA上实现该算法可以加快图像处理速度，节省图像处理所需的时间。
中山大学在其申请的专利文献“基于改进Retinex与对数图像处理的低照度图像增强方法”(申请日：2019年05月22日，申请号：CN201910431030.0，申请公布号：CN110298796A)中提出了一种低照度图像的增强方法。该方法步骤包括：计算样本图像的亮通道值，将该值作为样本图像的光照分量；利用现有的对数图像处理模型下的背景强度对光照分量进行自适应局部调整；结合Sobel边缘检测方法，对局部调整后的光照分量进行滤波细化；根据细化后的光照分量，基于Retinex理论得到增强图像。该方法存在的不足之处是：基于Retinex模型的低照度图像增强算法虽然可以增强图像对比度，压缩动态范围，并具有较好的色彩恒常性，但是会放大图像噪声、出现光晕伪影，而且在图像特别暗的地方会出现“马赛克”现象，而且该低照度图像的增强算法图像增强算法步骤多，算法繁琐，涉及的计算量大，导致图像处理速度变慢，不能满足图像实时处理的需求。
南京理工大学在其申请的专利文献“一种低照度彩色图像实时增强方法及系统”(申请日：2020年12月15日，申请号：CN202011476402.0，申请公布号：CN112488957A)中提出了一种低照度彩色图像实时增强系统。该系统包括RGB转YCbCr模块，最大/最小值滤波模块，暗通道图像合成模块，去雾模块。RGB转YCbCr模块用于将雾后化的图像从RGB彩色空间转换至YCbCr色彩空间，获取图像的亮度图；最大/最小值滤波模块用于获得大气光值和粗略、精细暗通道图；暗通道图像合成模块用于根据亮度图制作掩膜，根据掩膜将粗略和精细两个暗通道图合成彩色自然的暗通道图；去雾模块用于根据暗通道图计算出图像透射率，并按照暗通道先验原理去雾。该系统存在的不足之处是：暗通道图像合成模块和去雾模块中包含参数较多，这些参数往往通过人为选择定义，在实际过程中不易控制去雾理论中参数大小，会导致图像增强不当的情况，出现人工处理痕迹明显、雾化现象严重，边缘信息较为模糊等问题，且去雾模块中采用软抠图的优化透射率时，计算量大、算法耗时严重。因此该系统对低照度图像增强处理的时间复杂度高，计算量大，图像处理速度慢，出现增强后图像失真、细节丢失的情况。
中国人民解放军陆军炮兵防空兵学院在其申请的专利文献“一种低照度图像增强方法和系统”(申请日：2020年11月14日，申请号：CN202011327998.8，申请公布号：CN112365425A)中提出了一种低照度图像增强系统。该系统包括预处理模块，第一转换模块，照度分量计算模块，反射分量计算模块，全局校正模块，第二转换模块。预处理模块用于对低照度图像进行色彩恒常预处理，第一转换模块，具体用于将图像从RGB颜色空间转换到YCbCr颜色空间，得到亮度分量Y以及颜色分量Cb和Cr，照度分量计算模块，具体用于对亮度分量Y进行迭代多尺度引导滤波，得到照度分量L；反射分量计算模块，具体用于根据照度分量L基于Retinex理论计算得到反射分量R；全局校正模块，具体用于对反射分量R进行全局对比度校正，得到增强后的反射分量R，即亮度分量Y的增强结果；第二转换模块，具体用于将亮度分量Y的增强结果以及颜色分量Cb与Cr转换到RGB颜色空间，得到低照度图像增强结果。该系统存在的不足之处是：反射分量计算模块中对像素值进行加减运算时会导致像素值超出超过图像定义的灰度区间范围，引起数值越界问题，进一步导致最终的增强图像细节模糊，效果不佳。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于对数图像处理模型的低照度图像增强系统及方法，用于增强低照度图像的对比度，改善图像质量并强化图像特征，以及只在软件上进行图像增强导致图像处理速度慢的问题。
实现本发明目的的思路是：本发明在现场可编程门阵列FPGA上设计并实现低照度图像增强算法，相比于计算机软件实现低照度图像增强算法，FPGA上实现低照度图像增强时能够实现并行计算，且调用的物理存储运算单元会更少，可以有效提高数字图像处理领域中低照度图像增强算法处理图像的速度。本发明利用对数图像处理模型的变换函数，将图像亮度分量转换到对数域之后，利用Lee图像增强公式计算得到亮度分量的更新值，有效地实现了对数图像处理模型与Lee图像增强算法相结合，避免了传统的Lee增强对像素值进行加减运算时导致像素值超出灰度定义区间的问题，在数字图像处理领域的低照度图像增强技术中，弥补了增强后图像失真、图像边缘不清晰等问题。
本发明的系统包括图像存储转换模块、对数变化模块、方形窗构造模块、数据缓存模块、亮度平均模块、图像增强模块、图像显示转换模块，其中：
所述的图像存储转换模块，用于将待处理的低照度彩色图像转换成可编程逻辑器件FPGA可识别的格式文件存入单端口存储器中，通过色彩空间转换法，将存储器中低照度彩色图像转换到彩色编码YUV空间中，得到彩色编码图像；
所述的对数变换模块，用于调用Floating-point IP核，利用对数图像处理模型的正变换函数，得到彩色编码图像亮度分量中每个像素点的对数值；
所述的方形窗构造模块，用于调用Ran-based Shift Register IP核构造三个相同的移位寄存器，并将三个移位寄存器首尾相接，然后将每个移位寄存器后连接三个寄存器，得到3×3的寄存器方形窗阵列；
所述的数据缓存模块，用于在现场可编程门阵列FPGA的每个时钟周期内，依次将彩色编码图像的亮度分量行向量像素点的对数值存入位于末端的移位寄存器中，然后依次读取移位寄存器中亮度分量行向量每个像素点的对数值，存入3×3寄存器方形窗阵列中，得到包含3×3个像素对数值的方形窗阵列；
所述的亮度平均模块，用于计算每个时钟周期内3×3的方形窗阵列内所有的像素对数值的亮度平均值；
所述的图像增强模块，用于利用Lee图像增强公式，计算每个时钟周期内的3×3方形窗阵列中心点处的亮度分量更新值；然后调用Floating-point IP核，利用对数图像处理模型的逆变换函数，将亮度分量更新值转换到基本域内；
所述的图像显示转换模块，用于从彩色编码图像中依次提取的红色分量U和蓝色分量V中每个像素点的值，经过时延操作后分别与亮度分量更新值移位相加，得到合并的YUV值，并利色彩空间中YUV转RGB888算法，将YUV值转换到RGB颜色空间下，得到RGB888格式的彩色增强图像，通过VGA接口将彩色增强图像显示到VGA显示器上。
本发明方法的具体步骤包括如下：
(1)获取待处理的低照度彩色图像的亮度分量：
(1a)图像存储转换模块将输入的待处理低照度彩色图像转换成可编程逻辑器件FPGA可识别的格式文件，存入单端口存储器中；
(1b)图像存储转换模块中采用色彩空间转换法，将存储器中低照度彩色图像转换到彩色编码YUV空间中，得到彩色编码图像及其亮度分量；
(2)将彩色编码图像中亮度分量的像素值转换到对数域：
对数变换模块调用Floating-point IP核，利用对数图像处理模型的正变换函数，得到彩色编码图像亮度分量中每个像素点的对数值；
(3)构造寄存器方形窗阵列：
(3a)方形窗构造模块调用Ram-based Shift Register IP核构造三个相同的移位寄存器，并将三个移位寄存器首尾相接；
(3b)方形窗构造模块在每个移位寄存器后连接三个寄存器，得到3×3的寄存器方形窗阵列；
(4)缓存彩色编码图像中亮度分量的像素对数值：
(4a)数据缓存模块在每个时钟周期内，依次将彩色编码图像的亮度分量行向量每个像素点的对数值存入位于末端的移位寄存器中；
(4b)数据缓存模块在每个时钟周期内，依次读取移位寄存器中亮度分量的行像素对数值，存入3×3寄存器方形窗阵列中，得到包含3×3个像素对数值的方形窗阵列；
(5)计算亮度分量方形窗阵列的亮度平均值：
亮度平均模块计算每个时钟周期内的3×3方形窗阵列内所有的像素对数值的亮度平均值；
(6)得到方形窗阵列中心位置亮度分量的更新值：
图像增强模块利用Lee图像增强公式，计算每个时钟周期内的3×3方形窗阵列中心点处的亮度分量更新值；
(7)将亮度分量更新值转换到及基本域：
图像增强模块调用Floating-point IP核，利用对数图像处理模型的逆变换函数，将亮度分量更新值转换到基本域内；
(8)将彩色编码增强图像转换到RGB颜色空间：
(8a)图像显示转换模块将从彩色编码图像中依次提取的红色分量U和蓝色分量V中每个像素点的值经过时延操作后，再分别与亮度分量更新值移位相加，得到合并后彩色编码图像的YUV值；；
(8b)图像转换显示模块利用色彩空间中YUV转RGB888算法，将合并后彩色编码图像的YUV值转换到RGB颜色空间，得到RGB888格式的彩色增强图像数据；
(9)图像显示转换模块中通过VGA接口读取RGB888格式的彩色增强图像数据并显示到VGA显示器上。
本发明与现有的技术相比具有以下优点：
第一，由于本发明系统中的对数变换模块，利用对数图像处理模型的正变换函数将亮度分量像素值转换到对数域，克服了现有技术中的系统仅采用图像增强模块对低照度图像处理导致图像失真、雾化现象严重，边缘信息较为模糊的问题，使得本发明的系统在对图像进行增强处理时能够考虑到亮度梯度较小的边缘信息，增强后的图像边缘清晰、图像失真现象减少。
第二，由于本发明的系统是在现场可编程门阵列FPGA上设计实现的，相比于计算机软件实现低照度图像增强，可编程门阵列FPGA上实现低照度图像增强时能够实现并行计算，调用的物理存储运算单元时会更少，能耗也会更低，克服了现有技术中只在软件上实现低照度图像增强导致图像处理速度慢的问题，使得本发明能够具有对低照度图像增强速度快、效率高的优点，节省了图像处理的时间，可以满足实时图像处理的要求。
第三，由于本发明的方法通过利用对数图像处理模型的变换函数，将图像亮度分量的像素值转换到对数域之后，再使用Lee算法对低照度图像的亮度分量像素值计算，得到增强后的亮度分量更新值，有效地实现了对数图像处理模型和Lee增强算法结合，克服了现有技术中仅利用Lee增强对像素值进行加减运算时导致像素值超出灰度定义区间的问题，使得本发明在像素值进行加减运算时保证像素值不会超出灰度定义区间，计算得到的图像亮度分量的像素值更准确。
附图说明
图1是本发明系统示意图；
图2是本发明方法的流程图；
图3是本发明仿真实验图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1对本发明的系统做进一步的描述。
本发明的系统包括图像存储转换模块、对数变换模块、方形窗构造模块、数据缓存模块、亮度平均模块、图像增强模块、图像显示转换模块。
所述的图像存储转换模块将待处理的低照度彩色图像转换成可编程逻辑器件FPGA可识别的格式文件后存入图像存储模块的单端口存储器中，通过色彩空间转换法，通过地址空间读取存储器中的低照度彩色图像转换到彩色编码YUV空间中，得到彩色编码图像。
所述的对数图像处理模块用于调用Floating-point IP核，运用cordic算法的旋转模式在FPGA下实现对数运算，将OperationSelection选项设定为Logarithm，利用对数图像处理模型的正变换函数，将彩色编码图像亮度分量的像素值转换到对数域中，得到彩色编码图像中亮度分量中每个像素点的对数值。
所述的方形窗构造模块用于调用Ran-based Shift Register IP核构造三个相同的移位寄存器，并将三个移位寄存器首尾相接，然后将每个移位寄存器后连接三个寄存器，得到3×3的寄存器方形窗阵列；
所述的数据缓存模块用于在现场可编程门阵列FPGA的每个时钟周期内，依次将彩色编码图像的亮度分量行向量像素点的对数值存入位于末端的移位寄存器中，然后依次读取移位寄存器中亮度分量像素点的对数值，存入3×3寄存器方形窗阵列中，得到包含3×3个像素对数值的方形窗阵列。
所述的亮度平均模块用于将每个时钟周期内的3×3方形窗阵列内所有的像素对数值求和，并除以方形窗的阵列个数，得到方形窗阵列中心点的亮度平均值。
所述的图像增强模块用于在每个时钟周期内将方形窗阵列中心像素点的对数值与中心点的亮度平均值做差取绝对值，乘以锐化调整因子，得到方形窗阵列中心点的亮度梯度，然后利用Lee图像增强公式，将方形窗阵列中心像素点的对数值乘以对比度调整因子，与亮度梯度求和，得到3×3方形窗阵列中心点处的亮度分量更新值，然后调用Floating-point IP核，运用cordic算法的向量模式在FPGA下实现指数运算，将OperationSelection选项设定为Exponential，计算亮度更新值的以自然常数为底的指数值,根据对数图像处理模型的逆变换函数，将亮度更新值转换到基本域，得到彩色编码图像亮度分量常数更新分量。
所述的图像显示转换模块用于从彩色编码图像中依次提取的红色分量U和蓝色分量V中每个像素点的值，经过时延操作将后与亮度分量更新值移位相加，得到合并的YUV值，并利用色彩空间中YUV转RGB888算法，将YUV值转换到RGB颜色空间下，得到RGB888格式的彩色增强图像数据，然后通过VGA显示接口读取彩色增强图像数据并显示到VGA显示器上。
下面结合图2对本发明的方法做进一步的描述。
步骤1，输入待处理图像。
图像存储转换模块将待处理的低照度彩色图像转换成可编程逻辑器件FPGA可识别的格式文件，存入单端口存储器中。
步骤2，低照度彩色图像转换为彩色编码图像。
图像存储模块通过地址空间读取单端口存储器中的低照度彩色图像，根据下述的色彩空间转换公式，将低照度彩色图像转换到彩色编码YUV空间中，得到彩色编码图像，并提取彩色编码图像亮度分量。
Yp＝0.298Rq+0.612Gq+0.117Bq
Up＝-0.168Rq-0.33Gq+0.498Bq+128
Vp＝0.449Rq-0.435Gq-0.083Bq+128
其中，Yp表示转换后彩色编码图像中第p个点的亮度分量像素值，Rq表示低照度彩色图像中第q个点的红色分量像素值，Gq表示低照度彩色图像中第q个点的绿色分量像素值，Bq表示低照度彩色图像中第q个点的蓝色分量像素值，Up表示转换后彩色编码图像中第p个点的红色分量像素，Vp表示转换后的彩色编码图像第p个点的蓝色分量像素值。
步骤3，彩色编码图像亮度分量转换到对数域中。
对数变换模块中调用Floating-point IP核，运用cordic算法在双曲坐标系下的向量模式在FPGA上实现对数运算,将Operation Selection选项设定为Logarithm，根据下述对数图像处理模型的正变换函数，计算彩色编码图像亮度分量中每个像素点的对数值，将像素点的值转换到对数域。
其中，
表示彩色编码图像亮度分量Y中第x个点转换到对数域后的像素值，M表示彩色编码图像亮度分量像素值区间的最大值，ln(·)表示以e为底的对数操作，f(x)表示彩色编码图像亮度分量中第x个点转换到对数域前的像素值。
步骤4，构造方形窗。
方形窗构造模块调用Ran-based Shift Register IP核构造三个相同的移位寄存器，并将三个移位寄存器首尾相接，移位寄存器的深度与彩色编码图像亮度分量行像素个数相等；然后在每个移位寄存器后连接三个寄存器，得到3×3的寄存器方形窗阵列。
步骤5，缓存亮度分量的像素值。
数据缓存模块在现场可编程门阵列的每个时钟周期内，依次将彩色编码图像的亮度分量行向量的像素对数值存入位于末端的移位寄存器中，然后依次读取移位寄存器中亮度分量行向量每个像素点的对数值，存入3×3寄存器方形窗阵列中，得到包含3×3个像素对数值的方形窗阵列。
步骤6，计算方形窗阵列的亮度平均值。
亮度平均模块将每个时钟周期内的3×3方形窗阵列内所有的像素对数值求和，并除以方形窗的阵列个数，得到方形窗阵列中心点的亮度平均值。
步骤7，计算亮度分量更新值。
图像增强模块利用下述的Lee图像增强公式，在每个时钟周期内将方形窗阵列中心像素点的对数值与中心点的亮度平均值做差取绝对值，乘以锐化调整因子，得到方形窗阵列中心点的亮度梯度，然后将方形窗阵列中心像素点的对数值乘以对比度调整因子，与亮度梯度求和，得到3×3方形窗阵列中心点处的亮度分量更新值。
log(F’k(i,j))＝αlog(Ak(i,j))+β(log(Fk(i,j)-Ak(i,j)))
其中，log(·)表示以10为底的对数操作，F’k(i,j)表示第k个时钟周期内彩色编码图像在3×3方形窗阵列中心点(i,j)处更新后的亮度分量更新值，α表示对比度调整因子，其取值范围为(0,2]，Ak(i,j)表示在第k个时钟周期内3×3方形窗阵列的亮度平均值，β表示锐化调整因子，其取值范围为(0,10]，Fk(i,j)表示第k个时钟周期内3×3方形窗阵列中心点(i,j)处的亮度像素值。
步骤8，将亮度分量更新值转换到基本域。
图像增强模块中调用Floating-point IP核，运用cordic算法在双曲坐标系下的旋转模式实现FPGA上的指数运算，将Operation Selection选项设定为Exponential，计算亮度更新值的以自然常数为底的指数值,根据下述对数图像处理模型的逆变换函数，将亮度更新值转换到基本域。
其中，g(a)表示彩色编码图像亮度分量Y中第a个点转换到基本域后的亮度更新值，M表示亮度分量像素值区间的最大值，e(·)表示以自然常数e为底的指数操作，G(a)表示彩色编码图像亮度分量Y中第a个点在对数域的亮度更新值。
步骤9，生成彩色增强图像数据数据。
图像显示转换模块将从彩色编码图像中依次提取的红色分量U和蓝色分量V中每个像素点的值经过时延操作后，再分别与亮度分量更新值移位相加，得到合并后彩色编码图像的YUV值；利用下述的色彩空间中YUV转RGB888算法，将合并后彩色编码图像的YUV值转换到RGB颜色空间，得到RGB888格式的彩色增强图像数据。
Rm＝Yn+1.04075(Vn-128)；
Gm＝Yn-0.3455(Un-128)-0.7169(Vn-128)；
Bm＝Yn+1.779(Un-128)；
其中，Rm表示转换后彩色增强图像第m个像素点的红色分量值，Yn表示彩色编码增强图像第n个像素点的亮度分量更新值，Un表示彩色编码增强图像第n个像素点时延后的红色分量像素值，Vn表示彩色编码增强图像第n个像素点时延后的蓝色分量像素值，Gm表示转换后彩色增强图像第m个像素点的绿色分量像素值，Bm表示转换后彩色增强图像第m个像素点的蓝色分量像素值。
步骤10，显示增强结果图像。
图像显示转换模块中通过VGA接口读取RGB888格式的彩色增强图像数据，显示到VGA显示器上。
下面结合仿真实验对本发明的效果做进一步详细描述。
1.仿真条件：
本发明的仿真实验的硬件平台为:Xilinx公司生产的zynq-7000系列Zedboard开发板。
本发明仿真实验的软件平台为：MATLAB R2018a软件、Modelsim SE 10.5软件和Vivado2018软件。
本发明的仿真实验所使用的输入图像为本发明人于西安电子科技大学校区拍摄的低照度自然图像，图像大小为512*512像素，格式为JPEG的低照度彩色图像。
2.仿真内容与结果分析：
本发明仿真实验是采用本发明和一个现有技术(基于CPU的Lee增强方法)分别对输入的低照度自然图像增强处理，获得增强结果图。
在仿真实验中采用的现有技术是指：Lee等人在“Lee J S.Digital ImageEnhancement and Noise Filtering by Use of Local Statistics”([J].IEEETransactions on Pattern Analysis and Machine Intelligence(S0162-8828)，1980，PAMI22(3)：165-168.)中提出的一种低照度图像增强方法，简称基于CPU的Lee增强方法。
下面结合图3的仿真图对本发明的效果做进一步的描述。
图3(a)是输入512×512大小的待处理低照度彩色图像，图3(b)是采用基于CPU的Lee增强方法对输入512×512的低照度彩色图像进行增强处理后的结果图，图3(c)是采用本发明方法对输入512×512的低照度彩色图像进行增强处理后的结果图。
由图3(a)可以看出，低照度彩色图像原图整体亮度比较低，对比度也比较低，而且因为光源的存在致使部分区域的亮度和对比度相对较大，图像整体偏暗，细节不清晰。
由图3(b)可以看出，现有技术的基于CPU的Lee增强方法增强处理后的结果图像,该方法提高了图像的对比度，但图像整体亮度值较大，出现了严重的雾化现象，对于图像中亮度值较大的区域，如图3(b)中的右上角的树叶部分出现图像的曝光过度，细节特征不明显的问题。
由图3(c)可以看出，本发明的低照度图像增强方法增强处理后的结果图像，本发明可以有效地对低照度图像增强处理，增强后图像视觉效果更佳，对于亮度值较低的阴影部分，如图3(c)中被树影所挡住的墙壁部分，清晰地展示了该部分的细节信息；对于图像中亮度值较大的部分，如路灯部分，抑制了该部分的亮度过度曝光，改善了图像视觉效果。
此外，通过对以上两种方法增强图像运行耗时统计可以发现，基于CPU的Lee增强方法在处理低照度图像时耗时为400ms,而利用本发明的方法在处理低照度图像是耗时为50ms。
综上所述，本发明的增强结果相比于现有技术的增强结果，有效增强了图像亮度变化明显的区域细节信息，提高图像清晰度，改善图像的视觉效果，图像更明亮，更好地保留了图像局部信息，本发明还具有快速、实时处理的特点。
Claims (7)
1.一种基于对数图像处理模型的低照度图像增强系统，包括图像存储转换模块、方形窗构造模块、数据缓存模块、亮度平均模块、图像增强模块、图像显示转换模块，其特征在于，还包括对数变换模块，且整个系统是在现场可编程门阵列FPGA上实现的，其中：
所述的图像存储转换模块，用于将待处理的低照度彩色图像转换成可编程逻辑器件FPGA可识别的格式文件存入单端口存储器中，通过色彩空间转换法，将存储器中低照度彩色图像转换到彩色编码YUV空间中，得到彩色编码图像及其亮度分量；
所述的对数变换模块，用于调用Floating-point IP核，利用对数图像处理模型的正变换函数，得到彩色编码图像亮度分量中每个像素点的对数值；
所述的方形窗构造模块，用于调用移位寄存器IP核构造三个相同的基于RAM的移位寄存器，并将三个移位寄存器首尾相接，将每个移位寄存器后连接三个寄存器，得到3×3的寄存器方形窗阵列；
所述的数据缓存模块，用于在现场可编程门阵列FPGA的每个时钟周期内，依次将彩色编码图像的亮度分量行向量的像素对数值存入位于末端的移位寄存器中，然后依次读取移位寄存器中亮度分量行向量每个像素点的对数值，存入3×3寄存器方形窗阵列中，得到包含3×3个像素对数值的方形窗阵列；
所述的亮度平均模块，用于计算每个时钟周期内3×3的方形窗阵列内所有的像素对数值的亮度平均值；
所述的图像增强模块，用于利用Lee图像增强公式，计算每个时钟周期内的3×3方形窗阵列中心点处的亮度分量更新值；然后调用Floating-point IP核，利用对数图像处理模型的逆变换函数，将亮度分量更新值转换到基本域内；
所述的图像显示转换模块，用于从彩色编码图像中依次提取的红色分量U和蓝色分量V中每个像素点的值，经过时延操作后分别与亮度分量更新值移位相加，得到合并的YUV值，并利用YUV转RGB888算法，将YUV值转换到RGB颜色空间下，得到RGB888格式的彩色增强图像数据，通过VGA接口读取彩色增强图像数据并显示到VGA显示器上。
2.根据权利要求1所述系统的一种基于对数图像处理模型的低照度图像增强方法，其特征在于，将对数图像处理模型和Lee图像增强算法结合起来对低照度图像进行增强，该方法的步骤包括如下：
(1)获取待处理的低照度彩色图像的亮度分量：
(1a)图像存储转换模块将输入的待处理低照度彩色图像转换成可编程逻辑器件FPGA可识别的格式文件，存入单端口存储器中；
(1b)图像存储转换模块中采用色彩空间转换法，将存储器中低照度彩色图像转换到彩色编码YUV空间中，得到彩色编码图像及其亮度分量；
(2)将彩色编码图像中亮度分量的像素值转换到对数域：
对数图像处理模块调用Floating-point IP核，利用对数图像处理模型的正变换函数，得到彩色编码图像亮度分量中每个像素点的对数值；
(3)构造寄存器方形窗阵列：
(3a)方形窗构造模块调用移位寄存器IP核构造三个相同的基于RAM的移位寄存器，并将三个移位寄存器首尾相接；
(3b)方形窗构造模块在每个移位寄存器后连接三个寄存器，得到3×3的寄存器方形窗阵列；
(4)缓存彩色编码图像中亮度分量的像素对数值：
(4a)数据缓存模块在现场可编程门阵列FPGA的每个时钟周期内，依次将彩色编码图像的亮度分量行向量的像素对数值存入位于末端的移位寄存器中；
(4b)数据缓存模块在每个时钟周期内，依次读取移位寄存器中亮度分量行向量每个像素点的对数值，存入3×3寄存器方形窗阵列中，得到包含3×3个像素对数值的方形窗阵列；
(5)计算亮度分量方形窗阵列的亮度平均值：
亮度平均模块计算每个时钟周期内的3×3方形窗阵列内所有的像素对数值的亮度平均值；
(6)得到方形窗阵列中心位置亮度分量的更新值：
图像增强模块利用Lee图像增强公式，计算每个时钟周期内的3×3方形窗阵列中心点处的亮度分量更新值；
(7)将亮度分量更新值转换到基本域：
图像增强模块调用Floating-pointIP核，利用对数图像处理模型的逆变换函数，将亮度分量更新值转换到基本域内；
(8)生成彩色增强图像数据：
(8a)图像显示转换模块将从彩色编码图像中依次提取的红色分量U和蓝色分量V中每个像素点的值经过时延操作后，再分别与亮度分量更新值移位相加，得到合并后彩色编码图像的YUV值；
(8b)图像转换显示模块利用色彩空间中YUV转RGB888算法，将合并后彩色编码图像的YUV值转换到RGB颜色空间，得到RGB888格式的彩色增强图像数据；
(9)图像显示转换模块中通过VGA接口读取RGB888格式的彩色增强图像数据显示到VGA显示器上。
3.根据权利要求2所述的基于对数图像处理模型的低照度图像增强方法，其特征在于：步骤(1b)中所述的色彩空间转换法如下：
Yp＝0.298Rq+0.612Gq+0.117Bq
Up＝-0.168Rq-0.33Gq+0.498Bq+128
Vp＝0.449Rq-0.435Gq-0.083Bq+128
其中，Yp表示转换后彩色编码图像中第p个点的亮度分量像素值，Rq表示低照度彩色图像中第q个点的红色分量像素值，Gq表示低照度彩色图像中第q个点的绿色分量像素值，Bq表示低照度彩色图像中第q个点的蓝色分量像素值，Up表示转换后彩色编码图像中第p个点的红色分量像素，Vp表示转换后的彩色编码图像第p个点的蓝色分量像素值。
4.根据权利要求2所述的基于对数图像处理模型的低照度图像增强方法，其特征在于：步骤(2)中所述对数图像处理模型的正变换函数如下：
其中，
表示彩色编码图像亮度分量Y中第x个点转换到对数域后的像素值，M表示彩色编码图像亮度分量像素值区间的最大值，ln(·)表示以e为底的对数操作，f(x)表示彩色编码图像亮度分量中第x个点转换到对数域前的像素值。
5.根据权利要求2所述的基于对数图像处理模型的低照度图像增强方法，其特征在于：步骤(6)中所述的Lee图像增强公式如下：
log(F’k(i,j))＝αlog(Ak(i,j))+β(log(Fk(i,j)-Ak(i,j)))
其中，log(·)表示以10为底的对数操作，Fk’(i,j)表示第k个时钟周期内彩色编码图像在3×3方形窗阵列中心点(i,j)处更新后的亮度分量更新值，α表示对比度调整因子，其取值范围为(0,2]，Ak(i,j)表示在第k个时钟周期内3×3方形窗阵列的亮度平均值，β表示锐化调整因子，其取值范围为(0,10]，Fk(i,j)表示第k个时钟周期内3×3方形窗阵列中心点(i,j)处的亮度像素值。
6.根据权利要求2所述的基于对数图像处理模型的低照度图像增强方法，其特征在于：步骤(7)中对数图像处理模型的逆变换函数如下：
其中，g(a)表示彩色编码图像亮度分量Y中第a个点转换到基本域后的亮度更新值，M表示亮度分量像素值区间的最大值，e(·)表示以自然常数e为底的指数操作，G(a)表示彩色编码图像亮度分量Y中第a个点在对数域的亮度更新值。
7.根据权利要求2所述的基于对数图像处理模型的低照度图像增强方法，其特征在于：步骤(8b)中所述的色彩空间中YUV转RGB888算法如下：
Rm＝Yn+1.04075(Vn-128)；
Gm＝Yn-0.3455(Un-128)-0.7169(Vn-128)；
Bm＝Yn+1.779(Un-128)；
其中，Rm表示转换后彩色增强图像第m个像素点的红色分量值，Yn表示彩色编码增强图像第n个像素点的亮度分量更新值，Un表示彩色编码增强图像第n个像素点时延后的红色分量像素值，Vn表示彩色编码增强图像第n个像素点时延后的蓝色分量像素值，Gm表示转换后彩色增强图像第m个像素点的绿色分量像素值，Bm表示转换后彩色增强图像第m个像素点的蓝色分量像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110611694.2A CN113222859B (zh) | 2021-05-27 | 2021-05-27 | 基于对数图像处理模型的低照度图像增强系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110611694.2A CN113222859B (zh) | 2021-05-27 | 2021-05-27 | 基于对数图像处理模型的低照度图像增强系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113222859A CN113222859A (zh) | 2021-08-06 |
| CN113222859B true CN113222859B (zh) | 2023-04-21 |
Family
ID=77082328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110611694.2A Active CN113222859B (zh) | 2021-05-27 | 2021-05-27 | 基于对数图像处理模型的低照度图像增强系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113222859B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570360B (zh) * | 2019-05-30 | 2022-07-19 | 昆明理工大学 | 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8279308B1 (en) * | 2009-07-30 | 2012-10-02 | Adobe Systems Incorporated | Optimized log encoding of image data |
| CN106127302A (zh) * | 2016-06-23 | 2016-11-16 | 杭州华为数字技术有限公司 | 处理数据的电路、图像处理系统、处理数据的方法和装置 |
| CN111242872A (zh) * | 2020-01-20 | 2020-06-05 | 中国科学院西安光学精密机械研究所 | 一种基于msr的实时rgb图像增强方法 |
| CN111402280A (zh) * | 2020-03-10 | 2020-07-10 | 西安电子科技大学 | 基于对数图像处理模型的图像边缘检测系统及方法 |
-
2021
- 2021-05-27 CN CN202110611694.2A patent/CN113222859B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8279308B1 (en) * | 2009-07-30 | 2012-10-02 | Adobe Systems Incorporated | Optimized log encoding of image data |
| CN106127302A (zh) * | 2016-06-23 | 2016-11-16 | 杭州华为数字技术有限公司 | 处理数据的电路、图像处理系统、处理数据的方法和装置 |
| CN111242872A (zh) * | 2020-01-20 | 2020-06-05 | 中国科学院西安光学精密机械研究所 | 一种基于msr的实时rgb图像增强方法 |
| CN111402280A (zh) * | 2020-03-10 | 2020-07-10 | 西安电子科技大学 | 基于对数图像处理模型的图像边缘检测系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| "FPGA-Based Multiplier-Less Log-Based Hardware Architectures for Hybrid Color Image Enhancement System";Uche A. Nnolim等;《International Journal of Image and Graphics》;20170131;第17卷(第01期);全文 * |
| "一种柔性形态学参数对称对数图像处理新算法";倪洁等;《西安电子科技大学学报》;20170413;第44卷(第05期);全文 * |
| "低照度环境下图像增强算法的FPGA实现";王文革等;《半导体光电》;20171031;第38卷(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113222859A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | An experiment-based review of low-light image enhancement methods | |
| CN110232661B (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
| Shi et al. | Let you see in sand dust weather: A method based on halo-reduced dark channel prior dehazing for sand-dust image enhancement | |
| CN105469373B (zh) | 一种Retinex图像增强方法及系统 | |
| WO2018133609A1 (zh) | 从低动态图像生成高动态图像的方法 | |
| CN110706172B (zh) | 基于自适应混沌粒子群优化的低照度彩色图像增强方法 | |
| CN104268843A (zh) | 基于直方图修饰的图像自适应增强方法 | |
| CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| CN109919859B (zh) | 一种户外场景图像去雾增强方法、计算设备及其存储介质 | |
| CN103593830A (zh) | 一种低照度视频图像增强方法 | |
| CN114331873B (zh) | 一种基于区域划分的非均匀光照彩色图像校正方法 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| Gupta et al. | New contrast enhancement approach for dark images with non-uniform illumination | |
| CN108305232A (zh) | 一种单帧高动态范围图像生成方法 | |
| CN113222859B (zh) | 基于对数图像处理模型的低照度图像增强系统及方法 | |
| CN108550124B (zh) | 一种基于仿生螺线的光照补偿及图像增强方法 | |
| CN113191986A (zh) | 一种图像处理方法及装置 | |
| CN114429426B (zh) | 一种基于Retinex模型的低照度图像质量改善方法 | |
| CN115937045B (zh) | 一种迭代式色阶重建方法 | |
| CN107358592A (zh) | 一种迭代式全局自适应图像增强方法 | |
| CN111242872A (zh) | 一种基于msr的实时rgb图像增强方法 | |
| CN110807748A (zh) | 一种基于高动态范围的新色调映射图像增强方法 | |
| CN112991236B (zh) | 一种基于模板的图像增强方法及装置 | |
| Liu et al. | An adaptive tone mapping algorithm based on gaussian filter | |
| Chandni et al. | Reduced hardware architecture of bilateral filter for real time image denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |