CN111242872B - 一种基于msr的实时rgb图像增强方法 - Google Patents

一种基于msr的实时rgb图像增强方法 Download PDF

Info

Publication number
CN111242872B
CN111242872B CN202010065348.4A CN202010065348A CN111242872B CN 111242872 B CN111242872 B CN 111242872B CN 202010065348 A CN202010065348 A CN 202010065348A CN 111242872 B CN111242872 B CN 111242872B
Authority
CN
China
Prior art keywords
image
data
image data
color channel
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010065348.4A
Other languages
English (en)
Other versions
CN111242872A (zh
Inventor
王�华
张德瑞
陈耀弘
曹剑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN202010065348.4A priority Critical patent/CN111242872B/zh
Publication of CN111242872A publication Critical patent/CN111242872A/zh
Application granted granted Critical
Publication of CN111242872B publication Critical patent/CN111242872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明属于实时图像处理技术领域,具体涉及一种基于MSR的实时RGB图像增强方法。本发明方法可在FPGA硬件平台上实现MSR彩色图像增强算法,以对实时彩色图像做高质量的图像增强。该方法包括以下步骤:步骤一、建立查找表;步骤二、输入待处理数据;步骤三、图像增强;步骤四、图像数据映射;步骤五、图像数据输出。本发明方法通过两个尺度的Retinex算法在FPGA上实现实时图像增强算法,实现时采用小尺度σ=1减小高斯模板和缓存数据的数量,采用大尺度σ=300实现
Figure DDA0002375799580000011
对算法进行优化;利用帧间图像的相关性进行近似从而避免了同一幅图像的反复迭代,从而使得算法进一步简化。

Description

一种基于MSR的实时RGB图像增强方法
技术领域
本发明属于实时图像处理技术领域,具体涉及一种基于MSR的实时RGB图像增强方法。
背景技术
在遥感成像时,遥感图像由于受到传感器性能下降、恶劣天气或较低环境照度等因素的影响,导致成像质量变差,具体表现为图像对比度不高、细节不清晰、颜色失真、噪声大等问题,从而影响图像的识别、判别,往往需要对图像进行增强处理。而在图像增强中,既需要对图像的动态范围做调整,又需要突出图像的细节信息。这样,单纯的传统增强方法则无法胜任了,而基于Retinex理论的图像增强算法可以较好地解决这个问题,从而得到广泛研究和应用。
Retinex为合成词,由Retina(视网膜)和Cortex(大脑皮层)组合而成。Retinex理论是由Edwin Land在20世纪70年代提出的一种颜色恒常知觉的色彩理论。Retinex理论主要包含了两个方面的内容:物体的颜色是由物体对长波、中波和短波光线的反射能力决定的,而不是由反射光强度的绝对值决定的;物体的色彩不受光照非均匀性的影响,具有一致性。Retinex理论解释了同样的物体在不同的光源或光线底下颜色恒定(Color Constancy)的机理。在Retinex模型中,观察者获得的图像I(x,y)由两部分组成,一部分是物体的环境光照亮度,对应于图像的低频部分,另一部分是物体的反射亮度,对应于图像的高频部分,通常称之为入射光分量和反射图像,分别用L(x,y)和R(x,y)来表示,其中L(x,y)表示入射光分量,R(x,y)表示由物体的反射性质而决定的反射图像,与入射光无关。
根据Retinex理论模型,其数学表达式可表示为:
I(x,y)=L(x,y)×R(x,y)  (1)
如果从给定的图像中能分离出入射光和反射图像,就能得到由目标自身性质决定的反射图像,从而达到图像增强的目的。
将式(1)转换到对数域,则有:
logR(x,y)=logL(x,y)-logI(x,y)  (2)
从数学角度来说,取对数可以将复杂的乘法运算转化为简单的加法运算,式(2)取对数的好处在于将入射光分量和反射物体分离。Retinex理论指出,入射光L(x,y)决定了图像中像素能达到的动态范围,反射图像R(x,y)则了决定一幅图像的内在实质,它是目标的真实反映。也就是抛开了入射光的性质来获得物体的本来面貌,这个物体的本来面貌就是我们所要得到的增强图像。在实际应用时入射光L(x,y)常采用高斯卷积进行近似估计,进而分离出反射图像R(x,y)。
目前,多尺度Retinex算法(Multi-Scales Retinex,MSR)应用较为广泛。小尺度Retinex算法动态压缩能力强,图像中的细节信息能较好地凸现出来,但输出图像有一定程度上的颜色失真现象;反之,当尺度较大时,输出图像的颜色保真度好,但削弱了动态压缩能力。所以在大多算法应用中,尺度个数一般选择大、中、小三个尺度,大尺度选择80以上(大多算法设置为300),中尺度选择30~80之间,小尺度选择30以下。该算法一方面可以有效压缩图像动态范围,另一方面可以较好地复现目标的颜色信息。
MSR算法的基本公式为:
Li,k(x,y)=Fk(x,y)*Ii(x,y)  (3)
Figure BDA0002375799560000021
其中,Li,k(x,y)为第i颜色通道第k个尺度的入射光分量值(RGB图像时i=R,G,B),它由对应尺度的高斯模板与原始图像卷积得到;Ii(x,y)为第i颜色通道图像DN值;Fk(x,y)第k个尺度的高斯函数,一般取标准二维高斯函数,
Figure BDA0002375799560000031
(其中σ即为尺度大小);*表示求卷积运算;Ri(x,y)为第i颜色通道的反射图像;K表示尺度总个数;Wk为第k个尺度的加权系数,约定所有Wk总和为1,即
Figure BDA0002375799560000032
虽然MSR图像增强效果较好,但由于其算法复杂性,图像处理耗时较长,在实际应用时,仍有一定的局限性,在硬件实时图像处理实现时,难度较大,具体为:
a)现有MSR算法使用三个尺度分别对R、G、B三个颜色通道进行处理且一幅图像需要多次迭代计算,造成运算量巨大,图像处理占用时间较长,不易实现实时图像处理;另外,迭代运算的结果需要参与下一次运算,需要对运算的结果进行存储,故对内外部缓存的要求较高;
b)由于MSR算法包含对数和卷积等运算且计算过程均为浮点运算,造成硬件实现较为困难;
c)为较好地恢复图像的颜色,大多MSR算法大尺度参数设置在300左右,造成高斯卷积模板较大,在硬件实现时占用资源较多,因此不易硬件实现。
发明内容
为解决背景技术中存在的问题,同时为了在硬件平台上实现MSR彩色图像增强算法,以对实时彩色图像做高质量的图像增强,本发明对算法进行优化加速设计,提供了一种基于MSR的实时RGB图像增强方法。
为实现以上发明目的,本发明所采用的技术方案是:
一种基于MSR的实时RGB图像增强方法,包括以下步骤:
步骤一、建立查找表
1.1)根据小尺度参数σ=1确定高斯模板数据,建立小尺度高斯卷积模板查找表,并将建立的小尺度高斯卷积模板存储;
1.2)建立对数运算查找表,并将对数数值存储;
步骤二、输入待处理数据
待处理数据包括图像帧有效、行有效和RGB图像数据;所述RGB图像数据包括IR(x,y)、IG(x,y)、IB(x,y),(x,y)表示像素点在图像中的坐标位置;
步骤三、图像增强
3.1)建立7×7图像数据矩阵;
依次接收步骤二)产生的有效RGB图像数据,并按行把有效RGB图像数据缓存在FPGA内部,所述有效RGB图像数据为帧有效及行有效同时置高时对应的RGB图像数据,当缓存7行数据后,构建R颜色通道的7×7数据矩阵,开始处理7×7的中间像素,在处理的过程中并依次缓存后续图像数据,整幅图像的处理时序为从左至右、从上至下直至整幅图像处理完成;
3.2)计算R颜色通道大小两个尺度的入射光分量
Figure BDA0002375799560000041
Figure BDA0002375799560000042
3.21)将步骤3.1)生成的7×7数据阵列与步骤1.1)生成的小尺度高斯卷积模板进行卷积得到
Figure BDA0002375799560000043
3.22)按顺序计算每一行有效RGB图像数据的R均值,再将每一行均值累加后除以图像总行数,得到整幅图像的入射光分量uR,同时将当前帧计算的uR保存至FPGA内部寄存器,则
Figure BDA0002375799560000044
3.23)将G、B二个颜色通道数据参照步骤3.1)至步骤3.22)同步进行处理,得到
Figure BDA0002375799560000045
Figure BDA0002375799560000046
Figure BDA0002375799560000047
3.3)计算增强图像;
3.31)两个尺度的权重取1/2,得到7×7图像矩阵中心点像素的反射图像值RR(x,y);
Figure BDA0002375799560000048
为防止对数运算时真值出现非法数值0,将式(6)改写为:
Figure BDA0002375799560000051
其中,对数运算采用查找表的方式实现,根据对数的真值调用步骤1.2)生成的对数数值;
3.32)参照步骤3.31),同步处理得到RG(x,y)和RB(x,y);
步骤四、图像数据映射
4.1)计算R颜色通道反射图像的均值u′R
步骤4.1)按顺序计算反射图像RR(x,y)每一行的均值,再将每一行均值累加后除以图像总行数,得到整幅图像R颜色通道的反射光分量u′R,同时将当前帧计算的u′R保存至FPGA内部寄存器;
4.2)计算R通道反射图像的标准差S;
Figure BDA0002375799560000052
其中,m,n分别为图像水平方向和垂直方向像素个数;
4.3)确定R颜色通道反射图像的最大值maxc和最小值minc
maxc=u′R+D×S
minc=u′R-D×S
其中,D为动态范围调节系数;
4.4)确定R颜色通道增强图像数据的限制范围;
对增强后的图像数据范围进行缩减,缩减后的增强图像R’R(x,y)为:
Figure BDA0002375799560000053
4.5)R颜色通道增强图像数据的映射;
将数据映射到0~2N-1输出,
Figure BDA0002375799560000054
N为输出图像数据位深;
4.6)参照步骤4.1)至步骤4.5),同步处理得到G颜色通道增强图像数据的映射和B颜色通道增强图像数据的映射;
Figure BDA0002375799560000061
Figure BDA0002375799560000062
步骤五、图像数据输出
将步骤四增强映射后的R、G、B三个颜色通道数据送入RGB输出模块,在帧、行有效信号的同步下,RGB输出模块逐个像素、逐行同步输出已增强的
Figure BDA0002375799560000063
数据。
进一步地,步骤1.1)中,将建立的小尺度高斯卷积模板存储具体为:将小尺度高斯卷积模板的数据×220取整后存放于FPGA内部ROM中。
进一步地,步骤1.2)中,将对数数值存储具体为:将对数数值×217取整存储于FPGA的内部ROM中。
进一步地,步骤4.3)中,取D=2。
同时,本发明提供一种计算机可读存储介质,所述计算机可读存储介质为FPGA芯片,所述FPGA芯片上存储有计算机程序,所述计算机程序被处理器执行时实现基于MSR的RGB图像增强方法的步骤。
与现有技术相比,本发明技术方案具有以下积极效果:
1.本发明方法通过两个尺度的Retinex算法在FPGA上实现实时图像增强算法,实现时采用小尺度σ=1减小高斯模板和缓存数据的数量,采用大尺度σ=300实现
Figure BDA0002375799560000064
对算法进行优化;利用帧间图像的相关性进行近似从而避免了同一幅图像的反复迭代,从而使得算法进一步简化。
2.本发明方法利用R、G、B三路颜色通道处理模块并行运算、流水线处理,数据流同步等方法,在FPGA上实现了MSR图像增强算法,能够实现高分辨率(最大支持4K*4K分辨率)视频流实时处理,得到较高质量的图像,图像增强处理效果与现有三尺度Retinex算法基本一致,并且在逻辑资源消耗和FPGA最大工作频率上都有很大余量。该实现算法除满足RGB彩色图像增强外,也适用于灰度图像的增强处理。
3.本发明使用IMX252图像探测器和Xilinx ARTIX-7系列FPGA XC7A100T-2CSG484I进行算法实现和实验验证,实现了1920×1080@50fps10bit高清彩色视频图像实时增强输出,取得了较低的硬件资源开销和较高的图像增强质量。
附图说明
图1为本发明基于MSR的实时RGB图像增强方法流程图;
图2为一维高斯函数曲线图;
图3为小尺度(σ=1)时的7×7高斯模板;
图4为R颜色通道7×7图像数据矩阵;
图5a为关闭本发明增强算法后拍摄的远距离原始图像;
图5b为采用三尺度Retinex算法对原始图像进行处理后的示意图;
图5c为采用本发明方法两尺度Retinex算法对原始图像进行处理后的示意图;
图6为本发明方法实现对雾天图像的增强效果示意图;
图7为本发明方法实现对低照度图像的增强效果示意图。
具体实施方式
以下结合附图和具体实施例对本发明的内容作进一步详细描述。
本发明提供一种基于MSR的实时RGB图像增强方法,该方法具有以下特点:
首先,在尺度个数的选择上采用两尺度MSR图像增强算法替代大多MSR算法中的三尺度MSR图像增强算法,降低算法复杂度;其次,在尺度参数的设计上,设定小尺度参数σ=1,这样一方面可以减小高斯模板尺寸,另一方面减小图像缓存行数,进而减小该算法所占用的硬件资源;最后,在迭代运算的处理上,根据相邻帧间的相关性,利用上一帧图像的有关计算结果参与下一帧图像的运算,大大降低对内/外部缓存资源的需求。大尺度参数设置为σ=300,此时,Li(x,y)≈ui,其中ui为图像第i颜色通道的均值。这是因为当(x,y)=(0,0)时,
Figure BDA0002375799560000081
当(x,y)=(±1,0)或(x,y)=(0,±1)时,
Figure BDA0002375799560000082
当σ=300时,
Figure BDA0002375799560000083
Figure BDA0002375799560000084
故F(0,0)≈F(±1,0)≈F(0,±1)。同理,
Figure BDA0002375799560000085
Figure BDA0002375799560000086
于是
Figure BDA0002375799560000087
在数据映射时,采用GIMP算法的cut方法进行数据缩减和映射,尽可能在映射图像中凸显更多的目标细节特征。该实现方法在降低算法复杂度的同时,实现效果与三尺度MSR图像增强效果接近。
本发明是基于MSR图像增强算法理论进行优化改进,并采用FPGA硬件实现此理论的算法,如图1所示,本发明基于MSR的RGB图像增强方法包括以下几个步骤:
步骤一、建立查找表
该步骤为建立小尺度高斯卷积模板查找表和对数运算查找表。由于高斯模板数据只由尺度参数σ唯一确定,当选定尺度参数后,高斯模板数据可提前生成并写入ROM供后续运算调用,而不需要实时生成。而对数运算查找表的维数仅与图像数据的位深有关,与其他因素无关,故对数运算查找表可提前生成并写入ROM供后续运算调用。
1.1)建立小尺度高斯卷积模板查找表;
如图2所示为一维高斯函数曲线,当横坐标取值为3σ时,高斯函数取值接近为0,故常取高斯函数有效取值范围为±3σ。对于离散二维高斯函数,其表达式为:
Figure BDA0002375799560000091
高斯函数有效取值范围为6σ+1,当取σ=1时,高斯卷积模板为7×7大小,高斯卷积模板中的数据参见图3。由于高斯模板的对称性,高斯模板中有效数据为10个(由于距离中心较远的点取值接近为0,故可以舍弃),取有效数据最小值为1.97×10-5。为保证计算精度,高斯卷积模板中的数据均保留6位小数。由于FPGA内部只能进行二进制的数据运算和存储,所以在FPGA实现时,将模板中的数据×220取整(高斯模板数据以18bit数据)后存放于FPGA内部ROM中。由于高斯卷积模板中的数据最大为0.159241(中心位置),其乘以220取整后数据为166976,故可以采用18bit二进制数据进行查找表的例化。FPGA内部ROM保存的高斯卷积模板参见表2,该ROM地址为0000b~1001b,每一地址保存一个18bit的数据;
1.2)建立对数运算查找表;
在计算反射图像时,需要进行对数运算,在FPGA实现时,对数运算采用查找表的方式实现。以10bit位深图像为例,其R、G、B三个分量的取值范围均为0~1023,为保证对数运算真值的合法性,取log(IR(x,y)+1)进行计算。由于log1024=3.01030,为保证计算的精度,保留5为小数,查找表采用19bit二进制数据(对数数值×217取整)存储于FPGA的内部ROM中,该ROM地址为0000000000b~1111111111b,每一地址存储一个19bit二进制数据。参见表3(只列出部分地址和数据)。计算时根据对数的真值(ROM地址)调用ROM对应地址的数值;
步骤二、输入待处理数据
待处理数据包括图像帧有效、行有效和RGB图像数据;所述RGB图像数据包括IR(x,y)、IG(x,y)、IB(x,y),(x,y)表示像素点在图像中的坐标位置;
以10bit位深Bayer图像数据为例,图像预处理(色彩复原、自动白平衡等处理)后得到的RGB彩色图像数据I位宽为30bit,其中R颜色通道数据IR=I[29:20],IG=I[19:10],IB=I[9:0];
步骤三、图像增强
MSR图像增强算法是采用不同尺度函数加权,从而获得细节丰富、颜色保真度较好的增强图像。该算法的实质是从原始图像I(x,y)中分离出反射图像R(x,y),这个反射图像R(x,y)就是所要得到的增强图像。FPGA硬件实现时,R、G、B三个颜色通道数据并行处理。由式(3)~式(7),以R颜色通道为例,图像增强包括以下几个步骤:
3.1)建立7×7图像数据矩阵;
FPGA依次接收步骤2)产生的有效RGB图像数据(帧有效及行有效同时置高时对应的RGB图像数据为有效RGB图像数据),并按行把图像数据缓存在FPGA内部RAM中,当缓存7行数据后,构建7×7的数据矩阵,开始处理7×7的中间像素,在处理的过程中并依次缓存后续图像数据,整幅图像的处理时序为从左至右、从上至下直至整幅图像处理完成。以R颜色通道为例,7×7图像数据矩阵如图6所示,IR(x0,y0)为当前要处理像素点的R颜色通道的值。
3.21)计算大小两个尺度的入射光分量
Figure BDA0002375799560000101
Figure BDA0002375799560000102
将步骤3.1)生成的7×7数据阵列与步骤1.1)生成的小尺度高斯卷积模板进行卷积(即对应位置相乘后再相加)得到
Figure BDA0002375799560000103
3.22)在计算
Figure BDA0002375799560000104
同时,并行计算大尺度的入射光分量
Figure BDA0002375799560000105
硬件实现时R、G、B三个分量同时进行计算,以R通道为例,
Figure BDA0002375799560000106
具体计算时时,首先按顺序计算每一行有效RGB图像数据的R均值,再将每一行均值累加后除以图像总行数,得到整幅图像的入射光分量uR。由于一帧图像完成后才能得到整幅图像的平均值uR,故将当前帧计算的uR保存至FPGA内部寄存器,下一帧图像计算时使用;
3.23)将G、B二个颜色通道数据参照步骤3.1)至步骤3.22)同步进行处理,得到
Figure BDA0002375799560000111
Figure BDA0002375799560000112
Figure BDA0002375799560000113
3.3)计算增强图像;
硬件实现时R、G、B三个分量同时进行计算,以R通道为例,
3.31)各个尺度的权重取等值1/2,得到7×7图像矩阵中心点像素的反射图像值为:
Figure BDA0002375799560000114
为防止对数运算时真值出现非法数值0,式(6)可写为:
Figure BDA0002375799560000115
其中,
Figure BDA0002375799560000116
为当前图像计算的小尺度的入射光分量值,
Figure BDA0002375799560000117
Figure BDA0002375799560000118
为上一帧图像计算的大尺度入射光分量值。在FPGA实现时,对数运算采用查找表的方式实现,根据对数的真值(ROM地址)调用步骤1.2)生成的对数数值;
3.32)参照步骤3.31),同步处理得到RG(x,y)和RB(x,y);
步骤四、图像数据映射
硬件实现时R、G、B三个分量同时进行计算,以R通道为例,步骤4)包括以下几个步骤:
4.1)计算R颜色通道反射图像的均值u′R
步骤4.1)按顺序计算反射图像RR(x,y)每一行的均值,再将每一行均值累加后除以图像总行数,得到整幅图像R颜色通道的反射光分量u′R,由于一帧图像完成后才能得到整幅图像的平均值u′R,故当前帧计算的u′R保存至FPGA内部寄存器,下一帧图像计算时使用;
4.2)计算R通道反射图像的标准差S;
Figure BDA0002375799560000121
其中,m,n分别为图像水平方向和垂直方向像素个数,RR(x,y)为计算的当前图像R颜色通道反射图像值,u′R为计算的上一帧图像的R颜色通道反射图像的均值,由于当前帧图像反射图像的标准差计算需要一帧图像完成后才能得到,故当前帧计算的标准差S保存至下一帧图像计算时使用,硬件实现时,开方运算直接调用FPGA内部ip核进行运算;
4.3)确定R颜色通道反射图像cut方法的最大值maxc和最小值minc
根据GIMP算法的cut方法,maxc=u′R+D×S,minc=u′R-D×S。实现时,D为动态范围调节系数,用以调整增强后图像的对比度和动态范围,D越小,增强后图像对比度越高,但动态范围较小;反之,D越大,增强后图像对比度越低,但动态范围较大。通常,为保证图像对比度和动态范围,取D=2;u′R为计算的上一帧图像的R颜色通道反射图像的均值,S为计算的上一帧图像的R颜色通道反射图像的标准差;
4.4)确定R颜色通道增强图像数据的限制范围;
根据GIMP算法的cut方法,对增强后的图像数据范围进行缩减,缩减后的增强图像R’R(x,y)为:
Figure BDA0002375799560000122
4.5)R颜色通道增强图像数据的映射;
将数据映射到0~2N-1输出,
Figure BDA0002375799560000123
N为输出图像数据位深;
以10bit图像为例,将数据映射到8bit(0~255)输出,
Figure BDA0002375799560000124
Figure BDA0002375799560000125
4.6)参照步骤4.1)至步骤4.5),同步处理得到G颜色通道增强图像数据的映射和B颜色通道增强图像数据的映射;
Figure BDA0002375799560000131
Figure BDA0002375799560000132
步骤五、图像数据输出
将上述增强映射后的R、G、B三个颜色通道数据送入RGB输出模块,在帧行有效信号的同步下,RGB输出模块逐行逐个像素同步输出已增强的
Figure BDA0002375799560000133
数据。
本发明的效果可以通过以下对比做进一步的说明和验证。
图5a至图5c为雾天拍摄的远距离原图以及采用三尺度Retinex算法和本发明的算法的增强效果对比。其中图5a)为关闭本发明增强算法后拍摄的远距离原始图像,图5b)为采用三尺度Retinex算法对原始图像进行计算机软件处理后的增强效果,图5c)为采用本发明获得的增强效果。对比图5b)和图5c)可以发现,本发明优化加速的增强算法与三尺度Retinex增强算法处理效果接近。
图6是对雾天成像的增强前后的效果对比,可以看出,本发明算法在对图像细节进行增强的同时,可以对颜色信息进行较好的复原。
图7是采用本发明算法对低照度区域的成像的增强前后的效果对比,可以看出本发明算法可以增强低照度图像的图像细节。
表1列出了该优化加速增强算法的资源消耗情况,可见本发明的实现方法资源消耗较少,适合工程项目应用。
表1
Figure BDA0002375799560000134
Figure BDA0002375799560000141
表2 7×7高斯模板有效数据在FPGA内部ROM的实现情况;
Figure BDA0002375799560000142
表3 10bit图像数据对数运算在FPGA内部ROM的实现情况
Figure BDA0002375799560000143

Claims (5)

1.一种基于MSR的实时RGB图像增强方法,其特征在于,包括以下步骤:
步骤一、建立查找表
1.1)根据小尺度参数σ=1确定高斯模板数据,建立小尺度高斯卷积模板查找表,并将建立的小尺度高斯卷积模板存储;
1.2)建立对数运算查找表,并将对数数值存储;
步骤二、输入待处理数据
待处理数据包括图像帧有效、行有效和RGB图像数据;所述RGB图像数据包括IR(x,y)、IG(x,y)、IB(x,y),(x,y)表示像素点在图像中的坐标位置;
步骤三、图像增强
3.1)建立7×7图像数据矩阵;
依次接收步骤二)产生的有效RGB图像数据,并按行把有效RGB图像数据缓存在FPGA内部,所述有效RGB图像数据为帧有效及行有效同时置高时对应的RGB图像数据,当缓存7行数据后,构建R颜色通道的7×7数据矩阵,开始处理7×7的中间像素,在处理的过程中并依次缓存后续图像数据,整幅图像的处理时序为从左至右、从上至下直至整幅图像处理完成;
3.2)计算R颜色通道大小两个尺度的入射光分量
Figure FDA0002375799550000011
Figure FDA0002375799550000012
3.21)将步骤3.1)生成的7×7数据阵列与步骤1.1)生成的小尺度高斯卷积模板进行卷积得到
Figure FDA0002375799550000013
3.22)按顺序计算每一行有效RGB图像数据的R均值,再将每一行均值累加后除以图像总行数,得到整幅图像的入射光分量uR,同时将当前帧计算的uR保存至FPGA内部寄存器,则
Figure FDA0002375799550000014
3.23)将G、B二个颜色通道数据参照步骤3.1)至步骤3.22)同步进行处理,得到
Figure FDA0002375799550000015
Figure FDA0002375799550000016
Figure FDA0002375799550000017
3.3)计算增强图像;
3.31)两个尺度的权重取1/2,得到7×7图像矩阵中心点像素的反射图像值RR(x,y);
Figure FDA0002375799550000021
为防止对数运算时真值出现非法数值0,将式(6)改写为:
Figure FDA0002375799550000022
其中,对数运算采用查找表的方式实现,根据对数的真值调用步骤1.2)生成的对数数值;
3.32)参照步骤3.31),同步处理得到RG(x,y)和RB(x,y);
步骤四、图像数据映射
4.1)计算R颜色通道反射图像的均值u′R
步骤4.1)按顺序计算反射图像RR(x,y)每一行的均值,再将每一行均值累加后除以图像总行数,得到整幅图像R颜色通道的反射光分量u′R,同时将当前帧计算的u′R保存至FPGA内部寄存器;
4.2)计算R通道反射图像的标准差S;
Figure FDA0002375799550000023
其中,m,n分别为图像水平方向和垂直方向像素个数;
4.3)确定R颜色通道反射图像的最大值maxc和最小值minc
maxc=u′R+D×S
minc=u′R-D×S
其中,D为动态范围调节系数;
4.4)确定R颜色通道增强图像数据的限制范围;
对增强后的图像数据范围进行缩减,缩减后的增强图像R’R(x,y)为:
Figure FDA0002375799550000031
4.5)R颜色通道增强图像数据的映射;
将数据映射到0~2N-1输出,
Figure FDA0002375799550000032
N为输出图像数据位深;
4.6)参照步骤4.1)至步骤4.5),同步处理得到G颜色通道增强图像数据的映射和B颜色通道增强图像数据的映射;
Figure FDA0002375799550000033
Figure FDA0002375799550000034
步骤五、图像数据输出
将步骤四增强映射后的R、G、B三个颜色通道数据送入RGB输出模块,在帧、行有效信号的同步下,RGB输出模块逐个像素、逐行同步输出已增强的
Figure FDA0002375799550000035
数据。
2.根据权利要求1所述的基于MSR的实时RGB图像增强方法,其特征在于,步骤1.1)中,将建立的小尺度高斯卷积模板存储具体为:将小尺度高斯卷积模板的数据×220取整后存放于FPGA内部ROM中。
3.根据权利要求2所述的基于MSR的实时RGB图像增强方法,其特征在于,步骤1.2)中,将对数数值存储具体为:将对数数值×217取整存储于FPGA的内部ROM中。
4.根据权利要求1或2或3所述的基于MSR的实时RGB图像增强方法,其特征在于:步骤4.3)中,取D=2。
5.一种计算机可读存储介质,所述计算机可读存储介质为FPGA芯片,所述FPGA芯片上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至4任一所述方法的步骤。
CN202010065348.4A 2020-01-20 2020-01-20 一种基于msr的实时rgb图像增强方法 Active CN111242872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010065348.4A CN111242872B (zh) 2020-01-20 2020-01-20 一种基于msr的实时rgb图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065348.4A CN111242872B (zh) 2020-01-20 2020-01-20 一种基于msr的实时rgb图像增强方法

Publications (2)

Publication Number Publication Date
CN111242872A CN111242872A (zh) 2020-06-05
CN111242872B true CN111242872B (zh) 2023-04-11

Family

ID=70871388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065348.4A Active CN111242872B (zh) 2020-01-20 2020-01-20 一种基于msr的实时rgb图像增强方法

Country Status (1)

Country Link
CN (1) CN111242872B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222859B (zh) * 2021-05-27 2023-04-21 西安电子科技大学 基于对数图像处理模型的低照度图像增强系统及方法
CN113570515B (zh) * 2021-07-09 2023-08-29 天津大学 基于并行处理框架的图像增强算法加速方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1400921A2 (en) * 2002-09-19 2004-03-24 Eastman Kodak Company Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
CN101303766A (zh) * 2008-07-09 2008-11-12 北京航空航天大学 一种基于Retinex理论的快速彩色图像增强方法
WO2018126485A1 (zh) * 2017-01-09 2018-07-12 中国科学院自动化研究所 并行图像色彩增强方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1400921A2 (en) * 2002-09-19 2004-03-24 Eastman Kodak Company Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
CN101303766A (zh) * 2008-07-09 2008-11-12 北京航空航天大学 一种基于Retinex理论的快速彩色图像增强方法
WO2018126485A1 (zh) * 2017-01-09 2018-07-12 中国科学院自动化研究所 并行图像色彩增强方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Retinex理论的红外图像的边缘增强算法;雷美荣等;《长春理工大学学报(自然科学版)》;20080615(第02期);全文 *
基于多尺度Retinex理论的遥感图像增强算法;李建存等;《西安工业大学学报》;20140325(第01期);全文 *

Also Published As

Publication number Publication date
CN111242872A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
Wang et al. Adaptive image enhancement method for correcting low-illumination images
CN110232661B (zh) 基于Retinex和卷积神经网络的低光照彩色图像增强方法
CN105469373B (zh) 一种Retinex图像增强方法及系统
WO2018133609A1 (zh) 从低动态图像生成高动态图像的方法
CN112734650B (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN111242872B (zh) 一种基于msr的实时rgb图像增强方法
US7382941B2 (en) Apparatus and method of compressing dynamic range of image
JP2013093849A (ja) 赤外線サーモグラムのデジタル信号処理システム及び方法
CN109447917B (zh) 基于内容和特征及多尺度模型的遥感图像雾霾消除方法
CN110113510B (zh) 一种实时视频图像增强方法和高速相机系统
CN110866882B (zh) 基于深度置信度的分层联合双边滤波深度图修复方法
CN111968065B (zh) 一种亮度不均匀图像的自适应增强方法
CN103295206A (zh) 一种基于Retinex的微光图像增强方法和装置
CN115984535A (zh) 一种用于钻井作业现场的低照度图像判断以及图像增强方法
CN115965544A (zh) 自适应亮度调节的图像增强方法及系统
CN104794689A (zh) 一种增强声呐图像对比度的预处理方法
Yang et al. Improved retinex image enhancement algorithm based on bilateral filtering
Wang et al. A background correction method for particle image under non-uniform illumination conditions
CN110807748A (zh) 一种基于高动态范围的新色调映射图像增强方法
CN113222859B (zh) 基于对数图像处理模型的低照度图像增强系统及方法
CN114429426B (zh) 一种基于Retinex模型的低照度图像质量改善方法
CN115937045A (zh) 一种迭代式色阶重建方法
CN114565537B (zh) 一种基于局部信息熵的红外成像装置
CN109215001A (zh) 基于fpga的高温差自适应平台直方图均衡实现方法
Xiang et al. Research on Histogram Equalization Algorithm Based on Optimized Adaptive Quadruple Segmentation and Cropping of Underwater Image (AQSCHE)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant