CN115914856A - 一种基于soc的图像自适应白平衡处理方法 - Google Patents

一种基于soc的图像自适应白平衡处理方法 Download PDF

Info

Publication number
CN115914856A
CN115914856A CN202211565036.5A CN202211565036A CN115914856A CN 115914856 A CN115914856 A CN 115914856A CN 202211565036 A CN202211565036 A CN 202211565036A CN 115914856 A CN115914856 A CN 115914856A
Authority
CN
China
Prior art keywords
image
pixel
white balance
channel
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211565036.5A
Other languages
English (en)
Other versions
CN115914856B (zh
Inventor
艾维
徐智旺
李奇
杨仁鹏
刘天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Huazhong Tianyi Intelligent Technology Co ltd
717Th Research Institute of CSSC
Original Assignee
Wuhan Huazhong Tianyi Star Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Huazhong Tianyi Star Technology Co ltd filed Critical Wuhan Huazhong Tianyi Star Technology Co ltd
Priority to CN202211565036.5A priority Critical patent/CN115914856B/zh
Publication of CN115914856A publication Critical patent/CN115914856A/zh
Application granted granted Critical
Publication of CN115914856B publication Critical patent/CN115914856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明涉及一种基于SOC的图像自适应白平衡处理方法,包括以下步骤:步骤S1、通过图像数据采集单元进行图像数据采集,得到Bayer格式的图像数据;步骤S2、通过插值技术将图像数据由Bayer格式转换为RGB格式;步骤S3、将RGB格式的图像数据输入自适应白平衡单元内,将图像数据进行自适应白平衡;步骤S4、通过数据传输单元将自适应白平衡后的图像对外发送或传输给PC端。本发明的方法能够解决集数据采集、处理和传输,实现图像数据由CMOS探测器到上位机显示的全链路,并通过SOC实现自适应平衡算法。

Description

一种基于SOC的图像自适应白平衡处理方法
技术领域
本发明涉及图像处理技术领域,具体的讲是一种基于SOC的图像自适应白平衡处理方法。
背景技术
随着图像处理技术的迅速发展,视频行业已经由传统的模拟化时代逐步向数字化转变。数字化图像的优势是图像可以达到更高的分辨率和清晰度,这就意味着很大程度上提升了图像质量,使得图像处理技术的发展有了质的飞跃。同时,伴随着网络的飞速发展,网络产品逐渐覆盖我们生活的各个角落,网络相机应运而生,并广泛应用于多个领域,如教育、商业、医疗、公共事业等。
因此,面对不同的拍摄需求,网络相机己经不再需要依靠手动来调节光圈和快门,而是通过相机内部的微处理器自动调节,从而使得图像质量满足人眼的观察要求。因此,设备中的图像处理器对其最终输出图像的效果有着非常大的影响。
在当前大力发展的无人驾驶、人工智能等领域中,这种在不同光源下的色偏对无人驾驶车的视觉系统影响十分巨大,制约了这些领域的进一步发展。这对记录仪、监控器、摄像机等这类图像采集设备偏色优化校正能力提出了更高的要求,我们迫切的希望色偏问题得到更好的解决,图像采集系统能够在各种不同光源情况中都能精确的去除光源色温对图像色彩的影响,达到良好的自动白平衡效果,只有这样在不同光照条件下无人驾驶车系统及其他识别系统中才能不受环境光源的影响,实现更好更精确对相关物体或特征进行检测识别。同时,做好色偏校正、实现较好的自动白平衡效果,在日常照片拍摄时对图像质量也会有显著提升。在通过手机或者相机等设备进行照片拍摄时,拍摄出的图像若不经处理会存在偏色现象,对图片的真实性及图片质量均具有很大影响,通过进行自动白平衡,可以使图像与实际景物相一致。可见对自动白平衡进行进一步研究是具有十分重要的现实意义的,该研究的目标是改善或消除成像带来的色偏情况,使物体在不同色温光源下均能维持真实色彩。这一技术在许多领域十分重要,如对象的识别与追踪,景物理解等领域。
发明内容
本发明要解决的技术问题是针对以上不足,提供一种基于SOC的图像自适应白平衡处理方法。
为解决以上技术问题,本发明采用以下技术方案:
一种基于SOC的图像自适应白平衡处理方法,包括以下步骤:
步骤S1、通过图像数据采集单元进行图像数据采集,得到Bayer格式的图像数据;
步骤S2、通过插值技术将图像数据由Bayer格式转换为RGB格式;
步骤S3、将RGB格式的图像数据输入自适应白平衡单元内,将图像数据进行自适应白平衡;
步骤S4、通过数据传输单元将自适应白平衡后的图像对外发送或传输给PC端。
进一步的,所述步骤S1中通过数据采集单元进行图像数据采集的方法包括以下步骤:
步骤S11、给数据采集单元通电,对数据采集单元的参数进行配置;
步骤S12、当数据采集单元被触发后,CMOS传感器开始曝光,当曝光结束后,将图像数据传输给FPGA;
步骤S13、FPGA根据CMOS同步码进行解码,将像素数据恢复出来,形成帧行同步信号,得到Bayer格式的图像数据。
进一步的,所述步骤S11中对数据采集单元的参数进行配置包括:
待FPGA工作后,给CMOS传感器先后提供1.2V、1.8V和3.3V的供电,将CMOS传感器的XTRIG、XHS、XCE引脚拉高,其中,XTRIG和XHS是CMOS传感器出图所需要的驱动时序,待相机初始化完成后出图时使用,XCE是相机配置SPI的使能信号,待相机需要配置SPI时拉低;
CMOS传感器在正确上电之后,FPGA对CMOS传感器内部寄存器进行配置;
CMOS传感器在Slave模式下采用触发出图设置,FPGA需要向CMOS传感器提供周期稳定的XTRIG信号和XHS信号,其中XTRIG信号控制着曝光时间,XHS信号控制着图像输出一行所需要的时间。
进一步的,FPGA与CMOS传感器之间的配置采用SPI时序进行。
进一步的,所述步骤S12中当数据采集单元被触发后XTRIG信号拉低,CMOS传感器在经过TGST时间后将开始进行曝光,曝光时间等于XTRIG拉低的时间,当XTRIG再次拉高时,CMOS传感器经过TGED时间后,曝光结束,经过TGDLY时间后图像由CMOS传感器经过LVDS送往FPGA。
进一步的,所述步骤S2的插值技术包括在三种不同滤镜下的插值方式:
当中心图像为R时,该像素R通道值为其本身像素,B通道的值为3×3模板四个角处像素的均值,G通道的值为其四周相邻像素均值;
当中心图像为B时,该像素B通道值为其本身像素,G通道值为其四周相邻像素均值,R通道的值为3×3模板四个角处像素的均值;
当中心图像为G时,该像素G通道为其本身像素,再根据G左右两侧不同的像素分别采用不同的模板进行插值,当G两侧为红色滤镜时,该像素B通道值为上下两个像素均值,R通道值为左右两个像素均值;当G两侧为蓝色滤镜时,该像素B通道值为左右两个像素均值,R通道为上下两个像素均值。
进一步的,所述步骤S3中将图像数据进行自适应白平衡的方法包括:
步骤S31、通过灰度世界法对图像数据进行处理;
步骤S32、通过暗通道先验理论筛选图像数据中的像素点;
步骤333、将步骤32中暗通道先验理论筛选图像数据中的像素点作为参考点,对参考点使用灰度世界法进行白平衡增益因子的计算,最后根据增益因子校正非标准光源下的偏色图像,得到自适应白平衡后的图像。
进一步的,所述步骤S31包括以下步骤:
步骤S311、对一幅w×h分辨率的图像,对整幅图的R、G、B分别求均值,公式如下:
Figure BDA0003986264400000041
Figure BDA0003986264400000042
Figure BDA0003986264400000043
步骤S312、得到各通道均值之后,分别对各自通道增益进行计算,公式如下:
Figure BDA0003986264400000044
Figure BDA0003986264400000045
Figure BDA0003986264400000046
步骤S313、对图像数据进行处理,得到还原之后的结果,输出图像,公式如下:
Figure BDA0003986264400000047
Figure BDA0003986264400000048
Figure BDA0003986264400000049
进一步的,所述步骤S32中暗通道先验理论为:在大多数非天空区域,至少一个颜色通道在一个小区域里具有很低的像素,用公式表达如下:
Figure BDA00039862644000000410
其中,Ω(x)是以x为中心的局部窗口,c为某个RGB颜色通道,Jc(y)为该通道的像素值,Jdack(x)为图像的暗通道,min为局部最小值滤波;
如果图像J为户外无雾图像,那么除去天空外的区域,图像的暗通道图像的强度值趋近于零,即:
Jdack(x)→0
其中,Jdack(x)为图像的暗通道。
进一步的,所述步骤S33包括以下步骤:
步骤S331、物体通过CMOS传感器得到的颜色不仅与物体本身的固有颜色有关,而且与光源照射的光线投射率有关,公式如下:
c(i,j)=ω(i,j)×s(i,j)+cmean(1-ω(i,j))
其中,c(i,j)表示CMOS传感器得到的像素值,ω(i,j)表示当前位置处光线的投射率,s(i,j)表示物体原本的像素值,cmean表示为全局光线的强度;
由此可见,光线的投射率与图像的颜色紧紧关联,定义其投射率为:
Figure BDA0003986264400000051
步骤S332、将灰度世界法与暗通道理论之间的优势相互结合,透射率作为调节因子,用来筛选出灰度世界的参考点,公式如下:
Figure BDA0003986264400000052
其中,cnew(x,y)为筛选之后的点;
步骤S333、经过暗通道理论对图像中像素点的筛选,使得参考像素经过校正后满足局部灰度世界法以及所有像素校正后满足全局灰度世界法的特点进行偏色像素校正,得到自适应白平衡后的图像。
本发明采用以上技术方案后,与现有技术相比,具有以下优点:
(1)本发明的方法基于SOC平台实现图像自动白平衡,设计各模块的具体功能和其所处的时钟域,以及模块功能划分后每一子模块的具体功能及实现策略,通过图像采集单元来实现COMS传感器的数据交互以及格式转换,通过自适应白平衡单元对已获取的RGB图像进行白平衡处理,获得最佳的图像质量,再通过数据传输单元来实现数据的传输;
(2)本发明的方法通过研究分析目前国内外自适应白平衡常见算法,并提出改进后的自适应白平衡算法,本发明的自适应白平衡单元通过仿真软件对算法进行相应得优化,以适合硬件实现及节约硬件实现成本,结合灰度世界法、暗通道先验知识以及区域标准差,实现不同场景下自适应白平衡,保证图像的色彩还原度,并由PL端实现,在接收到数据采集单元的RGB三通道彩色图像后,通过自适应白平衡单元后,还原图像最优的色彩;
(3)本发明的方法能够解决集数据采集、处理和传输,实现图像数据由CMOS探测器到上位机显示的全链路,并通过SOC实现自适应平衡算法。
下面结合附图和实施例对本发明进行详细说明。
附图说明
图1为本发明其中一种实施方式的系统示意图;
图2为本发明具体实施方式中Bayer格式图像示意图;
图3为本发明具体实施方式中图像数据采集端的时序图;
图4为本发明具体实施方式中自适应白平衡算法结果图;
图5为本发明具体实施方式中综合系统实物图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是,本申请可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
可以理解,空间关系术语例如“在...下”、“在...下面”、“下面的”、“在...之下”、“在...之上”、“上面的”等,在这里可以用于描述图中所示的一个元件或特征与其它元件或特征的关系。应当明白,除了图中所示的取向以外,空间关系术语还包括使用和操作中的器件的不同取向。例如,如果附图中的器件翻转,描述为“在其它元件下面”或“在其之下”或“在其下”元件或特征将取向为在其它元件或特征“上”。因此,示例性术语“在...下面”和“在...下”可包括上和下两个取向。此外,器件也可以包括另外地取向(譬如,旋转90度或其它取向),并且在此使用的空间描述语相应地被解释。
在此使用时,单数形式的“一”、“一个”和“/该”也可以包括复数形式,除非上下文清楚指出另外的方式。还应当理解的是,术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在,但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
请参考图1到图5,本发明实施例至少公开一种基于SOC的图像自适应白平衡处理系统。所述系统包括图像采集单元、自动白平衡单元和数据传输单元组成。
其中,图像采集单元包括与CMOS传感器数据交互,图像格式转换等;自适应白平衡单元则是对已获取的RGB图像进行白平衡处理,获取最佳的图像质量;数据传输单元则是对图像数据通过网口进行稳定编码传输,由上位机软件进行解码显示。
基于本发明实施例系统组成,本实施例公开应用所述的基于SOC的图像自适应白平衡处理方法。所述方法被实施时执行以下步骤。
步骤S1、通过图像数据采集单元进行图像数据采集,得到Bayer格式的图像数据。
其中,步骤S1中图像数据采集包括与CMOS探测器交互,寄存器配置,图像数据解码以及图像数据的生成。
具体的,图3示出在相机上电后,CMOS先后提供有1.2V、1.8V和3.3V的供电,待FPGA工作后,将CMOS的XTRIG、XHS、XCE引脚拉高,其中XTRIG和XHS是CMOS出图所需要的驱动时序,待相机初始化完成后出图时使用,XCE是相机配置SPI的使能信号,待相机需要配置SPI时拉低。CMOS传感器在正确上电之后,需对内部寄存器的参数进行配置。FPGA与CMOS之间的配置采用的SPI时序进行。配置数据按照传感器配置参数表一次进行。SPI配置寄存器完成对CMOS传感器内部寄存器的配置。CMOS传感器在Slave模式下采用触发出图设置,FPGA需要向CMOS提供周期稳定的XTRIG信号和XHS信号,其中XTRIG信号控制着曝光时间,XHS信号控制着图像输出一行所需要的时间。
当XTRIG信号拉低时,CMOS在经过TGST时间后将开始进行曝光,曝光时间等于XTRIG拉低的时间,当XTRIG再次拉高时,CMOS经过TGED时间后,曝光结束,经过TGDLY时间后图像由CMOS经过LVDS送往FPGA,FPGA根据CMOS同步码进行解码,将像素数据恢复出来,形成帧行同步信号。
步骤S2、图像采集单元通过插值技术将图像数据由Bayer格式转换为RGB格式。
其中,在步骤S2中图像数据转换是由探测器本身输出的图像数据格式为Bayer格式。图2示出根据算法的输入数据类型,需对图像数据进行转换,由Bayer格式转换为RGB格式,传输至下一阶段处理
具体的,Bayer图像由1/2的绿色、1/4的红色以及1/4的蓝色三种基础色量组成,如图所示,目前插值方法包括邻域、线性以及模板插值等。由于人眼对绿色的光线更为敏感,对红光和蓝光的反应相对较弱,经过对邻域线性插值使用软件进行计算选用优化后的以下模板插值的方式在三种不同滤镜下的插值方式。
(1)当中心图像为R:该像素R通道值为其本身像素,B通道的值为3×3模板四个角处像素的均值,G通道的值为其四周相邻像素均值。
(2)当中心图像为B:该像素B通道值为其本身像素,G通道值为其四周相邻像素均值,R通道的值为3×3模板四个角处像素的均值。
(3)当中心图像为G:该像素G通道为其本身像素,再根据G左右两侧不同的像素分别采用不同的模板进行插值,当G两侧为红色滤镜时(GR排列),该像素B通道值为上下两个像素均值,R通道值为左右两个像素均值;当G两侧为蓝色滤镜时(BG排列),该像素B通道值为左右两个像素均值,R通道为上下两个像素均值。
步骤S3、自适应白平衡处理单元将RGB格式的图像数据输入自适应白平衡单元内,将图像数据进行自适应白平衡。
其中,在步骤S3中自适应白平衡处理单元,经过数据转换生成RGB图像数据,由于像传感器绿色通道本身数量多,整体图像偏绿,物体表面的颜色和其本身固有颜色形成色差,为消除非标准光源的影响使图像传感器同样拥有人眼具备的颜色恒常性,自动白平衡算法处理成为彩色数字图像系统组成中的关键部分,执行以下步骤。
S3.1、灰度世界法,其假设世界中所有物体表面本身具有的固有颜色在任何光线的反射下其平均值为近似于“灰色”的一个定值,即B、G、R各通道色彩均值相等。对一幅w×h分辨率的图像的具体操作如下步骤
(1)首先对整幅图的R、G、B分别求均值:
Figure BDA0003986264400000091
Figure BDA0003986264400000092
Figure BDA0003986264400000093
(2)得到各通道均值之后,分别对各自通道增益进行计算:
Figure BDA0003986264400000101
Figure BDA0003986264400000102
Figure BDA0003986264400000103
(3)最后对图像数据进行处理,得到还原之后的结果,输出图像:
Figure BDA0003986264400000104
Figure BDA0003986264400000105
Figure BDA0003986264400000106
当图像传感器拍摄的图像比较复杂的时候,其可以认为拍摄的图像中的景物为世界所有事物的缩放映射,但是当图像的复杂度不够时,其不满足灰度世界法提出的假设导致白平衡失效,需结合其他算法来辅助。
S3.2、暗通道先验,通过对大量室外条件下,自然无雾的图像进行观察与统计,提出来暗通道先验理论:在大多数非天空区域,至少一个颜色通道在一个小区域里具有很低的像素,用公式表达如下:
Figure BDA0003986264400000107
其中,Ω(x)是以x为中心的局部窗口,c为某个RGB颜色通道,Jc(y)为该通道的像素值,Jdack(x)为图像的暗通道,min为局部最小值滤波。如果图像J为户外无雾图像,那么除去天空外的区域,图像的暗通道图像的强度值趋近于零,即:
Jdack(x)→0
这样,Jdack(x)就称为图像的暗通道,上述的通过观察得到的结论就称为暗通道先验。
S3.3、融合暗通道因子的灰度世界法,针对灰度世界法在颜色简单情况下引起的白平衡失效问题,提出的暗通道理论与灰度世界法相结合的白平衡算法,其通过减少像素点数量的计算增强局部颜色的丰富度。首先通过暗通道先验理论在图像中筛选出相对数量的像素点作为参考点,然后对参考点使用灰度世界法进行白平衡增益因子的计算,最后根据增益因子校正非标准光源下的偏色图像。
物体通过CMOS传感器得到的颜色不仅与物体本身的固有颜色有关,而且与光源照射的光线投射率有关,即:
c(i,j)=ω(i,j)×s(i,j)+cmean(1-ω(i,j))
其中,c(i,j)表示CMOS传感器得到的像素值,ω(i,j)表示当前位置处光线的投射率,s(i,j)表示物体原本的像素值,cmean表示为全局光线的强度。
由此可见,光线的投射率与图像的颜色紧紧关联,定义其投射率为:
Figure BDA0003986264400000111
将灰度世界法与暗通道理论之间的优势相互结合,透射率作为调节因子,用来筛选出灰度世界的参考点,具体规则如下:
Figure BDA0003986264400000112
其中cnew(x,y)为筛选之后的点,经过暗通道理论对图像中像素点的筛选,使得参考像素经过校正后满足局部灰度世界法以及所有像素校正后满足全局灰度世界法的特点进行偏色像素校正,如图4所示。暗通道先验通过筛选参考点弥补了灰度世界法颜色简单造成的白平衡失效。
S4、数据传输单元:数据传输及显示系统,通过自适应白平衡之后的图像数据,通过PL端控制DMA操作,将数据按照一定格式,写入PS端DDR,再通过LWIP协议,经过PS端网口按照网口标准的GiGe协议对外编码发送,PC端则利用Qt软件实时解码GiGe协议码流,通过网口、标准协议等实现图像数据的传输链路。并通过软件实时显示,保证数据传输稳定及实时显示。
综上所述,本发明设计各模块的具体功能和其所处的时钟域,对自动白平衡模块整体进行详细分析,以及模块功能划分后每一子模块的具体功能及实现策略,并进行FPGA板级验证,在典型光源下,分别对标准二十四色卡场景、颜色较丰富的实际场景进行了自动白平衡效果测试,并对得到的处理后图像进行分析。在多种测试光源下,自适应白平衡效果均能达到算法预期及饱和度测试要求,符合设计需求,可形成通用单元模块;
系统集成数据采集单元,自适应白平衡单元以及数据传输显示单元,实现图像数据由CMOS探测器到上位机显示的全链路,并通过自适应平衡算法的SOC实现,进一步验证了图像处理系统的稳定可靠,并可用于其他处理的算法验证,具有一定的借鉴性、通用性,可进一步推广使用,有效提高了图像算法验证的实现效率与综合能力。
以上所述为本发明最佳实施方式的举例,其中未详细述及的部分均为本领域普通技术人员的公知常识。本发明的保护范围以权利要求的内容为准,任何基于本发明的技术启示而进行的等效变换,也在本发明的保护范围之内。

Claims (10)

1.一种基于SOC的图像自适应白平衡处理方法,其特征在于,包括以下步骤:
步骤S1、通过图像数据采集单元进行图像数据采集,得到Bayer格式的图像数据;
步骤S2、通过插值技术将图像数据由Bayer格式转换为RGB格式;
步骤S3、将RGB格式的图像数据输入自适应白平衡单元内,将图像数据进行自适应白平衡;
步骤S4、通过数据传输单元将自适应白平衡后的图像对外发送或传输给PC端。
2.根据权利要求1所述的基于SOC的图像自适应白平衡处理方法,其特征在于,所述步骤S1中通过数据采集单元进行图像数据采集的方法包括以下步骤:
步骤S11、给数据采集单元通电,对数据采集单元的参数进行配置;
步骤S12、当数据采集单元被触发后,CMOS传感器开始曝光,当曝光结束后,将图像数据传输给FPGA;
步骤S13、FPGA根据CMOS同步码进行解码,将像素数据恢复出来,形成帧行同步信号,得到Bayer格式的图像数据。
3.根据权利要求2所述的基于SOC的图像自适应白平衡处理方法,其特征在于,所述步骤S11中对数据采集单元的参数进行配置包括:
待FPGA工作后,给CMOS传感器先后提供1.2V、1.8V和3.3V的供电,将CMOS传感器的XTRIG、XHS、XCE引脚拉高,其中,XTRIG和XHS是CMOS传感器出图所需要的驱动时序,待相机初始化完成后出图时使用,XCE是相机配置SPI的使能信号,待相机需要配置SPI时拉低;
CMOS传感器在正确上电之后,FPGA对CMOS传感器内部寄存器进行配置;
CMOS传感器在Slave模式下采用触发出图设置,FPGA需要向CMOS传感器提供周期稳定的XTRIG信号和XHS信号,其中XTRIG信号控制着曝光时间,XHS信号控制着图像输出一行所需要的时间。
4.根据权利要求3所述的基于SOC的图像自适应白平衡处理方法,其特征在于,FPGA与CMOS传感器之间的配置采用SPI时序进行。
5.根据权利要求3所述的基于SOC的图像自适应白平衡处理方法,其特征在于,所述步骤S12中当数据采集单元被触发后XTRIG信号拉低,CMOS传感器在经过TGST时间后将开始进行曝光,曝光时间等于XTRIG拉低的时间,当XTRIG再次拉高时,CMOS传感器经过TGED时间后,曝光结束,经过TGDLY时间后图像由CMOS传感器经过LVDS送往FPGA。
6.根据权利要求1所述的基于SOC的图像自适应白平衡处理方法,其特征在于,所述步骤S2的插值技术包括在三种不同滤镜下的插值方式:
当中心图像为R时,该像素R通道值为其本身像素,B通道的值为3×3模板四个角处像素的均值,G通道的值为其四周相邻像素均值;
当中心图像为B时,该像素B通道值为其本身像素,G通道值为其四周相邻像素均值,R通道的值为3×3模板四个角处像素的均值;
当中心图像为G时,该像素G通道为其本身像素,再根据G左右两侧不同的像素分别采用不同的模板进行插值,当G两侧为红色滤镜时,该像素B通道值为上下两个像素均值,R通道值为左右两个像素均值;当G两侧为蓝色滤镜时,该像素B通道值为左右两个像素均值,R通道为上下两个像素均值。
7.根据权利要求1所述的基于SOC的图像自适应白平衡处理方法,其特征在于,所述步骤S3中将图像数据进行自适应白平衡的方法包括:
步骤S31、通过灰度世界法对图像数据进行处理;
步骤S32、通过暗通道先验理论筛选图像数据中的像素点;
步骤333、将步骤32中暗通道先验理论筛选图像数据中的像素点作为参考点,对参考点使用灰度世界法进行白平衡增益因子的计算,最后根据增益因子校正非标准光源下的偏色图像,得到自适应白平衡后的图像。
8.根据权利要求7所述的基于SOC的图像自适应白平衡处理方法,其特征在于,所述步骤S31包括以下步骤:
步骤S311、对一幅w×h分辨率的图像,对整幅图的R、G、B分别求均值,公式如下:
Figure FDA0003986264390000031
Figure FDA0003986264390000032
Figure FDA0003986264390000033
步骤S312、得到各通道均值之后,分别对各自通道增益进行计算,公式如下:
Figure FDA0003986264390000034
Figure FDA0003986264390000035
Figure FDA0003986264390000036
步骤S313、对图像数据进行处理,得到还原之后的结果,输出图像,公式如下:
Figure FDA0003986264390000041
Figure FDA0003986264390000042
Figure FDA0003986264390000043
9.根据权利要求7所述的基于SOC的图像自适应白平衡处理方法,其特征在于,所述步骤S32中暗通道先验理论为:在大多数非天空区域,至少一个颜色通道在一个小区域里具有很低的像素,用公式表达如下:
Figure FDA0003986264390000044
其中,Ω(x)是以x为中心的局部窗口,c为某个RGB颜色通道,Jc(y)为该通道的像素值,Jdack(x)为图像的暗通道,min为局部最小值滤波;
如果图像J为户外无雾图像,那么除去天空外的区域,图像的暗通道图像的强度值趋近于零,即:
Jdack(x)→0
其中,Jdack(x)为图像的暗通道。
10.根据权利要求7所述的基于SOC的图像自适应白平衡处理方法,其特征在于,所述步骤S33包括以下步骤:
步骤S331、物体通过CMOS传感器得到的颜色不仅与物体本身的固有颜色有关,而且与光源照射的光线投射率有关,公式如下:
c(i,j)=ω(i,j)×s(i,j)+cmean(1-ω(i,j))
其中,c(i,j)表示CMOS传感器得到的像素值,ω(i,j)表示当前位置处光线的投射率,s(i,j)表示物体原本的像素值,cmean表示为全局光线的强度;
由此可见,光线的投射率与图像的颜色紧紧关联,定义其投射率为:
Figure FDA0003986264390000051
步骤S332、将灰度世界法与暗通道理论之间的优势相互结合,透射率作为调节因子,用来筛选出灰度世界的参考点,公式如下:
Figure FDA0003986264390000052
其中,cnew(x,y)为筛选之后的点;
步骤S333、经过暗通道理论对图像中像素点的筛选,使得参考像素经过校正后满足局部灰度世界法以及所有像素校正后满足全局灰度世界法的特点进行偏色像素校正,得到自适应白平衡后的图像。
CN202211565036.5A 2022-12-07 2022-12-07 一种基于soc的图像自适应白平衡处理方法 Active CN115914856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211565036.5A CN115914856B (zh) 2022-12-07 2022-12-07 一种基于soc的图像自适应白平衡处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211565036.5A CN115914856B (zh) 2022-12-07 2022-12-07 一种基于soc的图像自适应白平衡处理方法

Publications (2)

Publication Number Publication Date
CN115914856A true CN115914856A (zh) 2023-04-04
CN115914856B CN115914856B (zh) 2024-04-16

Family

ID=86479452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211565036.5A Active CN115914856B (zh) 2022-12-07 2022-12-07 一种基于soc的图像自适应白平衡处理方法

Country Status (1)

Country Link
CN (1) CN115914856B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974053A (zh) * 2014-05-12 2014-08-06 华中科技大学 一种基于灰点提取的自动白平衡矫正方法
CN113936005A (zh) * 2020-06-29 2022-01-14 深圳辉煌耀强科技有限公司 一种dna指数计算方法、装置、计算机设备及存储介质
CN114785995A (zh) * 2022-04-26 2022-07-22 苏州盖德光电科技有限公司 一种基于fpga的自动白平衡实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974053A (zh) * 2014-05-12 2014-08-06 华中科技大学 一种基于灰点提取的自动白平衡矫正方法
CN113936005A (zh) * 2020-06-29 2022-01-14 深圳辉煌耀强科技有限公司 一种dna指数计算方法、装置、计算机设备及存储介质
CN114785995A (zh) * 2022-04-26 2022-07-22 苏州盖德光电科技有限公司 一种基于fpga的自动白平衡实现方法

Also Published As

Publication number Publication date
CN115914856B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN110378859B (zh) 一种新的高动态范围图像生成方法
CN102404582B (zh) 用于自动白平衡处理的灵活的颜色空间选择
CN105409211B (zh) 用于图像处理的带皮肤色调校正的自动白平衡
CN104902250B (zh) 使用图像传感器接口定时信号的闪光同步
US10521891B2 (en) Image processing apparatus, system, image processing method, and non-transitory recording medium
JP2014078926A (ja) 画像調整装置、画像調整方法およびプログラム
CN108055452A (zh) 图像处理方法、装置及设备
US20050007477A1 (en) Correction of optical distortion by image processing
CN102572265A (zh) 使用具有粗略和精细自动对焦分数的图像统计数据的自动对焦控制
CN103200409B (zh) 多投影仪显示系统的颜色校正方法
CN103546730A (zh) 基于多摄像头的图像感光度增强方法
CN108550106B (zh) 一种全景图像的颜色校正方法、装置和电子设备
EP3891974B1 (en) High dynamic range anti-ghosting and fusion
WO2018076167A1 (zh) 适用于无人机控制端的屏幕亮度调整方法及无人机控制端
CN115115516A (zh) 基于Raw域的真实世界视频超分辨率算法
TWI520604B (zh) 攝像裝置及其影像預覽系統及影像預覽方法
CN113676715B (zh) 图像处理方法及装置
US8994848B2 (en) Method and system for handling mixed illumination in video and photography
JP2018112936A (ja) Hdr画像処理装置および方法
JP2015194567A (ja) 表示装置
US20130010184A1 (en) Digital photographing apparatus, a method of controlling the same, and a computer-readable storage medium for performing the method
CN115914856A (zh) 一种基于soc的图像自适应白平衡处理方法
CN107295261A (zh) 图像去雾处理方法、装置、存储介质和移动终端
CN109218604A (zh) 影像撷取装置、影像亮度调变方法及影像处理装置
CN116309224A (zh) 图像融合方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 430000 No. 16, wudayuan Road, Wuda Science Park, Donghu Development Zone, Wuhan, Hubei Province

Applicant after: Wuhan HUAZHONG TIANYI Intelligent Technology Co.,Ltd.

Address before: 430000 No. 16, wudayuan Road, Wuda Science Park, Donghu Development Zone, Wuhan, Hubei Province

Applicant before: Wuhan Huazhong Tianyi Star Technology Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: 430000 981 Xiongchu street, Hongshan District, Wuhan City, Hubei Province

Applicant after: Huazhong Optoelectronic Technology Research Institute (717 Research Institute of China Shipbuilding Corp.)

Country or region after: China

Applicant after: Wuhan HUAZHONG TIANYI Intelligent Technology Co.,Ltd.

Address before: 430000 No. 16, wudayuan Road, Wuda Science Park, Donghu Development Zone, Wuhan, Hubei Province

Applicant before: Wuhan HUAZHONG TIANYI Intelligent Technology Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant