CN111353960B - 一种基于区域生长与交叉通道信息的图像紫边校正方法 - Google Patents

一种基于区域生长与交叉通道信息的图像紫边校正方法 Download PDF

Info

Publication number
CN111353960B
CN111353960B CN202010136287.6A CN202010136287A CN111353960B CN 111353960 B CN111353960 B CN 111353960B CN 202010136287 A CN202010136287 A CN 202010136287A CN 111353960 B CN111353960 B CN 111353960B
Authority
CN
China
Prior art keywords
pixel
image
cie
value
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010136287.6A
Other languages
English (en)
Other versions
CN111353960A (zh
Inventor
冯华君
陈世锜
徐之海
李奇
陈跃庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO YONGXIN OPTICS CO Ltd
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010136287.6A priority Critical patent/CN111353960B/zh
Publication of CN111353960A publication Critical patent/CN111353960A/zh
Application granted granted Critical
Publication of CN111353960B publication Critical patent/CN111353960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种基于区域生长与交叉通道信息的图像紫边校正方法。输入待校正图像,对输入图像的部分通道做阈值限定获得过曝光饱和区域,在二值图像的过曝光饱和区域边缘利用形态学膨胀的方式生长紫边影响区域,利用收敛最快的通道的像素值信息进行紫边的校正。本发明对数码相机成像过程中在过曝光饱和区域与正常曝光区域出现的紫色色差问题做自适应校正,且区域颜色过渡自然,方法鲁棒性强。

Description

一种基于区域生长与交叉通道信息的图像紫边校正方法
技术领域
本发明属于数字图像处理领域的一种图像校正处理方法,涉及一种基于区域生长与交叉通道信息的图像紫边校正方法。
背景技术
紫边是在数码相机成像的过程中,由于镜头色差,成像器件的电串扰,颜色插值等原因,在获得图像的过曝光饱和区域与正常曝光区域的交界处产生紫色色差即紫边问题。紫边问题的表现形式如图1所示。
在紫边校正的过程中,主要面临以下几个技术难点:第一,由于通常过曝光饱和区域与正常曝光区域的交界处情况较为复杂,所以难以采用高效的方法正确确定复杂的紫边范围。第二,由于紫边覆盖了正常曝光区域原本的颜色,现有的方法仅仅降低某些过饱和通道的像素值,难以复原正常曝光区域原本的真实颜色。第三,由于成像光学系统中镜头和像面的变化会导致紫边在图像中的表现形式不同,所以难以提出一种鲁棒性较好的方法适应各种镜头和像面的变化。
紫边校正的方法难以实现较好的鲁棒性的原因主要在于紫边范围的情况较为复杂,需要考虑光学镜头,像面传感器,被拍摄物体和拍摄距离等等原因;而紫边校正的方法难以复原被紫色覆盖区域真实颜色信息的原因主要在于对单像素点的处理无法获得区域真实的颜色信息,导致简单地改变某些通道的像素值无法复原被紫边覆盖区域真实的颜色信息。
发明内容
为了解决背景技术中存在的技术问题,针对数码相机成像过程中由于镜头的色差、CMOS/CCD器件的电串扰、拜尔滤镜色彩还原中的颜色插值等原因在图像的过曝光饱和区域与正常曝光区域的交界处产生紫色色差即紫边问题,进而为了解决数码相机成像过程中难以采用高效的方法确定复杂的紫边范围、难以复原正常曝光区域原本的真实颜色、现有方法难以适应各种外因导致的不同紫边表现形式等问题,本发明提出了一种基于区域生长与交叉通道信息的图像紫边校正方法。
本发明的目的是通过对输入图像的部分通道做阈值限定获得过曝光饱和区域,通过形态学膨胀的方式生长紫边影响区域,利用收敛最快的通道的像素值信息实现紫边校正。
为达到以上目的,本发明采用以下技术方案,实现流程如图2和图3所示:
(1)对输入图像的部分通道做阈值限定获得过曝光饱和区域;
(2)通过形态学膨胀的方式生长紫边影响区域;
(3)利用收敛最快的通道的像素值信息实现紫边校正。
该方法具体包括以下步骤:
(1)输入待校正图像Iori,对输入图像的部分通道做阈值限定获得过曝光饱和区域,具体是:
(1.1)载入待校正图像Iori,并将待校正图像Iori的颜色空间从sRGB颜色空间转换成RGB颜色空间,再转换成CIE-xyY颜色空间得到颜色图像ICIE
(1.2)对待校正图像Iori的R通道和B通道做阈值限定,将R通道和B通道的两个通道分别大于R通道阈值TR和B通道阈值TB的像素点作为过曝光饱和像素点;
(1.3)新建的一个分辨率与待校正图像Iori相同的二值图像Imask,将过曝光饱和像素点的坐标标记于二值图像Imask中,所有在二值图像Imask中标记的过曝光饱和像素点构成过曝光饱和区域;
(2)在二值图像Imask的过曝光饱和区域边缘利用形态学膨胀的方式生长紫边影响区域,具体是:
(2.1)对于第i次生长过程,i=1,2,3,...,n,使用半径为ri的圆形滤波器对记录过曝光饱和区域的二值图像Imask做形态学膨胀操作得到新二值图像
Figure BDA0002397439090000021
(2.2)将第i次生长过程得到的新二值图像
Figure BDA0002397439090000022
和第i-1次生长过程得到的新二值图像
Figure BDA0002397439090000023
相减后不为零的像素点位置在新建的参考图像Imask-grown的对应像素点位置上赋以i值;
(2.3)当i>2时,利用颜色图像ICIE,遍历所有在参考图像Imask-grown上赋值为i的每个像素点pixeli,搜索邻近的上两级生长点pixeli-1和pixeli-2,判断是否跳出紫色色相区域Dpurple,计算均方误差
Figure BDA0002397439090000024
并和预设坐标误差阈值Tx,y比较,进而控制取消在参考图像Imask-grown上在像素点pixeli处的赋值;当i≤2时,跳过此步操作,不取消参考图像Imask-grown上在像素点pixeli处的赋值;
(2.4)判断在参考图像Imask-grown上的原赋值为i的每个像素点pixeli的赋值是否取消,进而控制迭代继续生长紫边。
(3)利用收敛最快的通道的像素值信息进行紫边的校正,具体是:
(3.1)对于参考图像Imask-grown中赋值为n的像素点pixeln,确定RGB颜色空间中收敛最快的通道,以收敛最快的通道的像素值
Figure BDA0002397439090000031
对其余两个通道的像素值进行优化处理获得最优像素值
Figure BDA0002397439090000032
Figure BDA0002397439090000033
以最优像素值修改待校正图像Iori中像素点pixeln处对应通道的像素值,得到被校正的图像Irect
(3.2)若所有在Imask-grown中生长的紫边区域都已经处理完毕,则停止处理,返回完成校正后的图像Irect;若在Imask-grown中生长的紫边区域还未处理完毕,则迭代重复步骤,继续处理紫边区域。
所述的待校正图像是由数码相机或手机拍摄的,在过曝光饱和区域与正常曝光区域之间的过渡区域有紫色或绯红色色差的图像。
所述步骤(1.1)具体为:
具体对于待校正图像Iori的每一个像素点的标准sRGB值,使用如下公式对图像的所有像素点做映射,将每个像素点的标准R,G,B值分别线性化:
Figure BDA0002397439090000034
其中,ColorL表示线性化后的RGB值,ColorL=(RL,GL,BL),此即为像素点在RGB颜色空间中的像素值,Color表示像素点的标准RGB值,Color=(R,G,B值);
在获得每个像素点的线性化RL,GL,BL值后,通过如下公式对图像的所有像素点做映射,得到每个像素点的CIE-xyY值,获得待校正图像Iori的CIE-xyY颜色空间图像ICIE
Figure BDA0002397439090000035
Figure BDA0002397439090000036
其中,RL,GL,BL表示像素点线性化后的RGB值;X,Y,Z表示像素点在CIE-XYZ颜色空间的CIE-XYZ值,CIE-XYZ为用于过渡计算的颜色空间;xCIE,yCIE,Y表示像素点在CIE-xyY颜色空间的CIE-xyY值。
所述步骤(1.2)具体为:检索待校正图像Iori的所有像素点,若像素点的R通道和B通道的像素值满足以下条件,则将该像素点作为过曝光饱和像素点:
pixeloverex={pixel|pixelR≥TR,pixelB≥TB} (4)
其中,pixeloverex为过曝光饱和像素点;pixel为待校正图像Iori的像素点;pixelR和pixelB分别为待校正图像Iori的像素点pixel的R通道和B通道的像素值;TR和TB分别为预设的R通道阈值和B通道阈值。
所述步骤(2)具体为:
(2.1)使用半径为ri的圆形滤波器对二值图像Imask做形态学膨胀操作得到
Figure BDA0002397439090000041
的具体方法:
生成一个半径为ri的圆形滤波器,对二值图像Imask作满足如下公式的形态学膨胀:
Figure BDA0002397439090000042
Figure BDA0002397439090000043
其中,
Figure BDA0002397439090000044
为第i次生长过程得到的记录过曝区域与紫边区域的新二值图像;Imask为记录过曝光饱和区域的二值图像,且
Figure BDA0002397439090000045
与Imask为分辨率相同的二值图像;Ci为半径为ri的圆形滤波器,为(2ri+1)×(2ri+1)的方阵,a,b分别为圆形滤波器Ci的横坐标与纵坐标,其取值范围为区间[1,2ri+1]内的整数;x,y分别为圆形滤波器Ci在二值图像Imask上滑动时圆形滤波器的中心位置在二值图像Imask上的坐标,Imask的所有满足条件的坐标为(x,y)的像素点都在新二值图像
Figure BDA0002397439090000046
中标记为过曝区域与紫边区域,赋值为1;
(2.2)创建一个与二值图像Imask分辨率相同的一个参考图像Imask-grown,然后以矩阵位置相同的对应元素相减的方式获得第i次生长过程的新二值图像
Figure BDA0002397439090000047
和第i-1次生长过程的新二值图像
Figure BDA0002397439090000048
相减的结果,获得
Figure BDA0002397439090000049
的值,得到的
Figure BDA00023974390900000410
仍为一个矩阵,其元素的坐标值与Imask和Imask-grown一一对应;遍历
Figure BDA00023974390900000411
的所有元素,若元素值不为零,则在参考图像Imask-grown的位置对应相同的像素点位置赋以i值,在参考图像Imask-grown中记录第i次生长过程得到的紫边区域;
(2.3)当i>2时,遍历所有在参考图像Imask-grown上赋值为i的每个像素点pixeli,首先以距离最近为条件寻找与像素点pixeli最邻近的上两次迭代获得的生长点pixeli-1和pixeli-2,生长点是指原赋值未被取消的每个像素点pixeli,记录三个坐标点的坐标信息;然后根据颜色图像ICIE中该像素点pixeli及上两级生长点pixeli-1和pixeli-2的颜色信息,即CIE-xyY空间中的xCIE值与yCIE值,若像素点pixeli,pixeli-1和pixeli-2在颜色空间CIE-xyY中的xCIE值与yCIE值之间的关系不符合下式的条件,则认为像素点pixeli,pixeli-1和pixeli-2在颜色图像ICIE中的色相坐标值xCIE,yCIE均已跳出紫色色相区域Dpurple
Dpurple={(xCIE,yCIE)|(yCIE≤1.3692xCIE-0.0927)&(yCIE≤0.2048xCIE+0.3930)&(yCIE≥0.05510xCIE-0.0227)}(7)
其中,xCIE,yCIE为像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值;
利用该像素点pixeli及上两级生长点pixeli-1和pixeli-2在颜色图像ICIE中的色相坐标值xCIE,yCIE按如下计算公式计算均方误差
Figure BDA0002397439090000051
Figure BDA0002397439090000052
其中,
Figure BDA0002397439090000053
为像素点pixeli、pixeli-1、pixeli-2的色相坐标xCIE,yCIE之间的均方误差,
Figure BDA0002397439090000054
为pixelk的色相坐标xCIE,yCIE
若均方误差
Figure BDA0002397439090000055
小于预设坐标误差阈值
Figure BDA00023974390900000517
则认为紫边已收敛,取消在Imask-grown图像上在像素点pixeli处的赋值;
当i≤2时,跳过此步操作,不取消参考图像Imask-grown上在像素点pixeli处的赋值;
(2.4)若所有在参考图像Imask-grown上的原赋值为i的每个像素点pixeli的赋值都被取消,则紫边已生长完毕;若Imask-grown图像上的pixeli处的赋值被部分取消或都未取消,则紫边还未生长完毕,回到步骤(2.1)迭代继续生长紫边。
所述步骤(3)具体为:
(3.1)对于参考图像Imask-grown中赋值为n的像素点pixeln,n=max-1,max-2,...,1,确定收敛最快的通道的像素值
Figure BDA0002397439090000056
的具体方法:
首先获得参考图像Imask-grown中赋值为n的像素点pixeln在待校正图像Iori中对应的像素点,获得该像素点在RGB颜色空间中的像素值
Figure BDA0002397439090000057
Figure BDA0002397439090000058
比较R通道的像素值
Figure BDA0002397439090000059
和G通道的像素值
Figure BDA00023974390900000510
将两者中较大的像素值对应的通道作为从饱和区域收敛最快的颜色通道,将两者中较大的像素值作为从饱和区域收敛最快的通道的像素值
Figure BDA00023974390900000511
然后以距离最近为条件寻找到像素点pixeln最邻近的上一次迭代获得的生长点pixeln+1,生长点是指原赋值未被取消的每个像素点pixeli,然后对以下优化方程利用随机梯度下降法在其余两个通道的像素值的二维空间
Figure BDA00023974390900000512
中搜索最优解:
Figure BDA00023974390900000513
其中,
Figure BDA00023974390900000514
Figure BDA00023974390900000515
分别为校正后的像素点pixeln’在颜色空间CIE-xyY中对应的值;
Figure BDA00023974390900000516
为校正前的像素点pixeln在颜色空间CIE-xyY中对应的值;
Figure BDA0002397439090000061
为像素点pixeln最邻近的上级生长点pixeln+1在颜色空间CIE-xyY中对应的值;
Figure BDA0002397439090000062
为校正后的像素点pixeln’在RGB空间中对应的值;μ为鲁棒性参数;像素点pixeln’在颜色空间CIE-xyY中对应的值由其RGB值
Figure BDA0002397439090000063
利用公式(2)(3)计算得其中,
Figure BDA0002397439090000064
的值与
Figure BDA0002397439090000065
相同;
最后以优化得到的校正后的像素点pixeln’的RGB值
Figure BDA0002397439090000066
Figure BDA0002397439090000067
代替校正前像素点pixeln的RGB值
Figure BDA0002397439090000068
得到被校正的图像Irect
(3.2)若n≥2,则认为在Imask-grown中生长的紫边区域还未处理完毕,则继续处理紫边区域,令n=n-1,重复(3.1)至(3.2)的步骤;若n=1则认为所有在Imask-grown中生长的紫边区域都已经处理完毕,停止处理,返回完成校正后的图像Irect
本发明方法首先确定实际拍摄图像的过曝光区域,再于过曝光区域周围生长紫边影响区域,直至生长边缘区域的色调信息收敛,最后从生长边缘区域开始,利用收敛最快的通道的像素值指导其他通道的像素值收敛,直到过曝光饱和区域停止处理,可以得到消除紫边后的图像。
本发明方法对数码相机成像过程中在过曝光饱和区域与正常曝光区域出现的紫色色差即紫边问题做了自适应校正,且校正后的紫色色差区域颜色过渡自然,方法鲁棒性强。
本发明通过对输入图像的部分通道做阈值限定获得过曝光饱和区域,通过形态学膨胀的方式生长紫边影响区域,利用收敛最快的通道的像素值信息实现紫边校正。
本发明的有益效果:
本发明方法对对输入图像的部分通道做阈值限定获得符合标准的过曝光饱和区域;通过形态学膨胀的方式生长紫边影响区域,可以确定任意形状的被光源污染的区域;利用收敛最快的通道的像素值信息实现紫边校正,以复原紫边影响区域物体真实的颜色信息。
本发明方法对数码相机拍摄的,在过曝光饱和区域与正常曝光区域的交界处存在紫色色差即紫边的图像,实现了稳定有效的紫边校正,针对待校正的紫边区域较为复杂的情况,提出了区域生长的方法确定复杂的紫边区域。针对被紫边影响区域物体的真实颜色难以复原的情况,提出了利用交叉通道信息校正紫边。实现了高效稳定的紫边校正方法,鲁棒性强,校正视觉效果优异。
附图说明
图1为数码相机拍摄的受紫边影响的图像示例。
图2为本发明方法主要框架流程示意图
图3为本发明方法细节流程示意图。
图4为数码相机拍摄的受紫边影响的图像Iori与其对应的过曝区域图像Imask,示意图,(a)为数码相机拍摄的受紫边影响的图像Iori,(b)其对应的过曝区域图像Imask
图5为数码相机拍摄的受紫边影响的图像Iori与其对应的生长出的紫边区域Imask-grown示意图,(a)为数码相机拍摄的受紫边影响的图像Iori,(b)为其对应的生长出的紫边区域Imask-grown
图6为利用交叉通道信息校正紫边区域前后,生长出的紫边区域Imask-grown三通道的像素值随着生长次序i的变化情况,(a)为利用交叉通道信息校正紫边区域前的统计结果,(b)为利用交叉通道信息校正紫边区域后的统计结果。
图7为数码相机拍摄的受紫边影响的图像Iori及其利用本发明方法校正紫边后得到校正后的图像Irect,(a)为数码相机拍摄的受紫边影响的图像Iori,(b)为利用本发明方法校正紫边后得到校正后的图像Irect
具体实施方式
以下结合附图对本发明作进一步说明。
本发明针对数码相机成像过程中难以采用高效的方法确定复杂的紫边范围,难以复原正常曝光区域原本的真实颜色,现有方法难以适应各种外因导致的不同紫边表现形式等问题,采用了基于区域生长与交叉通道信息的紫边校正方法。通过对输入图像的部分通道做阈值限定获得过曝光饱和区域,通过形态学膨胀的方式生长紫边影响区域,利用收敛最快的通道的像素值信息实现紫边校正。
本发明的实施例流程如附图2和图3所示,主要包括对输入图像的部分通道做阈值限定获得过曝光饱和区域、通过形态学膨胀的方式生长紫边影响区域和利用收敛最快的通道的像素值信息实现紫边校正三个步骤。具体如下:
步骤1.对输入图像的部分通道做阈值限定获得过曝光饱和区域
1-1载入待校正图像Iori,对于Iori的每一个像素点的标准RGB值,使用如下公式对图像的所有像素点做映射,将每个像素点的标准R,G,B值分别线性化:
Figure BDA0002397439090000081
其中,ColorL表示线性化后的RGB值,ColorL=(RL,GL,BL),此即为像素点在RGB颜色空间中的像素值,Color表示像素点的标准RGB值,Color=(R,G,B值);
获得每个像素点的线性化RL,GL,BL值后,通过如下公式对图像的所有像素点做映射,得到每个像素点的CIE-xyY值,获得输入图像Iori的CIE-xyY颜色空间图像ICIE
Figure BDA0002397439090000082
Figure BDA0002397439090000083
其中,RL,GL,BL表示对应像素点的线性化RGB值;X,Y,Z表示对应像素点的CIEXYZ值,CIEXYZ为用于过渡计算的颜色空间;xCIEyCIE,Y表示对应像素点的CIE-xyY值。
1-2检索待校正图像Iori的所有像素点,若其R通道和B通道的像素值满足以下条件,则将其确定为过曝光饱和像素点:
pixeloverex={pixel|pixelR≥TR,pixelB≥TB} (4)
其中,pixeloverex为过曝光饱和像素点;pixel为Iori的像素点;pixelR和pixelB分别为对应Iori的像素点的R通道和B通道的像素值;TR和TB分别为R通道和B通道的阈值。
1-3创建一个与输入的待校正图像Iori分辨率相同的一个二值图像Imask,在二值图像Imask中,从步骤1-2中获得的过曝光饱和像素点pixeloverex的坐标处像素值置为1,其他像素点认为正常曝光,正常曝光像素点的坐标处像素值置为0。数码相机拍摄的受紫边影响的图像Iori与其对应的过曝区域图像Imask可参考图4。
步骤2.通过形态学膨胀的方式生长紫边影响区域
2-1对于第i次生长过程(i=1,2,3,…,n)生成一个半径为ri(ri=i)的圆形滤波器,对记录过曝光饱和区域的Imask做满足如下公式的形态学膨胀:
Figure BDA0002397439090000084
Figure BDA0002397439090000091
其中,
Figure BDA0002397439090000092
为第i次生长过程得到的记录过曝区域与紫边区域的新二值图像;Imask为记录过曝光饱和区域的二值图像,且
Figure BDA0002397439090000093
与Imask为分辨率相同的二值图像;Ci为半径为ri的圆形滤波器,为(2ri+1)×(2ri+1)的方阵,a,b分别为圆形滤波器Ci的横坐标与纵坐标,其取值范围为区间[1,2ri+1]内的整数;x,y分别为圆形滤波器Ci在二值图像Imask上滑动时圆形滤波器的中心位置在二值图像Imask上的坐标,Imask的所有满足条件的坐标为(x,y)的像素点都在新二值图像
Figure BDA0002397439090000094
中标记为过曝区域与紫边区域,赋值为1;
2-2创建一个与二值图像Imask分辨率相同的一个参考图像Imask-grown,然后以矩阵位置相同的对应元素相减的方式获得第i次生长过程的新二值图像
Figure BDA0002397439090000095
和第i-1次生长过程的新二值图像
Figure BDA0002397439090000096
相减的结果,获得
Figure BDA0002397439090000097
的值,得到的
Figure BDA0002397439090000098
仍为一个矩阵,其元素的坐标值与Imask和Imask-grown一一对应;遍历
Figure BDA0002397439090000099
的所有元素,若元素值不为零,则在参考图像Imask-grown的位置对应相同的像素点位置赋以i值,在参考图像Imask-grown中记录第i次生长过程得到的紫边区域。数码相机拍摄的受紫边影响的图像Iori与其对应的生长出的紫边区域Imask-grown示意图可参考图5,此生长紫边的方法可以获得任意不规则的紫边区域形状,对复杂的紫边情况有很好的鲁棒性。
2-3对于第i次生长过程(i=1,2,3,...,n),若i>2,首先以距离最近为条件寻找与像素点pixeli最邻近的上两级生长点pixeli-1和pixeli-2,记录三个坐标点的坐标信息。然后在ICIE中查找pixeli,pixeli-1和pixeli-2的颜色信息,即CIE-xyY空间中的xCIE值与yCIE值,若像素点pixeli,pixeli-1和pixeli-2在颜色空间CIE-xyY中的xCIE值与yCIE值之间的关系不符合下式的条件,则认为像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值xCIE,yCIE都已跳出紫色色相区域Dpurple
Dpurple={(xCIE,yCIE)|(yCIE≤1.3692xCIE-0.0927)&(yCIE≤-0.2048xCIE+0.3930)&(yCIE≥0.05510xCIE-0.0227)} (7)
其中,xCIE,yCIE为像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值;
再利用像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值xCIE,yCIE以如下计算公式计算均方误差,
Figure BDA00023974390900000910
其中,
Figure BDA00023974390900000911
为像素点pixeli、pixeli-1、pixeli-2的色相坐标xCIE,yCIE之间的均方误差,
Figure BDA00023974390900000912
为pixelk的色相坐标xCIE,yCIE
若像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值xCIE,yCIE都已跳出紫色色相区域Dpurple且三个像素点pixeli、pixeli-1、pixeli-2的色相坐标xCIE,yCIE之间的均方误差
Figure BDA0002397439090000101
小于阈值
Figure BDA00023974390900001014
则认为紫边已收敛,pixeli已不受紫边影响,取消在Imask-grown图像上在pixeli处的赋值;
若i<2,则不进行2-3步,不判断紫边是否收敛;
2-4若所有在Imask-grown图像上的pixeli处的赋值都被取消,则判断紫边已生长完毕;若Imask-grown图像上的pixeli处的赋值被部分取消或都未取消,则判断紫边还未生长完毕,令i=i+1,重复(2.1)至(2.4)的步骤;
步骤3.利用收敛最快的通道的像素值信息指导紫边的校正
3-1对于Imask-grown中赋值为n的像素点pixeln(n=max-1,max-2,…,1),首先以距离最近为条件寻找到像素点pixeln最邻近的上级生长点pixeln+1,假定校正后的像素点以pixeln’表示,然后对以下优化方程利用随机梯度下降法在二维空间
Figure BDA0002397439090000102
中搜索最优解:
Figure BDA0002397439090000103
其中,
Figure BDA0002397439090000104
Figure BDA0002397439090000105
分别为校正后的像素点pixeln’在颜色空间CIE-xyY中对应的值;
Figure BDA0002397439090000106
为校正前的像素点pixeln在颜色空间CIE-xyY中对应的值;
Figure BDA0002397439090000107
为像素点pixeln最邻近的上级生长点pixeln+1在颜色空间CIE-xyY中对应的值;
Figure BDA0002397439090000108
为校正后的像素点pixeln’在RGB空间中对应的值,以pixeln’的RGB值
Figure BDA0002397439090000109
计算pixeln’在颜色空间CIE-xyY中对应的
Figure BDA00023974390900001010
值的公式如式(2)(3)所示;μ为鲁棒性参数。
最后以优化得到的校正后的像素点pixeln’的RGB值
Figure BDA00023974390900001011
Figure BDA00023974390900001012
代替校正前像素点pixeln的RGB值
Figure BDA00023974390900001013
得到被校正的图像Irect
如图6中所示,利用交叉通道信息校正紫边区域前后,生长的紫边区域Imask-grown三通道的像素值与生长次序i的关系有了明显的变化,其中(a)为利用交叉通道信息校正紫边区域前生长的紫边区域Imask-grown三通道的像素值与生长次序i的关系,(b)为利用交叉通道信息校正紫边区域后生长的紫边区域Imask-grown三通道的像素值与生长次序i的关系。
3-2检索n的数值,若n≥2,则认为在Imask-grown中生长的紫边区域还未处理完毕,则继续处理紫边区域,令n=n-1,重复(3.1)至(3.2)的步骤;若n=1则认为所有在Imask-grown中生长的紫边区域都已经处理完毕,停止处理,返回完成校正后的图像Irect
利用本发明提出的方法对数码相机拍摄的受紫边影响的图像Iori校正紫边后得到的校正图像Irect的对比示意图如图7所示。

Claims (6)

1.一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:该方法包括以下步骤:
(1)输入待校正图像Iori,对输入图像的部分通道做阈值限定获得过曝光饱和区域,具体是:
(1.1)载入待校正图像Iori,并将待校正图像Iori的颜色空间从sRGB颜色空间转换成RGB颜色空间,再转换成CIE-xyY颜色空间得到颜色图像ICIE
(1.2)对待校正图像Iori的R通道和B通道做阈值限定,将R通道和B通道的两个通道分别大于R通道阈值TR和B通道阈值TB的像素点作为过曝光饱和像素点;
(1.3)新建的一个分辨率与待校正图像Iori相同的二值图像Imask,将过曝光饱和像素点的坐标标记于二值图像Imask中,所有在二值图像Imask中标记的过曝光饱和像素点构成过曝光饱和区域;
(2)在二值图像Imask的过曝光饱和区域边缘利用形态学膨胀的方式生长紫边影响区域,具体是:
(2.1)对于第i次生长过程,i=1,2,3,...,n,使用半径为ri的圆形滤波器对二值图像Imask做形态学膨胀操作得到新二值图像
Figure FDA0003536687020000011
(2.2)将第i次生长过程得到的新二值图像
Figure FDA0003536687020000012
和第i-1次生长过程得到的新二值图像
Figure FDA0003536687020000013
相减后不为零的像素点位置在新建的参考图像Imask-grown的对应像素点位置上赋以i值;
(2.3)当i>2时,利用颜色图像ICIE,遍历所有在参考图像Imask-grown上赋值为i的每个像素点pixeli,搜索邻近的上两级生长点pixeli-1和pixeli-2,判断是否跳出紫色色相区域Dpurple,计算均方误差
Figure FDA0003536687020000014
并和预设坐标误差阈值Tx,y比较,进而控制取消在参考图像Imask-grown上在像素点pixeli处的赋值;当i≤2时,跳过此步操作,不取消参考图像Imask-grown上在像素点pixeli处的赋值;
(2.4)判断在参考图像Imask-grown上的原赋值为i的每个像素点pixeli的赋值是否取消,进而控制迭代继续生长紫边;
(3)利用收敛最快的通道的像素值信息进行紫边的校正,具体是:
(3.1)对于参考图像Imask-grown中赋值为n的像素点pixeln,确定RGB颜色空间中收敛最快的通道,以收敛最快的通道的像素值
Figure FDA0003536687020000015
对其余两个通道的像素值进行优化处理获得最优像素值
Figure FDA0003536687020000016
Figure FDA0003536687020000017
以最优像素值修改待校正图像Iori中像素点pixeln处对应通道的像素值,得到被校正的图像Irect
(3.2)若所有在Imask-grown中生长的紫边区域都已经处理完毕,则停止处理,返回完成校正后的图像Irect;若在Imask-grown中生长的紫边区域还未处理完毕,则迭代重复步骤,继续处理紫边区域。
2.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述的待校正图像是由数码相机或手机拍摄的,在过曝光饱和区域与正常曝光区域之间的过渡区域有紫色或绯红色色差的图像。
3.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述步骤(1.1)具体为:具体对于待校正图像Iori的每一个像素点的标准sRGB值,使用如下公式对图像的所有像素点做映射,将每个像素点的标准R,G,B值分别线性化:
Figure FDA0003536687020000021
其中,ColorL表示线性化后的RGB值,ColorL=(RL,GL,BL),此即为像素点在RGB颜色空间中的像素值,Color表示像素点的标准RGB值,Color=(R,G,B);
在获得每个像素点的线性化RL,GL,BL值后,通过如下公式对图像的所有像素点做映射,得到每个像素点的CIE-xyY值,获得待校正图像Iori的CIE-xyY颜色空间图像ICIE
Figure FDA0003536687020000022
Figure FDA0003536687020000023
其中,RL,GL,BL表示像素点线性化后的RGB值;X,Y,Z表示像素点在CIE-XYZ颜色空间的CIE-XYZ值;xCIE,yCIE,Y表示像素点在CIE-xyY颜色空间的CIE-xyY值。
4.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述步骤(1.2)具体为:
检索待校正图像Iori的所有像素点,若像素点的R通道和B通道的像素值满足以下条件,则将该像素点作为过曝光饱和像素点:
pixeloverex={pixel|pixelR≥TR,pixelB≥TB} (4)
其中,pixeloverex为过曝光饱和像素点;pixel为待校正图像Iori的像素点;pixelR和pixelB分别为待校正图像Iori的像素点pixel的R通道和B通道的像素值;TR和TB分别为预设的R通道阈值和B通道阈值。
5.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述步骤(2)具体为:
(2.1)使用半径为ri的圆形滤波器对二值图像Imask做形态学膨胀操作得到
Figure FDA0003536687020000031
的具体方法:
生成一个半径为ri的圆形滤波器,对二值图像Imask作满足如下公式的形态学膨胀:
Figure FDA0003536687020000032
Figure FDA0003536687020000033
其中,
Figure FDA0003536687020000034
为第i次生长过程得到的记录过曝区域与紫边区域的新二值图像;Imask为记录过曝光饱和区域的二值图像,且
Figure FDA0003536687020000035
与Imask为分辨率相同的二值图像;Ci为半径为ri的圆形滤波器,为(2ri+1)×(2ri+1)的方阵,a,b分别为圆形滤波器Ci的横坐标与纵坐标,其取值范围为区间[1,2ri+1]内的整数;x,y分别为圆形滤波器Ci在二值图像Imask上滑动时圆形滤波器的中心位置在二值图像Imask上的坐标,Imask的所有满足条件的坐标为(x,y)的像素点都在新二值图像
Figure FDA0003536687020000036
中标记为过曝区域与紫边区域,赋值为1;
(2.2)创建一个与二值图像Imask分辨率相同的一个参考图像Imask-grown,然后以矩阵位置相同的对应元素相减的方式获得第i次生长过程的新二值图像
Figure FDA0003536687020000037
和第i-1次生长过程的新二值图像
Figure FDA0003536687020000038
相减的结果,获得
Figure FDA0003536687020000039
的值,遍历
Figure FDA00035366870200000310
的所有元素,若元素值不为零,则在参考图像Imask-grown的位置对应相同的像素点位置赋以i值,在参考图像Imask-grown中记录第i次生长过程得到的紫边区域;
(2.3)当i>2时,遍历所有在参考图像Imask-grown上赋值为i的每个像素点pixeli,首先以距离最近为条件寻找与像素点pixeli最邻近的上两次迭代获得的生长点pixeli-1和pixeli -2,生长点是指原赋值未被取消的每个像素点pixeli,记录三个坐标点的坐标信息;然后根据颜色图像ICIE中该像素点pixeli及上两级生长点pixeli-1和pixeli-2的颜色信息,即CIE-xyY空间中的xCIE值与yCIE值,若像素点pixeli,pixeli-1和pixeli-2在颜色空间CIE-xyY中的xCIE值与yCIE值之间的关系不符合下式的条件,则认为像素点pixeli,pixeli-1和pixeli-2在颜色图像ICIE中的色相坐标值xCIE,yCIE均已跳出紫色色相区域Dpurple
Dpurple={(xCIE,yCIE)|(yCIE≤1.3692xCIE-0.0927)&(yCIE≤-0.2048xCIE+0.3930)&(yCIE≥0.05510xCIE-0.0227)} (7)
其中,xCIE,yCIE为像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值;
利用该像素点pixeli及上两级生长点pixeli-1和pixeli-2在颜色图像ICIE中的色相坐标值xCIE,yCIE按如下计算公式计算均方误差
Figure FDA0003536687020000041
Figure FDA0003536687020000042
其中,
Figure FDA0003536687020000043
为像素点pixeli、pixeli-1、pixeli-2的色相坐标xCIE,yCIE之间的均方误差,
Figure FDA0003536687020000044
为pixelk的色相坐标xCIE,yCIE
若均方误差
Figure FDA0003536687020000045
小于预设坐标误差阈值
Figure FDA00035366870200000413
则认为紫边已收敛,取消在Imask-grown图像上在像素点pixeli处的赋值;
当i≤2时,跳过此步操作,不取消参考图像Imask-grown上在像素点pixeli处的赋值;
(2.4)若所有在参考图像Imask-grown上的原赋值为i的每个像素点pixeli的赋值都被取消,则紫边已生长完毕;若Imask-grown图像上的pixeli处的赋值被部分取消或都未取消,则紫边还未生长完毕,回到步骤(2.1)迭代继续生长紫边。
6.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述步骤(3)具体为:
(3.1)对于参考图像Imask-grown中赋值为n的像素点pixeln,n=max-1,max-2,...,1,确定收敛最快的通道的像素值
Figure FDA0003536687020000046
的具体方法:
首先获得参考图像Imask-grown中赋值为n的像素点pixeln在待校正图像Iori中对应的像素点,获得该像素点在RGB颜色空间中的像素值
Figure FDA0003536687020000047
Figure FDA0003536687020000048
比较R通道的像素值
Figure FDA0003536687020000049
和G通道的像素值
Figure FDA00035366870200000410
将两者中较大的像素值对应的通道作为从饱和区域收敛最快的颜色通道,将两者中较大的像素值作为收敛最快的通道的像素值
Figure FDA00035366870200000411
然后以距离最近为条件寻找到像素点pixeln最邻近的上一次迭代获得的生长点pixeln +1,生长点是指原赋值未被取消的每个像素点pixeli,然后对以下优化方程利用随机梯度下降法在其余两个通道的像素值的二维空间中搜索最优解:
Figure FDA00035366870200000412
其中,
Figure FDA0003536687020000051
Figure FDA0003536687020000052
分别为校正后的像素点pixeln’在颜色空间CIE-xyY中对应的值;
Figure FDA0003536687020000053
为校正前的像素点pixeln在颜色空间CIE-xyY中对应的值;
Figure FDA0003536687020000054
为像素点pixeln最邻近的上级生长点pixeln+1在颜色空间CIE-xyY中对应的值;
Figure FDA0003536687020000055
为校正后的像素点pixeln’在RGB空间中对应的值;μ为鲁棒性参数;
最后以优化得到的校正后的像素点pixeln’的RGB值
Figure FDA0003536687020000056
Figure FDA0003536687020000057
代替校正前像素点pixeln的RGB值
Figure FDA0003536687020000058
得到被校正的图像Irect
(3.2)若n≥2,则认为在Imask-grown中生长的紫边区域还未处理完毕,则继续处理紫边区域,令n=n-1,重复(3.1)至(3.2)的步骤;若n=1则认为所有在Imask-grown中生长的紫边区域都已经处理完毕,停止处理,返回完成校正后的图像Irect
CN202010136287.6A 2020-03-02 2020-03-02 一种基于区域生长与交叉通道信息的图像紫边校正方法 Active CN111353960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010136287.6A CN111353960B (zh) 2020-03-02 2020-03-02 一种基于区域生长与交叉通道信息的图像紫边校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010136287.6A CN111353960B (zh) 2020-03-02 2020-03-02 一种基于区域生长与交叉通道信息的图像紫边校正方法

Publications (2)

Publication Number Publication Date
CN111353960A CN111353960A (zh) 2020-06-30
CN111353960B true CN111353960B (zh) 2022-04-26

Family

ID=71197214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010136287.6A Active CN111353960B (zh) 2020-03-02 2020-03-02 一种基于区域生长与交叉通道信息的图像紫边校正方法

Country Status (1)

Country Link
CN (1) CN111353960B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970449B (zh) * 2020-08-27 2022-03-29 豪威科技(武汉)有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN112887693B (zh) * 2021-01-12 2023-04-18 浙江大华技术股份有限公司 图像紫边消除方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007079039A2 (en) * 2005-12-30 2007-07-12 Microsoft Corporation Automatic removal of purple fringing from images
JP2011211328A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp パープルフリンジ補正装置およびその制御方法,ならびにパープルフリンジを補正するためのプログラム
CN102474628A (zh) * 2010-03-25 2012-05-23 富士胶片株式会社 图像处理方法和设备、图像处理程序和存储该程序的介质
CN103379343A (zh) * 2012-04-12 2013-10-30 索尼公司 图像处理装置、图像处理方法和程序
CN105453134A (zh) * 2013-08-12 2016-03-30 三星电子株式会社 用于图像的动态范围增强的方法和设备
CN106657946A (zh) * 2017-01-12 2017-05-10 深圳岚锋创视网络科技有限公司 图像紫边消除系统和方法
CN107492075A (zh) * 2017-07-28 2017-12-19 浙江大学 一种基于细节增强的单张ldr图像曝光校正的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007079039A2 (en) * 2005-12-30 2007-07-12 Microsoft Corporation Automatic removal of purple fringing from images
CN102474628A (zh) * 2010-03-25 2012-05-23 富士胶片株式会社 图像处理方法和设备、图像处理程序和存储该程序的介质
JP2011211328A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp パープルフリンジ補正装置およびその制御方法,ならびにパープルフリンジを補正するためのプログラム
CN103379343A (zh) * 2012-04-12 2013-10-30 索尼公司 图像处理装置、图像处理方法和程序
CN105453134A (zh) * 2013-08-12 2016-03-30 三星电子株式会社 用于图像的动态范围增强的方法和设备
CN106657946A (zh) * 2017-01-12 2017-05-10 深圳岚锋创视网络科技有限公司 图像紫边消除系统和方法
CN107492075A (zh) * 2017-07-28 2017-12-19 浙江大学 一种基于细节增强的单张ldr图像曝光校正的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Color-Shift Keying for Optical Camera Communication Using a Rolling Shutter Mode;Haowei Chen 等;《IEEE Photonics Journal》;20190430;第1-8页 *
Fast and sub‑pixel precision target tracking algorithm for intelligent dual‑resolution camera;Zhuang He 等;《The Visual Computer》;20190713;第1157-1171页 *
单张LDR图像的曝光校正与细节增强;常猛 等;《光子学报》;20180430;第47卷(第4期);第0410003-1-10页 *
基于物体颜色信息的图像紫边矫正方法;张林 等;《光学学报》;20161231;第36卷(第12期);第1233001-1-9页 *

Also Published As

Publication number Publication date
CN111353960A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
KR101128549B1 (ko) 화상 처리 장치 및 화상 처리 방법과 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
US6757444B2 (en) Image extraction apparatus and method
KR100886099B1 (ko) 감마 보정 곡선의 자동 산출 장치 및 방법
KR101981802B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
CN111353960B (zh) 一种基于区域生长与交叉通道信息的图像紫边校正方法
US7362895B2 (en) Image processing apparatus, image-taking system and image processing method
US8699820B2 (en) Image processing apparatus, camera apparatus, image processing method, and program
CN1596421A (zh) 用于得到校准的方法及用于图像处理的方法
JPH04213274A (ja) 自動色補正による電子式画像処理方法及び装置
TWI479454B (zh) 修正一影像系統之暈影的方法及裝置
JP2015179985A (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
US9392180B2 (en) Partial lens shading compensation method
CN111340734A (zh) 一种利用卷积神经网络模型的图像紫边校正方法
CN105701809A (zh) 一种基于线阵相机扫描的平场校正方法
CN112788322B (zh) 自适应白平衡处理方法、装置、介质及电子设备
CN108513043A (zh) 一种图像降噪方法及终端
CN113706393A (zh) 视频增强方法、装置、设备及存储介质
KR101427325B1 (ko) 색수차 정정 방법
US20070127074A1 (en) Device, method and program product for image processing
JP2008092565A (ja) カラーマッチング方法及び撮像装置
CN114079735B (zh) 固定图像噪声的影像补偿系统
JP6196882B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
TWI774039B (zh) 固定圖像雜訊的影像補償系統
CN112381896B (zh) 一种显微图像的亮度校正方法及系统、计算机设备
JP5330291B2 (ja) 信号処理装置及び撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240322

Address after: No. 169 Mujin Road, Ningbo High tech Zone, Ningbo City, Zhejiang Province, 315100

Patentee after: NINGBO YONGXIN OPTICS Co.,Ltd.

Country or region after: China

Address before: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866

Patentee before: ZHEJIANG University

Country or region before: China

TR01 Transfer of patent right