CN111353960B - 一种基于区域生长与交叉通道信息的图像紫边校正方法 - Google Patents
一种基于区域生长与交叉通道信息的图像紫边校正方法 Download PDFInfo
- Publication number
- CN111353960B CN111353960B CN202010136287.6A CN202010136287A CN111353960B CN 111353960 B CN111353960 B CN 111353960B CN 202010136287 A CN202010136287 A CN 202010136287A CN 111353960 B CN111353960 B CN 111353960B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- cie
- value
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 29
- 230000000877 morphologic effect Effects 0.000 claims abstract description 14
- 230000007704 transition Effects 0.000 claims abstract description 6
- 239000000126 substance Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000010339 dilation Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 claims description 3
- 241001326510 Phacelia sericea Species 0.000 claims description 3
- 241000695274 Processa Species 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 8
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明公开了一种基于区域生长与交叉通道信息的图像紫边校正方法。输入待校正图像,对输入图像的部分通道做阈值限定获得过曝光饱和区域,在二值图像的过曝光饱和区域边缘利用形态学膨胀的方式生长紫边影响区域,利用收敛最快的通道的像素值信息进行紫边的校正。本发明对数码相机成像过程中在过曝光饱和区域与正常曝光区域出现的紫色色差问题做自适应校正,且区域颜色过渡自然,方法鲁棒性强。
Description
技术领域
本发明属于数字图像处理领域的一种图像校正处理方法,涉及一种基于区域生长与交叉通道信息的图像紫边校正方法。
背景技术
紫边是在数码相机成像的过程中,由于镜头色差,成像器件的电串扰,颜色插值等原因,在获得图像的过曝光饱和区域与正常曝光区域的交界处产生紫色色差即紫边问题。紫边问题的表现形式如图1所示。
在紫边校正的过程中,主要面临以下几个技术难点:第一,由于通常过曝光饱和区域与正常曝光区域的交界处情况较为复杂,所以难以采用高效的方法正确确定复杂的紫边范围。第二,由于紫边覆盖了正常曝光区域原本的颜色,现有的方法仅仅降低某些过饱和通道的像素值,难以复原正常曝光区域原本的真实颜色。第三,由于成像光学系统中镜头和像面的变化会导致紫边在图像中的表现形式不同,所以难以提出一种鲁棒性较好的方法适应各种镜头和像面的变化。
紫边校正的方法难以实现较好的鲁棒性的原因主要在于紫边范围的情况较为复杂,需要考虑光学镜头,像面传感器,被拍摄物体和拍摄距离等等原因;而紫边校正的方法难以复原被紫色覆盖区域真实颜色信息的原因主要在于对单像素点的处理无法获得区域真实的颜色信息,导致简单地改变某些通道的像素值无法复原被紫边覆盖区域真实的颜色信息。
发明内容
为了解决背景技术中存在的技术问题,针对数码相机成像过程中由于镜头的色差、CMOS/CCD器件的电串扰、拜尔滤镜色彩还原中的颜色插值等原因在图像的过曝光饱和区域与正常曝光区域的交界处产生紫色色差即紫边问题,进而为了解决数码相机成像过程中难以采用高效的方法确定复杂的紫边范围、难以复原正常曝光区域原本的真实颜色、现有方法难以适应各种外因导致的不同紫边表现形式等问题,本发明提出了一种基于区域生长与交叉通道信息的图像紫边校正方法。
本发明的目的是通过对输入图像的部分通道做阈值限定获得过曝光饱和区域,通过形态学膨胀的方式生长紫边影响区域,利用收敛最快的通道的像素值信息实现紫边校正。
为达到以上目的,本发明采用以下技术方案,实现流程如图2和图3所示:
(1)对输入图像的部分通道做阈值限定获得过曝光饱和区域;
(2)通过形态学膨胀的方式生长紫边影响区域;
(3)利用收敛最快的通道的像素值信息实现紫边校正。
该方法具体包括以下步骤:
(1)输入待校正图像Iori,对输入图像的部分通道做阈值限定获得过曝光饱和区域,具体是:
(1.1)载入待校正图像Iori,并将待校正图像Iori的颜色空间从sRGB颜色空间转换成RGB颜色空间,再转换成CIE-xyY颜色空间得到颜色图像ICIE;
(1.2)对待校正图像Iori的R通道和B通道做阈值限定,将R通道和B通道的两个通道分别大于R通道阈值TR和B通道阈值TB的像素点作为过曝光饱和像素点;
(1.3)新建的一个分辨率与待校正图像Iori相同的二值图像Imask,将过曝光饱和像素点的坐标标记于二值图像Imask中,所有在二值图像Imask中标记的过曝光饱和像素点构成过曝光饱和区域;
(2)在二值图像Imask的过曝光饱和区域边缘利用形态学膨胀的方式生长紫边影响区域,具体是:
(2.3)当i>2时,利用颜色图像ICIE,遍历所有在参考图像Imask-grown上赋值为i的每个像素点pixeli,搜索邻近的上两级生长点pixeli-1和pixeli-2,判断是否跳出紫色色相区域Dpurple,计算均方误差并和预设坐标误差阈值Tx,y比较,进而控制取消在参考图像Imask-grown上在像素点pixeli处的赋值;当i≤2时,跳过此步操作,不取消参考图像Imask-grown上在像素点pixeli处的赋值;
(2.4)判断在参考图像Imask-grown上的原赋值为i的每个像素点pixeli的赋值是否取消,进而控制迭代继续生长紫边。
(3)利用收敛最快的通道的像素值信息进行紫边的校正,具体是:
(3.1)对于参考图像Imask-grown中赋值为n的像素点pixeln,确定RGB颜色空间中收敛最快的通道,以收敛最快的通道的像素值对其余两个通道的像素值进行优化处理获得最优像素值与以最优像素值修改待校正图像Iori中像素点pixeln处对应通道的像素值,得到被校正的图像Irect;
(3.2)若所有在Imask-grown中生长的紫边区域都已经处理完毕,则停止处理,返回完成校正后的图像Irect;若在Imask-grown中生长的紫边区域还未处理完毕,则迭代重复步骤,继续处理紫边区域。
所述的待校正图像是由数码相机或手机拍摄的,在过曝光饱和区域与正常曝光区域之间的过渡区域有紫色或绯红色色差的图像。
所述步骤(1.1)具体为:
具体对于待校正图像Iori的每一个像素点的标准sRGB值,使用如下公式对图像的所有像素点做映射,将每个像素点的标准R,G,B值分别线性化:
其中,ColorL表示线性化后的RGB值,ColorL=(RL,GL,BL),此即为像素点在RGB颜色空间中的像素值,Color表示像素点的标准RGB值,Color=(R,G,B值);
在获得每个像素点的线性化RL,GL,BL值后,通过如下公式对图像的所有像素点做映射,得到每个像素点的CIE-xyY值,获得待校正图像Iori的CIE-xyY颜色空间图像ICIE:
其中,RL,GL,BL表示像素点线性化后的RGB值;X,Y,Z表示像素点在CIE-XYZ颜色空间的CIE-XYZ值,CIE-XYZ为用于过渡计算的颜色空间;xCIE,yCIE,Y表示像素点在CIE-xyY颜色空间的CIE-xyY值。
所述步骤(1.2)具体为:检索待校正图像Iori的所有像素点,若像素点的R通道和B通道的像素值满足以下条件,则将该像素点作为过曝光饱和像素点:
pixeloverex={pixel|pixelR≥TR,pixelB≥TB} (4)
其中,pixeloverex为过曝光饱和像素点;pixel为待校正图像Iori的像素点;pixelR和pixelB分别为待校正图像Iori的像素点pixel的R通道和B通道的像素值;TR和TB分别为预设的R通道阈值和B通道阈值。
所述步骤(2)具体为:
生成一个半径为ri的圆形滤波器,对二值图像Imask作满足如下公式的形态学膨胀:
其中,为第i次生长过程得到的记录过曝区域与紫边区域的新二值图像;Imask为记录过曝光饱和区域的二值图像,且与Imask为分辨率相同的二值图像;Ci为半径为ri的圆形滤波器,为(2ri+1)×(2ri+1)的方阵,a,b分别为圆形滤波器Ci的横坐标与纵坐标,其取值范围为区间[1,2ri+1]内的整数;x,y分别为圆形滤波器Ci在二值图像Imask上滑动时圆形滤波器的中心位置在二值图像Imask上的坐标,Imask的所有满足条件的坐标为(x,y)的像素点都在新二值图像中标记为过曝区域与紫边区域,赋值为1;
(2.2)创建一个与二值图像Imask分辨率相同的一个参考图像Imask-grown,然后以矩阵位置相同的对应元素相减的方式获得第i次生长过程的新二值图像和第i-1次生长过程的新二值图像相减的结果,获得的值,得到的仍为一个矩阵,其元素的坐标值与Imask和Imask-grown一一对应;遍历的所有元素,若元素值不为零,则在参考图像Imask-grown的位置对应相同的像素点位置赋以i值,在参考图像Imask-grown中记录第i次生长过程得到的紫边区域;
(2.3)当i>2时,遍历所有在参考图像Imask-grown上赋值为i的每个像素点pixeli,首先以距离最近为条件寻找与像素点pixeli最邻近的上两次迭代获得的生长点pixeli-1和pixeli-2,生长点是指原赋值未被取消的每个像素点pixeli,记录三个坐标点的坐标信息;然后根据颜色图像ICIE中该像素点pixeli及上两级生长点pixeli-1和pixeli-2的颜色信息,即CIE-xyY空间中的xCIE值与yCIE值,若像素点pixeli,pixeli-1和pixeli-2在颜色空间CIE-xyY中的xCIE值与yCIE值之间的关系不符合下式的条件,则认为像素点pixeli,pixeli-1和pixeli-2在颜色图像ICIE中的色相坐标值xCIE,yCIE均已跳出紫色色相区域Dpurple:
Dpurple={(xCIE,yCIE)|(yCIE≤1.3692xCIE-0.0927)&(yCIE≤0.2048xCIE+0.3930)&(yCIE≥0.05510xCIE-0.0227)}(7)
其中,xCIE,yCIE为像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值;
当i≤2时,跳过此步操作,不取消参考图像Imask-grown上在像素点pixeli处的赋值;
(2.4)若所有在参考图像Imask-grown上的原赋值为i的每个像素点pixeli的赋值都被取消,则紫边已生长完毕;若Imask-grown图像上的pixeli处的赋值被部分取消或都未取消,则紫边还未生长完毕,回到步骤(2.1)迭代继续生长紫边。
所述步骤(3)具体为:
首先获得参考图像Imask-grown中赋值为n的像素点pixeln在待校正图像Iori中对应的像素点,获得该像素点在RGB颜色空间中的像素值和比较R通道的像素值和G通道的像素值将两者中较大的像素值对应的通道作为从饱和区域收敛最快的颜色通道,将两者中较大的像素值作为从饱和区域收敛最快的通道的像素值
然后以距离最近为条件寻找到像素点pixeln最邻近的上一次迭代获得的生长点pixeln+1,生长点是指原赋值未被取消的每个像素点pixeli,然后对以下优化方程利用随机梯度下降法在其余两个通道的像素值的二维空间中搜索最优解:
其中,与分别为校正后的像素点pixeln’在颜色空间CIE-xyY中对应的值;为校正前的像素点pixeln在颜色空间CIE-xyY中对应的值;为像素点pixeln最邻近的上级生长点pixeln+1在颜色空间CIE-xyY中对应的值;为校正后的像素点pixeln’在RGB空间中对应的值;μ为鲁棒性参数;像素点pixeln’在颜色空间CIE-xyY中对应的值由其RGB值利用公式(2)(3)计算得其中,的值与相同;
(3.2)若n≥2,则认为在Imask-grown中生长的紫边区域还未处理完毕,则继续处理紫边区域,令n=n-1,重复(3.1)至(3.2)的步骤;若n=1则认为所有在Imask-grown中生长的紫边区域都已经处理完毕,停止处理,返回完成校正后的图像Irect。
本发明方法首先确定实际拍摄图像的过曝光区域,再于过曝光区域周围生长紫边影响区域,直至生长边缘区域的色调信息收敛,最后从生长边缘区域开始,利用收敛最快的通道的像素值指导其他通道的像素值收敛,直到过曝光饱和区域停止处理,可以得到消除紫边后的图像。
本发明方法对数码相机成像过程中在过曝光饱和区域与正常曝光区域出现的紫色色差即紫边问题做了自适应校正,且校正后的紫色色差区域颜色过渡自然,方法鲁棒性强。
本发明通过对输入图像的部分通道做阈值限定获得过曝光饱和区域,通过形态学膨胀的方式生长紫边影响区域,利用收敛最快的通道的像素值信息实现紫边校正。
本发明的有益效果:
本发明方法对对输入图像的部分通道做阈值限定获得符合标准的过曝光饱和区域;通过形态学膨胀的方式生长紫边影响区域,可以确定任意形状的被光源污染的区域;利用收敛最快的通道的像素值信息实现紫边校正,以复原紫边影响区域物体真实的颜色信息。
本发明方法对数码相机拍摄的,在过曝光饱和区域与正常曝光区域的交界处存在紫色色差即紫边的图像,实现了稳定有效的紫边校正,针对待校正的紫边区域较为复杂的情况,提出了区域生长的方法确定复杂的紫边区域。针对被紫边影响区域物体的真实颜色难以复原的情况,提出了利用交叉通道信息校正紫边。实现了高效稳定的紫边校正方法,鲁棒性强,校正视觉效果优异。
附图说明
图1为数码相机拍摄的受紫边影响的图像示例。
图2为本发明方法主要框架流程示意图
图3为本发明方法细节流程示意图。
图4为数码相机拍摄的受紫边影响的图像Iori与其对应的过曝区域图像Imask,示意图,(a)为数码相机拍摄的受紫边影响的图像Iori,(b)其对应的过曝区域图像Imask。
图5为数码相机拍摄的受紫边影响的图像Iori与其对应的生长出的紫边区域Imask-grown示意图,(a)为数码相机拍摄的受紫边影响的图像Iori,(b)为其对应的生长出的紫边区域Imask-grown。
图6为利用交叉通道信息校正紫边区域前后,生长出的紫边区域Imask-grown三通道的像素值随着生长次序i的变化情况,(a)为利用交叉通道信息校正紫边区域前的统计结果,(b)为利用交叉通道信息校正紫边区域后的统计结果。
图7为数码相机拍摄的受紫边影响的图像Iori及其利用本发明方法校正紫边后得到校正后的图像Irect,(a)为数码相机拍摄的受紫边影响的图像Iori,(b)为利用本发明方法校正紫边后得到校正后的图像Irect。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明针对数码相机成像过程中难以采用高效的方法确定复杂的紫边范围,难以复原正常曝光区域原本的真实颜色,现有方法难以适应各种外因导致的不同紫边表现形式等问题,采用了基于区域生长与交叉通道信息的紫边校正方法。通过对输入图像的部分通道做阈值限定获得过曝光饱和区域,通过形态学膨胀的方式生长紫边影响区域,利用收敛最快的通道的像素值信息实现紫边校正。
本发明的实施例流程如附图2和图3所示,主要包括对输入图像的部分通道做阈值限定获得过曝光饱和区域、通过形态学膨胀的方式生长紫边影响区域和利用收敛最快的通道的像素值信息实现紫边校正三个步骤。具体如下:
步骤1.对输入图像的部分通道做阈值限定获得过曝光饱和区域
1-1载入待校正图像Iori,对于Iori的每一个像素点的标准RGB值,使用如下公式对图像的所有像素点做映射,将每个像素点的标准R,G,B值分别线性化:
其中,ColorL表示线性化后的RGB值,ColorL=(RL,GL,BL),此即为像素点在RGB颜色空间中的像素值,Color表示像素点的标准RGB值,Color=(R,G,B值);
获得每个像素点的线性化RL,GL,BL值后,通过如下公式对图像的所有像素点做映射,得到每个像素点的CIE-xyY值,获得输入图像Iori的CIE-xyY颜色空间图像ICIE:
其中,RL,GL,BL表示对应像素点的线性化RGB值;X,Y,Z表示对应像素点的CIEXYZ值,CIEXYZ为用于过渡计算的颜色空间;xCIEyCIE,Y表示对应像素点的CIE-xyY值。
1-2检索待校正图像Iori的所有像素点,若其R通道和B通道的像素值满足以下条件,则将其确定为过曝光饱和像素点:
pixeloverex={pixel|pixelR≥TR,pixelB≥TB} (4)
其中,pixeloverex为过曝光饱和像素点;pixel为Iori的像素点;pixelR和pixelB分别为对应Iori的像素点的R通道和B通道的像素值;TR和TB分别为R通道和B通道的阈值。
1-3创建一个与输入的待校正图像Iori分辨率相同的一个二值图像Imask,在二值图像Imask中,从步骤1-2中获得的过曝光饱和像素点pixeloverex的坐标处像素值置为1,其他像素点认为正常曝光,正常曝光像素点的坐标处像素值置为0。数码相机拍摄的受紫边影响的图像Iori与其对应的过曝区域图像Imask可参考图4。
步骤2.通过形态学膨胀的方式生长紫边影响区域
2-1对于第i次生长过程(i=1,2,3,…,n)生成一个半径为ri(ri=i)的圆形滤波器,对记录过曝光饱和区域的Imask做满足如下公式的形态学膨胀:
其中,为第i次生长过程得到的记录过曝区域与紫边区域的新二值图像;Imask为记录过曝光饱和区域的二值图像,且与Imask为分辨率相同的二值图像;Ci为半径为ri的圆形滤波器,为(2ri+1)×(2ri+1)的方阵,a,b分别为圆形滤波器Ci的横坐标与纵坐标,其取值范围为区间[1,2ri+1]内的整数;x,y分别为圆形滤波器Ci在二值图像Imask上滑动时圆形滤波器的中心位置在二值图像Imask上的坐标,Imask的所有满足条件的坐标为(x,y)的像素点都在新二值图像中标记为过曝区域与紫边区域,赋值为1;
2-2创建一个与二值图像Imask分辨率相同的一个参考图像Imask-grown,然后以矩阵位置相同的对应元素相减的方式获得第i次生长过程的新二值图像和第i-1次生长过程的新二值图像相减的结果,获得的值,得到的仍为一个矩阵,其元素的坐标值与Imask和Imask-grown一一对应;遍历的所有元素,若元素值不为零,则在参考图像Imask-grown的位置对应相同的像素点位置赋以i值,在参考图像Imask-grown中记录第i次生长过程得到的紫边区域。数码相机拍摄的受紫边影响的图像Iori与其对应的生长出的紫边区域Imask-grown示意图可参考图5,此生长紫边的方法可以获得任意不规则的紫边区域形状,对复杂的紫边情况有很好的鲁棒性。
2-3对于第i次生长过程(i=1,2,3,...,n),若i>2,首先以距离最近为条件寻找与像素点pixeli最邻近的上两级生长点pixeli-1和pixeli-2,记录三个坐标点的坐标信息。然后在ICIE中查找pixeli,pixeli-1和pixeli-2的颜色信息,即CIE-xyY空间中的xCIE值与yCIE值,若像素点pixeli,pixeli-1和pixeli-2在颜色空间CIE-xyY中的xCIE值与yCIE值之间的关系不符合下式的条件,则认为像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值xCIE,yCIE都已跳出紫色色相区域Dpurple:
Dpurple={(xCIE,yCIE)|(yCIE≤1.3692xCIE-0.0927)&(yCIE≤-0.2048xCIE+0.3930)&(yCIE≥0.05510xCIE-0.0227)} (7)
其中,xCIE,yCIE为像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值;
再利用像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值xCIE,yCIE以如下计算公式计算均方误差,
若像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值xCIE,yCIE都已跳出紫色色相区域Dpurple且三个像素点pixeli、pixeli-1、pixeli-2的色相坐标xCIE,yCIE之间的均方误差小于阈值则认为紫边已收敛,pixeli已不受紫边影响,取消在Imask-grown图像上在pixeli处的赋值;
若i<2,则不进行2-3步,不判断紫边是否收敛;
2-4若所有在Imask-grown图像上的pixeli处的赋值都被取消,则判断紫边已生长完毕;若Imask-grown图像上的pixeli处的赋值被部分取消或都未取消,则判断紫边还未生长完毕,令i=i+1,重复(2.1)至(2.4)的步骤;
步骤3.利用收敛最快的通道的像素值信息指导紫边的校正
3-1对于Imask-grown中赋值为n的像素点pixeln(n=max-1,max-2,…,1),首先以距离最近为条件寻找到像素点pixeln最邻近的上级生长点pixeln+1,假定校正后的像素点以pixeln’表示,然后对以下优化方程利用随机梯度下降法在二维空间中搜索最优解:
其中,与分别为校正后的像素点pixeln’在颜色空间CIE-xyY中对应的值;为校正前的像素点pixeln在颜色空间CIE-xyY中对应的值;为像素点pixeln最邻近的上级生长点pixeln+1在颜色空间CIE-xyY中对应的值;为校正后的像素点pixeln’在RGB空间中对应的值,以pixeln’的RGB值计算pixeln’在颜色空间CIE-xyY中对应的值的公式如式(2)(3)所示;μ为鲁棒性参数。
如图6中所示,利用交叉通道信息校正紫边区域前后,生长的紫边区域Imask-grown三通道的像素值与生长次序i的关系有了明显的变化,其中(a)为利用交叉通道信息校正紫边区域前生长的紫边区域Imask-grown三通道的像素值与生长次序i的关系,(b)为利用交叉通道信息校正紫边区域后生长的紫边区域Imask-grown三通道的像素值与生长次序i的关系。
3-2检索n的数值,若n≥2,则认为在Imask-grown中生长的紫边区域还未处理完毕,则继续处理紫边区域,令n=n-1,重复(3.1)至(3.2)的步骤;若n=1则认为所有在Imask-grown中生长的紫边区域都已经处理完毕,停止处理,返回完成校正后的图像Irect。
利用本发明提出的方法对数码相机拍摄的受紫边影响的图像Iori校正紫边后得到的校正图像Irect的对比示意图如图7所示。
Claims (6)
1.一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:该方法包括以下步骤:
(1)输入待校正图像Iori,对输入图像的部分通道做阈值限定获得过曝光饱和区域,具体是:
(1.1)载入待校正图像Iori,并将待校正图像Iori的颜色空间从sRGB颜色空间转换成RGB颜色空间,再转换成CIE-xyY颜色空间得到颜色图像ICIE;
(1.2)对待校正图像Iori的R通道和B通道做阈值限定,将R通道和B通道的两个通道分别大于R通道阈值TR和B通道阈值TB的像素点作为过曝光饱和像素点;
(1.3)新建的一个分辨率与待校正图像Iori相同的二值图像Imask,将过曝光饱和像素点的坐标标记于二值图像Imask中,所有在二值图像Imask中标记的过曝光饱和像素点构成过曝光饱和区域;
(2)在二值图像Imask的过曝光饱和区域边缘利用形态学膨胀的方式生长紫边影响区域,具体是:
(2.3)当i>2时,利用颜色图像ICIE,遍历所有在参考图像Imask-grown上赋值为i的每个像素点pixeli,搜索邻近的上两级生长点pixeli-1和pixeli-2,判断是否跳出紫色色相区域Dpurple,计算均方误差并和预设坐标误差阈值Tx,y比较,进而控制取消在参考图像Imask-grown上在像素点pixeli处的赋值;当i≤2时,跳过此步操作,不取消参考图像Imask-grown上在像素点pixeli处的赋值;
(2.4)判断在参考图像Imask-grown上的原赋值为i的每个像素点pixeli的赋值是否取消,进而控制迭代继续生长紫边;
(3)利用收敛最快的通道的像素值信息进行紫边的校正,具体是:
(3.1)对于参考图像Imask-grown中赋值为n的像素点pixeln,确定RGB颜色空间中收敛最快的通道,以收敛最快的通道的像素值对其余两个通道的像素值进行优化处理获得最优像素值与以最优像素值修改待校正图像Iori中像素点pixeln处对应通道的像素值,得到被校正的图像Irect;
(3.2)若所有在Imask-grown中生长的紫边区域都已经处理完毕,则停止处理,返回完成校正后的图像Irect;若在Imask-grown中生长的紫边区域还未处理完毕,则迭代重复步骤,继续处理紫边区域。
2.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述的待校正图像是由数码相机或手机拍摄的,在过曝光饱和区域与正常曝光区域之间的过渡区域有紫色或绯红色色差的图像。
3.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述步骤(1.1)具体为:具体对于待校正图像Iori的每一个像素点的标准sRGB值,使用如下公式对图像的所有像素点做映射,将每个像素点的标准R,G,B值分别线性化:
其中,ColorL表示线性化后的RGB值,ColorL=(RL,GL,BL),此即为像素点在RGB颜色空间中的像素值,Color表示像素点的标准RGB值,Color=(R,G,B);
在获得每个像素点的线性化RL,GL,BL值后,通过如下公式对图像的所有像素点做映射,得到每个像素点的CIE-xyY值,获得待校正图像Iori的CIE-xyY颜色空间图像ICIE:
其中,RL,GL,BL表示像素点线性化后的RGB值;X,Y,Z表示像素点在CIE-XYZ颜色空间的CIE-XYZ值;xCIE,yCIE,Y表示像素点在CIE-xyY颜色空间的CIE-xyY值。
4.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述步骤(1.2)具体为:
检索待校正图像Iori的所有像素点,若像素点的R通道和B通道的像素值满足以下条件,则将该像素点作为过曝光饱和像素点:
pixeloverex={pixel|pixelR≥TR,pixelB≥TB} (4)
其中,pixeloverex为过曝光饱和像素点;pixel为待校正图像Iori的像素点;pixelR和pixelB分别为待校正图像Iori的像素点pixel的R通道和B通道的像素值;TR和TB分别为预设的R通道阈值和B通道阈值。
5.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述步骤(2)具体为:
生成一个半径为ri的圆形滤波器,对二值图像Imask作满足如下公式的形态学膨胀:
其中,为第i次生长过程得到的记录过曝区域与紫边区域的新二值图像;Imask为记录过曝光饱和区域的二值图像,且与Imask为分辨率相同的二值图像;Ci为半径为ri的圆形滤波器,为(2ri+1)×(2ri+1)的方阵,a,b分别为圆形滤波器Ci的横坐标与纵坐标,其取值范围为区间[1,2ri+1]内的整数;x,y分别为圆形滤波器Ci在二值图像Imask上滑动时圆形滤波器的中心位置在二值图像Imask上的坐标,Imask的所有满足条件的坐标为(x,y)的像素点都在新二值图像中标记为过曝区域与紫边区域,赋值为1;
(2.2)创建一个与二值图像Imask分辨率相同的一个参考图像Imask-grown,然后以矩阵位置相同的对应元素相减的方式获得第i次生长过程的新二值图像和第i-1次生长过程的新二值图像相减的结果,获得的值,遍历的所有元素,若元素值不为零,则在参考图像Imask-grown的位置对应相同的像素点位置赋以i值,在参考图像Imask-grown中记录第i次生长过程得到的紫边区域;
(2.3)当i>2时,遍历所有在参考图像Imask-grown上赋值为i的每个像素点pixeli,首先以距离最近为条件寻找与像素点pixeli最邻近的上两次迭代获得的生长点pixeli-1和pixeli -2,生长点是指原赋值未被取消的每个像素点pixeli,记录三个坐标点的坐标信息;然后根据颜色图像ICIE中该像素点pixeli及上两级生长点pixeli-1和pixeli-2的颜色信息,即CIE-xyY空间中的xCIE值与yCIE值,若像素点pixeli,pixeli-1和pixeli-2在颜色空间CIE-xyY中的xCIE值与yCIE值之间的关系不符合下式的条件,则认为像素点pixeli,pixeli-1和pixeli-2在颜色图像ICIE中的色相坐标值xCIE,yCIE均已跳出紫色色相区域Dpurple:
Dpurple={(xCIE,yCIE)|(yCIE≤1.3692xCIE-0.0927)&(yCIE≤-0.2048xCIE+0.3930)&(yCIE≥0.05510xCIE-0.0227)} (7)
其中,xCIE,yCIE为像素点pixeli,pixeli-1和pixeli-2在ICIE中的色相坐标值;
当i≤2时,跳过此步操作,不取消参考图像Imask-grown上在像素点pixeli处的赋值;
(2.4)若所有在参考图像Imask-grown上的原赋值为i的每个像素点pixeli的赋值都被取消,则紫边已生长完毕;若Imask-grown图像上的pixeli处的赋值被部分取消或都未取消,则紫边还未生长完毕,回到步骤(2.1)迭代继续生长紫边。
6.根据权利要求1所述的一种基于区域生长与交叉通道信息的图像紫边校正方法,其特征在于:所述步骤(3)具体为:
首先获得参考图像Imask-grown中赋值为n的像素点pixeln在待校正图像Iori中对应的像素点,获得该像素点在RGB颜色空间中的像素值和比较R通道的像素值和G通道的像素值将两者中较大的像素值对应的通道作为从饱和区域收敛最快的颜色通道,将两者中较大的像素值作为收敛最快的通道的像素值
然后以距离最近为条件寻找到像素点pixeln最邻近的上一次迭代获得的生长点pixeln +1,生长点是指原赋值未被取消的每个像素点pixeli,然后对以下优化方程利用随机梯度下降法在其余两个通道的像素值的二维空间中搜索最优解:
其中,与分别为校正后的像素点pixeln’在颜色空间CIE-xyY中对应的值;为校正前的像素点pixeln在颜色空间CIE-xyY中对应的值;为像素点pixeln最邻近的上级生长点pixeln+1在颜色空间CIE-xyY中对应的值;为校正后的像素点pixeln’在RGB空间中对应的值;μ为鲁棒性参数;
(3.2)若n≥2,则认为在Imask-grown中生长的紫边区域还未处理完毕,则继续处理紫边区域,令n=n-1,重复(3.1)至(3.2)的步骤;若n=1则认为所有在Imask-grown中生长的紫边区域都已经处理完毕,停止处理,返回完成校正后的图像Irect。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010136287.6A CN111353960B (zh) | 2020-03-02 | 2020-03-02 | 一种基于区域生长与交叉通道信息的图像紫边校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010136287.6A CN111353960B (zh) | 2020-03-02 | 2020-03-02 | 一种基于区域生长与交叉通道信息的图像紫边校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111353960A CN111353960A (zh) | 2020-06-30 |
CN111353960B true CN111353960B (zh) | 2022-04-26 |
Family
ID=71197214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010136287.6A Active CN111353960B (zh) | 2020-03-02 | 2020-03-02 | 一种基于区域生长与交叉通道信息的图像紫边校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111353960B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111970449B (zh) * | 2020-08-27 | 2022-03-29 | 豪威科技(武汉)有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
CN112887693B (zh) * | 2021-01-12 | 2023-04-18 | 浙江大华技术股份有限公司 | 图像紫边消除方法、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007079039A2 (en) * | 2005-12-30 | 2007-07-12 | Microsoft Corporation | Automatic removal of purple fringing from images |
JP2011211328A (ja) * | 2010-03-29 | 2011-10-20 | Fujifilm Corp | パープルフリンジ補正装置およびその制御方法,ならびにパープルフリンジを補正するためのプログラム |
CN102474628A (zh) * | 2010-03-25 | 2012-05-23 | 富士胶片株式会社 | 图像处理方法和设备、图像处理程序和存储该程序的介质 |
CN103379343A (zh) * | 2012-04-12 | 2013-10-30 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN105453134A (zh) * | 2013-08-12 | 2016-03-30 | 三星电子株式会社 | 用于图像的动态范围增强的方法和设备 |
CN106657946A (zh) * | 2017-01-12 | 2017-05-10 | 深圳岚锋创视网络科技有限公司 | 图像紫边消除系统和方法 |
CN107492075A (zh) * | 2017-07-28 | 2017-12-19 | 浙江大学 | 一种基于细节增强的单张ldr图像曝光校正的方法 |
-
2020
- 2020-03-02 CN CN202010136287.6A patent/CN111353960B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007079039A2 (en) * | 2005-12-30 | 2007-07-12 | Microsoft Corporation | Automatic removal of purple fringing from images |
CN102474628A (zh) * | 2010-03-25 | 2012-05-23 | 富士胶片株式会社 | 图像处理方法和设备、图像处理程序和存储该程序的介质 |
JP2011211328A (ja) * | 2010-03-29 | 2011-10-20 | Fujifilm Corp | パープルフリンジ補正装置およびその制御方法,ならびにパープルフリンジを補正するためのプログラム |
CN103379343A (zh) * | 2012-04-12 | 2013-10-30 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN105453134A (zh) * | 2013-08-12 | 2016-03-30 | 三星电子株式会社 | 用于图像的动态范围增强的方法和设备 |
CN106657946A (zh) * | 2017-01-12 | 2017-05-10 | 深圳岚锋创视网络科技有限公司 | 图像紫边消除系统和方法 |
CN107492075A (zh) * | 2017-07-28 | 2017-12-19 | 浙江大学 | 一种基于细节增强的单张ldr图像曝光校正的方法 |
Non-Patent Citations (4)
Title |
---|
Color-Shift Keying for Optical Camera Communication Using a Rolling Shutter Mode;Haowei Chen 等;《IEEE Photonics Journal》;20190430;第1-8页 * |
Fast and sub‑pixel precision target tracking algorithm for intelligent dual‑resolution camera;Zhuang He 等;《The Visual Computer》;20190713;第1157-1171页 * |
单张LDR图像的曝光校正与细节增强;常猛 等;《光子学报》;20180430;第47卷(第4期);第0410003-1-10页 * |
基于物体颜色信息的图像紫边矫正方法;张林 等;《光学学报》;20161231;第36卷(第12期);第1233001-1-9页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111353960A (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101128549B1 (ko) | 화상 처리 장치 및 화상 처리 방법과 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체 | |
US6757444B2 (en) | Image extraction apparatus and method | |
KR100886099B1 (ko) | 감마 보정 곡선의 자동 산출 장치 및 방법 | |
KR101981802B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 | |
CN111353960B (zh) | 一种基于区域生长与交叉通道信息的图像紫边校正方法 | |
US7362895B2 (en) | Image processing apparatus, image-taking system and image processing method | |
US8699820B2 (en) | Image processing apparatus, camera apparatus, image processing method, and program | |
CN1596421A (zh) | 用于得到校准的方法及用于图像处理的方法 | |
JPH04213274A (ja) | 自動色補正による電子式画像処理方法及び装置 | |
TWI479454B (zh) | 修正一影像系統之暈影的方法及裝置 | |
JP2015179985A (ja) | マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 | |
US9392180B2 (en) | Partial lens shading compensation method | |
CN111340734A (zh) | 一种利用卷积神经网络模型的图像紫边校正方法 | |
CN105701809A (zh) | 一种基于线阵相机扫描的平场校正方法 | |
CN112788322B (zh) | 自适应白平衡处理方法、装置、介质及电子设备 | |
CN108513043A (zh) | 一种图像降噪方法及终端 | |
CN113706393A (zh) | 视频增强方法、装置、设备及存储介质 | |
KR101427325B1 (ko) | 색수차 정정 방법 | |
US20070127074A1 (en) | Device, method and program product for image processing | |
JP2008092565A (ja) | カラーマッチング方法及び撮像装置 | |
CN114079735B (zh) | 固定图像噪声的影像补偿系统 | |
JP6196882B2 (ja) | マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 | |
TWI774039B (zh) | 固定圖像雜訊的影像補償系統 | |
CN112381896B (zh) | 一种显微图像的亮度校正方法及系统、计算机设备 | |
JP5330291B2 (ja) | 信号処理装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240322 Address after: No. 169 Mujin Road, Ningbo High tech Zone, Ningbo City, Zhejiang Province, 315100 Patentee after: NINGBO YONGXIN OPTICS Co.,Ltd. Country or region after: China Address before: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866 Patentee before: ZHEJIANG University Country or region before: China |
|
TR01 | Transfer of patent right |