CN111340734B - 一种利用卷积神经网络模型的图像紫边校正方法 - Google Patents
一种利用卷积神经网络模型的图像紫边校正方法 Download PDFInfo
- Publication number
- CN111340734B CN111340734B CN202010135788.2A CN202010135788A CN111340734B CN 111340734 B CN111340734 B CN 111340734B CN 202010135788 A CN202010135788 A CN 202010135788A CN 111340734 B CN111340734 B CN 111340734B
- Authority
- CN
- China
- Prior art keywords
- image
- purple
- mask
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012937 correction Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 38
- 238000009826 distribution Methods 0.000 claims abstract description 21
- 230000007704 transition Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 28
- 239000000126 substance Substances 0.000 claims description 20
- 238000005315 distribution function Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 9
- 229920006395 saturated elastomer Polymers 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000010339 dilation Effects 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 241000282326 Felis catus Species 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000004080 punching Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims 5
- 238000011423 initialization method Methods 0.000 claims 1
- 238000003062 neural network model Methods 0.000 claims 1
- 230000008961 swelling Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000004075 alteration Effects 0.000 description 3
- 241001326510 Phacelia sericea Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种利用卷积神经网络模型的图像紫边校正方法。使用数字成像系统拍摄实拍装置获得各种情况下紫边在图像上的具体分布;将拍摄得到紫边分布根据图像内容的颜色信息加入到高清图像中,得到用于训练卷积神经网络的训练集;以训练集迭代训练初始化后的卷积神经网络模型,直至迭代次数达到预设次数,卷积神经网络模型训练完毕,将数字成像系统拍摄得到的带有紫边的图像输入训练后的卷积神经网络模型,得到消除紫边后的图像。本发明解决了镜头成像弥散斑较大,在图像区域交界处产生紫边问题,校正后图像的紫边区域颜色过渡自然,卷积神经网络模型的鲁棒性强。
Description
技术领域
本发明属于数字图像处理领域的一种图像紫边校正方法,涉及了一种利用卷积神经网络模型的图像紫边校正方法。
背景技术
紫边是在数字成像系统成像的过程中,镜头对于可见光波段中的较短波长波段(如:435nm-480nm波段)和较长波长波段(如:650nm-770nm波段)成像弥散斑较大,在获得图像的过曝区域与正常曝光区域的交界处产生紫色色差即紫边问题。紫边问题的表现形式如图1所示。
在紫边校正的过程中,主要面临以下几个技术难点:第一,由于通常过曝区域与正常曝光区域的交界处情况与一般的正常曝光情况不同,所以难以正常模拟过曝区域周围的紫边情况。第二,由于紫边覆盖了正常曝光区域原本的颜色,通过一般的仿真难以确定紫边覆盖区域的真实颜色,某些方法只通过降低过饱和通道的值无法得到被紫边覆盖区域的真实颜色。第三,由于拍摄过程中过曝光物体的亮度、受影响区域的亮度、拍摄距离等等因素的变化导致紫边在图像中的表现形式不同,所以难以提出一种鲁棒性较好的算法适应各种的拍摄情况与紫边的表现形式。
紫边校正的方法难以实现对各种拍摄情况都有较好校正的原因主要在于紫边范围的情况较为复杂,需要考虑过曝光区域的亮度信息,过曝光区域周围的物体颜色信息和拍摄距离等等原因;而通常的紫边校正的方法难以复原被紫色覆盖区域真实颜色信息的原因主要在于对单像素点的处理无法获得区域真实的颜色信息,导致简单地改变某些通道的像素值无法复原被紫边覆盖区域真实的颜色信息;同时,由于在高对比度的区域边缘也会出现紫边,传统的方法难以正确定位正确的过曝光区域与紫边区域。
发明内容
为了解决背景技术中存在的技术问题,针对数字成像系统(如:数码相机、手机等),在成像过程中难以采用高效的方法确定复杂的紫边范围,难以通过简单有效的方法复原正常曝光区域原本的真实颜色,现有算法难以适应各种外因导致的不同紫边表现形式等问题,本发明采用了利用卷积神经网络模型的图像紫边校正方法。
本发明的目的是使用数字成像系统拍摄实拍装置获得各种情况下紫边在图像上的具体分布,然后将拍摄得到的紫边分布根据图像内容的颜色信息加入到大量高清图像中,得到用于卷积神经网络模型训练的训练集,最后以训练集迭代训练初始化后的卷积神经网络模型,训练完毕后将数字成像系统拍摄得到的带有紫边的图像输入该训练好的模型,得到消除紫边后的图像。
为达到以上目的,本发明采用以下技术方案,实现流程如图2
(2.2)首先,将掩膜小块patchmask中的模拟过曝光区域的掩膜mask作为过曝区域,遍历patchmask中的所有像素点,计算当前像素点与掩膜mask中各个像素点之间的RGB颜色距离,排序获得所有RGB颜色距离中的最小值dismin,若最小值dismin的值在0至30之间,则将最小值dismin四舍五入为整数[dismin];并通过下式找到与当前像素点颜色信息最接近的一个紫边分布函数:
其中,R、G、B为当前像素点的三通道值;R30、G30、B30为步骤(1.2)获得的颜色序号colorindex的膨胀操作次数为30情况下的紫边区域的平均像素值;
以上述公式最小化的像素点对应的紫边分布函数作为结果,找到最符合当前像素点条件的Ieqp、Ilum、Lshot与colorindex情况以后,将当前像素点的R、G、B值用最接近的紫边分布函数处理的平均像素值进行赋值,得到受紫边影响图像小块patchPF,具体计算公式如下所示:
所述步骤(3.1)具体为:卷积神经网络模型包含有八层卷积层,将卷积神经网络模型的初始模型参数,即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值,初始化为32位浮点数,使所有初始模型参数服从(0,1)之间的均匀分布。
所述步骤(3.2)具体为:对于输入的受紫边影响图像figurePF,在当前第k层卷积层且k=1,2,3,4时,k表示卷积层的序号,利用下式处理获得经第k层卷积层处理得到的结果图像:
其中,为上一层的第k-1层卷积层处理得到的结果图像,即为输入的受紫边影响图像figurePF;Conv为用初始化后的初始卷积核和初始偏置矩阵作卷积操作;DownSample为0.5倍作下采样的操作;为第k层卷积层处理得到的结果图像;
所述步骤(3.3)具体为:
所述步骤(3.4)具体为:首先通过下式获得保真项误差LossMSE对所有卷积神经网络模型的卷积层的卷积核权重和偏置参数的偏导数值:
其中,和分别为步骤(3.2)中卷积操作Conv的卷积核权重和偏置参数;figuremask为在训练集中与受紫边影响图像figurePF成对的掩膜图像;l为输入受紫边影响图像figurePF的序号;m为输入受紫边影响图像figurePF的总量;具体实验中,每输入16个样本图像更新一次偏导;
针对数字成像系统成像过程中由于镜头对于可见光波段中的较短波长波段(如:435nm-480nm波段)和较长波长波段(如:650nm-770nm波段)成像弥散斑较大,在图像的过曝区域与正常曝光区域的交界处产生紫色色差即紫边问题,引入图像紫边校正方法。
本发明方法首先使用数字成像系统拍摄实拍装置获得各种情况下紫边在图像上的具体分布,再将拍摄得到的紫边分布根据图像内容的颜色信息加入到大量高清图像中,得到用于训练卷积神经网络的训练集,然后以训练集迭代训练初始化后的卷积神经网络模型,直至迭代次数达到预设次数后,将数字成像系统拍摄得到的带有紫边的图像输入该训练好的模型,得到消除紫边后的图像。本发明方法对数字成像系统成像过程中在过曝区域与正常曝光区域出现的紫色色差即紫边问题进行了实拍模拟,并建立了数据集用于训练卷积神经网络模型以复原被紫边影响的图像,校正后图像的紫边区域颜色过渡自然,卷积神经网络模型的鲁棒性强。
本发明的有益效果:
本发明方法使用数字成像系统拍摄实拍装置获得各种情况下紫边在图像上的具体分布;将拍摄得到的紫边分布根据图像内容的颜色信息加入到大量高清图像中,制成用于训练卷积神经网络模型的训练集,训练集可以描述大量自然图像的紫边分布函数;然后以训练集中的大量高清图像对初始化后的卷积神经网络模型进行迭代训练,训练完毕后将数字成像系统拍摄得到的带有紫边的图像输入该训练好的模型,得到消除紫边后的图像。
本发明方法对数字成像系统拍摄的,在过曝区域与正常曝光区域的交界处存在紫色色差即紫边的图像,实现了稳定有效的紫边校正,针对现有的紫边校正方法的鲁棒性不高的情况,提出了使用实际拍摄得到的紫边分布配以卷积神经网络的拟合能力来校正紫边。针对被紫边影响区域物体的真实颜色难以复原的情况,提出了根据过曝区域周围的真实物体颜色信息来添加紫边的方法,利用神经网络的方法可以准确拟合校正紫边后的过曝区域周围物体的真实颜色信息。
附图说明
图1为数字成像系统拍摄的受紫边影响的图像示例。
图2为本发明方法主要框架流程示意图
图3为本发明方法细节流程示意图。
图4为实拍装置与实拍实验中可调变量的示意图。
图中:透射式灯箱(1)、色卡(2)、照射光源(3)、数码相机(4)。
图5为某一组特定的Ieqp,Ilum和Lshot下的紫边分布函数。
图6为对于裁剪操作后获得的图像小块模拟两种过曝光区域方式的示意图,(a)为裁剪操作后的图像小块,(b)为对图像小块以最大阈值生长的方式生成“天空”区域以模拟过曝光区域后得到的掩膜小块patchmask,(c)为对图像小块中的随机位置覆盖“光源”掩膜以模拟过曝光区域后得到的掩膜小块patchmask。
图7为对掩膜小块patchmask的操作示意图,根据掩膜小块周围的物体颜色信息将最接近的紫边分布函数加到掩膜周围以得到受紫边影响图像小块patchPF,(a)为掩膜小块patchmask,(b)为掩膜小块patchmask通过处理之后得到的受紫边影响图像小块patchPF。
图8为利用训练完成的卷积神经网络模型对由数字成像系统拍摄的图像进行处理的结果,(a)输入网络模型的由数字成像系统拍摄的带有紫边的图像,(b)为网络模型输出的消除紫边后的图像figureDePF。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明针对数字成像系统在成像过程中难以采用高效的方法确定复杂的紫边范围,难以通过简单有效的方法复原正常曝光区域原本的真实颜色,现有的算法难以适应各种外因导致的不同紫边表现形式等问题,采用了利用卷积神经网络模型的图像紫边校正方法。首先使用数字成像系统拍摄实拍装置获得各种情况下紫边在图像上的具体分布,然后将拍摄得到的紫边分布根据图像内容的颜色信息加入到大量高清图像中,得到用于卷积神经网络模型训练的训练集,最后以训练集迭代训练初始化后的卷积神经网络模型,训练完毕后将数字成像系统拍摄得到的带有紫边的图像输入该训练好的模型,得到消除紫边后的图像。
本发明的实施例及其实施情况如下:
实施例的流程如附图2和图3所示,主要包括拍摄实拍装置获取各种情况下的紫边分布、建立紫边分布训练集和利用训练集迭代训练卷积神经网络模型并测试三个步骤。
步骤1.使用数字成像系统拍摄实拍装置获得各种情况下紫边在图像上的具体分布
1-1首先选取一块尺寸为200mm*285mm的24色标准纸质色卡,在色卡的每个颜色小块中心打半径为5mm的小孔后,将色卡紧贴透射式灯箱的透光面放置,透射式灯箱的光源强度Ieqp可调;再将透射式灯箱和色卡装置放于照射光源下距离1.5m,透射式灯箱透射面的法线与照射光源的辐射出射面的法线成45°角放置,照射光源强度Ilum可调;最后放置用于拍摄实拍装置的数码相机,数码相机的光轴与透射式灯箱透射面的法线成45°角,与照射光源的辐射出射面的法线成90°角放置,同时数码相机像面距离透射式灯箱透射面的拍摄距离Lshot可调。此即实拍装置与数码相机的具体相对位置关系,实拍装置与实拍实验中可调变量的示意图如图4所示;
实拍装置搭建完毕以后,即可分别固定实拍装置的光源强度Ieqp,照射实拍装置的光源强度Ilum和拍摄距离Lshot三个变量中的两个,调整不固定的一个变量(如:固定Ieqp与Ilum,调整Lshot)以改变实验条件,进行拍摄;
在具体的实验中,可将实拍装置的光源强度Ieqp,照射实拍装置的光源强度Ilum等分为10档,其中光源强度的档位以输入功率大小来控制;可将拍摄距离Lshot分为3档,分别为0.75m,1.0m与1.5m。共计拍摄300种不同实验条件下的紫边分布图像,即可获得三个变量分别变化时实拍装置的图像。
1-2首先得到特定的Ieqp,Ilum和Lshot条件下拍摄的实拍装置图像检索特定的实拍装置图像中所有颜色小块的位置,对于某一个颜色小块中的所有像素点(colorindex为24色卡中指示颜色的颜色索引),若其R通道和B通道的像素值满足以下条件,则将其确定为过曝光饱和像素点:
pixeloverex={pixel|pixelR≥TR,pixelB≥TB} (1)
其中,pixeloverex为过曝光饱和像素点;pixel为Iori的像素点;pixelR和pixelB分别为对应Iori的像素点的R通道和B通道的像素值;TR和TB分别为R通道和B通道的阈值;
其中,为第i次膨胀过程得到的记录过曝区域与紫边区域的二值图像;为记录过曝区域的二值图像;与为分辨率相同的二值图像;Ci为半径为ri的圆形滤波器,其为(2ri+1)×(2ri+1)的方阵,a,b分别为圆形滤波器Ci的横坐标与纵坐标;xcolorpatch,ycolorpatch分别为圆形滤波器Ci在上滑动时圆形滤波器Ci的中心坐标;Ci(a,b)表示圆形滤波器坐标系下,横坐标为a,纵坐标为b的点的滤波器坐标值,表示将记录过曝区域的二值图像与圆形滤波器Ci进行形态学膨胀的操作,所在的条件式具体为:表示中心坐标为(xcolorpatch,ycolorpatch)的圆形滤波器中值为1的点在二值图像上坐标值集合,表示二值图像中值为1的点的坐标值集合,条件式表示两个集合的交集为空集的条件。
其中,为第i次膨胀过程得到的记录过曝区域与紫边区域的二值图像;为第i-1次膨胀过程得到的记录过曝区域与紫边区域的二值图像;(x,y)为在图像中像素点的坐标;R,G,B为在图像中坐标为(x,y)的像素点的像素值;N为符合不等式条件的所有像素点个数之和;
Ri,Gi,Bi为第i次膨胀操作得到的紫边区域的平均像素值;
其中,Ri,Gi,Bi为第i次膨胀操作得到的紫边区域的平均像素值;i为膨胀次数;为一个紫边分布函数,此即为特定的实拍装置的光源强度Ieqp,照射实拍装置的光源强度Ilum和拍摄距离Lshot下colorindex的紫边分布函数,某一组特定的Ieqp,Ilum和Lshot下的紫边分布函数如图5所示,小块的排列顺序与标准24色卡的排列顺序相同,每一个小窗的横轴坐标为膨胀因子索引i,纵轴为像素值;
具体实验中,膨胀次数索引i为的初始值为1,最大值为30,每次迭代膨胀过曝区域时,使i=i+1,直至i到达最大值;
步骤2.将拍摄得到的紫边分布根据图像内容的颜色信息加入到大量高清图像中,得到用于卷积神经网络模型训练的训练集
2-1获得一张高清图像(实验中的高清图像分辨率为3000*2000像素),将高清图像按照从左至右,从上至下的顺序以裁剪成图像小块(实验中的图像小块的大小为200*200像素,裁剪过程中图像小块与图像小块之间紧密相连);
对于裁剪操作后获得的图像小块,随机选择该图像小块模拟过曝光区域的方式:1、以最大阈值生长方式生成“天空”区域以模拟过曝光区域;2、在图像小块中的随机位置覆盖“光源”掩膜以模拟过曝光区域;
其中,以最大阈值生长方式生成“天空”区域模拟过曝光区域的具体处理方式为:首先计算图像小块中亮度值最大的像素位置(亮度值由三通道像素值平均得到),然后以亮度值最大的像素位置作为种子点位置,生长四联通域,直至联通点的亮度值与种子点的亮度值之差大于阈值时,停止生长,即可获得覆盖模拟过曝光区域掩膜的图像小块;在图像小块中的随机位置覆盖“光源”掩膜的具体处理方式为:收集部分典型光源图片(如路灯,台灯等等),利用图像分割软件分割出光源区域作为“光源”掩膜,将其放于图像小块的任意位置,即可获得覆盖模拟过曝光区域掩膜的图像小块;
随机选择以上两种覆盖掩膜的方式,对图像小块进行处理即可获得覆盖模拟过曝光区域的掩膜小块patchmask。对于裁剪操作后获得的图像小块模拟两种过曝光区域方式的示意图如图6所示。
2-2首先,将掩膜小块patchmask中的掩膜mask视为过曝区域,检索patchmask中的所有像素点,计算当前像素点与掩膜mask中标记的所有像素点的距离,排序获得距离中的最小值dismin。若dismin的值在0至30之间,则将dismin四舍五入为整数[dismin],并通过下式判断与当前像素点颜色信息最接近的紫边分布函数:
其中,R、G、B为当前像素点的三通道值;R30、G30、B30为步骤(1.2)获得的颜色序号colorindex的膨胀操作次数为30情况下的紫边区域的平均像素值;
得到了最符合当前像素点条件的Ieqp,Ilum,Lshot与colorindex情况以后,将当前像素点的R,G,B值替换为步骤(1.2)得到的紫边分布函数,具体计算公式如下所示:
对掩膜小块patchmask中的所有像素点都做如上处理,即可得到受紫边影响图像小块patchPF。根据掩膜小块patchmask周围的物体颜色信息将最接近的紫边分布函数加到掩膜周围以得到受紫边影响图像小块patchPF示意图如图7所示。
2-3将掩膜小块patchmask和受紫边影响图像小块patchPF分别按照其在原高清图像中对应的位置拼接起来,组成掩膜图像figuremask和受紫边影响的图像figurePF,figuremask和figurePF即为组成训练集的图像对,重复(2.1)至(2.3)的操作,对大量高清图像做相同的处理,组成训练集;
步骤3.以训练集迭代训练初始化后的卷积神经网络模型,训练完毕后将数字成像系统拍摄得到的带有紫边的图像输入该训练好的模型,得到消除紫边后的图像
3-1将卷积神经网络模型的初始模型参数(即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值),以固定的初始化方式初始化为32位浮点数,使所有初始模型参数服从(0,1)之间的均匀分布
3-2对于输入的受紫边影响图像figurePF,当k=1,2,3,4时,k表示卷积层的序号,利用下式处理受紫边影响图像figurePF:
其中,为上一层k-1层卷积层处理得到的结果(即为输入的受紫边影响图像figurePF);Conv即为用初始化后的初始卷积核和初始偏置矩阵对输入做卷积的操作;DownSample即为对卷积之后的结果做0.5倍下采样的操作;为第k层卷积层处理得到的结果;
其中,为上一层k-1层卷积层处理得到的结果;为与第k层中心对称的卷积层处理的结果;Conv即为用初始化后的初始卷积核和初始偏置矩阵对输入做卷积的操作;UpSample即为对卷积之后的结果做2.0倍上采样的操作;Cat即为将特征与特征沿着第三个维度(即图像的通道维度)拼接起来的操作;为第k层卷积层处理得到的结果;
3-4首先通过下式获得保真项误差LossMSE对所有卷积神经网络模型的卷积层的卷积核权重和偏置参数的偏导数值:
其中,为由式(8)和式(9)获得的,最后一级卷积层输出的特征图像;和分别为式(8)和式(9)中卷积层Conv的卷积核权重和偏置参数,k=1,2,...,n表示卷积层的级数;figuremask为在训练集中与受紫边影响图像figurePF成对的真值图像;l为两次更新偏导数的步骤之间输入样本图像的序号;m为两次更新偏导数的步骤之间输入样本图像的总量(具体实验中,每输入16个样本图像更新一次偏导);
其中,和分别为卷积层Conv的卷积核权重和偏置参数,k=1,2,...,n表示卷积层的级数;α为学习速率,是控制卷积核权重和偏置参数变化快慢的参数;与为由式(11)和式(12)计算得到的保真项误差对于卷积层的卷积核权重和偏置参数的偏导数值。
3-5根据调整后的卷积神经网络模型参数和多个受紫边影响图像figurePF,继续进行步骤(3.2)至步骤(3.4)的操作,进行模型参数调整的过程,直至迭代次数达到预设次数,则模型训练完毕,将数字成像系统拍摄得到的带有紫边的图像输入该训练好的模型,得到消除紫边后的图像figureDePF。
利用本发明提出的方法对数字成像系统拍摄的受紫边影响的图像figurePF校正紫边后得到的校正图像figureDePF的对比示意图如图8所示。
Claims (10)
1.一种利用卷积神经网络模型的图像紫边校正方法,其特征在于,该方法包括以下步骤:
(1)使用数字成像系统拍摄实拍装置获得各种情况下紫边在图像上的具体分布,具体是:
(1.1)将实拍装置的光源强度Ieqp、照射实拍装置的光源强度Ilum和拍摄距离Lshot作为三个变量,使用数字成像系统拍摄获得三个变量分别变化时实拍装置的图像;
(1.2)根据实拍得到的图像,通过形态学膨胀的方法获得三个变量Ieqp、Ilum和Lshot组合下的紫边分布函数;
(2)将拍摄得到紫边分布函数根据图像内容的颜色信息加入到高清图像中,得到用于训练卷积神经网络的训练集,具体是:
(2.1)将高清图像裁剪成固定大小的图像小块,每个图像小块随机覆盖模拟过曝光区域的掩膜得到掩膜小块patchmask,然后将掩膜小块patchmask按照各自在原高清图像中对应的位置拼接起来组成掩膜图像figuremask;
(2.2)根据掩膜周围的物体颜色信息将最接近的紫边分布函数加到掩膜小块patchwask的掩膜周围,得到受紫边影响图像小块patchPF,将受紫边影响图像小块patchPF按照各自在原高清图像中对应的位置拼接起来,组成受紫边影响图像figurePF,一幅掩膜图像figuremask和一幅受紫边影响图像figurePF组成训练集的一对图像对;
(2.3)重复(2.1)至(2.2)的操作,对多幅高清图像做相同的处理,组成训练集;
(3)以训练集迭代训练初始化后的卷积神经网络模型,直至迭代次数达到预设次数,卷积神经网络模型训练完毕,将数字成像系统拍摄得到的带有紫边的图像输入训练后的卷积神经网络模型,得到消除紫边后的图像,具体是:
(3.1)以固定的初始化方法初始化待训练卷积神经网络模型的初始模型参数,使得服从特定的分布;
(3.2)获得训练集中的受紫边影响图像figurePF,在初始化后的卷积神经网络模型的各级卷积层上,使用各级卷积层上的初始卷积核和初始偏置矩阵,对每个受紫边影响图像分别进行卷积操作和上下采样操作,得到每个受紫边影响图像在各级卷积层上的特征图像表示卷积层的级数;
(3.4)根据计算得到的保真项误差LossMSE,对待训练的卷积神经网络模型参数进行调整;
(3.5)根据调整后的卷积神经网络模型参数和多个受紫边影响图像figurePF,继续进行步骤(3.2)至步骤(3.4)的操作,进行模型参数调整的过程,直至迭代次数达到预设次数,则模型训练完毕,将数字成像系统拍摄得到的带有紫边的图像输入该训练好的模型,得到消除紫边后的图像figureDePF。
2.根据权利要求1所述的利用卷积神经网络模型的图像紫边校正方法,其特征在于:所述的数字成像系统是数码相机或手机的成像系统。
3.根据权利要求1所述的利用卷积神经网络模型的图像紫边校正方法,其特征在于:所述的数字成像系统拍摄得到的带有紫边的图像,是由数码相机或手机拍摄的,在过曝区域与正常曝光区域之间的过渡区域有紫色或绯红色色差的图像;所述的实拍装置是包括灯箱和色卡,色卡上开设孔,色卡置于灯箱的透光面上,灯箱从透光面发出平行光线,透过色卡的孔。
4.根据权利要求1所述的利用卷积神经网络模型的图像紫边校正方法,其特征在于:所述步骤(1)具体为:
(1.1.1)搭建实拍装置:选取一块多色标准纸质色卡(2),在色卡(2)的每个颜色小块中心打孔后,将色卡固定紧贴透射式灯箱(1)的透光面放置,透射式灯箱(1)的光源强度Ieqp可调;再将透射式灯箱(1)和色卡(2)放于照射光源强度Ilum可调的照射光源(3)下方,数码相机(4)位于透射式灯箱(1)侧方,照射光源(3)出射面和数码相机(4)镜头均朝向透射式灯箱(1),数码相机(4)的光轴、透射式灯箱(1)透射面的法线与照射光源(3)的出射面的法线位于同一平面上,且照射光源(3)的出射面的法线和数码相机(4)的光轴相垂直,透射式灯箱(1)透射面的法线位于照射光源(3)的出射面的法线和数码相机(4)的光轴之间的角平分线上,同时数码相机( 4 ) 像面距离透射式灯箱(1)透射面的拍摄距离Lshot可调;
(1.1.2)实拍装置搭建完毕以后,分别固定透射式灯箱(1)的光源强度Ieqp、照射光源(3)的光源强度Ilum和拍摄距离Lshot三个变量中的两个,调整其中一个变量以改变实验条件,进行多次不同光源强度/拍摄距离的拍摄。
5.根据权利要求4所述的利用卷积神经网络模型的图像紫边校正方法,其特征在于:所述步骤(1.2)具体为:
(1.2.1)根据步骤(1.1)得到三个变量Ieqp、Ilum和Lshot条件下拍摄的实拍装置图像色卡(2)上的一种颜色区域作为一个颜色小块,遍历实拍装置图像中各个颜色小块对于某一个颜色小块中的每个像素点,colorindex为色卡中指示颜色的颜色序号,若像素点的R通道和B通道的像素值满足以下条件,则将该像素点作为过曝光饱和像素点:
pixeloverex={pixel|pixelR≥TR,pixelB≥TB} (1)
其中,pixeloverex为过曝光饱和像素点;pixel为Iori的像素点;pixelR和pixelB分别为对应Iori的像素点的R通道和B通道的像素值;TR和TB分别为R通道和B通道的预设阈值;
(1.2.2)新建一个与当前处理的颜色小块分辨率大小相同的二值图像在二值图像中将过曝光饱和像素点pixeloverex的坐标位置标记为1,其他坐标位置都为0,由所有过曝光饱和像素点pixeloverex构成过曝区域;
其中,为第i次膨胀过程得到的二值图像;为步骤(1.2.2)获得的二值图像;与为分辨率相同的二值图像;Ci为半径为ri的圆形滤波器,为(2ri+1)×(2ri+1)的方阵,a,b分别为圆形滤波器Ci的横坐标与纵坐标;xcolorpatch,ycolorpatch分别为圆形滤波器Ci在上滑动时圆形滤波器Ci的中心坐标;Ci(a,b)表示圆形滤波器坐标系下,横坐标为a,纵坐标为b的点的滤波器坐标值,表示将二值图像与圆形滤波器Ci进行形态学膨胀的操作,所在的条件式具体为:表示中心坐标为(xcolorpatch,ycolorpatch)的圆形滤波器中值为1的点在二值图像上坐标值集合,表示二值图像中值为1的点的坐标值集合,条件式表示两个集合的交集为空集的条件;
其中,为第i次膨胀过程得到的二值图像;为第i-1次膨胀过程得到的二值图像;(x,y)为在图像中像素点的坐标;R,G,B为在实拍装置图像中坐标为(x,y)的像素点的RGB三个通道的像素值;N为符合公式后部不等式条件的所有像素点个数之和;Ri、Gi、Bi为第i次膨胀操作得到的紫边区域的RGB三个通道的平均像素值;
6.根据权利要求1所述的利用卷积神经网络模型的图像紫边校正方法,其特征在于:所述步骤(2.1)具体为:
(2.1)针对每一张高清图像,将高清图像划分裁剪成各个图像小块;对图像小块进行生成过曝光区域的掩膜处理,获得覆盖模拟过曝光区域的掩膜小块patchmask;
(2.2)首先,将掩膜小块patchmask中的模拟过曝光区域的掩膜mask作为过曝区域,遍历patchmask中的所有像素点,计算当前像素点与掩膜mask中各个像素点之间的RGB颜色距离,排序获得所有RGB颜色距离中的最小值dismin,若最小值dismin的值在0至30之间,则将最小值dismin四舍五入为整数[dismin];并通过下式找到与当前像素点颜色信息最接近的一个紫边分布函数:
其中,R、G、B为当前像素点的三通道值;R30、G30、B30为步骤(1.2)获得的颜色序号colorindex的膨胀操作次数为30情况下的紫边区域的平均像素值;
7.根据权利要求1所述的利用卷积神经网络模型的图像紫边校正方法,其特征在于:所述步骤(3.1)具体为:卷积神经网络模型包含有八层卷积层,将卷积神经网络模型的初始模型参数,即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值,初始化为32位浮点数,使所有初始模型参数服从(0,1)之间的均匀分布。
8.根据权利要求1所述的利用卷积神经网络模型的图像紫边校正方法,其特征在于:所述步骤(3.2)具体为:对于输入的受紫边影响图像figurePF,在当前第k层卷积层且k=1,2,3,4时,k表示卷积层的序号,利用下式处理获得经第k层卷积层处理得到的结果图像:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010135788.2A CN111340734B (zh) | 2020-03-02 | 2020-03-02 | 一种利用卷积神经网络模型的图像紫边校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010135788.2A CN111340734B (zh) | 2020-03-02 | 2020-03-02 | 一种利用卷积神经网络模型的图像紫边校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340734A CN111340734A (zh) | 2020-06-26 |
CN111340734B true CN111340734B (zh) | 2022-03-29 |
Family
ID=71183855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010135788.2A Active CN111340734B (zh) | 2020-03-02 | 2020-03-02 | 一种利用卷积神经网络模型的图像紫边校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340734B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932452B (zh) * | 2020-07-07 | 2022-08-19 | 浙江大学 | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 |
CN112102200B (zh) * | 2020-09-21 | 2024-05-07 | 腾讯科技(深圳)有限公司 | 图像补全模型初始化方法、训练方法和图像补全方法 |
CN112887693B (zh) * | 2021-01-12 | 2023-04-18 | 浙江大华技术股份有限公司 | 图像紫边消除方法、设备及存储介质 |
CN113191959B (zh) * | 2021-03-08 | 2022-06-17 | 浙江大学 | 一种基于退化标定的数字成像系统极限像质提升方法 |
CN113419307B (zh) * | 2021-05-31 | 2023-03-17 | 北京邮电大学 | 一种光纤成像系统 |
US11863916B2 (en) * | 2022-01-27 | 2024-01-02 | Altek Semiconductor Corporation | Color correction method and image correction apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103379343A (zh) * | 2012-04-12 | 2013-10-30 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN106251298A (zh) * | 2016-07-22 | 2016-12-21 | 华为技术有限公司 | 处理图像的方法和装置 |
CN106657946A (zh) * | 2017-01-12 | 2017-05-10 | 深圳岚锋创视网络科技有限公司 | 图像紫边消除系统和方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7577292B2 (en) * | 2005-12-30 | 2009-08-18 | Microsoft Corporation | Automatic removal of purple fringing from images |
US9794540B2 (en) * | 2015-04-17 | 2017-10-17 | Google Inc. | Hardware-based convolutional color correction in digital images |
US10417752B2 (en) * | 2017-10-13 | 2019-09-17 | Axis Ab | Method of reducing purple fringing in images |
-
2020
- 2020-03-02 CN CN202010135788.2A patent/CN111340734B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103379343A (zh) * | 2012-04-12 | 2013-10-30 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN106251298A (zh) * | 2016-07-22 | 2016-12-21 | 华为技术有限公司 | 处理图像的方法和装置 |
CN106657946A (zh) * | 2017-01-12 | 2017-05-10 | 深圳岚锋创视网络科技有限公司 | 图像紫边消除系统和方法 |
Non-Patent Citations (3)
Title |
---|
"Correction of complex purple fringing by";Parveen Malik.et al;《IET Image Processing》;20191128;全文 * |
"DeepDemosaicking: Adaptive Image Demosaicking";Daniel Stanley Tan.et al;《IEEE》;20180531;全文 * |
"数字成像系统图像消紫边方法研究";张林;《中国优秀硕士学位论文全文数据库》;20180415;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111340734A (zh) | 2020-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340734B (zh) | 一种利用卷积神经网络模型的图像紫边校正方法 | |
CN110619632B (zh) | 一种基于Mask R-CNN的芒果实例对抗分割方法 | |
US11210839B2 (en) | Photometric image processing | |
WO1999039307A1 (en) | System for simulating the depth of field of an image in two-dimensional space and method of operation | |
US11526067B2 (en) | Lighting assembly for producing realistic photo images | |
CN106056629A (zh) | 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 | |
CN110163807B (zh) | 一种基于期望亮通道的低照度图像增强方法 | |
US7333669B2 (en) | Selecting an image processing path to provide desired noise | |
Ueda et al. | Underwater image synthesis from RGB-D images and its application to deep underwater image restoration | |
US20230276034A1 (en) | Method and system for adjusting projection dithering | |
CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
CN108629742B (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
CN106454144A (zh) | 一种对谷歌眼镜图像过度曝光的校正方法 | |
CN107194884A (zh) | 一种具有不同曝光值的多幅ldr图像获取方法 | |
Tang et al. | A local flatness based variational approach to retinex | |
CN112907461B (zh) | 一种红外雾天降质图像去雾增强方法 | |
CN111353960B (zh) | 一种基于区域生长与交叉通道信息的图像紫边校正方法 | |
CN117611501A (zh) | 一种低照度图像增强方法、装置、设备及可读存储介质 | |
US20040184672A1 (en) | Image processing method and apparatus for correcting photographic images | |
CN114972170B (zh) | 一种基于鱼眼相机的密集场景下抗遮挡的物体检测方法 | |
CN111640068A (zh) | 一种图像曝光度的无监督自动化校正方法 | |
JPH06160993A (ja) | 特徴画像データの抽出方法 | |
CN113487516B (zh) | 一种图像数据的去雾处理方法 | |
CN115100500A (zh) | 一种目标检测方法、装置和可读存储介质 | |
CN112104814B (zh) | 曝光度自动调节方法、装置及led显示屏校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240314 Address after: No. 169 Mujin Road, Ningbo High tech Zone, Ningbo City, Zhejiang Province, 315100 Patentee after: NINGBO YONGXIN OPTICS Co.,Ltd. Country or region after: China Address before: 310058 Yuhang Tang Road, Xihu District, Hangzhou, Zhejiang 866 Patentee before: ZHEJIANG University Country or region before: China |