CN110390648A - 一种基于非饱和与饱和高光区分的图像高光去除方法 - Google Patents
一种基于非饱和与饱和高光区分的图像高光去除方法 Download PDFInfo
- Publication number
- CN110390648A CN110390648A CN201910564024.2A CN201910564024A CN110390648A CN 110390648 A CN110390648 A CN 110390648A CN 201910564024 A CN201910564024 A CN 201910564024A CN 110390648 A CN110390648 A CN 110390648A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- high light
- intensity value
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 20
- 238000000926 separation method Methods 0.000 claims abstract description 4
- 230000008439 repair process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims 1
- 238000001579 optical reflectometry Methods 0.000 abstract description 4
- 239000004615 ingredient Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- KBPHJBAIARWVSC-RGZFRNHPSA-N lutein Chemical compound C([C@H](O)CC=1C)C(C)(C)C=1\C=C\C(\C)=C\C=C\C(\C)=C\C=C\C=C(/C)\C=C\C=C(/C)\C=C\[C@H]1C(C)=C[C@H](O)CC1(C)C KBPHJBAIARWVSC-RGZFRNHPSA-N 0.000 description 2
- 229960005375 lutein Drugs 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- KBPHJBAIARWVSC-XQIHNALSSA-N trans-lutein Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C(=CC(O)CC2(C)C)C KBPHJBAIARWVSC-XQIHNALSSA-N 0.000 description 2
- FJHBOVDFOQMZRV-XQIHNALSSA-N xanthophyll Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C=C(C)C(O)CC2(C)C FJHBOVDFOQMZRV-XQIHNALSSA-N 0.000 description 2
- 235000008210 xanthophylls Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于非饱和与饱和高光区分的图像高光去除方法。对于色彩平衡的高光图像，本发明按照漫反射、非饱和高光反射和饱和高光反射的分类标准对图像中的像素进行分类，获得高光图像的像素分类结果；对图像中的非饱和高光反射像素采用镜面分量分离的方法实现高光去除，对饱和高光像素区域采用样本块匹配方法来实现饱和高光像素的信息修复，而对图像中的漫反射像素不作处理，通过合并三种分类像素的结果数据获得不含有高光成分的图像。本发明方法可有效消除图像中的高光，同时不改变原图像中目标的色度信息，处理不同强度的高光分量时鲁棒性强，避免了传统的高光去除算法同时处理饱和与非饱和高光容易失效的问题。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于非饱和与饱和高光区分的图像高光去除方法。
背景技术
在采集目标图像的过程中，由于物体表面材质与平整度高或光照入射角度等原因使得图像中出现高光的情况十分常见。对图像中出现的高光区域进行标记和高光抑制或去除是图像处理中十分重要的预处理环节。
图像中的高光区域会掩盖被检测目标的特征信息使图像后续特征处理困难，目前处理单张图像中的高光方法多为基于色彩空间转换的高光抑制、基于双色反射模型的镜面反射分量去除和基于机器学习的图像处理等。其中基于色彩空间转换的高光抑制方法基本无法有效地还原图像中的颜色特征信息，基于机器学习的图像高光去除方法需要引入模型的搭建和训练同时难以保证监督学习的模型稳定性，因此非监督的高光处理方法的模型基础多采用双色反射模型。在目前基于双色反色光照模型中，高光去除的方法通常对图像中的高光类型不作饱和与非饱和高光区分，如Criminisi等提出基于样本块匹配的图像修复高光区域的方法，但这种方法过分依赖漫反射区域的纹理信息而忽略了非饱和高光区域像素中保留的图像颜色特征信息，大面积的高光区域修复时较容易出现算法失效的情况，缺乏稳定性，这导致图像的处理结果缺少针对性而使图像中被高光掩盖的颜色特征还原效果不佳。
综上所述，提出一种基于非饱和与饱和高光区分的图像高光去除方法，通过针对不同标记区域采用对应的高光去除方法，实现对图像特征信息的准确还原，方法具有较强的适用性。
发明内容
为了解决背景技术中存在的问题，本发明提出了一种基于非饱和与饱和高光区分的图像高光去除方法，能有效地处理图像中的高光反射问题，准确地还原图像的无高光信息，尤其适用于生活场景中的图像处理和工业高光场景的图像处理。
本发明采用的技术方案包含有以下步骤：
1)基于Shafer的双色反射光照模型和Shen在Chromaticity-based separationof reflection components in a single image中提出的MSF图像模型对原图像进行处理，通过MSF图像模型将原图像中的所有像素分类为漫反射像素、不处理的混合像素和待处理的混合像素，并根据待处理的混合像素的漫反射分量强度值判断待处理的混合像素是否为饱和高光像素并进行标记，之后将原图像所有像素中不属于漫反射像素和饱和高光像素的像素标记为非饱和高光像素
2)通过MSF图像模型，在色度空间中去除非饱和高光像素的镜面反射分量得到对应的无高光的非饱和高光像素；
3)通过样本块匹配方式修复饱和高光像素：根据待填充修复区域T边界处的纹理信息在已知区域H中寻找最优匹配样本块，用最优匹配样本块填充待填充修复区域T从而实现饱和高光像素所在区域的信息修复；
4)合并漫反射像素、无高光的非饱和高光像素、修复后的饱和高光像素的像素数据，得到无高光的图像。
所述步骤1)具体为：
1.1)建立图像的双色反射模型如下：
其中，I为输入的原图像，I(x)为原图像中像素点的强度值，D(x)为原图像中像素点的漫反射光强度值，S为原图像中像素点的镜面反射光强度值，wd(x)D(x)为原图像中像素点的漫反射分量强度值，ws(x)S为原图像中像素点的镜面反射分量强度值，wd(x)和ws(x)分别为原图像中像素点的漫反射分量强度值和镜面反射分量强度值的权重系数；下角标示r、g、b分别表示原图像的三个颜色通道：红色通道、绿色通道和蓝色通道；x为图像中的任一像素点，x＝{n,m}，{n,m}为像素点x在以图像左上角为原点建立的坐标系中的位置坐标，n和m分别为像素点x的行列数。
1.2)建立MSF图像模型
首先获取原图像像素点在三个颜色通道中的最大强度值和最小强度值，表达式如下所示：
Icmin(x)＝min(Ir(x),Ig(x),Ib(x))，Icmax(x)＝max(Ir(x),Ig(x),Ib(x))
其中，c为图像的颜色通道，c∈(r,g,b)；Icmin(x)为原图像像素点在三个颜色通道中的最小强度值，Icmax(x)为原图像像素点在三个颜色通道中的最大强度值；
之后计算原图像所有像素点在三个颜色通道中的最小强度值的均值表达式如下所示：
其中，count为图像像素数量，count＝n*m；
建立MSF图像的表达式：
其中，IMSF为MSF图像，IMSF(x)为MSF图像中像素点的强度值；
1.3)按如下分类方法对MSF图像像素进行分类：将满足条件A的MSF图像像素分类为漫反射像素；将满足条件B的MSF图像像素分类为待处理的混合像素；将既不满足条件A也不满足条件B的MSF图像像素分类为不处理的混合像素；
所述条件A为：Ic(x)-IMSF,c(x)<threshold
所述条件B为：
其中，Ic(x)为原图像中r,g,b三个通道中任一通道的像素的强度值，为MSF图像中r,g,b三个通道中任一通道的像素的强度值；
1.4)通过下述公式计算像素点的色度值：
其中，δc(x)为像素点的色度值；
从而可得MSF图像中像素点的色度值的计算公式如下：
δMSF,c(x)为MSF图像中像素点的色度值；
1.5)依次遍历待处理的混合像素和不处理的混合像素中的所有像素点x，在所有的漫反射像素中找到与像素点x的色度距离最小的漫反射像素点；
通过下述公式计算像素点x与漫反射像素中像素点之间的色度距离：
d＝∑c＝{r,g,b}|δc(x)-δc(x0)|
其中，δc(x0)为漫反射像素中像素点的色度值；
将与混合像素中的像素点x的色度距离最小的漫反射像素点代入双色反射模型中求解对应的漫反射分量强度值的权重系数wd(x)，求解表达式如下所示：
从而计算得到混合像素中的像素点x对应的漫反射分量强度值为：
Idiff(x)＝wd(x)*D(x0)
其中，Idiff(x)为漫反射分量强度值；
1.6)通过以下公式计算步骤1.5)中的漫反射分量强度值与原图像中像素的强度值差值：
org_diff(x)＝I(x)-Idiff(x)
其中，org_diff(x)为漫反射分量强度值与原图像中像素的强度值差值；
将原图像所有像素中满足饱和高光像素判别式的像素点标记为饱和高光像素，将原图像所有像素中既不属于漫反射像素又不满足饱和高光像素判别式的像素点x标记为非饱和高光像素，从而完成对原图像像素的分类操作。
所述的步骤1.6)中的饱和高光像素判别式为：
∑org_diff，c(x)＝∑(Ic(x)-Idiff，c(x))>TH
其中，TH为判定阈值。
所述步骤2)中去除非饱和高光像素的镜面反射分量的方法如下：通过步骤1.5)得到非饱和高光像素的漫反射分量强度值，将漫反射分量强度值替换原图像中对应的非饱和高光像素的强度值，从而得到去除高光后的非饱和高光像素。
所述步骤3)中的样本块匹配方式为：
3.1)遍历待填充修复区域T中的边界点p，以边界点p为中心设立修复样本块，确认优先度最高的边界点p的修复样本块为待修复的修复样本块；
所述待填充修复区域T为未经修复的饱和高光像素所在的区域；
所述优先度的计算公式如下：
其中，P(p)为p点的优先度；
C(p)为置信度项，即为边界点p的修复样本块所在区域中已知区域H的占比，其占比越高则表示此修复样本块的置信程度越高，已知区域H为所有的非饱和高光像素和漫反射像素所在的区域；D(p)为数据项，即为修复样本块所在区域周围的纹理特征，其值越高则表示此处纹理特征越容易修复；
q为已知区域H的像素点；ψp和ψq分别为修复样本块和候选样本块，候选样本块为以像素点q为中心设置的样本块；κ为置信度校正系数，κ<1；e(qi)为已知区域或待填充修复区域T第i次更新后像素点q的图像等效面积值，其中e(q0)＝1，即所有的像素点q初始等效面积值为1；是像素点q处的等照度线；nq是修复样本块所在区域边界线上的像素点q处的单位法向量；
3.2)搜索最优匹配样本块并进行信息复制：
通过下述公式判断修复样本块ψp和候选样本块ψq的色彩特征匹配距离差：
其中，pij,c和qij,c分别为修复样本块和候选样本块中r,g,b三个通道的强度值，i,j分别为像素点q或边界点p在原图像中的行列位置；
通过下式计算得到最优匹配样本块：
ψq＝argmind(ψp,ψq),ψq∈S
将最优匹配样本块中的信息复制到待修复的修复样本块的对应位置，即ψp＝ψq，已知区域H和待填充修复区域T从而得到更新；
3.3)判断待填充修复区域T是否为空，若为空则完成修复，若不为空则返回至步骤3.1)再次进行修复，直至待填充修复区域T为空，由此完成饱和高光像素所在区域的修复。其中，新修复区域的像素点q的等效面积值更新表达式为：
本发明的有益效果是：
1、本发明对于图像采集系统要求较低，通过单张RGB图像即可实现对图像中的高光分量去除效果，对比其他高光处理方法，本发明避免了传统的高光去除算法同时处理饱和与非饱和高光容易失效的问题，能有效处理，对不同的高光图像情况具有较好的适用性，
2、本发明方法可有效消除图像中不同程度的高光分量，同时不改变原图像中目标的色度信息，处理不同强度的高光分量时鲁棒性强，且具有应用场景广泛、处理效率高等优点。
附图说明
图1为本发明方法的实现流程示意图。
图2为图像双色反射模型示意图。
图3为饱和高光修复原理示意图。
图4为本发明实施案例图，(a)为原图像，(b)为去除高光后的图像。
具体实施方式
下文结合附图和实施例对本发明的技术方案做详细描述。
对图4中含有高光的原图像进行高光去除，图像高光去除方法包括以下步骤(如图1所示)：
1)基于Shafer的双色反射光照模型和Shen在Chromaticity-based separationof reflection components in a single image中提出的MSF图像模型对如图4(a)中的原图像进行处理，通过MSF图像模型将原图像中的所有像素分类为漫反射像素、不处理的混合像素和待处理的混合像素，并根据待处理的混合像素的漫反射分量强度值判断待处理的混合像素是否为饱和高光像素并进行标记，之后将原图像所有像素中不属于漫反射像素和饱和高光像素的像素标记为非饱和高光像素。
图像双色反射模型的原理示意图如图2所示。
步骤1)具体为：
1.1)建立图像的双色反射模型如下：
其中，I为输入的原图像，I(x)为原图像中像素点的强度值，D(x)为原图像中像素点的漫反射光强度值，S为原图像中像素点的镜面反射光强度值，wd(x)D(x)为原图像中像素点的漫反射分量强度值，ws(x)S为原图像中像素点的镜面反射分量强度值，wd(x)和ws(x)分别为原图像中像素点的漫反射分量强度值和镜面反射分量强度值的权重系数；下角标示r、g、b分别表示原图像的三个颜色通道：红色通道、绿色通道和蓝色通道；x为图像中的任一像素点，x＝{n,m}，{n,m}为像素点x在以图像左上角为原点建立的坐标系中的位置坐标，n和m分别为像素点x的行列数。
1.2)建立MSF图像模型
首先获取原图像像素点在三个颜色通道中的最大强度值和最小强度值，表达式如下所示：
Icmin(x)＝min(Ir(x),Ig(x),Ib(x))，Icmax(x)＝max(Ir(x),Ig(x),Ib(x))
其中，c为图像的颜色通道，c∈(r,g,b)；Icmin(x)为原图像像素点在三个颜色通道中的最小强度值，Icmax(x)为原图像像素点在三个颜色通道中的最大强度值；
之后计算原图像所有像素点在三个颜色通道中的最小强度值的均值表达式如下所示：
其中，count为图像像素数量，count＝n*m；
建立MSF图像的表达式：
其中，IMSF为MSF图像，IMSF(x)为MSF图像中像素点的强度值；
1.3)按如下分类方法对MSF图像像素进行分类：将满足条件A的MSF图像像素分类为漫反射像素；将满足条件B的MSF图像像素分类为待处理的混合像素；将既不满足条件A也不满足条件B的MSF图像像素分类为不处理的混合像素；
所述条件A为：Ic(x)-IMSF,c(x)<threshold
所述条件B为：
其中，Ic(x)为原图像中r,g,b三个通道中任一通道的像素的强度值，为MSF图像中r,g,b三个通道中任一通道的像素的强度值；
1.4)通过下述公式计算像素点的色度值：
其中，δc(x)为像素点的色度值；
从而可得MSF图像中像素点的色度值的计算公式如下：
δMSF,c(x)为MSF图像中像素点的色度值；
1.5)依次遍历待处理的混合像素和不处理的混合像素中的所有像素点x，在所有的漫反射像素中找到与像素点x的色度距离最小的漫反射像素点；
通过下述公式计算像素点x与漫反射像素中像素点之间的色度距离：
d＝∑c＝{r,g,b}|δc(x)-δc(x0)|
其中，δc(x0)为漫反射像素中像素点的色度值；
将与混合像素中的像素点x的色度距离最小的漫反射像素点代入双色反射模型中求解对应的漫反射分量强度值的权重系数wd(x)，求解表达式如下所示：
从而计算得到混合像素中的像素点x对应的漫反射分量强度值为：
Idiff(x)＝wd(x)*D(x0)
其中，Idiff(x)为漫反射分量强度值；
1.6)通过以下公式计算步骤1.5)中的漫反射分量强度值与原图像中像素的强度值差值：
org_diff(x)＝I(x)-Idiff(x)
其中，org_diff(x)为漫反射分量强度值与原图像中像素的强度值差值；
将原图像所有像素中满足饱和高光像素判别式的像素点标记为饱和高光像素，将原图像所有像素中既不属于漫反射像素又不满足饱和高光像素判别式的像素点x标记为非饱和高光像素，从而完成对原图像像素的分类操作。
步骤1.6)中的饱和高光像素判别式为：
∑org_diff，c(x)＝∑(Ic(x)-Idiff，c(x))>TH
其中，TH为判定阈值。
2)通过MSF图像模型，在色度空间中去除非饱和高光像素的镜面反射分量得到对应的无高光的非饱和高光像素；
步骤2)中去除非饱和高光像素的镜面反射分量的方法如下：通过步骤1.5)得到非饱和高光像素的漫反射分量强度值，将漫反射分量强度值替换原图像中对应的非饱和高光像素的强度值，从而得到去除高光后的非饱和高光像素。
3)如图3所示，通过样本块匹配方式修复饱和高光像素：根据待填充修复区域T边界处的纹理信息在已知区域H中寻找最优匹配样本块，用最优匹配样本块填充待填充修复区域T从而实现饱和高光像素所在区域的信息修复；
步骤3)中的样本块匹配方式为：
3.1)遍历待填充修复区域T中的边界点p，以边界点p为中心设立修复样本块，确认优先度最高的边界点p的修复样本块为待修复的修复样本块；
所述待填充修复区域T为未经修复的饱和高光像素所在的区域；
所述优先度的计算公式如下：
其中，P(p)为p点的优先度；
C(p)为置信度项，即为边界点p的修复样本块所在区域中已知区域H的占比，其占比越高则表示此修复样本块的置信程度越高，已知区域H为所有的非饱和高光像素和漫反射像素所在的区域；D(p)为数据项，即为修复样本块所在区域周围的纹理特征，其值越高则表示此处纹理特征越容易修复；
q为已知区域H的像素点；ψp和ψq分别为修复样本块和候选样本块，候选样本块为以像素点q为中心设置的样本块；κ为置信度校正系数，κ<1；e(qi)为已知区域或待填充修复区域T第i次更新后像素点q的图像等效面积值，其中e(q0)＝1，即所有的像素点q初始等效面积值为1；是像素点q处的等照度线；nq是修复样本块所在区域边界线上的像素点q处的单位法向量
3.2)搜索最优匹配样本块并进行信息复制：
通过下述公式判断修复样本块ψp和候选样本块ψq的色彩特征匹配距离差：
其中，pij,c和qij,c分别为修复样本块和候选样本块中r,g,b三个通道的强度值，i,j分别为像素点q或边界点p在原图像中的行列位置；
通过下式计算得到最优匹配样本块：
ψq＝argmind(ψp,ψq),ψq∈S
将最优匹配样本块中的信息复制到待修复的修复样本块的对应位置，即ψp＝ψq，已知区域H和待填充修复区域T从而得到更新；
3.3)判断待填充修复区域T是否为空，若为空则完成修复，若不为空则返回至步骤3.1)再次进行修复，直至待填充修复区域T为空，由此完成饱和高光像素所在区域的修复。其中，新修复区域的像素点q的等效面积值更新表达式为：
4)合并漫反射像素、无高光的非饱和高光像素、修复后的饱和高光像素的像素数据，得到如图4(b)所示的无高光的图像。
Claims (5)
1.一种基于非饱和与饱和高光区分的图像高光去除方法，其特征在于，包括以下步骤：
1)基于Shafer的双色反射光照模型和Shen在Chromaticity-based separation ofreflection components in a single image中提出的MSF图像模型对原图像进行处理，通过MSF图像模型将原图像中的所有像素分类为漫反射像素、不处理的混合像素和待处理的混合像素，并根据待处理的混合像素的漫反射分量强度值判断待处理的混合像素是否为饱和高光像素并进行标记，之后将原图像所有像素中不属于漫反射像素和饱和高光像素的像素标记为非饱和高光像素；
2)通过MSF图像模型，在色度空间中去除非饱和高光像素的镜面反射分量得到对应的无高光的非饱和高光像素；
3)通过样本块匹配方式修复饱和高光像素：根据待填充修复区域T边界处的纹理信息在已知区域H中寻找最优匹配样本块，用最优匹配样本块填充待填充修复区域T从而实现饱和高光像素所在区域的信息修复；
4)合并漫反射像素、无高光的非饱和高光像素、修复后的饱和高光像素的像素数据，得到无高光的图像。
2.根据权利要求1所述的基于非饱和与饱和高光区分的图像高光去除方法，其特征在于，所述步骤1)具体为：
1.1)建立图像的双色反射模型如下：
其中，I为输入的原图像，I(x)为原图像中像素点的强度值，D(x)为原图像中像素点的漫反射光强度值，S为原图像中像素点的镜面反射光强度值，wd(x)D(x)为原图像中像素点的漫反射分量强度值，ws(x)S为原图像中像素点的镜面反射分量强度值，wd(x)和ws(x)分别为原图像中像素点的漫反射分量强度值和镜面反射分量强度值的权重系数；下角标示r、g、b分别表示原图像的三个颜色通道：红色通道、绿色通道和蓝色通道；x为图像中的任一像素点，x＝{n,m}，{n,m}为像素点x在以图像左上角为原点建立的坐标系中的位置坐标，n和m分别为像素点x的行列数；
1.2)建立MSF图像模型
首先获取原图像像素点在三个颜色通道中的最大强度值和最小强度值，表达式如下所示：
Icmin(x)＝min(Ir(x),Ig(x),Ib(x))，Icmax(x)＝max(Ir(x),Ig(x),Ib(x))
其中，c为图像的颜色通道，c∈(r,g,b)；Icmin(x)为原图像像素点在三个颜色通道中的最小强度值，Icmax(x)为原图像像素点在三个颜色通道中的最大强度值；
之后计算原图像所有像素点在三个颜色通道中的最小强度值的均值表达式如下所示：
其中，count为图像像素数量，count＝n*m；
建立MSF图像的表达式：
其中，IMSF为MSF图像，IMSF(x)为MSF图像中像素点的强度值；
1.3)按如下分类方法对MSF图像像素进行分类：将满足条件A的MSF图像像素分类为漫反射像素；将满足条件B的MSF图像像素分类为待处理的混合像素；将既不满足条件A也不满足条件B的MSF图像像素分类为不处理的混合像素；
所述条件A为：Ic(x)-IMSF,c(x)<threshold
所述条件B为：
其中，Ic(x)为原图像中r,g,b三个通道中任一通道的像素的强度值，IMSF,c(x)为MSF图像中r,g,b三个通道中任一通道的像素的强度值；
1.4)通过下述公式计算像素点的色度值：
其中，δc(x)为像素点的色度值；
从而可得MSF图像中像素点的色度值的计算公式如下：
δMSF,c(x)为MSF图像中像素点的色度值；
1.5)依次遍历待处理的混合像素和不处理的混合像素中的所有像素点x，在所有的漫反射像素中找到与像素点x的色度距离最小的漫反射像素点；
通过下述公式计算像素点x与漫反射像素中像素点之间的色度距离：
d＝∑c＝{r,g,b}|δc(x)-δc(x0)|
其中，δc(x0)为漫反射像素中像素点的色度值；
将与混合像素中的像素点x的色度距离最小的漫反射像素点代入双色反射模型中求解对应的漫反射分量强度值的权重系数wd(x)，求解表达式如下所示：
从而计算得到混合像素中的像素点x对应的漫反射分量强度值为：
Idiff(x)＝wd(x)*D(x0)
其中，Idiff(x)为漫反射分量强度值；
1.6)通过以下公式计算步骤1.5)中的漫反射分量强度值与原图像中像素的强度值差值：
Δorg_diff(x)＝I(x)-Idiff(x)
其中，Δorg_diff(x)为漫反射分量强度值与原图像中像素的强度值差值；
将原图像所有像素中满足饱和高光像素判别式的像素点标记为饱和高光像素，将原图像所有像素中既不属于漫反射像素又不满足饱和高光像素判别式的像素点x标记为非饱和高光像素，从而完成对原图像像素的分类操作。
3.根据权利要求书2所述的基于非饱和与饱和高光区分的图像高光去除方法，其特征在于，所述的步骤1.6)中的饱和高光像素判别式为：
∑Δorg_diff,c(x)＝∑(Ic(x)-Idiff,c(x))>TH
其中，TH为判定阈值。
4.根据权利要求书2所述的基于非饱和与饱和高光区分的图像高光去除方法，其特征在于，所述步骤2)中去除非饱和高光像素的镜面反射分量的方法如下：通过步骤1.5)得到非饱和高光像素的漫反射分量强度值，将漫反射分量强度值替换原图像中对应的非饱和高光像素的强度值，从而得到去除高光后的非饱和高光像素。
5.根据权利要求书1所述的基于非饱和与饱和高光区分的图像高光去除方法，其特征在于，所述步骤3)中的样本块匹配方式为：
3.1)遍历待填充修复区域T中的边界点p，以边界点p为中心设立修复样本块，确认优先度最高的边界点p的修复样本块为待修复的修复样本块；
所述待填充修复区域T为未经修复的饱和高光像素所在的区域；
所述优先度的计算公式如下：
其中，P(p)为p点的优先度；
C(p)为置信度项，即为边界点p的修复样本块所在区域中已知区域H的占比，已知区域H为所有的非饱和高光像素和漫反射像素所在的区域；D(p)为数据项，即为修复样本块所在区域周围的纹理特征；
q为已知区域H的像素点；ψp和ψq分别为修复样本块和候选样本块，候选样本块为以像素点q为中心设置的样本块；κ为置信度校正系数，κ<1；e(qi)为已知区域或待填充修复区域T第i次更新后像素点q的图像等效面积值，其中e(q0)＝1，即所有的像素点q初始等效面积值为1；是像素点q处的等照度线；nq是修复样本块所在区域边界线上的像素点q处的单位法向量；
3.2)搜索最优匹配样本块并进行信息复制：
通过下述公式判断修复样本块ψp和候选样本块ψq的色彩特征匹配距离差：
其中，pij,c和qij,c分别为修复样本块和候选样本块中r,g,b三个通道的强度值，i,j分别为像素点q或边界点p在原图像中的行列位置；
通过下式计算得到最优匹配样本块：
ψq＝argmind(ψp,ψq),ψq∈S
将最优匹配样本块中的信息复制到待修复的修复样本块的对应位置，即ψp＝ψq，已知区域H和待填充修复区域T从而得到一次更新；
3.3)判断待填充修复区域T是否为空，若为空则完成修复，若不为空则返回至步骤3.1)再次进行修复，直至待填充修复区域T为空，由此完成饱和高光像素所在区域的修复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910564024.2A CN110390648A (zh) | 2019-06-24 | 2019-06-24 | 一种基于非饱和与饱和高光区分的图像高光去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910564024.2A CN110390648A (zh) | 2019-06-24 | 2019-06-24 | 一种基于非饱和与饱和高光区分的图像高光去除方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110390648A true CN110390648A (zh) | 2019-10-29 |
Family
ID=68285834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910564024.2A Withdrawn CN110390648A (zh) | 2019-06-24 | 2019-06-24 | 一种基于非饱和与饱和高光区分的图像高光去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390648A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080686A (zh) * | 2019-12-16 | 2020-04-28 | 中国科学技术大学 | 用于自然场景中图像高光去除的方法 |
| CN111754425A (zh) * | 2020-06-05 | 2020-10-09 | 北京有竹居网络技术有限公司 | 图像去高光处理方法、装置及电子设备 |
| CN111861927A (zh) * | 2020-07-24 | 2020-10-30 | 上海艾麒信息科技有限公司 | 图像场景还原方法及系统 |
| CN112419185A (zh) * | 2020-11-20 | 2021-02-26 | 湖北工业大学 | 基于光场迭代的精确高反光去除方法 |
| CN112561830A (zh) * | 2020-12-23 | 2021-03-26 | 安徽大学 | 一种内窥镜图像高亮点修复方法及装置 |
| CN112837243A (zh) * | 2021-03-05 | 2021-05-25 | 华侨大学 | 联合整体与局部信息的阴道镜图像高光消除的方法及装置 |
| CN113096188A (zh) * | 2021-06-09 | 2021-07-09 | 之江实验室 | 一种基于高光像素检测的视觉里程计位姿优化方法 |
| CN113469895A (zh) * | 2021-05-12 | 2021-10-01 | 电子科技大学 | 一种基于颜色分区的图像高光去除方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010026983A1 (ja) * | 2008-09-03 | 2010-03-11 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| CN105023249A (zh) * | 2015-06-26 | 2015-11-04 | 清华大学深圳研究生院 | 基于光场的高光图像修复方法及装置 |
| CN107481201A (zh) * | 2017-08-07 | 2017-12-15 | 桂林电子科技大学 | 一种基于多视角图像特征匹配的高光去除方法 |
| US10219703B2 (en) * | 2013-09-30 | 2019-03-05 | Carestream Dental Technology Topco Limited | Method and system for intra-oral imagine using HDR imaging and highlight removal |
-
2019
- 2019-06-24 CN CN201910564024.2A patent/CN110390648A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010026983A1 (ja) * | 2008-09-03 | 2010-03-11 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US10219703B2 (en) * | 2013-09-30 | 2019-03-05 | Carestream Dental Technology Topco Limited | Method and system for intra-oral imagine using HDR imaging and highlight removal |
| CN105023249A (zh) * | 2015-06-26 | 2015-11-04 | 清华大学深圳研究生院 | 基于光场的高光图像修复方法及装置 |
| CN107481201A (zh) * | 2017-08-07 | 2017-12-15 | 桂林电子科技大学 | 一种基于多视角图像特征匹配的高光去除方法 |
Non-Patent Citations (1)
| Title |
|---|
| 芦彦欣: "面向金属零件特征提取的高光去除技术研究与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080686A (zh) * | 2019-12-16 | 2020-04-28 | 中国科学技术大学 | 用于自然场景中图像高光去除的方法 |
| CN111080686B (zh) * | 2019-12-16 | 2022-09-02 | 中国科学技术大学 | 用于自然场景中图像高光去除的方法 |
| CN111754425A (zh) * | 2020-06-05 | 2020-10-09 | 北京有竹居网络技术有限公司 | 图像去高光处理方法、装置及电子设备 |
| CN111861927B (zh) * | 2020-07-24 | 2022-06-28 | 上海艾麒信息科技有限公司 | 图像场景还原方法及系统 |
| CN111861927A (zh) * | 2020-07-24 | 2020-10-30 | 上海艾麒信息科技有限公司 | 图像场景还原方法及系统 |
| CN112419185A (zh) * | 2020-11-20 | 2021-02-26 | 湖北工业大学 | 基于光场迭代的精确高反光去除方法 |
| CN112561830A (zh) * | 2020-12-23 | 2021-03-26 | 安徽大学 | 一种内窥镜图像高亮点修复方法及装置 |
| CN112561830B (zh) * | 2020-12-23 | 2022-11-18 | 安徽大学 | 一种内窥镜图像高亮点修复方法及装置 |
| CN112837243A (zh) * | 2021-03-05 | 2021-05-25 | 华侨大学 | 联合整体与局部信息的阴道镜图像高光消除的方法及装置 |
| CN112837243B (zh) * | 2021-03-05 | 2023-05-30 | 华侨大学 | 联合整体与局部信息的阴道镜图像高光消除的方法及装置 |
| CN113469895A (zh) * | 2021-05-12 | 2021-10-01 | 电子科技大学 | 一种基于颜色分区的图像高光去除方法 |
| CN113469895B (zh) * | 2021-05-12 | 2023-05-23 | 电子科技大学 | 一种基于颜色分区的图像高光去除方法 |
| CN113096188A (zh) * | 2021-06-09 | 2021-07-09 | 之江实验室 | 一种基于高光像素检测的视觉里程计位姿优化方法 |
| CN113096188B (zh) * | 2021-06-09 | 2021-09-21 | 之江实验室 | 一种基于高光像素检测的视觉里程计位姿优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390648A (zh) | 一种基于非饱和与饱和高光区分的图像高光去除方法 | |
| CN101421748B (zh) | 自动检测并校正非红眼闪光缺陷 | |
| Peng et al. | Image haze removal using airlight white correction, local light filter, and aerial perspective prior | |
| CN101620679B (zh) | 图像中的红眼消除方法 | |
| CN107292307B (zh) | 一种倒置汉字验证码自动识别方法及系统 | |
| US20070098260A1 (en) | Detecting and correcting peteye | |
| CN109308711A (zh) | 目标检测方法、装置及图像处理设备 | |
| JP2003271971A (ja) | ディジタルカラー画像信号における照度変化のリアルタイムの識別と補償のための方法 | |
| JP2007097178A (ja) | 顔検出による赤目の除去方法 | |
| CN105069756A (zh) | 图像增强方法 | |
| US8861867B2 (en) | Reuse of image processing information | |
| JP2010160792A (ja) | 赤目を検出する方法、コンピューター読み取り可能な媒体および画像処理装置 | |
| US20170193644A1 (en) | Background removal | |
| US20130084014A1 (en) | Processing method for image interpolation | |
| CN107507142A (zh) | 信号灯图像处理方法 | |
| US8218864B2 (en) | Method and device for maintaining image background by multiple Gaussian models | |
| CN107481201A (zh) | 一种基于多视角图像特征匹配的高光去除方法 | |
| CN101771825B (zh) | 图像亮色补偿的方法和装置 | |
| JP2011081803A (ja) | 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置 | |
| CN104574377A (zh) | 用于电子警察的红灯偏黄的校正方法 | |
| CN107211067A (zh) | 校正扫描仪模块之间的色差 | |
| CN101222572B (zh) | 白平衡处理装置 | |
| JP5327766B2 (ja) | デジタル画像における記憶色の修正 | |
| US8774506B2 (en) | Method of detecting red eye image and apparatus thereof | |
| CN104346599B (zh) | 一种色彩边缘的检测方法及图像处理设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191029 |
|
| WW01 | Invention patent application withdrawn after publication |