CN107481201A - 一种基于多视角图像特征匹配的高光去除方法 - Google Patents

一种基于多视角图像特征匹配的高光去除方法 Download PDF

Info

Publication number
CN107481201A
CN107481201A CN201710667387.XA CN201710667387A CN107481201A CN 107481201 A CN107481201 A CN 107481201A CN 201710667387 A CN201710667387 A CN 201710667387A CN 107481201 A CN107481201 A CN 107481201A
Authority
CN
China
Prior art keywords
mrow
msub
mtd
image
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710667387.XA
Other languages
English (en)
Inventor
温佩芝
周迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201710667387.XA priority Critical patent/CN107481201A/zh
Publication of CN107481201A publication Critical patent/CN107481201A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多视角图像特征匹配的高光去除方法，其特征是，包括如下步骤：1）空间转换和亮度调整；2）辅助图视角转换；3）基准图的高光去除。这种方法在保证图像峰值信噪比和结构相似性提高的同时能最大限度地恢复高光区域的纹理细节信息，高光去除后的视觉效果较好，符合实际应用的需要。

Description

一种基于多视角图像特征匹配的高光去除方法
技术领域
本发明涉及图像处理领域，具体是一种基于多视角图像特征匹配的高光去除方法。
背景技术
在拍摄表面光滑的物体照片时，因反光的影响在图像中易形成高光区域。高光表现为高强度像素，会遮挡物体表面的纹理，饱和的高光更是会直接导致局部区域纹理 信息丢失，给基于图像的应用研究，例如目标检测、图像分割和物体三维重建等造成 极大的困难。因此，多年来研究图像高光检测和去除一直是图像处理领域的关键和难 点问题。
现有的高光去除方法根据使用的图像数量可以分为单幅图像去除高光方法和多幅 图像去除高光方法。
(1)单幅图像去除高光方法有：在双色反射模型的基础上的基于无高光图(Specular-Free，简称SF)的高光去除方法，该方法不需要几何信息和图像分割预处 理，仅依靠色度信息就能去除高光，但鲁棒性不强；受益于光场成像技术，在准确估 计图像深度后分析颜色方差进行高光去除，但该方法对大面积高光去除效果不佳；对 于高光饱和的区域采用相邻像素点迭代填充的方法去除，但仅适用于去除单色区域的 高光，对于非单色区域的高光区域这一方法并不适用，总之，单幅图像去高光方法都 有高光饱和度和纹理信息的限制；
(2)多幅图像去除高光方法有：在保持视角不变的情况下，通过改变光源的入射角度来去除高光，但该方法对硬件和实验环境要求过高；用仅改变曝光亮度的方法来 削弱高光区域对图像重构的影响，但无法去除高光重叠的区域的高光；拍摄一系列图 像，通过分析多幅图像序列的颜色信息去除高光，但不适合高光区域较大的物体，且 需要大量的实验图像，运算量大，且对于多角度图像会产生一定的误差，总之，现有 的多幅图像高光去除方法对于高光范围较大且高光饱和的区域使用多幅图像方法仍 然存在着对硬件设施和实验环境要求过高和无法去除纹理信息丰富的多视角图像高 光区域的问题。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于多视角图像特征匹配的高光去除方法。这种方法在保证图像峰值信噪比和结构相似性提高的同时能最大限度地 恢复高光区域的纹理细节信息，高光去除后的视觉效果较好，符合实际应用的需要。
实现本发明目的的技术方案是：
一种基于多视角图像特征匹配的高光去除方法，包括如下步骤：
1)空间转换和亮度调整：选取两幅不同视角的图像分别作为基准图和辅助图， 将基准图和辅助图从RGB空间转换到HSV(hue saturation value，简称HSV)色彩空 间，将辅助图亮度调整到和基准图的亮度一致，再将亮度调整后的两幅图由HSV色彩 空间转换到RGB空间中；
2)辅助图视角转换：将亮度调整后的两幅图的图像进行特征点匹配，并计算出 单应性变换矩阵，然后采用最优单应性矩阵将亮度调整后的辅助图的图像透视视角变 换到与基准图的图像透视视角一致；
3)基准图的高光去除：采用改进的无高光MSF(Modified Specular-Free，简称MSF)算法对基准图进行处理，获得基准图的MSF图，再采用基准图的MSF图对基准 图高光像素逐个进行检测，得到基准图的高光像素区域，最后采用辅助图中相应的像 素对基准图进行填补，完成基准图的高光去除。
步骤1)中所述基准图和辅助图从RGB空间转换到HSV色彩空转换按照公式(1) 转换：
设(r,g,b)是颜色的红绿蓝坐标，取值范围都是[0,1]，max为r,g,b中最大值， min为最小值，色调值h范围[0,360),s,l∈[0,1]分别是饱和度和亮度，则
步骤1)中所述将辅助图亮度调整到与基准图亮度一致按照公式(2)调整：
在HSV空间中设辅助图的图像像素亮度为Vb，基准图的图像像素亮度为Va，
辅助图的图像像素调整之后的亮度为Vb'，则
其中，和分别为基准图4a和辅助图像素的平均亮度值。
步骤1)中所述两幅图由HSV空间转换到RGB空间按照公式(3)和公式(4)转 换：
p＝v×(1-s)
q＝v×(1-f×s)
t＝v×(1-(1-f)×s) (3)
其中，公式(3)中各字母含义同公式(1)，
每个颜色向量(r,g,b)按照公式(4)统一：
步骤2)中所述的特征点匹配为：采用SIFT算法提取经过亮度调整后的辅助图和基准图上的特征点，并用RANSAC算法剔除错误匹配点，如果匹配点的个数小于最小 匹配点数20时，则待匹配的两幅图片差异太大而无法实现正确匹配；如果匹配点数 大于20，则可以进行匹配。
步骤2)中所述的计算单应性矩阵为：
在计算机视觉中，单应性被定义为一个面到另一个面的投影映射，其实际上是照相机成像过程不同坐标平面转换的过程，假设将辅助图投影到基准图平面上，两个平 面之间转换关系可以用一个3*3的单应性矩阵表示：
其中H为不同元素的3×3矩阵单应性矩阵，且：
从提取的匹配点中随机选取4对匹配点，保证这4个样本不共线，然后将这4对 匹配点带入公式(7)计算出一个初始单应性矩阵
a11u+a21v+a31-a13uX-a23vX＝X
a12u+a22v+a32-a13uY-a23vY＝Y (7)
采用上述求得的初始单应性矩阵模型测试所有匹配点，并建立满足匹配点数目代价函数式，构建的代价函数如公式(8)所示：
其中N为两幅图像检测到的有效匹配点对数，i为其中某一个匹配点，采用公式(8)测试所有匹配点对，并计算满足该模型的匹配点对的代价函数值，若此模型为最 优模型，则对应的代价函数最小。
步骤2)中所述采用最优单应性矩阵将亮度调整后的辅助图的图像透视视角变换到与基准图的图像透视视角一致具体为：
由于视角不同，需要辅助图像转换到与基准图像保持一致的视角，求取最优单应性矩阵H后，对辅助图进行变换，变换后的像素坐标(X,Y)可由公式(9)求出，即完 成了辅助图的视角转换，
其中，S为变换系数，变换后的像素坐标(X,Y)，初始坐标为(u,v)。
步骤3)中所述获得基准图的MSF图具体为：改进的无高光图MSF图是由原始图 像的每一个像素值减去相应RGB通道最小值再加偏移量获得，这个偏移量是一个标量， 是图像中每个像素通道最小值的平均值，公式如下式(10)
其中i为R,G,B三个颜色通道，Vmsf,i(x,y)是像素在MSF图像的第i通道的灰度值， Vi(x,y)是像素在原图像第i通道的灰度值，Vmin(x,y)为像素在三通道的最小值，N为像 素点的总数。
步骤3)中所述检测为：
MSF图与原图相比较除了颜色信息可能不同外其余的几何信息是完全相同的，图像的高光像素可以通过MSF图像和原始图像之间的差异确定，按照公式(11)检测出 高光区域，定义为：
其中th1为阈值，通过对每个像素进行阈值的划分，最终可以将所有的像素分别为高光像素和非高光像素两类。
步骤3)中所述基准图的高光去除为：
在基准图中标记出高光区域，在辅助图中标记出同样位置的区域，然后采用辅助图中标记出来的相应的像素对基准图中标记出来的位置进行填补，修复基准图，从而 完成基准图的高光去除。
这种方法针对物体镜面反射使拍摄图像出现饱和高光导致纹理信息丢失的问题，这种方法在保证图像峰值信噪比和结构相似性提高的同时能最大限度地恢复高光区 域的纹理细节信息，高光去除后的视觉效果较好，符合实际应用的需要。
附图说明
图1为实施例的方法流程示意图；
图2a为待去高光的基准图示意图；
图2b为辅助图示意图；
图2c为亮度调整后的辅助图示意图；
图3a为亮度调整后的辅助图示意图；
图3b为辅助图和基准图的精匹配示意图；
图3c为转换视角之后的辅助图示意图；
图4a为基准图的示意图；
图4b为基准图检测出来的高光区域示意图；
图4c为辅助图中对应区域选定的示意图；
图4d为基准图高光去除之后的示意图；
图5a为图1不同视角的示意图；
图5b为实施例中对图1去高光效果示意图；
图5c为Shen方法对图1去高光效果示意图；
图5d为Xu方法对图1去高光效果示意图；
图5e为图2不同视角的示意图。
具体实施方式
下面结合附图和实施例对本发明内容作进一步的阐述，但不是对本发明的限定。
实施例：
参照图1，一种基于多视角图像特征匹配的高光去除方法，包括如下步骤：
1)空间转换和亮度调整：选取两幅不同视角的图像如图5a和5e分别作为基准 图2a和辅助图2b，将基准图2a和辅助图2b从RGB空间转换到HSV色彩空间，将辅 助图2b亮度调整到和基准图2a的亮度一致,如图2c，再将亮度调整后的两幅图由HSV 色彩空间转换到RGB空间中；
2)辅助图视角转换：将亮度调整后的两幅图的图像进行特征点匹配图3b并估算出单应性变换矩阵，然后采用最优单应性矩阵将亮度调整后的辅助图3a的图像透视 视角变换到与基准图2a的图像透视视角一致，变换后如图3c；
3)基准图的高光去除：采用改进的无高光MSF算法对基准图4a进行处理，获得 基准图4a的MSF图，再采用此MSF图对基准图4a高光像素逐个进行检测，得到的高 光像素区域如图4b，最后采用辅助图4c中相应的像素对基准图4a进行填补，得到高 光去除后的基准图4d。
步骤1)中所述基准图2a和辅助图2b从RGB空间转换到HSV色彩空转换按照公 式(1)转换：
设(r,g,b)是颜色的红绿蓝坐标，取值范围都是[0,1]，max为r,g,b中最大值，min为最小值，色调值h范围[0,360),s,l∈[0,1]分别是饱和度和亮度，则
步骤1)中所述亮度调整按照公式(2)调整：
在HSV空间中设辅助图2b的图像像素亮度为Vb，基准图2a的图像像素亮 度为Va，辅助图2b的图像像素调整之后的亮度为Vb'，则
其中，和分别为基准图2a和辅助图2b像素的平均亮度值。
步骤1)中所述两幅图由HSV空间转换到RGB空间按照公式(3)和公式(4)转 换：
p＝v×(1-s)
q＝v×(1-f×s)
t＝v×(1-(1-f)×s) (3)
其中，公式(3)中各字母含义同公式(1)。
每个颜色向量(r,g,b)按照公式(4)统一：
步骤2)中所述的特征点匹配为：采用SIFT算法提取经过亮度调整后的辅助图3a和基准图2a上的特征点，并用RANSAC算法剔除错误匹配点，如果匹配点的个数小于 最小匹配点数20时，则待匹配的两幅图片差异太大而无法实现正确匹配；如果匹配 点数大于20，则可以进行匹配。
步骤2)中所述的计算单应性矩阵为：
在计算机视觉中，单应性被定义为一个面到另一个面的投影映射，其实际上是照相机成像过程不同坐标平面转换的过程，假设将辅助图3a投影到基准图2a平面上， 两个平面之间转换关系可以用一个3*3的单应性矩阵表示：
其中H为不同元素的3×3矩阵单应性矩阵，且：
从提取的匹配点中随机选取4对匹配点，保证这4个样本不共线，然后将这4对 匹配点带入公式(7)计算出一个初始单应性矩阵
a11u+a21v+a31-a13uX-a23vX＝X
a12u+a22v+a32-a13uY-a23vY＝Y (7)
采用上述求得的初始单应性矩阵模型测试所有匹配点，并建立满足匹配点数目代价函数式，构建的代价函数如公式(8)所示：
其中N为两幅图像检测到的有效匹配点对数，i为其中某一个匹配点，采用公式(8)测试所有匹配点对，并计算满足该模型的匹配点对的代价函数值，若此模型为最 优模型，则对应的代价函数最小。
步骤2)中所述采用最优单应性矩阵将亮度调整后的辅助图3a的图像透视视角变换到与基准图2a的图像透视视角一致具体为：
由于视角不同，需要辅助图3a转换到与基准图2a像保持一致的视角，求取最优 单应性矩阵H后，对辅助图3a进行变换，变换后的像素坐标(X,Y)可由公式(9)求出， 即完成了辅助图3a的视角转换,得到如图3c。
其中，S为变换系数，变换后的像素坐标(X,Y)，初始坐标为(u,v)。
步骤3)中所述获得基准图的MSF图具体为：改进的无高光图MSF图是由原始图 像的每一个像素值减去相应RGB通道最小值再加偏移量获得，这个偏移量是一个标量， 是图像中每个像素通道最小值的平均值，公式如下式(10)
其中i为R,G,B三个颜色通道，Vmsf,i(x,y)是像素在MSF图像的第i通道的灰度值， Vi(x,y)是像素在原图像第i通道的灰度值，Vmin(x,y)为像素在三通道的最小值，N为像 素点的总数。
步骤3)中所述检测为：
MSF图与原图相比较除了颜色信息可能不同外其余的几何信息是完全相同的，图像的高光像素可以通过MSF图像和原始图像之间的差异确定，按照公式(11)检测出 高光区域，定义为：
其中th1为阈值，通过对每个像素进行阈值的划分，最终可以将所有的像素分别为高光像素和非高光像素两类。本实施例中根据对不同材质和不同图像亮度经过多次 试验得出，该阈值为60时能正确有效的检测出高光像素区域。
最后采用辅助图4c中相应的像素对基准图4a进行填补，完成基准图的高光去除，具体为：
根据图4b的高光像素在基准图像中标记出高光区域位置，然后在转换视角后的辅助图中选定同样位置进行标注，如图4c图像中蓝色曲线标出来的部分，最后将图 4c标记区域的纹理像素信息与图4a高光区域的像素逐个比较并进行填充，直到4a中 所有的高光像素填充完毕，则基准图像中的高光像素即被填补并修复缺失的纹理，如 图4d所示，从而完成基准图像去除高光的目的。
性能分析：
参照图2a-图5e，由图5a-图5e中实验效果可知，本实施例方法在保证修复图片 纹理信息的同时较好的去除了图像的高光，能更好的保持原图的基本信息，视觉感更 接近真实；
本实施例对比不同算法处理前后的图像峰值信噪比和结构相似性：
峰值信噪比是一种全参考的图像质量评价指标，如果峰值信噪比大于40dB，代表来那个幅图像基本无差异，结构相似性是一种衡量两幅图像相似度的指标，如果结构 相似性等于1，意味着两幅图像完全相同，峰值信噪比和结构相似性越高意味着处理 的效果更好，与原图更接近，本实施例对比不同算法处理前后的图像峰值信噪比见表 1：
表1峰值信噪比(PSNR)
本实施例对比不同算法处理前后的图像的结构相似性见表2：
表2结构相似性(SSIM)对比
从表1和表2中可知，本实施例的方法与另外两组算法对比峰值信噪比更高，究
其原因是本文在去除高光的基础上最大限度的保护了图像中的原本的像素。

Claims (9)

1.一种基于多视角图像特征匹配的高光去除方法，其特征是，包括如下步骤：
1)空间转换和亮度调整：选取两幅不同视角的图像分别作为基准图和辅助图，将基准图和辅助图从RGB空间转换到HSV色彩空间，将辅助图亮度调整到和基准图的亮度一致，再将亮度调整后的两幅图由HSV色彩空间转换到RGB空间中；
2)辅助图视角转换：将亮度调整后的两幅图的图像进行特征点匹配，并计算出单应性变换矩阵，然后采用最优单应性矩阵将亮度调整后的辅助图的图像透视视角变换到与基准图的图像透视视角一致；
3)基准图的高光去除：采用改进的无高光MSF算法对基准图进行处理，获得基准图的MSF图，再采用基准图的MSF图对基准图高光像素逐个进行检测，得到基准图的高光像素区域，最后采用辅助图中相应的像素对基准图进行填补，完成基准图的高光去除。
2.根据权利要求1所述的基于多视角图像特征匹配的高光去除方法，其特征是，步骤1)中所述基准图和辅助图从RGB空间转换到HSV色彩空转换按照公式(1)转换：设(r,g,b)是颜色的红绿蓝坐标，取值范围都是[0,1]，max为r,g,b中最大值，min为最小值，色调值h范围[0,360),s,l∈[0,1]分别是饱和度和亮度，则
3.根据权利要求1所述的基于多视角图像特征匹配的高光去除方法，其特征是，
步骤1)中所述的将辅助图亮度调整到与基准图亮度一致按照公式(2)调整：
在HSV空间中设辅助图的图像像素亮度为Vb，基准图的图像像素亮度为Va，辅助图的图像像素调整之后的亮度为Vb'，则
<mrow> <msubsup> <mi>V</mi> <mi>b</mi> <mo>&amp;prime;</mo> </msubsup> <mo>=</mo> <msub> <mi>V</mi> <mi>b</mi> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mover> <msub> <mi>V</mi> <mi>a</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>-</mo> <mover> <msub> <mi>V</mi> <mi>b</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mfrac> <mrow> <mover> <msub> <mi>V</mi> <mi>b</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>-</mo> <msub> <mi>V</mi> <mi>b</mi> </msub> </mrow> <mn>255</mn> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，和分别为基准图和辅助图像素的平均亮度值。
4.根据权利要求1所述的基于多视角图像特征匹配的高光去除方法，其特征是，步骤1)中所述两幅图由HSV空间转换到RGB空间按照公式(3)和公式(4)转换：
<mrow> <mi>f</mi> <mo>=</mo> <mfrac> <mi>h</mi> <mn>60</mn> </mfrac> <mo>-</mo> <msub> <mi>h</mi> <mi>i</mi> </msub> </mrow>
p＝v×(1-s)
q＝v×(1-f×s)
t＝v×(1-(1-f)×s) (3)
其中，公式(3)中各字母含义同公式(1)，
每个颜色向量(r,g,b)按照公式(4)统一：
<mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mi>g</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>(</mo> <mi>v</mi> <mo>,</mo> <mi>t</mi> <mo>,</mo> <mi>p</mi> <mo>)</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mi>v</mi> <mo>,</mo> <mi>p</mi> <mo>)</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>v</mi> <mo>,</mo> <mi>t</mi> <mo>)</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>2</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>3</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mi>t</mi> <mo>,</mo> <mi>p</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>4</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mi>v</mi> <mo>,</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>5</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mo>(</mo> <mn>4</mn> <mo>)</mo> <mo>.</mo> </mrow>
5.根据权利要求1所述的基于多视角图像特征匹配的高光去除方法，其特征是，步骤2)中所述的特征点匹配为：采用SIFT算法提取经过亮度调整后的辅助图和基准图上的特征点，并用RANSAC算法剔除错误匹配点，如果匹配点的个数小于最小匹配点数20时，则待匹配的两幅图片差异太大而无法实现正确匹配；如果匹配点数大于20，则可以进行匹配。
6.根据权利要求1所述的基于多视角图像特征匹配的高光去除方法，其特征是，步骤2)中所述的计算单应性矩阵为：假设将辅助图投影到基准图平面上，两个平面之间转换关系可以用一个3*3的单应性矩阵表示：
<mrow> <mi>S</mi> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mi>X</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>H</mi> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中H为不同元素的3×3矩阵单应性矩阵，且：
<mrow> <mi>H</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>h</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>h</mi> <mn>12</mn> </msub> </mtd> <mtd> <msub> <mi>h</mi> <mn>13</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>h</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>h</mi> <mn>22</mn> </msub> </mtd> <mtd> <msub> <mi>h</mi> <mn>23</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>h</mi> <mn>31</mn> </msub> </mtd> <mtd> <msub> <mi>h</mi> <mn>32</mn> </msub> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
从提取的匹配点中随机选取4对匹配点，保证这4个样本不共线，然后将这4对匹配点带入公式(7)计算出一个初始单应性矩阵
a11u+a21v+a31-a13uX-a23vX＝X
a12u+a22v+a32-a13uY-a23vY＝Y (7)
采用上述求得的初始单应性矩阵模型测试所有匹配点，并建立满足匹配点数目代价函数式，构建的代价函数如公式(8)所示：
<mrow> <msub> <mi>C</mi> <mrow> <mi>cos</mi> <mi>t</mi> </mrow> </msub> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>x</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mfrac> <mrow> <msub> <mi>a</mi> <mn>11</mn> </msub> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>21</mn> </msub> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>31</mn> </msub> </mrow> <mrow> <msub> <mi>a</mi> <mn>13</mn> </msub> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>23</mn> </msub> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <mo>,</mo> <msubsup> <mi>y</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mfrac> <mrow> <msub> <mi>a</mi> <mn>12</mn> </msub> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>22</mn> </msub> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>32</mn> </msub> </mrow> <mrow> <msub> <mi>a</mi> <mn>13</mn> </msub> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>23</mn> </msub> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中N为两幅图像检测到的有效匹配点对数，i为其中某一个匹配点，采用公式(10)测试所有匹配点对，并计算满足该模型的匹配点对的代价函数值，若此模型为最优模型，则对应的代价函数最小。
7.根据权利要求1所述的基于多视角图像特征匹配的高光去除方法，其特征是，步骤2)中所述采用最优单应性矩阵将亮度调整后的辅助图的图像透视视角变换到与基准图的图像透视视角一致具体为：求取最优单应性矩阵H后，对辅助图进行变换，变换后的像素坐标(X,Y)可由公式(9)求出，即完成了辅助图的视角转换。
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>X</mi> <mo>=</mo> <mfrac> <mi>x</mi> <mi>S</mi> </mfrac> <mo>=</mo> <mfrac> <mrow> <msub> <mi>a</mi> <mn>11</mn> </msub> <mi>u</mi> <mo>+</mo> <msub> <mi>a</mi> <mn>21</mn> </msub> <mi>v</mi> <mo>+</mo> <msub> <mi>a</mi> <mn>31</mn> </msub> </mrow> <mrow> <msub> <mi>a</mi> <mn>13</mn> </msub> <mi>u</mi> <mo>+</mo> <msub> <mi>a</mi> <mn>23</mn> </msub> <mi>v</mi> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>Y</mi> <mo>=</mo> <mfrac> <mi>y</mi> <mi>S</mi> </mfrac> <mo>=</mo> <mfrac> <mrow> <msub> <mi>a</mi> <mn>12</mn> </msub> <mi>u</mi> <mo>+</mo> <msub> <mi>a</mi> <mn>22</mn> </msub> <mi>v</mi> <mo>+</mo> <msub> <mi>a</mi> <mn>32</mn> </msub> </mrow> <mrow> <msub> <mi>a</mi> <mn>13</mn> </msub> <mi>u</mi> <mo>+</mo> <msub> <mi>a</mi> <mn>23</mn> </msub> <mi>v</mi> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中，S为变换系数，变换后的像素坐标(X,Y)，初始坐标为(u,v)。
8.根据权利要求1所述的基于多视角图像特征匹配的高光去除方法，其特征是，步骤3)中所述获得基准图的MSF图具体为：改进的无高光图MSF图是由原始图像的每一个像素值减去相应RGB通道最小值再加偏移量获得，这个偏移量是一个标量，是图像中每个像素通道最小值的平均值，公式如下式(10)
<mrow> <msub> <mi>V</mi> <mrow> <mi>m</mi> <mi>s</mi> <mi>f</mi> <mo>,</mo> <mi>i</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>=</mo> <msub> <mi>V</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>V</mi> <mi>min</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mrow> <msub> <mi>&amp;Sigma;</mi> <mi>N</mi> </msub> <msub> <mi>V</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mi>N</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中i为R,G,B三个颜色通道，Vmsf,i(x,y)是像素在MSF图像的第i通道的灰度值，Vi(x,y)是像素在原图像第i通道的灰度值，Vmin(x,y)为像素在三通道的最小值，N为像素点的总数。
9.根据权利要求1所述的基于多视角图像特征匹配的高光去除方法，其特征是，步骤3)中所述检测为：
图像的高光像素可以通过MSF图像和原始图像之间的差异确定，按照公式(11)检测出高光区域，定义为：
其中th1为阈值，通过对每个像素进行阈值的划分，最终可以将所有的像素分别为高光像素和非高光像素两类。
CN201710667387.XA 2017-08-07 2017-08-07 一种基于多视角图像特征匹配的高光去除方法 Pending CN107481201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710667387.XA CN107481201A (zh) 2017-08-07 2017-08-07 一种基于多视角图像特征匹配的高光去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710667387.XA CN107481201A (zh) 2017-08-07 2017-08-07 一种基于多视角图像特征匹配的高光去除方法

Publications (1)

Publication Number Publication Date
CN107481201A true CN107481201A (zh) 2017-12-15

Family

ID=60598778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710667387.XA Pending CN107481201A (zh) 2017-08-07 2017-08-07 一种基于多视角图像特征匹配的高光去除方法

Country Status (1)

Country Link
CN (1) CN107481201A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390648A (zh) * 2019-06-24 2019-10-29 浙江大学 一种基于非饱和与饱和高光区分的图像高光去除方法
CN110781731A (zh) * 2019-09-17 2020-02-11 上海电机学院 一种基于镜面反射去除的巡检机器人仪表识别方法
CN111010496A (zh) * 2019-12-24 2020-04-14 维沃移动通信（杭州）有限公司 一种图像处理方法及电子设备
CN112419185A (zh) * 2020-11-20 2021-02-26 湖北工业大学 基于光场迭代的精确高反光去除方法
CN115615345A (zh) * 2022-12-16 2023-01-17 中南大学 一种基于摄影测量彩色点云配准的地表形变监测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103925889A (zh) * 2014-03-31 2014-07-16 西北工业大学 一种基于最小二乘法的高光物体表面相位快速恢复方法
CN103985098A (zh) * 2014-05-27 2014-08-13 广州商景网络科技有限公司 一种证件图像的高光去除方法及系统
CN105741249A (zh) * 2016-02-03 2016-07-06 哈尔滨理工大学 一种强反射表面高光去除方法
CN106131405A (zh) * 2016-06-30 2016-11-16 北京旷视科技有限公司 图像处理方法和装置及用于其的图像采集系统
EP3115964A1 (en) * 2015-07-09 2017-01-11 Thomson Licensing Method and device for removing an object in a video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103925889A (zh) * 2014-03-31 2014-07-16 西北工业大学 一种基于最小二乘法的高光物体表面相位快速恢复方法
CN103985098A (zh) * 2014-05-27 2014-08-13 广州商景网络科技有限公司 一种证件图像的高光去除方法及系统
EP3115964A1 (en) * 2015-07-09 2017-01-11 Thomson Licensing Method and device for removing an object in a video
CN105741249A (zh) * 2016-02-03 2016-07-06 哈尔滨理工大学 一种强反射表面高光去除方法
CN106131405A (zh) * 2016-06-30 2016-11-16 北京旷视科技有限公司 图像处理方法和装置及用于其的图像采集系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUI-LIANG SHEN ET AL: "Chromaticity-based separation of reflection components in a single image", 《PATTERN RECOGNITION》 *
YIREN XU ET AL: "Matching Based Highlight Removal", 《2010 INTERNATIONAL CONFERENCE ON MULTIMEDIA TECHNOLOGY》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390648A (zh) * 2019-06-24 2019-10-29 浙江大学 一种基于非饱和与饱和高光区分的图像高光去除方法
CN110781731A (zh) * 2019-09-17 2020-02-11 上海电机学院 一种基于镜面反射去除的巡检机器人仪表识别方法
CN111010496A (zh) * 2019-12-24 2020-04-14 维沃移动通信（杭州）有限公司 一种图像处理方法及电子设备
CN111010496B (zh) * 2019-12-24 2022-07-08 维沃移动通信（杭州）有限公司 一种图像处理方法及电子设备
CN112419185A (zh) * 2020-11-20 2021-02-26 湖北工业大学 基于光场迭代的精确高反光去除方法
CN115615345A (zh) * 2022-12-16 2023-01-17 中南大学 一种基于摄影测量彩色点云配准的地表形变监测方法

Similar Documents

Publication Publication Date Title
CN107481201A (zh) 一种基于多视角图像特征匹配的高光去除方法
Yerushalmy et al. Digital image forgery detection based on lens and sensor aberration
CN109410207B (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
US8724885B2 (en) Integrated image processor
CN105279372B (zh) 一种确定建筑物高度的方法和装置
US8319854B2 (en) Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel
CN103595980B (zh) 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法
CN103632362B (zh) 图像匹配处理方法、装置及系统
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN104537625A (zh) 一种基于方向标志位的Bayer彩色图像插值方法
US8831359B2 (en) Apparatus and method for refining a value of a similarity measure
CN102982520B (zh) 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
JP7460579B2 (ja) 暗い画像の強調
CN111612725B (zh) 一种基于可见光图像对比度增强的图像融合方法
CN107292830A (zh) 低照度图像增强及评价方法
CN110414385A (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
Finlayson et al. Color homography color correction
CN108961182B (zh) 针对视频图像的竖直方向灭点检测方法及视频扭正方法
KR20080044611A (ko) 포토프린팅을 위한 얼굴영역 검출장치 및 보정 방법
US8600157B2 (en) Method, system and computer program product for object color correction
CN110691236A (zh) 一种全景视频质量评价方法
CN117152103B (zh) 显示屏点缺陷、线缺陷和Mura缺陷判断方法、系统及装置
CN103745220A (zh) 一种图像仿射局部不变特征的获取方法及装置
CN101231693A (zh) 由视频重建复原的面部图像的系统和方法
Sonawane et al. Image quality assessment techniques: An overview

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171215

WD01 Invention patent application deemed withdrawn after publication