CN106504292A - 基于成像本质属性的立体颜色校正方法 - Google Patents

基于成像本质属性的立体颜色校正方法 Download PDF

Info

Publication number
CN106504292A
CN106504292A CN201610958835.7A CN201610958835A CN106504292A CN 106504292 A CN106504292 A CN 106504292A CN 201610958835 A CN201610958835 A CN 201610958835A CN 106504292 A CN106504292 A CN 106504292A
Authority
CN
China
Prior art keywords
image
subregion
corrected
robust
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610958835.7A
Other languages
English (en)
Other versions
CN106504292B (zh
Inventor
冯结青
赵文婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201610958835.7A priority Critical patent/CN106504292B/zh
Publication of CN106504292A publication Critical patent/CN106504292A/zh
Application granted granted Critical
Publication of CN106504292B publication Critical patent/CN106504292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于成像本质属性的立体匹配颜色校正方法,包括以下步骤:(1)基于成像本质属性,将立体匹配图像对分别分解为反射层和光照层;(2)利用均值漂移图像分割方法对输入的立体匹配图像对进行区域分割;(3)利用尺度不变特征变换方法提取图像对各自的特征点,并匹配;(4)根据对极几何对SIFT匹配特征点进行筛选;(5)根据SIFT匹配特征点进行图像对一致性的区域对应;(6)根据区域对应关系和图像分层结果,对待校正图像进行校正;(7)将校正后的待校正图像的反射层和光照层进行合并,得到待校正图像的最终校正结果。该方法能够大大提升图像矫正效果,提升立体匹配精度。

Description

基于成像本质属性的立体颜色校正方法
技术领域
本发明涉及计算机立体视觉中面向真实物体的立体匹配及三维建模领域,具体涉及一种基于成像本质属性的立体颜色校正方法。
背景技术
立体匹配的目的是用来获得立体匹配图像的视差图,在很多领域都有所涉及,包括计算机视觉,机器技术,以及图像分析等。大多数的立体匹配方法都是通过计算一个匹配代价来衡量立体匹配图像的相似度的,通常情况下,这个匹配代价的前提假设为两幅图像的对应点有着相近的颜色。然而,在实际情况下,立体匹配图像对应点的颜色可能会受各种因素影响表现得非常不一样,这些因素包括相机设备型号的不同、光照条件的不同等等。尽管在实际的立体匹配研究中已经出现了鲁棒的匹配代价函数来解决这个问题,其中,Mutual Information方法和Census Transform方法已经考虑到了一个确定情况下的颜色差异,但是大多数的方法是不能够解决非常剧烈的颜色差异的,立体匹配的精度因此会大受影响。因此,为了提升立体匹配的精度,颜色校正方法可以被看作立体匹配前的一个预处理过程来消除图像对的颜色差异。
颜色校正方法旨在将参考图像的颜色迁移到待校正图像上,使两幅图像颜色尽量接近。现有的颜色校正方法可以被分为参数化方法和非参数化方法,参数化方法在可扩展性方面优于非参数化方法。通常情况下,参数化方法可以用如下的表达式代表:Is=M*It;其中,M代表了三通道的映射,Is和It分别代表了待校正图像和参考图像。全局的参数化方法只能从图像的整体场景的角度进行颜色差异的消除,然而实际情况下场景中不同区域可能存在不同的颜色差异。为了解决全局方法的限制性问题,许多考虑局部的方法被提出,这些方法使用了更复杂的映射。局部的方法旨在从两幅图像的对应区域着手去改变颜色,使得待校正图像的某区域的颜色接近于参考图像的对应区域颜色。对于这一类的方法,建立一个精确的区域对应是非常重要的问题。
从成像的本质属性去考虑这个问题,一个像素颜色值代表了成像场景中对应点的所有特征。一幅图像的成像可以由反射图像和光照图像来表示。通常情况下我们假设物体的反射满足朗泊漫反射模型,则同一场景同一点的反射值应当是相同的,图像的颜色差异主要来自于光照层。这时把光照层和反射层分开,直接从光照层进行值的迁移和改变可以达到更好的校正效果。
发明内容
本发明提供了一种基于成像本质属性的立体颜色校正方法,利用该方法对立体匹配前颜色差异的图像进行预处理,能够减小立体匹配图像的颜色差异,提升立体匹配的精度。
一种基于成像本质属性的立体匹配颜色校正方法,具体步骤如下:
(1)基于成像本质属性,将参考图像分为第一反射层和第一光照层,将待校正图像分为第二反射层和第二光照层;
(2)利用均值漂移图像分割方法对待校正图像和将参考图像进行区域分割,通过调整分割中的空间参数,参考图像按照正常粒度进行分割,得到第一分割区域待校正图像按照相对参考图像较小粒度进行分割,得到第二分割区域其中,n为第一分割子区域的个数,m为第二分割子区域的个数,且m小于n;
(3)利用尺度不变特征变换方法提取参考图像与待校正图像各自的特征点,并进行特征点的匹配,得到匹配特征点Xsrc和匹配特征点Xtgt
(4)根据对极几何原理对匹配特征点Xsrc与匹配特征点Xtgt进行筛选,将不满足对极几何约束的匹配特征点Xsrc与匹配特征点Xtgt剔除,剩下的为鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,对极几何约束公式为:
(Xsrc)TFXtgt=0
其中,F是根据RANSAC(Random Sample Consensus)方法估计的基础矩阵;
(5)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,将待校正图像和参考图像中一致性的分割区域进行对应,得到区域对应关系;
(6)根据区域对应关系,在第一反射层与第二反射层上,进行待校正图像和参考图像区域之间的加权局部颜色迁移,在第一光照层与第二光照层上,进行待校正图像和参考图像区域之间的加权局部颜色迁移,使得待校正图像在第二反射层和第二光照层上向参考图像的第一反射层和第一光照层靠近;得到校正后的第二反射层和第二光照层;
(7)将校正后的待校正图像的第二反射层和第二光照层合并,得到最终校正结果。
在步骤(1)中,待校正图像和参考图像构成一对颜色差异的立体匹配图像对;成像本质属性:一个像素颜色值代表了成像场景中对应点的所有特征,一幅图像的成像可以由反射图像和光照图像来表示。
在步骤(1)中,将成像本质属性的分解过程模拟成最小化以下能量方程的形式:
E(x)=ωpEp(x)+ωsEs(x)+ωlEl(x)
其中Ep(x)是二元反射属性项,所依赖的先验为:当两个像素位置相近色度和强度相近时,它们的反射属性也相近;Es(x)是一元光照属性项,所依赖的先验为光照属性在平滑表面的变化是平滑的;El(x)是普通一元项,该项是为了避免优化时选择过多的光照极值点;ωp、ωs、ωl分别为为Ep(x)、Es(x)以及El(x)的参数;通过迭代优化的方式对能量函数E(x)求解。
在步骤(2)中,第一分割区域由n个互不相同的第一分割子区域组成;第二分割区域由m个互不相同的第二分割子区域组成。
步骤(4)中,根据对极几何的原理对匹配特征点进行正确性指导,删除错误的匹配特征点,保证了匹配特征点的正确性,即得到的鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′是可信度较高的匹配特征点。
在步骤(5)中,对待校正图像和参考图像进行优化,得到一致性区域对应标签,具体步骤为:
(5-1)根据待校正图像的鲁棒匹配对应点Xtgt′,对第二分割子区域进行区域合并操作,得到预处理第二分割区域:
(5-1-1)对所有的第二分割子区域进行筛选,并将鲁棒匹配对应点Xtgt′的个数小于门限值的第二分割子区域命名为第二无效子区域;
(5-1-2)找到第二无效子区域的第二二阶邻域区域集合;
(5-1-3)在第二二阶邻域区域集合中,找到一个满足鲁棒匹配对应点Xtgt′的个数大于门限值,且位置空间与颜色与该第二无效子区域都最为相近一个第二分割子区域,并将其命名为第二目标区域;
(5-1-4)将该第二无效子区域合并到寻找到的第二目标区域中,此时第二分割区域命名为预处理第二分割区域。
通过步骤(5-1)操作,使得合并后的每个第二分割子区域都包含门限值以上个数的鲁棒匹配对应点Xtgt′,保证点对应转化成区域对应的可靠性。
(5-2)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,以预处理第二分割子区域为基准,对第一分割子区域进行区域合并操作,得到预处理第一分割区域:
当某预处理第二分割子区域中的鲁棒匹配对应点Xtgt′在第一分割子区域中的对应点分布在多个第一分割子区域中时,将这多个第一分割子区域合并成一个,此时的第一分割区域命名为预处理第一分割区域;通过该合并操作,使得每个预处理第二分割子区域能在第一分割子区域中找到唯一确定的对应。
(5-3)根据参考图像的鲁棒匹配对应点Xsrc′,对预处理第一分割子区域进行区域合并操作,得到优化第一分割区域:
(5-3-1)对所有预处理第一分割子区域进行筛选,并将鲁棒匹配对应点Xsrc′的个数小于门限值的预处理第一分割子区域命名为第一无效子区域;
(5-3-2)找到第一无效子区域的第一二阶邻域区域集合;
(5-3-3)在第一二阶邻域区域集合中,找到一个满足鲁棒匹配对应点Xsrc′的个数大于门限值,且位置空间与颜色与该第一无效子区域都最为相近一个预处理第一分割子区域,并将其命名为第一目标区域;
(5-3-4)将该第一无效子区域合并到寻找到的第一目标区域中,并将此时的预处理第一分割区域其被命名为优化第一分割区域。
通过步骤(5-3)的操作,使得每个优化第一分割子区域都包含门限值以上个数的特征点。
(5-4)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,以优化第一分割子区域为基准,对预处理第二分割子区域进行区域合并操作,得到优化第二分割区域:
当某优化第一分割子区域中的鲁棒匹配对应点在预处理第二分割子区域中的对应点分布在多个预处理第二分割子区域中时,将这多个预处理第二分割子区域合并成一个,此时的预处理第二分割区域被命名为优化第二分割区域;通过该合并操作,使得每个优化第一分割子区域能在优化第二分割子区域中找到唯一确定的对应。
(5-5)根据鲁棒匹配对应点Xsrc′,鲁棒匹配对应点Xtgt′,获取优化第一分割子区域和优化第二分割子区域的一一对应关系,并记录一致性区域对应标签。
对每一个优化第一分割子区域,以A区域为例,记录其中的鲁棒匹配对应点在优化第二分割子区域中的对应点集,步骤(5-1)~步骤(5-4)已经保证这些对应点集属于同一个优化第二分割子区域,假设为B区域,则优化第一分割子区域中的A区域对应优化第二分割子区域中的B区域,记录一致性区域对应标签。
区域对应结束后,能够使得对应区域反映同一场景中同一目标区域。
在步骤(5-1-1)中,所述的门限值为鲁棒匹配对应点的个数,根据实际应用自行设置大小。
步骤(6)中,第二光照层的颜色校正模型与第二反射层的颜色校正模型不同,对于第二光照层的颜色校正采用如下的加权局部校正模型:
其中表示待校正图像的像素(i,j),表示校正后图像的像素(i,j)。表示待校正图像的区域均值,表示参考图像的区域均值,分别表示参考图像和待校正图像的方差;
IMk(i,j)表示如下:
其中,表示待校正图像中的像素(i,j)与待校正图像区域均值颜色之间的距离,是待校正图像中的像素(i,j)和待校正图像区域中心点间的距离,α表示颜色距离参数,β表示位置距离参数。
第二反射层的颜色校正采用如下校正模型:
其中分别代表校正前和校正后的待校正图像颜色值,分别代表对于参考图像和待校正图像的转化、旋转、尺度变换操作。
在步骤(7)中,根据如下合并方程对校正后的待校正图像的第二反射层和第二光照层进行合并:
其中,代表合并后图像,代表反射层,Si代表光照层,c代表图像的三通道,原图和反射层都为三通道,光照层为单通道,合并时将第二光照层的每一层与第二反射层相乘,得到结果的相应层,组成最终校正结果。
与现有技术相比,本发明的有益效果体现在以下方面:
(1)在局部颜色校正所必须进行的一致性区域对应的过程中,根据均值漂移分割得到的分割区域和高可信度的SIFT方法得到的SIFT匹配特征点,采用了简单高效的区域一致性对应策略,能够得到准确的区域对应,使得对应区域能有效地反映一致的区域。
(2)利用成像本质属性,将图像分解为反射层和光照层,对图像的反射层和光照层分别进行局部校正,可以使得图像差异被校正的更好,从而提升校正效果。
附图说明
图1为本发明对应方法的流程示意图;
图2为本发明对应方法中区域对应的流程示意图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示,本发明基于成像本质属性的立体匹配颜色校正方法的步骤如下:
(1)基于成像本质属性,对有颜色差异的立体匹配图像对(参考图像和待矫正图像)进行分解,即将参考图像Isrc分为第一反射层和第一光照层,将待校正图像Itgt分为第二反射层和第二光照层,将成像本质属性的分解过程模拟成最小化以下能量方程的形式:
E(x)=ωpEp(x)+ωsEs(x)+ωlEl(x)
其中Ep(x)是二元反射属性项,所依赖的先验为:当两个像素位置相近色度和强度相近时,它们的反射属性也相近;Es(x)是一元光照属性项,所依赖的先验为光照属性在平滑表面的变化是平滑的;El(x)是普通一元项,该项是为了避免优化时选择过多的光照极值点。ωp、ωs、ωl分别为为Ep(x)、Es(x)以及El(x)的参数;通过迭代优化的方式对能量函数E(x)求解。
(2)利用均值漂移图像分割方法对待校正图像和将参考图像进行区域分割,通过调整分割中的空间参数,参考图像按照正常粒度进行分割,得到第一分割区域待校正图像按照比参考图像更小粒度进行分割,得到第二分割区域其中,n为第一分割子区域的个数,m为第二分割子区域的个数,且m小于n。
(3)利用尺度不变特征变换方法提取参考图像与待校正图像各自的特征点,并进行特征点的匹配,得到SIFT匹配特征点Xsrc和SIFT匹配特征点Xtgt
(4)根据对极几何原理对SIFT匹配特征点Xsrc和SIFT匹配特征点Xtgt进行正确性指导,删除错误SIFT匹配特征点,保证SIFT匹配特征点的正确性,对极几何约束公式为:
(Xsrc)TFXtgt=0
其中F是根据RANSAC(Random Sample Consensus)方法估计的基础矩阵,Xsrc和Xtgt是参考图像Isrc和待校正图像Itgt中的SIFT匹配特征点,不满足上述约束条件的SIFT匹配特征点会被剔除。
(5)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,将待校正图像和参考图像中一致性的分割区域进行对应,得到区域对应关系:
(5-1)根据待校正图像的鲁棒匹配对应点Xtgt′,对第二分割子区域进行区域合并操作:
(5-1-1)对所有的第二分割子区域进行筛选,并将鲁棒匹配对应点Xtgt′的个数小于门限值的第二分割子区域命名为第二无效子区域;
(5-1-2)找到第二无效子区域的第二二阶邻域区域集合;
(5-1-3)在第二二阶邻域区域集合中,找到一个满足鲁棒匹配对应点Xtgt′的个数大于门限值,且位置空间与颜色与该第二无效子区域都最为相近一个第二分割子区域,并将其命名为第二目标区域;
(5-1-4)将该第二无效子区域合并到寻找到的第二目标区域中,此时第二分割区域命名为预处理第二分割区域。
通过步骤(5-1)操作,使得合并后的每个第二分割子区域都包含门限值以上个数的鲁棒匹配对应点Xtgt′,保证点对应转化成区域对应的可靠性。
(5-2)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,以第二分割子区域为基准,对第一分割子区域进行区域合并操作:
当某预处理第二分割子区域中的鲁棒匹配对应点Xtgt′在第一分割子区域中的对应点分布在多个第一分割子区域中时,将这多个第一分割子区域合并成一个,此时的第一分割区域命名为预处理第一分割区域;通过该合并操作,使得每个预处理第二分割子区域能在第一分割子区域中找到唯一确定的对应。
(5-3)根据参考图像的鲁棒匹配对应点Xsrc′,对第一分割子区域进行区域合并操作:
(5-3-1)对所有预处理第一分割子区域进行筛选,并将鲁棒匹配对应点Xsrc′的个数小于门限值的预处理第一分割子区域命名为第一无效子区域;
(5-3-2)找到第一无效子区域的第一二阶邻域区域集合;
(5-3-3)在第一二阶邻域区域集合中,找到一个满足鲁棒匹配对应点Xsrc′的个数大于门限值,且位置空间与颜色与该第一无效子区域都最为相近一个预处理第一分割子区域,并将其命名为第一目标区域;
(5-3-4)将该第一无效子区域合并到寻找到的第一目标区域中,并将此时的预处理第一分割区域其被命名为优化第一分割区域。
通过步骤(5-3)的操作,使得每个优化第一分割子区域都包含门限值以上个数的特征点。
(5-4)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,以优化第一分割子区域为基准,对预处理第二分割子区域进行区域合并操作:
当某优化第一分割子区域中的鲁棒匹配对应点在预处理第二分割子区域中的对应点分布在多个预处理第二分割子区域中时,将这多个预处理第二分割子区域合并成一个,此时的预处理第二分割区域被命名为优化第二分割区域;通过该合并操作,使得每个优化第一分割子区域能在优化第二分割子区域中找到唯一确定的对应。
(5-5)根据鲁棒匹配对应点Xsrc′,鲁棒匹配对应点Xtgt′,获取优化第一分割子区域和优化第二分割子区域的一一对应关系,并记录一致性区域对应标签。
(6)根据区域对应关系,于第二反射层和第二光照层上,分别对待校正图像进行校正;在步骤(1)分解出的反射层和光照层上,分别进行图像对区域和区域之间的加权局部颜色迁移,使得待校正图像在第二反射层和第二光照层上向参考图像的第一反射层和第一光照层靠近。
第二光照层的颜色校正模型与第二反射层的颜色校正模型不同,对于第二光照层的颜色校正采用如下的加权局部校正模型:
其中表示待校正图像的像素(i,j),表示校正后图像的像素(i,j)。表示待校正图像的区域均值,表示参考图像的区域均值,分别表示参考图像和待校正图像的方差;
IMk(i,j)表示如下:
其中表示待校正图像中的像素(i,j)与待校正图像区域均值颜色之间的距离,是待校正图像中的像素(i,j)和待校正图像区域中心点间的距离,α表示颜色距离参数,β表示位置距离参数。
第二反射层的颜色校正采用如下校正模型:
其中分别代表校正前和校正后的待校正图像颜色值,分别代表对于参考图像和待校正图像的转化、旋转、尺度变换操作。
(7)将校正后的待校正图像的第二反射层和第二光照层合并,得到最终校正结果;根据如下合并方程对校正后的待校正图像的第二反射层和第二光照层进行合并:
其中,代表合并后图像,代表校正后第二反射层,Si代表校正后第二光照层,c代表图像的三通道,原图和反射层都为三通道,光照层为单通道,合并时将第二光照层的每一层与第二反射层相乘,得到结果的相应层,组成最终校正结果。
采用现有的图像颜色校正方法与本发明的对应方法,同时对立体匹配图像对进行颜色校正,相比于现有的图像颜色校正方法,本发明的方法能够减小立体匹配图像的颜色差异,提升立体匹配的精度。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于成像本质属性的立体匹配颜色校正方法,具体步骤如下:
(1)基于成像本质属性,将参考图像分为第一反射层和第一光照层,将待校正图像分为第二反射层和第二光照层;
(2)利用均值漂移图像分割方法对待校正图像和将参考图像进行区域分割,通过调整分割中的空间参数,参考图像按照正常粒度进行分割,得到第一分割区域待校正图像按照相对参考图像较小粒度进行分割,得到第二分割区域其中,n为第一分割子区域的个数,m为第二分割子区域的个数,且m小于n;
(3)利用尺度不变特征变换方法提取参考图像与待校正图像各自的特征点,并进行特征点的匹配,得到匹配特征点Xsrc和匹配特征点Xtgt
(4)根据对极几何原理对匹配特征点Xsrc与匹配特征点Xtgt进行筛选,将不满足对极几何约束的匹配特征点Xsrc与匹配特征点Xtgt剔除,剩下的为鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,对极几何约束公式为:
(Xsrc)TFXtgt=0
其中,F是根据RANSAC方法估计的基础矩阵;
(5)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,将待校正图像和参考图像中一致性的分割区域进行对应,得到区域对应关系;
(6)根据区域对应关系,在第一反射层与第二反射层上,进行待校正图像和参考图像区域之间的加权局部颜色迁移,在第一光照层与第二光照层上,进行待校正图像和参考图像区域之间的加权局部颜色迁移,得到校正后的第二反射层和第二光照层;
(7)将校正后的待校正图像的第二反射层和第二光照层合并,得到最终校正结果。
2.根据权利要求1所述基于成像本质属性的立体匹配颜色校正方法,其特征在于:在步骤(1)中,将成像本质属性的分解过程模拟成最小化以下能量方程的形式:
E(x)=ωpEp(x)+ωsEs(x)+ωlEl(x)
其中Ep(x)是二元反射属性项;Es(x)是一元光照属性项的;El(x)是普通一元项;ωp、ωs、ωl分别为为Ep(x)、Es(x)以及El(x)的参数;通过迭代优化的方式对能量函数E(x)求解。
3.根据权利要求1所述基于成像本质属性的立体匹配颜色校正方法,其特征在于:在步骤(5)中,对待校正图像和参考图像进行优化,得到一致性区域对应标签,具体步骤为:
(5-1)根据待校正图像的鲁棒匹配对应点Xtgt′,对第二分割子区域进行区域合并操作,得到预处理第二分割区域;
(5-2)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,以预处理第二分割子区域为基准,对第一分割子区域进行区域合并操作,得到预处理第一分割区域;
(5-3)根据参考图像的鲁棒匹配对应点Xsrc′,对预处理第一分割子区域进行区域合并操作,得到优化第一分割区域;
(5-4)根据鲁棒匹配对应点Xsrc′和鲁棒匹配对应点Xtgt′,以优化第一分割子区域为基准,对预处理第二分割子区域进行区域合并操作,得到优化第二分割区域;
(5-5)根据鲁棒匹配对应点Xsrc′,鲁棒匹配对应点Xtgt′,获取优化第一分割子区域和优化第二分割子区域的一一对应关系,并记录一致性区域对应标签。
4.根据权利要求3所述基于成像本质属性的立体匹配颜色校正方法,其特征在于:所述的步骤(5-1)的具体步骤为:
(5-1-1)对所有的第二分割子区域进行筛选,并将鲁棒匹配对应点Xtgt′的个数小于门限值的第二分割子区域命名为第二无效子区域;
(5-1-2)找到第二无效子区域的第二二阶邻域区域集合;
(5-1-3)在第二二阶邻域区域集合中,找到一个满足鲁棒匹配对应点Xtgt′的个数大于门限值,且位置空间与颜色与该第二无效子区域都最为相近一个第二分割子区域,并将其命名为第二目标区域;
(5-1-4)将该第二无效子区域合并到寻找到的第二目标区域中,此时第二分割区域命名为预处理第二分割区域。
5.根据权利要求3所述基于成像本质属性的立体匹配颜色校正方法,其特征在于:所述的步骤(5-2)的具体步骤为:
当某预处理第二分割子区域中的鲁棒匹配对应点Xtgt′在第一分割子区域中的对应点分布在多个第一分割子区域中时,将这多个第一分割子区域合并成一个,此时的第一分割区域命名为预处理第一分割区域。
6.根据权利要求3所述基于成像本质属性的立体匹配颜色校正方法,其特征在于:所述的步骤(5-3)的具体步骤为:
(5-3-1)对所有预处理第一分割子区域进行筛选,并将鲁棒匹配对应点Xsrc′的个数小于门限值的预处理第一分割子区域命名为第一无效子区域;
(5-3-2)找到第一无效子区域的第一二阶邻域区域集合;
(5-3-3)在第一二阶邻域区域集合中,找到一个满足鲁棒匹配对应点Xsrc′的个数大于门限值,且位置空间与颜色与该第一无效子区域都最为相近一个预处理第一分割子区域,并将其命名为第一目标区域;
(5-3-4)将该第一无效子区域合并到寻找到的第一目标区域中,并将此时的预处理第一分割区域其被命名为优化第一分割区域。
7.根据权利要求3所述基于成像本质属性的立体匹配颜色校正方法,其特征在于:所述的步骤(5-4)的具体步骤为:
当某优化第一分割子区域中的鲁棒匹配对应点在预处理第二分割子区域中的对应点分布在多个预处理第二分割子区域中时,将这多个预处理第二分割子区域合并成一个,此时的预处理第二分割区域被命名为优化第二分割区域。
8.根据权利要求1所述基于成像本质属性的立体匹配颜色校正方法,其特征在于:步骤(6)中,第二光照层的颜色校正采用的加权局部校正模型:
C k tgt ′ ( i , j ) = Σ k = 1 N ( μ k s r c + σ k s r c σ k t g t ( C k t g t ( i , j ) - μ k t g t ) ) × IM k ( i , j ) Σ k = 1 N IM k ( i , j )
其中表示待校正图像的像素(i,j),表示校正后图像的像素(i,j);表示待校正图像的区域均值,表示参考图像的区域均值,分别表示参考图像和待校正图像的方差;
IMk(i,j)表示如下:
IM k ( i , j ) = exp ( - | | C k t g t ( i , j ) - μ k t g t | | 2 2 α 2 ) × exp ( - d i s t ( ( i , j ) , P k t g t ) 2 2 β 2 )
其中,表示待校正图像中的像素(i,j)与待校正图像区域均值颜色之间的距离,是待校正图像中的像素(i,j)和待校正图像区域中心点间的距离,α表示颜色距离参数,β表示位置距离参数;
第二反射层的颜色校正采用的校正模型:
C k tgt ′ ( i , j ) = Σ k = 1 N ( Q k s r c · Q k t g t · C k t g t ( i , j ) ) × IM k Σ k = 1 N IM k
其中,分别代表校正前和校正后的待校正图像颜色值,分别代表对于参考图像和待校正图像的转化、旋转、尺度变换操作。
9.根据权利要求1或8所述基于成像本质属性的立体匹配颜色校正方法,其特征在于:根据如下合并方程对校正后的待校正图像的第二反射层和第二光照层进行合并:
I i c = R i c · S i
其中,代表合并后图像,代表反射层,Si代表光照层,c代表图像的三通道,原图和反射层都为三通道,光照层为单通道。
CN201610958835.7A 2016-11-03 2016-11-03 基于成像本质属性的立体颜色校正方法 Active CN106504292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610958835.7A CN106504292B (zh) 2016-11-03 2016-11-03 基于成像本质属性的立体颜色校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610958835.7A CN106504292B (zh) 2016-11-03 2016-11-03 基于成像本质属性的立体颜色校正方法

Publications (2)

Publication Number Publication Date
CN106504292A true CN106504292A (zh) 2017-03-15
CN106504292B CN106504292B (zh) 2019-02-05

Family

ID=58322449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610958835.7A Active CN106504292B (zh) 2016-11-03 2016-11-03 基于成像本质属性的立体颜色校正方法

Country Status (1)

Country Link
CN (1) CN106504292B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108236783A (zh) * 2018-01-09 2018-07-03 网易(杭州)网络有限公司 游戏场景中模拟光照的方法、装置、终端设备及存储介质
CN108388905A (zh) * 2018-03-21 2018-08-10 合肥工业大学 一种基于卷积神经网络和邻域上下文的光源估计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102398A (zh) * 2007-07-26 2008-01-09 上海交通大学 全自动的实时数字图像处理增强系统
CN101661237A (zh) * 2008-08-26 2010-03-03 富士施乐株式会社 图像浓度控制装置和图像形成装置
CN102209246A (zh) * 2011-05-23 2011-10-05 北京工业大学 一种实时视频白平衡处理系统
CN105574830A (zh) * 2016-02-04 2016-05-11 沈阳工业大学 极端天气条件下低质图像增强方法
US9858673B2 (en) * 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102398A (zh) * 2007-07-26 2008-01-09 上海交通大学 全自动的实时数字图像处理增强系统
CN101661237A (zh) * 2008-08-26 2010-03-03 富士施乐株式会社 图像浓度控制装置和图像形成装置
CN102209246A (zh) * 2011-05-23 2011-10-05 北京工业大学 一种实时视频白平衡处理系统
US9858673B2 (en) * 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
CN105574830A (zh) * 2016-02-04 2016-05-11 沈阳工业大学 极端天气条件下低质图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QING RAN等: "Robust region-wise colour correction method for stereo matching", 《IET COMPUTER VISION》 *
范晓鹏等: "基于人眼亮度阈值特性的图像增强算法", 《光电子-激光》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108236783A (zh) * 2018-01-09 2018-07-03 网易(杭州)网络有限公司 游戏场景中模拟光照的方法、装置、终端设备及存储介质
CN108236783B (zh) * 2018-01-09 2020-10-23 网易(杭州)网络有限公司 游戏场景中模拟光照的方法、装置、终端设备及存储介质
CN108388905A (zh) * 2018-03-21 2018-08-10 合肥工业大学 一种基于卷积神经网络和邻域上下文的光源估计方法
CN108388905B (zh) * 2018-03-21 2019-07-19 合肥工业大学 一种基于卷积神经网络和邻域上下文的光源估计方法

Also Published As

Publication number Publication date
CN106504292B (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
Han et al. Underwater image processing and object detection based on deep CNN method
Hu et al. An overview of underwater vision enhancement: From traditional methods to recent deep learning
CN107862698B (zh) 基于k均值聚类的光场前景分割方法及装置
CN107369158B (zh) 基于rgb-d图像的室内场景布局估计及目标区域提取方法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN104463804B (zh) 一种基于直觉模糊集的图像增强方法
Ma et al. Efficient deep learning architecture for detection and recognition of thyroid nodules
CN101976436B (zh) 一种基于差分图修正的像素级多聚焦图像融合方法
CN112862824A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN108230338A (zh) 一种基于卷积神经网络的立体图像分割方法
CN112700461B (zh) 一种肺结节检测和表征类别识别的系统
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN103914820A (zh) 一种基于图像分层增强的图像去雾方法及系统
Cong et al. Discrete haze level dehazing network
Sahu et al. Trends and prospects of techniques for haze removal from degraded images: A survey
Alenezi Image Dehazing Based on Pixel Guided CNN with PAM via Graph Cut.
CN111582437B (zh) 一种视差回归深度神经网络的构造方法
Li et al. Automatic annotation algorithm of medical radiological images using convolutional neural network
Jang et al. Deep color transfer for color-plus-mono dual cameras
CN116310095A (zh) 一种基于深度学习的多视图三维重建方法
Madessa et al. A deep learning approach for specular highlight removal from transmissive materials
CN106504292A (zh) 基于成像本质属性的立体颜色校正方法
CN113763300A (zh) 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
CN112613427B (zh) 基于视觉信息流分区投射编码模型的道路障碍物检测方法
Li et al. Exponential distance transform maps for cell localization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant