CN102572450A

CN102572450A - 基于sift特征与grnn网络的立体视频颜色校正方法

Info

Publication number: CN102572450A
Application number: CN2012100062418A
Authority: CN
Inventors: 吕朝辉; 董跃; 张懿斌
Original assignee: Communication University of China
Current assignee: Communication University of China
Priority date: 2012-01-10
Filing date: 2012-01-10
Publication date: 2012-07-11

Abstract

本发明公开了基于SIFT特征与GRNN网络的立体视频颜色校正方法，包括：利用SIFT特征匹配提取法，分别提取待校正视点图像和参考图像之间的SIFT特征点，计算出匹配特征点对，获取匹配特征点对的颜色值；利用GRNN网络，结合匹配特征点对的颜色值，构建用于反映待校正视点图像和参考图像之间映射关系的GRNN神经网络；将待校正图像输入构建好的GRNN神经网络，GRNN神经网络对输入的待矫正图像进行颜色矫正处理，输出颜色校正后的图像。本发明所述基于SIFT特征与GRNN网络的立体视频颜色校正方法，具有应用范围广、计算过程简单、精确性好与稳定性好的优点。

Description

基于SIFT特征与GRNN网络的立体视频颜色校正方法

技术领域

本发明涉及图像处理技术领域，具体地，涉及基于尺度不变特征转换（Scale-invariant feature transform，简称SIFT）特征与广义回归神经网络（GRNN，简称Generalized Regression Neural Network）的立体视频颜色校正方法。

背景技术

在图像处理技术领域，在进行立体视频采集时，各个视点的摄像机经常会出现局部或者整体的颜色差异，造成这种颜色差异的原因包括多种。通常我们假设物体表面符合漫反射条件，即物体表面的反射光的色度不随三维空间视点的改变而变化，但实际情况并不完全符合漫反射条件。因此伴随着各个视点间接受同样的光照条件时，也会产生干扰。

另外摄像机参数设置、CCD或CMOS感光器件的噪音、相机快门速度和曝光时间抖动也都会导致所得到各个视点视频的颜色产生差异。因此由立体视频颜色的多个摄像机拍摄到的各个视点视频会出局部或整体的颜色差异，当人们直接观看这样的立体视频或立体图像时，大脑在自动拼接这些图像时就会产生不舒适感。因此这些差异可能会影响到观看效果，并导致场景深度信息恢复的错误，从而影响到立体视频的进一步处理。

目前，颜色校正的算法较多，但大多数是针对单目图像的颜色校正，也有一些算法可以应用于立体视频图像颜色校正，如文献[1]-文献[5]：

[1]Xu W., Mulligan J.. Performance Evaluation of Color Correction Approaches for Automatic Multi-view Image and Video Stitching. CVPR’10, 2010, pp. 263–270（Xu W., Mulligan J..自动多视点图像和视频拼接中颜色校正方法性能评价，计算机视觉与模式识别国际会议，2010年，页码：263–270）

[2]Young-Chang Chang，Reid J.F. RGB calibration for color image analysis in machine vision. Image Processing，Oct 1996，5(10):1414-1422（Young-Chang Chang，Reid J.F. 机器视觉中用于彩色图像分析的RGB标定，图像处理杂志，1996年10月，页码：1414-1422）

[3]Porikli F，Divakaran A.，Multi-camera calibration，object tracking and query generation. IEEE ICME’03.1:653-656（Porikli F，Divakaran A. 多相机标定及对象跟踪和查询生成，多媒体国际会议及展览，2003年，页码：653-656）

[4]Unal G.，Yezzi A.，Soatto S.，Slabaugh G.. A variational approach to problems in calibration of multiple cameras. Pattern Analysis and Machine Intelligence,2007，29(8):1322-1338（Unal G.，Yezzi A.，Soatto S.，Slabaugh G.. 多相机标定问题中的可变方法，模式分析与机器智能杂志，2007年，页码1322-1338）

[5]姜浩，张蕾.一种基于直方图匹配的立体视频颜色校正算法.信息通信技术，2009年05期

文献[1]对这些目前存在的颜色校正算法进行总结和分类，并对各类算法的局限性进行评价。目前的颜色校正方法整体上可以分为基于模型参数（Model-based parametric approaches）和非参数（Modeless non-parametric approaches）颜色校正方法。

基于模型方法可以包括全局模型和局部模型。全局模型方法假定在目标图像和校正图像之间存在的颜色关系可以用一个颜色校正矩阵或者函数来表示，利用这个校正矩阵与校正图像进行卷积就完成颜色校正的过程。这类算法的主要工作就是如何求取颜色校正矩阵或函数，这个参数的求取方法有很多，其中文献[2]使用标准颜色板对摄像机系统进行标定，缺点是设置繁琐，精确度易会受采集环境的干扰；文献[3]通过计算两幅图像各个颜色通道之间的距离，构造一个相关矩阵搜索最小距离路径来找到校正函数，但校正函数不能保证完全正确；文献[4]则使用一个已知形状的颜色立方体，但其对设备和环境依赖性过强；局部模型算法需要求出两幅图像间的粗糙映射关系，然后利用各种分类方法对目标图像和校正图像进行分割，对分割的区域进行单独分析，再进行不同的处理，会涉及到图像分割算法。非参数方法假定没有特定的参数函数能够实现颜色映射。通常使用的最多的方法是利用直方图的信息重建颜色查找表进行直接的映射，如文献[5]提出如根据两个图像重叠区域直方图进行颜色直方图映射，进行视频颜色校正的方法。

上述目前存在的多种立体视频图像颜色校正方法，都存在各自的局限，或者应用范围有限，或者计算过程复杂，并且其中大部分并没有考虑到校正图像和参考图像中重叠区域中遮挡部分对校正信息的影响。

在实现本发明的过程中，发明人发现现有技术中至少存在应用范围小、计算过程复杂与精确性差等缺陷。

发明内容

本发明的目的在于，针对上述问题，提出基于SIFT特征与GRNN网络的立体视频颜色校正方法，以实现应用范围广、计算过程简单、精确性好与稳定性好的优点。

为实现上述目的，本发明采用的技术方案是：基于SIFT特征与GRNN网络的立体视频颜色校正方法，包括：

a、利用SIFT特征匹配提取法，分别提取待校正视点图像和参考图像之间的SIFT特征点，计算出匹配特征点对，并建立用于反映待矫正视点图像与参考图像之间的颜色对应关系的像素点对，获取匹配特征点对的颜色值；

b、利用GRNN网络，结合匹配特征点对的颜色值，构建用于反映待校正视点图像和参考图像之间映射关系的GRNN神经网络；

c、将待校正图像输入构建好的GRNN神经网络，GRNN神经网络对输入的待矫正图像进行颜色矫正处理，输出颜色校正后的图像。

进一步地，所述步骤c具体包括：

c1、将待校正图像的灰度值引入构建好的GRNN神经网络，并分别与待校正图像的R、G、B分量作为构建好的GRNN神经网络的三组输入参数，对输入参数进行预处理；

将参考图像的R、G、B值作与三组输入参数相对应的输出值，构建用于分别校正R、G、B分量的三个GRNN子神经网络；

c2、分别将待校正图像的R、G、B分量，输入相应的GRNN子神经网络，相应的GRNN子神经网络对输入的R、G、B分量进行颜色矫正处理，输出颜色校正后的输出值；

c3、在分别对待校正图像的R、G、B分量进行三个通道的颜色校正之后，将所得颜色矫正后的三个通道合并成新的图像，即颜色矫正之后的图像。

进一步地，在所述步骤c2与步骤c3之间，还包括：

对同输入分量对应的输出值，采取统计求均值处理，将得到平均值作为新的输出值。

进一步地，在所述步骤a之前，还包括：选择RGB颜色空间，对待校正视点图像进行颜色转换。

进一步地，所述待校正视点图像默认为经几何校正后的待校正视点图像。

本发明各实施例的基于SIFT特征与GRNN网络的立体视频颜色校正方法，由于包括：利用SIFT特征匹配提取法，分别提取待校正视点图像和参考图像之间的SIFT特征点，计算出匹配特征点对，获取匹配特征点对的颜色值；利用GRNN网络，结合匹配特征点对的颜色值，构建用于反映待校正视点图像和参考图像之间映射关系的GRNN神经网络；将待校正图像输入构建好的GRNN神经网络，GRNN神经网络对输入的待矫正图像进行颜色矫正处理，输出颜色校正后的图像；可以在不同视点图像中寻找对应区域，从对应区域分析获取映射关系，建立两幅图像间映射关系，使经过校正后的图像与参考图像颜色一致；从而可以克服现有技术中应用范围小、计算过程复杂与精确性差的缺陷，以实现应用范围广、计算过程简单、精确性好与稳定性好的优点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明基于SIFT特征与GRNN网络的立体视频颜色校正方法实施例的流程示意图；

图2为根据本发明基于SIFT特征与GRNN网络的立体视频颜色校正方法优选实施例的流程示意图；

图3a-图3c为根据本发明基于SIFT特征与GRNN网络的立体视频颜色校正方法实施例中“Race1”的SIFT提取结果示意图；

图4a-图4d为根据本发明基于SIFT特征与GRNN网络的立体视频颜色校正方法实施例中“Race1”校正结果示意图；

图5为根据本发明基于SIFT特征与GRNN网络的立体视频颜色校正方法实施例中“Race1”参考视点（视点3，第0帧）与其他视点间欧氏距离比较曲线示意图；

图6a-图6d为根据本发明基于SIFT特征与GRNN网络的立体视频颜色校正方法实施例中“Flamenco2”校正结果示意图；

图7为根据本发明基于SIFT特征与GRNN网络的立体视频颜色校正方法实施例中“Flamenco2”参考视点（视点2）与视点0间连续帧（第97-117帧）间欧氏距离比较曲线示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例一

根据本发明实施例，提供了基于SIFT特征与GRNN网络的立体视频颜色校正方法。如图1所示，本实施例的基于SIFT特征与GRNN网络的立体视频颜色校正方法，包括：

步骤100：利用SIFT特征匹配提取法，分别提取待校正视点图像和参考图像之间的SIFT特征点，计算出匹配特征点对，并建立用于反映待矫正视点图像与参考图像之间的颜色对应关系的像素点对，获取匹配特征点对的颜色值；

在步骤100中，SIFT特征是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结。其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对；

局部影像特征的描述与侦测可以帮助辨识物体，SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配；

步骤102：利用GRNN网络，结合匹配特征点对的颜色值，构建用于反映待校正视点图像和参考图像之间映射关系的GRNN神经网络；

步骤103：将待校正图像输入构建好的GRNN神经网络，GRNN神经网络对输入的待矫正图像进行颜色矫正处理，输出颜色校正后的图像。

在上述步骤100-步骤103中，待校正视点图像默认为经几何校正后的待校正视点图像。

实施例二

如图2所示，本实施例的基于SIFT特征与GRNN网络的立体视频颜色校正方法，包括：

步骤201：选择RGB颜色空间，对待校正视点图像进行颜色转换；

步骤202：利用SIFT特征匹配提取法，分别提取几何校正后的待校正视点图像和参考图像之间的SIFT特征点，计算出匹配特征点对，并建立用于反映待矫正视点图像与参考图像之间的颜色对应关系的像素点对，获取匹配特征点对的颜色值；

步骤203：利用GRNN网络，结合匹配特征点对的颜色值，构建用于反映待校正视点图像和参考图像之间映射关系的GRNN神经网络；

步骤204：将待校正图像的灰度值引入构建好的GRNN神经网络，并分别与待校正图像的R、G、B分量作为构建好的GRNN神经网络的三组输入参数，对输入参数进行预处理；

步骤205：分别将待校正图像的R、G、B分量，输入相应的GRNN子神经网络，相应的GRNN子神经网络对输入的R、G、B分量进行颜色矫正处理，输出颜色校正后的输出值；

步骤206：对同输入分量对应的输出值，采取统计求均值处理，将得到平均值作为新的输出值；

步骤207：在分别对待校正图像的R、G、B分量进行三个通道的颜色校正之后，将所得颜色矫正后的三个通道合并成新的图像，即颜色矫正之后的图像。

上述实施例一与实施例二，采用的颜色校正方法是一种基于图像特征点匹配提取和神经网络构造映射关系的颜色校正方法；算法首先利用SIFT特征匹配提取方法分别提取待校正视点图像和参考图像间的SIFT特征点，并找到其中匹配特征点对；当两幅图像存在颜色差异时，这些匹配点对也会产生相关的颜色差异，而这些点对则能够反映出目标图像与源图像的对应颜色关系；利用GRNN神经网络，结合匹配点的颜色值构建出能反映出图像间映射关系的神经网络；最后，利用已经构造好的GRNN神经网络，将待校正图像作为输入，输出则是校正后的图像，就完成颜色校正过程。

发明算法的详细过程如下：

（1）对所要处理的图像进行颜色转换。一般地，摄像机采集的视频图像可以以多种颜色空间格式进行保存，比较常见的包括RGB空间、YUV空间和HIS(色调、饱和度、亮度)，考虑到后续SIFT特征点提取和GRNN网络建立都需要用到灰度图像，而RGB是现有的图像设备最初采集到的颜色信息和最终颜色显示所用的颜色空间，因此直接选择RGB颜色空间进行处理；

（2）利用SIFT特征提取算法分别对待校正图像和参考图像分别进行SIFT特征点提取，并计算匹配点对。SIFT特征提取算法有很强的健壮性，对于图像的旋转、平移、亮度变化和一定程序的几何形变和噪声都有一定的稳定性，因此在每幅图像中一般都能提出上千个特征点，经过匹配，一般都能找到数百个匹配点对；

（3）得到匹配点对后，接着构建GRNN网络。考虑到RGB空间各个分量值之间存在高相关性，直接对R、G、B三个分量分别构造GRNN网络会带来较大的误差，因此本发明引入灰度值，分别和R、G、B三个分量共同构建网络。以R通道为例，由待校正图像的R分量和待校正图像的灰度值作为训练输入样本，参考图像R值作为训练输出样本，从而构造出GRNN网络。由此构造的GRNN网络也与G、B存在相关性，同理也可以对另两个分量构造GRNN网络，并利用神经网络对分量进行处理。构建GRNN时，首先对输入参数进行预处理，由于特征点对可能存在待参考图像的两个或多个特征点的分量值和灰度值相同，但参考图像中对应匹配点分量值不同，会对GRNN构造产生不利干扰，增加映射网络误差，本发明对同输入样本对应的输出样本采取统计求均值作为新的输出样本，以保证GRNN网络构造时的稳定和图像校正的合理性。在分别对三个分量通道进行颜色校正之后，再将三个通道合并成新的图像，即校正之后图像。

为了验证上述实施例一与实施例二提出的基于SIFT特征与GRNN网络的立体视频颜色校正方法的有效性，利用MATLAB R2009a平台，对该SIFT+GRNN算法进行相关实验，实验使用的立体视频序列为640 × 480的标准视频“Race1”和“Flamenco2”。“Race1”和“Flamenco2”都由KDDI公司提供，文件格式都为4：2：0的YUV格式，视点编号都从0开始；不同的是：“Race1”有8个视点，“Flamenco2”有5个视点。

实验时，从每组立体视频中选择最靠近中间的一个视点作为参考视点，而将其他的视点作为待校正视点，在本次实验中，在“Race1”中选择视点3作为参考视点，在“Flamenco2”中选择视点2作为参考视点。

实验所采用的标准立体视频的各个视点已经存在颜色偏差，不需要对图像进行加扰。为了验证算法的有效性，将与图像重叠区域直方图匹配的方法进行比较。对实验的结果从主观评价和图像间欧氏距离两个方面进行评价。

颜色的数值表示和视觉对颜色的感知并不是一个线性对应的关系，因此单纯采用量化的方式去评价图像颜色校正的效果是不全面的，主观评价是评价颜色偏差最直接的方式和必须的方式。

在理想情况下，经过校正之后参考图像和被校正图像对应点应该保证颜色完全一致，但实际上这是不可能的。为了更有效地衡量颜色较正的效果，实验引入校正图像与参考图像对应点的欧氏距离来进行评估。这个距离越小，表示颜色偏差越小。公式如下：

Figure 2012100062418100002DEST_PATH_IMAGE001

（1）

在公式（1）中，

，，分别为R，G，B的平均值。

当待校正图像与参考图像进行SIFT变换后，可以得到相应的SIFT特征点，并寻找对应的匹配点对，并对特征点进行预处理，排除误匹配，如图3a-图3c所示，为“Race1”中视点3和视点0的第0帧特征点匹配情况，匹配点对数较多且没有看到误匹配的情况发生，这反映了SIFT特征匹配的稳健高效。将特征点对中的待校正图像的各通道颜色值和灰度值作为构造GRNN的输入样本值，将参考图像的对应各通道颜色值作为构造GRNN的输出样本值。其中，图3a为原始图像(视点0，第0帧)的SIFT特征点；图3b为参考图像(视点3，第0帧)的SIFT特征点；图3c为已匹配的SIFT特征点。

为了比较本算法和直方图匹配算法效果，可以设计两组实验，其中一组在不同视点间在同一帧时的情况进行比较，另一组在同一对视点在连续帧时颜色校对的情况进行比较。第一组实验以“Race1”中视点3为参考视点，选择第0帧对其他视点进行较正，并与直方图算法效果进行比较。图4a-图4d为视点0被校正的结果，可以看到直方图校正的多处颜色偏亮，尤其是右上角树丛较为明显；欧氏距离如图5所示，对于大多数视点来说，上述实施例算法的欧氏距离都要比直方图小，这表示本文算法校正后的颜色偏差更小。其中，图4a为原始图像(视点0，第0帧)，图4b为参考图像(视点3，第0帧)，图4c为直方图校正结果，图4d为上述实施例一及实施例二所述方法校正结果。

第二组实验以“Flamenco2”视点2作为参考视点，视点0作为待校正视点，选取第97帧到第117帧分别进行颜色校正，并与直方图算法效果进行比较。图6a-图6d为视点0第100帧被校正的结果，可以看到本文算法与参考图像的相似度更高，而直方图算法校正的整体颜色偏亮；欧氏距离如图7所示，对于大多数情况下，上述实施例一与上述实施例二算法的欧氏距离都要比直方图小，这表示实施例一与上述实施例二算法校正后的颜色偏差更小。其中，图6a为原始图像(视点0，第100帧)，图6b为参考图像(视点2，第100帧)，图6c为直方图校正结果，图6d为上述实施例一及实施例二所述方法校正结果。

通过“Race1”和“Flamenco2”两组实验的比较，可以看到上述实施例一及实施例二的算法与直方图校正方法相比，能更有效地进行立体视频颜色校正。

上述实验，采用的颜色校正方法是一种基于图像特征点匹配提取和神经网络构造映射关系的颜色校正方法；具体包括：1）利用SIFT特征匹配提取方法分别提取待校正视点图像和参考图像间的SIFT特征点，并找到其中匹配特征点对，从而建立能够反映出目标图像与源图像的对应颜色关系的像素点对；2）利用GRNN神经网络，结合匹配点的颜色值构建出能反映出图像间映射关系的神经网络；3）将待校正图像的灰度值引入神经网络，分别与待校正图像的R、G、B分量作为各自神经网络的输入，参考图像的R、G、B值作为各自的输出，从而构建出用于分别校正R、G、B分量的3个GRNN网络；4）针对参考图像中两个或多个特征点的R、G、B分量值和灰度值相同，但目标图像中对应匹配点的分量值不同的问题，为减少GRNN网络映射误差，上述实施例对同输入样本对应的输出样本采取统计求均值作为新的输出样本的方法，保证了GRNN网络构造时的稳定和图像校正的合理性。

综上所述，本发明各实施例的基于SIFT特征与GRNN网络的立体视频颜色校正方法，重点是在于颜色校正，默认输入的各个视点的视频图像都已经过几何校正；颜色校正的目的就是使经过校正后的图像与参考图像颜色一致，因此颜色校正的过程实质也是建立两幅图像间映射关系的过程；由于各个视点的摄像机拍摄角度不同，因此各个视点图像将有一部分表现不同的内容，所以需要在不同视点图像中寻找对应区域，从对应区域分析获取映射关系。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于SIFT特征与GRNN网络的立体视频颜色校正方法，其特征在于，包括：

2.根据权利要求1所述的基于SIFT特征与GRNN网络的立体视频颜色校正方法，其特征在于，所述步骤c具体包括：

3.根据权利要求2所述的基于SIFT特征与GRNN网络的立体视频颜色校正方法，其特征在于，在所述步骤c2与步骤c3之间，还包括：

4.根据权利要求1-3中任一项所述的基于SIFT特征与GRNN网络的立体视频颜色校正方法，其特征在于，在所述步骤a之前，还包括：选择RGB颜色空间，对待校正视点图像进行颜色转换。

5.根据权利要求4所述的基于SIFT特征与GRNN网络的立体视频颜色校正方法，其特征在于，所述待校正视点图像默认为经几何校正后的待校正视点图像。