CN107481183A - 一种基于多维数据关联规则的微光图像彩色化方法 - Google Patents

Abstract

本发明公开了一种基于多维数据关联规则的微光图像彩色化方法。该方法步骤如下：微光图像多属性规则挖掘：首先利用相似场景中不同物体组成的样本库，基于SVM对微光图像进行分类，采用多属性规则约束的Apriori优化算法，挖掘参考彩色图像中的亮度、颜色之间的强关联规则集，并引入类别标签元素，最终生成亮度‑类别‑颜色强关联规则集；基于规则映射的微光图像彩色化：提取微光图像中像素的亮度以及所属类别，基于挖掘生成的强关联规则集，映射生成每个像素所对应的R、G、B颜色分量，生成彩色图。本发明方法可以获得彩色化效果好、颜色还原度高的彩色图像，且该方法易于硬件转化、可以实现实时的彩色化效果。

Description

一种基于多维数据关联规则的微光图像彩色化方法

技术领域

本发明属于夜视图像彩色化技术领域，特别是一种基于多维数据关联规则的微光图像彩色化方法。

背景技术

微光图像彩色化一直是夜视技术的研究热点。微光图像是光电器件成像的结果，通常为灰度图像，结合人眼对彩色图像具有更高的分辨率和敏感度的特点，微光图像彩色化可以提升人们对目标与场景信息的认知，无论在军事领域还是民用领域均具有非常重大的意义。

目前，对灰度图像进行彩色化的方法主要有基于手工笔触的颜色扩散方法和基于参考彩色图像的颜色传递方法两类。基于“如果空间上相邻的像素亮度相似，那么其颜色也会比较相似”这个假设，Levin等提出的一种基于手工笔触的颜色扩散方法是这类彩色化方法中最具有代表性的一种，并且取得了比较好的效果。Welsh等提出了基于参考彩色图像的颜色传递方法，即利用亮度和纹理信息将参考彩色图像中的像素与目标灰度图像中的像素进行局部匹配，然后将颜色传递到与之最为相似的像素上。基于手工笔触的颜色扩散方法需要用户的手动输入，而且对用户的手动输入要求很高，一般需要反复操作多次才能获得理想的彩色化效果；基于参考彩色图像的颜色传递方法算法复杂，耗时较多，而且很难得到理想的彩色化效果。

发明内容

本发明的目的在于提供一种易于硬件转化、可实时完成染色，且色彩还原度高的基于多维数据关联规则的微光图像彩色化方法。

实现本发明目的的技术解决方案为：一种基于多维数据关联规则的微光图像彩色化方法，步骤如下：

步骤1，微光图像多属性规则挖掘：

采用多属性规则约束的Apriori优化算法，挖掘参考彩色图像中的亮度、颜色之间的强关联规则集，并引入类别标签元素，最终生成亮度-类别-颜色强关联规则集；

步骤2，基于规则映射的微光图像彩色化：

提取微光图像中像素的亮度以及所属类别，基于挖掘生成的强关联规则集，映射生成每个像素所对应的R、G、B颜色分量，生成彩色图。

作为一种具体示例，步骤1所述微光图像多属性规则挖掘，具体如下：

(1.1)找出所有与微光图像中物体相对应的参考彩色图像，分别对参考彩色图像进行分块处理，生成libsvm分类函数实现分类的训练样本BLOCK，给参考彩色图像中的每个物体BLOCK附上类别标签label’；并提取参考彩色图像相应的待选图像特征集{hog，均值，方差，同质性，熵}，通过观察分类效果，选择最合适的图像特征集T作为分类数据traindata，最后生成SVM分类器model；

(1.2)在具有x个像素的不同参考彩色图像BLOCK中提取每个像素的亮度y和颜色分量R、G、B，建立对应的事务数据库database；

(1.3)基于多属性规则约束的Apriori优化算法，实现像素彩色化的唯一性。

作为一种具体示例，步骤2所述基于规则映射的微光图像彩色化，具体如下：

(2.1)首先在微光图像中选择移动窗口，基于训练好的SVM分类器model对窗口内图像块进行分类，并将类别标签赋值给左上角像素，通过扩展图像边界，遍历整幅图像中的每一个像素，根据得到的微光图像中每个像素的类别标签以及对应的亮度值生成亮度-类别待映射集；

(2.2)基于挖掘好的强关联规则集，待映射集将在已经挖掘好的强关联规则集中一一搜索映射，赋予对应的R、G、B颜色分量值，最后生成微光图像的彩色化效果。

作为一种具体示例，步骤(1.3)所述基于多属性规则约束的Apriori优化算法，实现像素彩色化的唯一性，具体过程如下：

1)算法参数设定和频繁项集的生成

设定支持度s和置信度c，基于支持度参数，不断地通过连接、剪枝两个步骤，过滤掉无用的项集，生成频繁4-项项集；

2)规则的约束和生成

基于置信度参数，过滤掉置信度低于阈值参数c的无用的弱关联规则，挖掘生成待约束强关联规则集；再根据区间数和区间分布，分别确定亮度、颜色分量R、G、B所对应的区间，对待约束强关联规则集做进一步的约束，生成符合条件的亮度-颜色初始强关联规则集；

3)类别属性规则挖掘

在亮度-颜色初始强关联规则集中加入类别标签元素labeln’，生成各个参考彩色图像对应的亮度-类别-颜色强关联规则集(strong rules set)n，再将所有不同的参考彩色图像对应的强关联规则集(strong rules set)n组合在一起，生成最终的待映射强关联规则集strong rules set。

本发明与现有技术相比，其显著优点为：(1)易于硬件转化，可以实现实时性的彩色化过程：对目标微光图像进行彩色化时，只需对目标微光图像进行分类和颜色映射即可，大大缩短了彩色化的时间，因而可以实现彩色化的实时性；(2)彩色化效果好，十分接近真彩色：当亮度和颜色分量分成的区间数足够多时，将得到与原彩色基本相同的彩色化效果图。

下面结合附图对本发明作进一步详细叙述。

附图说明

图1是本发明基于多维数据关联规则的微光图像彩色化方法的原理图。

图2是本发明基于多维数据关联规则的微光图像彩色化方法中步骤一的流程图。

图3是本发明方法各实验所用参考彩色图，其中(a)为本发明算法所用参考彩色图，(b)为welsh算法所采用的参考彩色图。

图4是不同颜色区间数对应的彩色化效果图，其中(a)为目标彩色图，(b)为参考彩色图，(c)为20区间效果图，(d)为50区间效果图。

图5是两种不同场景中的两幅不同角度单色图，其中(a)为第一个场景中的一种角度单色图，(b)为第一个场景中的另一种角度单色图，(c)为第二个场景中的一种角度单色图，(d)为第二个场景中的另一种角度单色图。

图6是相似场景中的三幅不同照度条件下的目标微光图，其中(a)为第一照度条件下的目标微光图，(b)为第二照度条件下的目标微光图，(c)为第三照度条件下的目标微光图。

具体实施方式

本发明提出了一种基于关联规则的全新的、高效的、单通道微光图像彩色化方法。传统的双通道微光图像彩色化方法一般采用微光图像与红外图像融合的方法，其得到的是一种伪彩色效果，颜色失真严重；传统的单通道微光图像彩色化方法以基于手工笔触的颜色扩散方法和基于参考彩色图像的颜色传递方法为主，这些方法需要人为干预、算法复杂、彩色化效果不理想。本发明方法提出了一种微光图像彩色化的新方法，算法简单，彩色化效果好。

步骤1、利用相似场景中不同物体组成的样本库，基于SVM对微光图像进行分类。本发明提出了一种多属性规则约束的Apriori优化算法，挖掘参考彩色图像中的“亮度”、“颜色”之间的强关联规则集，并引入“类别标签”元素，最终生成“亮度-类别-颜色”强关联规则集。

利用Apriori算法挖掘选定的微光图像中不同物体所对应的参考彩色图像中“亮度-颜色”强关联规则集。依次读取参考彩色图像中每个像素的亮度y和颜色分量R、G、B，将亮度、颜色分量进行区间化，组建Apriori关联规则挖掘算法对应的事务数据库，并用该算法进行关联规则挖掘。

给微光图像中的不同物体附上类别标签，生成待搜索映射的“亮度-类别-颜色”强关联规则集。其特征在于，事先给微光图像中的每个物体附上不同的类别标签值，将类别标签值直接加入对应的“亮度-颜色”强关联规则的左侧，从而生成每个物体对应的强关联规则集，并将所有物体对应的强关联规则集组合在一起，生成一个最终的待搜索映射的“亮度-类别-颜色”强关联规则集。

步骤2、提取微光图像中像素的亮度以及所属类别，基于挖掘生成的强关联规则集，映射生成每个像素所对应的R、G、B颜色分量，生成彩色图。

利用微光图像中不同物体所对应的参考彩色图像，选取合适的图像特征，训练生成一个SVM分类器。其特征在于，将每个物体对应的参考彩色图像进行分块处理，生成一个分类训练样本库，选取libsvm分类函数，对于微光图像选取“均值”特征进行分类，生成SVM分类器。

选取一定尺寸的移动窗口，遍历微光图像中的所有像素，对所有像素进行分类。其特征在于，选取16×16的移动窗口，通过扩展图像边界，用训练好的SVM分类器对每个移动窗口内的图像块进行分类，并将类别标签值赋给左上角像素。

提取微光图像中每个像素的亮度和类别标签值，生成微光图像所对应的“亮度-类别”待搜索映射集。其特征在于，提取每个像素经过SVM分类器分好的类别标签值，再提取每个像素的亮度，组成“亮度-类别”待搜索映射集。

基于挖掘好的强关联规则集，待映射集在强关联规则集中一一搜索映射最后生成彩色化效果图。其特征在于，将微光图像中每个像素的亮度、类别在强关联规则集中搜索，找到匹配的强关联规则，将规则右侧的颜色分量值赋给对应的像素，从而生成最后的彩色化效果图。

实施例1

结合图1～2，本发明提出的基于多维数据关联规则的微光图像彩色化方法的步骤如下：

步骤一：微光图像多属性规则挖掘。

采用多属性规则约束的Apriori优化算法，挖掘参考彩色图像中的亮度、颜色之间的强关联规则集，并引入类别标签元素，最终生成亮度-类别-颜色强关联规则集；

对于强关联规则集的挖掘问题，本发明首先提取参考彩色图像中每个像素的亮度y及其对应的颜色分量R、G、B，提出了一种多属性规则约束的Apriori优化算法，挖掘生成了“亮度-颜色”强关联规则集。后经实验发现，生成的“亮度-颜色”强关联规则集只对微光图像中不同物体的亮度层次较多的简单图像有较好的彩色化效果，而对于亮度排布复杂，且多个物体的亮度差别不大甚至完全相同的微光图像容易出现彩色化错误的问题。为了解决这个问题，本发明在上述强关联规则集中引入了“类别标签”元素，挖掘生成了“亮度-类别-颜色”强关联规则集。具体过程描述如下：

(1.1)找出所有与微光图像中物体相对应的参考彩色图像，分别对参考彩色图像进行分块处理，生成libsvm分类函数实现分类的训练样本BLOCK。本发明给参考彩色图像中的每个物体BLOCK附上类别标签label’,如式(1)，并提取参考彩色图像相应的待选图像特征集{hog，均值，方差，同质性，熵}，通过观察分类效果，选择最合适的图像特征集T作为分类数据traindata，如式(2)，最后生成SVM分类器(model)，如式(3)。

trainlabel＝[label1',label2',…,labeln']' (1)

traindata＝[T(BLOCK1)',T(BLOCK2)',…，T(BLOCKn)']' (2)

model＝svmtrain(trainlabel,traindata,'-s 0-t 2') (3)

(1.2)在具有x个像素的不同参考彩色图像BLOCK中提取每个像素的亮度y和颜色分量R、G、B，建立对应的事务数据库database。

(1.3)基于多属性规则约束的Apriori优化算法，实现像素彩色化的唯一性，具体过程如下：

1)算法参数设定和频繁项集的生成。

设定支持度(Support)s和置信度(Confidence)c，利用式(4)、式(5)基于支持度参数，不断地通过连接、剪枝两个步骤，过滤掉无用的项集，生成频繁4-项项集(4-Items)。

2)规则的约束和生成。

利用式(6)、式(7)基于置信度参数，过滤掉置信度低于阈值参数c的无用的弱关联规则，挖掘生成待约束强关联规则集(strong rules set for constraint)。再根据区间数和区间分布，分别确定亮度、颜色分量R、G、B所对应的区间，结合式(8)对待约束强关联规则集做进一步的约束，生成符合条件的“亮度-颜色”初始强关联规则集(Ori(strong rulesset))。

A∈[a1,a2],B∈[b1,b2] (8)

3)类别属性规则挖掘。

在“亮度-颜色”强关联规则集中加入类别标签元素(labeln’)，生成各个参考彩色图像对应的“亮度-类别-颜色”强关联规则集((strong rules set)n)，再将所有不同的参考彩色图像对应的强关联规则集(strong rules set)n组合在一起，生成最终的待映射强关联规则集(strong rules set)。

整个过程如图2所示。

步骤二：基于规则映射的微光图像彩色化。

提取微光图像中像素的亮度以及所属类别，基于挖掘生成的强关联规则集，映射生成每个像素所对应的R、G、B颜色分量，生成彩色图。

对于微光图像彩色化问题，本发明首先在单色测试图像中选择大小为16×16的移动窗口，基于训练好的SVM分类器对窗口内图像块进行分类，并将“类别标签”赋值给左上角像素，遍历整幅图像中的每一个像素，根据得到的微光图像中每个像素的“类别标签”以及对应的亮度值就可以生成“亮度-类别”待映射集，待映射集将在已经挖掘好的强关联规则集中一一搜索映射，赋予对应的R、G、B颜色分量值，最后生成微光图像的彩色化效果。具体过程描述如下：

(2.1)首先在微光图像中选择移动窗口，基于训练好的SVM分类器model对窗口内图像块进行分类，并将类别标签赋值给左上角像素，通过扩展图像边界，遍历整幅图像中的每一个像素，根据得到的微光图像中每个像素的类别标签以及对应的亮度值生成亮度-类别待映射集；

如式(9)，基于训练好的SVM分类器(model)对微光图像中的每个像素进行分类，类别标签值为L，生成类别标签矩阵F，结合提取出的微光图像中每个像素的亮度y，生成待映射集D，如式(10)。

(2.2)基于挖掘好的强关联规则集，待映射集将在已经挖掘好的强关联规则集中一一搜索映射，赋予对应的R、G、B颜色分量值，最后生成微光图像的彩色化效果。

如式(11)，基于挖掘好的强关联规则集，待映射集D在强关联规则集中一一搜索映射，赋予对应的R、G、B颜色分量值，最后生成微光图像的彩色化效果图(result)。

为说明本发明在微光图像彩色化方面的优势，因为本发明方法中的参考彩色图像具有相似场景的适应性，所以先给本发明彩色化实验选定参考彩色图像，如图3所示。

图4是不同颜色区间数对应的彩色化效果图，其中(a)为目标彩色图，(b)为参考彩色图，(c)为20区间效果图，(d)为50区间效果图。图4(c)是将图像亮度y和颜色分量R、G、B分成20个区间后，得到的彩色化效果图；图4(d)是分成50个区间后，得到的彩色化效果图。从图4(d)中可以明显地看出，将图像亮度y和颜色分量R、G、B分成50个区间后，效果图中除了极个别局部区域由于分类错误而导致的影响较小的染色失败和交界处染色错误之外，白狗身上的条状的、失真的颜色已经基本变成连续均匀的颜色，而且狗身上的白色和草地的绿色更加地接近自然真彩色。可见，图像亮度、颜色分量的区间数增加到一定程度时，彩色化效果可以无限接近连续均匀的真彩色。

图5(a)～(d)是两种不同场景中的两幅不同角度单色图。如图5所示，本发明方法先使用本发明方法对用CMOS拍摄的两种不同厂场景中两个不同角度的4幅彩图所对应的灰度图进行彩色化，并将彩色化效果图与原彩色图像进行对比，凸显本发明方法的有效性，从图5两组不同场景中的两幅不同角度单色图像的彩色化效果图中可以发现，本发明算法能够得到很好的彩色化效果，在实验得到的效果图中，已经能够将树丛、草坪、道路进行明显的区分和彩色化；而且根据图4的多区间化后的彩色化效果图，我们可以得知，当亮度和颜色分量所分成的区间足够多时，本发明算法能够得到连续均匀的、无限接近真彩色的彩色化效果。

再对用EMCCD拍摄的相似场景中的三幅不同照度条件下的微光图像进行彩色化，如图6所示。并将本发明的彩色化方法的效果与Welsh算法比较，凸显本发明方法的优越性。从实验效果中可以看出，本发明提出的彩色化算法在三种照度条件下的微光图像彩色化效果都是明显优于welsh算法的。本发明算法可以很明显地将图6(a)、(b)、(c)中的草坪和树木区别开来，给树木部分染上鲜艳的绿色，能够给草坪染上对应的灰黄色，三幅彩色化效果图颜色对比鲜明，视觉效果较好。而welsh算法所呈现出的彩色化效果图，并没有将树木和地面进行明显区分，整个视觉效果较本发明算法有较大劣势。这是因为welsh算法是基于局部的统计分布来实现图像彩色化的，而微光图像中的噪声往往较多，会在很大程度上影响局部统计分布的计算以及后续的匹配工作；而本发明算法是基于图像分类实现的彩色化，先通过图像块的均值特征，将不同物体明显区分开，再映射相应的颜色，所以彩色化效果会比较好。

Claims (4)

1.一种基于多维数据关联规则的微光图像彩色化方法，其特征在于，步骤如下：

步骤1，微光图像多属性规则挖掘：

采用多属性规则约束的Apriori优化算法，挖掘参考彩色图像中的亮度、颜色之间的强关联规则集，并引入类别标签元素，最终生成亮度-类别-颜色强关联规则集；

步骤2，基于规则映射的微光图像彩色化：

提取微光图像中像素的亮度以及所属类别，基于挖掘生成的强关联规则集，映射生成每个像素所对应的R、G、B颜色分量，生成彩色图。

2.根据权利要求1所述的基于多维数据关联规则的微光图像彩色化方法，其特征在于，步骤1所述微光图像多属性规则挖掘，具体如下：

(1.1)找出所有与微光图像中物体相对应的参考彩色图像，分别对参考彩色图像进行分块处理，生成libsvm分类函数实现分类的训练样本BLOCK，给参考彩色图像中的每个物体BLOCK附上类别标签label’；并提取参考彩色图像相应的待选图像特征集{hog，均值，方差，同质性，熵}，通过观察分类效果，选择最合适的图像特征集T作为分类数据traindata，最后生成SVM分类器model；

(1.2)在具有x个像素的不同参考彩色图像BLOCK中提取每个像素的亮度y和颜色分量R、G、B，建立对应的事务数据库database；

(1.3)基于多属性规则约束的Apriori优化算法，实现像素彩色化的唯一性。

3.根据权利要求2所述的基于多维数据关联规则的微光图像彩色化方法，其特征在于，步骤2所述基于规则映射的微光图像彩色化，具体如下：

(2.1)首先在微光图像中选择移动窗口，基于训练好的SVM分类器model对窗口内图像块进行分类，并将类别标签赋值给左上角像素，通过扩展图像边界，遍历整幅图像中的每一个像素，根据得到的微光图像中每个像素的类别标签以及对应的亮度值生成亮度-类别待映射集；

(2.2)基于挖掘好的强关联规则集，待映射集将在已经挖掘好的强关联规则集中一一搜索映射，赋予对应的R、G、B颜色分量值，最后生成微光图像的彩色化效果。

4.根据权利要求2所述的基于多维数据关联规则的微光图像彩色化方法，其特征在于，步骤(1.3)所述基于多属性规则约束的Apriori优化算法，实现像素彩色化的唯一性，具体过程如下：

1)算法参数设定和频繁项集的生成

设定支持度s和置信度c，基于支持度参数，不断地通过连接、剪枝两个步骤，过滤掉无用的项集，生成频繁4-项项集；

2)规则的约束和生成

基于置信度参数，过滤掉置信度低于阈值参数c的无用的弱关联规则，挖掘生成待约束强关联规则集；再根据区间数和区间分布，分别确定亮度、颜色分量R、G、B所对应的区间，对待约束强关联规则集做进一步的约束，生成符合条件的亮度-颜色初始强关联规则集；

3)类别属性规则挖掘

在亮度-颜色初始强关联规则集中加入类别标签元素labeln’，生成各个参考彩色图像对应的亮度-类别-颜色强关联规则集(strong rules set)n，再将所有不同的参考彩色图像对应的强关联规则集(strong rules set)n组合在一起，生成最终的待映射强关联规则集strong rules set。