CN104811622B - 图像色彩移植方法及装置 - Google Patents

Abstract

本发明公开了一种图像色彩移植方法，包括以下步骤：将需要进行色彩移植的第一图像和第二图像进行对齐处理，获取各像素点位置对应的图像对；将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图。本发明还公开一种图像色彩移植装置。本发明使得色彩移植后的合成图效果得到了极大地提升。

Description

图像色彩移植方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像色彩移植方法及装置。

背景技术

色彩移植是指在某图像的纹理结构信息上套用嫁接另一图像的色彩信息而合成新图的技术，目前在图像后处理等方面用途广泛。现有的色彩移植方法主要包括基于空间全局色彩变换方法、基于DCR块的局部色彩映射变换方法和基于坐标位置的查表插值局部色彩移植方法等，但现有的色彩移植方法由于处理的算法都非常简单，致使色彩移植后的合成图像效果非常差，无法满足实际应用的要求。

发明内容

本发明的主要目的在于提出一种图像色彩移植方法及装置，旨在提升色彩移植后的合成图像效果。

为实现上述目的，本发明提供的一种图像色彩移植方法，所述方法包括以下步骤：

将需要进行色彩移植的第一图像和第二图像进行对齐处理，获取各像素点位置对应的图像对；

将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图。

优选地，所述将需要进行色彩移植的第一图像和第二图像进行对齐处理，获取各像素点位置对应的图像对的步骤包括：

若所述第一图像和第二图像为同一拍摄设备拍摄的图像，则建立所述第一图像和第二图像中各个像素点的对应关系，获取各像素点位置对应的图像对；

若所述第一图像和第二图像为不同拍摄设备拍摄的图像，则分别在所述第一图像和第二图像中获取包含所述第一图像与第二图像之间公共部分的第一公共图像和第二公共图像，并建立所述第一公共图像和第二公共图像中各个像素点的对应关系，获取各像素点位置对应的图像对。

优选地，所述将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图的步骤之前还包括：

若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对。

优选地，所述若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对的步骤还包括：

若所述图像对中的图像为可见光图像中的彩色图像和灰度图像，则将所述彩色图像按色彩通道分离为红、绿、蓝三个通道子图，并将分离的三个通道子图分别与所述灰度图像进行配对获取对应的子图像对。

优选地，所述若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对的步骤还包括：

若所述图像对中的图像为可见光图像中的彩色图像和不可见光图像中的红外图像，则将所述彩色图像及所述红外图像均按色彩通道分离为红、绿、蓝三个通道子图，并将所述彩色图像分离的三个通道子图分别与所述红外图像分离的三个通道子图进行配对获取对应通道的子图像对。

优选地，所述将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图的步骤包括：

将所述子图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述子图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并对所述子图像对分别进行引导滤波处理，获取若干子合成图，将若干子合成图进行合并获取色彩移植后的合成图。

优选地，所述将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图的步骤包括：

将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，在预设第一窗口内计算获取所述引导图、输入图与合成图之间的线性关系模型参数，在预设第二窗口内计算获取所述线性关系模型参数的特征值，并根据所述线性关系模型参数的特征值及所述引导图、输入图与合成图之间的线性关系模型计算获取合成图；

其中，所述预设第一窗口内的像素个数与所述预设第二窗口内的像素个数不同。

此外，为实现上述目的，本发明还提出一种图像色彩移植装置，所述图像色彩移植装置包括：

对齐模块，用于将需要进行色彩移植的第一图像和第二图像进行对齐处理，获取各像素点位置对应的图像对；

引导滤波模块，用于将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图。

优选地，所述对齐模块还用于：

若所述第一图像和第二图像为同一拍摄设备拍摄的图像，则建立所述第一图像和第二图像中各个像素点的对应关系，获取各像素点位置对应的图像对；

若所述第一图像和第二图像为不同拍摄设备拍摄的图像，则分别在所述第一图像和第二图像中获取包含所述第一图像与第二图像之间公共部分的第一公共图像和第二公共图像，并建立所述第一公共图像和第二公共图像中各个像素点的对应关系，获取各像素点位置对应的图像对。

优选地，所述图像色彩移植装置还包括：

分离模块，用于若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对。

优选地，所述分离模块还用于：

若所述图像对中的图像为可见光图像中的彩色图像和灰度图像，则将所述彩色图像按色彩通道分离为红、绿、蓝三个通道子图，并将分离的三个通道子图分别与所述灰度图像进行配对获取对应的子图像对。

优选地，所述分离模块还用于：

若所述图像对中的图像为可见光图像中的彩色图像和不可见光图像中的红外图像，则将所述彩色图像及所述红外图像均按色彩通道分离为红、绿、蓝三个通道子图，并将所述彩色图像分离的三个通道子图分别与所述红外图像分离的三个通道子图进行配对获取对应通道的子图像对。

优选地，所述引导滤波模块还用于：

将所述子图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述子图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并对所述子图像对分别进行引导滤波处理，获取若干子合成图，将若干子合成图进行合并获取色彩移植后的合成图。

优选地，所述引导滤波模块还用于：

将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，在预设第一窗口内计算获取所述引导图、输入图与合成图之间的线性关系模型参数，在预设第二窗口内计算获取所述线性关系模型参数的特征值，并根据所述线性关系模型参数的特征值及所述引导图、输入图与合成图之间的线性关系模型计算获取合成图；

其中，所述预设第一窗口内的像素个数与所述预设第二窗口内的像素个数不同。

本发明提出的图像色彩移植方法及装置，通过将需要进行图像色彩移植的图像进行对齐获取对应的图像对，并将所述图像对进行引导滤波处理获取色彩移植后的合成图，由于采用了引导滤波算法来进行色彩移植，既能在色彩移植时保留所述图像对中一图像的纹理结构特征，又能充分获取另一图像的色彩信息，使得色彩移植后的合成图效果得到了极大地提升。

附图说明

图1为实现本发明各个实施例的移动终端中相机的电气结构框图。

图2为本发明图像色彩移植方法第一实施例的流程示意图；

图3为本发明图像色彩移植方法第二实施例的流程示意图；

图4为本发明图像色彩移植装置第一实施例的功能模块示意图；

图5为本发明图像色彩移植装置第二实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

图1为实现本发明各个实施例的移动终端中相机的电气结构框图。

摄影镜头1211由用于形成被摄体像的多个光学镜头构成，为单焦点镜头或变焦镜头。摄影镜头1211在镜头驱动器1221的控制下能够在光轴方向上移动，镜头驱动器1221根据来自镜头驱动控制电路1222的控制信号，控制摄影镜头1211的焦点位置，在变焦镜头的情况下，也可控制焦点距离。镜头驱动控制电路1222按照来自微型计算机1217的控制命令进行镜头驱动器1221的驱动控制。

在摄影镜头1211的光轴上、由摄影镜头1211形成的被摄体像的位置附近配置有摄像元件1212。摄像元件1212用于对被摄体像摄像并取得摄像图像数据。在摄像元件1212上二维且呈矩阵状配置有构成各像素的光电二极管。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流由与各光电二极管连接的电容器进行电荷蓄积。各像素的前表面配置有拜耳排列的RGB滤色器。

摄像元件1212与摄像电路1213连接，该摄像电路1213在摄像元件1212中进行电荷蓄积控制和图像信号读出控制，对该读出的图像信号(模拟图像信号)降低重置噪声后进行波形整形，进而进行增益提高等以成为适当的信号电平。摄像电路1213与A/D转换器1214连接，该A/D转换器1214对模拟图像信号进行模数转换，向总线1227输出数字图像信号(以下称之为图像数据)。

总线1227是用于传送在相机的内部读出或生成的各种数据的传送路径。在总线1227连接着上述A/D转换器1214，此外还连接着图像处理器1215、JPEG处理器1216、微型计算机1217、SDRAM(Synchronous Dynamic random access memory，同步动态随机存取内存)1218、存储器接口(以下称之为存储器I/F)1219、LCD(Liquid Crystal Display，液晶显示器)驱动器1220。

图像处理器1215对基于摄像元件1212的输出的图像数据进行OB相减处理、白平衡调整、颜色矩阵运算、伽马转换、色差信号处理、噪声去除处理、同时化处理、边缘处理等各种图像处理。JPEG处理器1216在将图像数据记录于记录介质1225时，按照JPEG压缩方式压缩从SDRAM1218读出的图像数据。此外，JPEG处理器1216为了进行图像再现显示而进行JPEG图像数据的解压缩。进行解压缩时，读出记录在记录介质1225中的文件，在JPEG处理器1216中实施了解压缩处理后，将解压缩的图像数据暂时存储于SDRAM1218中并在LCD1226上进行显示。另外，在本实施方式中，作为图像压缩解压缩方式采用的是JPEG方式，然而压缩解压缩方式不限于此，当然可以采用MPEG、TIFF、H.264等其他的压缩解压缩方式。

微型计算机1217发挥作为该相机整体的控制部的功能，统一控制相机的各种处理序列。微型计算机1217连接着操作单元1223和闪存1224。

操作单元1223包括但不限于实体按键或者虚拟按键，该实体或虚拟按键可以为电源按钮、拍照键、编辑按键、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作控件，检测这些操作控件的操作状态。

将检测结果向微型计算机1217输出。此外，在作为显示器的LCD1226的前表面设有触摸面板，检测用户的触摸位置，将该触摸位置向微型计算机1217输出。微型计算机1217根据来自操作单元1223的操作位置的检测结果，执行与用户的操作对应的各种处理序列。

闪存1224存储用于执行微型计算机1217的各种处理序列的程序。微型计算机1217根据该程序进行相机整体的控制。此外，闪存1224存储相机的各种调整值，微型计算机1217读出调整值，按照该调整值进行相机的控制。

SDRAM1218是用于对图像数据等进行暂时存储的可电改写的易失性存储器。该SDRAM1218暂时存储从A/D转换器1214输出的图像数据和在图像处理器1215、JPEG处理器1216等中进行了处理后的图像数据。

存储器接口1219与记录介质1225连接，进行将图像数据和附加在图像数据中的文件头等数据写入记录介质1225和从记录介质1225中读出的控制。记录介质1225例如为能够在相机主体上自由拆装的存储器卡等记录介质，然而不限于此，也可以是内置在相机主体中的硬盘等。

LCD驱动器1210与LCD1226连接，将由图像处理器1215处理后的图像数据存储于SDRAM1218，需要显示时，读取SDRAM1218存储的图像数据并在LCD1226上显示，或者，JPEG处理器1216压缩过的图像数据存储于SDRAM1218，在需要显示时，JPEG处理器1216读取SDRAM1218的压缩过的图像数据，再进行解压缩，将解压缩后的图像数据通过LCD1226进行显示。

LCD1226配置在相机主体的背面进行图像显示。该LCD1226LCD)，然而不限于此，也可以采用有机EL等各种显示面板(LCD1226)，然而不限于此，也可以采用有机EL等各种显示面板。

基于上述移动终端中相机的电气结构示意图，提出本发明图像色彩移植方法各个实施例。

如图2所示，在本发明图像色彩移植方法的第一实施例中，该图像色彩移植方法包括：

步骤S10，将需要进行色彩移植的第一图像和第二图像进行对齐处理，获取各像素点位置对应的图像对；

本实施例中，由于色彩移植是将某一图像的纹理结构信息套用嫁接另一图像的色彩信息而合成一张新图的技术，因此，在进行色彩移植时需要准备两张图像即第一图像和第二图像。在进行色彩移植前，首先将需要进行色彩移植的第一图像和第二图像进行对齐处理，对第一图像和第二图像进行位移、旋转或剪切等操作后，获取各像素点位置对应的图像对，该图像对中的两张图像既可以是进行位移、旋转后的第一图像和第二图像，也可以是对第一图像和第二图像进行剪切等操作后的部分图像，且该图像对中的两张图像的各个像素点位置均为对应关系，使该图像对中的两张图像完全对齐，这样，有利于后续根据该图像对中的两张图像进行引导滤波的操作及最终的合成图效果。

步骤S20，将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图。

将所述图像对中的两张图像完全对齐后，即可进行引导滤波操作，可根据用户需要将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，进而利用引导滤波算法及设定的引导图、输入图与最终的合成图之间的线性关系模型计算获取最终的合成图，即获取色彩移植后的合成图。

本实施例通过将需要进行图像色彩移植的图像进行对齐获取对应的图像对，并将所述图像对进行引导滤波处理获取色彩移植后的合成图，由于采用了引导滤波算法来进行色彩移植，既能在色彩移植时保留所述图像对中一图像的纹理结构特征，又能充分获取另一图像的色彩信息，使得色彩移植后的合成图效果得到了极大地提升。

进一步地，在其他实施例中，上述步骤S10可以包括：

若所述第一图像和第二图像为同一拍摄设备拍摄的图像，则建立所述第一图像和第二图像中各个像素点的对应关系，获取各像素点位置对应的图像对；

若所述第一图像和第二图像为不同拍摄设备拍摄的图像，则分别在所述第一图像和第二图像中获取包含所述第一图像与第二图像之间公共部分的第一公共图像和第二公共图像，并建立所述第一公共图像和第二公共图像中各个像素点的对应关系，获取各像素点位置对应的图像对。

本实施例中，在对第一图像和第二图像进行对齐处理时，根据第一图像和第二图像的拍摄条件采用不同的对齐方式：

若所述第一图像和第二图像为同一拍摄设备拍摄的图像，则由于同一拍摄设备在不同时刻拍摄的图像其拍摄角度、尺寸等都基本相同，因此只需对所述第一图像和第二图像进行配准，通过将所述第一图像和第二图像进行位移、旋转、缩放等处理即可建立所述第一图像和第二图像中各个像素点的对应关系，获取各像素点位置对应的图像对，此时，所述图像对中的两张图像是经过处理后的第一图像和第二图像；配准过程中可采用基于特征点的SIFT/SURF方法、互信息量方法、基于域变换的相位相关方法等对所述第一图像和第二图像进行配准。

若所述第一图像和第二图像为不同拍摄设备拍摄的图像，则由于不同拍摄设备即使在同一时刻拍摄的图像其拍摄角度也是不相同的，因此需要对所述第一图像和第二图像进行立体匹配，先将所述第一图像和第二图像进行比对，获取所述第一图像与第二图像之间的公共部分，再分别在所述第一图像和第二图像中获取包含公共部分的第一公共图像和第二公共图像，其中，第一公共图像和第二公共图像分别为所述第一图像和第二图像的一部分，再通过将所述第一公共图像和第二公共图像进行位移、旋转、缩放等处理即可建立所述第一公共图像和第二公共图像中各个像素点的对应关系，获取各像素点位置对应的图像对。此时，所述图像对中的两张图像是经过处理后的第一图像和第二图像的部分图像；立体匹配中可采用基于特征点的SIFT/SURF方法、互信息量方法、梯度方向和互信息综合方法等。

如图3所示，本发明第二实施例提出一种图像色彩移植方法，在上述第一实施例的基础上，在上述步骤S20之前还包括：

步骤S30，若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对。

本实施例中，在将所述图像对中的两张图像完全对齐后，在对所述图像对中的两张图像进行引导滤波操作前，还可对所述图像对中的图像按色彩通道进行分离操作，如若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对。

进一步地，在一种实施方式中，若所述图像对中的图像为可见光图像中的彩色图像C和灰度图像G，则将所述彩色图像C按色彩通道分离为红、绿、蓝三个通道子图即C_R、C_G、C_B，并将分离的三个通道子图C_R、C_G、C_B分别与所述灰度图像G进行配对获取对应的三组子图像对C_R-G、C_G-G、C_B-G。

在一种实施方式中，若所述图像对中的图像为可见光图像中的彩色图像V和不可见光图像中的红外图像Inf，即所述图像对中的两张图像为异源图像，则将所述彩色图像V及所述红外图像Inf均按色彩通道分离为红、绿、蓝三个通道子图V_R、V_G、V_B及Inf_R、Inf_G、Inf_B，并将所述彩色图像V分离的三个通道子图V_R、V_G、V_B分别与所述红外图像Inf分离的三个通道子图Inf_R、Inf_G、Inf_B进行配对获取对应通道的三组子图像对V_R-Inf_R、V_G-Inf_G、V_B-Inf_B。

进一步地，上述步骤S20可以包括：

将所述子图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述子图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并对所述子图像对分别进行引导滤波处理，获取若干子合成图，将若干子合成图进行合并获取色彩移植后的合成图。

在对所述图像对中的图像按色彩通道进行分离生成多组子图像对后，再将生成的子图像对分别进行引导滤波处理，即可获取若干经引导滤波处理后的子合成图，将若干子合成图进行合并获取最终色彩移植后的合成图，将最终色彩移植后的合成图进行输出展示或存储。

本实施例中，在将所述图像对中的两张图像完全对齐后，还需经过对所述图像对中的图像按色彩通道进行分离操作的步骤，再将分离后形成的子图像对分别进行引导滤波操作，这样，有效地提升了引导滤波的工作效率，相比于直接将所述图像对中的两张图像进行引导滤波操作，本实施例中引导滤波的工作效率更高，处理速度更快，最终获取的合成图效果更好。

进一步地，在其他实施例中，上述步骤S20可以包括：

将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，在预设第一窗口内计算获取所述引导图、输入图与合成图之间的线性关系模型参数，在预设第二窗口内计算获取所述线性关系模型参数的特征值，并根据所述线性关系模型参数的特征值及所述引导图、输入图与合成图之间的线性关系模型计算获取合成图；其中，所述预设第一窗口内的像素个数与所述预设第二窗口内的像素个数不同。

本实施例中，先根据用户需要将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图I，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图p，在滑动的预设第一窗口W1内计算线性关系模型参数。根据先验假定，在预设第一窗口W1内，存在引导图I到最终的合成图q的线性变换关系，又为了保证合成图q与输入图p差异尽量为最小，可求取同时依赖于引导图I和输入图p的线性关系模型参数ak、bk。具体地，可假设在以像素点k为中心的预设第一窗口W1内存在引导图I到合成图q的线性变换f：

又为了力求使得输入图p与合成图q的差异E尽量为最小，可有：

其中，∈是预设的调整经验参数。

由线性回归方法可以解得对于某像素点k依赖于引导图I和输入图p线性关系模型参数a_k、b_k如下：

其中，和σ_k是引导图I在预设第一窗口W1里的均值和标准差，是输入图p在预设第一窗口W1里的均值，ω₁是预设第一窗口W1里的像素个数，∈是预设的调整经验参数。逐次滑动预设第一窗口W1，按以上步骤计算各点对应的线性关系模型参数a_k、b_k。ω_1k是第一窗口W1中ω₁像素个数中的第k个像素。

获取各点对应的线性关系模型参数a_k、b_k后，还可在以像素点k为中心的预设第二窗口W2内计算获取所述线性关系模型参数ak、bk的特征值，如可计算获取所述线性关系模型参数ak、bk的最大值、最小值或均值等，以进行最大值滤波算法、最小值滤波算法或均值滤波算法等，所述线性关系模型参数ak、bk的特征值可根据引导滤波算法的需要进行计算获取，在此，仅以该特征值是均值为例进行说明，当然，也不限定该特征值为其他值。

在以像素点k为中心的预设第二窗口W2内计算获取所述线性关系模型参数a_k、b_k的均值：

其中，ω₂是预设第二窗口W2里的像素个数，需要说明的是，本实施例中，所述预设第一窗口W1内的像素个数与所述预设第二窗口W2内的像素个数不同，这样，相比于所述预设第一窗口W1内的像素个数与所述预设第二窗口W2内的像素个数相同时获取的所述线性关系模型参数的均值，本实施例中根据在所述预设第一窗口W1内的像素个数与所述预设第二窗口W2内的像素个数不同时计算获取的所述线性关系模型参数的均值，及所述引导图I、输入图p与合成图q之间的线性关系模型计算获取的合成图效果更好。本实施例中根据所述线性关系模型参数的均值及所述引导图I、输入图p与合成图q之间的线性关系模型计算获取合成图q的公式如下：

本发明进一步提供一种图像色彩移植装置，参照图4，在本发明图像色彩移植装置第一实施例中，该图像色彩移植装置包括：

对齐模块01，用于将需要进行色彩移植的第一图像和第二图像进行对齐处理，获取各像素点位置对应的图像对；

本实施例中，由于色彩移植是将某一图像的纹理结构信息套用嫁接另一图像的色彩信息而合成一张新图的技术，因此，在进行色彩移植时需要准备两张图像即第一图像和第二图像。在进行色彩移植前，首先将需要进行色彩移植的第一图像和第二图像进行对齐处理，对第一图像和第二图像进行位移、旋转或剪切等操作后，获取各像素点位置对应的图像对，该图像对中的两张图像既可以是进行位移、旋转后的第一图像和第二图像，也可以是对第一图像和第二图像进行剪切等操作后的部分图像，且该图像对中的两张图像的各个像素点位置均为对应关系，使该图像对中的两张图像完全对齐，这样，有利于后续根据该图像对中的两张图像进行引导滤波的操作及最终的合成图效果。

引导滤波模块02，用于将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图。

将所述图像对中的两张图像完全对齐后，即可进行引导滤波操作，可根据用户需要将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，进而利用引导滤波算法及设定的引导图、输入图与最终的合成图之间的线性关系模型计算获取最终的合成图，即获取色彩移植后的合成图。

本实施例通过将需要进行图像色彩移植的图像进行对齐获取对应的图像对，并将所述图像对进行引导滤波处理获取色彩移植后的合成图，由于采用了引导滤波算法来进行色彩移植，既能在色彩移植时保留所述图像对中一图像的纹理结构特征，又能充分获取另一图像的色彩信息，使得色彩移植后的合成图效果得到了极大地提升。

进一步地，在其他实施例中，上述对齐模块01还可以用于：

若所述第一图像和第二图像为同一拍摄设备拍摄的图像，则建立所述第一图像和第二图像中各个像素点的对应关系，获取各像素点位置对应的图像对；

若所述第一图像和第二图像为不同拍摄设备拍摄的图像，则分别在所述第一图像和第二图像中获取包含所述第一图像与第二图像之间公共部分的第一公共图像和第二公共图像，并建立所述第一公共图像和第二公共图像中各个像素点的对应关系，获取各像素点位置对应的图像对。

本实施例中，在对第一图像和第二图像进行对齐处理时，根据第一图像和第二图像的拍摄条件采用不同的对齐方式：

若所述第一图像和第二图像为同一拍摄设备拍摄的图像，则由于同一拍摄设备在不同时刻拍摄的图像其拍摄角度、尺寸等都基本相同，因此只需对所述第一图像和第二图像进行配准，通过将所述第一图像和第二图像进行位移、旋转、缩放等处理即可建立所述第一图像和第二图像中各个像素点的对应关系，获取各像素点位置对应的图像对，此时，所述图像对中的两张图像是经过处理后的第一图像和第二图像；配准过程中可采用基于特征点的SIFT/SURF方法、互信息量方法、基于域变换的相位相关方法等对所述第一图像和第二图像进行配准。

若所述第一图像和第二图像为不同拍摄设备拍摄的图像，则由于不同拍摄设备即使在同一时刻拍摄的图像其拍摄角度也是不相同的，因此需要对所述第一图像和第二图像进行立体匹配，先将所述第一图像和第二图像进行比对，获取所述第一图像与第二图像之间的公共部分，再分别在所述第一图像和第二图像中获取包含公共部分的第一公共图像和第二公共图像，其中，第一公共图像和第二公共图像分别为所述第一图像和第二图像的一部分，再通过将所述第一公共图像和第二公共图像进行位移、旋转、缩放等处理即可建立所述第一公共图像和第二公共图像中各个像素点的对应关系，获取各像素点位置对应的图像对。此时，所述图像对中的两张图像是经过处理后的第一图像和第二图像的部分图像；立体匹配中可采用基于特征点的SIFT/SURF方法、互信息量方法、梯度方向和互信息综合方法等。

如图5所示，本发明第二实施例提出一种图像色彩移植装置，在上述第一实施例的基础上，还包括：

分离模块03，用于若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对。

本实施例中，在将所述图像对中的两张图像完全对齐后，在对所述图像对中的两张图像进行引导滤波操作前，还可对所述图像对中的图像按色彩通道进行分离操作，如若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对。

进一步地，在一种实施方式中，若所述图像对中的图像为可见光图像中的彩色图像C和灰度图像G，则将所述彩色图像C按色彩通道分离为红、绿、蓝三个通道子图即C_R、C_G、C_B，并将分离的三个通道子图C_R、C_G、C_B分别与所述灰度图像G进行配对获取对应的三组子图像对C_R-G、C_G-G、C_B-G。

在一种实施方式中，若所述图像对中的图像为可见光图像中的彩色图像V和不可见光图像中的红外图像Inf，即所述图像对中的两张图像为异源图像，则将所述彩色图像V及所述红外图像Inf均按色彩通道分离为红、绿、蓝三个通道子图V_R、V_G、V_B及Inf_R、Inf_G、Inf_B，并将所述彩色图像V分离的三个通道子图V_R、V_G、V_B分别与所述红外图像Inf分离的三个通道子图Inf_R、Inf_G、Inf_B进行配对获取对应通道的三组子图像对V_R-Inf_R、V_G-Inf_G、V_B-Inf_B。

进一步地，上述引导滤波模块02可以用于：

将所述子图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述子图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并对所述子图像对分别进行引导滤波处理，获取若干子合成图，将若干子合成图进行合并获取色彩移植后的合成图。

在对所述图像对中的图像按色彩通道进行分离生成多组子图像对后，再将生成的子图像对分别进行引导滤波处理，即可获取若干经引导滤波处理后的子合成图，将若干子合成图进行合并获取最终色彩移植后的合成图，将最终色彩移植后的合成图进行输出展示或存储。

本实施例中，在将所述图像对中的两张图像完全对齐后，还需经过对所述图像对中的图像按色彩通道进行分离操作的步骤，再将分离后形成的子图像对分别进行引导滤波操作，这样，有效地提升了引导滤波的工作效率，相比于直接将所述图像对中的两张图像进行引导滤波操作，本实施例中引导滤波的工作效率更高，处理速度更快，最终获取的合成图效果更好。

进一步地，在其他实施例中，上述引导滤波模块02可以用于：

将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，在预设第一窗口内计算获取所述引导图、输入图与合成图之间的线性关系模型参数，在预设第二窗口内计算获取所述线性关系模型参数的特征值，并根据所述线性关系模型参数的特征值及所述引导图、输入图与合成图之间的线性关系模型计算获取合成图；其中，所述预设第一窗口内的像素个数与所述预设第二窗口内的像素个数不同。

本实施例中，先根据用户需要将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图I，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图p，在滑动的预设第一窗口W1内计算线性关系模型参数。根据先验假定，在预设第一窗口W1内，存在引导图I到最终的合成图q的线性变换关系，又为了保证合成图q与输入图p差异尽量为最小，可求取同时依赖于引导图I和输入图p的线性关系模型参数a_k、b_k。具体地，可假设在以像素点k为中心的预设第一窗口W1内存在引导图I到合成图q的线性变换f：

又为了力求使得输入图p与合成图q的差异E尽量为最小，可有：

其中，∈是预设的调整经验参数。

由线性回归方法可以解得对于某像素点k依赖于引导图I和输入图p线性关系模型参数a_k、b_k如下：

其中，和σ_k是引导图I在预设第一窗口W1里的均值和标准差，是输入图p在预设第一窗口W1里的均值，ω₁是预设第一窗口W1里的像素个数，∈是预设的调整经验参数。逐次滑动预设第一窗口W1，按以上步骤计算各点对应的线性关系模型参数a_k、b_k。

获取各点对应的线性关系模型参数a_k、b_k后，还可在以像素点k为中心的预设第二窗口W2内计算获取所述线性关系模型参数a_k、b_k的特征值，如可计算获取所述线性关系模型参数a_k、b_k的最大值、最小值或均值等，以进行最大值滤波算法、最小值滤波算法或均值滤波算法等，所述线性关系模型参数a_k、b_k的特征值可根据引导滤波算法的需要进行计算获取，在此，仅以该特征值是均值为例进行说明，当然，也不限定该特征值为其他值。

在以像素点k为中心的预设第二窗口W2内计算获取所述线性关系模型参数a_k、b_k的均值：

其中，ω₂是预设第二窗口W2里的像素个数，需要说明的是，本实施例中，所述预设第一窗口W1内的像素个数与所述预设第二窗口W2内的像素个数不同，这样，相比于所述预设第一窗口W1内的像素个数与所述预设第二窗口W2内的像素个数相同时获取的所述线性关系模型参数的均值，本实施例中根据在所述预设第一窗口W1内的像素个数与所述预设第二窗口W2内的像素个数不同时计算获取的所述线性关系模型参数的均值，及所述引导图I、输入图p与合成图q之间的线性关系模型计算获取的合成图效果更好。本实施例中根据所述线性关系模型参数的均值及所述引导图I、输入图p与合成图q之间的线性关系模型计算获取合成图q的公式如下：

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种图像色彩移植方法，其特征在于，所述方法包括以下步骤：

将需要进行色彩移植的第一图像和第二图像进行对齐处理，获取各像素点位置对应的图像对；

将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图，其中包括：将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，在预设第一窗口内计算获取所述引导图、输入图与合成图之间的线性关系模型参数，在预设第二窗口内计算获取所述线性关系模型参数的特征值，并根据所述线性关系模型参数的特征值及所述引导图、输入图与合成图之间的线性关系模型计算获取合成图，其中，像素点k依赖于引导图I和输入图p的线性关系模型参数ak、bk计算公式如下：

$a_k=\frac{\frac{1}{\left|{\mathrm{\ω}}_1\right|}{\mathrm{\Σ}}_{i\∈{\mathrm{\ω}}_{1k}}{I}_i*p_i-\stackrel{\‾}{I_k}*\stackrel{\‾}{p_k}}{{{\mathrm{\σ}}_k}^2+\∈};$

$b_k=\stackrel{\‾}{p_k}-a_k*\stackrel{\‾}{I_k};$

其中，和σ_k是引导图I在预设第一窗口W1里的均值和标准差，是输入图p在预设第一窗口W1里的均值，ω₁是预设第一窗口W1里的像素个数，∈是预设的调整经验参数；ω_1k是第一窗口W1中ω₁像素个数中的第k个像素；

所述根据所述线性关系模型参数a_k、b_k的特征值及所述引导图I、输入图p与合成图q之间的线性关系模型计算获取合成图q的公式如下：

q_i＝线性关系模型参数a_k的特征值*I_i+线性关系模型参数b_k的特征值。

2.如权利要求1所述的图像色彩移植方法，其特征在于，所述将需要进行色彩移植的第一图像和第二图像进行对齐处理，获取各像素点位置对应的图像对的步骤包括：

若所述第一图像和第二图像为同一拍摄设备拍摄的图像，则建立所述第一图像和第二图像中各个像素点的对应关系，获取各像素点位置对应的图像对；

若所述第一图像和第二图像为不同拍摄设备拍摄的图像，则分别在所述第一图像和第二图像中获取包含所述第一图像与第二图像之间公共部分的第一公共图像和第二公共图像，并建立所述第一公共图像和第二公共图像中各个像素点的对应关系，获取各像素点位置对应的图像对。

3.如权利要求1或2所述的图像色彩移植方法，其特征在于，所述将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图的步骤之前还包括：

若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对。

4.如权利要求3所述的图像色彩移植方法，其特征在于，所述若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对的步骤还包括：

若所述图像对中的图像为可见光图像中的彩色图像和灰度图像，则将所述彩色图像按色彩通道分离为红、绿、蓝三个通道子图，并将分离的三个通道子图分别与所述灰度图像进行配对获取对应的子图像对。

5.如权利要求4所述的图像色彩移植方法，其特征在于，所述若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对的步骤还包括：

若所述图像对中的图像为可见光图像中的彩色图像和不可见光图像中的红外图像，则将所述彩色图像及所述红外图像均按色彩通道分离为红、绿、蓝三个通道子图，并将所述彩色图像分离的三个通道子图分别与所述红外图像分离的三个通道子图进行配对获取对应通道的子图像对。

6.如权利要求1或2所述的图像色彩移植方法，其特征在于，所述将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图的步骤中还包括：

所述预设第一窗口内的像素个数与所述预设第二窗口内的像素个数不同。

7.一种图像色彩移植装置，其特征在于，所述图像色彩移植装置包括：

对齐模块，用于将需要进行色彩移植的第一图像和第二图像进行对齐处理，获取各像素点位置对应的图像对；

引导滤波模块，用于将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，并基于所述引导图和输入图进行引导滤波处理，获取色彩移植后的合成图，其中包括：将所述图像对中在色彩移植时需要保留纹理结构信息的图像作为引导图，将所述图像对中在色彩移植时需要保留色彩信息的图像作为输入图，在预设第一窗口内计算获取所述引导图、输入图与合成图之间的线性关系模型参数，在预设第二窗口内计算获取所述线性关系模型参数的特征值，并根据所述线性关系模型参数的特征值及所述引导图、输入图与合成图之间的线性关系模型计算获取合成图，其中，像素点k依赖于引导图I和输入图p的线性关系模型参数ak、bk计算公式如下：

$a_k=\frac{\frac{1}{\left|{\mathrm{\ω}}_1\right|}{\mathrm{\Σ}}_{i\∈{\mathrm{\ω}}_{1k}}{I}_i*p_i-\stackrel{\‾}{I_k}*\stackrel{\‾}{p_k}}{{{\mathrm{\σ}}_k}^2+\∈};$

$b_k=\stackrel{\‾}{p_k}-a_k*\stackrel{\‾}{I_k};$

其中，和σ_k是引导图I在预设第一窗口W1里的均值和标准差，是输入图p在预设第一窗口W1里的均值，ω₁是预设第一窗口W1里的像素个数，∈是预设的调整经验参数；ω_1k是第一窗口W1中ω₁像素个数中的第k个像素；

所述根据所述线性关系模型参数a_k、b_k的特征值及所述引导图I、输入图p与合成图q之间的线性关系模型计算获取合成图q的公式如下：

q_i＝线性关系模型参数a_k的特征值*I_i+线性关系模型参数b_k的特征值。

8.如权利要求7所述的图像色彩移植装置，其特征在于，所述对齐模块还用于：

若所述第一图像和第二图像为同一拍摄设备拍摄的图像，则建立所述第一图像和第二图像中各个像素点的对应关系，获取各像素点位置对应的图像对；

若所述第一图像和第二图像为不同拍摄设备拍摄的图像，则分别在所述第一图像和第二图像中获取包含所述第一图像与第二图像之间公共部分的第一公共图像和第二公共图像，并建立所述第一公共图像和第二公共图像中各个像素点的对应关系，获取各像素点位置对应的图像对。

9.如权利要求7或8所述的图像色彩移植装置，其特征在于，还包括：

分离模块，用于若所述图像对中的图像为可见光图像中的彩色图像或不可见光图像，则将所述图像对中的彩色图像或不可见光图像按色彩通道分离为红、绿、蓝三个通道子图，并根据分离的子图构建对应的子图像对。

10.如权利要求9所述的图像色彩移植装置，其特征在于，所述分离模块还用于：

若所述图像对中的图像为可见光图像中的彩色图像和灰度图像，则将所述彩色图像按色彩通道分离为红、绿、蓝三个通道子图，并将分离的三个通道子图分别与所述灰度图像进行配对获取对应的子图像对。

11.如权利要求10所述的图像色彩移植装置，其特征在于，所述分离模块还用于：

若所述图像对中的图像为可见光图像中的彩色图像和不可见光图像中的红外图像，则将所述彩色图像及所述红外图像均按色彩通道分离为红、绿、蓝三个通道子图，并将所述彩色图像分离的三个通道子图分别与所述红外图像分离的三个通道子图进行配对获取对应通道的子图像对。

12.如权利要求7或8所述的图像色彩移植装置，其特征在于，所述预设第一窗口内的像素个数与所述预设第二窗口内的像素个数不同。