CN114022353B - 一种时空图像纹理与图像颜色的融合方法和装置 - Google Patents

一种时空图像纹理与图像颜色的融合方法和装置 Download PDF

Info

Publication number
CN114022353B
CN114022353B CN202210012739.9A CN202210012739A CN114022353B CN 114022353 B CN114022353 B CN 114022353B CN 202210012739 A CN202210012739 A CN 202210012739A CN 114022353 B CN114022353 B CN 114022353B
Authority
CN
China
Prior art keywords
image
channel
fusion
data
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210012739.9A
Other languages
English (en)
Other versions
CN114022353A (zh
Inventor
贺子懿
赵宏杰
陆川
李海彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Guoxing Aerospace Technology Co ltd
Original Assignee
Chengdu Guoxing Aerospace Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Guoxing Aerospace Technology Co ltd filed Critical Chengdu Guoxing Aerospace Technology Co ltd
Priority to CN202210012739.9A priority Critical patent/CN114022353B/zh
Publication of CN114022353A publication Critical patent/CN114022353A/zh
Application granted granted Critical
Publication of CN114022353B publication Critical patent/CN114022353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种时空图像纹理与图像颜色的融合方法和装置，该方法包括：对包括图像纹理的第一图像以及包括图像颜色的第二图像的RGB三通道的图像数据分别进行单通道融合，获取第一目标图像；对多张第一图像的RGB三通道的图像数据分别进行单通道融合，获取第二目标图像；采用预设的融合模型对所述第一目标图像和所述第二目标图像进行融合，获取第三目标图像，将所述第三目标图像的像素放大至预设范围，获取最终目标图像。通过该实施例方案，解决了遥感图像中的色块问题，在保持原图像的纹理信息的基础上将图像风格进行转化，即既保留了图像的风格，又保留了图像的内容，达到了优化遥感图像质量的目的。

Description

一种时空图像纹理与图像颜色的融合方法和装置
技术领域
本申请实施例涉及遥感图像处理技术，尤指一种时空图像纹理与图像颜色的融合方法和装置。
背景技术
在遥感领域中，由于遥感图像的来源不同，造成拼接出来的遥感图像存在大量的色块问题，去除遥感色块是行业的痛点与难点。
另外，目前存在的风格迁移算法在逼真的风格转移领域中，由于待转换风格图像内容比较复杂，在转移之后的风格图像损失掉原图的很多纹理，造成了转移风格不逼真；且在转移风格的算法中，由于算法复杂导致程序在运行时出错率高，计算速度减慢。
发明内容
本申请实施例提供了一种时空图像纹理与图像颜色的融合方法和装置，能够解决遥感图像中的色块问题，在保持原图像的纹理信息的基础上将图像风格进行转化，达到优化遥感图像质量的目的。
本申请实施例提供了一种时空图像纹理与图像颜色的融合方法，所述方法可以包括：
对包括图像纹理的第一图像的RGB三通道的图像数据以及包括图像颜色的第二图像的RGB三通道的图像数据分别进行单通道融合，获取第一目标图像；
对多张所述第一图像的RGB三通道的图像数据分别进行单通道融合，获取第二目标图像；
采用预设的融合模型对所述第一目标图像和所述第二目标图像进行融合，获取第三目标图像；
将所述第三目标图像的像素放大至预设范围，获取最终目标图像。
在本申请的示例性实施例中，所述对包括图像纹理的第一图像的RGB三通道的图像数据以及包括图像颜色的第二图像的RGB三通道的图像数据分别进行单通道融合，获取第一目标图像，可以包括：
获取所述第一图像的RGB三通道的第一图像数据；所述第一图像数据包括所述第一图像的RGB三通道的像素值；
获取所述第二图像的RGB三通道的第二图像数据；所述第二图像数据包括所述第二图像的RGB三通道的像素值；
将所述第一图像数据和所述第二图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第一单通道融合图像、与B通道对应的第二单通道融合图像和与G通道对应的第三单通道融合图像；
将所述第一单通道融合图像、所述第二单通道融合图像和所述第三单通道融合图像合并，获取所述第一目标图像。
在本申请的示例性实施例中，所述将所述第一图像数据和所述第二图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第一单通道融合图像、与B通道对应的第二单通道融合图像和与G通道对应的第三单通道融合图像，可以包括：
将所述第一图像对应的R通道像素值与所述第二图像对应的R通道像素值采用所述滤波函数进行单通道融合，获得与R通道对应的所述第一单通道融合图像；
将所述第一图像对应的B通道像素值与所述第二图像对应的B通道像素值采用所述滤波函数进行单通道融合，获得与B通道对应的所述第二单通道融合图像；
将所述第一图像对应的G通道像素值与所述第二图像对应的G通道像素值采用所述滤波函数进行单通道融合，获得与G通道对应的所述第三单通道融合图像。
在本申请的示例性实施例中，所述对多张所述第一图像的RGB三通道的图像数据分别进行单通道融合，获取第二目标图像，可以包括：
获取第一张所述第一图像的RGB三通道的第三图像数据；所述第三图像数据包括第一张所述第一图像的RGB三通道的像素值；
获取第二张所述第一图像的RGB三通道的第四图像数据；所述第四图像数据包括第二张所述第一图像的RGB三通道的像素值；
将所述第三图像数据和所述第四图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第四单通道融合图像、与B通道对应的第五单通道融合图像和与G通道对应的第六单通道融合图像；
将所述第四单通道融合图像、所述第五单通道融合图像和所述第六单通道融合图像进行合并，获取所述第二目标图像。
在本申请的示例性实施例中，所述将所述第三图像数据和所述第四图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第四单通道融合图像、与B通道对应的第五单通道融合图像和与G通道对应的第六单通道融合图像，可以包括：
将所述第三图像对应的R通道像素值与所述第四图像对应的R通道像素值采用所述滤波函数进行单通道融合，获得与R通道对应的所述第四单通道融合图像；
将所述第三图像对应的B通道像素值与所述第四图像对应的B通道像素值采用所述滤波函数进行单通道融合，获得与B通道对应的所述第五单通道融合图像；
将所述第三图像对应的G通道像素值与所述第四图像对应的G通道像素值采用所述滤波函数进行单通道融合，获得与G通道对应的所述第六单通道融合图像。
在本申请的示例性实施例中，所述采用预设的滤波函数分别对每个通道的数据进行单通道融合，可以包括：对两张图像的单通道数据执行以下流程：
计算所述两张图像的单通道数据的向前差分矩阵，实现提取一张图像的颜色特征，并提取另一张图像的纹理特征；
获取所述颜色特征对应的第一参数以及所述纹理特征对应的第二参数；
根据所述第一参数以及所述第二参数构成稀疏矩阵；
根据所述稀疏矩阵获取所述两张图像的单通道数据进行融合时关于所述颜色特征和所述纹理特征的权重矩阵，以及所述两张图像的偏移量；
根据所述权重矩阵和所述偏移量构建线性拟合函数；
通过所述线性拟合函数实现对所述两张图像的单通道数据的融合。
在本申请的示例性实施例中，所述采用预设的融合模型对所述第一目标图像和所述第二目标图像进行融合，获取第三目标图像，可以包括：
采用所述融合模型，在所述第一图像的基础上，对所述第一图像、所述第一目标图像和所述第二目标图像对应位置的像素值进行加减计算，获取计算后的像素值更新所述第一图像相应位置的像素值，获取所述第三目标图像。
在本申请的示例性实施例中，所述融合模型可以包括：
Figure 288124DEST_PATH_IMAGE001
；
其中，
Figure 438482DEST_PATH_IMAGE002
是指所述第三目标图像的像素值，
Figure 236674DEST_PATH_IMAGE003
是指所述第一图像的像素值，
Figure 701153DEST_PATH_IMAGE004
是指所述第一目标图像的像素值，
Figure DEST_PATH_IMAGE005
是指所述第二目标图像的像素值。
在本申请的示例性实施例中，所述方法还可以包括：通过python语言实现所述图像融合方法的程序编写，并利用cuda进行计算加速。
在相关技术中，cuda（Compute Unified Device Architecture）是一种由NVIDIA（英伟达）推出的通用并行计算架构，该架构使图形处理器能够解决复杂的计算问题。
本申请实施例还提供了一种时空图像纹理与图像颜色的融合装置，可以包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述的图像融合方法。
与相关技术相比，本申请实施例可以包括：对包括图像纹理的第一图像的RGB三通道的图像数据以及包括图像颜色的第二图像的RGB三通道的图像数据分别进行单通道融合，获取第一目标图像；对多张所述第一图像的RGB三通道的图像数据分别进行单通道融合，获取第二目标图像；采用预设的融合模型对所述第一目标图像和所述第二目标图像进行融合，获取第三目标图像，将所述第三目标图像的像素放大至预设范围，获取最终目标图像。通过该实施例方案，解决了遥感图像中的色块问题，在保持原图像的纹理信息的基础上将图像风格进行转化，既保留了图像的风格，又保留了图像的内容，达到了优化遥感图像质量的目的；使用cuda加速，进一步提高了优化的时间效率。同时，使用首创的融合模型，可以完美的融合图像的风格和内容，并成功的应用于去色块问题和风格迁移模型的后处理中，使计算简便且效率高，在遥感风格迁移中，作为模型的后处理操作，使遥感风格算法得到实现。
使用RGB一一对应融合像素，就编辑图象而言，它是最佳的色彩模式，因为它可以提供全屏幕的24bit的色彩范围，即真彩色显示。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例的时空图像纹理与图像颜色的融合方法流程图；
图2为本申请实施例的对包括图像纹理的第一图像的RGB三通道的图像数据以及包括图像颜色的第二图像的RGB三通道的图像数据分别进行单通道融合，获取第一目标图像的方法流程图；
图3为本申请实施例的采用预设的滤波函数分别对每个通道的数据进行单通道融合的方法流程图；
图4为本申请实施例的对多张所述第一图像的RGB三通道的图像数据分别进行单通道融合，获取第二目标图像的方法示意图；
图5为本申请实施例的去除色块效果示意图；
图6为本申请实施例的风格迁移效果示意图；
图7为本申请实施例的时空图像纹理与图像颜色的融合装置组成框图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请实施例提供了一种时空图像纹理与图像颜色的融合方法，如图1所示，所述方法可以包括步骤S101-S104：
S101、对包括图像纹理的第一图像的RGB三通道的图像数据以及包括图像颜色的第二图像的RGB三通道的图像数据分别进行单通道融合，获取第一目标图像；
S102、对多张所述第一图像的RGB三通道的图像数据分别进行单通道融合，获取第二目标图像；
S103、采用预设的融合模型对所述第一目标图像和所述第二目标图像进行融合，获取第三目标图像；
S104、将所述第三目标图像的像素放大至预设范围，获取最终目标图像。
所述RGB是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。
在本申请的示例性实施例中，提出了滤波算法wls()函数，通过wls()函数可以将图像纹理与颜色进行融合，使两张图像进行融合，融合的效果为结果图包含一张图的纹理同时包含了另一张图的颜色。通过该实施例方案，可以实现将低级（低分辨率）的遥感图像的底色移植到高级（高分辨率）的遥感图像上，从而达到去除遥感图像色块的目的。另外，本申请实施例方案可以将转移后的风格图像的颜色移植到原图像中，这样既保持了原图像的纹理信息，又将原图像的风格进行了转化。因此，针对遥感图像存在的色块问题、遥感风格迁移后纹理丢失问题，通过本申请实施例方案的纹理与颜色相结合的算法，使上述问题得到完美的解决。下面对本申请实施例方案进行详细介绍。
在本申请的示例性实施例中，如图2所示，所述对包括图像纹理的第一图像的RGB三通道的图像数据以及包括图像颜色的第二图像的RGB三通道的图像数据分别进行单通道融合，获取第一目标图像，可以包括步骤S201-S204：
S201、获取所述第一图像的RGB三通道的第一图像数据；所述第一图像数据包括所述第一图像的RGB三通道的像素值。
在本申请的示例性实施例中，所述第一图像可以包括图像中的具体内容，例如纹理，因此可以称之为内容图像；即，获取内容图像的三通道RGB的图像数据，记作第一图像数据。
S202、获取所述第二图像的RGB三通道的第二图像数据；所述第二图像数据包括所述第二图像的RGB三通道的像素值。
在本申请的示例性实施例中，所述第二图像可以包括图像的风格，例如颜色，因此可以称之为风格图像；即，获取风格图的三通道（例如，RGB）图像数据，记作第二图像数据。
S203、将所述第一图像数据和所述第二图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第一单通道融合图像、与B通道对应的第二单通道融合图像和与G通道对应的第三单通道融合图像。
在本申请的示例性实施例中，该方案可以通过wls()函数来实现，wls()函数的功能可以包括：调用三次滤波函数wls_filter()，将三次结果进行融合。
在本申请的示例性实施例中，所述将所述第一图像数据和所述第二图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第一单通道融合图像、与B通道对应的第二单通道融合图像和与G通道对应的第三单通道融合图像，可以包括：
将所述第一图像对应的R通道像素值与所述第二图像对应的R通道像素值采用所述滤波函数进行单通道融合，获得与R通道对应所述第一单通道融合图像；
将所述第一图像对应的B通道像素值与所述第二图像对应的B通道像素值采用所述滤波函数进行单通道融合，获得与B通道对应的所述第二单通道融合图像；
将所述第一图像对应的G通道像素值与所述第二图像对应的G通道像素值采用所述滤波函数进行单通道融合，获得与G通道对应的所述第三单通道融合图像。
在本申请的示例性实施例中，即，将第一图像的三通道图像数据中的R通道像素值与第二图像的三通道图像数据中的R通道像素值进行滤波函数wls_filter()处理，得到一张融合了第一图像R通道像素值和第二图像R通道像素值的第一单通道融合图像；
将第一图像的三通道图像数据中的B通道像素值与第二图像的三通道图像数据中的B通道像素值进行滤波函数wls_filter()处理，得到一张融合了第一图像B通道像素值和第二图像B通道像素值的第二单通道融合图像；
将第一图像的三通道图像数据中的G通道像素值与第二图像的三通道图像数据中的G通道像素值进行滤波函数wls_filter()处理，得到一张融合了第一图像G通道像素值和第二图像G通道像素值的第三单通道融合图像。
在本申请的示例性实施例中，如图3所示，所述采用预设的滤波函数（即wls_filter()）分别对每个通道的数据进行单通道融合，可以包括：对两张图像的单通道数据执行以下流程，包括步骤S301-S306：
S301、计算所述两张图像的单通道数据的向前差分矩阵，实现提取一张图像的颜色特征，并提取另一张图像的纹理特征；
S302、获取所述颜色特征对应的第一参数以及所述纹理特征对应的第二参数；
S303、根据所述第一参数以及所述第二参数构成稀疏矩阵；
S304、根据所述稀疏矩阵获取所述两张图像的单通道数据进行融合时关于所述颜色特征和所述纹理特征的权重矩阵，以及所述两张图像的偏移量；
S305、根据所述权重矩阵和所述偏移量构建线性拟合函数；
S306、通过所述线性拟合函数实现对所述两张图像的单通道数据的融合。
在本申请的示例性实施例中，滤波函数wls_filter()将内容图（也可以称为纹理图）和风格图（也可以称为颜色图）通过加权最小二乘滤波算法，提取纹理图的纹理特征，提取颜色图的颜色特征，并将纹理特征和颜色特征这两个特征融合起来，滤波函数wls_filter()的目标函数为：
Figure 229087DEST_PATH_IMAGE006
；
其中，下标
Figure DEST_PATH_IMAGE007
表示像素的位置，μ代表的是像素点，x/y代表为x轴与y轴，
Figure 818855DEST_PATH_IMAGE008
代表u像素点在x轴的梯度信息，同理，
Figure DEST_PATH_IMAGE009
代表u像素点在x轴的梯度信息；
Figure 369922DEST_PATH_IMAGE010
、
Figure 638093DEST_PATH_IMAGE011
分别为x和y方向梯度的权重矩阵。λ代表平滑程度的比例(即目标函数包含两项：第一项代表两张图的相似度，第二项代表输出图像的平滑程度)；
Figure 692636DEST_PATH_IMAGE012
和
Figure 450377DEST_PATH_IMAGE013
控制着不同位置上的平滑程度。目标函数第一项代表输入图像
Figure 957582DEST_PATH_IMAGE014
和输出图像
Figure 560601DEST_PATH_IMAGE015
越相似越好，第二项是平滑项，通过最小化的求导，使得输出图像越平滑越好。第二项平滑项的权重是λ，依赖于输入图像，当输入图像的边缘梯度变化比较大的时候，希望其约束小一些，以保留图像的结构信息；当图像的边缘梯度变化很小的时候，这些细节信息认为不重要，约束自然可以大一些，平衡两者比重，输入图的梯度信息越大，结果图也就越平滑。这是基于加权最小二乘法的平滑滤波器的大致原理。
在本申请的示例性实施例中，通过上述的步骤S301-S306，可以实现该目标函数。
在本申请的示例性实施例中，wls_filter()滤波的原理也是基于加权最小二乘法的平滑滤波器的原理结构，与当前基于加权最小二乘法的保边缘平滑滤波器公式的区别在于：当前基于加权最小二乘法的保边缘平滑滤波器公式中
Figure 735231DEST_PATH_IMAGE016
为输入图，
Figure 335976DEST_PATH_IMAGE017
为结果图。而本申请实施例方案中wls_filter()函数中的
Figure 596056DEST_PATH_IMAGE016
和
Figure 2767DEST_PATH_IMAGE017
均为输入的两张图；计算过程的中间结果信息，用
Figure 769253DEST_PATH_IMAGE017
进行了替换。本申请实施例的wls_filter()滤波与当前基于加权最小二乘法的保边缘平滑滤波器实现的功能不一样：当前基于加权最小二乘法的保边缘平滑滤波器主要应用于美颜中脸部磨皮；本申请实施例的wls_filter()滤波主要为纹理与颜色的融合技术其中一部分融合技术。
S204、将所述第一单通道融合图像、所述第二单通道融合图像和所述第三单通道融合图像合并，获取所述第一目标图像。
在本申请的示例性实施例中，对第一单通道融合图像（对应R通道）、第二单通道融合图像（对应B通道）、第三单通道融合图像（对应G通道）进一步融合，得到一张融合了三个通道的目标图，即第一目标图像。
在本申请的示例性实施例中，步骤S201-S204可以采用函数wls(content,color)来表示。
在本申请的示例性实施例中，如图4所示，所述对多张所述第一图像的RGB三通道的图像数据分别进行单通道融合，获取第二目标图像，可以包括步骤S401-S404：
S401 、获取第一张所述第一图像的RGB三通道的第三图像数据；所述第三图像数据包括第一张所述第一图像的RGB三通道的像素值；
S402、获取第二张所述第一图像的RGB三通道的第四图像数据；所述第四图像数据包括第二张所述第一图像的RGB三通道的像素值；
S403、将所述第三图像数据和所述第四图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第四单通道融合图像、与B通道对应的第五单通道融合图像和与G通道对应的第六单通道融合图像；
S404、将所述第四单通道融合图像、所述第五单通道融合图像和所述第六单通道融合图像进行合并，获取所述第二目标图像。
在本申请的示例性实施例中，可以再次获取第一图像，得到两张相同的第一图像（即两张相同的内容图），将两张相同的第一图像分别进行归一化处理，所采用的归一化方法可以是相同的。将两张相同的第一图像的内容部分（如纹理）和风格部分（如颜色）进行融合处理，得到融合后的第二目标图像。
在本申请的示例性实施例中，所述将所述第三图像数据和所述第四图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第四单通道融合图像、与B通道对应的第五单通道融合图像和与G通道对应的第六单通道融合图像，可以包括：
将所述第三图像对应的R通道像素值与所述第四图像对应的R通道像素值采用所述滤波函数进行单通道融合，获得与R通道对应的所述第四单通道融合图像；
将所述第三图像对应的B通道像素值与所述第四图像对应的B通道像素值采用所述滤波函数进行单通道融合，获得与B通道对应的所述第五单通道融合图像；
将所述第三图像对应的G通道像素值与所述第四图像对应的G通道像素值采用所述滤波函数进行单通道融合，获得与G通道对应的所述第六单通道融合图像。
在本申请的示例性实施例中，即，将两张相同的第一图像的三通道图像数据中的R通道像素值进行滤波函数wls_filter()处理，得到一张融合了两张第一图像R通道像素值的第四单通道融合图像；
将两张相同的第一图像的三通道图像数据中的B通道像素值进行滤波函数wls_filter()处理，得到一张融合了两张第一图像B通道像素值的第五单通道融合图像；
将两张相同的第一图像的三通道图像数据中的G通道像素值进行滤波函数wls_filter()处理，得到一张融合了两张第一图像G通道像素值的第六单通道融合图像。
在本申请的示例性实施例中，第四单通道融合图像（对应R通道）、第五单通道融合图像（对应B通道）、第六单通道融合图像（对应G通道）进一步融合，得到一张融合了三个通道的目标图，即第二目标图像。
在本申请的示例性实施例中，步骤S401-S404可以采用函数wls(content,content)来表示。
在本申请的示例性实施例中，所述采用预设的融合模型对所述第一目标图像和所述第二目标图像进行融合，获取第三目标图像，可以包括：
采用所述融合模型，在所述第一图像的基础上，对所述第一图像、所述第一目标图像和所述第二目标图像对应位置的像素值进行加减计算，获取计算后的像素值更新所述第一图像相应位置的像素值，获取所述第三目标图像。
在本申请的示例性实施例中，所述融合模型可以包括：
Figure 72059DEST_PATH_IMAGE018
；
其中，
Figure 553855DEST_PATH_IMAGE019
是指所述第三目标图像的像素值，
Figure 764257DEST_PATH_IMAGE020
是指所述第一图像的像素值，
Figure 647899DEST_PATH_IMAGE021
是指所述第一目标图像的像素值，
Figure 856027DEST_PATH_IMAGE022
是指所述第二目标图像的像素值。
在本申请的示例性实施例中，处理完毕后的第三目标图像既保留了内容图像的纹理，又保留了风格图像的色彩。
在本申请的示例性实施例中，所述方法还可以包括：将所述第三目标图像的像素放大至预设范围，获取最终目标图像。
在本申请的示例性实施例中，可以将融合后的第三目标图像的像素放大至范围在（0，255）范围中。
在本申请的示例性实施例中，如图5所示，图像A1、A2为无色块的低级图，图像B1、B2为有色块的高级图（高级和低级通过分辨率来区分，对于图像的同一个区域来说，高级图分辨率更高，更清晰，低级图分辨率更低，更模糊）。将图像A1和B1分别输入算法中，融合图像A1的风格、图像B1的纹理，得到图像C1，图像C1是一张色调均匀、细节不丢失的高级图像。同理，将图像A2和图像B2分别输入算法中，融合图像A2的风格、图像B2的纹理，得到图像C2，图像C2是一张色调均匀、细节不丢失的高级图像。
在本申请的示例性实施例中，将均匀无色块的低级图像和对应的有色块的高级图像输入本申请实施例方案对应的算法中，得到色调均匀、细节不丢失的高级图像；如果采用低级图像直接放大成高级图像，局部细节是块状模糊的，通过本申请实施例方案可以将低级图像的色调和高级图像的纹理巧妙的结合起来。
在本申请的示例性实施例中，如图6所示，为风格迁移示意图，常见的风格迁移模型对比较复杂的场景进行风格转换时，局部细节往往会丢失。本申请实施例方案可以作为当前风格迁移模型算法的后处理操作，将风格迁移模型迁移之后的风格图像与原图像导入本申请实施例方案对应的算法中，得到细节清晰的风格迁移图像。
在本申请的示例性实施例中，所述方法还可以包括：通过python语言实现所述图像融合方法的程序编写，并利用cuda进行计算加速。
在本申请的示例性实施例中，本申请实施例方案算法可以通过python语言编写实现，并可以利用cuda进行计算加速，在windows/linux平台上均可运行。
在本申请的示例性实施例中，利用cuda进行计算加速可以包括：将使用的numpy()里面的函数换成cuda自身的函数，使计算速度加快，例如np.stack()/np.diff()/np.pad()等函数换成cuda自身的函数：cp.stack()/cp.diff()/cp.pad()。
在本申请的示例性实施例中，至少包括以下优势：
1、可以将一张风格图像的颜色转移到内容图像上，同时保持内容图像的纹理信息不会丢失；即既保留了图像的风格，又保留了图像的内容。
2、使用cuda加速，提高了优化的时间效率。
本申请实施例还提供了一种时空图像纹理与图像颜色的融合装置1，如图7所示，可以包括处理器11和计算机可读存储介质12，所述计算机可读存储介质12中存储有指令，当所述指令被所述处理器11执行时，实现上述的时空图像纹理与图像颜色的融合方法。
在本申请的示例性实施例中，前述的方法实施例中的任意实施例均适用于该装置实施例中，在此不再一一赘述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于 RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (9)

1.一种时空图像纹理与图像颜色的融合方法，其特征在于，所述方法包括：
对包括图像纹理的第一图像的RGB三通道的图像数据以及包括图像颜色的第二图像的RGB三通道的图像数据分别进行单通道融合，获取第一目标图像；
对多张所述第一图像的RGB三通道的图像数据分别进行单通道融合，获取第二目标图像；
其中单通道融合为采用预设的滤波函数分别对每个通道的数据进行单通道融合，所述滤波函数将纹理图和颜色图通过加权最小二乘滤波算法，提取纹理图的纹理特征和颜色图的颜色特征，并将纹理特征和颜色特征进行融合；
采用预设的融合模型，在所述第一图像的基础上，对所述第一图像、所述第一目标图像和所述第二目标图像对应位置的像素值进行加减计算，获取计算后的像素值更新所述第一图像相应位置的像素值，获取第三目标图像；
将所述第三目标图像的像素放大至预设范围，获取最终目标图像。
2.根据权利要求1所述的时空图像纹理与图像颜色的融合方法，其特征在于，所述对包括图像纹理的第一图像的RGB三通道的图像数据以及包括图像颜色的第二图像的RGB三通道的图像数据分别进行单通道融合，获取第一目标图像，包括：
获取所述第一图像的RGB三通道的第一图像数据；所述第一图像数据包括所述第一图像的RGB三通道的像素值；
获取所述第二图像的RGB三通道的第二图像数据；所述第二图像数据包括所述第二图像的RGB三通道的像素值；
将所述第一图像数据和所述第二图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第一单通道融合图像、与B通道对应的第二单通道融合图像和与G通道对应的第三单通道融合图像；
将所述第一单通道融合图像、所述第二单通道融合图像和所述第三单通道融合图像合并，获取所述第一目标图像。
3.根据权利要求2所述的时空图像纹理与图像颜色的融合方法，其特征在于，所述将所述第一图像数据和所述第二图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第一单通道融合图像、与B通道对应的第二单通道融合图像和与G通道对应的第三单通道融合图像，包括：
将所述第一图像对应的R通道像素值与所述第二图像对应的R通道像素值采用所述滤波函数进行单通道融合，获得与R通道对应的所述第一单通道融合图像；
将所述第一图像对应的B通道像素值与所述第二图像对应的B通道像素值采用所述滤波函数进行单通道融合，获得与B通道对应的所述第二单通道融合图像；
将所述第一图像对应的G通道像素值与所述第二图像对应的G通道像素值采用所述滤波函数进行单通道融合，获得与G通道对应的所述第三单通道融合图像。
4.根据权利要求1所述的时空图像纹理与图像颜色的融合方法，其特征在于，所述对多张所述第一图像的RGB三通道的图像数据分别进行单通道融合，获取第二目标图像，包括：
获取第一张所述第一图像的RGB三通道的第三图像数据；所述第三图像数据包括第一张所述第一图像的RGB三通道的像素值；
获取第二张所述第一图像的RGB三通道的第四图像数据；所述第四图像数据包括第二张所述第一图像的RGB三通道的像素值；
将所述第三图像数据和所述第四图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第四单通道融合图像、与B通道对应的第五单通道融合图像和与G通道对应的第六单通道融合图像；
将所述第四单通道融合图像、所述第五单通道融合图像和所述第六单通道融合图像进行合并，获取所述第二目标图像。
5.根据权利要求4所述的时空图像纹理与图像颜色的融合方法，其特征在于，所述将所述第三图像数据和所述第四图像数据中RGB三通道的像素值一一对应后，采用预设的滤波函数分别对每个通道的数据进行单通道融合，并分别获得与R通道对应的第四单通道融合图像、与B通道对应的第五单通道融合图像和与G通道对应的第六单通道融合图像，包括：
将所述第三图像对应的R通道像素值与所述第四图像对应的R通道像素值采用所述滤波函数进行单通道融合，获得与R通道对应的所述第四单通道融合图像；
将所述第三图像对应的B通道像素值与所述第四图像对应的B通道像素值采用所述滤波函数进行单通道融合，获得与B通道对应的所述第五单通道融合图像；
将所述第三图像对应的G通道像素值与所述第四图像对应的G通道像素值采用所述滤波函数进行单通道融合，获得与G通道对应的所述第六单通道融合图像。
6.根据权利要求2或4所述的时空图像纹理与图像颜色的融合方法，其特征在于，所述采用预设的滤波函数分别对每个通道的数据进行单通道融合，包括：对两张图像的单通道数据执行以下流程：
计算所述两张图像的单通道数据的向前差分矩阵，实现提取一张图像的颜色特征，并提取另一张图像的纹理特征；
获取所述颜色特征对应的第一参数以及所述纹理特征对应的第二参数；
根据所述第一参数以及所述第二参数构成稀疏矩阵；
根据所述稀疏矩阵获取所述两张图像的单通道数据进行融合时关于所述颜色特征和所述纹理特征的权重矩阵，以及所述两张图像的偏移量；
根据所述权重矩阵和所述偏移量构建线性拟合函数；
通过所述线性拟合函数实现对所述两张图像的单通道数据的融合。
7.根据权利要求1所述的时空图像纹理与图像颜色的融合方法，其特征在于，所述融合模型包括：
Figure DEST_PATH_IMAGE001
=
Figure 328941DEST_PATH_IMAGE002
+
Figure DEST_PATH_IMAGE003
-
Figure 715185DEST_PATH_IMAGE004
；
其中，
Figure 716639DEST_PATH_IMAGE001
是指所述第三目标图像的像素值，
Figure 509015DEST_PATH_IMAGE002
是指所述第一图像的像素值，
Figure 646735DEST_PATH_IMAGE003
是指所述第一目标图像的像素值，
Figure 499153DEST_PATH_IMAGE004
是指所述第二目 标图像的像素值。
8.根据权利要求1所述的时空图像纹理与图像颜色的融合方法，其特征在于，所述方法还包括：通过python语言实现所述图像融合方法的程序编写，并利用cuda进行计算加速。
9.一种时空图像纹理与图像颜色的融合装置，其特征在于，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现如权利要求1-8任意一项所述的一种时空图像纹理与图像颜色的融合方法。
CN202210012739.9A 2022-01-07 2022-01-07 一种时空图像纹理与图像颜色的融合方法和装置 Active CN114022353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210012739.9A CN114022353B (zh) 2022-01-07 2022-01-07 一种时空图像纹理与图像颜色的融合方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210012739.9A CN114022353B (zh) 2022-01-07 2022-01-07 一种时空图像纹理与图像颜色的融合方法和装置

Publications (2)

Publication Number Publication Date
CN114022353A CN114022353A (zh) 2022-02-08
CN114022353B true CN114022353B (zh) 2022-03-29

Family

ID=80069590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210012739.9A Active CN114022353B (zh) 2022-01-07 2022-01-07 一种时空图像纹理与图像颜色的融合方法和装置

Country Status (1)

Country Link
CN (1) CN114022353B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977830A (zh) * 2019-03-16 2019-07-05 四川大学 基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法
CN110246087A (zh) * 2018-03-07 2019-09-17 舜宇光学（浙江）研究院有限公司 参考多通道的多分辨率去除图像色度噪声的系统和方法
CN111260543A (zh) * 2020-01-19 2020-06-09 浙江大学 一种基于多尺度图像融合和sift特征的水下图像拼接方法
CN112184604A (zh) * 2020-09-15 2021-01-05 杭州电子科技大学 一种基于图像融合的彩色图像增强方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046681A (zh) * 2015-05-14 2015-11-11 江南大学 一种基于SoC的图像显著性区域检测方法
US20200138337A1 (en) * 2018-11-06 2020-05-07 The Regents Of The University Of Colorado, A Body Corporate Non-Contact Breathing Activity Monitoring And Analyzing System Through Thermal On Projection Medium Imaging
CN113706432B (zh) * 2021-09-23 2024-04-30 北京化工大学 保留输入图像纹理细节的多源图像融合方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246087A (zh) * 2018-03-07 2019-09-17 舜宇光学（浙江）研究院有限公司 参考多通道的多分辨率去除图像色度噪声的系统和方法
CN109977830A (zh) * 2019-03-16 2019-07-05 四川大学 基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法
CN111260543A (zh) * 2020-01-19 2020-06-09 浙江大学 一种基于多尺度图像融合和sift特征的水下图像拼接方法
CN112184604A (zh) * 2020-09-15 2021-01-05 杭州电子科技大学 一种基于图像融合的彩色图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Denoising and contrast enhancement fusion based on white balance for underwater images;Chao Wei 等;《2019 International Conference on Image and Video Processing, and Artificial Intelligence》;20191127;第11321卷;1-5 *
基于加权最小二乘滤波和引导滤波的铸件DＲ图像融合;羊肇俊 等;《仪器仪表学报》;20210630;第42卷(第6期);211-220 *

Also Published As

Publication number Publication date
CN114022353A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
US10579908B2 (en) Machine-learning based technique for fast image enhancement
WO2018082185A1 (zh) 图像处理方法和装置
US20040240749A1 (en) Image processing device, image processing method, and program
CN113454680A (zh) 图像处理器
CN111784603A (zh) 一种raw域图像去噪方法、计算机装置及计算机可读存储介质
CN111161188B (zh) 降低图像色彩噪声的方法、计算机装置及可读存储介质
CN110930301A (zh) 图像处理方法、装置、存储介质及电子设备
CN110852953A (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
JP4190886B2 (ja) イメージセンサにおける緑色の不均一性の防止
CN110858895B (zh) 一种图像处理方法和装置
TW201621812A (zh) 估算圖像序列之二相異色彩分級版本間之色映射之方法及裝置
CN114022353B (zh) 一种时空图像纹理与图像颜色的融合方法和装置
CN104853059B (zh) 超分辨率图像处理方法及其装置
CN113052765A (zh) 基于最优栅格密度模型的全景图像拼接方法
CN110580684A (zh) 一种基于黑白-彩色双目相机的图像增强方法
EP1360842A1 (en) Contour filter for image sensor output signals
CN113409196B (zh) 一种用于实时视频拼接的高速全局色差矫正方法
CN113793249B (zh) Pentile图像转换RGB图像的方法及相关设备
CN112581365A (zh) 一种跨尺度自适应信息映射成像方法及装置、介质
CN113762016A (zh) 关键帧选取方法和装置
US7903124B2 (en) Individual channel filtering of palettized image formats
CN112927157B (zh) 采用加权最小二乘滤波的改进暗通道去雾方法
CN115278090B (zh) 一种基于行曝光的单帧四曝光wdr处理方法
CN110647898A (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN110827287B (zh) 确定背景色置信度和图像处理的方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 610094 No. 16, floor 1, building 7, No. 333, middle section of Shuangnan Avenue, Dongsheng Street, Shuangliu District, Chengdu, Sichuan

Patentee after: Chengdu Guoxing Aerospace Technology Co.,Ltd.

Address before: 610094 No. 16, floor 1, building 7, No. 333, middle section of Shuangnan Avenue, Dongsheng Street, Shuangliu District, Chengdu, Sichuan

Patentee before: CHENGDU GUOXING AEROSPACE TECHNOLOGY Co.,Ltd.