CN110136183A - 一种图像处理的方法以及相关设备 - Google Patents

一种图像处理的方法以及相关设备 Download PDF

Info

Publication number
CN110136183A
CN110136183A CN201810135739.1A CN201810135739A CN110136183A CN 110136183 A CN110136183 A CN 110136183A CN 201810135739 A CN201810135739 A CN 201810135739A CN 110136183 A CN110136183 A CN 110136183A
Authority
CN
China
Prior art keywords
image
color
infrared light
information
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810135739.1A
Other languages
English (en)
Other versions
CN110136183B (zh
Inventor
骆立俊
朱力于
阙步军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810135739.1A priority Critical patent/CN110136183B/zh
Priority to PCT/CN2018/123383 priority patent/WO2019153920A1/zh
Priority to JP2020542815A priority patent/JP6967160B2/ja
Priority to EP18905692.2A priority patent/EP3734552A4/en
Publication of CN110136183A publication Critical patent/CN110136183A/zh
Priority to US16/943,497 priority patent/US11250550B2/en
Application granted granted Critical
Publication of CN110136183B publication Critical patent/CN110136183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本申请实施例提供了一种图像处理的方法以及相关设备，用于处理光学成像系统获取到的图像，对该图像进行对比度、纹理以及色彩的处理，使得到的图像纹理更清晰，且纹理与色彩更接近实际的纹理与色彩。该图像处理的方法包括：获取可见光图像与红外光图像；获取可见光图像的第一亮度信息与红外光图像的第二亮度信息；将该第一亮度信息与该第二亮度信息进行融合，以得到对比度融合图像；获取可见光图像的第一纹理信息与红外光图像的第二纹理信息；将该第一纹理信息、该第二纹理信息与该对比度融合图像进行融合，以得到纹理融合图像；根据可见光图像与红外光图像得到色彩融合图像；通过对纹理融合图像与色彩融合图像进行融合，以得到目标图像。

Description

一种图像处理的方法以及相关设备
技术领域
本申请涉及图像领域，特别设计一种图像处理的方法以及相关设备。
背景技术
随着摄像技术的发展，在高照度下，摄像设备能够拍摄到清晰的图像，而在低照度下， 拍摄的图像往往是不清晰的，因此提高在低照度下的图像清晰度一直是摄像设备所亟待提升 的问题。
现有方案中，光学成像系统中可以通过分光装置将光线按照波段以及比例进行分离，并 通过分离得到的各个频率分量分别成像，得到可见光图像与红外光图像，其中，可见光图像 为彩色图像，红外光图像为非彩色图像。然后通过预置的融合算法对可见光图像与红外光图 像进行图像融合，将得到的可将光图像与红外光图像上的各个频率分量的成像进行融合，以 得到融合后的目标图像。其中，目标图像的色彩分量来自于可将光图像，在确定目标图像的 亮度与纹理后，根据该色彩分量进行融合，得到目标图像。
由于红外光图像与可见光图像在亮度分布上有较大不同，不同材质的物体在可见光与红 外光下的反光系数不同，因此红外光图像与可见光图像的亮度差异明显，尤其在低照度下， 红外光图像与可见光图像的纹理分布以及亮度分布差异较大，通常红外光图像较可见光图像 更清晰，红外光图像的纹理更丰富，因此红外光图像下的纹理信息将在融合图像时占用较大 比例，因此将造成融合后的目标图像更接近于红外光下的图像纹理，而与图像的实际纹理差 异大，产生较严重的失真。
发明内容
本申请实施例提供了一种图像处理的方法以及相关设备，用于处理光学成像系统获取到 的图像，对该图像进行对比度、纹理以及色彩的处理，特别在低照度的场景下，使得到的图 像纹理更清晰，且纹理与色彩更接近实际的纹理与色彩。
有鉴于此，本申请第一方面提供一种图像处理的方法，包括：
获取可见光图像与红外光图像；获取第一亮度信息与第二亮度信息，该第一亮度信息为 该可见光图像的亮度信息，该第二亮度信息为该红外光图像的亮度信息；将该第一亮度信息 与该第二亮度信息进行融合，以得到对比度融合图像；获取第一纹理信息与第二纹理信息， 该第一纹理信息为该可见光图像的纹理信息，该第二纹理信息为该红外光图像的纹理信息； 将该第一纹理信息、该第二纹理信息与该对比度融合图像进行融合，以得到纹理融合图像； 根据该可见光图像与该红外光图像获取色彩融合图像；通过对该纹理融合图像与该色彩融合 图像进行融合，以得到目标图像。
在本申请实施方式中，首先从可见光图像中获取第一亮度信息以及从红外光图像中获取 第二亮度信息，将该第一亮度信息与第二亮度信息进行融合得到对比度融合图像，通过分别 提取亮度信息，可以降低对比度融合图像中的噪声，可以使对比度融合图像中的亮度分布更 均匀，更接近可见光下的亮度分布，之后从可见光图像中提取第一纹理信息以及从红外光图 像中提取第二纹理信息，然后将第一纹理信息、第二纹理信息与对比度融合图像进行融合得 到纹理融合图像，可以使得到的纹理融合图像中的纹理更清晰，且可以通过红外光图像与可 见光图像进行色彩融合，以得到色彩融合图像，增加了红外光图像作为色彩融合图像的基础， 可减少色彩缺失，偏色或噪声大等情况，最后将色彩融合图像与纹理融合图像进行融合，以 得到目标图像，可以降低目标图像的噪声，使目标图像的温流更清晰，亮度分布更接近可见 光下的亮度分布。
结合本申请第一方面，在本申请第一方面的第一种实施方式中，该根据可见光图像与该 红外光图像获取色彩融合图像，可以包括：
对该可见光图像进行色彩感知复原，以得到色彩感知复原图像；对该红外光图像按照预 置的色彩对应关系进行色彩推理，以得到色彩推理图像；将该色彩感知复原图像与该色彩推 理图像进行融合，以得到该色彩融合图像。
在本申请实施方式中，可以对可将光图像进行色彩感知复原，可以对可见光图像下的色 彩进行感知复原，可以对部分缺失的色彩进行复原，因红外光图像中的色彩分量与可见光下 的色彩分量有对应关系，可以按照预置的色彩对关系对红外光图像进行色彩推理，以得到色 彩推理图像，然后将色彩感知复原图像与色彩推理图像进行融合，以得到色彩融合图像，可 以通过色彩推理图像中的色彩分量填补可见光下的色彩缺失部分，偏色的部分或噪声大的部 分，使色彩融合图像的色彩更完整，降低色彩融合图像中的噪声，进一步降低目标图像中的 色彩噪声，改善色彩缺失或偏色等情况。
结合本申请第一方面或本申请第一方面的第一种实施方式，在本申请第一方面的第二种 实施方式中，该将该第一亮度信息与该第二亮度信息进行融合，以得到对比度融合图像，可 以包括：
通过预置的第一公式对该第一亮度信息以及该第二亮度信息进行计算，以得到目标亮度 值；通过该目标亮度值得到该对比度融合图像。
在本申请实施方式中，可以通过预置的第一公式对第一亮度信息与第二亮度信息进行计 算，增加了一种得到对比融合图像的方式。
结合本申请第一方面、本申请第一方面的第一种实施方式或本申请第一方面的第二种实 施方式中任一实施方式，在本申请第一方面的第三种实施方式中，该将该第一纹理信息、该 第二纹理信息与该对比度融合图像进行融合，以得到纹理融合图像，可以包括：
通过预置的第二公式对该第一纹理信息以及该第二纹理信息进行计算，以得到目标纹理 像素值；将该目标纹理像素值叠加到该对比度融合图像中，以得到该纹理融合图像。
在本申请实施方式中，可以通过预置的第二公式对第一纹理信息与第二纹理信息进行计 算，增加了一种得到纹理融合图像的方式。
结合本申请第一方面的第一种实施方式，在本申请第一方面的第四种实施方式中，该对 该红外光图像按照预置的色彩对应关系进行色彩推理，以得到色彩推理图像，可以包括：
对该红外光图像按照预置的色彩对应关系确定色彩分量的比值；根据该色彩分量的比值 按照预置的计算方式确定目标色彩，以得到该色彩推理图像。
得到色彩推理图像的具体过程可以是通过根据红外光图像中的色彩分量按照预置的色彩 对应关系确定色彩推理图像中色彩分量的比值，以得到色彩图像，增加了一种得到色彩推理 图像的方式。
结合本申请第一方面的第一种实施方式或本申请第一方面的第四种实施方式，在本申请 第一方面的第五种实施方式中，该对该可见光图像进行色彩感知复原，以得到色彩感知复原 图像，可以包括：
将该可见光图像的亮度反转，以得到亮度反转图像；根据透雾算法对该亮度反转图像进 行计算，以得到亮度与色彩增强后的增强图像；将该增强图像进行反转，以得到该色彩感知 复原图像。
在本申请实施方式中可以将可见光图像的亮度反转，然后通过透雾算法对反转后的可见 光图像进行计算，以得到亮度与色彩都增强后的图像，然后将亮度与色彩都增强后的图像再 进行反转，可以得到色彩与亮度都增强后的色彩感知图像。
结合本申请第一方面、本申请第一方面的第一种实施方式至本申请第一方面的第五种实 施方式中任一实施方式，在本申请第一方面的第六种实施方式中，该通过对该纹理融合图像 与该色彩融合图像进行融合，以得到目标图像，可以包括：
将该纹理融合图像中的亮度信息与该色彩融合图像中的色彩分量进行融合，以得到该目 标图像。
从确定纹理融合图像中的亮度信息以及色彩融合图像中的色彩分量，然后将亮度信息与 色彩分量进行叠加、或按比例计算等方式融合，以得到目标图像，可以使目标图像的色彩更 完整，可以改善目标图像中的偏色，噪声大以及纹理不清晰，亮度分布与可见光下相差大等 问题。
本申请第二方面提供一种图像处理装置，具有实现对应于上述本申请第一方面或第一方 面任一实施方式中的图像处理的方法的功能。所述功能可以通过硬件实现，也可以通过硬件 执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
本申请第三方提供一种摄像装置，可以包括：
镜头、处理器、存储器、总线以及输入输出接口；该镜头，用于获取光学图像；该存储 器，用于存储程序代码；该处理器调用该存储器中的程序代码时执行本申请第一方面或第一 方面任一实施方式中的步骤。
本申请第四方面提供一种终端设备，其特征在于，包括：
镜头、处理器、存储器、总线以及输入输出接口；该镜头，用于获取光学图像；该存储 器，用于存储程序代码；该处理器调用该存储器中的程序代码时执行本申请第一方面或第一 方面任一实施方式中的步骤。
本申请第五方面提供一种存储介质，需要说明的是，本发的技术方案本质上或者说对现 有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产口的形式体现出来，该计 算机软件产品存储在一个存储介质中，用于储存为上述设备所用的计算机软件指令，其包含 用于执行上述第一方面所设计的程序。
该存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例第六方面提供一种包含指令的计算机程序产品，当其在计算机上运行时， 使得计算机执行如本申请第一方面或第一方面任一可选实施方式中所述的方法。
本申请第七方面提供了一种芯片系统，该芯片系统包括处理器，用于支持图像处理装置 实现上述第一方面中所涉及的功能，例如传输或处理上述方法中所涉及的数据和/或信息。
在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存图像处理的 方法中必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立 器件。
从以上技术方案可以看出，本申请实施例具有以下优点：
在本申请实施例中，获取到可见光图像与红外光图像后，通过可将光图像与红外光图像 的亮度信息得到对比度增强后的对比度融合图像，然后在进行纹理融合时，通过可见光图像 与红外光图像的纹理信息进行纹理融合，以得到纹理更清晰的纹理融合图像，然后通过红外 光图像与可见光图像获取到色彩融合图像。因此，通过对红外光图像与可见光图像得到色彩 融合图像，然后将该色彩融合图像与纹理融合图像进行融合，得到目标图像，可以得到色彩 更接近于实际色彩的目标图像，通过红外光图像与可见光图像的亮度信息与纹理信息确定纹 理融合图像，相对于现有方案中仅按照红外光图像与可见光图像的纹理信息的比例来确定纹 理融合图像，本申请实施例增加了参考可见光图像与红外光图像的对比度进行纹理融合，使 得到的纹理融合图像纹理更清晰，目标图像的亮度与纹理更接近实际可见光下的亮度与纹理， 减少图像的失真。
附图说明
图1为本申请实施例中图像处理的方法的框架图；
图2为现有方案中合成的图像示意图；
图3为本申请实施例中的图像处理的方法的一种实施例示意图；
图4为本申请实施例中的图像处理的方法的另一种实施例示意图；
图5为本申请实施例中的图像处理的方法的另一种实施例示意图；
图6为本申请实施例中的图像处理装置的一种实施例示意图；
图7为本申请实施例中的摄像装置的一种实施例示意图。
具体实施方式
本申请实施例提供了一种图像处理的方法以及相关设备，用于处理光学成像系统获取到 的图像，对该图像进行对比度、纹理以及色彩的处理，特别在低照度的场景下，使得到的图 像纹理更清晰，且纹理与色彩更接近实际的纹理与色彩。
摄像技术广泛地应用于日常、工业以及商业等领域，例如，监控设备在工业以及商业中 具有重要的作用，也一直在追求提高监控设备所得到的图像的清晰度，但现有方案中的仅能 在光照良好的情况下得到清晰的图像，在低照度的场景下，由于IR-CUT Filter(低通滤波 器)过滤了监控设备周围环境中的红外光，造成环境中的红外光不能被有效地利用，降低了 得到的图像的整体通光量。现有方案中直接将可见光图像与红外光图像通过融合算法进行融 合，导致噪声的频率与图像细节的频率范围相差较小，因此合成后的图像无法区分噪声与图 像细节，导致合成后的图像噪声过大，且由于仅使用可见光图像的色彩分量合成图像，在底 照度的场景下，可见光图像中的色彩容易缺失以及偏色，导致了由可见光图像与红外光图像 合成后的图像的色彩失真。以及在低照度下的场景下，红外光图像的纹理较可见光图像更清 晰，但可见光图像的亮度分布与纹理细节有较大差异，合成后的图像中的亮度与纹理更倾向 于采用红外光图像的亮度与纹理，因此导致合成后的图像的纹理与实际可见光下的纹理差异 大等问题。因此，为解决现有方案中色彩失真、亮度与纹理差异大，以及噪声大等问题，本 申请实施例提供了一种图像处理的方法。
应理解，本申请实施例中所述的低照度的场景为照度低于阈值的场景，对于低照度的阈 值可以是根据实际光学成像系统中的器件，包括传感器或分光器等特性进行调整，例如，若 器件的特性较好，则可以调低该阈值，若器件的特性较低，则可以提高该阈值。
本申请实施例中图像处理的方法的框架如图1所示，其中，可以通过光学成像系统获取 到可见光图像与红外光图像，该光学成像系统可以是监控设备的摄像头，也可以是终端设备 或摄像机的摄像头，然后对该可见光图像与该红外光图像进行图像融合，得到目标图像，分 别将可将光图像与红外光图像的亮度信息、纹理信息与色彩信息进行融合，得到清晰的目标 图像，且可以使目标图像的纹理与色彩更接近实际的图像色彩。
本申请实施例提供的图像处理的方法可以使得到目标图像更接近实际的纹理与色彩，例 如，现有方案中得到图像如图2所示，其中，在低照度的情况下，由于现有方案中在进行图 像融合时，红外光图像的纹理较可见光图像的亮度与纹理更清晰，因此，红外光图像的亮度 所占比例大于可见光图像的亮度，导致融合后的图像亮度与实际可见光下的亮度与纹理差异 较大，例如，如图2的图像中合成后的“树木”亮度太亮，与实际可见光下的“树木”亮度 差异较大。
因此，本申请实施例通过从可见光图像与红外光图像的分别获取亮度信息与纹理信息得 到更清晰的纹理融合图像，以及通过由可见光图像与红外光图像的色彩信息得到色彩融合图 像并与上述纹理融合图像合成目标图像，可以增强图像的色彩。本申请实施例中的图像处理 的具体流程请参阅图3，包括：
301、获取可见光图像与红外光图像；
该可见光图像与红外光图像可以通过光学成像系统得到，例如，该可见光图像与红外光 图像可以通过监控设备的摄像头得到，也可以通过移动电话的单个摄像头或多个摄像头得到。
302、获取第一亮度信息与第二亮度信息；
在获取到可见光图像与红外光图像后，分别从该可见光图像与红外光图像获取亮度信息， 该第一亮度信息为可见光图像中的亮度信息，该第二亮度信息为红外光图像中的亮度信息。 该第一亮度信息可以包括可见光图像中各个像素点的亮度值，该第二亮度信息可以包括红外 光图像中各个像素点的亮度值。
303、将第一亮度信息与第二亮度信息进行融合，以得到对比度融合图像；
将第一亮度信息与第二亮度信息进行融合，以得到对比度融合图像，具体的融合方式可 以是将该第一亮度信息中的亮度值与该第二亮度信息中的亮度值按比例进行计算，得到各个 像素点的目标亮度值，然后由该各个像素点的目标亮度值组成对比度融合图像，可以使得到 对比度融合图像的亮度更接近实际图像的亮度。该比例可以是根据公式得到，也可以是预置 的比例。例如，可见光图像中的一个像素点的亮度值为200nit，红外光图像中对应的像素点 的亮度值为400nit，则可以根据预置的公式，计算出可见光图像中的亮度值与红外光图像中 的亮度值所占的比例，例如，计算得到该像素点的亮度值为320nit。
304、获取第一纹理信息与第二纹理信息；
从可见光图像中获取第一纹理信息，以及从红外光图像中获取第二纹理信息，在实际场 景中，红外光图像的纹理通常较可见光图像的纹理清晰，因此在合成图像时可以增加红外光 图像纹理的比例。
需要说明的是，本申请实施例对步骤302与步骤304的执行顺序不作限定，可以先执行 步骤302，也可以先执行步骤304，具体此处不作限定。
305、将第一纹理信息、第二纹理信息与对比度融合图像进行融合，以得到纹理融合图像；
在得到第一纹理信息与第二纹理信息后，可以获取可见光图像与红外光图像中所有纹理 的像素值，可以对第一纹理信息中的像素值与第二纹理信息中的像素值进行计算，得到目标 纹理像素值，然后将目标纹理像素值叠加至对比度融合图像中，以得到纹理融合图像，可以 使得到的纹理融合图像纹理更清晰。
在低照度的场景中，可见光图像中的纹理细节丢失较多，红外光图像中的纹理细节较可 见光图像中的纹理细节更丰富，红外光图像的噪声比可见光图像中的噪声少，因此在进行纹 理融合时，可提高红外光图像中更丰富的纹理信息所占的比例，使得到的纹理融合图像中的 纹理更清晰的纹理以及更少的噪声。
需要说明的是，本申请实施例对步骤302与步骤305的执行顺序不作限定，可以先执行 步骤302，也可以先执行步骤305，具体此处不作限定。
306、根据可见光图像与红外光图像获取色彩融合图像；
从可见光图像与红外光图像中分别获取色彩信息，可以对可见光图像进行色彩感知复原 得到可见光图像的色彩信息，对红外光图像根据预置的色彩对应关系进行色彩推理学习，得 到红外光图像的色彩信息，以填补可见光图像中缺失的部分色彩。将可见光图像的色彩信息 与红外光图像的色彩信息进行计算，得到色彩融合图像中的各个像素点的色彩分量，以得到 该色彩融合图像。
在低照度的场景下，可见光图像中的色彩颗粒噪声大，色彩失真严重，而将从红外光图 像推理学习得到的色彩信息与从可见光图像中感知复原得到的色彩信息进行融合得到的色彩 融合图像的色彩噪声更低，且色彩更接近实际可见光下的色彩。
307、通过对纹理融合图像与色彩融合图像进行融合，以得到目标图像。
在得到纹理融合图像与色彩融合图像后，可以根据纹理融合图像得到目标图像的亮度分 量，根据色彩融合图像得到目标图像的色彩分量，然后将亮度分量与色彩分量进行组合，得 到目标图像。
在本申请实施例中，在获取可见光图像与红外光图像后，分别从可见光图像与红外光图 像中获取亮度信息，并根据亮度信息得到对比度融合图像，然后根据从可见光图像与红外光 图像中获取到的纹理信息与该对比度融合图像进行融合得到纹理融合图像。相比于原始的可 见光图像与红外光图像，纹理融合图像中的纹理更清晰，且亮度分布更接近实际可见光的亮 度分布。然后根据从可见光图像与红外光图像中分别获取到的色彩信息，得到色彩融合图像， 可以使用从红外光图像推理得到的色彩填补可见光图像中缺失的色彩，使得到的色彩融合图 像可以包括完整的色彩。因此，通过色彩融合图像与纹理融合图像得到的目标图像的纹理更 清晰，亮度分布更接近实际光照的亮度，目标图像中的色彩更完整，并减少了因可见光图像 的色彩缺失而导致的目标图像色彩缺失。且在进行目标图像的融合时，采用红外光图像与可 见光图像中的亮度与纹理信息分别融合，可以降低合成的目标图像中的噪声。
下面对本申请实施例中图像处理的方法的具体步骤进行说明，请参阅图4，本申请实施例 中图像处理方法的另一种实施例示意图。
首先通过光学成像系统分别获取可见光图像401与红外光图像402，然后对可见光图像 401经过降噪器1，滤除可见光图像中的部分噪声，例如，颗粒噪声，对红外光图像402经过 降噪器2，滤除可见光图像中的部分噪声。该降噪1与降噪器2可以是图像信号处理(image signal processing，ISP)降噪器，ISP降噪器可以对红外光图像与可见光图像进行图像处 理，包括曝光控制、白平衡控制以及降噪等。经过ISP降噪器1与ISP降噪器2处理后，的 图像为色彩和亮度分布准确的YUV(亮度信号Y与色度信号U、V)格式图像。即可以获取到可见光图像的亮度分量与红外光图像的亮度分量。
其中，光学成像系统可以是一个摄像头，也可以是多个摄像头，此处仅以一个摄像头为 例，例如，如图5所示，镜头可以包括多层透镜，首先由镜头采集图像，然后可以通过分光 棱镜分光，分别在传感器1生成可见光图像401，在传感器2生成红外光图像402。光学成像 系统还可以由单独的成像装置分别直接生成可见光图像与红外光图像，具体可以根据实际设 计需求调整，此处不作限定。
从滤除部分噪声后的可见光图像提取第一亮度信息与从红外光图像中提取第二亮度信 息，并将第一亮度信息与第二亮度信息进行融合得到对比度融合图像405。具体的融合过程 可以是，分别计算可见光图像中的局部对比度以及红外光图像中对应的局部对比度，然后根 据预置的梯度特征计算可见光图像中的局部对比度以及红外光图像中对应的局部对比度中各 个分量所占的权重。具体的对比度融合过程可以是，以红外光图像与可见光图像中对应的一 个局部为例，当红外光图像的局部对比度和可见光图像的局部对比度与预置的梯度特征相差 较大时，则在合成对比度融合图像时更倾向于红外光图像中的局部对比度，即红外光图像的 局部对比度和可见光图像的局部对比度与预置的梯度特征相差较大时，红外光图像中的局部 对比度所占的权重更大，将更多地采用红外光图像中的局部对比度作为对比度融合图像的局 部对比度。
在实际应用中，具体的对比度融合过程可以是，以可见光图像与红外光图像中相对应的 一个局部为例，该局部可以是一个像素矩阵，例如，6*6的像素矩阵。通过可见光图像中局 部像素点的第一权重矩阵，以及对应的第一局部图像窗口获取可见光图像局部的第一亮度分 量，该第一权重矩阵为该可见光图像局部的图像窗口中的像素点的权重矩阵，该第一权重矩 阵可以是预置的，也可以是根据实际亮度值数据计算得到。通过红外光图像中局部的第二权 重矩阵，以及对应的局部图像窗口获取红外光图像对应的局部的第二亮度分量，该第二权重 矩阵为该可见光图像的局部图像窗口中的像素点的权重矩阵，该第二权重矩阵可以是预置的， 也可以是由根据实际数据计算得到。然后根据第一公式以及该第一亮度分量与第二亮度分量 进行合适的亮度值s的计算，该第一公式可以是，其中， p为可见光图像的亮度值，W为预置的固定矩阵，Q为红外光图像的亮度值，μ为预设的系 数，可根据实际需求调整，si为像素点i的亮度值，在计算得到各个像素点的目标亮度值s后， 将得到的亮度值迁移到红外光图像，可根据该s得到对比度迁移后的红外图像的变换矩阵x’， 该x’＝x*s，以得到对比度融合图像。
在得到对比度融合图像405后，还需要通过该对比融合图像得到纹理融合图像406。从滤 除部分噪声后的可见光图像中提取第一纹理信息，以及从滤除部分噪声后的红外光图像中提 取第二纹理信息，然后将该第一纹理信息与第二纹理信息所包括的像素值进行计算叠加，将 该第一纹理信息与第二纹理信息包括的像素值叠加至对比度融合图像中，以得到纹理融合图 像。具体的过程可以是，计算可见光图像中的细节以及红外光图像中的细节，然后再根据预 置的公式计算出每个细节纹理的最优像素值，即目标像素值，然后将该每个细节纹理的最优 像素值叠加至对比度融合图像中，得到该纹理融合图像406。
具体地，以一个像素点的融合为例，可见光图像部分可以包括：获取当前可见光像素点 xo(ι*)，以及非局部平均滤波可见光的像素点的值xo,b，相减可得到可见光图像中的可见光纹 理细节Δxo(ι*)＝xo(ι*)-xo,b；红外光图像部分可以包括：获取非局部平均滤波红外光的 像素值xn，以及当前红外光图像像素点的值为xn,b，相减可得到红外光图像中的红外光纹理 细节Δxn＝xn-xn,b，然后根据预置的第二公式计算最优的纹理细节值Δx，该第二公式可以 是：其中，μd为预置的系数，可根据实 际需求进行调整，fj为预置的局部加权矩阵，将计算得到的图像像素值叠加到对比度融合图 像中，得到纹理融合图像中的像素点的值为xo(ι*)←xo,b+Δx。
此外，本发明实施例中还对降噪后的可见光图像与降噪后的红外光图像进行色彩融合， 以得到色彩融合图像409。进行色彩融合的具体过程可以是，对滤除部分噪声后可见光图像 进行色彩感知复原，以得到色彩感知复原图像407，进行色彩感知复原的具体过程可以是， 将滤除部分噪声后可见光图像进行亮度反转，得到亮度反转后的可见光图像，然后通过透雾 算法对亮度反转后的可见光图像的亮度以及色彩进行增强，然后再将亮度以及色彩进行增强 的反转图像进行反转，得到亮度与色彩增强后的可见光图像。例如，计算亮度反转后的可见 光图像中各个相邻像素点灰度值的比例关系，然后通过该比例关系对各个像素点的灰度值进 行校正，之后对校正后的像素点的灰度值进行线性增强，以得到增强后的反转图像，将该反 转图像进行反转，即可得到该亮度与色彩增强后的可见光图像。
而对于可见光图像中部分丢失的色彩信息或偏色过大的部分图像，则无法通过色彩感知 复原进行修正，因此，若可见光图像中的部分图像亮度过低或噪声过大时，还可以通过对红 外光图像进行色彩推理，以进一步修正可见光图像中的色彩缺失或偏色等。
红外光图像中的色彩分量与可见光图像中的色彩分量具有对应关系，该对应关系可以是 预置的，也可以通过大量数据以及机器学习的方式得到红外光图像中的RGB(red、green、 blue，红、蓝、绿)分量与可见光图像中的色彩的对应关系。因此，可以通过该对应关系对 红外光图像中的色彩分量进行推理，得到与可见光图像的色彩对应的图像，以得到色彩推理 图像408，可利用该色彩推理图像对可见光中缺失的色彩或偏色的部分进行修正，以得到色 彩更接近实际光照下的图像。
应理解，本申请实施例对色彩感知复原图像407与色彩推理图像408的获取顺序不作限 定，可以先获取色彩感知复原图像407，也可以先获取色彩推理图像408，具体可根据实际需 求调整，具体此处不作限定。
因此，可以将色彩感知复原图像407与色彩推理图像408进行融合，以得到色彩融合图 像409。在实际应用中，可以通过参考可见光图像的亮度值来确定进行色彩修正，若色彩感 知复原图像中的部分亮度过低或噪声过大，则可以提高色彩推理图像中对应部分的参考占比， 即可以使用该色彩推理图像中对应部分的色彩分量修正该亮度过低或噪声过大的部分的色 彩，以得到色彩更完整的色彩融合图像。因此，使用可见光图像与红外光图像共同进行确定 目标图像的色彩，可以改善在低照度的场景下得到目标图像的色彩噪声、颜色失真与脏污的 问题。
应理解，本申请实施例对纹理融合图像406、色彩融合图像409的获取顺序不作限定，可 以先获取纹理融合图像406，也可以先获取色彩融合图像409，具体可根据实际需求调整，具 体此处不作限定。
在得到纹理融合图像406与色彩融合图像409后，对纹理融合图像与色彩融合图像进行 融合，将纹理融合图像中的纹理细节与色彩融合图像中的色彩分量进行叠加组合，以得到目 标图像410。
在本申请实施例中，分别从可见光图像与红外光图像中获取亮度信息，并根据亮度信息 得到对比度融合图像，然后根据从可见光图像与红外光图像中获取到的纹理信息与该对比度 融合图像进行融合得到纹理融合图像，得到的纹理融合图像中的纹理更清晰，且亮度分布更 接近实际可见光的亮度分布。然后根据从可见光图像与红外光图像中分别获取到的色彩信息， 得到色彩融合图像，可以使用从红外光图像推理得到的色彩填补可见光图像中缺失的色彩， 使得到的色彩融合图像可以包括完整的色彩。因此，通过色彩融合图像与纹理融合图像得到 的目标图像的纹理更清晰，亮度分布更接近实际光照的亮度，使目标图像包括的色彩更完整， 减少因可见光图像的色彩缺失而导致的目标图像色彩缺失。且在进行目标图像的融合时，采 用红外光图像与可见光图像中的亮度与纹理信息分别融合，可以降低合成的目标图像中的噪 声，可以减少合成后的图像的色彩丢失或偏色等，可以改善在低照度下得到目标图像的色彩 噪声、色彩失真与脏污的问题。
前述对本申请实施例中的图像处理的方法进行了详细说明，下面对本申请实施例中的图 像处理装置进行阐述，请参阅图6，本申请实施例中图像处理装置的一种实施例示意图，可 以包括：
图像获取模块601，用于获取可见光图像与红外光图像；
亮度信息获取模块602，还用于获取第一亮度信息与第二亮度信息，第一亮度信息为可见 光图像的亮度信息，第二亮度信息为红外光图像的亮度信息；
对比度融合模块603，用于将第一亮度信息与第二亮度信息进行融合，以得到对比度融合 图像；
纹理信息获取模块604，还用于获取第一纹理信息与第二纹理信息，第一纹理信息为可见 光图像的纹理信息，第二纹理信息为红外光图像的纹理信息；
纹理融合模块605，用于将第一纹理信息、第二纹理信息与对比度融合图像进行融合，以 得到纹理融合图像；
色彩融合模块606，用于根据可见光图像与红外光图像获取色彩融合图像；
目标合成模块607，用于通过对纹理融合图像与色彩融合图像进行融合，以得到目标图像。
可选地，在一些可能的实施例中，色彩融合模块606，可以包括：
感知复原子模块6061，用于对可见光图像进行色彩感知复原，以得到色彩感知复原图像；
色彩推理子模块6062，用于对红外光图像按照预置的色彩对应关系进行色彩推理，以得 到色彩推理图像；
色彩融合子模块6063，用于将色彩感知复原图像与色彩推理图像进行融合，以得到色彩 融合图像。
可选地，在一些可能的实施例中，对比度融合模块603，具体用于：
通过预置的第一公式对第一亮度信息以及第二亮度信息进行计算，以得到目标亮度值；
通过目标亮度值得到对比度融合图像。
可选地，在一些可能的实施例中，纹理融合模块605，具体用于：
通过预置的第二公式对第一纹理信息以及第二纹理信息进行计算，以得到目标纹理像素 值；
将目标纹理像素值叠加到对比度融合图像中，以得到纹理融合图像。
可选地，在一些可能的实施例中，色彩推理子模块6062，具体用于：
对红外光图像按照预置的色彩对应关系确定色彩分量的比值；
根据色彩分量的比值按照预置的计算方式确定目标色彩，以得到色彩推理图像。
可选地，在一些可能的实施例中，感知复原子模块6061，具体用于：
将可见光图像的亮度反转，以得到亮度反转图像；
根据透雾算法对亮度反转图像进行计算，以得到亮度与色彩增强后的增强图像；
将增强图像进行反转，以得到色彩感知复原图像。
可选地，在一些可能的实施例中，目标图像合成模块607，具体用于：
将纹理融合图像中的亮度信息与色彩融合图像中的色彩分量进行融合，以得到目标图像。
在另一种可能的设计中，当该图像处理装置为终端内的芯片时，芯片包括：处理单元和 通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚 或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使该终端内的芯片执行上 述第一方面任意一项的无线通信方法。可选地，所述存储单元为所述芯片内的存储单元，如 寄存器、缓存等，所述存储单元还可以是所述终端内的位于所述芯片外部的存储单元，如只 读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备， 随机存取存储器(random access memory，RAM)等。
其中，上述任一处提到的处理器，可以是一个通用中央处理器(CPU)，微处理器，特定 应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控 制上述第一方面无线通信方法的程序执行的集成电路。
本发明实施例还提供了一种摄像装置，如图7所示，为了便于说明，仅示出了与本发明 实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该摄像装置可 以为包括移动电话、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS (Point of Sales，销售终端)、车载电脑等任意终端设备：
图7示出的是与本发明实施例提供的摄像装置的部分结构的框图。参考图7，摄像装置 包括：射频(Radio Frequency，RF)电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、镜头770、处理器780、以及电源790等部件。本领域技术人员 可以理解，图7中示出的摄像装置结构并不构成对摄像装置的限定，可以包括比图示更多或 更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图7对摄像装置的各个构成部件进行具体的介绍：
RF电路710可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行 信息接收后，给处理器780处理；另外，将设计上行的数据发送给基站。通常，RF电路710 包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier， LNA)、双工器等。此外，RF电路710还可以通过无线通信与网络和其他设备通信。上述无线 通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General PacketRadio Service，GPRS)、 码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long TermEvolution，LTE)、电子邮件、短消息 服务(Short Messaging Service，SMS)等。
存储器720可用于存储软件程序以及模块，处理器780通过运行存储在存储器720的软 件程序以及模块，从而执行摄像装置的各种功能应用以及数据处理。存储器720可主要包括 存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程 序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据摄像装置的使用所创 建的数据(比如音频数据、电话本等)等。此外，存储器720可以包括高速随机存取存储器， 还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存 储器件。
输入单元730可用于接收输入的数字或字符信息，以及产生与摄像装置的用户设置以及 功能控制有关的键信号输入。具体地，输入单元730可包括触控面板731以及其他输入设备 732。触控面板731，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手 指、触笔等任何适合的物体或附件在触控面板731上或在触控面板731附近的操作)，并根据 预先设定的程式驱动相应的连接装置。可选的，触控面板731可包括触摸检测装置和触摸控 制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将 信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐 标，再送给处理器780，并能接收处理器780发来的命令并加以执行。此外，可以采用电阻 式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731，输入单 元730还可以包括其他输入设备732。具体地，其他输入设备732可以包括但不限于物理键 盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元740可用于显示由用户输入的信息或提供给用户的信息以及摄像装置的各种菜 单。显示单元740可包括显示面板741，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置 显示面板741。进一步的，触控面板731可覆盖显示面板741，当触控面板731检测到在其上 或附近的触摸操作后，传送给处理器780以确定触摸事件的类型，随后处理器780根据触摸 事件的类型在显示面板741上提供相应的视觉输出。虽然在图7中，触控面板731与显示面 板741是作为两个独立的部件来实现摄像装置的输入和输入功能，但是在某些实施例中，可 以将触控面板731与显示面板741集成而实现摄像装置的输入和输出功能。
摄像装置还可包括至少一种传感器750，比如光传感器、运动传感器以及其他传感器。 具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线 的明暗来调节显示面板741的亮度，接近传感器可在摄像装置移动到耳边时，关闭显示面板 741和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加 速度的大小，静止时可检测出重力的大小及方向，可用于识别摄像装置姿态的应用(比如横 竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至 于摄像装置还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在 此不再赘述。
音频电路760、扬声器761，传声器762可提供用户与摄像装置之间的音频接口。音频电 路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声 音信号输出；另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收 后转换为音频数据，再将音频数据输出处理器780处理后，经RF电路710以发送给比如另一 摄像装置，或者将音频数据输出至存储器720以便进一步处理。
摄像装置中的镜头770可以获取光学图像，包括红外光图像和/或可见光图像，其中，摄 像装置中的镜头可以是一个，也可以是至少两个(图中未示出)，具体可根据实际设计需求调 整。
处理器780是摄像装置的控制中心，利用各种接口和线路连接整个摄像装置的各个部分， 通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器720内的 数据，执行摄像装置的各种功能和处理数据，从而对摄像装置进行整体监控。可选的，处理 器780可包括一个或多个处理单元；优选的，处理器780可集成应用处理器和调制解调处理 器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处 理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器780中。
摄像装置还包括给各个部件供电的电源790(比如电池)，优选的，电源可以通过电源管 理系统与处理器780逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理 等功能。
尽管未示出，摄像装置还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，该摄像装置所包括的处理器780还具有以下功能：
获取可见光图像与红外光图像；获取第一亮度信息与第二亮度信息，该第一亮度信息为 该可见光图像的亮度信息，该第二亮度信息为该红外光图像的亮度信息；将该第一亮度信息 与该第二亮度信息进行融合，以得到对比度融合图像；获取第一纹理信息与第二纹理信息， 该第一纹理信息为该可见光图像的纹理信息，该第二纹理信息为该红外光图像的纹理信息； 将该第一纹理信息、该第二纹理信息与该对比度融合图像进行融合，以得到纹理融合图像； 根据该可见光图像与该红外光图像获取色彩融合图像；通过对该纹理融合图像与该色彩融合 图像进行融合，以得到目标图像。
本申请提供的终端设备可以是移动电话、摄像机、监控器或平板电脑等，该终端设备还 可以包括一个或多个镜头，该终端设备与前述图7所示的摄像装置类似，具体此处不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置 和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过 其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分， 仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结 合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的 相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信 连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部 件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元 上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个 单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以 采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以 存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对 现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该 计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个 人计算机，服务器，或者网络设备等)执行本申请各个实施例图3至图5所述方法的全部或 部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、 随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的 介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实 施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实 施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者 替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (15)

1.一种图像处理的方法，其特征在于，包括：
获取可见光图像与红外光图像；
获取第一亮度信息与第二亮度信息，所述第一亮度信息为所述可见光图像的亮度信息，所述第二亮度信息为所述红外光图像的亮度信息；
将所述第一亮度信息与所述第二亮度信息进行融合，以得到对比度融合图像；
获取第一纹理信息与第二纹理信息，所述第一纹理信息为所述可见光图像的纹理信息，所述第二纹理信息为所述红外光图像的纹理信息；
将所述第一纹理信息、所述第二纹理信息与所述对比度融合图像进行融合，以得到纹理融合图像；
获取所述可见光图像与所述红外光图像的色彩融合图像；
将所述纹理融合图像与所述色彩融合图像融合，以得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述可见光图像与所述红外光图像获取色彩融合图像，包括：
对所述可见光图像进行色彩感知复原，以得到色彩感知复原图像；
对所述红外光图像按照预置的色彩对应关系进行色彩推理，以得到色彩推理图像；
将所述色彩感知复原图像与所述色彩推理图像进行融合，以得到所述色彩融合图像。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述第一亮度信息与所述第二亮度信息进行融合，以得到对比度融合图像，包括：
通过预置的第一公式对所述第一亮度信息以及所述第二亮度信息进行计算，以得到目标亮度值；
通过所述目标亮度值得到所述对比度融合图像。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述将所述第一纹理信息、所述第二纹理信息与所述对比度融合图像进行融合，以得到纹理融合图像，包括：
通过预置的第二公式对所述第一纹理信息以及所述第二纹理信息进行计算，以得到目标纹理像素值；
将所述目标纹理像素值叠加到所述对比度融合图像中，以得到所述纹理融合图像。
5.根据权利要求2所述的方法，其特征在于，所述对所述红外光图像按照预置的色彩对应关系进行色彩推理，以得到色彩推理图像，包括：
对所述红外光图像按照预置的色彩对应关系确定色彩分量的比值；
根据所述色彩分量的比值按照预置的计算方式确定目标色彩，以得到所述色彩推理图像。
6.根据权利要求2所述的方法，其特征在于，所述对所述可见光图像进行色彩感知复原，以得到色彩感知复原图像，包括：
将所述可见光图像的亮度反转，以得到亮度反转图像；
根据透雾算法对所述亮度反转图像进行计算，以得到亮度与色彩增强后的增强图像；
将所述增强图像进行反转，以得到所述色彩感知复原图像。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述通过对所述纹理融合图像与所述色彩融合图像进行融合，以得到目标图像，包括：
将所述纹理融合图像中的亮度信息与所述色彩融合图像中的色彩分量进行融合，以得到所述目标图像。
8.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取可见光图像与红外光图像；
亮度信息获取模块，还用于获取第一亮度信息与第二亮度信息，所述第一亮度信息为所述可见光图像的亮度信息，所述第二亮度信息为所述红外光图像的亮度信息；
对比度融合模块，用于将所述第一亮度信息与所述第二亮度信息进行融合，以得到对比度融合图像；
纹理信息获取模块，还用于获取第一纹理信息与第二纹理信息，所述第一纹理信息为所述可见光图像的纹理信息，所述第二纹理信息为所述红外光图像的纹理信息；
纹理融合模块，用于将所述第一纹理信息、所述第二纹理信息与所述对比度融合图像进行融合，以得到纹理融合图像；
色彩融合模块，用于根据所述可见光图像与所述红外光图像获取色彩融合图像；
目标图像合成模块，用于通过对所述纹理融合图像与所述色彩融合图像进行融合，以得到目标图像。
9.根据权利要求8所述的图像处理装置，其特征在于，所述色彩融合模块，包括：
感知复原子模块，用于对所述可见光图像进行色彩感知复原，以得到色彩感知复原图像；
色彩推理子模块，用于对所述红外光图像按照预置的色彩对应关系进行色彩推理，以得到色彩推理图像；
色彩融合子模块，用于将所述色彩感知复原图像与所述色彩推理图像进行融合，以得到所述色彩融合图像。
10.根据权利要求8或9所述的图像处理装置，其特征在于，所述对比度融合模块，具体用于：
通过预置的第一公式对所述第一亮度信息以及所述第二亮度信息进行计算，以得到目标亮度值；
通过所述目标亮度值得到所述对比度融合图像。
11.根据权利要求8-10中任一项所述的图像处理装置，其特征在于，所述纹理融合模块，具体用于：
通过预置的第二公式对所述第一纹理信息以及所述第二纹理信息进行计算，以得到目标纹理像素值；
将所述目标纹理像素值叠加到所述对比度融合图像中，以得到所述纹理融合图像。
12.根据权利要求9所述的图像处理装置，其特征在于，所述色彩推理子模块，具体用于：
对所述红外光图像按照预置的色彩对应关系确定色彩分量的比值；
根据所述色彩分量的比值按照预置的计算方式确定目标色彩，以得到所述色彩推理图像。
13.根据权利要求9所述的图像处理装置，其特征在于，所述感知复原子模块，具体用于：
将所述可见光图像的亮度反转，以得到亮度反转图像；
根据透雾算法对所述亮度反转图像进行计算，以得到亮度与色彩增强后的增强图像；
将所述增强图像进行反转，以得到所述色彩感知复原图像。
14.根据权利要求8-13中任一项所述的图像处理装置，其特征在于，所述目标图像合成模块，具体用于：
将所述纹理融合图像中的亮度信息与所述色彩融合图像中的色彩分量进行融合，以得到所述目标图像。
15.一种摄像装置，其特征在于，包括：
镜头、处理器、存储器、总线以及输入输出接口；
所述存储器中存储有程序代码；
所述处理器调用所述存储器中的程序代码时执行权利要求1-7中任一项所述方法的步骤。
CN201810135739.1A 2018-02-09 2018-02-09 一种图像处理的方法、装置以及摄像装置 Active CN110136183B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810135739.1A CN110136183B (zh) 2018-02-09 2018-02-09 一种图像处理的方法、装置以及摄像装置
PCT/CN2018/123383 WO2019153920A1 (zh) 2018-02-09 2018-12-25 一种图像处理的方法以及相关设备
JP2020542815A JP6967160B2 (ja) 2018-02-09 2018-12-25 画像処理方法および関連デバイス
EP18905692.2A EP3734552A4 (en) 2018-02-09 2018-12-25 IMAGE PROCESSING PROCESS AND ASSOCIATED DEVICE
US16/943,497 US11250550B2 (en) 2018-02-09 2020-07-30 Image processing method and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810135739.1A CN110136183B (zh) 2018-02-09 2018-02-09 一种图像处理的方法、装置以及摄像装置

Publications (2)

Publication Number Publication Date
CN110136183A true CN110136183A (zh) 2019-08-16
CN110136183B CN110136183B (zh) 2021-05-18

Family

ID=67547901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810135739.1A Active CN110136183B (zh) 2018-02-09 2018-02-09 一种图像处理的方法、装置以及摄像装置

Country Status (5)

Country Link
US (1) US11250550B2 (zh)
EP (1) EP3734552A4 (zh)
JP (1) JP6967160B2 (zh)
CN (1) CN110136183B (zh)
WO (1) WO2019153920A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539902A (zh) * 2020-04-16 2020-08-14 烟台艾睿光电科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN111667446A (zh) * 2020-06-01 2020-09-15 上海富瀚微电子股份有限公司 图像处理方法
CN112258442A (zh) * 2020-11-12 2021-01-22 Oppo广东移动通信有限公司 图像融合方法、装置、计算机设备和存储介质
CN112541903A (zh) * 2020-12-16 2021-03-23 深圳市欢太科技有限公司 页面比对方法、装置、电子设备及计算机存储介质
CN112712485A (zh) * 2019-10-24 2021-04-27 杭州海康威视数字技术股份有限公司 一种图像融合方法及装置
CN112767291A (zh) * 2021-01-04 2021-05-07 浙江大华技术股份有限公司 可见光图像和红外图像融合方法、设备及可读存储介质
CN112767289A (zh) * 2019-10-21 2021-05-07 浙江宇视科技有限公司 图像融合方法、装置、介质及电子设备
CN112767298A (zh) * 2021-03-16 2021-05-07 杭州海康威视数字技术股份有限公司 一种可见光图像和红外图像的融合方法、装置
CN112785510A (zh) * 2019-11-11 2021-05-11 华为技术有限公司 图像处理方法和相关产品
CN112884688A (zh) * 2021-02-03 2021-06-01 浙江大华技术股份有限公司 一种图像融合方法、装置、设备及介质
CN113538303A (zh) * 2020-04-20 2021-10-22 杭州海康威视数字技术股份有限公司 图像融合方法
WO2021217428A1 (zh) * 2020-04-28 2021-11-04 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质
CN113711584A (zh) * 2020-03-20 2021-11-26 华为技术有限公司 一种摄像装置
CN113763295A (zh) * 2020-06-01 2021-12-07 杭州海康威视数字技术股份有限公司 图像融合方法、确定图像偏移量的方法及装置
CN114143443A (zh) * 2020-09-04 2022-03-04 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
TWI825410B (zh) * 2020-04-28 2023-12-11 大陸商深圳市思坦科技有限公司 影像處理方法、裝置、攝影設備和儲存介質

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
US11410337B2 (en) * 2018-03-30 2022-08-09 Sony Corporation Image processing device, image processing method and mobile body
CN111161356B (zh) * 2019-12-17 2022-02-15 大连理工大学 一种基于双层优化的红外和可见光融合方法
CN113014747B (zh) * 2019-12-18 2023-04-28 中移物联网有限公司 屏下摄像头模组、图像处理方法及终端
US20230058472A1 (en) * 2020-01-28 2023-02-23 Gopro, Inc. Sensor prioritization for composite image capture
KR20220063763A (ko) * 2020-11-09 2022-05-17 구글 엘엘씨 적외선-유도 초상화 재조명
CN112396572B (zh) * 2020-11-18 2022-11-01 国网浙江省电力有限公司电力科学研究院 基于特征增强和高斯金字塔的复合绝缘子双光融合方法
CN113344834B (zh) * 2021-06-02 2022-06-03 深圳兆日科技股份有限公司 图像拼接方法、装置及计算机可读存储介质
CN113421195B (zh) * 2021-06-08 2023-03-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113298177B (zh) * 2021-06-11 2023-04-28 华南理工大学 夜间图像着色方法、装置、介质和设备
CN115908518B (zh) * 2023-01-09 2023-05-09 四川赛狄信息技术股份公司 一种多传感图像融合方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
CN103793896A (zh) * 2014-01-13 2014-05-14 哈尔滨工程大学 一种红外图像与可见光图像的实时融合方法
US20140168444A1 (en) * 2012-12-14 2014-06-19 Korea University Research And Business Foundation Apparatus and method for fusing images
CN103973990A (zh) * 2014-05-05 2014-08-06 浙江宇视科技有限公司 宽动态融合方法及装置
CN104732507A (zh) * 2015-04-02 2015-06-24 西安电子科技大学 基于纹理信息重构的不同光照两帧图像融合方法
CN104966108A (zh) * 2015-07-15 2015-10-07 武汉大学 一种基于梯度传递的可见光与红外图像融合方法
CN105513032A (zh) * 2015-11-27 2016-04-20 小红象医疗科技有限公司 一种红外医学影像与人体切片图像融合的方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106875370A (zh) * 2017-01-24 2017-06-20 中国科学院空间应用工程与技术中心 一种全色图像和多光谱图像的融合方法及装置
CN107133558A (zh) * 2017-03-13 2017-09-05 北京航空航天大学 一种基于概率传播的红外行人显著性检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072401A (ja) * 2004-08-31 2006-03-16 Fujitsu Ltd 画像複合装置および画像複合方法
US8520970B2 (en) * 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
JP2011239259A (ja) * 2010-05-12 2011-11-24 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5669513B2 (ja) * 2010-10-13 2015-02-12 オリンパス株式会社 画像処理装置、画像処理プログラム、及び、画像処理方法
KR20180018736A (ko) * 2015-06-23 2018-02-21 후아웨이 테크놀러지 컴퍼니 리미티드 촬영 디바이스 및 깊이 정보를 취득하는 방법
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105303598A (zh) * 2015-10-23 2016-02-03 浙江工业大学 基于纹理传输的多风格视频艺术化处理方法
CN109478315B (zh) * 2016-07-21 2023-08-01 前视红外系统股份公司 融合图像优化系统和方法
CN106548467B (zh) * 2016-10-31 2019-05-14 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN107346552A (zh) * 2017-06-23 2017-11-14 南京信息工程大学 基于图像灰度恢复形状技术的纹理力触觉再现方法
JP6835227B2 (ja) * 2017-07-13 2021-02-24 日本電気株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
CN110363732A (zh) * 2018-04-11 2019-10-22 杭州海康威视数字技术股份有限公司 一种图像融合方法及其装置
CN110660088B (zh) * 2018-06-30 2023-08-22 华为技术有限公司 一种图像处理的方法和设备
WO2020051897A1 (zh) * 2018-09-14 2020-03-19 浙江宇视科技有限公司 图像融合方法、系统、电子设备和计算机可读介质
WO2020059565A1 (ja) * 2018-09-18 2020-03-26 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
CN110971889A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 一种获取深度图像的方法、摄像装置以及终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US20140168444A1 (en) * 2012-12-14 2014-06-19 Korea University Research And Business Foundation Apparatus and method for fusing images
CN103793896A (zh) * 2014-01-13 2014-05-14 哈尔滨工程大学 一种红外图像与可见光图像的实时融合方法
CN103973990A (zh) * 2014-05-05 2014-08-06 浙江宇视科技有限公司 宽动态融合方法及装置
CN104732507A (zh) * 2015-04-02 2015-06-24 西安电子科技大学 基于纹理信息重构的不同光照两帧图像融合方法
CN104966108A (zh) * 2015-07-15 2015-10-07 武汉大学 一种基于梯度传递的可见光与红外图像融合方法
CN105513032A (zh) * 2015-11-27 2016-04-20 小红象医疗科技有限公司 一种红外医学影像与人体切片图像融合的方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106875370A (zh) * 2017-01-24 2017-06-20 中国科学院空间应用工程与技术中心 一种全色图像和多光谱图像的融合方法及装置
CN107133558A (zh) * 2017-03-13 2017-09-05 北京航空航天大学 一种基于概率传播的红外行人显著性检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TAKASHI SHIBATA 等: ""Versatile visible and near-infrared image fusion based on high visibility area selection"", 《 JOURNAL OF ELECTRONIC IMAGING》 *
XIAOYE ZHANG 等: ""Infrared and visible image fusion via saliency analysis and local edge-preserving multi-scale decomposition"", 《JOURNAL OF THE OPTICAL SOCIETY OF AMERICA A》 *
周渝人 等: ""基于对比度增强的红外与可见光图像融合"", 《中国激光》 *
李光鑫 等: ""红外和彩色可见光图像亮度-对比度传递融合算法"", 《中国光学》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767289A (zh) * 2019-10-21 2021-05-07 浙江宇视科技有限公司 图像融合方法、装置、介质及电子设备
CN112712485A (zh) * 2019-10-24 2021-04-27 杭州海康威视数字技术股份有限公司 一种图像融合方法及装置
CN112785510B (zh) * 2019-11-11 2024-03-05 华为技术有限公司 图像处理方法和相关产品
CN112785510A (zh) * 2019-11-11 2021-05-11 华为技术有限公司 图像处理方法和相关产品
CN113711584A (zh) * 2020-03-20 2021-11-26 华为技术有限公司 一种摄像装置
CN113711584B (zh) * 2020-03-20 2023-03-03 华为技术有限公司 一种摄像装置
CN111539902A (zh) * 2020-04-16 2020-08-14 烟台艾睿光电科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN111539902B (zh) * 2020-04-16 2023-03-28 烟台艾睿光电科技有限公司 一种图像处理方法、系统、设备及计算机可读存储介质
CN113538303B (zh) * 2020-04-20 2023-05-26 杭州海康威视数字技术股份有限公司 图像融合方法
CN113538303A (zh) * 2020-04-20 2021-10-22 杭州海康威视数字技术股份有限公司 图像融合方法
TWI825410B (zh) * 2020-04-28 2023-12-11 大陸商深圳市思坦科技有限公司 影像處理方法、裝置、攝影設備和儲存介質
WO2021217428A1 (zh) * 2020-04-28 2021-11-04 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质
CN113763295B (zh) * 2020-06-01 2023-08-25 杭州海康威视数字技术股份有限公司 图像融合方法、确定图像偏移量的方法及装置
CN113763295A (zh) * 2020-06-01 2021-12-07 杭州海康威视数字技术股份有限公司 图像融合方法、确定图像偏移量的方法及装置
CN111667446A (zh) * 2020-06-01 2020-09-15 上海富瀚微电子股份有限公司 图像处理方法
CN111667446B (zh) * 2020-06-01 2023-09-01 上海富瀚微电子股份有限公司 图像处理方法
CN114143443A (zh) * 2020-09-04 2022-03-04 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
CN114143443B (zh) * 2020-09-04 2024-04-05 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
WO2022100250A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像融合方法、装置、计算机设备和存储介质
CN112258442A (zh) * 2020-11-12 2021-01-22 Oppo广东移动通信有限公司 图像融合方法、装置、计算机设备和存储介质
CN112541903A (zh) * 2020-12-16 2021-03-23 深圳市欢太科技有限公司 页面比对方法、装置、电子设备及计算机存储介质
CN112767291A (zh) * 2021-01-04 2021-05-07 浙江大华技术股份有限公司 可见光图像和红外图像融合方法、设备及可读存储介质
CN112884688A (zh) * 2021-02-03 2021-06-01 浙江大华技术股份有限公司 一种图像融合方法、装置、设备及介质
CN112884688B (zh) * 2021-02-03 2024-03-29 浙江大华技术股份有限公司 一种图像融合方法、装置、设备及介质
CN112767298B (zh) * 2021-03-16 2023-06-13 杭州海康威视数字技术股份有限公司 一种可见光图像和红外图像的融合方法、装置
CN112767298A (zh) * 2021-03-16 2021-05-07 杭州海康威视数字技术股份有限公司 一种可见光图像和红外图像的融合方法、装置

Also Published As

Publication number Publication date
CN110136183B (zh) 2021-05-18
EP3734552A1 (en) 2020-11-04
JP6967160B2 (ja) 2021-11-17
US11250550B2 (en) 2022-02-15
US20200357104A1 (en) 2020-11-12
WO2019153920A1 (zh) 2019-08-15
JP2021513278A (ja) 2021-05-20
EP3734552A4 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
CN110136183A (zh) 一种图像处理的方法以及相关设备
CN107230192B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN108605099B (zh) 用于终端拍照的方法及终端
CN109863742B (zh) 图像处理方法和终端设备
CN107846537B (zh) 一种摄像头组件、图像获取方法及移动终端
CN104380727B (zh) 图像处理装置和图像处理方法
CN110958401B (zh) 一种超级夜景图像颜色校正方法、装置和电子设备
CN114092364A (zh) 图像处理方法及其相关设备
CN107392832A (zh) 图像处理方法及相关产品
CN106993136B (zh) 移动终端及其基于多摄像头的图像降噪方法和装置
CN108419008B (zh) 一种拍摄方法、终端及计算机可读存储介质
CN111064895B (zh) 一种虚化拍摄方法和电子设备
CN108200347A (zh) 一种图像处理方法、终端和计算机可读存储介质
CN105491358B (zh) 一种图像处理方法及装置、终端
CN113132704B (zh) 一种图像处理的方法、装置、终端以及存储介质
WO2021093712A1 (zh) 图像处理方法和相关产品
CN108280813A (zh) 一种图像处理方法、终端及计算机可读存储介质
CN111885307A (zh) 一种景深拍摄方法、设备及计算机可读存储介质
CN108022227B (zh) 一种黑白背景照片获取方法、装置及计算机可读存储介质
CN109348137A (zh) 移动终端拍照控制方法、装置、移动终端以及存储介质
US20240119566A1 (en) Image processing method and apparatus, and electronic device
WO2022267506A1 (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN108427938A (zh) 图像处理方法、装置、存储介质和电子设备
CN111083256A (zh) 一种显示屏组件以及电子装置
CN110971822A (zh) 图片处理方法、装置、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant