CN117974523A - 一种图像增强方法、装置、设备及存储介质 - Google Patents

一种图像增强方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117974523A
CN117974523A CN202410176205.9A CN202410176205A CN117974523A CN 117974523 A CN117974523 A CN 117974523A CN 202410176205 A CN202410176205 A CN 202410176205A CN 117974523 A CN117974523 A CN 117974523A
Authority
CN
China
Prior art keywords
target
component
image
converted image
gaussian pyramid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410176205.9A
Other languages
English (en)
Inventor
程明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Comen Medical Instruments Co Ltd
Original Assignee
Shenzhen Comen Medical Instruments Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Comen Medical Instruments Co Ltd filed Critical Shenzhen Comen Medical Instruments Co Ltd
Priority to CN202410176205.9A priority Critical patent/CN117974523A/zh
Publication of CN117974523A publication Critical patent/CN117974523A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请是关于一种图像增强方法、装置、设备及存储介质，具体涉及图像处理技术领域。该方法包括：首先将目标图像从目标色彩空间转换为第一色彩空间得到转换后图像，之后对初始亮度分量进行下采样处理，获得转换后图像的高斯金字塔，基于预先优化后的Retinex算法，对该转换后图像的高斯金字塔的每一层进行亮度更新，获得更新后的高斯金字塔；并基于更新后的高斯金字塔进行拉普拉斯金字塔重建获得目标亮度分量；最后基于目标亮度分量对转换后图像进行更新，并将更新后的转换后图像转换至目标色彩空间获得增强后的目标图像。上述方案能够还原同一场景下不同分辨率的物体，既保证远景效果，又保留近景细节纹理信息，提高了图像增强的效果。

Description

一种图像增强方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像增强方法、装置、设备及存储介质。
背景技术
在医疗领域中，通常需要通过内窥镜等图像采集设备获取目标对象的体内的目标区域的实际情况，内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。
而在内窥镜采集到图像时，为了提高图像的显示效果，通常需要进行图像增强处理。Retinex算法是图像增强中的一种常用方法，它的主要目的是排除光照不均匀的影响，还原场景本身的信息(颜色和细节纹理等)。基于变分模型的方法发展得很快，虽然使用TV正则的Retinex方法能够有效地恢复具有分段常数特性的图像，但是它会经常损失一些反射信息，从而使恢复出来的图像丢失细节信息。
发明内容
本申请提供了一种图像增强方法、装置、计算机设备及存储介质，提高了图像增强的效果，该技术方案如下。
一方面，提供了一种图像增强方法，所述方法包括：
将接收到的目标图像从目标色彩空间转换为第一色彩空间，得到转换后图像，其中，所述第一色彩空间包括初始亮度分量；
对所述初始亮度分量进行下采样处理，获得所述转换后图像的高斯金字塔；
基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，获得更新后的高斯金字塔；所述预先优化后的Retinex算法中包括有反射分量弥补权重以及照度分量弥补权重；所述反射分量弥补权重作用于所述预先优化后的Retinex算法中的反射项，所述照度分量弥补权重作用于所述预先优化后的Retinex算法中的照度项；
基于所述更新后的高斯金字塔进行拉普拉斯金字塔重建，获得目标亮度分量；
基于所述目标亮度分量对所述转换后图像进行更新，并将更新后的所述转换后图像转换至所述目标色彩空间，获得增强后的目标图像。
在一种可能的实现方式中，所述基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，获得更新后的高斯金字塔，包括：
针对所述转换后图像的高斯金字塔的每一层的亮度数据，基于所述预先优化后的Retinex算法中的目标函数进行处理，得到所述转换后图像的高斯金字塔的每一层的目标反射分量以及目标照度分量；
将同一层的所述目标反射分量以及所述目标照度分量进行融合，获得更新后的高斯金字塔。
在一种可能的实现方式中，所述将同一层的所述目标反射分量以及所述目标照度分量进行融合，获得更新后的高斯金字塔，包括：
将同一层的所述目标反射分量以及所述目标照度分量相乘，获得所述转换后图像的高斯金字塔的每一层的亮度通道信息；
基于所述亮度通道信息更新所述高斯金字塔，获得所述更新后的高斯金字塔。
在一种可能的实现方式中，所述预先优化后的Retinex算法的目标函数如下：
s.t.r≤0,s≤l
其中，||·||p定义为P范数；第一项为l2范数的保真项；第二项为l1范数的反射项；第三项/>为l2范数的照度项；c1和c2是大于零的参数，s＝log(S),r＝log(R)和l＝log(L)；S为亮度分量、R为反射分量、L为照度分量；er为反射分量弥补权重；el为照度分量弥补权重；/>为反射分量的梯度；/>为照度分量的梯度。
在一种可能的实现方式中，所述基于所述目标亮度分量对所述转换后图像进行更新，包括：
通过所述目标亮度分量替换所述转换后图像中的初始亮度分量，获得更新后的转换后图像。
在一种可能的实现方式中，所述基于所述目标亮度分量对所述转换后图像进行更新，包括：
将所述转换后图像的初始亮度分量与所述目标亮度分量按照目标权重进行累加，获得更新后的转换后图像。
在一种可能的实现方式中，所述目标色彩空间为RGB空间；
所述第一色彩空间为HSV、HSI和YCbCr空间中的至少一者。
又一方面，提供了一种图像增强装置，所述装置包括：
转换后图像获取模块，用于将接收到的目标图像从目标色彩空间转换为第一色彩空间，得到转换后图像，其中，所述第一色彩空间包括初始亮度分量；
下采样模块，用于对所述初始亮度分量进行下采样处理，获得所述转换后图像的高斯金字塔；
亮度更新模块，用于基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，获得更新后的高斯金字塔；所述预先优化后的Retinex算法中包括有反射分量弥补权重以及照度分量弥补权重；所述反射分量弥补权重作用于所述预先优化后的Retinex算法中的反射项，所述照度分量弥补权重作用于所述预先优化后的Retinex算法中的照度项；
金字塔重建模块，用于基于所述更新后的高斯金字塔进行拉普拉斯金字塔重建，获得目标亮度分量；
增强后的目标图像获取模块，用于基于所述目标亮度分量对所述转换后图像进行更新，并将更新后的转换后图像转换至所述目标色彩空间，获得增强后的目标图像。
在一种可能的实现方式中，所述亮度更新模块，还包括：
分量获取单元，用于针对所述转换后图像的高斯金字塔的每一层的亮度数据，基于所述预先优化后的Retinex算法中的目标函数进行处理，得到所述转换后图像的高斯金字塔的每一层的目标反射分量以及目标照度分量；
分量融合单元，用于将同一层的所述目标反射分量以及所述目标照度分量进行融合，获得更新后的高斯金字塔。
在一种可能的实现方式中，所述分量融合单元，还包括：
高斯金字塔更新子单元，还用于将同一层的所述目标反射分量以及所述目标照度分量相乘，获得所述转换后图像的高斯金字塔的每一层的亮度通道信息；
基于所述亮度通道信息更新所述高斯金字塔，获得所述更新后的高斯金字塔。
在一种可能的实现方式中，所述Retinex算法的目标函数如下：
s.t.r≤0,s≤l
其中，||·||p定义为P范数；第一项为l2范数的保真项；第二项为l1范数的反射项；第三项/>为l2范数的照度项；c1和c2是大于零的参数，s＝log(S),r＝log(R)和l＝log(L)；S为亮度分量、R为反射分量、L为照度分量；er为反射分量弥补权重；el为照度分量弥补权重；/>为反射分量的梯度；/>为照度分量的梯度。
在一种可能的实现方式中，所述增强后的目标图像获取模块，还包括：
第一替换单元，用于通过所述目标亮度分量替换所述转换后图像中的初始亮度分量，获得更新后的转换后图像。
在一种可能的实现方式中，所述增强后的目标图像获取模块705，还包括：
第二替换单元，还用于将所述转换后图像的初始亮度分量与所述目标亮度分量按照目标权重进行累加，获得更新后的转换后图像。
在一种可能的实现方式中，所述目标色彩空间为RGB空间；
所述第一色彩空间为HSV、HSI和YCbCr空间中的至少一者。
再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的图像增强方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的图像增强方法。
再一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述图像增强方法。
本申请提供的技术方案可以包括以下有益效果：
在本申请中，当采集到目标色彩空间中的目标图像时，可以先将目标图像转换至具有亮度分量的第一色彩空间得到转换后图像；此时再根据转换后图像构建出高斯金字塔，基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，得到更新后的高斯金字塔，并基于更新后的高斯金字塔进行拉普拉斯金字塔重建，得到目标亮度分量，此时根据目标亮度分量可以对转换后图像进行更新，最后将更新后的转换后图像转换到目标色彩空间。本方案能够通过对Retinex算法进行改进，利用不同尺度的信息，以提高对同一场景下不同分辨率物体进行还原的准确性，在保证远景效果的同时保留近景细节纹理信息，从而提高了图像增强的效果。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种图像采集系统的结构示意图。
图2是根据一示例性实施例示出的一种图像增强方法的流程示意图。
图3是根据一示例性实施例示出的又一种图像增强方法的流程示意图。
图4是根据一示例性实施例示出的另一种图像增强方法的流程示意图。
图5是根据一示例性实施例示出的再一种图像增强方法的流程示意图。
图6示出了本申请实施例的算法流程图。
图7是根据一示例性实施例示出的一种图像增强装置的结构方框图。
图8示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。
在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
本申请实施例中，“预定义”可以通过在设备(例如，包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。
图1是根据一示例性实施例示出的一种图像采集系统的结构示意图。如图1所示，在该图像采集系统中包括计算机设备110以及图像采集设备120；
可选的，该图像采集设备120可以是内窥镜。内窥镜通常采集到的是人体内部组织的图像，当内窥镜采集到图像后可以将该图像传输至计算机设备110进行处理。
由于内窥镜通常采集到的是人体内部组织的图像，由于采集环境以及采集目标的影响，内窥镜直接采集到的图像通常很难直接辨认出人体内部组织的情况，此时计算机设备110在接收到内窥镜采集到的图像后，可以对采集到的图像进行图像增强处理。
例如由于内窥镜在人体内部对人体内部组织进行采集时，人体内部的光照不均匀，因此内窥镜采集到的信息会受到光照不均匀的干扰，此时计算机设备可以采用Retinex算法对内窥镜采集到的图像进行处理，从而尽可能排出光照不均匀的影响，还原场景本身的信息。
可选的，该计算机设备可以是具有图像显示组件的计算机设备，例如PC(PersonalComputer，个人电脑)，此时计算机设备在获取到内窥镜采集到的图像时，可以将该内窥镜采集到的图像通过图像显示组件展示。
进一步的，计算机设备还可以对该内窥镜采集到的图像进行图像增强处理，并将增强后的图像通过图像显示组件展示。
可选的，计算机设备可在获取到内窥镜采集到的图像时，先通过图像显示组件展示，此时图像显示组件中还包括有图像增强控件，当用户无法对内窥镜采集到的图像进行辨认时，则通过对图像增强控件的触发操作，控制计算机设备对内窥镜采集到的图像进行图像增强处理。
可选的，该计算机设备还可以是具有较强计算性能的服务器，当该内窥镜采集到图像后，可以直接发送至服务器进行图像增强处理，服务器再将增强处理后的图像发送至图像显示设备以进行彩色图像的显示。
可选的，上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。
可选的，该系统还可以包括管理设备，该管理设备用于对该系统进行管理(如管理各个模块与服务器之间的连接状态等)，该管理设备与服务器之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，但也可以是其他任何网络，包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
在本发明实施例中，图2是根据一示例性实施例示出的一种图像增强方法的流程示意图。该方法由如图1所示的图像增强系统中的计算机设备执行。如图2所示，该图像增强方法可以包括如下步骤：
步骤201，将接收到的目标图像从目标色彩空间转换为第一色彩空间，得到转换后图像，其中，该第一色彩空间包括初始亮度分量。
可选的，该目标色彩空间可以是RGB空间、CMY/CMYK颜色空间、HSV/HSB颜色空间、Lab颜色空间中的任一者。
优选的，在本申请实施例中，该目标色彩空间为RGB空间。即目标图像是在RGB空间中展示的，以具有更好的显示效果。但当需要对目标图像进行处理时，可以先将目标图像转换至其他色彩空间进行处理，待处理完成后再转换至RGB空间展示。
当获取到目标色彩空间中的目标图像后，可以先将目标色彩空间转换至第一色彩空间，获得第一色彩空间中的转换后图像，且第一色彩空间为包括亮度分量的色彩空间，例如该第一色彩空间可以是CMY/CMYK颜色空间、HSV/HSB颜色空间、Lab颜色空间中的任一者，上述色彩空间都具有亮度分量。
当将目标图像转换至第一色彩空间后，可以使得转换后图像必然有亮度分量，以便后续的图像增强过程可以对图像的亮度分量进行调节。
步骤202，对该初始亮度分量进行下采样处理，获得该转换后图像的高斯金字塔。
当获取到转换后图像中的亮度分量时，可以对转换后图像中的亮度分量进行连续多次下采样处理，从而获得各个不同层次(也就是不同分辨率)的高斯金字塔。高斯金字塔(Gaussian Pyramid)的本质是信号的多尺度表示法，即将同图片多次进行高斯模糊，并向下取样，以产生不同尺度下的多组图片，以便进行后续处理。高斯金字塔的理论基础是尺度空间理论，其构建过程如下：首先将图像扩大一倍，在扩大的图像基础上构建高斯金字塔，然后对尺寸下图像进行高斯模糊，几幅模糊之后的图像集合构成了一个八度，然后对该八度下的最模糊的一幅图像进行下采样的过程，长和宽分别缩短一倍，图像面积变为原来四分之一。本实施例中的转换后图像的高斯金字塔至少包括两层，每层对应不同的分辨率，通过高斯金字塔可以将原始图像的细节和噪声逐渐抽象化，使图像的特征更加突出和易于识别，其下采样减少了像素的数量，从而降低了图像的复杂性，使得图像处理和分析更加高效。
步骤203，基于预先优化后的Retinex算法，对该转换后图像的高斯金字塔的每一层进行亮度更新，获得更新后的高斯金字塔；该预先优化后的Retinex算法中包括有反射分量弥补权重以及照度分量弥补权重；该反射分量弥补权重作用于该预先优化后的Retinex算法中的反射项，该照度分量弥补权重作用于该预先优化后的Retinex算法中的照度项。
此时计算机设备可以基于预先优化后的Retinex算法，对高斯金字塔中的至少两层分别进行亮度更新，从而对高斯金字塔中不同尺度的图像特征进行了优化，排除了光照不均匀的影响。其中，由于对数变换会放大在某些范围内的误差，因此原始的Retinex算法的反射部分会在实际操作后的结果中丢失一些细节，预先优化后的Retinex算法加入了新的权重(反射分量弥补权重以及照度分量弥补权重)来抵消这部分的影响。
步骤204，基于该更新后的高斯金字塔进行拉普拉斯金字塔重建，获得目标亮度分量。
在对高斯金字塔中的至少两层进行更新后，则可以通过拉普拉斯重建的方式将不同尺度的亮度分量融合起来，从而得到最终的目标亮度分量。
步骤205，基于该目标亮度分量对该转换后图像进行更新，并将更新后的转换后图像转换至该目标色彩空间，获得增强后的目标图像。
在获取到最终的目标亮度分量时，由于目标亮度分量是通过不同尺度的亮度分量分别通过预先优化后的Retinex算法进行图像增强处理后得到的，因此目标亮度分量可以同时考虑到不同尺度的亮度特征，通过该目标亮度分量对该转换后图像进行更新，能够更加贴切地还原同一场景下不同分辨率的物体，既保证远景效果，又保留近景细节纹理信息，提高了图像增强的效果。
综上所述，在本申请中，当采集到目标色彩空间中的目标图像时，可以先将目标图像转换至具有亮度分量的第一色彩空间得到转换后图像；此时再根据转换后图像构建出高斯金字塔，基于预先优化后的Retinex算法，对该转换后图像的高斯金字塔的每一层进行亮度更新，得到更新后的高斯金字塔，并基于更新后的高斯金字塔进行拉普拉斯金字塔重建，得到目标亮度分量，此时根据目标亮度分量可以对转换后图像进行更新，最后将更新后的转换后图像转换到目标色彩空间。本方案能够通过对Retinex算法进行改进，利用不同尺度的信息，以提高对同一场景下不同分辨率物体进行还原的准确性，在保证远景效果的同时保留近景细节纹理信息，从而提高了图像增强的效果。
在一种可选的实施方式中，图3是根据一示例性实施例示出的又一种图像增强方法的流程示意图。该方法由如图1所示的图像增强系统中的计算机设备执行。如图3所示，该图像增强方法可以包括如下步骤：
步骤301，针对该转换后图像的高斯金字塔的每一层的亮度数据，基于该预先优化后的Retinex算法中的目标函数进行处理，得到该转换后图像的高斯金字塔的每一层的目标反射分量以及目标照度分量。
在另一种可选的实施方式中，该预先优化后的Retinex算法的目标函数如下：
s.t.r≤0,s≤l
其中，||·||p定义为P范数；第一项为l2范数的保真项；第二项为l1范数的反射项；第三项/>为l2范数的照度项；c1和c2是大于零的参数，s＝log(S),r＝log(R)和l＝log(L)；S为亮度分量、R为反射分量、L为照度分量；er为反射分量弥补权重；el为照度分量弥补权重；/>为反射分量的梯度；/>为照度分量的梯度。
具体的，传统的Retinex模型的目标函数可以简单写为如下形式：
s.t.r≤0,s≤l；
其中，s＝log(S),r＝log(R)和l＝log(L)。因为对数变换与人类对光强度的感知是相符合的，所以用对数变换来定义保真项是合理的，但是对l和r的约束就有待商榷，因为对数变换会放大在某些范围内的误差。具体来说，对于一个目标信号x，它的梯度表示为/>则它在对数域中表示为/>可以看到，当x非常小时，对数域中的/>受到权重1/x高度影响，所以当罚项中使用了/>它不可避免地在量级大区域中的变分项上占据主导地位。这使得想要在这样的区域恢复出细节部分变得十分困难。
根据上面的描述可以知道，反射部分会在实际操作后的结果中丢失一些好的细节的原因就是中的权重1/x，因此，本申请对上述传统的Retinex模型进行优化，提出了上述预先优化后的Retinex模型的函数模型：为了最小化E(r,l)，第一项是L2范数的保真项，目的是最小化估计到的(r+l)和观测到的图像s之间的距离；第二项反射项/>是TV正则项，目的是保证分段常数的约束；第三项照度项保证了照度上的空间平滑性。注意到，/>和/>分别添加了权重er和e1来消除1/R和1/L的各自影响。
在本申请实施例中，可以采用ADMM算法迭代求解本申请实施例示出的预先优化后的Retinex算法，从而得到新的目标反射分量以及目标照度分量。由于上述算法是分别对高斯金字塔的每一层的亮度数据进行处理的，因此高斯金字塔的每一层都有对应的目标反射分量以及目标照度分量。
步骤302，将同一层的该目标反射分量以及该目标照度分量进行融合，获得更新后的高斯金字塔。
在另一种可选的实施方式中，上述步骤302包括：将同一层的该目标反射分量以及该目标照度分量相乘，获得该转换后图像的高斯金字塔的每一层的亮度通道信息；
基于该亮度通道信息更新该高斯金字塔，获得该更新后的高斯金字塔。
在获取到高斯金字塔的每一层分别对应的目标反射分量以及目标照度分量后，按照s＝l·r的相乘方式融合成高斯金字塔的每一层的亮度通道信息，形成更新后的高斯金字塔。在形成更新后的高斯金字塔后，基于该更新后的高斯金字塔进行拉普拉斯金字塔重建，得到目标亮度分量。其中，拉普拉斯金字塔重建用于描述高斯金字塔每层操作后丢失的高频信息，在高斯金字塔的构建过程中，图像经过高斯滤波和下采样后会丢失部分高频信息，拉普拉斯金字塔则通过分析这些丢失的高频信息，以及原始图像与高斯金字塔之间的差异，来重建原始的高斯金字塔。
综上所述，在本申请中，当采集到目标色彩空间中的目标图像时，可以先将目标图像转换至具有亮度分量的第一色彩空间得到转换后图像；此时再根据转换后图像构建出高斯金字塔，基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，得到更新后的高斯金字塔，并基于更新后的高斯金字塔进行拉普拉斯金字塔重建，得到目标亮度分量，此时根据目标亮度分量可以对转换后图像进行更新，最后将更新后的转换后图像转换到目标色彩空间。本方案能够通过对Retinex算法进行改进，利用不同尺度的信息，以提高对同一场景下不同分辨率物体进行还原的准确性，在保证远景效果的同时保留近景细节纹理信息，从而提高了图像增强的效果。
在一种可选的实施方式中，图4是根据一示例性实施例示出的另一种图像增强方法的流程示意图。该方法由如图1所示的图像增强系统中的计算机设备执行。如图4所示，该图像增强方法可以包括如下步骤：
步骤401，通过该目标亮度分量替换该转换后图像中的初始亮度分量，获得更新后的转换后图像。
可选的，将该转换后图像中的初始亮度分量替换为该目标亮度分量，获得更新后的转换后图像。
综上所述，在本申请中，当采集到目标色彩空间中的目标图像时，可以先将目标图像转换至具有亮度分量的第一色彩空间得到转换后图像；此时再根据转换后图像构建出高斯金字塔，基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，得到更新后的高斯金字塔，并基于更新后的高斯金字塔进行拉普拉斯金字塔重建，得到目标亮度分量，此时根据目标亮度分量可以对转换后图像进行更新，最后将更新后的转换后图像转换到目标色彩空间。本方案能够通过对Retinex算法进行改进，利用不同尺度的信息，以提高对同一场景下不同分辨率物体进行还原的准确性，在保证远景效果的同时保留近景细节纹理信息，从而提高了图像增强的效果。
在一种可选的实施方式中，图5是根据一示例性实施例示出的再一种图像增强方法的流程示意图。该方法由如图1所示的图像增强系统中的计算机设备执行。如图5所示，该图像增强方法可以包括如下步骤：
步骤501，将该转换后图像的初始亮度分量与该目标亮度分量按照目标权重进行累加，获得更新后的转换后图像。
可选的，将该转换后图像的初始亮度分量与该目标亮度分量按照目标权重进行累加，实现对初始亮度分量的部分替换，从而获得更新后的转换后图像。
综上所述，在本申请中，当采集到目标色彩空间中的目标图像时，可以先将目标图像转换至具有亮度分量的第一色彩空间得到转换后图像；此时再根据转换后图像构建出高斯金字塔，基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，得到更新后的高斯金字塔，并基于更新后的高斯金字塔进行拉普拉斯金字塔重建，得到目标亮度分量，此时根据目标亮度分量可以对转换后图像进行更新，最后将更新后的转换后图像转换到目标色彩空间。本方案能够通过对Retinex算法进行改进，利用不同尺度的信息，以提高对同一场景下不同分辨率物体进行还原的准确性，在保证远景效果的同时保留近景细节纹理信息，从而提高了图像增强的效果。
请参考图6，其示出了本申请实施例的算法流程图，如图6所示，本发明的详细步骤如下：
1)输入图像：输入为RGB彩色图像，数值范围为0～255整型。
2)颜色空间转换：将RGB颜色空间的图像转换到其他亮度和色度分离的空间，常用的有HSV，HSI和YCbCr等等，本发明均适用，在这里用HSV空间举例，其中H代表色相，S代表饱和度，V代表明度，也就是亮度值大小。
3)建立高斯金字塔：通过下采样将原图映射到不同分辨率下，这里使用4层的高斯金字塔，层数多效果会好，但是计算量也同步上升。建立高斯金字塔的过程可以使用普适性的方法，也可以简单地对图像做块均值处理，然后隔行隔列进行下采样进行处理，或者使用双边滤波或者引导滤波代替高斯滤波，能达到更好的效果。
4)Retinex算法
具体的Retinex算法参考本申请实施例前述部分，此处不再赘述。
5)融合成原始分辨率图像：得到每层新的反射和照度分量后，按照s＝l·r的方式融合成亮度通道，然后进行拉普拉斯金字塔重建，得到最终的V通道图像，即原始分辨率图像。
6)颜色空间转换：把更新后的V通道替换掉原来的，组成新的HSV空间，然后转化回RGB空间，就为我们最终得到的输出结果。
综上所述，在本申请中，当采集到目标色彩空间中的目标图像时，可以先将目标图像转换至具有亮度分量的第一色彩空间得到转换后图像；此时再根据转换后图像构建出高斯金字塔，基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，得到更新后的高斯金字塔，并基于更新后的高斯金字塔进行拉普拉斯金字塔重建，得到目标亮度分量，此时根据目标亮度分量可以对转换后图像进行更新，最后将更新后的转换后图像转换到目标色彩空间。本方案能够通过对Retinex算法进行改进，利用不同尺度的信息，以提高对同一场景下不同分辨率物体进行还原的准确性，在保证远景效果的同时保留近景细节纹理信息，从而提高了图像增强的效果。
图7是根据一示例性实施例示出的一种图像增强装置的结构方框图。
该装置包括：
该装置包括：
转换后图像获取模块701，用于将接收到的目标图像从目标色彩空间转换为第一色彩空间，得到转换后图像，其中，该第一色彩空间包括初始亮度分量；
下采样模块702，用于对该初始亮度分量进行下采样处理，获得该转换后图像的高斯金字塔；
亮度更新模块703，用于基于预先优化后的Retinex算法，对该转换后图像的高斯金字塔的每一层进行亮度更新，获得更新后的高斯金字塔；该预先优化后的Retinex算法中包括有反射分量弥补权重以及照度分量弥补权重；该反射分量弥补权重作用于该预先优化后的Retinex算法中的反射项，该照度分量弥补权重作用于该预先优化后的Retinex算法中的照度项；
金字塔重建模块704，用于基于该更新后的高斯金字塔进行拉普拉斯金字塔重建，获得目标亮度分量；
增强后的目标图像获取模块705，用于基于该目标亮度分量对该转换后图像进行更新，并将更新后的转换后图像转换至该目标色彩空间，获得增强后的目标图像。
在一种可能的实现方式中，该亮度更新模块703，还包括：
分量获取单元，用于针对该转换后图像的高斯金字塔的每一层的亮度数据，基于该预先优化后的Retinex算法中的目标函数进行处理，得到该转换后图像的高斯金字塔的每一层的目标反射分量以及目标照度分量；
分量融合单元，用于将同一层的该目标反射分量以及该目标照度分量进行融合，获得更新后的高斯金字塔。
在一种可能的实现方式中，该分量融合单元，还包括：
高斯金字塔更新子单元，还用于将同一层的该目标反射分量以及该目标照度分量相乘，获得该转换后图像的高斯金字塔的每一层的亮度通道信息；
基于该亮度通道信息更新该高斯金字塔，获得该更新后的高斯金字塔。
在一种可能的实现方式中，该Retinex算法的目标函数如下：
s.t.r≤0,s≤l
其中，||·||p定义为P范数；第一项为l2范数的保真项；第二项为l1范数的反射项；第三项/>为l2范数的照度项；c1和c2是大于零的参数，s＝log(S),r＝log(R)和l＝log(L)；S为亮度分量、R为反射分量、L为照度分量；er为反射分量弥补权重；el为照度分量弥补权重；/>为反射分量的梯度；/>为照度分量的梯度。
在一种可能的实现方式中，该增强后的目标图像获取模块705，还包括：
第一替换单元，用于通过该目标亮度分量替换该转换后图像中的初始亮度分量，获得更新后的转换后图像。
在一种可能的实现方式中，该增强后的目标图像获取模块705，还包括：
第二替换单元，还用于将该转换后图像的初始亮度分量与该目标亮度分量按照目标权重进行累加，获得更新后的转换后图像。
在一种可能的实现方式中，该目标色彩空间为RGB空间；
该第一色彩空间为HSV、HSI和YCbCr空间中的至少一者。
综上所述，在本申请中，当采集到目标色彩空间中的目标图像时，可以先将目标图像转换至具有亮度分量的第一色彩空间得到转换后图像；此时再根据转换后图像构建出高斯金字塔，基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，得到更新后的高斯金字塔，并基于更新后的高斯金字塔进行拉普拉斯金字塔重建，得到目标亮度分量，此时根据目标亮度分量可以对转换后图像进行更新，最后将更新后的转换后图像转换到目标色彩空间。本方案能够通过对Retinex算法进行改进，利用不同尺度的信息，以提高对同一场景下不同分辨率物体进行还原的准确性，在保证远景效果的同时保留近景细节纹理信息，从而提高了图像增强的效果。
图8示出了本申请一示例性实施例示出的计算机设备800的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备800包括中央处理单元801(Central Processing Unit，CPU)、包括随机存取存储器(Random Access Memory，RAM)802和只读存储器(Read-Only Memory，ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括用于存储操作系统809、应用程序810和其他程序模块811的大容量存储设备806。
所述大容量存储设备806通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备806及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说，所述大容量存储设备806可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备806可以统称为存储器。
根据本公开的各种实施例，所述计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在所述系统总线805上的网络接口单元807连接到网络808，或者说，也可以使用网络接口单元807来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条计算机程序，所述至少一条计算机程序存储于存储器中，中央处理单元801通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像增强方法，其特征在于，所述方法包括：
将接收到的目标图像从目标色彩空间转换为第一色彩空间，得到转换后图像，其中，所述第一色彩空间包括初始亮度分量；
对所述初始亮度分量进行下采样处理，获得所述转换后图像的高斯金字塔；
基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，获得更新后的高斯金字塔；所述预先优化后的Retinex算法中包括有反射分量弥补权重以及照度分量弥补权重；所述反射分量弥补权重作用于所述预先优化后的Retinex算法中的反射项，所述照度分量弥补权重作用于所述预先优化后的Retinex算法中的照度项；
基于所述更新后的高斯金字塔进行拉普拉斯金字塔重建，获得目标亮度分量；
基于所述目标亮度分量对所述转换后图像进行更新，并将更新后的所述转换后图像转换至所述目标色彩空间，获得增强后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，获得更新后的高斯金字塔，包括：
针对所述转换后图像的高斯金字塔的每一层的亮度数据，基于所述预先优化后的Retinex算法中的目标函数进行处理，得到所述转换后图像的高斯金字塔的每一层的目标反射分量以及目标照度分量；
将同一层的所述目标反射分量以及所述目标照度分量进行融合，获得更新后的高斯金字塔。
3.根据权利要求2所述的方法，其特征在于，所述将同一层的所述目标反射分量以及所述目标照度分量进行融合，获得更新后的高斯金字塔，包括：
将同一层的所述目标反射分量以及所述目标照度分量相乘，获得所述转换后图像的高斯金字塔的每一层的亮度通道信息；
基于所述亮度通道信息更新所述高斯金字塔，获得所述更新后的高斯金字塔。
4.根据权利要求2所述的方法，其特征在于，所述预先优化后的Retinex算法的目标函数如下：
s.t.r≤0,s≤l
其中，||·||p定义为P范数；第一项为l2范数的保真项；第二项/>为l1范数的反射项；第三项/>为l2范数的照度项；c1和c2是大于零的参数，s＝log(S),r＝log(R)和l＝log(L)；S为亮度分量、R为反射分量、L为照度分量；er为反射分量弥补权重；el为照度分量弥补权重；/>为反射分量的梯度；/>为照度分量的梯度。
5.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述目标亮度分量对所述转换后图像进行更新，包括：
通过所述目标亮度分量替换所述转换后图像中的初始亮度分量，获得更新后的转换后图像。
6.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述目标亮度分量对所述转换后图像进行更新，包括：
将所述转换后图像的初始亮度分量与所述目标亮度分量按照目标权重进行累加，获得更新后的转换后图像。
7.根据权利要求1至4任一所述的方法，其特征在于，所述目标色彩空间为RGB空间；
所述第一色彩空间为HSV、HSI和YCbCr空间中的至少一者。
8.一种图像增强装置，其特征在于，所述装置包括：
转换后图像获取模块，用于将接收到的目标图像从目标色彩空间转换为第一色彩空间，得到转换后图像，其中，所述第一色彩空间包括初始亮度分量；
下采样模块，用于对所述初始亮度分量进行下采样处理，获得所述转换后图像的高斯金字塔；
亮度更新模块，用于基于预先优化后的Retinex算法，对所述转换后图像的高斯金字塔的每一层进行亮度更新，获得更新后的高斯金字塔；所述预先优化后的Retinex算法中包括有反射分量弥补权重以及照度分量弥补权重；所述反射分量弥补权重作用于所述预先优化后的Retinex算法中的反射项，所述照度分量弥补权重作用于所述预先优化后的Retinex算法中的照度项；
金字塔重建模块，用于基于所述更新后的高斯金字塔进行拉普拉斯金字塔重建，获得目标亮度分量；
增强后的目标图像获取模块，用于基于所述目标亮度分量对所述转换后图像进行更新，并将更新后的转换后图像转换至所述目标色彩空间，获得增强后的目标图像。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现权利要求1-7中任一项所述的图像增强方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现权利要求1-7中任一项所述的图像增强方法。
CN202410176205.9A 2024-02-07 2024-02-07 一种图像增强方法、装置、设备及存储介质 Pending CN117974523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410176205.9A CN117974523A (zh) 2024-02-07 2024-02-07 一种图像增强方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410176205.9A CN117974523A (zh) 2024-02-07 2024-02-07 一种图像增强方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117974523A true CN117974523A (zh) 2024-05-03

Family

ID=90851345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410176205.9A Pending CN117974523A (zh) 2024-02-07 2024-02-07 一种图像增强方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117974523A (zh)

Similar Documents

Publication Publication Date Title
US9412171B2 (en) Adaptive multi-dimensional data decomposition
US20240062530A1 (en) Deep perceptual image enhancement
CN110675336A (zh) 一种低照度图像增强方法及装置
Yakhdani et al. Quality assessment of image fusion techniques for multisensor high resolution satellite images (case study: IRS-P5 and IRS-P6 satellite images)
KR102261532B1 (ko) 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법
Liang et al. Retinex by higher order total variation L 1 decomposition
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
KR101821285B1 (ko) 열화상 이미지 개선 장치 및 방법
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
KR102095443B1 (ko) 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
JP7212554B2 (ja) 情報処理方法、情報処理装置、及びプログラム
Chen et al. Blind quality index for tone-mapped images based on luminance partition
Vazquez-Corral et al. A fast image dehazing method that does not introduce color artifacts
Vijayalakshmi et al. A strategic approach towards contrast enhancement by two-dimensional histogram equalization based on total variational decomposition
EP1969526A2 (en) Determining intensity similarity in low-light conditions using the poisson-quantization noise model
Che Aminudin et al. Video surveillance image enhancement via a convolutional neural network and stacked denoising autoencoder
CN117916765A (zh) 用于去噪和低精度图像处理的非线性图像强度变换的系统和方法
CN113554739A (zh) 重光照图像的生成方法、装置及电子设备
Mandal et al. FuzzyCIE: fuzzy colour image enhancement for low-exposure images
CN117152182B (zh) 一种超低照度网络相机图像处理方法、装置及电子设备
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
Tan et al. A simple gray-edge automatic white balance method with FPGA implementation
Tao et al. MTIE-Net: Multi-technology fusion of low-light image enhancement network
CN117974523A (zh) 一种图像增强方法、装置、设备及存储介质
Livingston et al. Image processing for human understanding in low-visibility

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination