CN111667430A - 图像的处理方法、装置、设备以及存储介质 - Google Patents
图像的处理方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN111667430A CN111667430A CN202010516466.2A CN202010516466A CN111667430A CN 111667430 A CN111667430 A CN 111667430A CN 202010516466 A CN202010516466 A CN 202010516466A CN 111667430 A CN111667430 A CN 111667430A
- Authority
- CN
- China
- Prior art keywords
- information
- sub
- gain
- original image
- subband
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 104
- 238000013507 mapping Methods 0.000 claims abstract description 97
- 230000001629 suppression Effects 0.000 claims abstract description 64
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 53
- 238000007906 compression Methods 0.000 claims abstract description 32
- 230000006835 compression Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 28
- 230000005764 inhibitory process Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像的处理方法、装置、设备以及存储介质，通过对原始图像进行多尺度分解，得到n个子频带信息，并根据预设的三维增益映射图和n个子频带信息，得到与每个子频带信息对应的增益抑制地图，再根据增益抑制地图，在n个子频带中对原始图像进行像素压缩处理，得到与原始图像尺寸相同的低动态范围图像，其中，三维增益映射图是根据n个子频带信息中的部分子频带信息对应的增益映射曲线确定的，不需要获取每个子频带信息的增益映射曲线，提高了图像处理的效率。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像的处理方法、装置、设备以及存储介质。
背景技术
随着影像设备的不断发展，高动态范围成像技术因其能够获取更大亮度范围、更广色域、更大比特深度的高动态范围图像，而得到越来越广泛的应用，那么如何将高动态范围图像转换为能够被显示的低动态范围图像得到越来越多的关注。
在现有技术中，针对高动态范围图像，在梯度域对图像信息的梯度幅值进行幅值抑制，再根据抑制处理后的梯度信息，采用泊松方程，求解得到处理后的图像信息，即得到低动态范围图像。
然而，进行梯度幅值的抑制处理以及求解泊松方程，均会带来较大的运算能力消耗，导致获取低动态范围图像的实时性较差，对于实时性要求较高的应用场景很难适用。
发明内容
本申请提供一种图像的处理方法、装置、设备以及存储介质，能够简化对高动态范围图像的处理过程，提高处理效率，实现低动态范围图像的实时获取。
第一方面，本申请实施例提供一种图像的处理方法，所述方法包括：
对原始图像进行多尺度分解，得到n个子频带信息，n为正整数；
根据三维增益映射图和所述n个子频带信息，得到与每个子频带信息对应的增益抑制地图；
根据所述增益抑制地图，在所述n个子频带中对所述原始图像进行像素压缩处理，得到与所述原始图像尺寸相同的低动态范围图像
其中，所述三维增益映射图包括与n个子频带信息对应的n个增益映射曲线，所述n个增益映射曲线为预先根据n个子频带信息中的部分子频带信息对应的增益映射曲线确定的，所述增益映射曲线用于表示像素值与增益数值的对应关系；所述增益抑制地图用于表示任一子频带信息中与每个像素点对应的增益数值。
在一种具体的实现方式中，在所述根据预设的三维增益映射图，在所述n个子频带中对所述原始图像进行像素压缩处理，得到与所述原始图像尺寸相同的低动态范围图像之前，所述方法还包括：
确定所述m个子频带信息中每个子频带信息对应的的增益映射曲线；所述m个子频带信息为按照预设频率从所述n个子频带信息中选出的子频带信息，m为小于n的正整数；
根据所述m个子频带信息对应的增益映射曲线，通过插值处理，得到三维增益映射图。
在一种具体的实现方式中，所述确定所述m个子频带中的每个子频带对应的增益映射曲线，包括：
接收用户针对m个子频带中的每个子频带输入的多个像素值对应的增益数值；
根据所述多个像素值对应的增益数值，得到所述子频带的增益映射曲线。
可选的，所述对原始图像进行多尺度分解，得到n个子频带信息，包括：
采用高斯-拉普拉斯金字塔对所述原始图像进行多尺度分解，得到所述n个子频带信息。
可选的，所述对原始图像进行多尺度分解，得到n个子频带信息，包括：
采用小波变换对所述原始图像进行多尺度分解，得到所述n个子频带信息。
在一种具体的实现方式中，所述采用高斯-拉普拉斯金字塔对所述原始图像进行多尺度分解，得到所述n个子频带信息，包括：
对所述原始图像进行下采样，得到第1层的子频带信息；
对所述第1层的子频带信息进行上采样，并将经过上采样的子频带信息与所述原始图像进行求差运算，得到第1层的残差信息；
将所述第1层的子频带信息作为原始图像，重复执行分解过程，直至所述下采样至预设的层数或者子频带信息无法进行下采样时，结束所述多尺度分解过程，并得到n个子频带信息和n个残差信息。
在一种具体的实现方式中，所述根据预设的三维增益映射图和所述n个子频带信息，得到与每个子频带信息对应的增益抑制地图，包括：
对每个子频带信息进行绝对值取值，得到每个像素点的绝对值信息；
根据所述绝对值信息，在与所述子频带信息对应的增益映射曲线中进行查找，得到与所述子频带信息对应的增益抑制地图。
可选的，在所述根据所述绝对值信息，在与所述子频带信息对应的增益映射曲线中进行查找，得到与所述子频带信息的对应的增益抑制地图之前，所述方法还包括：
通过高斯滤波器，对所述绝对值信息进行低通滤波。
在一种具体的实现方式中，所述根据所述增益抑制地图，在所述n个子频带中对所述原始图像进行像素压缩处理，得到与所述原始图像尺寸相同的低动态范围图像，包括：
根据与第n层的子频带信息对应的增益抑制地图，对所述子频带信息进行像素压缩处理；
将处理后的第n层的子频带信息与第n层的残差信息进行求和运算，得到第n-1层的子带抑制信息；
根据与第n-1层的子频带信息对应的增益抑制地图，对所述第n-1层的子带抑制信息进行像素压缩处理；将处理后的第n-1层的子带抑制信息与第n-1层的残差信息进行求和运算，得到第n-2层的子带抑制信息；重复执行本步骤，直至对第1层的子带抑制信息完成本步骤，得到与所述原始图像尺寸相同的低动态范围图像。
可选的，所述对所述第1层子频带信息进行上采样，包括：
对所述子频带信息进行插值处理，所述插值处理包括在每两个像素间插入0、线性插值、双三次插值以及临近像素复制中的任意一种。
第二方面，本申请实施例提供一种图像的处理装置，包括：
多尺度分解模块，用于对原始图像进行多尺度分解，得到n个子频带信息，n为正整数；
增益确定模块，用于根据三维增益映射图和所述n个子频带信息，得到与每个子频带信息对应的增益抑制地图；
增益抑制模块，用于根据所述增益抑制地图，在所述n个子频带中对所述原始图像进行像素压缩处理，得到与所述原始图像尺寸相同的低动态范围图像；
其中，所述三维增益映射图包括与n个子频带信息对应的n个增益映射曲线，所述n个增益映射曲线为预先根据n个子频带信息中的部分子频带信息对应的增益映射曲线确定的，所述增益映射曲线用于表示像素值与增益数值的对应关系；所述增益抑制地图用于表示任一子频带信息中与每个像素点对应的增益数值。
第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如第一方面所述的图像的处理方法。
第四方面，本申请实施例提供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现第一方面所述的图像的处理方法。
本申请实施例提供的图像的处理方法、装置、设备以及存储介质，通过对原始图像进行多尺度分解，并在每个尺度中对原始图像进行像素压缩处理，达到细粒度的处理效果，避免处理得到的低动态范围图像失真，并且不需要根据每个子频带信息均获取一次增益映射曲线，而是根据其中的部分子频带信息获取与每个子频带信息对应的增益映射曲线，提高了图像处理的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种电子设备示意图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的一种图像处理方法的流程示意图；
图4为本申请实施例提供的一种图像处理方法的流程示意图；
图5为本申请实施例提供的一种图像处理方法的流程示意图；
图6为本申请实施例提供的一种基于高斯-拉普拉斯金字塔的图像分解方法的流程示意图；
图7为本申请实施例提供的一种基于高斯-拉普拉斯金字塔的图像融合方法的流程示意图；
图8为本申请实施例提供的一种插值处理方法的示意图；
图9为本申请实施例提供的一种图像的处理装置的结构示意图；
图10为本申请实施例提供的另一种图像的处理装置的结构示意图
图11为本申请实施例提供的电子设备的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
高动态范围成像(High-Dynamic Range，简称HDR)，在计算机图形学和摄影术中，用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的成像技术。采用高动态范围成像技术采集的高动态范围图像中，每个颜色通道需要比传统图像更多的数据位。在一些应用场景中，更高的数据范围通常有10bit(0～2^10)，12bit，14bit等，高动态范围数量级会较高，数码存储显示设备由于硬件技术等限制，只能存储或显示有限的数量级范围，如何使HDR图像能很好的在显示器上显示，这就需要将获得的高动态范围图像转化为低动态范围图像。
在高动态范围图像转化为低动态范围图像的过程中，可以对高动态范围图像进行整体的色调映射，也可以说是像素压缩处理，能够快速得到低动态范围图像，然而其得到的低动态范围图像容易失真；或者可以将高动态范围图像分解为多个子频带中的子频带信息，再对每个子频带信息进行色调映射，最后将处理后的多个子频带信息融合，得到低动态范围图像，但是其处理过程往往非常复杂，对运算能力的消耗较大，导致低动态范围图像的实时性较差。
基于上述内容，本申请实施例应用于上述对高动态范围图像进行处理以得到低动态范围图像的应用场景之中。本申请实施例通过对高动态范围图像进行多尺度分解，以获取多个子频带信息，根据多个子频带信息和预先获取的三维增益映射图，得到与每个子频带信息对应的增益抑制地图，再根据增益抑制地图，在每个子频带中对原始图像进行像素压缩处理，得到与原始图像尺寸相同的低动态范围图像。其中，三维增益映射图是根据部分子频带信息对应的增益映射曲线确定的，而不需要针对每个子带抑制图像生成增益映射曲线，使得在最大化减少高动态范围图像的信息损失的同时，有效提高了低动态范围图像的获取效率。
图1为本申请实施例提供的一种电子设备示意图。
结合图1所示，本申请实施例的执行主体为一种电子设备100，该电子设备100至少包括图像处理装置01，图像处理装置01用于对高动态范围图像进行图像处理以得到低动态范围图像。示例性的，电子设备可以包括图像采集装置02，高动态范围图像可以是电子设备接收与之连接的外部设备发送的，或者可以是通过电子设备的图像采集装置02采集的；示例性的，电子设备可以包括图像显示装置03，电子设备将处理得到的低动态范围图像通过自身部署的图像显示装置03进行显示，或者发送给与之连接的外部设备进行显示。
可选的，电子设备可以集成于一种终端设备，该终端设备可以是智能音箱、手机、个人计算机PC、平板电脑、智能可穿戴等，或者，可以集成于一种服务器，或者，还可以集成于一种工业控制设备、医疗设备或监控设备等。
下面通过几个实施例对本申请提供的应用于上述电子设备的图像处理方法进行解释说明。
图2为本申请实施例提供的一种图像处理方法的流程示意图。为了减少图像处理过程的运算损耗，以提高获取低动态范围图像的效率，本申请实施例对获取到的原始图像进行多尺度分解，得到n个子频带信息，n为正整数，预先根据n个子频带信息中的m个子频带信息的增益映射曲线，得到三维增益映射图，并根据三维增益映射图和n个子频带信息，得到与每个子频带信息对应的增益抑制地图，最后根据每个子频带信息的增益抑制地图，在n个子频带中对原始图像进行像素压缩处理，得到与原始图像尺寸相同的低动态范围图像，应理解，尺寸相同表示具有相同的分辨率。
其中，原始图像为像素的数量级大于显示器所能表示的亮度值的图像，例如HDR图像。
本申请实施例为了尽量多的保留原始图像的图像信息，对原始图像在多个频带中进行的图像处理，因此首先需要对原始图像进行多尺度分解，以得到n个子频带对应的子频带信息，一般来说子频带信息的数量大于3。示例性的，可采用高斯-拉普拉斯金字塔对原始图像进行多尺度分解，或者采用小波变换对原始图像进行多尺度分解，得到n个子频带信息，本方案对此不做要求。
图3为本申请实施例提供的一种图像处理方法的流程示意图。进一步地，结合图3所示，在本申请实施例在确定三维增益映射图，即与n个子频带信息对应的n个增益映射曲线时，不需要针对每个子频带信息设置一次增益映射曲线，或者不需要根据每个子频带信息生成一次增益映射曲线，而是根据预设频率从n个子频带信息中选出的m个子频带信息，针对m个子频带信息的增益映射曲线，得到三维增益映射图，不仅减少了图像处理过程的运算损耗，而且根据所选择的m个子频带信息的不同能够得到不同的三维增益映射图，通过选择不同的子频带信息对得到的低动态范围图像的显示效果进行调节，增加了图像处理的可调节性。
示例性的，m个子频带信息为根据预设频率，在n个子频带信息中确定的，换句话说，在n个子频带信息中确定满足预设频率的m个子频带信息。例如预设m个频率点，该m个频率点间的间隔大于预设值，使不同频率点不会被同一子频带覆盖，将能够覆盖频率点的子频带对应的子频带信息选出，选出的子频带信息即为该频率点对应的子频带信息，据此从n个子频带信息中选出与每个频率点对应的子频带信息，即得到m个子频带信息。
可选的，预设频率可以分别在高频率区间、中频率区间和低频率区间中进行设置，示例性的，各预设频率可均匀部署于全频率范围内，例如m为3时，即在全频率范围内均匀设置三个预设频率，该三个预设频率分别位于全频率范围的高频率区间、中频率区间和低频率区间。
本申请实施例为了能够使低动态范围图像的显示效果更优，避免图像失真，需要根据三维增益映射图和n个子频带信息，确定每个子频带信息对应的增益抑制地图，并根据对应的增益抑制地图在每个子频带中对原始图像进行像素压缩处理，得到与原始图像尺寸相同的低动态范围图像，其中，三维增益映射图包括与每个子频带信息对应的n个增益映射曲线，增益映射曲线用于表示子频带信息中每个像素值对应的增益数值。示例性的，根据n个增益抑制地图分别对对应的子频带信息进行像素压缩处理，将处理后的n个子频带信息进行重建，得到与原始图像尺寸相同的低动态范围图像；或者，根据n个子频带信息的频率顺序，先通过对应的增益抑制地图对频率最高或者频率最低的子频带信息进行像素压缩处理，将处理后的子频带信息作为下一次像素压缩处理的对象，再通过对应的增益映射曲线对该子频带信息进行像素压缩处理，直至得到的图像与原始图像的尺寸相同时，将该图像作为低动态范围图像。
示例性的，三维增益映射图为一种三维数据图，包括像素轴、增益轴和频带轴。增益映射曲线为一种二维数据图，包括像素轴和增益轴。
本申请实施例，一方面，通过对原始图像进行多尺度分解，并在每个尺度(子频带)中对原始图像进行像素压缩处理，实现多维度的处理，避免处理得到的低动态范围图像失真；另一方面，不需要根据每个子频带信息均获取一次增益映射曲线，而是根据其中的部分子频带信息获取与每个子频带信息对应的增益映射曲线，提高了图像处理的效率。
图4为本申请实施例提供的一种图像处理方法的流程示意图。
在一种具体的实现方式中，本申请实施例对如何得到三维增益映射图进行示例性的说明。
首先，确定m个子频带信息中的每个子频带信息的增益映射曲线，且m个子频带信息是按照预设频率从n个子频带信息中选出的，换句话说，确定与每个预设频率对应增益映射曲线。进而，根据m个子频带信息对应的增益映射曲线，通过插值处理，得到三维增益映射图。
示例性的，在确定每个预设频率对应的增益映射曲线的过程中，电子设备接收用户针对m个子频带中的每个子频带输入的多个像素值对应的增益数值，再根据多个像素值对应的增益数值，通过插值处理，得到该子频带的增益映射曲线，即与该子频带信息对应的增益映射曲线。
可选的，插值处理包括在每两个像素间插入0、线性插值、双三次插值以及临近像素复制中的任意一种。
本领域人员应理解，对于在哪些像素值上设置对应的增益数值，可根据实际应用场景进行变更，例如像素值较低时，高频区域内的子带信息的频率波动较大，为了避免波动误差，将对应的增益设置较小的数值，而低频区域内的子带信息的频率波动较小，为了更多的保留图像信息，将增益设置为较大的数值。
基于上述过程，得到与m个子频带信息中每个子频带信息对应的增益映射曲线，根据m个增益映射曲线进行插值处理得到三维增益映射图，该三维增益映射图中包括与n个子频带信息对应的增益映射曲线。
可选的，插值处理包括线性插值、双三次插值中的任意一种。
应理解，该与每个子频带信息对应的增益映射曲线，其实质为与该子频带信息中每个像素点对应的增益数值，换句话说，该增益映射曲线是由多个增益数值组成的。
图5为本申请实施例提供的一种图像处理方法的流程示意图。如图5所示，本申请实施例对于如何根据三维增益映射图和n个子频带信息，得到与每个子频带信息对应的增益抑制地图提出一种可能的实现方式，针对每个子频带信息进行绝对值取值，得到该子频带信息中每个像素点的绝对值信息，并对该绝对值信息进行数值范围映射处理，将绝对值信息转换至预设的数值范围内，例如数值范围0～1内。可选的，数值范围映射处理可以是归一化处理，或者伽马gamma曲线的映射处理，或者任一与gamma曲线的映射处理类似的数值范围映射处理方法。示例性的，根据该绝对值信息，在与子频带信息对应的增益映射曲线中进行查找，得到与子频带信息对应的增益抑制地图，针对每个子频带信息，将子频带信息中每个像素点的绝对值信息对应于增益映射曲线的横轴，通过增益映射曲线中确定与该绝对值信息对应的增益数值，即得到该像素点对应的增益数值，据此全部像素点的绝对值信息和对应的增益数值组成了增益抑制地图。
可选的，每个像素点对应的绝对值信息，可以直接组成增益抑制地图。
可选的，可以直接根据n个子频带信息和三维增益映射图确定每个子频带信息中每个像素点对应的增益数值。
示例性的，在根据绝对值信息，在与子频带信息对应的增益映射曲线中进行查找，得到与子频带信息的对应的增益抑制地图之前，为了去除由于各子频带中信号波动偏差(噪声等因素)所造成的影响，需要通过高斯滤波器，对绝对值信息进行低通滤波，即对绝对值信息进行高斯卷积。
图6为本申请实施例提供的一种基于高斯-拉普拉斯金字塔的图像分解方法的流程示意图；图7为本申请实施例提供的一种基于高斯-拉普拉斯金字塔的图像融合方法的流程示意图。结合图6和图7所示，以采用高斯-拉普拉斯金字塔对图像进行多尺度分解为例，对本方法如何将原始图像转换为低动态范围图像进行具体说明。
如图6所示，在对原始图像进行多尺度分解之前，为了去除原始图像的波动偏差(噪声等因素)所造成的影响，需要通过高斯滤波器，对原始图像进行低通滤波，即对原始图像进行高斯卷积。在对分解得到的低频图像进行继续分解之前基于同样的理由，对每层的子频带信息均进行高斯卷积。
原始图像经过高斯卷积后，对原始图像进行下采样，例如2倍下采样，得到第1层的子频带信息，即该子频带信息位于高斯金字塔的第1层；继续对第1层的子频带信息进行上采样，例如相应于下采样倍数的2倍上采样，将经过上采样的子频带信息与原始图像进行求差运算，即原始图像减上采样的子频带信息的差值，经过求差运算得到第1层残差信息，即拉普拉斯金字塔的第1层图像；将第1层的子频带信息作为原始图像，重复执行分解过程，换句话说，对第1层的子频带信息进行与对原始图像相同的分解过程，得到第2层的子频带信息和第2层的残差信息；类似的，再对第2层的子频带信息执行相同的分解过程，直至第n层的子频带信息无法进行相应倍数的下采样时，结束多尺度分解过程，并得到n个子频带信息和n个残差信息，该n个子频带信息组成高斯金字塔，该n个残差信息组成拉普拉斯金字塔。
示例性的，多尺度分解过程可按照预设的策略结束于任意一层，例如设置分解至预设层数时结束分解过程，或者设置分解至某一分辨率时结束分解过程等。
示例性的，对原始图像进行高斯卷积后再进行下采样，可以替换为采用无损缩放(antialiasing)的形式进行处理，例如，采用(Finite Impulse Response，FIR)滤波器对原始图像进行卷积处理。可选的，滤波器所采用的权重(tap)数以及权重具体数值可采用查表等较快的硬件实现方式。
示例性的，对子频带信息进行上采样，可通过对子频带信息进行插值处理来实现，该插值处理包括在每两个像素间插入0、线性插值、双三次插值以及临近像素复制中的任意一种。图8为本申请实施例提供的一种插值处理方法的示意图，如图8所示，白色方格为复制像素点，复制像素点按照预设的复制方向，复制与之相邻的原始图像中的像素点的像素值。
基于上述过程，本申请实施例提供一种具体的实现方式，对如何根据增益抑制地图在n个子频带中对原始图像进行像素压缩处理，得到与原始图像尺寸相同的低动态范围图像进行示例性的说明。
如图7所示，根据上述任一实施例中得到的与第n层的子频带信息对应的增益抑制地图，对第n层的子频带信息进行像素压缩处理，示例性的，像素压缩处理为第n层的子频带信息中的每个像素点的像素值乘上增益抑制地图中与该像素点对应的增益数值；将处理后的子频带信息与第n层的残差信息进行求和运算，得到第n-1层的子带抑制信息，应理解，该子带抑制信息与第n-1层的子频带信息的尺寸相同；继续对第n-1层的子带信息进行像素压缩处理，示例性的，根据与第n-1层的子频带信息对应的增益抑制地图，对第n-1层的子带抑制信息进行像素压缩处理；类似的，将处理后的第n-1层的子带抑制信息与第n-1层的残差信息进行求和运算，得到第n-2层的子带抑制信息；并继续对第n-2层的子带抑制信息进行与第n-1层的子带抑制信息相同的处理过程，直至对第1层的子带抑制信息完成相同的处理过程，得到与原始图像尺寸相同的低动态范围图像。
图8为本申请实施例提供的一种图像的处理装置的结构示意图，如图9所示，该图像的处理装置10包括：
多尺度分解模块11，用于对原始图像进行多尺度分解，得到n个子频带信息，n为正整数；
增益确定模块12，用于用于根据三维增益映射图和所述n个子频带信息，得到与每个子频带信息对应的增益抑制地图；
增益抑制模块13，用于根据所述增益抑制地图，在所述n个子频带中对所述原始图像进行像素压缩处理，得到与所述原始图像尺寸相同的低动态范围图像；
其中，所述三维增益映射图包括与n个子频带信息对应的n个增益映射曲线，所述n个增益映射曲线为预先根据n个子频带信息中的部分子频带信息对应的增益映射曲线确定的，所述增益映射曲线用于表示像素值与增益数值的对应关系；所述增益抑制地图用于表示任一子频带信息中与每个像素点对应的增益数值。
本申请实施例提供的图像的处理装置10包括多尺度分解模块11、增益确定模块12和增益抑制模块13，一方面，通过对原始图像进行多尺度分解，并在每个尺度中对原始图像进行像素压缩处理，达到细粒度的处理效果，避免处理得到的低动态范围图像失真；另一方面，不需要根据每个子频带信息均获取一次增益映射曲线，而是根据其中的部分子频带信息获取与每个子频带信息对应的增益映射曲线，提高了图像处理的效率。
在一种可能的设计中，增益确定模块12具体用于：
确定所述m个子频带信息中每个子频带信息对应的的增益映射曲线；所述m个子频带信息为按照预设频率从所述n个子频带信息中选出的子频带信息，m为小于n的正整数；
根据所述m个子频带信息对应的增益映射曲线，通过插值处理，得到三维增益映射图。
在一种可能的设计中，增益确定模块12具体用于：
接收用户针对m个子频带中的每个子频带输入的多个像素值对应的增益数值；
根据所述多个像素值对应的增益数值，得到所述子频带的增益映射曲线。
在一种可能的设计中，多尺度分解模块11具体用于采用高斯-拉普拉斯金字塔对所述原始图像进行多尺度分解，得到所述n个子频带信息。
在一种可能的设计中，多尺度分解模块11具体用于采用小波变换对所述原始图像进行多尺度分解，得到所述n个子频带信息。
在一种可能的设计中，多尺度分解模块11具体用于：
对所述原始图像进行下采样，得到第1层的子频带信息；
对所述第1层的子频带信息进行上采样，并将经过上采样的子频带信息与所述原始图像进行求差运算，得到第1层的残差信息；
将所述第1层的子频带信息作为原始图像，重复执行分解过程，直至下采样至预设的层数或者所述子频带信息无法进行下采样时，结束所述多尺度分解过程，并得到n个子频带信息和n个残差信息。
在一种可能的设计中，增益确定模块12具体用于：对每个子频带信息进行绝对值取值，得到每个像素点的绝对值信息；
根据所述绝对值信息，在与所述子频带信息对应的增益映射曲线中进行查找，得到与所述子频带信息对应的增益抑制地图。
图10为本申请实施例提供的另一种图像的处理装置的结构示意图。在图9所示实施例的基础上，如图10所示，该图像的处理装置10还包括：
在一种可能的设计中，增益抑制模块13具体用于：
根据与第n层的子频带信息对应的增益抑制地图，对所述子频带信息进行像素压缩处理；
将处理后的第n层的子频带信息与第n层的残差信息进行求和运算，得到第n-1层的子带抑制信息；
根据与第n-1层的子频带信息对应的增益抑制地图，对所述第n-1层的子带抑制信息进行像素压缩处理；将处理后的第n-1层的子带抑制信息与第n-1层的残差信息进行求和运算，得到第n-2层的子带抑制信息；重复执行本步骤，直至对第1层的子带抑制信息完成本步骤，得到与所述原始图像尺寸相同的低动态范围图像。
在一种可能的设计中，多尺度分解模块11具体用于：
对所述子频带信息进行插值处理，所述插值处理包括在每两个像素间插入0、线性插值、双三次插值以及临近像素复制中的任意一种。
上述实施例提供的图像的处理装置，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
本申请实施例还提供一种电子设备，参见图11，本申请实施例仅以图11为例进行说明，并不表示本申请仅限于此。
图11为本申请实施例提供的电子设备的结构框图。如图11所示，通常，电子设备600包括有：处理器601和存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的图像的处理方法。
本领域技术人员可以理解，图11中示出的结构并不构成对电子设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例提供的图像的处理方法。
本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像的处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (13)
1.一种图像的处理方法，其特征在于，所述方法包括：
对原始图像进行多尺度分解，得到n个子频带信息，n为正整数；
根据三维增益映射图和所述n个子频带信息，得到与每个子频带信息对应的增益抑制地图；
根据所述增益抑制地图，在所述n个子频带中对所述原始图像进行像素压缩处理，得到与所述原始图像尺寸相同的低动态范围图像；
其中，所述三维增益映射图包括与n个子频带信息对应的n个增益映射曲线，所述n个增益映射曲线为预先根据n个子频带信息中的部分子频带信息对应的增益映射曲线确定的，所述增益映射曲线用于表示像素值与增益数值的对应关系；所述增益抑制地图用于表示任一子频带信息中与每个像素点对应的增益数值。
2.根据权利要求1所述的方法，其特征在于，在所述根据预设的三维增益映射图，在所述n个子频带中对所述原始图像进行像素压缩处理，得到与所述原始图像尺寸相同的低动态范围图像之前，所述方法还包括：
确定m个子频带信息中每个子频带信息对应的的增益映射曲线；所述m个子频带信息为按照预设频率从所述n个子频带信息中选出的子频带信息，m为小于n的正整数；
根据所述m个子频带信息对应的增益映射曲线，通过插值处理，得到三维增益映射图。
3.根据权利要求2所述的方法，其特征在于，所述确定所述m个子频带中的每个子频带对应的增益映射曲线，包括：
接收用户针对m个子频带中的每个子频带输入的多个像素值对应的增益数值；
根据所述多个像素值对应的增益数值，得到所述子频带的增益映射曲线。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述对原始图像进行多尺度分解，得到n个子频带信息，包括：
采用高斯-拉普拉斯金字塔对所述原始图像进行多尺度分解，得到所述n个子频带信息。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述对原始图像进行多尺度分解，得到n个子频带信息，包括：
采用小波变换对所述原始图像进行多尺度分解，得到所述n个子频带信息。
6.根据权利要求4所述的方法，其特征在于，所述采用高斯-拉普拉斯金字塔对所述原始图像进行多尺度分解，得到所述n个子频带信息，包括：
对所述原始图像进行下采样，得到第1层的子频带信息；
对所述第1层的子频带信息进行上采样，并将经过上采样的子频带信息与所述原始图像进行求差运算，得到第1层的残差信息；
将所述第1层的子频带信息作为原始图像，重复执行分解过程，直至下采样至预设的层数或者所述子频带信息无法进行下采样时，结束所述多尺度分解过程，并得到n个子频带信息和n个残差信息。
7.根据权利要求6所述的方法，其特征在于，所述根据预设的三维增益映射图和所述n个子频带信息，得到与每个子频带信息对应的增益抑制地图，包括：
对每个子频带信息进行绝对值取值，得到每个像素点的绝对值信息；
根据所述绝对值信息，在与所述子频带信息对应的增益映射曲线中进行查找，得到与所述子频带信息对应的增益抑制地图。
8.根据权利要求7所述的方法，其特征在于，在所述根据所述绝对值信息，在与所述子频带信息对应的增益映射曲线中进行查找，得到与所述子频带信息的对应的增益抑制地图之前，所述方法还包括：
通过高斯滤波器，对所述绝对值信息进行低通滤波。
9.根据权利要求6所述的方法，其特征在于，所述根据所述增益抑制地图，在所述n个子频带中对所述原始图像进行像素压缩处理，得到与所述原始图像尺寸相同的低动态范围图像，包括：
根据与第n层的子频带信息对应的增益抑制地图，对所述子频带信息进行像素压缩处理；
将处理后的第n层的子频带信息与第n层的残差信息进行求和运算，得到第n-1层的子带抑制信息；
根据与第n-1层的子频带信息对应的增益抑制地图，对所述第n-1层的子带抑制信息进行像素压缩处理；将处理后的第n-1层的子带抑制信息与第n-1层的残差信息进行求和运算，得到第n-2层的子带抑制信息；重复执行本步骤，直至对第1层的子带抑制信息完成本步骤，得到与所述原始图像尺寸相同的低动态范围图像。
10.根据权利要求6所述的方法，其特征在于，所述对所述第1层子频带信息进行上采样，包括：
对所述子频带信息进行插值处理，所述插值处理包括在每两个像素间插入0、线性插值、双三次插值以及临近像素复制中的任意一种。
11.一种图像的处理装置，其特征在于，包括：
多尺度分解模块，用于对原始图像进行多尺度分解，得到n个子频带信息，n为正整数；
增益确定模块，用于根据三维增益映射图和所述n个子频带信息，得到与每个子频带信息对应的增益抑制地图；
增益抑制模块，用于根据所述增益抑制地图，在所述n个子频带中对所述原始图像进行像素压缩处理，得到与所述原始图像尺寸相同的低动态范围图像；
其中，所述三维增益映射图包括与n个子频带信息对应的n个增益映射曲线，所述n个增益映射曲线为预先根据n个子频带信息中的部分子频带信息对应的增益映射曲线确定的，所述增益映射曲线用于表示像素值与增益数值的对应关系；所述增益抑制地图用于表示任一子频带信息中与每个像素点对应的增益数值。
12.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至10任一项所述的图像的处理方法。
13.一种存储介质，其特征在于，包括：可读存储介质和计算机程序，所述计算机程序用于实现权利要求1至10任一项所述的图像的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010516466.2A CN111667430B (zh) | 2020-06-09 | 2020-06-09 | 图像的处理方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010516466.2A CN111667430B (zh) | 2020-06-09 | 2020-06-09 | 图像的处理方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111667430A true CN111667430A (zh) | 2020-09-15 |
| CN111667430B CN111667430B (zh) | 2022-11-22 |
Family
ID=72387095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010516466.2A Active CN111667430B (zh) | 2020-06-09 | 2020-06-09 | 图像的处理方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111667430B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150023594A1 (en) * | 2013-07-16 | 2015-01-22 | Texas Instruments Incorporated | Transforming Wide Dynamic Range Images to Reduced Dynamic Range Images |
| CN105825472A (zh) * | 2016-05-26 | 2016-08-03 | 重庆邮电大学 | 一种快速的基于多尺度高斯滤波器的色调映射系统及方法 |
| CN109978802A (zh) * | 2019-02-13 | 2019-07-05 | 中山大学 | 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法 |
| CN110796595A (zh) * | 2019-10-31 | 2020-02-14 | 北京大学深圳研究生院 | 一种色调映射方法、装置及电子设备 |
-
2020
- 2020-06-09 CN CN202010516466.2A patent/CN111667430B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150023594A1 (en) * | 2013-07-16 | 2015-01-22 | Texas Instruments Incorporated | Transforming Wide Dynamic Range Images to Reduced Dynamic Range Images |
| CN105825472A (zh) * | 2016-05-26 | 2016-08-03 | 重庆邮电大学 | 一种快速的基于多尺度高斯滤波器的色调映射系统及方法 |
| CN109978802A (zh) * | 2019-02-13 | 2019-07-05 | 中山大学 | 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法 |
| CN110796595A (zh) * | 2019-10-31 | 2020-02-14 | 北京大学深圳研究生院 | 一种色调映射方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111667430B (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Arham et al. | Multiple layer data hiding scheme based on difference expansion of quad | |
| US20180350043A1 (en) | Shallow Depth Of Field Rendering | |
| US8559744B2 (en) | Method for processing a digital object and related system | |
| JP2013518336A (ja) | 入力画像から増加される画素解像度の出力画像を生成する方法及びシステム | |
| JP6137699B2 (ja) | 空間的にスケーリング可能なビデオコーディングのための適応型アップサンプリングの方法、プログラム及びコンピュータシステム | |
| CN111260580A (zh) | 一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质 | |
| KR102561714B1 (ko) | 합성 이미지에서 이미지 데이터 프로세싱 | |
| CN114494022B (zh) | 模型训练方法、超分辨率重建方法、装置、设备及介质 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| KR20210121508A (ko) | 이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템 | |
| WO2024055458A1 (zh) | 图像降噪处理方法、装置、设备、存储介质和程序产品 | |
| CN111667430B (zh) | 图像的处理方法、装置、设备以及存储介质 | |
| CN114008661A (zh) | 图像处理方法、装置及其计算机程序产品 | |
| US20230206399A1 (en) | Low-latency architecture for full frequency noise reduction in image processing | |
| JP7090285B2 (ja) | 復元性の高い画像の圧縮と解凍 | |
| CN112991249A (zh) | 一种基于深度可分离cnn模型的遥感图像融合方法 | |
| WO2020124355A1 (zh) | 图像处理方法、图像处理装置和无人机 | |
| JP5621025B1 (ja) | 画像処理システム、画像処理方法、及び画像処理プログラム | |
| KR101332030B1 (ko) | 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| CN117830135A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| EP4345740A1 (en) | Adaptive sharpening for blocks of pixels | |
| JP2024531432A (ja) | ディスプレイ管理における高精度レンダリングのためのニューラルネットワーク | |
| CN117830093A (zh) | 对像素块进行上采样 | |
| Bhonsle et al. | Digital image processing using Python language | |
| CN117980958A (zh) | 用于在显示管理中进行精确渲染的神经网络 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |