CN115082358A - 图像增强方法、装置、计算机设备和存储介质 - Google Patents
图像增强方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115082358A CN115082358A CN202210858561.XA CN202210858561A CN115082358A CN 115082358 A CN115082358 A CN 115082358A CN 202210858561 A CN202210858561 A CN 202210858561A CN 115082358 A CN115082358 A CN 115082358A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- enhanced
- enhancement
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005286 illumination Methods 0.000 claims abstract description 29
- 238000000638 solvent extraction Methods 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims description 44
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000000153 supplemental effect Effects 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 239000013589 supplement Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 239000003623 enhancer Substances 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像增强方法、装置、计算机设备和存储介质。所述方法包括：对原始图像进行分块，得到图像块；所述原始图像是待增强的低照度图像；基于所述图像块在所述原始图像中的分布情况，确定所述原始图像的全局增强系数；基于所述全局增强系数对所述原始图像进行光照增强，得到第一增强图像；获取所述第一增强图像的图像过曝信息；根据所述图像过曝信息确定所述第一增强图像对应的图像缺失数据；从所述原始图像中提取与所述图像缺失数据相匹配的图像补充数据；基于所述图像补充数据对所述第一增强图像进行补偿，以得到目标图像。采用本方法能够提高图像增强的效果。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像增强方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的发展，出现了图像增强技术。在实际应用中，由于场景条件的限制，很可能导致图像品质变差，使图像传递的信息无法被正常读取和识别，这就需要图像增强技术来改善图像的品质，便于后续对图像的识别。
传统技术中，通常采用全局增强的方式进行图像增强处理，但是这种全局增强的方式不能很好的保持图像局部的对比度，容易出现过度调整的情况，使得增强后的图像质量不佳。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像质量的图像增强方法、装置、计算机设备和计算机可读存储介质。
第一方面，本申请提供了一种图像增强方法。所述方法包括：
对原始图像进行分块，得到图像块；所述原始图像是待增强的低照度图像；
基于所述图像块在所述原始图像中的分布情况，确定所述原始图像的全局增强系数；
基于所述全局增强系数对所述原始图像进行光照增强，得到第一增强图像；
获取所述第一增强图像的图像过曝信息；
根据所述图像过曝信息确定所述第一增强图像对应的图像缺失数据；
从所述原始图像中提取与所述图像缺失数据相匹配的图像补充数据；
基于所述图像补充数据对所述第一增强图像进行补偿，以得到目标图像。
在其中一个实施例中，所述对原始图像进行分块，得到图像块包括：
确定预设分块大小；所述预设分块大小是预先设置的图像块大小；
在原始图像与所述预设分块大小不匹配的情况下，对所述原始图像进行扩充，使得扩充后的原始图像与所述预设分块大小相匹配；
按照所述预设分块大小对所述扩充后的原始图像进行分块，得到图像块。
在其中一个实施例中，所述原始图像的全局增强系数包括所述原始图像的每个颜色通道对应的增强系数；所述基于所述图像块在所述原始图像中的分布情况，确定所述原始图像的全局增强系数包括：
根据各所述图像块在所述原始图像中的分布位置以及各所述图像块的颜色，计算两两所述图像块之间的相似度，得到相似度矩阵；
基于所述相似度矩阵确定每个所述图像块对应的全局增强权重；
综合各所述图像块对应的全局增强权重，确定所述原始图像的每个颜色通道对应的增强系数。
在其中一个实施例中，所述根据各所述图像块在所述原始图像中的分布位置以及各所述图像块的颜色，计算两两图像块之间的相似度，得到相似度矩阵包括：
通过对多个所述图像块进行编码，得到每个所述图像块对应的位置编码数据和颜色编码数据；
基于各图像块分别对应的所述位置编码数据和所述颜色编码数据，计算两两所述图像块之间的相似度，得到相似度矩阵。
在其中一个实施例中，所述图像缺失数据包括缺失位置数据和相应的补充数据量；所述从所述原始图像中提取与所述图像缺失数据相匹配的图像补充数据包括：
确定所述原始图像中与所述缺失位置数据相匹配的第一目标像素点；
从所述第一目标像素点在所述原始图像中对应的图像数据中，提取出符合所述补充数据量的图像补充数据。
在其中一个实施例中，所述基于所述图像补充数据对所述第一增强图像进行补偿，以得到目标图像包括：
确定所述第一增强图像中与所述缺失位置数据相匹配的第二目标像素点；
从所述第二目标像素点在所述第一增强图像中对应的图像数据中，剔除符合所述补充数据量的图像数据，并叠加所述图像补充数据，以得到目标图像。
在其中一个实施例中，所述基于所述图像补充数据对所述第一增强图像进行补偿，以得到目标图像包括：
基于所述图像补充数据对所述第一增强图像进行补偿，得到第二增强图像；
基于所述第一增强图像与所述第二增强图像之间的图像差异数据、以及所述第二增强图像对应的残差权重，对所述第二增强图像进行优化，得到优化后的目标增强图像。
在其中一个实施例中，所述基于所述图像差异数据和所述第二增强图像对应的残差权重，对所述第二增强图像进行优化，得到优化后的目标增强图像包括：
将所述第二增强图像作为本轮的当前增强图像，将所述第一增强图像与所述第二增强图像之间的图像差异数据作为本轮的图像差异数据，确定本轮的当前增强图像对应的残差权重，并使用所述残差权重对本轮的图像差异数据进行加权计算，得到图像优化数据；
将所述图像优化数据叠加至所述本轮的当前增强图像，得到本轮优化后的增强图像；
将本轮优化后的增强图像与所述本轮的当前增强图像之间的差异数据作为下一轮的图像差异数据，将优化后的增强图像作为下一轮的当前增强图像，并将下一轮作为本轮，返回所述确定本轮的当前增强图像对应的残差权重以继续迭代，直至满足迭代停止条件，得到优化后的目标增强图像。
第二方面，本申请还提供了一种图像增强装置。所述装置包括：
全局增强模块，用于对原始图像进行分块，得到图像块；所述原始图像是待增强的低照度图像；基于所述图像块在所述原始图像中的分布情况，确定所述原始图像的全局增强系数；基于所述全局增强系数对所述原始图像进行光照增强，得到第一增强图像；
补偿优化模块，用于获取所述第一增强图像的图像过曝信息；根据所述图像过曝信息确定所述第一增强图像对应的图像缺失数据；从所述原始图像中提取与所述图像缺失数据相匹配的图像补充数据；基于所述图像补充数据对所述第一增强图像进行补偿，以得到目标图像。
在其中一个实施例中，所述全局增强模块，还用于确定预设分块大小；所述预设分块大小是预先设置的图像块大小；在原始图像与所述预设分块大小不匹配的情况下，对所述原始图像进行扩充，使得扩充后的原始图像与所述预设分块大小相匹配；按照所述预设分块大小对所述扩充后的原始图像进行分块，得到图像块。
在其中一个实施例中，所述原始图像的全局增强系数包括所述原始图像的每个颜色通道对应的增强系数；所述全局增强模块，还用于根据各所述图像块在所述原始图像中的分布位置以及各所述图像块的颜色，计算两两所述图像块之间的相似度，得到相似度矩阵；基于所述相似度矩阵确定每个所述图像块对应的全局增强权重；综合各所述图像块对应的全局增强权重，确定所述原始图像的每个颜色通道对应的增强系数。
在其中一个实施例中，所述全局增强模块，还用于通过对多个所述图像块进行编码，得到每个所述图像块对应的位置编码数据和颜色编码数据；基于各图像块分别对应的所述位置编码数据和所述颜色编码数据，计算两两所述图像块之间的相似度，得到相似度矩阵。
在其中一个实施例中，所述图像缺失数据包括缺失位置数据和相应的补充数据量；所述补偿优化模块，还用于确定所述原始图像中与所述缺失位置数据相匹配的第一目标像素点；从所述第一目标像素点在所述原始图像中对应的图像数据中，提取出符合所述补充数据量的图像补充数据。
在其中一个实施例中，所述补偿优化模块，还用于确定所述第一增强图像中与所述缺失位置数据相匹配的第二目标像素点；从所述第二目标像素点在所述第一增强图像中对应的图像数据中，剔除符合所述补充数据量的图像数据，并叠加所述图像补充数据，以得到目标图像。
在其中一个实施例中，所述补偿优化模块，还用于基于所述图像补充数据对所述第一增强图像进行补偿，得到第二增强图像；基于所述第一增强图像与所述第二增强图像之间的图像差异数据、以及所述第二增强图像对应的残差权重，对所述第二增强图像进行优化，得到优化后的目标增强图像。
在其中一个实施例中，所述补偿优化模块，还用于将所述第二增强图像作为本轮的当前增强图像，将所述第一增强图像与所述第二增强图像之间的图像差异数据作为本轮的图像差异数据，确定本轮的当前增强图像对应的残差权重，并使用所述残差权重对本轮的图像差异数据进行加权计算，得到图像优化数据；将所述图像优化数据叠加至所述本轮的当前增强图像，得到本轮优化后的增强图像；将本轮优化后的增强图像与所述本轮的当前增强图像之间的差异数据作为下一轮的图像差异数据，将优化后的增强图像作为下一轮的当前增强图像，并将下一轮作为本轮，返回所述确定本轮的当前增强图像对应的残差权重以继续迭代，直至满足迭代停止条件，得到优化后的目标增强图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请所述方法各实施例中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请所述方法各实施例中的步骤。
上述图像增强方法、装置、计算机设备、存储介质，对原始图像进行分块，得到图像块；原始图像是待增强的低照度图像；基于图像块在原始图像中的分布情况，确定原始图像的全局增强系数；基于全局增强系数对原始图像进行光照增强，得到第一增强图像。这种基于图像块的分布情况得到的全局增强系数能够保证第一增强图像的整体结构相较于原始图像具备很高的相似性，保证整体增强效果。获取第一增强图像的图像过曝信息；根据图像过曝信息确定第一增强图像对应的图像缺失数据；从原始图像中提取与图像缺失数据相匹配的图像补充数据；基于图像补充数据对第一增强图像进行补偿，以得到目标图像。通过使用原始图像中的图像补充数据对第一增强图像进行补偿，能够在保证整体增强效果的同时，保证与原始图像局部结构的相似性，从而能够避免出现过度调整的情况，提高图像增强的效果。
附图说明
图1为一个实施例中图像增强方法的应用环境图；
图2为一个实施例中图像增强方法的流程示意图；
图3为一个实施例中对第二增强图像进行优化的示意图；
图4为一个实施例中图像增强方法的原理示意图；
图5为一个实施例中图像增强装置的结构框图；
图6为一个实施例中计算机设备的内部结构图；
图7为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像增强方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104可以对原始图像进行分块，得到图像块；原始图像是待增强的图像；服务器104可以基于图像块在原始图像中的分布情况，确定原始图像的全局增强系数；服务器104可以基于全局增强系数对原始图像进行光照增强，得到第一增强图像；服务器104可以获取第一增强图像的图像过曝信息；服务器104可以根据图像过曝信息确定第一增强图像对应的图像缺失数据；服务器104可以从原始图像中提取与图像缺失数据相匹配的图像补充数据；服务器104可以基于图像补充数据对第一增强图像进行补偿，以得到目标图像。可以理解，服务器104可以将目标图像返回至终端102，终端102可以展示目标图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像增强方法，本实施例中以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤202，对原始图像进行分块，得到图像块；基于图像块在原始图像中的分布情况，确定原始图像的全局增强系数；基于全局增强系数对原始图像进行光照增强，得到第一增强图像。
其中，原始图像是待增强的图像。全局增强系数用于对原始图像进行全局光照增强。第一增强图像是对原始图像进行全局光照增强之后得到的图像。图像块实质上是从原始图像中分割出的子图像。
具体地，服务器可以确定预设分块大小，对原始图像进行分块，以得到符合预设分块大小的图像块。服务器可以通过分析图像块在原始图像中的颜色分布情况和位置分布情况，确定原始图像的每个颜色通道对应的增强系数，从而得到包括每个颜色通道对应的增强系数的全局增强系数。可以理解，综合考虑图像块的颜色和位置分布得到的全局增强系数，实质上是一种线性增强，能够保持与原始图像较高的结构相似性。服务器可以使用全局增强系数对原始图像进行光照增强，得到第一增强图像。
在一个实施例中，服务器可以得到图像分辨率与预设分块大小相符的图像块。可以理解，预设分块大小可以是预设的图像块分辨率。比如，预设分块大小可以是16*16的图像分辨率。
在一个实施例中，服务器可以对全局增强系数进行扩展，使得全局增强系数的数量与原始图像的图像分辨率相符，以得到扩展后的全局增强系数。可以理解，扩展后的每个全局增强系数对应于原始图像中的每个像素点。服务器可以使用扩展后的全局增强系数对原始图像中的像素点进行点对点光照增强，得到第一增强图像。这种点对点光照增强的方式能够降低计算的复杂度。
在一个实施例中，服务器可以对全局增强系数进行复制，使得全局增强系数的数量与原始图像的图像分辨率相符，以得到扩展后的全局增强系数。
步骤204，获取第一增强图像的图像过曝信息；根据图像过曝信息确定第一增强图像对应的图像缺失数据。
其中，图像过曝信息是第一增强图像中由于光照增强导致过度曝光的局部信息。可以理解，过度曝光，是指在高光的地方会有一片白色，代表那部分的图像信息失去。图像缺失数据是第一增强图像中由于过度曝光丢失的图像数据。
具体地，服务器可以对第一增强图像进行过曝分析，得到图像过曝信息，从而能够确定第一增强图像中哪部分图像区域出现了过度曝光。服务器可以根据图像过曝信息确定第一增强图像对应的图像缺失数据，从而能够确定第一增强图像中过度曝光导致这部分图像区域缺失的图像数据。
步骤206，从原始图像中提取与图像缺失数据相匹配的图像补充数据；基于图像补充数据对第一增强图像进行补偿，以得到目标图像。
其中，图像补充数据用于补充第一增强图像中缺失的图像数据。目标图像是对原始图像进行图像增强得到的最终增强图像。
具体地，服务器可以从原始图像中提取与图像缺失数据相匹配的图像补充数据。服务器可以将图像补充数据叠加至第一增强图像进行补偿，以得到目标图像。通过使用原始图像中的图像补充数据对第一增强图像进行修正，能够避免增强过度导致图像数据丢失的问题。
上述图像增强方法中，对原始图像进行分块，得到图像块；原始图像是待增强的低照度图像；基于图像块在原始图像中的分布情况，确定原始图像的全局增强系数；基于全局增强系数对原始图像进行光照增强，得到第一增强图像。这种基于图像块的分布情况得到的全局增强系数能够保证第一增强图像的整体结构相较于原始图像具备很高的相似性，保证整体增强效果。获取第一增强图像的图像过曝信息；根据图像过曝信息确定第一增强图像对应的图像缺失数据；从原始图像中提取与图像缺失数据相匹配的图像补充数据；基于图像补充数据对第一增强图像进行补偿，以得到目标图像。通过使用原始图像中的图像补充数据对第一增强图像进行补偿，能够在保证整体增强效果的同时，保证与原始图像局部结构的相似性，从而能够避免出现过度调整的情况，提高图像增强的效果。
在一个实施例中，对原始图像进行分块，得到图像块包括：确定预设分块大小；预设分块大小是预先设置的图像块大小；在原始图像与预设分块大小不匹配的情况下，对原始图像进行扩充，使得扩充后的原始图像对预设分块大小相匹配；按照预设分块大小与扩充后的原始图像进行分块，得到图像块。
具体地，服务器可以确定预设分块大小，并通过比对原始图像的大小和预设分块大小确定二者是否相匹配。在原始图像的大小与预设分块大小相匹配的情况下，服务器可以直接按照预设分块大小对原始图像进行分块。在原始图像的大小与预设分块大小不匹配的情况下，服务器可以对原始图像进行扩充，使得扩充后的原始图像与预设分块大小相匹配，并按照预设分块大小对扩充后的原始图像进行分块，得到图像块。
在一个实施例中，预设分块大小可以用于指示图像块的图像分辨率。服务器可以通过比对原始图像的图像分辨率和预设分块大小，确定原始图像与预设分块大小是否相匹配。
在一个实施例中，服务器可以通过确定原始图像的图像分辨率是否是预设分块大小的整数倍，确定原始图像与预设分块大小是否相匹配，服务器可以对原始图像进行扩充，使得扩充后的原始图像的图像分辨率是预设分块大小的整数倍。比如，预设分块大小可以是16*16的图像分辨率，当原始图像的图像分辨率不是16的整数倍时，服务器可以通过对原始图像补零进行扩充，即，对原始图像增加零像素点。可以理解，服务器可以对扩充后的原始图像进行分块。
在一个实施例中，在原始图像与所述预设分块大小不匹配的情况下，服务器可以确定不符合预设分块大小的图像块。服务器可以直接对该图像块进行扩充，使得扩充后的图像块符合预设分块大小。可以理解，服务器可以通过在图像块中增加零像素点实现图像块的扩充。
本实施例中，确定预设分块大小；预设分块大小是预先设置的图像块大小；在原始图像与预设分块大小不匹配的情况下，对原始图像进行扩充，使得扩充后的原始图像对预设分块大小相匹配；按照预设分块大小与扩充后的原始图像进行分块，得到图像块，从而后续能够基于符合预设分块大小的、大小一致的图像块在原始图像中的分布情况，避免图像块大小不均带来的误差，从而得到更准确的全局增强系数。
在一个实施例中，原始图像的全局增强系数包括原始图像的每个颜色通道对应的增强系数；基于图像块在原始图像中的分布情况，确定原始图像的全局增强系数包括：根据各图像块在原始图像中的分布位置以及各图像块的颜色，计算两两图像块之间的相似度，得到相似度矩阵；基于相似度矩阵确定每个图像块对应的全局增强权重；综合各图像块对应的全局增强权重，确定原始图像的每个颜色通道对应的增强系数。
其中，颜色通道是保存图像颜色信息的通道。每个图像都有一个或多个颜色通道，图像中默认的颜色通道数取决于其颜色模式，即一个图像的颜色模式将决定其颜色通道的数量。全局增强系数中的增强系数用于指示相应颜色通道需要增强的比例。可以理解，若原始图像具有三个颜色通道，则全局增强系数是一个三个增强系数组成的数组，比如（2.1，2.3，2.5），表示原始图像的三个颜色通道需要增强的比例分别是2.1，2.3，2.5。
具体地，服务器可以根据各图像块在原始图像中的分布位置以及各图像块的颜色，计算两两图像块之间的相似度，得到相似度矩阵。可以理解，分布位置越接近，颜色越接近，则图像块之间的相似度就越高。服务器可以基于相似度矩阵确定每个图像块对应的全局增强权重，并将每个图像块对应的全局增强权重输入至增强系数全连接层，通过增强系数全连接层综合各图像块对应的全局增强权重，确定原始图像的每个颜色通道对应的增强系数。
在一个实施例中，服务器可以确定当前图像块的颜色编码数据，使用当前图像块与其他图像块之间的相似度对颜色编码数据进行加权计算，得到当前图像块对应的全局增强权重。其中，其他图像块是除当前图像块外的图像块。在得到当前图像块的全局增强权重之后，服务器可以将下一图像块作为当前图像块，继续计算当前图像块对应的全局增强权重，直至全部图像块对应的全局增强权重计算完毕。
在一个实施例中，服务器可以将每个图像块对应的颜色编码数据作为颜色编码数据矩阵的元素，从而确定多个图像块对应的颜色编码数据矩阵。服务器可以通过对颜色编码数据矩阵和相似度矩阵进行乘法运算，得到多个图像块对应的全局增强权重。比如，有256个图像块，则颜色编码数据矩阵大小为1*256，相似度矩阵大小为256*256，服务器可以得到1*256大小的全局增强权重矩阵，可以理解，全局增强权重矩阵中的元素是每个图像块对应的全局增强权重矩阵。
在一个实施例中，原始图像的图像模式是标准颜色模式（RGB颜色模式）。服务器可以确定三个颜色通道分别对应的三个增强系数，得到全局增强系数。服务器可以在得到扩展后的全局增强系数之后，通过对扩展后的全局增强系数与原始图像的像素点进行点对点的乘法运算，得到光照增强后的第一增强图像。比如，对于一张1024*2048*3的原始图像。其中，1024，2048分别是原始图像的宽和高，3是原始图像的RGB三个通道，mg是全局增强系数，由三个增强系数组成（a，b，c），Mg是扩展后的全局增强系数，数量是1024*2048*3，相当于把mg中的三个增强系数a，b，c分别复制1024*2048份。之后，服务器再使用Mg对原始图像x进行光照增强：
。xg为光照增强后的第一增强图像。
在一个实施例中，服务器可以基于每个颜色通道对应的颜色随着光照强度的变化率，对增强系数全连接层进行训练，使得增强系数全连接层综合全局增强权重的特征输出全局增强系数。可以理解，颜色通道随着光照强度的变化率越大，则相应的全局增强系数就越小。
在一个实施例中，原始图像具有三个颜色通道。增强系数全连接层可以通过增强系数变换矩阵，基于每个图像块对应的全局增强权重计算每个颜色通道对应的增强系数。
在一个实施例中，服务器可以对全局增强权重矩阵和增强系数变换矩阵进行乘法运算，得到全局增强系数。比如，有256个图像块，1*256大小的全局增强权重矩阵，增强系数变换矩阵的大小为256*3，服务器可以对全局增强权重矩阵和增强系数变换矩阵进行乘法运算，得到1*3大小的全局增强系数。
本实施例中，根据各图像块在原始图像中的分布位置以及各图像块的颜色，计算两两图像块之间的相似度，得到相似度矩阵；基于相似度矩阵确定每个图像块对应的全局增强权重；综合各图像块对应的全局增强权重，确定原始图像的每个颜色通道对应的增强系数，后续能够基于全局增强系数对原始图像进行全局增强，避免局部增强不足的问题，保证图像增强的效果。
在一个实施例中，根据各图像块在原始图像中的分布位置以及各图像块的颜色，计算两两图像块之间的相似度，得到相似度矩阵包括：通过对多个图像块进行编码，得到每个图像块对应的位置编码数据和颜色编码数据；基于各图像块分别对应的位置编码数据和颜色编码数据，计算两两图像块之间的相似度，得到相似度矩阵。
其中，位置编码数据用于指示图像块在原始图像中的分布位置。颜色编码数据用于指示图像块中包含的颜色信息。
具体地，服务器可以按照图像块在原始图像中的分布位置以及各图像块的颜色，对图像块进行编码，以得到图像块对应的颜色编码数据和位置编码数据。服务器可以将图像块对应的颜色编码数据和位置编码数据输入至多头注意力层中，通过多头注意力层计算两两图像块之间的相似度，得到相似度矩阵。其中，多头注意力层（Multi-headAttention），常用于提取图像信息的网络结构。
在一个实施例中，服务器可以将颜色编码数据和位置编码数据输入至多头注意力层，以得到多头注意力层输出的全局增强权重。
在一个实施例中，服务器可以对图像块进行位置编码，得到每个图像块对应的颜色编码数据，以及多个图像块对应的全局位置编码数据。可以理解，全局位置编码数据可以是用于指示多个图像块在原始图像中的分布位置的向量。
在一个实施例中，服务器可以使用位置编码全连接层对图像块进行位置编码。
本实施例中，通过对多个图像块进行编码，得到每个图像块对应的位置编码数据和颜色编码数据；基于各图像块分别对应的位置编码数据和颜色编码数据，计算两两图像块之间的相似度，得到相似度矩阵，相似度矩阵能够很好地体现图像块在原始图像中的分布情况，从而能够计算出保持结构相似性的全局增强系数，实现线性增强，保证全局图像增强的效果。
在一个实施例中，图像缺失数据包括缺失位置数据和相应的补充数据量；从原始图像中提取与图像缺失数据相匹配的图像补充数据包括：确定原始图像中与缺失位置数据相匹配的第一目标像素点；从第一目标像素点在原始图像中对应的图像数据中，提取出符合补充数据量的图像补充数据。
其中，缺失位置数据用于指示第一增强图像中缺失图像数据的像素点位置。补充数据量用于指示像素点缺失的图像数据量。第一目标像素点是原始图像中提供图像补充数据的像素点。可以理解，原始图像与第一增强图像的图像分辨率一致，二者的像素点是一一对应的。
具体地，服务器可以确定原始图像中与缺失位置数据相匹配的第一目标像素点。服务器可以从第一目标像素点在原始图像中对应的图像数据中，提取出符合补充数据量的图像补充数据。
在一个实施例中，服务器可以将第一增强图像输入至图像分割网络（U-net网络），使得图像分割网络通过对第一增强图像进行图像分割分析第一增强图像的过曝情况，得到图像过曝信息，并根据图像过曝信息确定图像缺失数据。
在一个实施例中，图像缺失数据可以是与第一增强图像的图像分辨率排列一致的补偿系数阵列。可以理解，补偿系数阵列中的补偿系数都有唯一对应的像素点。补偿系数用于指示第一增强图像的像素点需要补偿的图像数据的比例。补偿系数阵列实质上包括了缺失位置数据和相应的补充数据量。可以理解，补偿系数在补偿系数阵列中的位置对应于像素点在第一增强图像中的位置。第一增强图像是一张1024*2048*3的图像，补偿系数阵列也是1024*2048*3。其中，每个颜色通道又分别对应1024*2048的补偿系数阵列。每个颜色通道的特性不一样，对应的增强系数也各不相同，每个颜色通道对应的补偿系数阵列也存在差异。并且由于每个像素点缺失的图像数据不相同，补偿系数阵列中的补偿系数也会存在差异。
在一个实施例中，服务器可以将第一增强图像输入至图像分割网络中，首先经过归一化卷积层，实现对第一增强图像的归一化，接着经过三层下采样卷积层，降低第一增强图像特征的分辨率，然后经过三层上采样卷积层，提升第一增强图像特征的分辨率，最后经过激化卷积层得到补偿系数集合Ml。其中，归一化卷积层是图像实例归一化处理（InstanceNorm）的卷积层。激化卷积层使用的激化函数是S型生长曲线函数（Sigmoid）。
本实施例中，确定原始图像中与缺失位置数据相匹配的第一目标像素点；从第一目标像素点在原始图像中对应的图像数据中，提取出符合补充数据量的图像补充数据，能够使用原始图像的图像数据对第一增强图像进行局部补偿，即使是局部也能够和原始图像很好地保持结构相似性，使得第二增强图像相较于第一增强图像很好地保持局部结构相似性的同时，保证局部图像增强的效果。
在一个实施例中，基于图像补充数据对第一增强图像进行补偿，以得到目标图像包括：确定第一增强图像中与缺失位置数据相匹配的第二目标像素点；从第二目标像素点在第一增强图像中对应的图像数据中，剔除符合补充数据量的图像数据，并叠加图像补充数据，以得到目标图像。
其中，第二目标像素点是第一增强图像中的像素点。可以理解，第二目标像素点存在过度曝光的情况，需要进行补偿。
具体地，服务器可以确定补偿系数集合中的元素对应的第二目标像素点。可以理解，补偿系数集合中元素的排列与第二增强图像和第一增强图像中的像素点一致。服务器可以从第二目标像素点在第一增强图像中对应的图像数据中，剔除补偿系数指示的图像数据，并叠加图像补充数据，以得到目标图像。可以理解，在第二像素点叠加图像补充数据，需要剔除原本这部分的数据，以包保证补偿效果。即，补偿系数可以指示第二目标像素点需要补充的图像数据比例，以及需要剔除的图像数据比例。
在一个实施例中，目标图像是第一增强图像和第二增强图像的线性组合。比如，补偿系数集合是Ml，xl是第二增强图像，x 是原始图像，xg是第一增强图像，则xl = Ml * x +(1.0 - Ml) * xg。
在一个实施例中，服务器可以把第一增强图像、原始图像和补偿系数集合输入至混合单元（blending）。混合单元可以按照xl = Ml * x + (1.0 - Ml) * xg这个公式，混合第一增强图像、原始图像和补偿系数集合，得到第二增强图像。
本实施例中，确定第一增强图像中与缺失位置数据相匹配的第二目标像素点；从第二目标像素点在第一增强图像中对应的图像数据中，剔除符合补充数据量的图像数据，并叠加图像补充数据，以得到目标图像，能够保证目标图像的局部增强效果。
在一个实施例中，基于图像补充数据对第一增强图像进行补偿，以得到目标图像包括：基于图像补充数据对第一增强图像进行补偿，得到第二增强图像；基于所述第一增强图像与所述第二增强图像之间的图像差异数据、以及所述第二增强图像对应的残差权重，对所述第二增强图像进行优化，得到优化后的目标增强图像。
其中，图像差异数据是第一增强图像与第二增强图像之间存在差异的图像数据。可以理解，第一增强图像与第二增强图像具有相同的图像分辨率，二者的像素点一一对应。残差权重是图像差异数据叠加至第二增强图像的权重。
具体地，服务器可以确定第一增强图像中与缺失位置数据相匹配的第二目标像素点；从第二目标像素点在第一增强图像中对应的图像数据中，剔除符合补充数据量的图像数据，并叠加图像补充数据，得到第二增强图像。服务器可以确定第一增强图像与第二增强图像之间的图像差异数据。服务器可以将第二增强图像输入至残差权重卷积层，得到残差权重卷积层输出的残差权重。服务器可以使用第二增强图像对应的残差权重对图像差异数据进行加权计算，得到图像优化数据，通过将图像优化数据叠加至第二增强图像，对第二增强图像进行优化，得到优化后的目标增强图像。可以理解，第二增强图像是直接使用原始图像的图像数据补偿第一增强图像得到的，不够精确，通过这种在第二增强图像中叠加图像优化数据的方式，能够更加精确地修正第二增强图像，从而得到最优的目标增强图像。
在一个实施例中，残差权重卷积层是基于人工修图得到的训练标签图像训练得到的。可以理解，残差权重是图像差异数据的叠加至第二增强图像的权重，因此要朝着第二增强图像叠加图像优化数据后尽可能地接近训练标签图像的方向对残差权重卷积层进行训练，从而使得残差权重卷积层输出的残差权重更加合理。
在一个实施例中，服务器可以确定第一增强图像与第二增强图像中相对应的像素点之间的差异，得到图像差异数据。可以理解，这是一种点对点的计算。
本实施例中，基于图像补充数据对第一增强图像进行补偿，得到第二增强图像；确定第一增强图像与第二增强图像之间的图像差异数据；基于图像差异数据和第二增强图像对应的残差权重，对第二增强图像进行优化，得到优化后的目标增强图像，通过这种在第二增强图像中使用图像差异数据和残差权重进行优化的方式，能够更加精确地修正第二增强图像，得到更优的目标增强图像。
在其中一个实施例中，基于图像差异数据和第二增强图像对应的残差权重，对第二增强图像进行优化，得到优化后的目标增强图像包括：将第二增强图像作为本轮的当前增强图像，将第一增强图像与第二增强图像之间的图像差异数据作为本轮的图像差异数据，确定本轮的当前增强图像对应的残差权重，并使用残差权重对本轮的图像差异数据进行加权计算，得到图像优化数据；将图像优化数据叠加至本轮的当前增强图像，得到本轮优化后的增强图像；将本轮优化后的增强图像与本轮的当前增强图像之间的差异数据作为下一轮的图像差异数据，将优化后的增强图像作为下一轮的当前增强图像，并将下一轮作为本轮，返回确定本轮的当前增强图像对应的残差权重以继续迭代，直至满足迭代停止条件，得到优化后的目标增强图像。
具体地，迭代停止条件可以是迭代次数达到预设迭代停止次数。假设预设迭代停止次数是N。为了得到第k轮优化后的增强图像xk，此时已经存在前k-1轮优化后的增强图像：{x1，x2，x3，...xk-2，xk-1}。服务器可以计算k-1轮优化后的增强图像xk-1和k-2轮优化后的增强图像xk-2之间的图像差异数据（Deltak），即，Deltak = （xk-1）-（xk-2），得到第k轮的图像差异数据（Deltak）。服务器可以将第k-1轮优化后的增强图像输入至残差权重卷积层，得到第k轮的残差权重rk，之后将图像差异数据Deltak 与残差权重rk相乘得到图像优化数据。服务器在将图像优化数据叠加至第k-1轮优化后的增强图像xk-1后，得到第k轮优化后的增强图像xk。即，xk =（xk-1）+ Deltak * rk。服务器可以重复上述步骤，直至k=N。可以理解，第二增强图像是第一轮的当前增强图像。
在一个实施例中，如图3所示提供了对第二增强图像进行优化的示意图。服务器可以对第k-1轮优化后的增强图像xk-1和第x-2轮优化后的增强图像xk-2进行元素减法计算，得到图像差异数据Deltak。可以理解，元素减法和元素加法实质上是图像中一一对应的像素点之间的、点对点的加法和减法。服务器可以将xk-1输入至残差权重卷积层，得到第k轮的残差权重rk。服务器可以对xk-1和rk进行元素乘法计算，得到第k轮的图像优化数据fk（·）。对图像优化数据和xk-1进行元素加法计算，得到第k轮优化后的增强图像xk。可以理解，随着轮次的增加，图像优化数据越来越少，得到的xk越来越精确。其中，残差权重卷积层的激活函数是双曲正切函数（Tanh函数）。
本实施例中，将图像优化数据叠加至本轮的当前增强图像，得到本轮优化后的增强图像；将本轮优化后的增强图像与本轮的当前增强图像之间的差异数据作为下一轮的图像差异数据，将优化后的增强图像作为下一轮的当前增强图像，返回确定本轮的当前增强图像对应的残差权重以继续迭代，在多次迭代后，得到优化后的目标增强图像，通过基于每轮的残差权重和图像差异数据，对上一轮优化后的增强图像进一步优化，从而能够得到更加精确的目标增强图像。
在一个实施例中，如图4所示提供了图像增强方法的原理示意图。服务器可以将原始图像输入至全局增强器中。全局增强器用于实现对原始图像的全局光照增强。全局增强器首先对原始图像进行分块，得到多个图像块；接着对图像块进行位置编码，得到图像块对应的颜色编码信息和位置编码信息；然后将颜色编码信息和位置编码信息输入至多头注意力层，多头注意力层基于颜色编码信息和位置编码信息计算相似度矩阵，并基于相似度矩阵输出每个图像块对应的全局增强权重；全局增强器可以将全局增强权重输入至增强系数全连接层，得到每个颜色通道对应的增强系数。全局增强器对全局增强系数进行扩展，得到扩展后的全局增强系数，并使用扩展后的全局增强系数与原始图像进行元素乘法计算，得到第一增强图像。
之后第一增强图像会被输入至局部补偿器中。局部补偿器通过图像分割网络确定第一增强图像的补偿系数，并基于原始图像和补偿系数通过混合单元对第一增强图像进行补偿，得到第二增强图像。
最后将第一增强图像和第二增强图像输入至迭代优化器中。迭代优化器基于第一增强图像和第二增强图像进行迭代优化，通过确定本轮的图像差异数据和残差权重对上一轮优化后的增强图像作进一步优化，以得到目标增强图像。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像增强方法的图像增强装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像增强装置实施例中的具体限定可以参见上文中对于图像增强方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种图像增强装置500，包括：全局增强模块502和补偿优化模块504，其中：
全局增强模块502，用于对原始图像进行分块，得到图像块；原始图像是待增强的低照度图像；基于图像块在原始图像中的分布情况，确定原始图像的全局增强系数；基于全局增强系数对原始图像进行光照增强，得到第一增强图像；
补偿优化模块504，用于获取第一增强图像的图像过曝信息；根据图像过曝信息确定第一增强图像对应的图像缺失数据；从原始图像中提取与图像缺失数据相匹配的图像补充数据；基于图像补充数据对第一增强图像进行补偿，以得到目标图像。
在一个实施例中，全局增强模块502，还用于确定预设分块大小；预设分块大小是预先设置的图像块大小；在原始图像与预设分块大小不匹配的情况下，对原始图像进行扩充，使得扩充后的原始图像与预设分块大小相匹配；按照预设分块大小对扩充后的原始图像进行分块，得到图像块。
在一个实施例中，原始图像的全局增强系数包括原始图像的每个颜色通道对应的增强系数；全局增强模块502，还用于根据各图像块在原始图像中的分布位置以及各图像块的颜色，计算两两图像块之间的相似度，得到相似度矩阵；基于相似度矩阵确定每个图像块对应的全局增强权重；综合各图像块对应的全局增强权重，确定原始图像的每个颜色通道对应的增强系数。
在一个实施例中，全局增强模块502，还用于通过对多个图像块进行编码，得到每个图像块对应的位置编码数据和颜色编码数据；基于各图像块分别对应的位置编码数据和颜色编码数据，计算两两图像块之间的相似度，得到相似度矩阵。
在一个实施例中，图像缺失数据包括缺失位置数据和相应的补充数据量；补偿优化模块504，还用于确定原始图像中与缺失位置数据相匹配的第一目标像素点；从第一目标像素点在原始图像中对应的图像数据中，提取出符合补充数据量的图像补充数据。
在一个实施例中，补偿优化模块504，还用于确定第一增强图像中与缺失位置数据相匹配的第二目标像素点；从第二目标像素点在第一增强图像中对应的图像数据中，剔除符合补充数据量的图像数据，并叠加图像补充数据，以得到目标图像。
在一个实施例中，补偿优化模块504，还用于基于图像补充数据对第一增强图像进行补偿，得到第二增强图像；确定第一增强图像与第二增强图像之间的图像差异数据；基于图像差异数据和第二增强图像对应的残差权重，对第二增强图像进行优化，得到优化后的目标增强图像。
在一个实施例中，补偿优化模块504，还用于基于图像补充数据对第一增强图像进行补偿，得到第二增强图像；基于第一增强图像与第二增强图像之间的图像差异数据、以及第二增强图像对应的残差权重，对第二增强图像进行优化，得到优化后的目标增强图像。
在一个实施例中，补偿优化模块504，还用于将第二增强图像作为本轮的当前增强图像，将第一增强图像与第二增强图像之间的图像差异数据作为本轮的图像差异数据，确定本轮的当前增强图像对应的残差权重，并使用残差权重对本轮的图像差异数据进行加权计算，得到图像优化数据；将图像优化数据叠加至本轮的当前增强图像，得到本轮优化后的增强图像；将本轮优化后的增强图像与本轮的当前增强图像之间的差异数据作为下一轮的图像差异数据，将优化后的增强图像作为下一轮的当前增强图像，并将下一轮作为本轮，返回确定本轮的当前增强图像对应的残差权重以继续迭代，直至满足迭代停止条件，得到优化后的目标增强图像。
上述图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像增强方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像增强方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6和图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种图像增强方法，其特征在于，所述方法包括：
对原始图像进行分块，得到图像块；
基于所述图像块在所述原始图像中的分布情况，确定所述原始图像的全局增强系数；
基于所述全局增强系数对所述原始图像进行光照增强，得到第一增强图像；
获取所述第一增强图像的图像过曝信息；
根据所述图像过曝信息确定所述第一增强图像对应的图像缺失数据；
从所述原始图像中提取与所述图像缺失数据相匹配的图像补充数据；
基于所述图像补充数据对所述第一增强图像进行补偿，以得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述对原始图像进行分块，得到图像块包括：
确定预设分块大小；所述预设分块大小是预先设置的图像块大小；
在原始图像与所述预设分块大小不匹配的情况下，对所述原始图像进行扩充，使得扩充后的原始图像与所述预设分块大小相匹配；
按照所述预设分块大小对所述扩充后的原始图像进行分块，得到图像块。
3.根据权利要求1所述的方法，其特征在于，所述原始图像的全局增强系数包括所述原始图像的每个颜色通道对应的增强系数；所述基于所述图像块在所述原始图像中的分布情况，确定所述原始图像的全局增强系数包括：
根据各所述图像块在所述原始图像中的分布位置以及各所述图像块的颜色，计算两两所述图像块之间的相似度，得到相似度矩阵；
基于所述相似度矩阵确定每个所述图像块对应的全局增强权重；
综合各所述图像块对应的全局增强权重，确定所述原始图像的每个颜色通道对应的增强系数。
4.根据权利要求3所述的方法，其特征在于，所述根据各所述图像块在所述原始图像中的分布位置以及各所述图像块的颜色，计算两两图像块之间的相似度，得到相似度矩阵包括：
通过对多个所述图像块进行编码，得到每个所述图像块对应的位置编码数据和颜色编码数据；
基于各图像块分别对应的所述位置编码数据和所述颜色编码数据，计算两两所述图像块之间的相似度，得到相似度矩阵。
5.根据权利要求1所述的方法，其特征在于，所述图像缺失数据包括缺失位置数据和相应的补充数据量；所述从所述原始图像中提取与所述图像缺失数据相匹配的图像补充数据包括：
确定所述原始图像中与所述缺失位置数据相匹配的第一目标像素点；
从所述第一目标像素点在所述原始图像中对应的图像数据中，提取出符合所述补充数据量的图像补充数据。
6.根据权利要求5所述的方法，其特征在于，所述基于所述图像补充数据对所述第一增强图像进行补偿，以得到目标图像包括：
确定所述第一增强图像中与所述缺失位置数据相匹配的第二目标像素点；
从所述第二目标像素点在所述第一增强图像中对应的图像数据中，剔除符合所述补充数据量的图像数据，并叠加所述图像补充数据，以得到目标图像。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述图像补充数据对所述第一增强图像进行补偿，以得到目标图像包括：
基于所述图像补充数据对所述第一增强图像进行补偿，得到第二增强图像；
基于所述第一增强图像与所述第二增强图像之间的图像差异数据、以及所述第二增强图像对应的残差权重，对所述第二增强图像进行优化，得到优化后的目标增强图像。
8.根据权利要求7所述的方法，其特征在于，所述基于所述图像差异数据和所述第二增强图像对应的残差权重，对所述第二增强图像进行优化，得到优化后的目标增强图像包括：
将所述第二增强图像作为本轮的当前增强图像，将所述第一增强图像与所述第二增强图像之间的图像差异数据作为本轮的图像差异数据，确定本轮的当前增强图像对应的残差权重，并使用所述残差权重对本轮的图像差异数据进行加权计算，得到图像优化数据；
将所述图像优化数据叠加至所述本轮的当前增强图像，得到本轮优化后的增强图像；
将本轮优化后的增强图像与所述本轮的当前增强图像之间的差异数据作为下一轮的图像差异数据，将优化后的增强图像作为下一轮的当前增强图像，并将下一轮作为本轮，返回所述确定本轮的当前增强图像对应的残差权重以继续迭代，直至满足迭代停止条件，得到优化后的目标增强图像。
9.一种图像增强装置，其特征在于，所述装置包括：
全局增强模块，用于对原始图像进行分块，得到图像块；所述原始图像是待增强的低照度图像；基于所述图像块在所述原始图像中的分布情况，确定所述原始图像的全局增强系数；基于所述全局增强系数对所述原始图像进行光照增强，得到第一增强图像；
补偿优化模块，用于获取所述第一增强图像的图像过曝信息；根据所述图像过曝信息确定所述第一增强图像对应的图像缺失数据；从所述原始图像中提取与所述图像缺失数据相匹配的图像补充数据；基于所述图像补充数据对所述第一增强图像进行补偿，以得到目标图像。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210858561.XA CN115082358B (zh) | 2022-07-21 | 2022-07-21 | 图像增强方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210858561.XA CN115082358B (zh) | 2022-07-21 | 2022-07-21 | 图像增强方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082358A true CN115082358A (zh) | 2022-09-20 |
| CN115082358B CN115082358B (zh) | 2022-12-09 |
Family
ID=83242485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210858561.XA Active CN115082358B (zh) | 2022-07-21 | 2022-07-21 | 图像增强方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082358B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128759A (zh) * | 2023-02-08 | 2023-05-16 | 爱芯元智半导体(上海)有限公司 | 图像的光照补偿方法及其装置 |
| CN116188332A (zh) * | 2023-04-27 | 2023-05-30 | 深圳思谋信息科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN116503290A (zh) * | 2023-06-20 | 2023-07-28 | 苏州浪潮智能科技有限公司 | 图像处理方法、装置、服务器及存储介质 |
| CN117635466A (zh) * | 2024-01-26 | 2024-03-01 | 荣耀终端有限公司 | 图像增强方法、装置、电子设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107172364A (zh) * | 2017-04-28 | 2017-09-15 | 努比亚技术有限公司 | 一种图像曝光补偿方法、装置和计算机可读存储介质 |
| CN109003249A (zh) * | 2017-06-07 | 2018-12-14 | 展讯通信(天津)有限公司 | 增强图像细节的方法、装置及终端 |
| CN110930335A (zh) * | 2019-11-27 | 2020-03-27 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN113222846A (zh) * | 2021-05-18 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 图像处理方法和图像处理装置 |
| CN113781320A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、装置、终端设备及存储介质 |
| CN113781321A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 图像高亮区域的信息补偿方法、装置、设备及存储介质 |
| CN114022375A (zh) * | 2021-11-03 | 2022-02-08 | 深圳绿米联创科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
-
2022
- 2022-07-21 CN CN202210858561.XA patent/CN115082358B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107172364A (zh) * | 2017-04-28 | 2017-09-15 | 努比亚技术有限公司 | 一种图像曝光补偿方法、装置和计算机可读存储介质 |
| CN109003249A (zh) * | 2017-06-07 | 2018-12-14 | 展讯通信(天津)有限公司 | 增强图像细节的方法、装置及终端 |
| CN110930335A (zh) * | 2019-11-27 | 2020-03-27 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN113222846A (zh) * | 2021-05-18 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 图像处理方法和图像处理装置 |
| CN113781320A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、装置、终端设备及存储介质 |
| CN113781321A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 图像高亮区域的信息补偿方法、装置、设备及存储介质 |
| CN114022375A (zh) * | 2021-11-03 | 2022-02-08 | 深圳绿米联创科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128759A (zh) * | 2023-02-08 | 2023-05-16 | 爱芯元智半导体(上海)有限公司 | 图像的光照补偿方法及其装置 |
| CN116128759B (zh) * | 2023-02-08 | 2024-01-09 | 爱芯元智半导体(上海)有限公司 | 图像的光照补偿方法及其装置 |
| CN116188332A (zh) * | 2023-04-27 | 2023-05-30 | 深圳思谋信息科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN116188332B (zh) * | 2023-04-27 | 2023-07-28 | 深圳思谋信息科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN116503290A (zh) * | 2023-06-20 | 2023-07-28 | 苏州浪潮智能科技有限公司 | 图像处理方法、装置、服务器及存储介质 |
| CN116503290B (zh) * | 2023-06-20 | 2023-09-12 | 苏州浪潮智能科技有限公司 | 图像处理方法、装置、服务器及存储介质 |
| CN117635466A (zh) * | 2024-01-26 | 2024-03-01 | 荣耀终端有限公司 | 图像增强方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082358B (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082358B (zh) | 图像增强方法、装置、计算机设备和存储介质 | |
| Parmar et al. | Image transformer | |
| CN112001914B (zh) | 深度图像补全的方法和装置 | |
| CN101253493B (zh) | 在图形处理单元上训练卷积神经网络 | |
| CN111047516A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN117597703B (zh) | 用于图像分析的多尺度变换器 | |
| US20160292838A1 (en) | Image synthesis apparatus, image synthesis method, and recording medium | |
| CN115082322B (zh) | 图像处理方法和装置、图像重建模型的训练方法和装置 | |
| US20230342893A1 (en) | Transferring faces between digital images by combining latent codes utilizing a blending network | |
| CN116824092B (zh) | 三维模型生成方法、装置、计算机设备和存储介质 | |
| CN115272250B (zh) | 确定病灶位置方法、装置、计算机设备和存储介质 | |
| CN115147606B (zh) | 医学图像的分割方法、装置、计算机设备和存储介质 | |
| CN115695807A (zh) | 编码像素块 | |
| CN113298931A (zh) | 一种物体模型的重建方法、装置、终端设备和存储介质 | |
| Young et al. | Gaussian lifting for fast bilateral and nonlocal means filtering | |
| CN114048845B (zh) | 点云修复方法、装置、计算机设备和存储介质 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN115272082A (zh) | 模型训练、视频质量提升方法、装置和计算机设备 | |
| CN115880414A (zh) | 纹理地址产生 | |
| CN115375780A (zh) | 色差计算方法、装置、电子设备和存储介质、产品 | |
| CN118570054B (zh) | 图像生成模型的训练方法、相关装置和介质 | |
| CN116563357B (zh) | 图像匹配方法、装置、计算机设备及计算机可读存储介质 | |
| CN116659520B (zh) | 基于仿生偏振视觉增强的匹配定位方法、装置和设备 | |
| Righetto et al. | Ancient coins' surface inspection with web-based neural RTI visualization | |
| CN116527908B (zh) | 运动场估计方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |