CN115619683B - 图像处理方法、装置、设备、存储介质和计算机程序产品 - Google Patents
图像处理方法、装置、设备、存储介质和计算机程序产品 Download PDFInfo
- Publication number
- CN115619683B CN115619683B CN202211384200.2A CN202211384200A CN115619683B CN 115619683 B CN115619683 B CN 115619683B CN 202211384200 A CN202211384200 A CN 202211384200A CN 115619683 B CN115619683 B CN 115619683B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel point
- detail
- pixel
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000004590 computer program Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000001914 filtration Methods 0.000 claims description 131
- 238000012545 processing Methods 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 33
- 238000012216 screening Methods 0.000 claims description 8
- 238000011282 treatment Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 19
- 238000013473 artificial intelligence Methods 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 321
- 238000010586 diagram Methods 0.000 description 19
- 230000003044 adaptive effect Effects 0.000 description 15
- 238000003707 image sharpening Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 241000519995 Stachys sylvatica Species 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 235000007328 Hericium erinaceus Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本申请涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。该方法涉及人工智能的计算机视觉技术，该图像处理方法包括：对目标图像对应的高频图像进行去噪处理，得到目标图像对应的细节图像；对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数；细节增强系数与原始细节强度的绝对值成反相关，且与对焦概率成正相关；对于每个像素点，融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量；根据细节强度增量与目标图像，得到与目标图像对应的锐化图像。本方案能够提升锐化图像的图像质量。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
图像锐化处理属于图像处理技术领域的范畴，随着计算机技术与图像处理技术的发展，图像的锐化处理方式层出不穷，通过锐化处理可以补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰。
相关技术中，通常所采用的图像锐化方式，存在错误地增强图像背景区域中噪声点的缺陷，而且通过单一的可手动控制的同一增强系数增强所有像素点，容易在极高频像素点处出现大量白点的现象，导致图像锐化效果较差，极大地降低了图像的质量。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像质量的图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
本申请提供了一种图像处理方法。所述方法包括：
获取待进行锐化处理的目标图像；
对所述目标图像对应的高频图像进行去噪处理，得到所述目标图像对应的细节图像；所述细节图像包括每个像素点分别对应的原始细节强度；
对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率与所述细节图像中所述像素点的原始细节强度，确定所述像素点对应的细节增强系数；所述细节增强系数与所述原始细节强度的绝对值成反相关，且与所述对焦概率成正相关；
对于每个像素点，融合所述像素点对应的原始细节强度与细节增强系数，得到所述像素点对应的细节强度增量；
根据所述细节强度增量与所述目标图像，得到与所述目标图像对应的锐化图像。
本申请还提供了一种图像处理装置。所述装置包括：
获取模块，用于获取待进行锐化处理的目标图像；
去噪模块，用于对所述目标图像对应的高频图像进行去噪处理，得到所述目标图像对应的细节图像；所述细节图像包括每个像素点分别对应的原始细节强度；
确定模块，用于对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率与所述细节图像中所述像素点的原始细节强度，确定所述像素点对应的细节增强系数；所述细节增强系数与所述原始细节强度的绝对值成反相关，且与所述对焦概率成正相关；
融合模块，用于对于每个像素点，融合所述像素点对应的原始细节强度与细节增强系数，得到所述像素点对应的细节强度增量；
获得模块，用于根据所述细节强度增量与所述目标图像，得到与所述目标图像对应的锐化图像。
在一个实施例中，所述去噪模块，用于对所述目标图像依次进行组合滤波处理与非噪声点筛选处理，得到所述目标图像对应的非噪声点掩膜图；所述非噪声点掩膜图用于表征所述目标图像中的非噪声像素点与噪声像素点；获取与所述目标图像对应的高频图像；所述高频图像包括每个像素点分别对应的高频程度；通过对所述非噪声点掩膜图与所述高频图像进行点对点相乘处理，得到所述目标图像对应的细节图像，所述细节图像为从所述高频图像中去除噪声像素点的图像。
在一个实施例中，所述去噪模块，用于对所述目标图像进行第一滤波强度的保边滤波处理，得到第一保边滤波图像，所述第一保边滤波图像包括每个像素点分别对应的第一滤波值；对所述目标图像进行第二滤波强度的保边滤波处理，得到第二保边滤波图像，所述第二保边滤波图像包括每个像素点分别对应的第二滤波值；所述第二滤波强度大于所述第一滤波强度；对于每个像素点，计算所述像素点对应的第一滤波值与第二滤波值的差异，按所述差异将所述像素点归类为非噪声像素点或噪声像素点；根据所述目标图像中的非噪声像素点与噪声像素点，得到所述目标图像对应的非噪声点掩膜图。
在一个实施例中，所述去噪模块，用于将所述差异与预设差异阈值进行比较；当所述差异大于或等于所述预设差异阈值时，确定所述像素点为噪声像素点；当所述差异小于所述预设差异阈值时，确定所述像素点为非噪声像素点。
在一个实施例中，所述去噪模块，用于对所述目标图像进行非保边低通滤波处理，得到非保边滤波图像；对所述目标图像与所述非保边滤波图像进行点对点相减处理，得到与所述目标图像对应的高频图像。
在一个实施例中，所述图像处理装置，还包括对焦模块，所述对焦模块，用于获取所述目标图像所源自的原始图像；对所述原始图像进行对焦概率预测，得到所述原始图像中每个像素点属于所述原始图像中的对焦区域的对焦概率；根据每个像素点属于所述原始图像中的对焦区域的对焦概率，得到所述目标图像对应的对焦图像。
在一个实施例中，所述对焦模块，用于根据每个像素点相应的对焦概率，按预设对焦概率阈值，将每个像素点划分为所述原始图像中的虚幻区域中的像素点与对焦区域中的像素点；对于所述虚幻区域中的像素点，将相应的对焦概率进行压缩处理，得到压缩后的对焦概率；根据所述虚幻区域中的像素点所对应的压缩后的对焦概率，与所述对焦区域中的像素点所对应的对焦概率，得到所述目标图像对应的对焦图像。
在一个实施例中，所述确定模块，用于对于每个像素点，根据所述细节图像中所述像素点的原始细节强度，计算所述像素点所对应的自适应增强强度，所述自适应增强强度与所述原始细节强度的绝对值成反相关；对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率和所述像素点所对应的自适应增强强度，确定所述像素点对应的细节增强系数。
在一个实施例中，所述融合模块，用于对于每个像素点，将所述像素点对应的原始细节强度与细节增强系数的乘积，作为所述像素点对应的细节强度增量。
在一个实施例中，所述获得模块，用于对于每个像素点，对所述目标图像中所述像素点的初始像素值，叠加相应的细节强度增量，得到与所述像素点对应的增强细节强度；按预设的细节强度范围，对所述像素点对应的增强细节强度进行截断处理，得到与所述目标图像对应的锐化图像。
在一个实施例中，所述图像处理装置，还包括编码模块，所述获取模块，用于获取待进行锐化处理的目标视频；对所述目标视频进行视频解码，得到多个视频帧图像；依次将所述多个视频帧图像中的每一视频帧图像作为待进行锐化处理的目标图像；所述编码模块，用于将所述多个视频帧图像中的每一视频帧图像各自对应的锐化图像，进行视频编码，得到所述目标视频对应的锐化视频。
本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待进行锐化处理的目标图像；
对所述目标图像对应的高频图像进行去噪处理，得到所述目标图像对应的细节图像；所述细节图像包括每个像素点分别对应的原始细节强度；
对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率与所述细节图像中所述像素点的原始细节强度，确定所述像素点对应的细节增强系数；所述细节增强系数与所述原始细节强度的绝对值成反相关，且与所述对焦概率成正相关；
对于每个像素点，融合所述像素点对应的原始细节强度与细节增强系数，得到所述像素点对应的细节强度增量；
根据所述细节强度增量与所述目标图像，得到与所述目标图像对应的锐化图像。
本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待进行锐化处理的目标图像；
对所述目标图像对应的高频图像进行去噪处理，得到所述目标图像对应的细节图像；所述细节图像包括每个像素点分别对应的原始细节强度；
对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率与所述细节图像中所述像素点的原始细节强度，确定所述像素点对应的细节增强系数；所述细节增强系数与所述原始细节强度的绝对值成反相关，且与所述对焦概率成正相关；
对于每个像素点，融合所述像素点对应的原始细节强度与细节增强系数，得到所述像素点对应的细节强度增量；
根据所述细节强度增量与所述目标图像，得到与所述目标图像对应的锐化图像。
本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待进行锐化处理的目标图像；
对所述目标图像对应的高频图像进行去噪处理，得到所述目标图像对应的细节图像；所述细节图像包括每个像素点分别对应的原始细节强度；
对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率与所述细节图像中所述像素点的原始细节强度，确定所述像素点对应的细节增强系数；所述细节增强系数与所述原始细节强度的绝对值成反相关，且与所述对焦概率成正相关；
对于每个像素点，融合所述像素点对应的原始细节强度与细节增强系数，得到所述像素点对应的细节强度增量；
根据所述细节强度增量与所述目标图像，得到与所述目标图像对应的锐化图像。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品，在需要对目标图像进行锐化处理时，通过对目标图像对应的高频图像进行去噪处理，能够有效滤除高频噪声，得到目标图像对应的细节图像；细节图像包括每个像素点分别对应的原始细节强度；对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数；细节增强系数与原始细节强度的绝对值成反相关，且与对焦概率成正相关。这样，能够确保在对焦概率越高、且原始细节强度的绝对值的越低情况下，细节增强系数越高，自适应地调整了各个像素点分别对应的细节增强系数，避免了用相同细节增强系数对所有像素点进行处理带来的图像锐化效果较差的问题。对于每个像素点，融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量；根据细节强度增量与所述目标图像，得到与目标图像对应的锐化图像。这样，通过自适应调整各个像素点分别对应的细节增强系数，能够避免锐化图像产生白点现象，从而，提升了图像的质量。
附图说明
图1为一个实施例中原始图像与相关技术中锐化图像的对比的示意图；
图2为另一个实施例中原始图像与相关技术中锐化图像的对比的示意图；
图3为一个实施例中图像处理方法的应用环境图；
图4为一个实施例中图像处理方法的流程示意图；
图5为一个实施例中细节增强系数的示意图；
图6为一个实施例中原始细节强度与自适应增强强度的关系图；
图7为一个实施例中对焦图像中各个像素点的对焦概率的变化的示意图；
图8为一个实施例中原始图像中字幕的示意图；
图9为一个实施例中目标视频锐化的流程图；
图10为另一个实施例中图像处理方法的流程示意图；
图11为一个实施例中图像锐化示例的示意图；
图12为一个实施例中图像处理装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像处理方法，涉及人工智能(Artificial Intelligence,AI)技术，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例提供的图像处理方法，具体涉及人工智能的计算机视觉技术。
相关技术中，通常采用的图像锐化方式会将图像背景区域中的噪声点进行增强，得到锐化图像。如图1所示，对比图1中的原始图像和锐化图像，锐化图像中背景区域的噪声更加明显。而且，通常采用的图像锐化方式是通过单一的增强系数增强所有像素点，会使得极高频像素点出现增强后的结果超过灰度值上限的情况，从而，导致锐化图像出现白点。如图2所示，对比图2中原始图像和锐化图像，锐化图像出现了大量的白点。因此，通过所采用的图像锐化方对图像进行处理，得到的锐化图像存在明显的瑕疵，从而，极大地降低了图像的质量。
本申请实施例提供的图像处理方法，在需要对目标图像进行锐化处理时，通过对目标图像对应的高频图像进行去噪处理，能够有效滤除高频噪声，得到目标图像对应的细节图像；细节图像包括每个像素点分别对应的原始细节强度；对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数；细节增强系数与原始细节强度的绝对值成反相关，且与对焦概率成正相关。这样，能够确保在对焦概率越高、且原始细节强度的绝对值的越低情况下，细节增强系数越高，自适应地调整了各个像素点分别对应的细节增强系数，避免了用相同细节增强系数对所有像素点进行处理带来的图像锐化效果较差的问题。对于每个像素点，融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量；根据细节强度增量与所述目标图像，得到与目标图像对应的锐化图像。这样，通过自适应调整各个像素点分别对应的细节增强系数，能够避免锐化图像产生白点现象，从而，提升了图像的质量。
本申请实施例提供的图像处理方法，可以应用于如图3所示的应用环境中。其中，终端302通过网络与服务器304进行通信。数据存储系统可以存储服务器304需要处理的数据。数据存储系统可以集成在服务器304上，也可以放在云上或其他服务器上。终端302和服务器304均可单独执行该图像处理方法，也可协同执行该图像处理方法。
在一个实施例中，终端302将待进行锐化处理的目标图像发送至服务器304，服务器304，服务器304获取待进行锐化处理的目标图像；对目标图像对应的高频图像进行去噪处理，得到目标图像对应的细节图像；细节图像包括每个像素点分别对应的原始细节强度；对于每个像素点，服务器304根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数；细节增强系数与原始细节强度的绝对值成反相关，且与对焦概率成正相关；对于每个像素点，服务器304融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量；服务器304根据细节强度增量与目标图像，得到与目标图像对应的锐化图像。可选地，服务器304可以向终端302返回该锐化图像。
在一个实施例中，本申请实施例提供的图像处理方法也可以由终端302执行，例如，终端302上运行有客户端，该客户端获取待进行锐化处理的目标图像，对该目标图像执行本申请提供的图像处理方法，得到与目标图像对应的锐化图像。该客户端可以是社交应用客户端、视频客户端等。
其中，终端302可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能电视、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环等。服务器304可以用独立的服务器或者是多个服务器组成的服务器集群来实现，也可以用云服务器来实现。
在一个实施例中，如图4所示，提供了一种图像处理方法，以该方法应用于计算机设备(例如图3中的终端302或服务器304)为例进行说明，包括以下步骤：
步骤402，获取待进行锐化处理的目标图像。
其中，锐化处理是对图像轮廓进行补偿的处理，即增强图像的边缘和灰度跳变的部分。图像边缘的像素点和灰度跳变的像素点均是高频像素点。该高频像素点还包括噪声点(可理解为噪声像素点)。目标图像是尚未锐化处理的原始图像，该原始图像可以是RGB(Red Green Blue，红绿蓝)图像，也可以是与原始图像对应的通道图像，可选地，该通道图像是目标空间中的通道图像。例如，当该目标空间为RGB空间时，该通道图像可以是R(Red，红)通道图像，或者G(Green，绿)通道图像，或者B(Blue，蓝)通道图像。当该目标空间为YUV(Y(Luminance或Luma)为明亮度，U(Chrominance)为色度，V(Chroma)为浓度)空间时，该通道图像为Y(Luminance或Luma，明亮度)通道图像。
具体地，计算机设备获取至少一个待进行锐化处理的目标图像。
在一个实施例中，计算机设备从多媒体设备或者本地获取至少一个原始图像，并将该原始图像作为目标图像。或者，计算机设备从该多媒体设备或者本地获取原始视频，并对该原始视频进行解码得到多个视频帧图像，该视频帧图像为原始图像，计算机设备将每个视频帧图像作为目标图像。该多媒体设备可以是相机，也可以是移动终端，具体不作限定。该本地可以是本地相册，也可以是客户端，该客户端可以是视频客户端，也可以是社交应用客户端。
由于原始图像分为标准动态图像和高动态范围图像，标准动态图像和高动态范围图像的像素点的取值范围不同，如标准动态图像的像素值的取值范围为0到255，高动态范围图像的像素值的取值范围为0到210。因此，为了统一后续步骤中图像的标准，通过采用归一化处理，使得归一化的图像的像素值的取值范围为0到1。
可选地，计算机设备在得到原始图像后，将对该原始图像进行归一化处理，得到归一化的图像，将该归一化的图像作为目标图像。
在一个实施例中，计算机设备获取至少一个待进行锐化处理的原始图像，计算机设备对该原始图像进行归一化处理，得到归一化的图像。计算机设备确定该归一化的图像的通道图像，并将通道图像作为目标图像。可选地，计算机设备确定归一化的图像的R通道图像、G通道图像、B通道图像，并将R通道图像、G通道图像、B通道图像均作为目标图像，或者，计算机设备将该归一化的图像转换为YUV图像，并确定YUV图像所对应的Y通道图像，并将该Y通道图像作为目标图像。在本实施例中，原始图像可以按前述实施例的方法获取。
步骤404，对目标图像对应的高频图像进行去噪处理，得到目标图像对应的细节图像；细节图像包括每个像素点分别对应的原始细节强度。
其中，对于高频图像中的像素点来说，该像素点的像素值的绝对值越高，则该像素点越高频，即高频程度越高。由于噪声像素点和处于边缘的边缘像素点均属于高频点，因此，在高频图像中噪声像素点和边缘像素点的像素值的绝对值都很高。去噪处理是对高频图像中属于高频像素点的噪声像素点进行去除的操作
具体地，计算机设备获取与目标图像对应的高频图像，并对该高频图像中噪声像素点的像素值进行去除，得到该目标图像对应的细节图像。该细节图像中噪声像素点的原始细节强度(即像素值)很小，可以视为0，并将该细节图像中细节点的原始细节强度(即像素值)保留，该细节点包括边缘像素点。
可选地，在目标图像为归一化的图像时，计算机设备获取该目标图像每个通道的通道图像所对应的高频图像，并对该高频图像中噪声像素点的像素值进行去除，得到该目标图像对应的细节图像。
可选地，在目标图像为通道图像的情况下，当目标图像为RGB空间中的通道图像时，每个通道的通道图像均为目标图像，对于每个通道，计算机设备获取该通道的通道图像所对应的高频图像，并对该高频图像中的像素点的像素值进行去除，得到该目标图像对应的该通道的细节图像。或者，当该目标图像为Y通道图像时，计算机设备获取该Y通道图像所对应的高频图像，并对该高频图像中的像素点的像素值进行去除，得到该目标图像对应的Y通道的细节图像。
在一个实施例中，对目标图像对应的高频图像进行去噪处理，得到目标图像对应的细节图像，包括：对目标图像依次进行组合滤波处理与非噪声点筛选处理，得到目标图像对应的非噪声点掩膜图；非噪声点掩膜图用于表征目标图像中的非噪声像素点与噪声像素点；获取与目标图像对应的高频图像；高频图像包括每个像素点分别对应的高频程度；通过对非噪声点掩膜图与高频图像进行点对点相乘处理，得到目标图像对应的细节图像，细节图像为从高频图像中去除噪声像素点的图像。
其中，组合滤波处理为通过两次滤波强度不同的滤波处理，两次滤波处理均为低通的保边滤波。该保边滤波为保留边缘信息的滤波，因此，通过低通的保边滤波可以将高频的噪声像素点滤除且保留高频的边缘像素点。
具体地，计算机设备对目标图像依次进行两次滤波强度不同的滤波处理，得到与各次滤波分别对应的滤波结果，并计算两次滤波结果之间的差绝对值图。计算机设备对该差绝对值图进行非噪声点筛选处理，得到目标图像对应的非噪声点掩膜图。该非噪声点掩膜图包括各个像素点分别对应的掩膜系数，该非噪声点掩膜图用于确定目标图像中非噪声像素点和噪声像素点的位置，该非噪声像素点的掩膜系数大于该噪声像素点的掩膜系数。该目标图像的像素点包括噪声像素点和非噪声像素点。计算机设备获取与该目标图像对应的高频图像。对于每个像素点，计算机设备将非噪声点掩膜图中所述像素点对应的掩膜系数和高频图像中像素点对应的像素值进行相乘处理，得到各个像素点分别对应原始细节强度，并根据各个像素点分别对应的原始细节强度，确定目标图像对应的细节图像。
例如，在确定了非噪声点掩膜图和高频图像之后，可通过下述公式确定细节图像Detail：
Detail(i,j)＝Diff(i,j)·Mnot_noise(i,j)
其中，对于像素点(i,j)，Detail(i,j)为该像素点的原始细节强度，Mnot_noise(i,j)表示该像素点的掩膜系数，Diff(i,j)表示该像素点的像素值。
需要说明的是，该差绝对值图包括各个像素点分别对应的差异。对于边缘像素点，由于组合滤波采用的是保边滤波，即两次滤波结果中边缘像素点的滤波值相同，即差绝对值图中边缘像素点的差异非常小。对于噪声像素点，越高频的噪声像素点对滤波强度越敏感，因此，两次滤波结果中噪声像素点的滤波值有差异。
例如，当目标图像为归一化的图像时，计算机设备确定该目标图像的通道图像，对该通道图像依次进行两次滤波强度不同的滤波处理，得到与各次滤波分别对应的滤波结果。当目标图像为通道图像时，计算机设备对该通道图像依次进行两次滤波强度不同的滤波处理，得到与各次滤波分别对应的滤波结果。在得到滤波结果之后，可以采用本实施例中前述确定目标图像对应的非噪声点掩膜图。
对于高频图像的获取步骤包括：对于目标图像为归一化的图像，计算机设备对该目标图像的通道图像进行高频滤波处理得到高频图像，或者，计算机设备根据该目标图像的通道图像，通过低通滤波处理得到低频图像，并将目标图像的通道图像和低频图像通过点对点相减处理，得到高频图像。对于目标图像为通道图像，计算机设备对该通道图像进行高频图像进行高频滤波处理得到高频图像，或者，计算机设备根据该通道图像，通过低通滤波处理得到低频图像，并将目标图像的通道图像和低频图像通过点对点相减处理，得到高频图像。
在本实施例中，通过组合滤波处理与非噪声点筛选处理，能够得到确定噪声像素点和非噪声像素点的非噪声点掩膜图，从而，能够根据该非噪声点掩膜图准确且迅速的筛选出噪声像素点。这样，通过对非噪声点掩膜图和包括各个像素点的高频程度的高频图像进行点对点相乘处理，能够准确地将高频图像中的噪声像素点去除，从而得到细节图像，使得后续根据该细节图像能够有效避免错误增强噪声像素点。
在一个实施例中，对目标图像依次进行组合滤波处理与非噪声点筛选处理，得到目标图像对应的非噪声点掩膜图，包括：对目标图像进行第一滤波强度的保边滤波处理，得到第一保边滤波图像，第一保边滤波图像包括每个像素点分别对应的第一滤波值；对目标图像进行第二滤波强度的保边滤波处理，得到第二保边滤波图像，第二保边滤波图像包括每个像素点分别对应的第二滤波值；第二滤波强度大于第一滤波强度；对于每个像素点，计算像素点对应的第一滤波值与第二滤波值的差异，按差异将像素点归类为非噪声像素点或噪声像素点；根据目标图像中的非噪声像素点与噪声像素点，得到目标图像对应的非噪声点掩膜图。
具体地，当目标图像为归一化的图像时，计算机设备对该目标图像的通道图像进行第一滤波强度的低通的保边滤波处理，得到第一保边滤波图像。计算机设备对该目标图像的通道图像进行第二滤波强度的低通的保边滤波处理，得到第二保边滤波图像。或者，当目标图像为通道图像时，计算机设备对该目标图像进行第一滤波强度的低通的保边滤波处理，得到第一保边滤波图像。第一保边滤波图像包括每个像素点分别对应的第一滤波值。计算机设备对该目标图像进行第二滤波强度的低通的保边滤波处理，得到第二保边滤波图像。第二保边滤波图像包括每个像素点分别对应的第二滤波值。对于每个像素点，计算机设备计算该像素点对应的第一滤波值和第二滤波值的差绝对值，计算机设备按差绝对值将像素点归类为非噪声像素点或噪声像素点；根据目标图像中的非噪声像素点与噪声像素点，得到目标图像对应的非噪声点掩膜图。
示例性地，该保边滤波可以是导向滤波、双边滤波、双指数边缘平滑滤波器、加权最小二乘法滤波器、非均值局部滤波器、选择性模糊、表面模糊等，具体不作限定。
以目标图像对通道图像为例进行说明，该通道图像为Y通道图像，第一滤波强度的保边滤波处理和第二滤波强度的保边滤波处理均为导向滤波。计算机设备确定第一滤波强度的低通的保边滤波处理的第一正则化参数ε为0.00001，计算机设备将Y通道图像作为导向滤波的输入图像I，并将Y通道图像作为导向滤波的引导图像p。需要说明的是，当导向滤波的引导图像为输入图像时，导向滤波可视为一个保边滤波器，用于图像的平滑处理。计算机设备根据输入图像I，通过均值滤波函数fmean()，得到输入图像I的均值滤波结果meanI，即，通过公式meanI＝fmean(I)确定。计算机设备根据引导图像p，通过均值滤波函数fmean()，得到引导图像p的均值滤波结果meanp，即，通过公式meanp＝fmean(p)确定。计算机设备对输入图像I和输入图像I进行点对点相乘处理，得到点乘结果I，并根据点乘结果I，通过均值滤波函数fmean()，得到关于输入图像I的协方差corrI，即，通过公式corrI＝fmean(I.*I)确定。计算机设备对输入图像I和引导图像p进行点对点相乘处理，得到点乘结果Ip，并根据点乘结果Ip，通过均值滤波函数fmean()，得到协方差corrIp，即，通过公式corrIp＝fmean(I.*p)。计算机设备根据协方差corrI和均值滤波结果meanI，确定方差varI，即，通过公式varI＝corrI-meanI.*meanI确定。计算机设备根据协方差corrIp、均值滤波结果meanI和均值滤波结果meanp，确定协方差covIp，即通过公式covIp＝corrIp-meanI.*meanp确定。计算机设备叠加方差varI和第一正则化参数ε得到叠加值，并根据协方差covIp和该叠加值，通过点除计算，得到相关因子a，即通过公式a＝covIp./(varI+ε)确定。计算机设备根据均值滤波结果meanp、相关因子a和均值滤波结果meanI，确定相关因子b，即通过公式b＝meanp-a.*meanI确定。计算机设备根据该相关因子a，通过均值滤波函数fmean()得到均值滤波结果meana，即通过公式meana＝fmean(a)确定，根据该相关因子b，通过均值滤波函数fmean()得到均值滤波结果meanb，即通过公式meanb＝fmean(b)确定。计算机设备根据输入图像I、均值滤波结果meana和均值滤波结果meanb，得到输出图像q，即通过公式q＝meana.*I+meanb确定，该输出图像q即为第一保边滤波图像
对于第二保边滤波图像/>
的确定，该第二滤波强度稍微高于第一滤波强度，即，第二正则化参数稍微大于第一正则化参数，比如，第二正则化参数ε为0.0001，具体地，第二保边滤波图像/>
的计算原理和设置与上述计算第一保边滤波图像/>
相同。相对于保边、模糊的第一保边滤波图像/>
第二保边滤波图像/>
更模糊。
在确定了第一保边滤波图像
和第二保边滤波图像/>
之后，对于每个i像素点，计算机设备计算该像素点对应的第一滤波值和第二滤波值的差绝对值Diffblur(i,j)，具体如下所示：
其中，·(i,j)表示·在位置(i,j)(即像素点(i,j))上的值。计算机设备按差绝对值将像素点归类为非噪声像素点或噪声像素点；根据目标图像中的非噪声像素点与噪声像素点，得到目标图像对应的非噪声点掩膜图。
在本实施例中，通过两次滤波强度不同的保边滤波处理，得到两个强度稍有差异的保边滤波图像。由于保边滤波处理能够保留高频的边缘像素点，并去除高频的噪声像素点，因此，相对于边缘像素点对应的差异，噪声像素点对应的差异较大。这样，按差异将各个像素点进行区分，从而，得到能够准确反映非噪声像素点位置和噪声像素点位置的非噪声点掩膜图，利于后续得到有效的细节图像。
在一个实施例中，按差异将像素点归类为非噪声像素点或噪声像素点，包括：将差异与预设差异阈值进行比较；当差异大于或等于预设差异阈值时，确定像素点为噪声像素点；当差异小于预设差异阈值时，确定像素点为非噪声像素点。
具体地，计算机设备获取预设差异阈值，并将该像素点对应的差异与预设差异阈值进行比较。当该差异大于或等于预设差异阈值时，计算机设备确定该像素点为噪声像素点，并将该像素点的掩膜系数设为0。当该差异小于预设差异阈值时，计算机设备确定该像素点为非噪声像素点，并将该像素点的掩膜系数设为1。
例如，通过下述公式确定各个像素点的掩膜系数：
其中，Mnot_noise(i,j)为像素(i，j)的掩膜系数，Diffblur(i,j)为像素点(i，j)对应的差异，也可以理解为差绝对值。该预设差异阈值为
其中，该预设差异阈值越小，则筛选出来的高频的噪声像素点越多。为避免因预设差异阈值设置过小而将非噪声像素点误判为噪声像素点，则需要根据经验将预设差异阈值调整至预设范围内。
在本实施例中，通过将像素点对应的差异与预设差异阈值进行比较，能够区分该像素点是否为噪声像素点，在后续的锐化中能够有效避免对噪声像素点进行错误增强，从而确保了锐化图像的质量。
在一个实施例中，获取与目标图像对应的高频图像，包括：对目标图像进行非保边低通滤波处理，得到非保边滤波图像；对目标图像与非保边滤波图像进行点对点相减处理，得到与目标图像对应的高频图像。
其中，非保边低通滤波处理表征低通且非保边的滤波处理。
具体地，计算机设备对目标图像进行非保边低通滤波处理，得到非保边滤波图像。对于每个像素点，计算机设备确定该目标图像中该像素点的初始像素值和该非保边滤波图像中该像素点的非保边滤波值，并将该像素点所对应的初始像素值和非保边滤波值进行相减处理，得到与目标图像对应的高频图像。
示例性地，非保边低通滤波可以是高斯滤波，或者均值滤波，或者中值滤波，具体不作限定。
可选地，当目标图像为归一化的图像时，计算机设备对该目标图像的通道图像进行非保边低通滤波处理，得到非保边滤波图像，其中，该通道图像包括各个像素点的初始像素值。当目标图像为通道图像时，计算机设备对该目标图像进行非保边低通滤波处理，得到非保边滤波图像，其中，该目标图像包括各个像素点的初始像素值。
以目标图像为Y通道图像为例，采用下述公式确定高频图像Diff：
Diff(i,j)＝Y(i,j)-Yblur(i,j)
其中，·(i,j)表示·在位置(i,j)上的值。Y(i,j)为Y通道图像中像素点(i,j)的初始像素值。Yblur(i,j)为非保边滤波图像Yblur中像素点(i,j)的非保边滤波值。
在本实施例中，通过非保边低通滤波处理，能够保留低频的像素点的像素值，且去除高频的像素点的像素值。因此，对目标图像和非保边滤波图像进行点对点相减处理，使得高频的像素点的像素值的绝对值变高，低频的像素点的像素值的绝对值变低，从而，实现了高通滤波效果。
步骤406，对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数；细节增强系数与原始细节强度的绝对值成反相关，且与对焦概率成正相关。
具体地，对于每个像素点，计算机设备获取与目标图像对应的对焦图像，并根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数。
对焦图像可以反应图像中像素点成为关注焦点的概率，对焦图像中的像素点分为对焦区域的像素点与虚幻区域的像素点，对焦区域的像素点的对焦概率高于虚幻区域(即非对焦区域)的像素点的对焦概率。
本申请中，在对视频进行锐化时，为了减少视频的编码码率，分区域对像素点进行增强细节，具体而言，对焦概率越高的区域，其细节增强系数应当越高，反之，对焦概率越低的区域(如虚幻区域)，其细节增强系数应当越低。也即，像素点对应的细节增强系数与像素点的对焦概率成正相关。
此外，可以理解，像素点的原始细节强度的绝对值越低，该像素点更需要增强细节，则像素点的细节增强系数应当越高，反之，像素点的原始细节强度的绝对值越高，该像素点已经有了一定的图像细节，不那么需要增强细节，则像素点的细节增强系数应当相对低一些，也即是，细节增强系数与所述原始细节强度的绝对值成反相关。
如图5所示，为一个实施例中细节增强系数与原始细节强度、对焦概率的变化关系的示意图。图5中，横轴代表像素点的原始细节强度，纵轴代表像素点对应的对焦概率，图5中，越白的区域是细节增强系数越高，越黑的区域是细节增强系数越低。较白的区域，原始细节强度的绝对值较小、且对焦概率较高，也就是说，对于一个像素点，其原始细节强度的绝对值越低、且对焦概率越高，则该像素点对应的细节增强系数越高。而较黑的区域，原始细节强度的绝对值较大、或对焦概率较低，也就是说，对于一个像素点，其原始细节强度的绝对值越大、或对焦概率越低，则该像素点对应的细节增强系数越低。
在一个实施例中，对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数，包括：对于每个像素点，根据细节图像中像素点的原始细节强度，计算像素点所对应的自适应增强强度，自适应增强强度与原始细节强度的绝对值成反相关；对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率和像素点所对应的自适应增强强度，确定像素点对应的细节增强系数。
具体地，对于每个像素点，计算机设备根据细节图像中像素点的原始细节强度，计算像素点所对应的自适应增强强度，自适应增强强度与原始细节强度的绝对值成反相关。对于每个像素点，计算机设备计算目标对应的对焦图像中该像素点的对焦概率和该像素点所对应的自适应增强强度的乘积，将该像素点对应的乘积作为该像素点对应的细节增强系数。
例如，计算机设备确定增强强度峰值，并根据增强强度峰值、原始细节强度的绝对值，通过指数计算，确定自适应增强强度。该指数计算为以指数为自变量，底数为e的指数函数，示例性地，计算像素点的原始细节强度的绝对值所对应的指数值，并将该指数值与增强强度峰值的乘积，作为该像素点的自适应增强强度。例如，通过下述公式计算像素点的自适应增强强度：
其中，·(i,j)表示·在位置(i,j)上的值，W(i,j)表征像素点(i，j)的自适应增强强度，|Detail(i,j)|为像素点(i,j)的原始细节强度的绝对值，p为增强强度峰值，a和b为曲线调节因子，并且满足
设p＝2.5，/>
b＝3。如图6所示，为原始细节强度与自适应增强强度的关系图。结合上述公式可知，该自适应增强强度的函数是对称函数，由图6可知，当原始细节强度越靠近0也就是绝对值越小时，自适应增强强度越大，当原始细节强度越远离0也就是绝对值越大时，自适应增强强度越小。
在本实施例中，对于细节图像上原始细节强度的绝对值越高的像素点，其细节程度已经足够高，无需过量的增强，而对于原始细节强度的绝对值越高的像素点，其细节程度很低，需要进行增强。基于此，以自适应增强强度与原始细节强度的绝对值反相关为目的，确定各个像素点的自适应增强强度。这样，根据像素点所对应的自适应增强强度和对焦概率，能够自适应的调整该像素点的细节增强系数，确保细节程度低的像素点得到足够的细节增强，以提升图像的清晰度，避免对细节程度高的像素点进行过度增强。
在一个实施例中，在确定像素点对应的细节增强系数之前，方法还包括：获取目标图像所源自的原始图像；对原始图像进行对焦概率预测，得到原始图像中每个像素点属于原始图像中的对焦区域的对焦概率；根据每个像素点属于原始图像中的对焦区域的对焦概率，得到目标图像对应的对焦图像。
其中，在本实施例中该目标图像为未归一化的原始图像。该对焦图像表征像素点的对焦情况，该像素点的对焦概率越大，则该像素点越可能处于原始图像中对焦区域，该像素点的对焦概率越小，则该像素点越可能处于原始图像中非对焦区域。
具体地，计算机设备获取目标图像所源自的原始图像，对归一化后的原始图像进行对焦概率预测，得到原始图像中每个像素点属于原始图像中的对焦区域的对焦概率。计算机设备根据每个像素点属于原始图像中的对焦区域的对焦概率和预设对焦概率阈值的比较结果，确定目标图像对应的对焦图像。对焦概率小于或等于预设对焦概率阈值的像素点视为虚幻区域的像素点，对焦概率大于预设对焦概率阈值的像素点视为对焦区域的像素点。
在对焦概率预测的处理中，采用任意的像素级别的对焦概率预测的算法确定对焦概率。示例性地，通过像素级别的离焦地图估计网络(DMENet，一种端到端的卷积神经网络)进行对焦概率预测。理论上，对焦概率预测算法的准确率越高，所得到的对焦图像越准确，则后续得到的锐化图像的图像质量就越高。
在根据比较结果确定目标图像对应的对焦图像的处理中，对于每个像素点，若根据比较结果确定该像素点处于对焦区域，则对该像素点的对焦概率进行第一变换，得到第一对焦概率，该第一变换可以是不对对焦概率进行任何处理，即保留该对焦概率，也可以是对该对焦概率适应性的增加。若根据比较结果确定该像素点处于虚幻区域的像素点，则对该像素点的对焦概率进行第二变换，得到第二对焦概率，该第二变换可以是将该像素点的对焦概率设置为一个极小的数(如数值0)的处理，或者对虚幻区域的像素点的对焦概率进行压缩处理。这样，计算机设备根据处于对焦区域的像素点的第一对焦概率和处于虚幻区域的像素点的第二对焦概率，确定对焦图像。
在本实施例中，通过对原始图像进行对焦概率预测，能够得到原始图像中每个像素点属于该原始图像中的对焦区域的对焦概率。即，对焦概率越低，则说明该像素点属于对焦区域的可能性越低，属于虚幻区域的可能性更高。因此，根据每个像素点属于原始图像中的对焦区域的对焦概率，得到的细节图像可以准确区分对焦区域和虚幻区域。
在一个实施例中，根据每个像素点属于原始图像中的对焦区域的对焦概率，得到目标图像对应的对焦图像，包括：根据每个像素点相应的对焦概率，按预设对焦概率阈值，将每个像素点划分为原始图像中的虚幻区域中的像素点与对焦区域中的像素点；对于虚幻区域中的像素点，将相应的对焦概率进行压缩处理，得到压缩后的对焦概率；根据虚幻区域中的像素点所对应的压缩后的对焦概率，与对焦区域中的像素点所对应的对焦概率，得到目标图像对应的对焦图像。
具体地，计算机设备根据每个像素点相应的对焦概率，将该对焦概率和预设对焦概率阈值进行比较，得到像素点的比较结果。若比较结果表征该对焦概率小于该预设对焦概率阈值，则该像素点属于虚幻区域中的像素点。若比较结果表征该对焦概率大于或等于该预设对焦概率阈值，则该像素点属于对焦区域中的像素点。对于虚幻区域中的像素点，计算机设备将相应的对焦概率进行压缩处理，得到压缩后的对焦概率。对于对焦区域中的像素点，计算机设备不对该对焦概率处理。计算机设备根据虚幻区域中的像素点所对应的压缩后的对焦概率，与对焦区域中的像素点所对应的对焦概率，得到目标图像对应的对焦图像。
例如，计算机设备通过对原始图像进行对焦概率预测，得到原始对焦概率图，该原始对焦概率图包括各个像素点的对焦概率。对于每个像素点，若该像素点的对焦概率小于预设对焦概率阈值，则确定该像素点属于虚幻区域中的像素点，并通过该对焦概率和预设对焦概率阈值，通过sigmoid(S型曲线)函数，确定压缩后的对焦概率。计算机设备根据虚幻区域中的像素点所对应的压缩后的对焦概率，与对焦区域中的像素点所对应的对焦概率，得到目标图像对应的对焦图像。示例性地，在得到了原始对焦概率图OF之后，通过下述公式确定对焦图像SF：
其中，·(i,j)表示·在位置(i,j)(即像素点(i,j))上的值，S(·)为sigmoid函数，t为预设对焦概率阈值，s为压缩因子，SF(i,j)表示对焦图像中像素点(i,j)的对焦概率，OF(i,j)表示原始对焦概率图中像素点(i,j)的对焦概率。如图7所示，为对焦图像中各个像素点的对焦概率的变化的示意图。图7是在t＝0.8，s＝30的情况下得到的示意图，图7中实线代表原始对焦概率图中属于虚幻区域的像素点的对焦概率的变化情况，虚线代表原始对焦概率图中属于对焦区域中像素点的对焦概率的变化情况。很明显，图7中将虚幻区域的对焦概率压缩到预设对焦概率阈值以下，而不对对焦区域中对焦概率进行压缩，以使得对焦区域和虚幻区域的区分度更高，有利于后续更专注于增强对焦区域。
在本实施例中，为了降低虚幻区域的锐化操作，则通过预设对焦阈值将对焦区域和虚幻区域进行区分，并通过对虚幻区域的像素点的对焦概率进行压缩处理，使得压缩处理后的对焦概率低于预设对焦概率。这样，不仅使得对焦区域和虚幻区域的区分度更高，而且还能够降低后续虚幻处于中的细节增强系数，以使得后续能够避免对虚幻区域进行锐化处理，也就是，在确保了对焦区域的清晰度的情况下，还避免了对不重要的虚幻区域进行锐化操作，即，在提升了锐化后图像的图像质量的情况下，还能节省码率成本。
步骤408，对于每个像素点，融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量。
其中，像素点对应的细节强度增量表征该像素点需要增加的量。
具体地，对于每个像素点，计算机设备根据该像素点对应的原始细节强度与细节增强系数，通过点乘计算，得到该像素点对应的细节强度增量。
需要说明的是，在原始图像中存在字幕的情况中，字幕黑边和黑边周围的像素点的原始细节强度的绝对值是一个很大的值。通常采用的图像锐化方式会对原始图像中各个像素点均赋予相同的细节增强系数，那么，字幕黑边和黑边周围的像素点所对应的细节强度增量很大，因此，锐化图像中字幕黑边和黑边周围的像素点的像素值极有可能超过最大亮度，则视觉上该像素点会变白变亮，即锐化图像中会出现字幕外缘发光的情况，如图8所述，为原始图像中字幕的示意图，该图8是对原始图像中字幕部分进行截取的图像，字幕2是相关技术中锐化效果示意图，字幕1是本申请实施例方法的锐化效果示意图，很明显，字幕2“我才拒绝了他”中每个字的外缘都呈现白色，即字幕2中出现了字幕外缘发光的情况。
而本申请中由于细节增强系数是与原始细节强度的绝对值成反相关，也就是说，像素点的原始细节强度的绝对值越高，则需要增强的量很少，即细节增强系数越小，此时，该像素点对应的细节强度增量也就不会超过最大亮度，避免了字幕外缘发光的情况。
在一个实施例中，对于每个像素点，融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量，包括：对于每个像素点，将像素点对应的原始细节强度与细节增强系数的乘积，作为像素点对应的细节强度增量。
具体地，对于每个像素点，计算机设备获取该像素点对应的原始细节强度和细节强度增量，将该像素点对应的原始细节强度与细节增强系数的乘积，作为像素点对应的细节强度增量。
例如，对于像素点(i,j)，可以采用下述公式确定该像素点对应的细节强度增量Detailsharp(i,j)：
Detailsharp(i,j)＝Detail(i,j)·FW(i,j)
其中，Detail(i,j)表征细节图像Detail中像素点(i,j)的原始细节强度，FW(i,j)表征细节增强系数图像FW中像素点(i,j)的细节增强系数。
在本实施例中，通过计算像素点对应的原始细节强度和细节增强系数的乘积，能够迅速且准确确定该像素点需要增加的细节强度增量，有利于后续高效确定锐化图像。
步骤410，根据细节强度增量与目标图像，得到与目标图像对应的锐化图像。
具体地，在目标图像为归一化的图像的情况下，计算机设备确定该目标图像的通道图像中各个像素点对应的初始像素值。或者，在目标图像为通道图像的情况下，计算机设备确定目标图像中各个像素点对应的初始像素值。计算机设备在确定了各个像素点对应的初始像素值之后，通过融合相同像素点对应的初始像素值和细节强度增量，得到与目标图像对应的锐化图像。
在一个实施例中，根据细节强度增量与目标图像，得到与目标图像对应的锐化图像，包括：对于每个像素点，对目标图像中像素点的初始像素值，叠加相应的细节强度增量，得到与像素点对应的增强细节强度；按预设的细节强度范围，对像素点对应的增强细节强度进行截断处理，得到与目标图像对应的锐化图像。
其中，该预设的细节强度范围用于对各个像素点的增强细节强度进行归一化。由于图像像素点本身是有限制取值范围的，比如，标准动态范围图像的取值范围是0到255，高动态范围图像的取值范围是0到210，此时，可以判断各个像素点的增强细节强度是否超过预设的细节强度范围，若超过，则将该超过的像素点的增强细节强度进行截断，以使得后续得到的锐化图像是遵循图像的取值范围的。
具体地，在目标图像为归一化的图像的情况下，计算机设备确定该目标图像的通道图像中各个像素点对应的初始像素值。或者，在目标图像为通道图像的情况下，计算机设备确定目标图像中各个像素点对应的初始像素值。计算机设备在确定了各个像素点对应的初始像素值之后，对于每个像素点，将相应的像素点对应的初始像素值和细节强度增量进行叠加，得到与像素点对应的增强细节强度。对于每个像素点，若该像素点对应的增强细节强度处于预设的细节强度范围之内，则计算机设备不对该像素点的增强细节强度处理，并将该像素点的增强细节强度作为目标强度。若该像素点对应的增强细节强度不处于预设的细节强度范围之内，则计算机设备对该像素点对应的增强细节强度进行截断处理，得到截断后增强细节强度，并将该像素点的截断后增强细节强度作为目标强度。计算机设备根据各个像素点的目标强度，得到与目标图像对应的锐化图像。
例如，以目标图像为Y通道图像为例进行说明，通过下述公式来确定像素点(i,j)的目标强度Ysharp(i,j)：
其中，Y(i,j)表征像素点(i,j)的初始像素值，Detailsharp(i,j)表征像素点(i,j)的细节强度增量。预设的细节强度范围为0到1。由该公式可知，对于每个像素点，若该像素点对应的增强细节强度大于该预设的细节强度范围的最大值，则确定该像素点的目标强度为该最大值。若该像素点对应的增强细节强度小于该预设的细节强度范围的最小值，则确定该像素点的目标强度为该最小值。
进一步地，在目标图像为通道图像的情况下，在确定了各个像素点的目标强度之后，根据各个像素点的目标强度，确定增强通道图像。若该通道图像为Y通道图像，则该增强通道图像为增强Y通道图像，计算机设备获取与Y通道图像对应的U(Chrominance，色度)通道图像和V(Chroma，浓度)通道图像，并融合增强Y通道图像、U通道图像和V通道图像得到锐化后的YUV图像，然后将锐化后的YUV图像转换为RGB空间下的锐化图像。若该通道图像包括R通道图像、G通道图像和B通道图像，则每个通道图像均通过上述步骤402至步骤410得到增强R通道图像、增强G通道图像和增强B通道图像，计算机设备融合增强R通道图像、增强G通道图像和增强B通道图像，得到RGB空间下的锐化图像。
在本实施例中，在叠加了像素点的初始像素值和细节强度增量得到增强细节强度之后，通过预设的细节强度范围能够对各个像素点的增强细节强度进行归一化处理，以确得到的锐化图像是遵循图像的取值范围的。
上述图像处理方法中，在需要对目标图像进行锐化处理时，通过对目标图像对应的高频图像进行去噪处理，能够有效滤除高频噪声，得到目标图像对应的细节图像；细节图像包括每个像素点分别对应的原始细节强度；对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数；细节增强系数与原始细节强度的绝对值成反相关，且与对焦概率成正相关。这样，能够确保在对焦概率越高、且原始细节强度的绝对值的越低情况下，细节增强系数越高，自适应地调整了各个像素点分别对应的细节增强系数，避免了用相同细节增强系数对所有像素点进行处理带来的图像锐化效果较差的问题。对于每个像素点，融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量；根据细节强度增量与所述目标图像，得到与目标图像对应的锐化图像。这样，通过自适应调整各个像素点分别对应的细节增强系数，能够避免锐化图像产生白点现象，从而，提升了图像的质量。
在一个实施例中，获取待进行锐化处理的目标图像，包括：获取待进行锐化处理的目标视频；对目标视频进行视频解码，得到多个视频帧图像；依次将多个视频帧图像中的每一视频帧图像作为待进行锐化处理的目标图像；方法还包括：将多个视频帧图像中的每一视频帧图像各自对应的锐化图像，进行视频编码，得到目标视频对应的锐化视频。
其中，该目标视频可以是视频客户端中的长视频或者短视频，也可以是由多媒体设备对某个场景，或者某个用户进行录制而得到的视频等，具体不作限定。
具体地，计算机设备获取待进行锐化处理的目标视频，并对该目标视频进行视频解码，得到多个视频帧图像。计算机设备依次将每一视频帧图像作为待进行锐化处理的目标图像。对于每个目标图像，计算机设备执行步骤402至步骤410，以得到目标图像对应的锐化图像。计算机设备将多个视频帧图像中的每一视频帧图像各自对应的锐化图像，进行视频编码，得到目标视频对应的锐化视频。
例如，如图9所示，为目标视频锐化的流程图，将前述的步骤402至步骤410的过程视为是图像增强流程。对于一个目标视频，计算机设备对该目标视频进行解码后得到n个帧图像(可理解为视频帧图像)，分别是帧图像1、…、帧图像n。对于每一个帧图像，对该帧图像应用图像增强流程，得到该帧图像对应的增强帧图像(即锐化图像)，即得到了n个增强帧图像。计算机设备将n个增强帧图像进行编码得到增强视频，即锐化视频。
在本实施例中，通过对目标视频进行解码，将待锐化的目标视频分解成多个视频帧图像。然后，通过将各个视频帧图像依次作为目标图像来得到画质增强的锐化图像。这样，根据各个锐化图像能够获取画质清晰的锐化视频。并且，每个锐化图像都是对对焦区域高频部分增强，避免了对非对焦区域进行增强，从而能够极大地降低视频码率成本。
本申请还提供一种应用场景，该应用场景应用上述的图像处理方法。具体地，该图像处理方法在该应用场景的应用例如如下所述：在视频客户端应用场景中，为了确保视频的画质，比如，长视频(如视频点播、视频直播)、短视频等，可以将待处理的视频进行解码，得到多个视频帧图像，依次将每个视频帧图像作为目标图像进行锐化处理，具体地，通过获取待进行锐化处理的目标图像；对目标图像对应的高频图像进行去噪处理，得到目标图像对应的细节图像；细节图像包括每个像素点分别对应的原始细节强度；对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数；细节增强系数与原始细节强度的绝对值成反相关，且与对焦概率成正相关；对于每个像素点，融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量；根据细节强度增量与目标图像，得到与目标图像对应的锐化图像。这样，能够极大地提升视频帧图像的图像质量，进而，得到高画质的锐化视频。
当然并不局限于此，本申请提供的图像处理方法还可以应用在其他应用场景中，例如在社交场景中，为了响应用户的图像分享请求，社交应用客户端可以通过本申请的图像处理方法来提高图像质量。
上述应用场景仅为示意性的说明，可以理解，本申请各实施例所提供的图像处理方法的应用不局限于上述场景。
在一个具体的实施例中，如图10所示的图像处理方法的流程图，本实施例提供了一种图像处理方法，该方法由计算机设备执行。本实施例中以目标图像为归一化的图像(即RGB图像)进行说明，具体描述如下：
第一步：将取值范围为0到1的目标图像转换成为YUV图像，并获取YUV图像的Y通道图像(明亮度通道图像)、U通道图像(色度通道图像)和V通道图像(浓度通道图像)。该Y通道图像的取值范围为0到1。
第二步：对该Y通道图像进行第一滤波强度的保边滤波处理得到第一保边滤波图像
(取值范围为0到1)，该第一保边滤波图像/>
包括各个像素点的第一滤波值，并对该Y通道图像进行第二滤波强度的保边滤波处理的第二保边滤波图像/>
(取值范围为0到1)，该第二保边滤波图像/>
包括各个像素点的第二滤波值，第一滤波强度低于第二滤波强度。对于每个像素点，计算该像素点对应的第一滤波值和第二滤波值的差绝对值，得到差绝对值图Diffblur(取值范围为0到1)。根据差绝对值图中各个像素点的差绝对值和预设差异阈值/>
得到非噪声点掩膜图(图中所涉及到的公式已在前文提及)。其中，该非噪声点掩膜图包括各个像素点的掩膜系数，对于噪声像素点的掩膜系数为0，非噪声像素点的掩膜系数为1。对该Y通道图像进行非保边低通滤波，得到非保边滤波图像Yblur(取值范围为0到1)，该非保边滤波图像Yblur包括各个像素点的非保边滤波值。对于每个像素点，将该像素点对应的初始像素值和非保边滤波值进行相减处理，得到高频图像Diff(取值范围为-1到1)。对于每个像素点，计算机设备将非噪声点掩膜图中像素点对应的掩膜系数和所述高频图像中像素点对应的像素值进行相乘处理，得到各个像素点分别对应原始细节强度，并根据各个像素点分别对应的原始细节强度，确定目标图像对应的细节图像Detail(取值范围为-1到1)。
第三步：根据细节图像中各个像素点的原始细节强度，计算像素点的原始细节强度的绝对值所对应的指数值，并将该指数值与增强强度峰值的乘积，作为该像素点的自适应增强强度，根据各个像素点的自适应增强强度，确定自适应增强强度图W(取值范围为0到p)(具体处理过程和公式可参考前文)。对Y通道图像进行对焦概率预测，得到原始对焦概率图OF(取值范围为0到1)。该原始对焦概率图包括各个像素点的对焦概率。对于每个像素点，若该像素点的对焦概率小于预设对焦概率阈值，则确定该像素点属于虚幻区域中的像素点，并通过该对焦概率和预设对焦概率阈值，通过sigmoid(S型曲线)函数，确定压缩后的对焦概率。计算机设备根据虚幻区域中的像素点所对应的压缩后的对焦概率，与对焦区域中的像素点所对应的对焦概率，得到目标图像对应的对焦图像SF(取值范围为0到1)(图中所涉及到的公式已在前文提及)。对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率和像素点所对应的自适应增强强度，确定像素点对应的细节增强系数，根据各个像素点分别对应的细节增强系数，得到细节增强系数图FW(取值范围为0到p)。
第四步：对于每个像素点，将像素点对应的原始细节强度与细节增强系数的乘积，作为像素点对应的细节强度增量。对于每个像素点，对目标图像中像素点的初始像素值，叠加相应的细节强度增量，得到与像素点对应的增强细节强度；按预设的细节强度范围，对像素点对应的增强细节强度进行截断处理，得到增强Y通道图像Ysharp(取值范围为0到1)。融合增强Y通道图像Ysharp、U通道图像和V通道图像得到锐化后的YUV图像，并将锐化后的YUV图像转换为RGB空间下的锐化图像。
为了比较相关技术所使用的图像锐化方式和本申请的锐化效果，如图11所示，为图像锐化示例的示意图，图11存在三张图片，分别是原始图像(a)、本申请的锐化图像(b)和相关技术的锐化图像(c)。为了对比对焦区域的效果，分别截取了原始图像(a)和本申请的锐化图像(b)中的对焦区域，得到了子图1和子图2。对于图像中处于对焦区域的狮子头部，相较于子图1，子图2的清晰度更高。为了对比三张图像中虚幻区域，分别截取原始图像(a)、本申请的锐化图像(b)和相关技术的锐化图像(c)中虚幻区域，得到子图3、子图4、子图5。原始图像对应的子图3中的虚幻区域和本申请的锐化图像对应的子图4中的虚幻区域相比没有变化，而相关技术的锐化图像对应的子图5中虚幻区域过度增强，产生了噪声。为了进一步对比本申请的锐化图像和相关技术的锐化图像，分别截取了本申请的锐化图像(b)和相关技术的锐化图像(c)，得到了子图6和子图7。比较子图6和子图7可知，后者受限于单一的增强系数导致极高频位置出现大量白点，而前者很明显没有出现白点现象，且锐化效果更加自然。
在本实施例中，在需要对目标图像进行锐化处理时，通过对目标图像对应的高频图像进行去噪处理，能够有效滤除高频噪声，得到目标图像对应的细节图像；细节图像包括每个像素点分别对应的原始细节强度；对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数；细节增强系数与原始细节强度的绝对值成反相关，且与对焦概率成正相关。这样，能够确保在对焦概率越高、且原始细节强度的绝对值的越低情况下，细节增强系数越高，自适应地调整了各个像素点分别对应的细节增强系数，避免了用相同细节增强系数对所有像素点进行处理带来的图像锐化效果较差的问题。对于每个像素点，融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量；根据细节强度增量与所述目标图像，得到与目标图像对应的锐化图像。这样，通过自适应调整各个像素点分别对应的细节增强系数，能够避免锐化图像产生白点现象，从而，提升了图像的质量。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
在一个实施例中，如图12所示，提供了一种图像处理装置1200，包括：获取模块1202、去噪模块1204、确定模块1206、融合模块1208和获得模块1210，其中：
获取模块1202，用于获取待进行锐化处理的目标图像；
去噪模块1204，用于对目标图像对应的高频图像进行去噪处理，得到目标图像对应的细节图像；细节图像包括每个像素点分别对应的原始细节强度；
确定模块1206，用于对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率与细节图像中像素点的原始细节强度，确定像素点对应的细节增强系数；细节增强系数与原始细节强度的绝对值成反相关，且与对焦概率成正相关；
融合模块1208，用于对于每个像素点，融合像素点对应的原始细节强度与细节增强系数，得到像素点对应的细节强度增量；
获得模块1210，用于根据细节强度增量与目标图像，得到与目标图像对应的锐化图像。
在一个实施例中，去噪模块1204，用于对目标图像依次进行组合滤波处理与非噪声点筛选处理，得到目标图像对应的非噪声点掩膜图；非噪声点掩膜图用于表征目标图像中的非噪声像素点与噪声像素点；获取与目标图像对应的高频图像；高频图像包括每个像素点分别对应的高频程度；通过对非噪声点掩膜图与高频图像进行点对点相乘处理，得到目标图像对应的细节图像，细节图像为从高频图像中去除噪声像素点的图像。
在一个实施例中，去噪模块1204，用于对目标图像进行第一滤波强度的保边滤波处理，得到第一保边滤波图像，第一保边滤波图像包括每个像素点分别对应的第一滤波值；对目标图像进行第二滤波强度的保边滤波处理，得到第二保边滤波图像，第二保边滤波图像包括每个像素点分别对应的第二滤波值；第二滤波强度大于第一滤波强度；对于每个像素点，计算像素点对应的第一滤波值与第二滤波值的差异，按差异将像素点归类为非噪声像素点或噪声像素点；根据目标图像中的非噪声像素点与噪声像素点，得到目标图像对应的非噪声点掩膜图。
在一个实施例中，去噪模块1204，用于将差异与预设差异阈值进行比较；当差异大于或等于预设差异阈值时，确定像素点为噪声像素点；当差异小于预设差异阈值时，确定像素点为非噪声像素点。
在一个实施例中，去噪模块1204，用于对目标图像进行非保边低通滤波处理，得到非保边滤波图像；对目标图像与非保边滤波图像进行点对点相减处理，得到与目标图像对应的高频图像。
在一个实施例中，图像处理装置1200，还包括对焦模块1212，对焦模块1212，用于获取目标图像所源自的原始图像；对原始图像进行对焦概率预测，得到原始图像中每个像素点属于原始图像中的对焦区域的对焦概率；根据每个像素点属于原始图像中的对焦区域的对焦概率，得到目标图像对应的对焦图像。
在一个实施例中，对焦模块1212，用于根据每个像素点相应的对焦概率，按预设对焦概率阈值，将每个像素点划分为原始图像中的虚幻区域中的像素点与对焦区域中的像素点；对于虚幻区域中的像素点，将相应的对焦概率进行压缩处理，得到压缩后的对焦概率；根据虚幻区域中的像素点所对应的压缩后的对焦概率，与对焦区域中的像素点所对应的对焦概率，得到目标图像对应的对焦图像。
在一个实施例中，确定模块1206，用于对于每个像素点，根据细节图像中像素点的原始细节强度，计算像素点所对应的自适应增强强度，自适应增强强度与原始细节强度的绝对值成反相关；对于每个像素点，根据目标图像对应的对焦图像中像素点的对焦概率和像素点所对应的自适应增强强度，确定像素点对应的细节增强系数。
在一个实施例中，融合模块1208，用于对于每个像素点，将像素点对应的原始细节强度与细节增强系数的乘积，作为像素点对应的细节强度增量。
在一个实施例中，获得模块1210，用于对于每个像素点，对目标图像中像素点的初始像素值，叠加相应的细节强度增量，得到与像素点对应的增强细节强度；按预设的细节强度范围，对像素点对应的增强细节强度进行截断处理，得到与目标图像对应的锐化图像。
在一个实施例中，图像处理装置1200，还包括编码模块1214，获取模块1202，用于获取待进行锐化处理的目标视频；对目标视频进行视频解码，得到多个视频帧图像；依次将多个视频帧图像中的每一视频帧图像作为待进行锐化处理的目标图像；编码模块1214，用于将多个视频帧图像中的每一视频帧图像各自对应的锐化图像，进行视频编码，得到目标视频对应的锐化视频。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或者终端，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (14)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待进行锐化处理的目标图像；
对所述目标图像对应的高频图像进行去噪处理，得到所述目标图像对应的细节图像；所述细节图像包括每个像素点分别对应的原始细节强度；
对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率与所述细节图像中所述像素点的原始细节强度，确定所述像素点对应的细节增强系数；所述细节增强系数与所述原始细节强度的绝对值成反相关，且与所述对焦概率成正相关；
对于每个像素点，融合所述像素点对应的原始细节强度与细节增强系数，得到所述像素点对应的细节强度增量；
根据所述细节强度增量与所述目标图像，得到与所述目标图像对应的锐化图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像对应的高频图像进行去噪处理，得到所述目标图像对应的细节图像，包括：
对所述目标图像依次进行组合滤波处理与非噪声点筛选处理，得到所述目标图像对应的非噪声点掩膜图；所述非噪声点掩膜图用于表征所述目标图像中的非噪声像素点与噪声像素点；
获取与所述目标图像对应的高频图像；所述高频图像包括每个像素点分别对应的高频程度；
通过对所述非噪声点掩膜图与所述高频图像进行点对点相乘处理，得到所述目标图像对应的细节图像，所述细节图像为从所述高频图像中去除噪声像素点的图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述目标图像依次进行组合滤波处理与非噪声点筛选处理，得到所述目标图像对应的非噪声点掩膜图，包括：
对所述目标图像进行第一滤波强度的保边滤波处理，得到第一保边滤波图像，所述第一保边滤波图像包括每个像素点分别对应的第一滤波值；
对所述目标图像进行第二滤波强度的保边滤波处理，得到第二保边滤波图像，所述第二保边滤波图像包括每个像素点分别对应的第二滤波值；所述第二滤波强度大于所述第一滤波强度；
对于每个像素点，计算所述像素点对应的第一滤波值与第二滤波值的差异，按所述差异将所述像素点归类为非噪声像素点或噪声像素点；
根据所述目标图像中的非噪声像素点与噪声像素点，得到所述目标图像对应的非噪声点掩膜图。
4.根据权利要求3所述的方法，其特征在于，所述按所述差异将所述像素点归类为非噪声像素点或噪声像素点，包括：
将所述差异与预设差异阈值进行比较；
当所述差异大于或等于所述预设差异阈值时，确定所述像素点为噪声像素点；
当所述差异小于所述预设差异阈值时，确定所述像素点为非噪声像素点。
5.根据权利要求2所述的方法，其特征在于，所述获取与所述目标图像对应的高频图像，包括：
对所述目标图像进行非保边低通滤波处理，得到非保边滤波图像；
对所述目标图像与所述非保边滤波图像进行点对点相减处理，得到与所述目标图像对应的高频图像。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述目标图像所源自的原始图像；
对所述原始图像进行对焦概率预测，得到所述原始图像中每个像素点属于所述原始图像中的对焦区域的对焦概率；
根据每个像素点属于所述原始图像中的对焦区域的对焦概率，得到所述目标图像对应的对焦图像。
7.根据权利要求6所述的方法，其特征在于，所述根据每个像素点属于所述原始图像中的对焦区域的对焦概率，得到所述目标图像对应的对焦图像，包括：
根据每个像素点相应的对焦概率，按预设对焦概率阈值，将每个像素点划分为所述原始图像中的虚幻区域中的像素点与对焦区域中的像素点；
对于所述虚幻区域中的像素点，将相应的对焦概率进行压缩处理，得到压缩后的对焦概率；
根据所述虚幻区域中的像素点所对应的压缩后的对焦概率，与所述对焦区域中的像素点所对应的对焦概率，得到所述目标图像对应的对焦图像。
8.根据权利要求1所述的方法，其特征在于，所述对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率与所述细节图像中所述像素点的原始细节强度，确定所述像素点对应的细节增强系数，包括：
对于每个像素点，根据所述细节图像中所述像素点的原始细节强度，计算所述像素点所对应的自适应增强强度，所述自适应增强强度与所述原始细节强度的绝对值成反相关；
对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率和所述像素点所对应的自适应增强强度，确定所述像素点对应的细节增强系数。
9.根据权利要求1所述的方法，其特征在于，所述对于每个像素点，融合所述像素点对应的原始细节强度与细节增强系数，得到所述像素点对应的细节强度增量，包括：
对于每个像素点，将所述像素点对应的原始细节强度与细节增强系数的乘积，作为所述像素点对应的细节强度增量。
10.根据权利要求1所述的方法，其特征在于，所述根据所述细节强度增量与所述目标图像，得到与所述目标图像对应的锐化图像，包括：
对于每个像素点，对所述目标图像中所述像素点的初始像素值，叠加相应的细节强度增量，得到与所述像素点对应的增强细节强度；
按预设的细节强度范围，对所述像素点对应的增强细节强度进行截断处理，得到与所述目标图像对应的锐化图像。
11.根据权利要求1至10任一项所述的方法，其特征在于，所述获取待进行锐化处理的目标图像，包括：
获取待进行锐化处理的目标视频；
对所述目标视频进行视频解码，得到多个视频帧图像；
依次将所述多个视频帧图像中的每一视频帧图像作为待进行锐化处理的目标图像；
所述方法还包括：
将所述多个视频帧图像中的每一视频帧图像各自对应的锐化图像，进行视频编码，得到所述目标视频对应的锐化视频。
12.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待进行锐化处理的目标图像；
去噪模块，用于对所述目标图像对应的高频图像进行去噪处理，得到所述目标图像对应的细节图像；所述细节图像包括每个像素点分别对应的原始细节强度；
确定模块，用于对于每个像素点，根据所述目标图像对应的对焦图像中所述像素点的对焦概率与所述细节图像中所述像素点的原始细节强度，确定所述像素点对应的细节增强系数；所述细节增强系数与所述原始细节强度的绝对值成反相关，且与所述对焦概率成正相关；
融合模块，用于对于每个像素点，融合所述像素点对应的原始细节强度与细节增强系数，得到所述像素点对应的细节强度增量；
获得模块，用于根据所述细节强度增量与所述目标图像，得到与所述目标图像对应的锐化图像。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211384200.2A CN115619683B (zh) | 2022-11-07 | 2022-11-07 | 图像处理方法、装置、设备、存储介质和计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211384200.2A CN115619683B (zh) | 2022-11-07 | 2022-11-07 | 图像处理方法、装置、设备、存储介质和计算机程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115619683A CN115619683A (zh) | 2023-01-17 |
| CN115619683B true CN115619683B (zh) | 2023-07-11 |
Family
ID=84879047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211384200.2A Active CN115619683B (zh) | 2022-11-07 | 2022-11-07 | 图像处理方法、装置、设备、存储介质和计算机程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115619683B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433537B (zh) * | 2023-06-13 | 2023-08-11 | 济南科汛智能科技有限公司 | 基于物联网和云计算的智慧病房监控系统 |
| CN116777797A (zh) * | 2023-06-28 | 2023-09-19 | 广州市明美光电技术有限公司 | 各向异性导向滤波的明场显微图像清晰化方法及系统 |
| CN116934634A (zh) * | 2023-09-14 | 2023-10-24 | 龙迅半导体（合肥）股份有限公司 | 一种基于像素分类的图像增强方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008015741A (ja) * | 2006-07-05 | 2008-01-24 | Konica Minolta Holdings Inc | 画像処理装置、画像処理方法及びこれを用いた撮像装置 |
| TWI330036B (en) * | 2006-10-27 | 2010-09-01 | Quanta Comp Inc | Apparatus for sharpening an image, and method thereof |
| US10915996B2 (en) * | 2016-07-01 | 2021-02-09 | Intel Corporation | Enhancement of edges in images using depth information |
| CN108550158B (zh) * | 2018-04-16 | 2021-12-17 | Tcl华星光电技术有限公司 | 图像边缘处理方法、电子装置及计算机可读存储介质 |
| CN114663302A (zh) * | 2022-03-04 | 2022-06-24 | 北京极感科技有限公司 | 图像锐化方法、电子设备、存储介质及计算机程序产品 |
| CN115063314A (zh) * | 2022-06-22 | 2022-09-16 | 上海网达软件股份有限公司 | 基于查表法的自适应视频锐化方法、装置、设备及存储介质 |
-
2022
- 2022-11-07 CN CN202211384200.2A patent/CN115619683B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115619683A (zh) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115619683B (zh) | 图像处理方法、装置、设备、存储介质和计算机程序产品 | |
| Liang et al. | Single underwater image enhancement by attenuation map guided color correction and detail preserved dehazing | |
| Zhang et al. | Underwater image enhancement by attenuated color channel correction and detail preserved contrast enhancement | |
| Bai et al. | Underwater image enhancement based on global and local equalization of histogram and dual-image multi-scale fusion | |
| Emberton et al. | Hierarchical rank-based veiling light estimation for underwater dehazing. | |
| Zhang et al. | The application of visual saliency models in objective image quality assessment: A statistical evaluation | |
| Maggioni et al. | Video denoising, deblocking, and enhancement through separable 4-D nonlocal spatiotemporal transforms | |
| Kim et al. | Optimized contrast enhancement for real-time image and video dehazing | |
| Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
| US9406148B2 (en) | Image processing method and apparatus, and shooting terminal | |
| Ooi et al. | Bi-histogram equalization with a plateau limit for digital image enhancement | |
| US20180122051A1 (en) | Method and device for image haze removal | |
| CN110390643B (zh) | 一种车牌增强方法、装置及电子设备 | |
| Kong et al. | A literature review on histogram equalization and its variations for digital image enhancement | |
| US20210374925A1 (en) | Image Enhancement System and Method | |
| Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
| Das et al. | A comparative study of single image fog removal methods | |
| US20090185757A1 (en) | Apparatus and method for immersion generation | |
| Joshi et al. | Image enhancement with naturalness preservation | |
| US9672447B2 (en) | Segmentation based image transform | |
| Hu et al. | Kinect depth map based enhancement for low light surveillance image | |
| Wang et al. | Learning a self‐supervised tone mapping operator via feature contrast masking loss | |
| CN111161177B (zh) | 图像自适应降噪方法和装置 | |
| Feng et al. | Low-light image enhancement by refining illumination map with self-guided filtering | |
| Ponomaryov et al. | Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40079091 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |