CN116982075A - 用于增强图像质量的方法和系统 - Google Patents
用于增强图像质量的方法和系统 Download PDFInfo
- Publication number
- CN116982075A CN116982075A CN202280020496.1A CN202280020496A CN116982075A CN 116982075 A CN116982075 A CN 116982075A CN 202280020496 A CN202280020496 A CN 202280020496A CN 116982075 A CN116982075 A CN 116982075A
- Authority
- CN
- China
- Prior art keywords
- input frame
- received input
- scores
- feature
- parameter score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 238000002156 mixing Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 5
- 238000012913 prioritisation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 17
- 238000013473 artificial intelligence Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
可以提供一种用于增强图像质量的方法。该方法可以包括接收多个输入帧和元数据,以及从多个输入帧中确定接收的输入帧的一个或更多个特征分数。该方法还可以包括基于对接收的输入帧的一个或更多个特征分数和元数据的分析来确定接收的输入帧的参数分数。该方法可以包括基于参数分数识别接收的输入帧中的用于校正的一个或更多个伪影,以及基于参数分数确定接收的输入帧中识别出的至少一个伪影所需的校正强度,然后将所确定的校正强度应用于接收的输入帧。该方法还可以包括对应用了所确定的校正强度的多个接收的输入帧执行多帧混合。
Description
技术领域
本发明总体上涉及图像处理,并且更具体地涉及一种用于增强图像质量的系统和方法。
背景技术
多帧混合是用于改善在弱光和极弱光条件下捕捉的图像的质量的众所周知的技术。但是,由于输入帧中的噪声,该混合输出通常受到多个伪影的影响。由于多帧混合使用突发捕捉帧作为输入,因此所有众所周知的方法在传递到多帧混合之前将预处理方法(诸如去噪、边缘增强等)应用于所有输入帧。这些所述解决方案将相同的设置应用于所有输入帧,而不管它们的噪声/特征的特性。一些帧可能会具有更多噪声,一些帧可能会具有更好的细节和更少的噪声,一些帧可能会具有更高亮度等。
图1示出了描绘多个输入帧的多帧混合的常规方式的流程图100。在常规方式中,多个突发原始噪声图像帧被至少一个图像传感器101接收以用于多帧混合。然后,它使用合适的帧预处理技术对输入帧执行帧预处理125,以对每个接收的输入帧进行去噪,或者对每个接收的输入帧进行锐度增强。此后,多帧混合105处理可以包括参考帧选择110、图像配准115和混合120。然而,混合输出130具有伪影,诸如噪声、模糊边缘和颜色伪影。因此,需要一种减少去除通过多帧混合生成的异常所需的工作量/处理的方法。
发明内容
问题的解决方案
提供本概述是为了以简化的形式介绍一些构思,这些构思将在本发明的具体描述中进一步描述。本概述不旨在标识本发明的关键或基本发明构思,也不旨在确定本发明的范围。
根据本公开的实施例,可以提供一种用于增强图像质量的方法。该方法可以包括从图像传感器接收多个输入帧和元数据。所述方法可以包括确定来自所述多个输入帧的接收的输入帧的一个或更多个特征分数。所述方法可以包括基于对所述接收的输入帧的确定的所述一个或更多个特征分数和所述元数据的分析来确定所述接收的输入帧的参数分数。所述方法可以包括基于所述参数分数识别所述接收的输入帧中的用于校正的一个或更多个伪影。所述方法可以包括基于所述参数分数确定所述接收的输入帧中识别出的至少一个伪影所需的校正强度。所述方法可以包括将所确定的校正强度应用于所述接收的输入帧。所述方法可以包括对应用了所确定的校正强度的多个接收的输入帧执行多帧混合。
所述方法可以包括:使用上下文数据来提取所述接收的输入帧的至少一个特征,其中,所述上下文数据是基于一个或更多个图像捕捉条件来确定的,所述一个或更多个图像捕捉条件包括每帧ISO、曝光时间和光条件;以及基于所述接收的输入帧的提取的所述至少一个特征的级别来计算提取的所述至少一个特征的分数。
所述方法还可以包括基于所述接收的输入帧的所述一个或更多个特征分数的加权平均来生成所述接收的输入帧的所述一个或更多个特征分数中的至少一个的向量分数;对所述接收的输入帧的所述一个或更多个特征分数的生成的向量分数进行混合;对混合的向量分数进行缩放;以及基于所述混合的向量分数的缩放分数将一个或更多个特征向量分数分别与一个或更多个生成的特征向量中的每一个相关联。
所述方法还可以包括:基于所述参数分数来估计所述接收的输入帧的一个或更多个特征中的至少一个特征的质量,其中,基于峰值信噪比(PSNR)、结构相似性指数(SSIM)或多尺度结构相似性(MS-SSIM)评级感知质量中的至少一个来估计所述质量;基于所述接收的输入帧的估计的质量对所述一个或更多个特征进行优先级排序;基于所估计的质量和所述优先级排序,确定所述接收的输入帧中的至少一个伪影的校正强度;以及基于所述参数分数在所述接收的输入帧中应用所确定的校正强度。
所述方法还可以包括调整所述接收的输入帧的所述参数分数以在弱光条件下产生最佳结果。
所述方法还可以包括利用图像捕捉条件的变化来更新所述参数分数;以及基于所述元数据来控制所述参数分数。
根据实施例,所述元数据可以包括图像传感器的ISO值、BV值和曝光值中的至少一个。
附图说明
从以下结合附图的描述,本公开的某些实施例的上述和其他方面、特征和优点将更加明显,其中:
图1示出了根据现有技术的描绘多个输入帧的多帧混合的处理的流程图;
图2示出了根据本主题的实施例的用于增强图像质量的系统的框图;
图3示出了根据本主题的实施例的描绘用于增强图像质量的方法的流程图;
图4示出了根据本主题的实施例的描绘多帧混合场景的示例性实施例的流程图;
图5a和图5b示出了根据本主题的实施例的描绘使用所提出的解决方案的极弱光去噪的示例性实施例的流程图;
图6a和图6b示出了根据本主题的实施例的描绘使用所提出的解决方案的基于锐度的部分帧去噪的示例性实施例的流程图;
图7a和图7b示出了根据本主题的实施例的描绘使用所提出的解决方案的基于锐度的部分帧去噪的另一示例性实施例的示图;
图8a和图8b示出了根据本主题的实施例的描绘使用所提出的解决方案的基于锐度的部分帧去噪的又一示例性实施例的示图;以及
图9a和图9b示出了根据本主题的实施例的描绘使用所提出的解决方案的基于锐度的部分帧去噪的又一示例性实施例的示图。
具体实施方式
首先应当理解,尽管下面示出了本公开的实施例的说明性实现方式,但是本发明可以使用任何数量的技术(无论是当前已知的还是现有的)来实现。本公开决不应限于下面示出的说明性实现方式、附图和技术,包括本文示出和描述的示例性设计和实现方式,而是可以在所附权利要求的范围及其等同物的全部范围内进行修改。
如本文所使用的术语“一些”被定义为“无、或一个、或多于一个、或全部”。因此,术语“无”、“一个”、“多于一个”、“多于一个但不是全部”或“全部”都将落入“一些”的定义下。术语“一些实施例”可以指代无实施例或一个实施例或若干实施例或所有实施例。因此,术语“一些实施例”被定义为意指“无实施例、或一个实施例、或多于一个实施例、或所有实施例”。
本文采用的术语和结构用于描述、教导和说明一些实施例及其具体特征和元件,并且不限制、约束或减少权利要求或其等同物的精神和范围。
更具体地,除非另有说明,否则本文使用的任何术语,诸如但不限于“包括”、“包含”、“具有”、“组成”及其语法变体,并不指定确切的限制或约束,并且当然不排除可能添加一个或更多个特征或元件,并且此外,除非用限制性语言“必须包括”或“需要包括”另有说明,否则不应认为排除可能去除一个或更多个所列特征和元件。
无论某个特征或元件是否被限制为仅使用一次,无论哪种方式,它仍然可以被称为“一个或更多个特征”或“一个或更多个元件”或“至少一个特征”或“至少一个元件”。此外,除非另有限制性语言(诸如“需要有一个或更多个…”或“需要一个或更多个元件”)指定,否则术语“一个或更多个”或“至少一个”特征或元件的使用不排除没有该特征或元件。
在描述中,术语“A或B”、“A或B中的至少一个”、“A和B中的至少一个”或“A或/和B中的一个或更多个”可以包括一起列举的项目的所有可能组合。例如,术语“A或B”或“A或/和B中的至少一个”可以表示(1)仅A,(2)仅B,或(3)A和B两者。
如本文所使用的表述“1”、“2”、“第一”或“第二”可以修饰各种元件,而不管其顺序和/或重要性,并且将一个元件与另一个元件区分开,而不限制相应的元件。
除非另有定义,否则本文使用的所有术语,特别是任何技术和/或科学术语可以被认为具有与本领域普通技术人员通常理解的含义相同的含义。
下面将参照附图详细描述本发明的实施例。本公开的实施例涉及用于增强图像质量的系统。图2示出了根据本主题的实施例的用于增强图像质量的系统202的框图200。在实施例中,系统202可以并入用户设备(UE)中。UE的示例可以包括但不限于电视、膝上型计算机、标签、智能电话、个人计算机(PC)。该系统通过分析输入帧并使用输入特征/帧特性的参数分数对输入帧进行变换来改善来自多帧处理的所得混合图像的感知质量。下面将解释由系统202执行的上述方面的细节。
该系统可以包括处理器204、存储器206、模块208、图像传感器210、输入帧分析模块212、变换模块214和多帧混合模块216。在实施例中,处理器204、存储器206、模块208、图像传感器210、输入帧分析模块212、变换模块214和多帧混合模块216可以通信地耦接到彼此。多个模块208中的至少一个可以通过AI模型来实现。与AI相关联的功能可以通过非易失性存储器或易失性存储器和/或处理器来执行。
处理器204可以包括一个或多个处理器。此时,一个或多个处理器可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)等)、纯图形处理单元(诸如图形处理单元(GPU))、视觉处理单元(VPU)和/或AI专用处理器(诸如神经处理单元(NPU))。
多个处理器根据存储在非易失性存储器或易失性存储器中的预定义操作规则或人工智能(AI)模型来控制输入数据的处理。通过训练或学习提供预定义操作规则或人工智能模型。这里,通过学习提供意指通过将学习技术应用于多个学习数据,形成期望特性的预定义操作规则或AI模型。学习可以在执行根据实施例的AI的装置本身上执行,和/或可以通过单独的服务器/系统实现。AI模型可以由多个神经网络层组成。每一层具有多个权重值,并且通过前一层的计算和多个权重的运算来执行层运算。神经网络的示例包括但不限于卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向循环深度神经网络(BRDNN)、生成对抗网络(GAN)和深度Q网络。
学习技术是用于使用多个学习数据训练预定目标装置(例如,机器人)以使得、允许或控制目标装置做出确定或预测的方法。学习技术的示例包括但不限于监督学习、无监督学习、半监督学习或强化学习。
根据本主题,在电子装置的方法中,一种用于增强图像质量的方法。可以通过训练获得人工智能模型。这里,“通过训练获得”意指通过训练技术用多条训练数据训练基本人工智能模型来获得被配置为执行期望特征(或目的)的预定义操作规则或人工智能模型。人工智能模型可以包括多个神经网络层。多个神经网络层中的每一个可以包括多个权重值,并且通过前一层的计算结果与多个权重值之间的计算来执行神经网络计算。
视觉理解是用于像人类视觉一样识别和处理事物的技术,并且可以包括例如对象识别、对象跟踪、图像检索、人类识别、场景识别、3D重建/定位或图像增强。
如将理解的,系统202可以被理解为硬件、软件、基于逻辑的程序、可配置硬件等中的一个或更多个。在示例中,处理器204可以是单个处理单元或多个单元,所有这些单元可以包括多个计算单元。处理器204可以被实现为一个或更多个微处理器、微计算机、微控制器、数字信号处理器、中央处理单元、处理器核、多核处理器、多处理器、状态机、逻辑电路、专用集成电路、现场可编程门阵列和/或基于操作指令来操纵信号的任何装置。除了其他能力之外,处理器104可以被配置为获取和/或执行存储在存储器106中的计算机可读指令和/或数据。
在示例中,存储器206可以包括所属领域中已知的任何非暂时性计算机可读介质,例如包括易失性存储器(诸如静态随机存取存储器(SRAM)和/或动态随机存取存储器(DRAM))和/或非易失性存储器(诸如只读存储器(ROM)、可擦除可编程ROM(EPROM)、快闪存储器、硬盘、光盘和/或磁带)。存储器206可以包括数据。除了其他之外,数据用作用于存储由处理器204、存储器206、模块208、图像传感器210、输入帧分析模块212、变换模块214和多帧混合模块216中的一个或更多个处理、接收和生成的数据的储存库。
除了其他之外,模块208可以包括执行特定任务或实现数据类型的例程、程序、对象、组件、数据结构等。模块208还可以被实现为信号处理器、状态机、逻辑电路和/或基于操作指令来操纵信号的任何其他装置或组件。此外,模块208可以在硬件中实现为由至少一个处理单元(例如,处理器204)或其组合执行的指令。处理单元可以是执行指令以使通用处理器执行操作的通用处理器,或者处理单元可以专用于执行所需功能。在本公开的另一方面,模块208可以是机器可读指令(软件),其在被处理器/处理单元执行时可以执行任何所描述的功能。在一些示例实施例中,模块208可以是机器可读指令(软件),其在被处理器204/处理单元执行时执行任何所描述的功能。
在实施例中,处理器204可以被配置为从图像传感器210接收具有元数据的多个输入帧。图像传感器210可以被配置为捕捉突发原始噪声图像。元数据包括图像传感器210的ISO值、BV值和曝光值中的至少一个。
输入帧分析模块212可以包括特征模块218和参数评分模块220。输入帧分析模块212可以被配置为确定接收的多个输入帧的一个或更多个特征分数。输入帧分析模块212可以被配置为使用上下文数据来提取接收的输入帧的一个或更多个特征。此外,可以基于包括每帧ISO、曝光时间和光条件的一个或更多个图像捕捉条件来确定上下文数据。输入帧分析模块212可以被配置为基于接收的输入帧的提取的至少一个特征的级别来计算提取的至少一个特征的分数。例如,输入帧分析模块212可以被配置为计算锐度分数、噪声分数、亮度分数和其他类似的特征分数。输入帧分析模块212可以被配置为基于对确定的一个或更多个特征分数和接收的输入帧的元数据的分析来确定接收的输入帧的参数分数。
在实施例中,用于确定参数分数的输入帧分析模块212可以被配置为基于接收的输入帧的一个或更多个特征分数的加权平均来生成接收的输入帧的至少一个特征分数的向量分数。输入帧分析模块212可以被配置为对接收的输入帧的一个或更多个特征的生成的向量分数进行混合。输入帧分析模块212可以被配置为对混合的生成的向量分数进行缩放。输入帧分析模块212可以被配置为基于混合的生成的向量的缩放分数将一个或更多个生成的特征向量分别与所述一个或更多个生成的特征向量中的每一个相关联。
在实施例中,变换模块214可以被配置为基于参数分数来识别接收的输入帧中的用于校正的一个或更多个伪影。变换模块214可以被配置为基于参数分数来估计接收的输入帧的至少一个特征的质量。可以基于峰值信噪比(PSNR)、结构相似性指数(SSIM)或多尺度结构相似性(MS-SSIM)评级感知质量中的至少一个来估计质量。变换模块214可以被配置为基于接收的输入帧的估计质量来对一个或更多个特征进行优先级排序。
在实施例中,变换模块214可以被配置为基于所估计的质量和优先级特征来确定接收的输入帧中的至少一个伪影的校正强度。变换模块214可以被配置为基于参数分数在对应的输入帧中应用所确定的伪影校正强度。变换模块214可以被配置为基于参数分数来确定接收的至少一个输入帧中识别出的至少一个伪影所需的校正强度。变换模块214可以被配置为将所确定的强度应用于每个输入帧中的伪影校正。变换模块214可以被配置为调整接收的输入帧的参数分数,以在弱光条件下产生最佳结果。变换模块214可以被配置为通过基于所接收的图像捕捉条件的元数据控制参数分数来利用图像捕捉条件的变化更新参数分数。
随后,多帧混合模块216可以包括参考帧选择222、图像配准模块和混合模块226。多帧混合模块216可以被配置为对经过伪影校正的输入帧执行多帧混合。
图3示出了根据本主题的实施例的描绘用于增强图像质量的方法的流程图300。方法300可以包括在操作301处从图像传感器210接收具有元数据的多个输入帧。元数据可以包括相机传感器的ISO值、BV值和曝光值中的至少一个。
在实施例中,方法300可以包括在操作303处通过输入帧分析模块212确定接收的多个输入帧的一个或更多个特征分数。一个或更多个特征分数的确定可以包括使用上下文数据提取接收的输入帧的一个或更多个特征,并且基于接收的输入帧的提取的至少一个特征的级别来计算提取的至少一个特征的分数。此外,可以基于包括每帧ISO、曝光时间和光条件的一个或更多个图像捕捉条件来确定上下文数据。
在实施例中,方法300可以包括在操作305处由输入帧分析模块212基于对确定的一个或更多个特征分数和接收的输入帧的元数据的分析来确定接收的输入帧的参数分数。参数分数的确定可以包括基于接收的输入帧的一个或更多个特征分数的加权平均来生成接收的输入帧的特征分数中的至少一个的向量分数,对接收的输入帧的一个或更多个特征的生成的向量分数进行混合,对混合的生成的向量分数进行缩放,以及基于混合的生成的向量的缩放分数,将一个或更多个生成的特征向量分别与所述一个或更多个生成的特征向量中的每一个相关联。
在实施例中,方法300可以包括在操作307处由输入帧分析模块212基于参数分数识别接收的输入帧中的用于校正的一个或更多个伪影。该方法可以包括基于参数分数来估计接收的输入帧的至少一个特征的质量。可以基于峰值信噪比(PSNR)、结构相似性指数(SSIM)或多尺度结构相似性(MS-SSIM)评级感知质量中的至少一个来估计质量。该方法可以包括基于接收的输入帧的所估计的质量对一个或更多个特征进行优先级排序。该方法可以包括由输入帧分析模块212基于所估计的质量和优先级特征来确定接收的输入帧中的至少一个伪影的校正强度。该方法可以包括由输入帧分析模块212基于参数分数在对应的输入帧中应用所确定的伪影校正强度。
在实施例中,方法300可以包括在操作309处由变换模块214基于参数分数确定接收的至少一个输入帧中识别出的至少一个伪影所需的校正强度。
在实施例中,方法300可以包括在操作311处由变换模块214在每个输入帧中应用所确定的伪影校正强度。该方法可以包括由变换模块214调整接收的输入帧的参数分数,以在弱光条件下产生最佳结果。该方法可以包括由变换模块214通过基于所接收的图像捕捉条件的元数据控制参数分数来利用图像捕捉条件的变化更新参数分数。
随后,方法300可以包括在操作313处对经过伪影校正的输入帧执行多帧混合。该操作可以由多帧混合模块216执行。
图4示出了根据本主题的实施例的描绘多帧混合场景的示例性实施例的流程图400。在实施例中,图像传感器210接收用于多帧混合的多个输入图像帧。输入帧图像可以被表示为1、2、3、4、5、6、7。该操作可以对应于操作301。输入帧分析模块212可被配置为确定从接收的多个输入帧提取的至少一个特征分数。多个特征分数可以包括与锐度、噪声、亮度和光强度分数相关的分数中的至少一个。该操作可以对应于操作303。此外,输入帧分析模块212还可以被配置为根据输入特征来确定每个帧的参数分数。在一些实施例中,输入帧分析模块212可以被配置为根据输入帧的输入特征和/或元数据来确定每个帧的参数分数。该操作可以对应于操作305。参数分数可以被表示为PS=f(SS,NS,BS,……N)。此外,变换模块214可以被配置为基于参数分数将对应强度的预处理应用于多个输入帧中的每一个。预处理可以包括重去噪或轻去噪处理、重锐度增强或轻锐度增强中的至少一个。例如,帧2、3、6的去噪处理和帧1、2的锐化处理。该操作可以对应于操作311。随后,多帧混合模块216可以被配置为将来自多个帧的一个或更多个帧混合为混合图像输出。该操作可以对应于操作313。
图5a和图5b示出了根据本主题的实施例的描绘包括使用所提出的解决方案的极弱光去噪的示例性实施例的流程图。在示例中,如图5a中所示,图像传感器可以被配置为接收突发原始噪声图像。此后,可以在多帧混合之前使用现有技术对接收的图像帧进行预处理。然而,混合输出可能具有伪影,该伪影具有噪声、模糊边缘和颜色伪影。因此,现有技术不适合弱光捕捉。此外,当通过所提出的解决方案处理相同的接收的输入图像帧时,混合输出图像在极弱光去噪下是非常清晰的。如图5b中所示,图像传感器可被配置为接收突发原始噪声图像。此后,接收的图像帧可以由输入帧分析214和变换模块216处理。混合输出图像可以更加清晰。
图6a和图6b示出了根据本主题的实施例的描绘包括基于锐度的部分帧去噪的示例性实施例的流程图。图6a示出了使用现有技术的混合图像,其具有噪声、模糊边缘和颜色伪影。图6b示出了在使用所提出的解决方案对输入帧进行去噪之后获得的图像。在实施例中,基于锐度对10个输入帧中的8个输入帧进行去噪。
图7a和图7b示出了根据本主题的实施例的描绘包括基于锐度的部分帧去噪的另一示例性实施例的示图。图7a示出了使用现有技术的混合图像输出。混合图像输出具有噪声和模糊边缘。在实施例中,图7b示出了在使用所提出的解决方案对输入帧进行去噪之后获得的图像。可以基于锐度对输入帧进行去噪。
图8a和图8b示出了根据本主题的实施例的描绘基于锐度的部分帧去噪的又一示例性实施例的示图。图8a示出了使用现有技术的混合图像。因此,现有技术不适用于弱光捕捉。图8b示出了在使用所提出的解决方案基于锐度对输入帧进行去噪之后获得的图像。
图9a和图9b示出了根据本主题的实施例的描绘包括使用所提出的解决方案的基于锐度的部分帧去噪的又一示例性实施例的示图。图9a示出了使用现有技术的混合图像,其具有噪声、模糊边缘和颜色伪影。图9b示出了在使用所提出的解决方案基于锐度对输入帧进行去噪之后获得的图像。
鉴于上述内容,提供了与本公开相关的各种有利特征:
·对输出的各种参数的控制,诸如去噪水平、边缘增强和亮度控制,以及
·改善多帧混合的输出,特别是在弱光和极弱光条件下。
虽然已经使用特定语言来描述本公开,但是并不意图由于其而生成的任何限制。对于本领域技术人员显而易见的是,可以对所述方法进行各种流程修改,以便实现本文教导的发明构思。附图和前面的描述给出了实施例的示例。本领域技术人员将理解,所描述的元件中的一个或更多个可以很好地组合成单个功能元件。可选地,某些元件可以被划分为多个功能元件。来自一个实施例的元件可以被添加到另一个实施例。例如,本文描述的处理的顺序可以改变,并且不限于本文描述的方式。
此外,任何流程图的动作不需要以所示的顺序实现;也不一定需要执行所有动作。而且,不依赖于其他动作的那些动作可以与其他动作并行执行。实施例的范围决不受这些具体示例的限制。无论是否在说明书中明确给出,许多变化(诸如结构、尺寸和材料使用的差异)都是可行的。实施例的范围至少与所附权利要求给出的范围一样宽。
上面已经关于特定实施例描述了益处、其他优点和问题的解决方案。然而,益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案发生或变得更加明显的任何组件不应被解释为任何或所有权利要求的关键、必需或必要特征或组件。
Claims (14)
1.一种增强图像质量的方法,所述方法包括:
从图像传感器接收多个输入帧和元数据;
确定所述多个输入帧中的接收的输入帧的一个或更多个特征分数;
基于对所述接收的输入帧的确定的所述一个或更多个特征分数和所述元数据的分析,来确定所述接收的输入帧的参数分数;
基于所述参数分数识别所述接收的输入帧中的用于校正的一个或更多个伪影;
基于所述参数分数确定所述接收的输入帧中识别出的至少一个伪影所需的校正强度;
将所确定的校正强度应用于所述接收的输入帧;以及
对应用了所确定的校正强度的多个接收的输入帧执行多帧混合。
2.根据权利要求1所述的方法,其中,确定所述一个或更多个特征分数包括:
使用上下文数据来提取所述接收的输入帧的至少一个特征,其中,所述上下文数据是基于一个或更多个图像捕捉条件来确定的,所述一个或更多个图像捕捉条件包括每帧ISO、曝光时间和光条件;以及
基于所述接收的输入帧的提取的所述至少一个特征的级别来计算提取的所述至少一个特征的分数。
3.根据权利要求1所述的方法,其中,确定所述参数分数包括:
基于所述接收的输入帧的所述一个或更多个特征分数的加权平均来生成所述接收的输入帧的所述一个或更多个特征分数中的至少一个的向量分数;
对所述接收的输入帧的所述一个或更多个特征分数的生成的向量分数进行混合;
对混合的向量分数进行缩放;以及
基于所述混合的向量分数的缩放分数,将一个或更多个特征向量分数分别与一个或更多个生成的特征向量中的每一个相关联。
4.根据权利要求3所述的方法,还包括:
基于所述参数分数来估计所述接收的输入帧的一个或更多个特征中的至少一个特征的质量,其中,基于峰值信噪比PSNR、结构相似性指数SSIM或多尺度结构相似性MS-SSIM评级感知质量中的至少一个来估计所述质量;
基于所述接收的输入帧的所估计的质量对所述一个或更多个特征进行优先级排序;
基于所估计的质量和所述优先级排序,确定所述接收的输入帧中的至少一个伪影的校正强度;以及
基于所述参数分数在所述接收的输入帧中应用所确定的校正强度。
5.根据权利要求1所述的方法,还包括:
调整所述接收的输入帧的所述参数分数以在弱光条件下产生最佳结果。
6.根据权利要求1所述的方法,还包括:
利用图像捕捉条件的变化来更新所述参数分数;以及
基于所述元数据来控制所述参数分数。
7.根据权利要求1所述的方法,其中,所述元数据包括所述图像传感器的ISO值、BV值和曝光值中的至少一个。
8.一种增强图像质量的系统,所述系统包括:
图像传感器;
输入帧分析模块;
变换模块;以及
至少一个处理器,
其中,所述至少一个处理器被配置为:
从图像传感器接收多个输入帧和元数据;
确定来自接收的所述多个输入帧的接收的输入帧的一个或更多个特征分数;
基于对所述接收的输入帧的确定的所述一个或更多个特征分数和所述元数据的分析来确定所述接收的输入帧的参数分数;
基于所述参数分数识别所述接收的输入帧中的用于校正的一个或更多个伪影;
基于所述参数分数确定所述接收的输入帧中识别出的至少一个伪影所需的校正强度;
将确定的校正强度应用于所述接收的输入帧;以及
对应用了所确定的校正强度的多个接收的输入帧执行多帧混合。
9.根据权利要求8所述的系统,其中,用于由所述至少一个处理器确定一个或更多个特征分数的所述输入帧分析模块被配置为:
使用上下文数据提取所述接收的输入帧的至少一个特征,其中,所述上下文数据是基于一个或更多个图像捕捉条件来确定的,所述一个或更多个图像捕捉条件包括每帧ISO、曝光时间和光条件;以及
基于所述接收的输入帧的提取的所述至少一个特征的级别来计算提取的所述至少一个特征的分数。
10.根据权利要求8所述的系统,其中,用于由所述至少一个处理器确定所述参数分数的所述输入帧分析模块被配置为:
基于所述接收的输入帧的所述一个或更多个特征分数的加权平均来生成所述接收的输入帧的所述一个或更多个特征分数中的至少一个的向量分数;
对所述接收的输入帧的所述一个或更多个特征分数的生成的向量分数进行混合;
对混合的向量分数进行缩放;以及
基于所述混合的向量分数的缩放分数,将一个或更多个特征向量分数分别与一个或更多个生成的特征向量中的每一个相关联。
11.根据权利要求10所述的系统,其中,所述变换模块被配置为:
基于所述参数分数来估计所述接收的输入帧的一个或更多个特征中的至少一个特征的质量,其中,基于峰值信噪比PSNR、结构相似性指数SSIM或多尺度结构相似性MS-SSIM评级感知质量中的至少一个来估计所述质量;
基于所述接收的输入帧的所估计的质量对所述一个或更多个特征进行优先级排序;
基于所估计的质量和所述优先级排序,确定所述接收的输入帧中的至少一个伪影的校正强度;以及
基于所述参数分数在所述接收的输入帧中应用所确定的校正强度。
12.根据权利要求8所述的系统,其中,所述变换模块被配置为调整所述接收的输入帧的所述参数分数以在弱光条件下产生最佳结果。
13.根据权利要求8所述的系统,其中,所述变换模块还被配置为利用图像捕捉条件的变化来更新所述参数分数,基于接收的所述元数据来控制所述参数分数。
14.根据权利要求8所述的系统,其中,所述元数据包括所述图像传感器的ISO值、BV值和曝光值中的至少一个。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN202141030525 | 2021-07-07 | ||
IN202141030525 | 2022-01-18 | ||
PCT/KR2022/007744 WO2023282469A1 (en) | 2021-07-07 | 2022-05-31 | A method and system for enhancing image quality |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116982075A true CN116982075A (zh) | 2023-10-31 |
Family
ID=84802157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280020496.1A Pending CN116982075A (zh) | 2021-07-07 | 2022-05-31 | 用于增强图像质量的方法和系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230014050A1 (zh) |
EP (1) | EP4256508A1 (zh) |
CN (1) | CN116982075A (zh) |
WO (1) | WO2023282469A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PL3362987T3 (pl) * | 2015-10-14 | 2022-01-10 | Shanghai United Imaging Healthcare Co., Ltd. | Układ i sposób korekcji obrazu |
US10805649B2 (en) * | 2017-01-04 | 2020-10-13 | Samsung Electronics Co., Ltd. | System and method for blending multiple frames into a single frame |
WO2019145835A1 (en) * | 2018-01-23 | 2019-08-01 | Imax Corporation | Enhancing image data with appearance controls |
US11128809B2 (en) * | 2019-02-15 | 2021-09-21 | Samsung Electronics Co., Ltd. | System and method for compositing high dynamic range images |
KR20190119548A (ko) * | 2019-10-02 | 2019-10-22 | 엘지전자 주식회사 | 이미지 노이즈 처리방법 및 처리장치 |
-
2022
- 2022-05-31 CN CN202280020496.1A patent/CN116982075A/zh active Pending
- 2022-05-31 WO PCT/KR2022/007744 patent/WO2023282469A1/en active Application Filing
- 2022-05-31 EP EP22837823.8A patent/EP4256508A1/en active Pending
- 2022-08-18 US US17/890,868 patent/US20230014050A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230014050A1 (en) | 2023-01-19 |
EP4256508A1 (en) | 2023-10-11 |
WO2023282469A1 (en) | 2023-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220188999A1 (en) | Image enhancement method and apparatus | |
Sharma et al. | Classification-driven dynamic image enhancement | |
Zhou et al. | Underwater image enhancement method via multi-feature prior fusion | |
TWI721510B (zh) | 雙目圖像的深度估計方法、設備及儲存介質 | |
CN111340716B (zh) | 一种改进双重判别对抗网络模型的图像去模糊方法 | |
CN110136075B (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
WO2017100971A1 (zh) | 一种失焦模糊图像的去模糊方法和装置 | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
Wang et al. | Deep single image deraining via modeling haze-like effect | |
Lin et al. | Low-light enhancement using a plug-and-play Retinex model with shrinkage mapping for illumination estimation | |
Xu et al. | Deep retinex decomposition network for underwater image enhancement | |
WO2023125750A1 (zh) | 一种图像去噪方法、装置和存储介质 | |
Saleh et al. | Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement | |
Sharma et al. | Adaptive interval Type-2 fuzzy filter: an AI agent for handling uncertainties to preserve image naturalness | |
Draa et al. | An opposition-based firefly algorithm for medical image contrast enhancement | |
Guo et al. | Multi-scale feature guided low-light image enhancement | |
Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
Zheng et al. | Windowing decomposition convolutional neural network for image enhancement | |
Kumar et al. | A generic post-processing framework for image dehazing | |
CN113011433B (zh) | 一种滤波参数调整方法及装置 | |
CN113506260B (zh) | 一种人脸图像质量评估方法、装置、电子设备及存储介质 | |
CN116363064A (zh) | 融合目标检测模型和图像分割模型的缺陷识别方法及装置 | |
CN116982075A (zh) | 用于增强图像质量的方法和系统 | |
CN113379611B (zh) | 图像处理模型的生成方法、处理方法、存储介质及终端 | |
Galetto et al. | Single image defocus map estimation through patch blurriness classification and its applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |