CN117372269B - 一种基于学习的拜耳图像去锯齿方法、装置和存储介质 - Google Patents
一种基于学习的拜耳图像去锯齿方法、装置和存储介质 Download PDFInfo
- Publication number
- CN117372269B CN117372269B CN202311642219.7A CN202311642219A CN117372269B CN 117372269 B CN117372269 B CN 117372269B CN 202311642219 A CN202311642219 A CN 202311642219A CN 117372269 B CN117372269 B CN 117372269B
- Authority
- CN
- China
- Prior art keywords
- image
- series
- trained
- image sequence
- fixed filters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 33
- 238000005457 optimization Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/12—Indexing scheme for image data processing or generation, in general involving antialiasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种基于学习的拜耳图像去锯齿方法、装置和存储介质,所述方法包括:获取存在锯齿问题的图像序列;训练与存在锯齿问题的图像序列对应的一系列固定滤波器,获取训练好的一系列固定滤波器;将存在锯齿问题的图像序列输入训练好的一系列固定滤波器,通过训练好的一系列固定滤波器进行卷积完成去锯齿操作。本发明由于采用固定滤波器进行卷积处理,有利于降低图像优化模型的复杂度,提高图像处理效率,使得去锯齿能够实现实时处理,而且卷积处理只有加法和乘法操作,更容易在硬件中实现。同时,滤波器固定不需要进行边缘方向检测,不需要对方向量化选择对应的方向滤波器进行滤波,可以处理任何方向的锯齿,并且能够很好的处理小角度的锯齿。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种基于学习的拜耳图像去锯齿方法、装置、可读存储介质和电子装置。
背景技术
图像传感器获取图像时,为了更好地获得清晰图像,各大厂家会设计各自的图像处理管道对原始图像进行处理,得到符合客户要求的高清图像。图像处理管道一般包括多个模块,每个模块按照特定的顺序对原始图像数据进行处理,得到理想的彩色高清图像。其中,一种常见的原始图像数据为拜耳(Bayer)图像,一个像素只有一种颜色,红色(R)或绿色(G)或蓝色(B),通过插值算法得到每个像素的RGB值。
图像处理管道包含Binning处理或缩放处理,图像进行Binning处理或缩放处理时由于采样率不足会给图像的边缘带来锯齿效应,即在原始图像中看上去直的边缘经过处理后边缘附近出现锯齿现象。Binning处理一般对拜耳图像中相邻且颜色相同的像素合并处理降低图像分辨率,因此Binning处理后的锯齿问题无法避免。缩放处理对拜耳图像使用插值算法进行下采样,例如最近邻插值法、双线性插值法、双三次插值法等算法,目前的插值方法对拜耳图像进行下采样时由于采样率不足,从而产生锯齿现象。当图像出现锯齿现象时,需要对其进行去锯齿处理。
目前,缩放处理会在RGB图像上进行,以减弱下采样导致的锯齿现象。为了进一步去除锯齿,一种传统的去锯齿方法是在RGB图像下采样后的图像进行去锯齿处理,通过检测图像边缘,根据边缘方向在方向滤波器组中选取对应的滤波器,沿着边缘方向进行滤波,从而去除锯齿。
然而,由于RGB图像每个像素包含RGB三种颜色,而拜耳图像每个像素只有一种颜色,所以在RGB图像进行缩放处理的复杂度会比在拜耳图像上进行缩放处理的复杂度高。而上述去锯齿的方法也存在两个缺点,一个缺点是需要对方向进行量化,只能选择最近的方向滤波器进行滤波,影响准确性。另一个缺点是处理小角度(即接近水平方向的角度)时,对于低于量化方向角度方向,无法很好的处理该方向出现的锯齿。
发明内容
本发明的目的在于提供一种基于学习的拜耳图像去锯齿方法、装置和存储介质,采用固定滤波器进行卷积处理,降低了图像优化模型的复杂度,提高了图像处理效率。
为解决上述技术问题,根据本发明的第一个方面,提供了一种基于学习的拜耳图像去锯齿方法,包括:
获取存在锯齿问题的图像序列;
训练与所述存在锯齿问题的图像序列对应的一系列固定滤波器,获取训练好的一系列固定滤波器;以及
将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作。
可选的,训练一系列固定滤波器的方法包括:
获取样本数据集构建自适应训练数据集;
将所述自适应训练数据集输入待训练的一系列固定滤波器学习框架;以及
通过计算预设的损失目标对所述待训练的一系列固定滤波器进行参数迭代更新调整直至所述待训练的一系列固定滤波器满足预设的收敛条件。
可选的,获取样本数据集构建自适应训练数据集的方法包括:
获取多个样本数据,对所述样本数据进行模拟得到训练数据对,所述训练数据对包括所需的具有锯齿问题的图像序列,以及与所述具有锯齿问题的图像序列相匹配的不具有锯齿问题的图像序列;
将所述训练数据对按照比例或任务组合构建所述自适应训练数据集。
可选的,获取多个样本数据,对所述样本数据进行模拟得到训练数据对的方法包括:
通过图像传感器获得拜耳图像,将所述拜耳图像作为样本数据;
通过Binning方法对所述样本数据下采样得到具有锯齿问题的图像序列;
通过高斯滤波和双三次插值方法对所述样本数据下采样得到与所述具有锯齿问题的图像序列相匹配的不具有锯齿问题的图像序列。
可选的,获取多个样本数据,对所述样本数据进行模拟得到训练数据对的方法包括:
通过图像传感器获得拜耳图像,将所述拜耳图像作为样本数据;
通过双线性插值方法对所述样本数据下采样得到具有锯齿问题的图像序列;
通过高斯滤波和双三次插值方法对所述样本数据下采样得到与所述具有锯齿问题的图像序列相匹配的不具有锯齿问题的图像序列。
可选的,将所述自适应训练数据集输入待训练的一系列固定滤波器学习框架的方法包括:
将所述自适应训练数据集按照坐标位置依次分块,且相邻的图像存在重叠区域,对所述自适应训练数据集进行通道拆分和数据归一化,输入待训练的一系列固定滤波器学习框架中。
可选的,计算预设的损失目标所使用的损失函数包含最小绝对值损失函数、最小平方误差损失函数、结构相似度损失函数中的一种或多种。
可选的,将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作的方法包括:
将所述存在锯齿问题的图像序列拆分为不同通道与对应通道的训练好的固定滤波器进行卷积操作,合并不同通道得到图像序列作为去除锯齿的图像序列。
为解决上述技术问题,根据本发明的第二个方面,还提供了一种图像去锯齿装置,包括:
采集单元,用于获取具有锯齿问题的图像序列;
训练单元,用于训练与所述存在锯齿问题的图像序列对应的一系列固定滤波器,获得训练好的一系列固定滤波器;以及
去锯齿单元,用于将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作。
为解决上述技术问题,根据本发明的第三个方面,还提供了一种可读存储介质,其上存储有程序,所述程序被执行时实现如上所述的基于学习的拜耳图像去锯齿方法。
为解决上述技术问题,根据本发明的第四个方面,还提供了一种电子装置,包括如上所述的可读存储介质以及用于运行所述程序的处理器。
综上所述,在本发明提供的基于学习的拜耳图像去锯齿方法、装置和存储介质中,首先获取存在锯齿问题的图像序列,接着训练与所述存在锯齿问题的图像序列对应的一系列固定滤波器,获取训练好的一系列固定滤波器,然后将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作。本发明由于采用固定滤波器进行卷积处理,有利于降低图像优化模型的复杂度,提高图像处理效率,使得去锯齿能够实现实时处理,能够部署在视频实时处理等场景中,而且卷积处理只有加法和乘法操作,更容易在硬件中实现。同时,滤波器固定不需要进行边缘方向检测,不需要对方向量化选择对应的方向滤波器进行滤波,可以处理任何方向的锯齿,并且能够很好的处理小角度的锯齿。
另外,本发明直接对拜耳图像进行滤波操作,在拜耳图像经过Binning处理或者缩放处理后进行去锯齿处理,并且仅需进行加法和乘法操作,计算量小,相比在RGB图形上进行缩放复杂度更小而且去锯齿效果更好。
另外,本发明采用训练的方式训练固定滤波器,训练方法结合了机器学习和非机器学习方法的优点,相比现有技术中的去锯齿方法,不受锯齿方向影响,和固定滤波器卷积后就可以进行去锯齿处理,从而能够得到高质量的目标图像。
附图说明
本领域的普通技术人员将会理解,提供的附图用于更好地理解本发明,而不对本发明的范围构成任何限定。其中:
图1是本发明一实施例提供的基于学习的拜耳图像去锯齿方法的流程图。
图2是本发明一实施例提供的训练一系列固定滤波器的方法的流程图。
图3是本发明一实施例提供的获取样本数据集构建自适应训练数据集的方法的流程图。
图4是本发明一实施例提供的拜耳图像的示意图。
图5是本发明一实施例提供的训练好的滤波器的示意图。
图6是本发明一实施例提供的拜耳图像B通道的示意图。
图7是与图6所示的拜耳图像B通道相对应的滤波器B的示意图。
图8是本发明一实施例提供的图像去锯齿装置的模块图。
具体实施方式
为使本发明的目的、优点和特征更加清楚,以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是,附图均采用非常简化的形式且未按比例绘制,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。
如在本发明中所使用的,单数形式“一”、“一个”以及“该”包括复数对象,除非内容另外明确指出外。如在本发明中所使用的,术语“或”通常是以包括“和/或”的含义而进行使用的,除非内容另外明确指出外。如在本发明中所使用的,术语“若干”通常是以包括“至少一个”的含义而进行使用的,除非内容另外明确指出外。如在本发明中所使用的,术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的,除非内容另外明确指出外。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征。
图1是本发明一实施例提供的基于学习的拜耳图像去锯齿方法的流程图。请参考图1所示,本实施例提供的基于学习的拜耳图像去锯齿方法包括以下步骤:
步骤S1:获取存在锯齿问题的图像序列;
步骤S2:训练与所述存在锯齿问题的图像序列对应的一系列固定滤波器,获取训练好的一系列固定滤波器;以及
步骤S3:将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作。
本发明由于采用固定滤波器进行卷积处理,有利于降低图像优化模型的复杂度,提高图像处理效率,使得去锯齿能够实现实时处理,能够部署在视频实时处理等场景中,而且卷积处理只有加法和乘法操作,更容易在硬件中实现。同时,滤波器固定不需要进行边缘方向检测,不需要对方向量化选择对应的方向滤波器进行滤波,可以处理任何方向的锯齿,并且能够很好的处理小角度的锯齿。
以下对本实施例提供的基于学习的拜耳图像去锯齿方法的各步骤进行说明。
在步骤S1中,获取存在锯齿问题的图像序列。
本实施例中,获取存在锯齿问题的图像序列可以是拜耳图像序列。
在步骤S2中,训练与所述存在锯齿问题的图像序列对应的一系列固定滤波器,获取训练好的一系列固定滤波器。
图2是本发明一实施例提供的训练一系列固定滤波器的方法的流程图。本发明一实施例中,请参考图2所示,训练一系列固定滤波器的方法包括:
步骤S21,获取样本数据集构建自适应训练数据集;
步骤S22,将所述自适应训练数据集输入待训练的一系列固定滤波器学习框架;以及
步骤S23,通过计算预设的损失目标对所述待训练的一系列固定滤波器进行参数迭代更新调整直至所述待训练的一系列固定滤波器满足预设的收敛条件。
图3是本发明一实施例提供的获取样本数据集构建自适应训练数据集的方法的流程图,请参考图3所示,在步骤S21中,获取样本数据集构建自适应训练数据集的方法包括:
首先,执行步骤S211,获取多个样本数据,对所述样本数据进行模拟得到训练数据对,所述训练数据对包括所需的具有锯齿问题的图像序列,以及与所述具有锯齿问题的图像序列相匹配的不具有锯齿问题的图像序列。
本发明第一实施例中,获取多个样本数据,对所述样本数据进行模拟得到训练数据对的方法包括:通过图像传感器获得拜耳图像,将所述拜耳图像作为样本数据;通过Binning方法对所述样本数据下采样得到具有锯齿问题的图像序列;以及通过高斯滤波和双三次插值方法对所述样本数据下采样得到与所述具有锯齿问题的图像序列相匹配的不具有锯齿问题的图像序列。示例性的,首先将通过图像传感器获得的拜耳图像作为样本数据,然后拜耳图像上使用与图像处理管道中Binning模块相同的方法对样本数据进行Binning处理得到锯齿图像,然后对样本数据进行去马赛克算法得到的RGB图像上进行高斯滤波和双三次插值方法下采样2倍,然后重新采样得到和锯齿图像尺寸大小一样的不具有锯齿问题的拜耳图像。
图4是本发明一实施例提供的拜耳图像的示意图。图4所示的是BGGR格式的拜耳图像,当然除BGGR格式之外还有GBRG格式、GRBG格式与RGGB格式。拜耳图像通常指RAW格式数据的图像,是通过拜耳滤镜与图像传感器所采集的图像,每个像素只有一种像素值,R或G或B。一般的,拜耳图像中的G像素包含Gb像素和Gr像素,Gb像素和B像素处于同一行,Gr像素和R像素处于同一行。因此,可以将拜耳图像表示为B通道图像、Gb通道图像、Gr通道图像和R通道图像的叠加。
本发明第一实施例中获取训练数据对的方法是针对拜耳图像Binning处理后出现的锯齿问题,训练数据对获取简单,能很好地模拟Binning模块处理后出现的一般锯齿问题,并且能够生成对应的不具有锯齿问题的参考图。
本发明第二实施例中,获取多个样本数据,对所述样本数据进行模拟得到训练数据对的方法包括:通过图像传感器获得拜耳图像,将所述拜耳图像作为样本数据;通过双线性插值方法对所述样本数据下采样得到具有锯齿问题的图像序列;通过高斯滤波和双三次插值方法对所述样本数据下采样得到与所述具有锯齿问题的图像序列相匹配的不具有锯齿问题的图像序列。示例性的,将通过图像传感器获得的拜耳图像作为样本数据,在拜耳图像使用复杂度较小的双线性差值方法对样本数据下采样1至2倍得到锯齿图像,然后对样本数据进行去马赛克算法得到的RGB图像上进行高斯滤波和双三次插值方法下采样对应的倍数,然后重新采用得到和锯齿图像尺寸大小一样的不具有锯齿问题的拜耳图像,其中,每个样本数据都会生成多个不同下采样倍率的训练数据对。
本发明第二实施例中,获取训练数据对的方法是针对拜耳图像缩放处理后出现的锯齿问题,训练数据对获取简单,能够很好的模拟缩放模块使用双线性插值方法后出现的一般锯齿问题,并且能够生成对应的不具有锯齿问题的参考图。
综上可以看出,上述两种不同的样本数据对的获取方法能够很好地对应图像处理管道中拜耳图像不同模块导致的锯齿问题。
接着,执行步骤S212,将所述训练数据对按照比例或任务组合构建所述自适应训练数据集。
其中,所述具有锯齿问题的图像序列与所述不具有锯齿问题的图像序列的比例可以设置,并且还可以根据待去锯齿的图像序列的类型进行调节。
所述具有锯齿问题的图像序列与所述不具有锯齿问题的图像序列满足像素级别上的对齐,仅存在图像质量上的区别,而且所述不具有锯齿问题的图像序列可以用于计算损失函数值,用来判断待训练的一系列固定滤波器是否满足收敛。
步骤S22中,将所述自适应训练数据集输入待训练的一系列固定滤波器学习框架。
在本发明一实施例中,一系列固定滤波器可以是不同数量的滤波器,也可以是不同大小的滤波器,例如2×2、3×3、5×5等。在本发明另一实施例中,可以用神经网络代替一系列滤波器,包括但不限于:全卷积网络、Unet网络或残差网络等。
本发明一实施例中,将所述自适应训练数据集输入待训练的一系列固定滤波器学习框架的方法包括:将所述自适应训练数据集按照坐标位置依次分块,且相邻的图像存在重叠区域,对所述自适应训练数据集进行通道拆分和数据归一化,输入待训练的一系列固定滤波器学习框架中。
由于所述自适应训练数据集中图像序列比较大,且滤波器训练运算能力有限,训练的时候需要对训练数据进行分块处理后输入待训练的一系列固定滤波器学习框架,本实施例中,示例性的,把数据分成256×256大小的数据块进行训练;对自适应训练数据进行通道拆分和数据归一化,拆分通道是因为训练的一系列固定滤波器是针对拜耳图像中不同通道的,归一化操作时为了对数据进行标准化处理,消除了不同量纲的影响,使数据处于同一数量级,能够使滤波器训练更加快速收敛。
步骤S23中,通过计算预设的损失目标对所述待训练的一系列固定滤波器进行参数迭代更新调整直至所述待训练的一系列固定滤波器满足预设的收敛条件。
本发明一实施例中,计算预设的损失目标所使用的损失函数包含最小绝对值损失函数、最小平方误差损失函数、结构相似度损失函数中的一种或多种,但不限于此。
对一系列固定滤波器训练结束后,冻结滤波器参数,以使得滤波器参数固定下来,所述滤波器参数可以运行在浮点的硬件资源上,包括但不限于CPU、GPU。也可以对滤波器参数进行量化,根据输入数据和硬件资源对参数进行8bit或10bit或更高的bit整形化,在硬件加速平台上部署。所述硬件加速平台包含但不限于量化平台。
本发明直接对拜耳图像进行滤波操作,在拜耳图像经过Binning处理或者缩放处理后进行去锯齿处理,并且仅需进行加法和乘法操作,计算量小,相比在RGB图像上进行缩放复杂度更小而且去锯齿效果更好。
另外,本发明采用训练的方式训练固定滤波器,训练方法结合了机器学习和非机器学习方法的优点,相比现有技术中的去锯齿方法,不受锯齿方向影响,和固定滤波器卷积后就可以进行去锯齿处理,从而能够得到高质量的目标图像。
在步骤S3中,将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作。
本实施例中,将所述存在锯齿问题的图像序列拆分为不同通道与对应通道的训练好的滤波器进行卷积操作,合并不同通道得到图像序列作为去除锯齿的图像序列。
由于拜耳图像由不同通道组成,所以滤波器的数据和通道数有比例关系。图5是本发明一实施例提供的训练好的滤波器的示意图。参考图5中所展示的3x3滤波器,其中B、Gb、Gr、R四个通道对应的滤波器都可以是图5所示的3x3滤波器,例如图5所示的滤波器可以是滤波器B,滤波器Gb,滤波器Gr或滤波器R。滤波器可以是不同大小的,也可以是更多数量的滤波器组合起来构成的神经网络。
图6是本发明一实施例提供的拜耳图像B通道的示意图,图7是与图6所示的拜耳图像B通道相对应的滤波器B的示意图。本发明一实施例中,将图6与图7所展示的拜耳图像B通道和对应的3x3滤波器B进行卷积能够得到对应的灰度值。滤波器大小为3x3,可以对拜耳图像以B5为中心的5x5区域滤波,例如对B5为中心的5x5区域滤波,得到B5的灰度值为:
Gray(B5)=B1*A11+B2*A12+B3*A13+B4*A21+B5*A22+B6*A23+B7*A31+B8*A32+B9*A33
同理可以对其他B像素使用滤波器B进行滤波得到灰度值。对于处于边角位置的B像素,可以采用padding(填充)的方式对拜耳图像增加行和列,然后对边角位置的B像素进行滤波得到灰度值。当然,也可以对处于边角位置的B像素不作滤波操作,保留原值。
最后根据所述训练好的一系列固定滤波器输出的图像序列得到去锯齿问题的图像序列。
为了实现上述基于学习的拜耳图像去锯齿方法,本发明还提供一种图像去锯齿装置,所述图像去锯齿装置包括用于执行如上所述的基于学习的拜耳图像去锯齿方法的处理器。图8是本发明一实施例提供的图像去锯齿装置的模块图,请参考图8所示,所述图像去锯齿装置包括:
采集单元,用于获取具有锯齿问题的图像序列;
训练单元,用于训练与所述存在锯齿问题的图像序列对应的一系列固定滤波器,获得训练好的一系列固定滤波器;以及
去锯齿单元,用于将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作。
本发明还提供一种可读存储介质,其上存储有程序,所述程序被执行时实现如上所述的基于学习的拜耳图像去锯齿方法。
本发明还提供一种电子装置,包括如上所述的可读存储介质以及用于运行所述程序的处理器。
综上所述,在本发明提供的基于学习的拜耳图像去锯齿方法、装置和存储介质中,首先获取存在锯齿问题的图像序列,接着训练与所述存在锯齿问题的图像序列对应的一系列固定滤波器,获取训练好的一系列固定滤波器,然后将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作。本发明由于采用固定滤波器进行卷积处理,有利于降低图像优化模型的复杂度,提高图像处理效率,使得去锯齿能够实现实时处理,能够部署在视频实时处理等场景中,而且卷积处理只有加法和乘法操作,更容易在硬件中实现。同时,滤波器固定不需要进行边缘方向检测,不需要对方向量化选择对应的方向滤波器进行滤波,可以处理任何方向的锯齿,并且能够很好的处理小角度的锯齿。
另外,本发明直接对拜耳图像进行滤波操作,在拜耳图像经过Binning处理或者缩放处理后进行去锯齿处理,并且仅需进行加法和乘法操作,计算量小,相比在RGB图形上进行缩放复杂度更小而且去锯齿效果更好。
另外,本发明采用训练的方式训练固定滤波器,训练方法结合了机器学习和非机器学习方法的优点,相比现有技术中的去锯齿方法,不受锯齿方向影响,和固定滤波器卷积后就可以进行去锯齿处理,从而能够得到高质量的目标图像。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。
Claims (7)
1.一种基于学习的拜耳图像去锯齿方法,其特征在于,包括:
获取存在锯齿问题的图像序列;
训练与所述存在锯齿问题的图像序列对应的一系列固定滤波器,获取训练好的一系列固定滤波器;以及
将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作;
其中,训练一系列固定滤波器的方法包括:获取样本数据集构建自适应训练数据集;将所述自适应训练数据集输入待训练的一系列固定滤波器学习框架;以及通过计算预设的损失目标对所述待训练的一系列固定滤波器进行参数迭代更新调整直至所述待训练的一系列固定滤波器满足预设的收敛条件;
获取样本数据集构建自适应训练数据集的方法包括:获取多个样本数据,对所述样本数据进行模拟得到训练数据对,所述训练数据对包括所需的具有锯齿问题的图像序列,以及与所述具有锯齿问题的图像序列相匹配的不具有锯齿问题的图像序列;将所述训练数据对按照比例或任务组合构建所述自适应训练数据集;
获取多个样本数据,对所述样本数据进行模拟得到训练数据对的方法包括:通过图像传感器获得拜耳图像,将所述拜耳图像作为样本数据;通过Binning方法或者双线性插值方法对所述样本数据下采样得到具有锯齿问题的图像序列;通过高斯滤波和双三次插值方法对所述样本数据下采样得到与所述具有锯齿问题的图像序列相匹配的不具有锯齿问题的图像序列。
2.根据权利要求1所述的基于学习的拜耳图像去锯齿方法,其特征在于,将所述自适应训练数据集输入待训练的一系列固定滤波器学习框架的方法包括:
将所述自适应训练数据集按照坐标位置依次分块,且相邻的图像存在重叠区域,对所述自适应训练数据集进行通道拆分和数据归一化,输入待训练的一系列固定滤波器学习框架中。
3.根据权利要求1所述的基于学习的拜耳图像去锯齿方法,其特征在于,计算预设的损失目标所使用的损失函数包含最小绝对值损失函数、最小平方误差损失函数、结构相似度损失函数中的一种或多种。
4.根据权利要求1所述的基于学习的拜耳图像去锯齿方法,其特征在于,将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作的方法包括:
将所述存在锯齿问题的图像序列拆分为不同通道与对应通道的训练好的固定滤波器进行卷积操作,合并不同通道得到图像序列作为去除锯齿的图像序列。
5.一种图像去锯齿装置,其特征在于,包括用于执行如权利要求1~4中任一项所述的基于学习的拜耳图像去锯齿方法的处理器,所述处理器包括:
采集单元,用于获取存在锯齿问题的图像序列;
训练单元,用于训练与所述存在锯齿问题的图像序列对应的一系列固定滤波器,获得训练好的一系列固定滤波器;以及
去锯齿单元,用于将所述存在锯齿问题的图像序列输入所述训练好的一系列固定滤波器,通过所述训练好的一系列固定滤波器进行卷积完成去锯齿操作。
6.一种可读存储介质,其上存储有程序,其特征在于,所述程序被执行时实现如权利要求1~4中任一项所述的基于学习的拜耳图像去锯齿方法。
7.一种电子装置,其特征在于,包括如权利要求6所述的可读存储介质以及用于运行所述程序的处理器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311642219.7A CN117372269B (zh) | 2023-12-04 | 2023-12-04 | 一种基于学习的拜耳图像去锯齿方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311642219.7A CN117372269B (zh) | 2023-12-04 | 2023-12-04 | 一种基于学习的拜耳图像去锯齿方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117372269A CN117372269A (zh) | 2024-01-09 |
CN117372269B true CN117372269B (zh) | 2024-03-22 |
Family
ID=89396878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311642219.7A Active CN117372269B (zh) | 2023-12-04 | 2023-12-04 | 一种基于学习的拜耳图像去锯齿方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117372269B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1377008A (zh) * | 2001-03-26 | 2002-10-30 | 矽统科技股份有限公司 | 消除图像锯齿效应的后置滤波方法 |
CN112861874A (zh) * | 2021-01-07 | 2021-05-28 | 北京惠朗时代科技有限公司 | 一种基于多滤波器去噪结果的专家场去噪方法及系统 |
CN114677286A (zh) * | 2020-12-24 | 2022-06-28 | Tcl科技集团股份有限公司 | 一种图像处理方法、装置、存储介质及终端设备 |
CN115393193A (zh) * | 2022-08-29 | 2022-11-25 | 深圳市汇顶科技股份有限公司 | 图像处理方法、图像处理装置及芯片 |
CN116433496A (zh) * | 2021-12-31 | 2023-07-14 | 虹软科技股份有限公司 | 一种图像去噪方法、装置和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110335215B (zh) * | 2019-07-09 | 2021-07-02 | 格兰菲智能科技有限公司 | 图像反走样方法及图像反走样装置 |
-
2023
- 2023-12-04 CN CN202311642219.7A patent/CN117372269B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1377008A (zh) * | 2001-03-26 | 2002-10-30 | 矽统科技股份有限公司 | 消除图像锯齿效应的后置滤波方法 |
CN114677286A (zh) * | 2020-12-24 | 2022-06-28 | Tcl科技集团股份有限公司 | 一种图像处理方法、装置、存储介质及终端设备 |
CN112861874A (zh) * | 2021-01-07 | 2021-05-28 | 北京惠朗时代科技有限公司 | 一种基于多滤波器去噪结果的专家场去噪方法及系统 |
CN116433496A (zh) * | 2021-12-31 | 2023-07-14 | 虹软科技股份有限公司 | 一种图像去噪方法、装置和存储介质 |
CN115393193A (zh) * | 2022-08-29 | 2022-11-25 | 深圳市汇顶科技股份有限公司 | 图像处理方法、图像处理装置及芯片 |
Non-Patent Citations (1)
Title |
---|
一种后处理式的改进抗锯齿算法;邵鹏等;计算机科学;第45卷(第11A期);第218-221、225页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117372269A (zh) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578392B (zh) | 一种基于残余插值的卷积神经网络去马赛克方法 | |
US7705915B1 (en) | Method and apparatus for filtering video data using a programmable graphics processor | |
US8238685B2 (en) | Image noise reduction method and image processing apparatus using the same | |
US10255665B2 (en) | Image processing device and method, image capturing device, program, and record medium | |
EP2015560A2 (en) | Image data processing method and imaging apparatus | |
CN111539893A (zh) | 一种基于导向滤波的Bayer图像联合去马赛克去噪方法 | |
CN105763768A (zh) | 一种图像处理方法、装置和系统 | |
CN111062331B (zh) | 图像的马赛克检测方法、装置、电子设备及存储介质 | |
CN107194877A (zh) | 一种基于单幅图像的保边插值超分辨率计算方法 | |
CN110930327A (zh) | 基于级联深度残差网络的视频去噪方法 | |
CN101197916A (zh) | 基于梯度的边缘增强颜色插值方法 | |
CN110852953A (zh) | 图像插值方法及装置、存储介质、图像信号处理器、终端 | |
CN117372269B (zh) | 一种基于学习的拜耳图像去锯齿方法、装置和存储介质 | |
CN112801879B (zh) | 图像超分辨率重建方法、装置、电子设备及存储介质 | |
EP3882847B1 (en) | Content based anti-aliasing for image downscale | |
CN104853059B (zh) | 超分辨率图像处理方法及其装置 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
Chung et al. | New joint demosaicing and arbitrary-ratio resizing algorithm for color filter array based on DCT approach | |
RU2310911C1 (ru) | Способ интерполяции изображений | |
CN107240064B (zh) | 图像校正方法、装置及终端 | |
JP4104475B2 (ja) | 輪郭補正装置 | |
KR100905524B1 (ko) | 확대된 영상의 흐려짐 선명화 장치 및 방법 | |
CN103559692B (zh) | 处理图像的方法与装置 | |
CA2011507A1 (en) | Parallel image filtering using convolution | |
CN112862717B (zh) | 一种图像的去噪模糊化方法、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |