CN116228538A - 一种图像插值处理方法、装置、电子设备及可读存储介质 - Google Patents
一种图像插值处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116228538A CN116228538A CN202310231181.8A CN202310231181A CN116228538A CN 116228538 A CN116228538 A CN 116228538A CN 202310231181 A CN202310231181 A CN 202310231181A CN 116228538 A CN116228538 A CN 116228538A
- Authority
- CN
- China
- Prior art keywords
- color
- channel
- interpolation
- color channel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 230000004075 alteration Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000015654 memory Effects 0.000 claims description 30
- 230000000694 effects Effects 0.000 abstract description 23
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域,公开了一种图像插值处理方法、装置、电子设备及可读存储介质。其中,该方法包括:获取待处理图像,确定待处理图像对应的通道间色差;基于通道间色差分别在第一颜色通道以及第二颜色通道中插值第三颜色通道,得到第一插值图像;基于第一插值图像中的各个颜色通道,确定第一通道内色差;基于第一通道内色差在第三颜色通道中插值第一颜色通道以及第二颜色通道,得到第二插值图像;基于第二插值图像中的各个颜色通道,确定第二通道内色差;基于第二通道内色差在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,得到目标图像。通过实施本发明,避免出现颜色伪影或拉链现象,图像的增强效果更好。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种图像插值处理方法、装置、电子设备及可读存储介质。
背景技术
目前,数码相机、手机、医疗仪器等设备通常是采用互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)传感器进行成像。具体地,大多采用一个单一的传感器和一个颜色滤波阵列(Color filter array,CFA)采集图像,得到一幅不完全的彩色图像,即CFA图像或马赛克图像。在CFA图像中的每个像素位置,只有一个通道被采样,为方便观察图像,需要将不完全的彩色图像通过重建算法生成完整的彩色图像,即每个像素位置需R、G、B三个颜色通道均有值。
相关技术中的图像插值处理方法多是采用线性插值、立方插值、基于色差/色比插值等实现图像增强,但是这些插值方式得到的图像难免存在有颜色伪影或拉链现象等,导致图像插值效果不佳。
发明内容
有鉴于此,本发明实施例提供了一种图像插值处理方法、装置、电子设备及可读存储介质,以解决图像插值效果不佳的问题。
根据第一方面,本发明实施例提供了一种图像插值处理方法,包括:获取待处理图像,确定所述待处理图像对应的通道间色差;其中,所述待处理图像包括第一颜色通道、第二颜色通道和第三颜色通道;基于所述通道间色差分别在所述第一颜色通道以及所述第二颜色通道中插值所述第三颜色通道,得到第一插值图像;基于所述第一插值图像中的各个颜色通道,确定第一通道内色差;基于所述第一通道内色差在所述第三颜色通道中插值所述第一颜色通道以及所述第二颜色通道,得到第二插值图像;基于所述第二插值图像中的各个颜色通道,确定第二通道内色差;基于所述第二通道内色差在所述第一颜色通道中插值所述第二颜色通道,并在所述第二颜色通道中插值所述第一颜色通道,得到目标图像。
本发明实施例提供的图像插值处理方法,通过待处理图像的通道间色差在第一颜色通道和第二颜色通道中依次插值第三颜色通道,继而在第一插值图像的第三颜色通道中插值第一颜色通道和第二颜色通道,进而在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,由此最终插值所得到的目标图像的各个像素位置在三个颜色通道均具有像素值。该方法通过多次合理插值,保证每个像素位置均具有三个颜色通道的值,避免图像出现颜色伪影或拉链现象,使得图像的增强效果更好。
结合第一方面,在第一方面的第一实施方式中,所述获取待处理图像,确定所述待处理图像对应的通道间色差,包括:获取所述待处理图像中任一像素位置所对应的目标颜色通道以及所述目标颜色通道在水平方向和竖直方向的相邻颜色通道;基于所述目标颜色通道与所述相邻颜色通道的像素值,确定所述目标颜色通道在水平向左方向上所存在的第一色差、在水平向右方向上所存在的第二色差、在竖直向上方向上所存在的第三色差以及在竖直向下方向上所存在的第四色差;将所述第一色差、所述第二色差、所述第三色差以及所述第四色差确定为所述待处理图像对应的通道间色差。
结合第一方面第一实施方式,在第一方面的第二实施方式中,基于所述通道间色差分别在所述第一颜色通道以及所述第二颜色通道中插值第三颜色通道,得到第一插值图像,包括:基于所述第一颜色通道及其对应的第一通道间色差,确定所述第一颜色通道对应的第一方向权重;基于所述第二颜色通道及其对应的第二通道间色差,确定所述第二颜色通道对应的第二方向权重;基于所述第一方向权重与所述第一通道间色差的加权,确定所述第三颜色通道在所述第一颜色通道中产生的第一插值;基于所述第二方向权重与所述第二通道间色差的加权,确定所述第三颜色通道在所述第二颜色通道中产生的第二插值;将所述第一插值和所述第二插值融合至所述待处理图像,生成第一插值图像。
本发明实施例提供的图像插值处理方法,通过确定在各个方向所产生的通道间色差,继而根据该通道间色差确定出第三颜色通道分别在第一颜色通道和第二颜色通道中所产生的插值,保证第三颜色通道能够合理插值第一颜色通道位置和第二颜色通道位置,实现了第三颜色通道的插值效果。
结合第一方面,在第一方面的第三实施方式中,所述基于所述第一插值图像中的各个颜色通道,确定第一通道内色差,包括:获取所述第一插值图像中针对于所述第三颜色通道的第一目标位置;基于所述第一目标位置及其相邻位置之间的像素值,确定第一通道内色差,其中,所述第一通道内色差包括第一颜色通道内色差、第二颜色通道内色差以及第三颜色通道内色差;其中,所述第三颜色通道内色差包括第一子色差和第二子色差。
结合第一方面第三实施方式,在第一方面的第四实施方式中,所述基于所述第一通道内色差在所述第三颜色通道中插值所述第一颜色通道以及所述第二颜色通道,得到第二插值图像,包括:基于所述第一颜色通道内色差与所述第一子色差之和,确定所述第一颜色通道在所述第三颜色通道中产生的第三插值;基于所述第二颜色通道内色差与所述第二子色差之和,确定所述第二颜色通道在所述第三颜色通道中产生的第四插值;将所述第三插值和所述第四插值融合至所述第一插值图像中,生成第二插值图像。
本发明实施例提供的图像插值处理方法,通过确定第一插值图像中针对于第三颜色通道所存在的通道内色差,继而根据该通道内色差确定出第一颜色通道以及第二颜色通道在第三颜色通道位置所产生的插值,以便在第三颜色通道位置进行第一颜色通道和第二颜色通道的合理插值,使得第三颜色通道位置处具有各个颜色通道像素值,保证了第一颜色通道以及第二颜色通道在第三颜色通道位置的插值效果。
结合第一方面,在第一方面的第五实施方式中,所述基于所述第二插值图像中的各个颜色通道,确定第二通道内色差,包括:获取所述第二插值图像中针对于所述第一颜色通道或所述第二颜色通道的第二目标位置;基于所述第二目标位置及其相邻位置之间的像素值,确定对角线方向所产生的第二通道内色差,其中,所述第二通道内色差包括第一对角色差、第二对角色差、第三对角色差以及第四对角色差。
结合第一方面第五实施方式,在第一方面的第六实施方式中,所述基于所述第二通道内色差在所述第一颜色通道中插值所述第二颜色通道,并在所述第二颜色通道中插值所述第一颜色通道,得到目标图像,包括:确定所述第一对角色差与第三对角色差的第一和值,以及所述第二对角色差与所述第四对角色差的第二和值;根据所述第一和值与所述第二和值的数值大小确定目标插值,其中所述目标插值为所述第二颜色通道在所述第一颜色通道中产生的插值,或所述第一颜色通道在所述第二颜色通道中产生的插值;将所述目标插值融合至所述第二插值图像中,生成所述目标图像;其中,所述根据所述第一和值与所述第二和值的数值大小确定目标插值,包括:当所述第一和值大于所述第二和值时,基于第一插值方式生成第五插值;当所述第一和值小于所述第二和值时,基于第二插值方式生成第六插值;当所述第一和值等于所述第二和值时,基于第三插值方式生成第七插值;其中,目标插值为所述第五插值、所述第六插值或所述第七插值。
本发明实施例提供的图像插值处理方法,通过确定第二插值图像中针对于第一颜色通道或第二颜色通道在对角线方向所产生的通道内色差,继而根据对角线方向的通道内色差,确定出第二颜色通道在第一颜色通道位置所产生的插值,以及第一颜色通道在第二颜色通道位置所产生的插值,以便在第一颜色通道位置进行第二颜色通道的合理插值,并在第二颜色通道位置进行第一颜色通道的合理插值,保证了第一颜色通道与第二颜色通道的插值效果,使得第一颜色通道位置和第二颜色通道位置处均具有各个颜色通道的像素值,保证了第一颜色通道以及第二颜色通道在第三颜色通道位置的插值效果。
根据第二方面,本发明实施例提供了一种图像插值处理装置,包括:获取模块,用于获取待处理图像,确定所述待处理图像对应的通道间色差;其中,所述待处理图像包括第一颜色通道、第二颜色通道和第三颜色通道;第一插值模块,用于基于所述通道间色差分别在所述第一颜色通道以及所述第二颜色通道中插值所述第三颜色通道,得到第一插值图像;第一色差确定模块,用于基于所述第一插值图像中的各个颜色通道,确定第一通道内色差;第二插值模块,用于基于所述第一通道内色差在所述第三颜色通道中插值所述第一颜色通道以及所述第二颜色通道,得到第二插值图像;第二色差确定模块,用于基于所述第二插值图像中的各个颜色通道,确定第二通道内色差;第三插值模块,用于基于所述第二通道内色差在所述第一颜色通道中插值所述第二颜色通道,并在所述第二颜色通道中插值所述第一颜色通道,得到目标图像。
结合第二方面,在第二方面的第一实施方式中,所述获取模块包括:第一获取子模块,用于获取所述待处理图像中任一像素位置所对应的目标颜色通道以及所述目标颜色通道在水平方向和竖直方向的相邻颜色通道;第一确定子模块,用于基于所述目标颜色通道与所述相邻颜色通道的像素值,确定所述目标颜色通道在水平向左方向上所存在的第一色差、在水平向右方向上所存在的第二色差、在竖直向上方向上所存在的第三色差以及在竖直向下方向上所存在的第四色差;第二确定子模块,用于将所述第一色差、所述第二色差、所述第三色差以及所述第四色差确定为所述待处理图像对应的通道间色差。
结合第二方面第一实施方式,在第二方面的第二实施方式中,所述第一插值模块包括:第一权重确定子模块,用于基于所述第一颜色通道及其对应的第一通道间色差,确定所述第一颜色通道对应的第一方向权重;第二权重确定子模块,用于基于所述第二颜色通道及其对应的第二通道间色差,确定所述第二颜色通道对应的第二方向权重;第一插值确定子模块,用于基于所述第一方向权重与所述第一通道间色差的加权,确定所述第三颜色通道在所述第一颜色通道中产生的第一插值;第二插值确定子模块,用于基于所述第二方向权重与所述第二通道间色差的加权,确定所述第三颜色通道在所述第二颜色通道中产生的第二插值;第一生成子模块,用于将所述第一插值和所述第二插值融合至所述待处理图像,生成第一插值图像。
结合第二方面,在第二方面的第三实施方式中,所述第一色差确定模块包括:第二获取子模块,用于获取所述第一插值图像中针对于所述第三颜色通道的第一目标位置;第三确定子模块,用于基于所述第一目标位置及其相邻位置之间的像素值,确定第一通道内色差,其中,所述第一通道内色差包括第一颜色通道内色差、第二颜色通道内色差以及第三颜色通道内色差,所述第三颜色通道内色差包括第一子色差和第二子色差。
结合第二方面第三实施方式,在第二方面的第四实施方式中,所述第二插值模块包括:第三插值确定子模块,用于基于所述第一颜色通道内色差与所述第一子色差之和,确定所述第一颜色通道在所述第三颜色通道中产生的第三插值;第四插值确定子模块,用于基于所述第二颜色通道内色差与所述第二子色差之和,确定所述第二颜色通道在所述第三颜色通道中产生的第四插值;第二生成子模块,用于将所述第三插值和所述第四插值融合至所述第一插值图像中,生成第二插值图像。
结合第二方面,在第二方面的第五实施方式中,所述第二色差确定模块包括:第三获取子模块,用于获取所述第二插值图像中针对于所述第一颜色通道或所述第二颜色通道的第二目标位置;第四确定子模块,用于基于所述第二目标位置及其相邻位置之间的像素值,确定对角线方向所产生的第二通道内色差,其中,所述第二通道内色差包括第一对角色差、第二对角色差、第三对角色差以及第四对角色差。
结合第二方面第五实施方式,在第二方面的第六实施方式中,所述第三插值模块包括:第五确定子模块,用于确定所述第一对角色差与第三对角色差的第一和值,以及所述第二对角色差与所述第四对角色差的第二和值;插值确定子模块,用于根据所述第一和值与所述第二和值的数值大小确定目标插值,其中所述目标插值为所述第二颜色通道在所述第一颜色通道中产生的插值,或所述第一颜色通道在所述第二颜色通道中产生的插值;第三生成子模块,用于将所述目标插值融合至所述第二插值图像中,生成所述目标图像;其中,所述插值确定子模块用于根据第一和值与第二和值的数值大小确定目标插值,包括:当所述第一和值大于所述第二和值时,基于第一插值方式生成第五插值;当所述第一和值小于所述第二和值时,基于第二插值方式生成第六插值;当所述第一和值等于所述第二和值时,基于第三插值方式生成第七插值;其中,所述目标插值为所述第五插值、所述第六插值或所述第七插值。
根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或第一方面任一实施方式所述的图像插值处理方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行第一方面或第一方面任一实施方式所述的图像插值处理方法。
需要说明的是,本发明实施例提供的图像插值处理装置、电子设备以及计算机可读存储介质的相应有益效果,请参见图像插值处理方法中相应内容的描述,在此不再赘述。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例中的CFA图像的颜色通道示意图;
图2示出了本发明实施例中的CFA图像的插值前示意图;
图3是根据本发明实施例的图像插值处理方法的流程图;
图4是根据本发明中的图像插值处理方法生成的目标图像效果示意图;
图5是根据本发明实施例的图像插值处理方法的另一流程图;
图6是根据本发明实施例的图像插值处理方法的又一流程图;
图7是根据本发明实施例的图像插值处理方法的再一流程图;
图8是根据本发明实施例的图像插值处理装置的结构框图;
图9是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
数码相机、手机、医疗仪器等设备通常采用单一的传感器(例如CMOS传感器)和颜色滤波阵列(Color filter array,CFA)采集图像,得到CFA图像或者马赛克图像,即每个像素位置,只有一个通道被采样。如图1所示,在像素位置(i,j),只有G通道有值。为方便观察图像,需要将不完全的彩色图像通过重建算法生成完整的彩色图像,以保证每个像素位置具有R、G、B三个颜色通道的值。
相关技术中的图像插值处理方法多是采用线性插值、立方插值、基于色差/色比插值等实现图像增强,如图2所示,这些插值方式得到的图像难免存在有颜色伪影或拉链现象等,导致图像插值效果不佳。
基于此,本发明技术方案通过在第一颜色通道和第二颜色通道中依次插值第三颜色通道,然后在第三颜色通道中插值第一颜色通道和第二颜色通道,继而在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,由此通过多次合理插值使得每个像素位置在三个颜色通道均具有像素值,避免图像出现颜色伪影或拉链现象。
根据本发明实施例,提供了一种图像插值处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种图像插值处理方法,可用于电子设备中,如手机、平板电脑、数码相机、具有图像采集功能的医疗仪器等,图3是根据本发明实施例的图像插值处理方法的流程图,如图3所示,该流程包括如下步骤:
S11,获取待处理图像,确定待处理图像对应的通道间色差。
其中,待处理图像包括第一颜色通道、第二颜色通道和第三颜色通道。
待处理图像为电子设备调用其摄像功能生成的CFA图像。第一颜色通道、第二颜色通道以及第三颜色通道为构成CFA图像的三个颜色通道。具体地,第一颜色通道的四周为第三颜色通道,第二颜色通道的四周为第三颜色通道,第三颜色通道的垂直方向上为第一颜色通道,水平方向上为第二颜色通道。其中,第一颜色通道可以为R通道,第二颜色通道可以为B通道,第三颜色通道可以为G通道。
在待处理图像中,其每个像素位置只有一个通道被采样,且每个颜色通道及其相邻颜色通道是不同的颜色通道。如图1所示,每个像素位置要么是第一颜色通道被采样,要么是第二颜色通道被采样,要么是第三颜色通道被采样。
通道间色差为不同的颜色通道之间所存在的色差,其可以根据不同颜色通道及其相邻颜色通道所具有的像素值进行作差得到。例如,第一颜色通道所处位置的坐标为(i,j),像素值为F(i,j),与其相邻的第三颜色通道所处位置的坐标为(i,j-1),像素值为F(i,j-1),则可以确定出第一颜色通道与第二颜色通道的通道间色差为F(i,j-1)-F(i,j)。以此类推,即可得到待处理图像所对应的通道间色差。
S12,基于通道间色差分别在第一颜色通道以及第二颜色通道中插值第三颜色通道,得到第一插值图像。
第一插值图像中所有的第一颜色通道和第二颜色通道中均插值有第三颜色通道,即第一颜色通道位置和第二颜色通道位置均具有第三颜色通道的像素值。
具体地,第一颜色通道与第三颜色通道相邻,第二颜色通道与第三颜色通道相邻,根据第三颜色通道与其他颜色通道之间的通道间色差可以确定出针对于第三颜色通道在各个方向上的插值权重,继而根据插值权重分别确定出第三颜色通道在第一颜色通道和第二颜色通道中的插值像素值,将该插值像素值与第一颜色通道的像素值进行叠加即可得到第三颜色通道在第一颜色通道中的像素值。按照该像素值将第三颜色通道融合至待处理图像的第一颜色通道所处位置。同理,将第三颜色通道融合至待处理图像的第二颜色通道所处位置,至此得到第一插值图像,使得第一颜色通道位置具有第三颜色通道的像素值,第二颜色通道位置具有第三颜色通道的像素值。
S13,基于第一插值图像中的各个颜色通道,确定第一通道内色差。
第一通道内色差为各个颜色通道内针对于第三颜色通道所存在的色差。具体地,第一通道内色差包括第一颜色通道内色差、第二颜色通道内色差以及第三颜色通道内色差。根据已知的第三颜色通道像素值可以确定与其相邻位置的像素值,继而对相邻位置的像素值进行均值处理,分别得到第一颜色通道内色差和第二颜色通道内色差,对已知的第三颜色通道像素值及其相邻位置的像素值进行作差处理和均值处理,得到第三颜色通道内色差。
S14,基于第一通道内色差在第三颜色通道中插值第一颜色通道以及第二颜色通道,得到第二插值图像。
第二插值图像中原有仅包含第三颜色通道的位置同时插值有第一颜色通道和第二颜色通道,即原有仅包含第三颜色通道的位置同时具备了第一颜色通道、第二颜色通道和第三颜色通道的像素值。
具体地,根据第一颜色通道内色差以及第三颜色通道内色差,计算在第三颜色通道位置处插值第一颜色通道的像素值,并按照计算出的像素值将第一颜色通道融合至第三颜色通道所处位置。同时,根据第二颜色通道内色差以及第三颜色通道内色差,计算在第三颜色通道位置处插值第二颜色通道的像素值,并按照计算出的像素值将第二颜色通道融合至第三颜色通道所处位置,至此得到第二插值图像,使得第三颜色通道位置同时具备三个颜色通道的像素值。
S15,基于第二插值图像中的各个颜色通道,确定第二通道内色差。
第二通道内色差包括:针对第一颜色通道插值第二颜色通道所存在的色差,以及针对第二颜色通道插值第一颜色通道所存在的色差。具体地,当对第一颜色通道插值第二颜色通道,或对第二颜色通道插值第一颜色通道时,可以根据第一颜色通道所处位置(或第二颜色通道所处位置)确定其对角线方向的像素值,根据该对角线像素值进行作差处理,得到相应的第二通道内色差。
S16,基于第二通道内色差在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,得到目标图像。
根据第二通道内色差,计算出在第一颜色通道所处位置插值第二颜色通道的像素值,并按照计算出的像素值将第二颜色通道融合至第一颜色通道所处位置。同时,将根据第二通道内色差计算出的在第二颜色通道所处位置插值第一颜色通道的像素值,并按照计算出的像素值将第一颜色通道融合至第二颜色通道所处位置,至此得到目标图像。
由于第二插值图像中每个第三通道所处位置均具有三个颜色通道的像素值,且每个第一颜色通道和第二颜色通道所处位置均具有第三颜色通道的像素值,由此,经过在第一颜色通道所处位置插值第二颜色通道,并在第二颜色通道所处位置插值第一颜色通道,使得第一颜色通道以及第二颜色通道所处位置均同时具备了三个颜色通道的像素值,由此得到的目标图像最大程度上克服了颜色伪影或拉链现象,如图4所示。
本实施例提供的图像插值处理方法,通过待处理图像的通道间色差在第一颜色通道和第二颜色通道中依次插值第三颜色通道,继而在第一插值图像的第三颜色通道中插值第一颜色通道和第二颜色通道,进而在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,由此最终插值所得到的目标图像的各个像素位置在三个颜色通道均具有像素值。该方法通过多次合理插值,保证每个像素位置均具有三个颜色通道的值,避免图像出现颜色伪影或拉链现象,使得图像的增强效果更好。
在本实施例中提供了一种图像插值处理方法,可用于电子设备中,如手机、平板电脑、数码相机、具有图像采集功能的医疗仪器等,图5是根据本发明实施例的图像插值处理方法的流程图,如图5所示,该流程包括如下步骤:
S21,获取待处理图像,确定待处理图像对应的通道间色差。
其中,待处理图像包括第一颜色通道、第二颜色通道和第三颜色通道。
具体地,上述步骤S21可以包括:
S211,获取待处理图像中任一像素位置所对应的目标颜色通道以及目标颜色通道在水平方向和竖直方向的相邻颜色通道。
目标颜色通道为待处理图像任一像素位置的颜色通道,该目标颜色通道可以为第一颜色通道,可以为第二颜色通道,还可以为第三颜色通道。相邻颜色通道是与目标颜色通道相邻的颜色通道,该相邻颜色通道包括水平方向的相邻颜色通道和垂直方向的相邻颜色通道。具体地,相邻颜色通道不同于目标颜色通道,且水平方向的相邻颜色通道不同于垂直方向的相邻颜色通道。
以图1所示的CFA图像为例,以坐标(i,j)作为任一像素位置,该坐标(i,j)对应的目标颜色通道为G通道,水平方向上的相邻颜色通道为B通道,垂直方向上的相邻通道为R通道。
S212,基于目标颜色通道与相邻颜色通道的像素值,确定目标颜色通道在水平向左方向上所存在的第一色差、在水平向右方向上所存在的第二色差、在竖直向上方向上所存在的第三色差以及在竖直向下方向上所存在的第四色差。
第一色差为目标颜色通道及其左方相邻的相关度较高的颜色通道之间的像素值之差;第二色差为目标颜色通道及其右方相邻的相关度较高的颜色通道之间的像素值之差;第三色差为目标颜色通道及其上方相邻的相关度较高的颜色通道之间的像素值之差;第四色差为目标颜色通道及其下方相邻的相关度较高的颜色通道之间的像素值之差。
以图1所示的CFA图像为例,坐标(i,j)处的像素值为F(i,j),则各个色差的确定方式如下:
第一色差:Wh1=F(i,j-3)-F(i,j-2);Wh2=F(i,j-1)-F(i,j);
第二色差:Eh1=F(i,j+3)-F(i,j+2);Eh2=F(i,j+1)-F(i,j);
第三色差:Nh1=F(i-3,j)-F(i-2,j);Nh2=F(i-1,j)-F(i,j);
第四色差:Sh1=F(i+3,j)-F(i+2,j);Sh2=F(i+1,j)-F(i,j)。
S213,将第一色差、第二色差、第三色差以及第四色差确定为待处理图像对应的通道间色差。
按照上述方式分别计算得到水平向左的第一色差、水平向右的第二色差、垂直向上的第三色差以及垂直向下的第四色差,由此即确定了待处理图像的目标颜色通道及其四周的颜色通道之间所存在的通道间色差。
S22,基于通道间色差分别在第一颜色通道以及第二颜色通道中插值第三颜色通道,得到第一插值图像。
具体地,上述步骤S22可以包括:
S221,基于第一颜色通道及其对应的第一通道间色差,确定第一颜色通道对应的第一方向权重。
第一方向权重表示在第一颜色通道位置插值第三颜色通道时的插值权重。第一方向权重包括:水平向左的插值权重、水平向右的插值权重、垂直向上的插值权重以及垂直向下的插值权重。
具体地,根据第一颜色通道及其周围的第三颜色通道,可以计算出第一颜色通道与第三颜色通道在水平向左、水平向右、垂直向上、垂直向下这四个方向上的通道间色差。根据通道间色差可以计算出水平向左、水平向右、垂直向上、垂直向下这四个方向的色差之差。继而,根据各个方向上所存在的色差之差,可以计算第一颜色通道在各个方向上存在的插值权重。
以图1所示的CFA图像为例,坐标(i,j)处的像素值为F(i,j),第一色差为Wh1和Wh2,第二色差为Eh1和Eh2,第三色差为Nh1和Nh2,第四色差为Sh1和Sh2。第一方向权重的确定表达式具体如下:
水平向左的插值权重:W=1/(0.0001+abs(Wh1-Wh2));
水平向右的插值权重:E=1/(0.0001+abs(Eh1-Eh2));
垂直向上的插值权重:N=1/(0.0001+abs(Nh1-Nh2));
垂直向下的插值权重:S=1/(0.0001+abs(Sh1-Sh2));
其中,abs()表示求色差的绝对值。
S222,基于第二颜色通道及其对应的第二通道间色差,确定第二颜色通道对应的第二方向权重。
第二方向权重表示在第二颜色通道位置插值第三颜色通道时的插值权重,其确定方式与上述第一方向权重的确定方式相同,此处不再赘述。
S223,基于第一方向权重与第一通道间色差的加权,确定第三颜色通道在第一颜色通道中产生的第一插值。
第一插值表示第一颜色通道中的第三颜色通道值。具体计算方式如下:
Wh=Wh1+Wh2;Eh=Eh1+Eh2;Nh=Nh1+Nh2;Sh=Sh1+Sh2;
DetaR=Wh/2*W/A+Eh/2*E/A+Nh/2*N/A·+Sh/2*S/A;
GR(i,j)=FR(i,j)+DetaR。
其中,A为各个方向的权重之和,即A=W+E+N+S;GR(i,j)为第一插值;FR(i,j)为第一颜色通道位置处的像素值;DetaR为第一颜色通道的插值像素值。
S224,基于第二方向权重与第二通道间色差的加权,确定第三颜色通道在第二颜色通道中产生的第二插值。
第二插值表示第二颜色通道中的第三颜色通道值。具体计算方式如下:
GB(i,j)=FB(i,j)+DetaB。
其中,GB(i,j)为第二插值;FB(i,j)为第二颜色通道位置处的像素值;DetaB为第二颜色通道的插值像素值,其计算方式与第一颜色通道的插值像素值DetaR的计算方式相同,此处不再赘述。
S225,将第一插值和第二插值融合至待处理图像,生成第一插值图像。
将第一插值融合至第一颜色通道位置,并将第二插值融合至第二颜色通道位置,保证第一颜色通道位置和第二颜色通道中均具有第三颜色通道的值。将经过第三颜色通道插值处理的图像确定为第一插值图像。
S23,基于第一插值图像中的各个颜色通道,确定第一通道内色差。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S24,基于第一通道内色差在第三颜色通道中插值第一颜色通道以及第二颜色通道,得到第二插值图像。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S25,基于第二插值图像中的各个颜色通道,确定第二通道内色差。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S26,基于第二通道内色差在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,得到目标图像。详细说明参见上述实施例对应的相关描述,此处不再赘述。
本实施例提供的图像插值处理方法,通过确定在各个方向所产生的通道间色差,继而根据该通道间色差确定出第三颜色通道分别在第一颜色通道和第二颜色通道中所产生的插值,保证第三颜色通道能够合理插值第一颜色通道位置和第二颜色通道位置,实现了第三颜色通道的插值效果。
在本实施例中提供了一种图像插值处理方法,可用于电子设备中,如手机、平板电脑、数码相机、具有图像采集功能的医疗仪器等,图6是根据本发明实施例的图像插值处理方法的流程图,如图6所示,该流程包括如下步骤:
S31,获取待处理图像,确定待处理图像对应的通道间色差。其中,待处理图像包括第一颜色通道、第二颜色通道和第三颜色通道。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S32,基于通道间色差分别在第一颜色通道以及第二颜色通道中插值第三颜色通道,得到第一插值图像。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S33,基于第一插值图像中的各个颜色通道,确定第一通道内色差。
具体地,上述步骤S33可以包括:
S331,获取第一插值图像中针对于第三颜色通道的第一目标位置。
第一目标位置为第一插值图像中存在有第三颜色通道的像素值位置。第一插值图像中的第一颜色通道所处位置同时具备第一颜色通道和第三颜色的像素值,第二颜色通道所处位置同时具备第二颜色通道和第三颜色的像素值,第三颜色通道所处位置只具备第三颜色通道的像素值。
具体地,当获取第一目标位置时,电子设备可以遍历第一插值图像的每个像素位置,确定出第三颜色通道所处的像素值位置。
S332,基于第一目标位置及其相邻位置之间的像素值,确定第一通道内色差。
其中,第一通道内色差包括第一颜色通道内色差、第二颜色通道内色差以及第三颜色通道内色差;第三颜色通道内色差包括第一子色差和第二子色差。
相邻位置是与第一目标位置相关度较高的位置,可以选取第一目标位置水平向左的两个像素位置、水平向右的两个像素位置、垂直向上的两个像素位置以及垂直向下的两个像素位置确定为相邻位置。
若第一目标位置为(x,y),则其相邻位置分别为:(x,y-1)、(x,y-2)、(x,y+1)、(x,y+2)、(x-1,y)、(x-2,y)、(x+1,y)以及(x+2,y)。根据各个位置处的像素值分别计算第一颜色通道内色差、第二颜色通道内色差以及第三颜色通道内色差。具体如下:
第一颜色通道内色差:R1=(F(x,y-1)+F(x,y+1))/2;
第二颜色通道内色差:B1=(F(x-1,y)+F(x+1,y))/2;
第三颜色通道内色差:G1 1=(2*F(x,y)-F(x,y-2)-F(x,y+2))/2;
G1 2=(2*F(x,y)-F(x-2,y)-F(x+2,y))/2。
其中,G1 1表示第一子色差;G1 2表示第二子色差。
需要说明的是,由于第三颜色通道包围在第一颜色通道和第二颜色通道的四周,所以第三颜色通道的数量是第一颜色通道(或第二颜色通道)的数量的2倍,为了保证后续的插值效果,此处针对第三颜色通道分别计算针对于第一颜色通道的第一子色差以及针对于第二颜色通道的第二子色差。
S34,基于第一通道内色差在第三颜色通道中插值第一颜色通道以及第二颜色通道,得到第二插值图像。
具体地,上述步骤S34可以包括:
S341,基于第一颜色通道内色差与第一子色差之和,确定第一颜色通道在第三颜色通道中产生的第三插值。
第三插值为第三颜色通道中的第一颜色通道值。具体计算方式如下:
R(x,y)=R1+G11
其中,R(x,y)为第三插值,R1为第一颜色通道内色差,G11为第一子色差。
S342,基于第二颜色通道内色差与第二子色差之和,确定第二颜色通道在第三颜色通道中产生的第四插值。
第四插值为第三颜色通道中的第二颜色通道值。具体计算方式如下:
B(x,y)=B1+G1 2
其中,B(x,y)为第四插值,B1为第二颜色通道内色差,G1 2为第二子色差。
S343,将第三插值和第四插值融合至第一插值图像中,生成第二插值图像。
将第三插值以及第四插值融合至第三颜色通道中,保证第三颜色通道所处位置能够同时具备三个颜色通道值。将经过第一颜色通道插值处理和第二颜色通道插值处理的图像确定为第二插值图像。
S35,基于第二插值图像中的各个颜色通道,确定第二通道内色差。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S36,基于第二通道内色差在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,得到目标图像。详细说明参见上述实施例对应的相关描述,此处不再赘述。
本实施例提供的图像插值处理方法,通过确定第一插值图像中针对于第三颜色通道所存在的通道内色差,继而根据该通道内色差确定出第一颜色通道以及第二颜色通道在第三颜色通道位置所产生的插值,以便在第三颜色通道位置进行第一颜色通道和第二颜色通道的合理插值,使得第三颜色通道位置处具有各个颜色通道像素值,保证了第一颜色通道以及第二颜色通道在第三颜色通道位置的插值效果。
在本实施例中提供了一种图像插值处理方法,可用于电子设备中,如手机、平板电脑、数码相机、具有图像采集功能的医疗仪器等,图7是根据本发明实施例的图像插值处理方法的流程图,如图7所示,该流程包括如下步骤:
S41,获取待处理图像,确定待处理图像对应的通道间色差。其中,待处理图像包括第一颜色通道、第二颜色通道和第三颜色通道。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S42,基于通道间色差分别在第一颜色通道以及第二颜色通道中插值第三颜色通道,得到第一插值图像。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S43,基于第一插值图像中的各个颜色通道,确定第一通道内色差。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S44,基于第一通道内色差在第三颜色通道中插值第一颜色通道以及第二颜色通道,得到第二插值图像。详细说明参见上述实施例对应的相关描述,此处不再赘述。
S45,基于第二插值图像中的各个颜色通道,确定第二通道内色差。
具体地,上述步骤S45可以包括:
S451,获取第二插值图像中针对于第一颜色通道或第二颜色通道的第二目标位置。
第二目标位置可以为第二插值图像中第一颜色通道所处的像素值位置,也可以为第二插值图像中第二颜色通道所处的像素值位置。
具体地,第二插值图像中的第一颜色通道所处位置同时具备第一颜色通道和第三颜色的像素值,第二颜色通道所处位置同时具备第二颜色通道和第三颜色的像素值,第三颜色通道所处位置具备三种颜色通道的像素值。当获取第二目标位置时,电子设备可以遍历第二插值图像的每个像素位置,确定出第一颜色通道或第二颜色通道所处的像素值位置。
S452,基于第二目标位置及其相邻位置之间的像素值,确定对角线方向所产生的第二通道内色差。
其中,第二通道内色差包括第一对角色差、第二对角色差、第三对角色差以及第四对角色差。
相邻位置是与第二目标位置相关度较高的对角线位置。若第二目标位置为(i,j),则其相邻位置分别为:(i-1,j-1)、(i+1,j+1)、(i,j-1)、(i+1,j)、(i-1,j)、(i,j+1)、(i-1,j+1)以及(i+1,j-1)。
具体地,根据各个位置处的像素值分别计算第一对角色差、第二对角色差、第三对角色差以及第四对角色差。具体确定方式如下:
第一对角色差:diag1=abs(F(i-1,j-1)-F(i+1,j+1));
第二对角色差:diag2=abs(F(i,j-1)-F(i+1,j)+abs(F(i-1,j)-F(i,j+1));
第三对角色差:diag3=abs(F(i-1,j+1)-F(i+1,j-1));
第四对角色差:diag4=abs(F(i,j-1)-F(i-1,j)+abs(F(i+1,j)-F(i,j+1))。
S46,基于第二通道内色差在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,得到目标图像。
具体地,上述步骤S46可以包括:
S461,确定第一对角色差与第三对角色差的第一和值,以及第二对角色差与第四对角色差的第二和值。
第一和值S1的确定表达式为:S1=diag1+diag3;第一和值S2的确定表达式为:S2=diag2+diag4。
在得到第一和值S1和第二和值S2之后,对比第一和值S1和第二和值S2之间的大小关系,根据第一和值S1和第二和值S2之间的关系确定第一颜色通道位置的第二颜色通道值,以及第二颜色通道位置的第一颜色通道值。
S462,根据第一和值与第二和值的数值大小确定目标插值。
其中,目标插值为第二颜色通道在第一颜色通道中产生的插值,或第一颜色通道在第二颜色通道中产生的插值。
具体地,确定目标插值的方式如下:
(1)当第一和值大于第二和值时,基于第一插值方式生成第五插值。
其中,第五插值为第二颜色通道在第一颜色通道中产生的插值,或第一颜色通道在第二颜色通道中产生的插值。
第一插值方式为计算第五插值的方式,具体如下:
RB(i,j)或BR(i,j)=V1+V2
其中,V1和V2表示插值像素值,V1=(F(i-1,j-1)+F(i+1,j+1))/2;V2=(2*G(i,j)-G(i-1,j-1)+G(i+1,j+1))/2;F(·)表示坐标(·)处的像素值;G(·)表示第二插值图像中位于坐标(·)位置的第三颜色通道值。
当第一和值大于第二和值时,将V1+V2的结果作为第二颜色通道在第一颜色通道中产生的插值,或第一颜色通道在第二颜色通道中产生的插值。
(2)当第一和值小于第二和值时,基于第二插值方式生成第六插值。
其中,第六插值为第二颜色通道在第一颜色通道中产生的插值,或第一颜色通道在第二颜色通道中产生的插值。
第二插值方式为计算第六插值的方式,具体如下:
RB(i,j)或BR(i,j)=V3+V4
其中,V3和V4表示插值像素值,V3=(F(i-1,j+1)+F(i+1,j-1))/2;V2=(2*G(i,j)-G(i-1,j+1)+G(i+1,j-1))/2;F(·)表示坐标(·)处的像素值;G(·)表示第二插值图像中位于坐标(·)位置的第三颜色通道值。
当第一和值小于第二和值时,将V3+V4的结果作为第二颜色通道在第一颜色通道中产生的插值,或第一颜色通道在第二颜色通道中产生的插值。
(3)当第一和值等于第二和值时,基于第三插值方式生成第七插值。
其中,第七插值为第二颜色通道在第一颜色通道中产生的插值,或第一颜色通道在第二颜色通道中产生的插值。
第三插值方式为计算第七插值的方式,具体如下:
RB(i,j)或BR(i,j)=V1+V2+V3+V4
V1=(F(i-1,j-1)+F(i+1,j+1))/2
其中,V1、V2、V3和V4均表示插值像素值,对于V1、V2、V3和V4的表达式参见上述实施例所示;F(·)表示坐标(·)处的像素值;G(·)表示第二插值图像中位于坐标(·)位置的第三颜色通道值。
当第一和值等于第二和值时,将V1+V2+V3+V4的结果作为第二颜色通道在第一颜色通道中产生的插值,或第一颜色通道在第二颜色通道中产生的插值。
S463,将目标插值融合至第二插值图像中,生成目标图像。
目标插值为第二颜色通道在第一颜色通道中产生的插值,或第一颜色通道在第二颜色通道中产生的插值,其可以根据第一和值与第二和值之间的大小关系确定。即该目标插值为上述所得到的第五插值、第六插值或第七插值。
将目标插值分别融合至第二插值图像中的第一颜色通道和第二颜色通道所处位置,保证第一颜色通道和第二颜色通道所处位置能够同时具备三个颜色通道值,从而可以得到完整的目标图像。
本实施例提供的图像插值处理方法,通过确定第二插值图像中针对于第一颜色通道或第二颜色通道在对角线方向所产生的通道内色差,继而根据对角线方向的通道内色差,确定出第二颜色通道在第一颜色通道位置所产生的插值,以及第一颜色通道在第二颜色通道位置所产生的插值,以便在第一颜色通道位置进行第二颜色通道的合理插值,并在第二颜色通道位置进行第一颜色通道的合理插值,保证了第一颜色通道与第二颜色通道的插值效果,使得第一颜色通道位置和第二颜色通道位置处均具有各个颜色通道的像素值,保证了第一颜色通道以及第二颜色通道在第三颜色通道位置的插值效果。
在本实施例中还提供了一种图像插值处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种图像插值处理装置,如图8所示,包括:
获取模块51,用于获取待处理图像,确定待处理图像对应的通道间色差。其中,待处理图像包括第一颜色通道、第二颜色通道和第三颜色通道。
第一插值模块52,用于基于通道间色差分别在第一颜色通道以及第二颜色通道中插值第三颜色通道,得到第一插值图像。
第一色差确定模块53,用于基于第一插值图像中的各个颜色通道,确定第一通道内色差。
第二插值模块54,用于基于第一通道内色差在第三颜色通道中插值第一颜色通道以及第二颜色通道,得到第二插值图像。
第二色差确定模块55,用于基于第二插值图像中的各个颜色通道,确定第二通道内色差。
第三插值模块56,用于基于第二通道内色差在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,得到目标图像。
本实施例提供的图像插值处理装置,通过待处理图像的通道间色差在第一颜色通道和第二颜色通道中依次插值第三颜色通道,继而在第一插值图像的第三颜色通道中插值第一颜色通道和第二颜色通道,进而在第一颜色通道中插值第二颜色通道,并在第二颜色通道中插值第一颜色通道,由此最终插值所得到的目标图像的各个像素位置在三个颜色通道均具有像素值。该装置通过多次合理插值,保证每个像素位置均具有三个颜色通道的值,避免图像出现颜色伪影或拉链现象,使得图像的增强效果更好。
可选地,上述获取模块51具体可以包括:
第一获取子模块,用于获取待处理图像中任一像素位置所对应的目标颜色通道以及目标颜色通道在水平方向和竖直方向的相邻颜色通道。
第一确定子模块,用于基于目标颜色通道与相邻颜色通道的像素值,确定目标颜色通道在水平向左方向上所存在的第一色差、在水平向右方向上所存在的第二色差、在竖直向上方向上所存在的第三色差以及在竖直向下方向上所存在的第四色差。
第二确定子模块,用于将第一色差、第二色差、第三色差以及第四色差确定为待处理图像对应的通道间色差。
本实施例提供的图像插值处理装置,通过确定在各个方向所产生的通道间色差,继而根据该通道间色差确定出第三颜色通道分别在第一颜色通道和第二颜色通道中所产生的插值,保证第三颜色通道能够合理插值第一颜色通道位置和第二颜色通道位置,实现了第三颜色通道的插值效果。
可选地,上述第一插值模块52具体可以包括:
第一权重确定子模块,用于基于第一颜色通道及其对应的第一通道间色差,确定第一颜色通道对应的第一方向权重。
第二权重确定子模块,用于基于第二颜色通道及其对应的第二通道间色差,确定第二颜色通道对应的第二方向权重。
第一插值确定子模块,用于基于第一方向权重与第一通道间色差的加权,确定第三颜色通道在第一颜色通道中产生的第一插值。
第二插值确定子模块,用于基于第二方向权重与第二通道间色差的加权,确定第三颜色通道在第二颜色通道中产生的第二插值。
第一生成子模块,用于将第一插值和第二插值融合至待处理图像,生成第一插值图像。
本实施例提供的图像插值处理装置,通过确定出的权重对各个方向所产生的通道间色差进行加权处理,以确定出相应的插值,由此保证了第三颜色通道的插值效果。
可选地,上述第一色差确定模块53可以包括:
第二获取子模块,用于获取第一插值图像中针对于第三颜色通道的第一目标位置。
第三确定子模块,用于基于第一目标位置及其相邻位置之间的像素值,确定第一通道内色差。其中,第一通道内色差包括第一颜色通道内色差、第二颜色通道内色差以及第三颜色通道内色差,第三颜色通道内色差包括第一子色差和第二子色差。
本实施例提供的图像插值处理装置,通过确定第一插值图像中针对于第三颜色通道所存在的通道内色差,继而根据该通道内色差确定出第一颜色通道以及第二颜色通道在第三颜色通道位置所产生的插值,以便在第三颜色通道位置进行第一颜色通道和第二颜色通道的合理插值,使得第三颜色通道位置处具有各个颜色通道像素值,保证了第一颜色通道以及第二颜色通道在第三颜色通道位置的插值效果。
可选地,上述第二插值模块54可以包括:
第三插值确定子模块,用于基于第一颜色通道内色差与第一子色差之和,确定第一颜色通道在第三颜色通道中产生的第三插值。
第四插值确定子模块,用于基于第二颜色通道内色差与第二子色差之和,确定第二颜色通道在第三颜色通道中产生的第四插值。
第二生成子模块,用于将第三插值和第四插值融合至第一插值图像中,生成第二插值图像。
本实施例提供的图像插值处理装置,通过在第三颜色通道位置进行第一颜色通道和第二颜色通道的合理插值,使得第三颜色通道位置处具有各个颜色通道像素值,保证了第一颜色通道以及第二颜色通道的插值效果。
可选地,上述第二色差确定模块55可以包括:
第三获取子模块,用于获取第二插值图像中针对于第一颜色通道或第二颜色通道的第二目标位置。
第四确定子模块,用于基于第二目标位置及其相邻位置之间的像素值,确定对角线方向所产生的第二通道内色差,其中,第二通道内色差包括第一对角色差、第二对角色差、第三对角色差以及第四对角色差。
本实施例提供的图像插值处理装置,通过在第一颜色通道位置进行第二颜色通道的合理插值,并在第二颜色通道位置进行第一颜色通道的合理插值,保证了第一颜色通道与第二颜色通道的插值效果,使得第一颜色通道位置和第二颜色通道位置处均具有各个颜色通道的像素值,保证了第一颜色通道以及第二颜色通道在第三颜色通道位置的插值效果。
可选地,上述第三插值模块56可以包括:
第五确定子模块,用于确定第一对角色差与第三对角色差的第一和值,以及第二对角色差与第四对角色差的第二和值。
插值确定子模块,用于根据第一和值与第二和值的数值大小确定目标插值。其中,目标插值为第二颜色通道在第一颜色通道中产生的插值,或第一颜色通道在第二颜色通道中产生的插值。
第三生成子模块,用于将目标插值融合至第二插值图像中,生成目标图像。
可选地,插值确定子模块根据第一和值与第二和值的数值大小确定目标插值的具体方式为:
当第一和值大于第二和值时,基于第一插值方式生成第五插值;
当第一和值小于第二和值时,基于第二插值方式生成第六插值;
当第一和值等于第二和值时,基于第三插值方式生成第七插值;
其中,该目标插值为第五插值、第六插值或第七插值。
本实施例提供的图像插值处理装置,通过不同的方式确定相应的插值,以在第一颜色通道位置进行第二颜色通道的合理插值,并在第二颜色通道位置进行第一颜色通道的合理插值。
本实施例中的图像插值处理装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
本发明实施例还提供一种电子设备,具有图8所示的图像插值处理装置。
请参阅图9,图9是本发明可选实施例提供的一种电子设备的结构示意图,如图9所示,该电子设备可以包括:至少一个处理器601,例如中央处理器(Central ProcessingUnit,CPU),至少一个通信接口603,存储器604,至少一个通信总线602。其中,通信总线602用于实现这些组件之间的连接通信。其中,通信接口603可以包括显示屏(Display)、键盘(Keyboard),可选通信接口603还可以包括标准的有线接口、无线接口。存储器604可以是高速易挥发性随机存取存储器(Random Access Memory,RAM),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器604可选的还可以是至少一个位于远离前述处理器601的存储装置。其中处理器601可以结合图8所描述的装置,存储器604中存储应用程序,且处理器601调用存储器604中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线602可以是外设部件互连标准(peripheral componentinterconnect,PCI)总线或扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。通信总线602可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器604可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器604还可以包括上述种类的存储器的组合。
其中,处理器601可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP)或者CPU和NP的组合。
其中,处理器601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。
可选地,存储器604还用于存储程序指令。处理器601可以调用程序指令,实现如本申请上述实施例中所示的图像插值处理方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的图像插值处理方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive,HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种图像插值处理方法,其特征在于,包括:
获取待处理图像,确定所述待处理图像对应的通道间色差;其中,所述待处理图像包括第一颜色通道、第二颜色通道和第三颜色通道;
基于所述通道间色差分别在所述第一颜色通道以及所述第二颜色通道中插值所述第三颜色通道,得到第一插值图像;
基于所述第一插值图像中的各个颜色通道,确定第一通道内色差;
基于所述第一通道内色差在所述第三颜色通道中插值所述第一颜色通道以及所述第二颜色通道,得到第二插值图像;
基于所述第二插值图像中的各个颜色通道,确定第二通道内色差;
基于所述第二通道内色差在所述第一颜色通道中插值所述第二颜色通道,并在所述第二颜色通道中插值所述第一颜色通道,得到目标图像。
2.根据权利要求1所述的图像插值处理方法,其特征在于,所述获取待处理图像,确定所述待处理图像对应的通道间色差,包括:
获取所述待处理图像中任一像素位置所对应的目标颜色通道以及所述目标颜色通道在水平方向和竖直方向的相邻颜色通道;
基于所述目标颜色通道与所述相邻颜色通道的像素值,确定所述目标颜色通道在水平向左方向上所存在的第一色差、在水平向右方向上所存在的第二色差、在竖直向上方向上所存在的第三色差以及在竖直向下方向上所存在的第四色差;
将所述第一色差、所述第二色差、所述第三色差以及所述第四色差确定为所述待处理图像对应的通道间色差。
3.根据权利要求2所述的图像插值处理方法,其特征在于,基于所述通道间色差分别在所述第一颜色通道以及所述第二颜色通道中插值第三颜色通道,得到第一插值图像,包括:
基于所述第一颜色通道及其对应的第一通道间色差,确定所述第一颜色通道对应的第一方向权重;
基于所述第二颜色通道及其对应的第二通道间色差,确定所述第二颜色通道对应的第二方向权重;
基于所述第一方向权重与所述第一通道间色差的加权,确定所述第三颜色通道在所述第一颜色通道中产生的第一插值;
基于所述第二方向权重与所述第二通道间色差的加权,确定所述第三颜色通道在所述第二颜色通道中产生的第二插值;
将所述第一插值和所述第二插值融合至所述待处理图像,生成第一插值图像。
4.根据权利要求1所述的图像插值处理方法,其特征在于,所述基于所述第一插值图像中的各个颜色通道,确定第一通道内色差,包括:
获取所述第一插值图像中针对于所述第三颜色通道的第一目标位置;
基于所述第一目标位置及其相邻位置之间的像素值,确定第一通道内色差,其中,所述第一通道内色差包括第一颜色通道内色差、第二颜色通道内色差以及第三颜色通道内色差,所述第三颜色通道内色差包括第一子色差和第二子色差。
5.根据权利要求4所述的图像插值处理方法,其特征在于,所述基于所述第一通道内色差在所述第三颜色通道中插值所述第一颜色通道以及所述第二颜色通道,得到第二插值图像,包括:
基于所述第一颜色通道内色差与所述第一子色差之和,确定所述第一颜色通道在所述第三颜色通道中产生的第三插值;
基于所述第二颜色通道内色差与所述第二子色差之和,确定所述第二颜色通道在所述第三颜色通道中产生的第四插值;
将所述第三插值和所述第四插值融合至所述第一插值图像中,生成第二插值图像。
6.根据权利要求1所述的图像插值处理方法,其特征在于,所述基于所述第二插值图像中的各个颜色通道,确定第二通道内色差,包括:
获取所述第二插值图像中针对于所述第一颜色通道或所述第二颜色通道的第二目标位置;
基于所述第二目标位置及其相邻位置之间的像素值,确定对角线方向所产生的第二通道内色差,其中,所述第二通道内色差包括第一对角色差、第二对角色差、第三对角色差以及第四对角色差。
7.根据权利要求6所述的图像插值处理方法,其特征在于,所述基于所述第二通道内色差在所述第一颜色通道中插值所述第二颜色通道,并在所述第二颜色通道中插值所述第一颜色通道,得到目标图像,包括:
确定所述第一对角色差与第三对角色差的第一和值,以及所述第二对角色差与所述第四对角色差的第二和值;
根据所述第一和值与所述第二和值的数值大小确定目标插值,其中所述目标插值为所述第二颜色通道在所述第一颜色通道中产生的插值,或所述第一颜色通道在所述第二颜色通道中产生的插值;
将所述目标插值融合至所述第二插值图像中,生成所述目标图像;
其中,所述根据所述第一和值与所述第二和值的数值大小确定目标插值,包括:
当所述第一和值大于所述第二和值时,基于第一插值方式生成第五插值;
当所述第一和值小于所述第二和值时,基于第二插值方式生成第六插值;
当所述第一和值等于所述第二和值时,基于第三插值方式生成第七插值;
其中,目标插值为所述第五插值、所述第六插值或所述第七插值。
8.一种图像插值处理装置,其特征在于,包括:
获取模块,用于获取待处理图像,确定所述待处理图像对应的通道间色差;其中,所述待处理图像包括第一颜色通道、第二颜色通道和第三颜色通道;
第一插值模块,用于基于所述通道间色差分别在所述第一颜色通道以及所述第二颜色通道中插值所述第三颜色通道,得到第一插值图像;
第一色差确定模块,用于基于所述第一插值图像中的各个颜色通道,确定第一通道内色差;
第二插值模块,用于基于所述第一通道内色差在所述第三颜色通道中插值所述第一颜色通道以及所述第二颜色通道,得到第二插值图像;
第二色差确定模块,用于基于所述第二插值图像中的各个颜色通道,确定第二通道内色差;
第三插值模块,用于基于所述第二通道内色差在所述第一颜色通道中插值所述第二颜色通道,并在所述第二颜色通道中插值所述第一颜色通道,得到目标图像。
9.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7任一项所述的图像插值处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-7任一项所述的图像插值处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310231181.8A CN116228538A (zh) | 2023-03-01 | 2023-03-01 | 一种图像插值处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310231181.8A CN116228538A (zh) | 2023-03-01 | 2023-03-01 | 一种图像插值处理方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116228538A true CN116228538A (zh) | 2023-06-06 |
Family
ID=86588991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310231181.8A Pending CN116228538A (zh) | 2023-03-01 | 2023-03-01 | 一种图像插值处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116228538A (zh) |
-
2023
- 2023-03-01 CN CN202310231181.8A patent/CN116228538A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5529048B2 (ja) | 補間システムおよび方法 | |
EP2652678B1 (en) | Systems and methods for synthesizing high resolution images using super-resolution processes | |
JP5535053B2 (ja) | 画像処理装置、及び画像処理方法 | |
US20170053379A1 (en) | Demosaicing methods and apparatuses using the same | |
US20140176760A1 (en) | Image Processing Apparatus, Image Processing Method, and Imaging Apparatus | |
US8587705B2 (en) | Hardware and software partitioned image processing pipeline | |
Hore et al. | An edge-sensing generic demosaicing algorithm with application to image resampling | |
US20170330311A1 (en) | Image processing device and method, image capturing device, program, and record medium | |
Chen et al. | Effective demosaicking algorithm based on edge property for color filter arrays | |
US8289420B2 (en) | Image processing device, camera device, image processing method, and program | |
JP2021530770A (ja) | ビデオ処理方法、装置及びコンピュータ記憶媒体 | |
JP2015088833A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
KR101140953B1 (ko) | 영상 왜곡 보정 장치 및 방법 | |
CN113168673A (zh) | 图像处理方法、装置和电子设备 | |
US8412003B2 (en) | Image processing methods, apparatus and computer program products using interdependent pixel interpolation operations | |
CN116228538A (zh) | 一种图像插值处理方法、装置、电子设备及可读存储介质 | |
CN112598577B (zh) | 基于错位采样的图像插值方法、系统及存储介质 | |
US8682069B2 (en) | Image signal processing apparatus, image signal processing method, and program | |
CN111489313B (zh) | 一种cfa图像去马赛克方法及装置 | |
JP2006238188A (ja) | 補間フィルタおよび映像信号処理装置 | |
JP2013009172A (ja) | 撮像装置及び画像生成方法 | |
JP2004266768A (ja) | 画像処理システム及びデジタルカメラ | |
JP6435560B1 (ja) | 画像処理装置、画像処理方法、プログラム及び撮像装置 | |
JP4805294B2 (ja) | デジタル画像の画像解像度を低減するカラービニング | |
Lee et al. | Performance comparison of various interpolation methods for color filter arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |