CN117041745A - 智能影像处理中的颜色插值方法及装置 - Google Patents

智能影像处理中的颜色插值方法及装置 Download PDF

Info

Publication number
CN117041745A
CN117041745A CN202311000574.4A CN202311000574A CN117041745A CN 117041745 A CN117041745 A CN 117041745A CN 202311000574 A CN202311000574 A CN 202311000574A CN 117041745 A CN117041745 A CN 117041745A
Authority
CN
China
Prior art keywords
rgb
pixel
image
pixel values
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311000574.4A
Other languages
English (en)
Inventor
杨昉
刘泽浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202311000574.4A priority Critical patent/CN117041745A/zh
Publication of CN117041745A publication Critical patent/CN117041745A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6075Corrections to the hue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Abstract

本申请涉及一种智能影像处理中的颜色插值方法及装置,其中,方法包括:获取智能影像的原始图像数据,将原始图像数据进行RGB三通道分离,得到RGB三通道像素值;根据RGB三通道像素值计算每个像素点的边缘算子,并根据边缘算子计算每个像素点在不同方向上的梯度权重值;对RGB三通道缺失的像素值进行加权插值计算,得到插值计算后的RGB三通道像素值;将插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据。由此,解决了相关技术中,数字图像系统中由于CMOS采集图像或对图像缩放时通道像素值缺失的问题,提高了图像的清晰度,降低了运算复杂度,增强了图像的色彩还原度及锐利度,提升了图像视觉效果。

Description

智能影像处理中的颜色插值方法及装置
技术领域
本申请涉及智能影像处理和颜色插值技术领域,特别涉及一种智能影像处理中的颜色插值方法及装置。
背景技术
彩色数字图像系统中通常采用CCD(Charge coupled Device,电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器来实现原始图像的采集,但是由于上述图像传感器在一个像素点上只能采集RGB(Red,Green,Blue,红绿蓝)颜色中的一个颜色,故想要直接采集RGB三个颜色分量就需要三个图像传感器。但是在实际的工程实现中,考虑到实现成本与硬件复杂程度,通常在传感器表面覆盖一层颜色滤波阵列CFA(Color Filter Array,色彩滤波阵列)作为滤光层,CFA的滤光点与图像传感器的像素点一一对应,每个滤光点只能通过红、绿、蓝三种颜色光中的一种。
相关技术中,CFA作为滤光层的方法,可获得每个像素坐标中的某一个通道分量,为了恢复出原图像的三通道像素值,可以使用颜色插值方法对每个像素点处缺失的另外两个通道分量进行估计重构,且当对图像放大时,由于图像尺寸变大导致像素点变多,故需要对新增加的像素点所缺失的RGB像素值进行插值计算,以达到补充像素值,增加图像分辨率的作用。
然而,相关技术中的颜色插值方法对图像边缘信息处理不清晰、方向预测不准确、难以适应不同图像内容,且彩色数字图像系统中由于CMOS采集图像或对图像放缩时导致通道像素值缺失,降低了图像的视觉效果,亟待改善。
发明内容
本申请提供一种智能影像处理中的颜色插值方法及装置,以解决相关技术中,数字图像系统中由于CMOS采集图像或对图像缩放时通道像素值缺失的问题,提高了图像的清晰度,降低了运算复杂度,增强了图像的色彩还原度及锐利度,提升了图像视觉效果。
本申请第一方面实施例提供一种智能影像处理中的颜色插值方法,包括以下步骤:获取智能影像的原始图像数据,将所述原始图像数据进行RGB三通道分离,得到RGB三通道像素值;根据所述RGB三通道像素值计算每个像素点的边缘算子,并根据所述边缘算子计算所述每个像素点在不同方向上的梯度权重值;根据所述梯度权重值和所述RGB三通道像素值之间的差值相关性,对所述RGB三通道缺失的像素值进行加权插值计算,得到插值计算后的RGB三通道像素值;以及将所述插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据。
可选地,在本申请的一个实施例中,所述根据所述RGB三通道像素值计算每个像素点的边缘算子,包括:根据所述图像数据的处理需求和评价指标选择最佳颜色插值算法;根据所述最佳颜色插值算法和所述RGB三通道像素值计算所述每个像素点的边缘算子。
可选地,在本申请的一个实施例中,所述图像数据的评价指标包括图像峰值信噪比和图像结构相似性指数中的至少一项。
可选地,在本申请的一个实施例中,所述根据所述梯度权重值和所述RGB三通道像素值之间的差值相关性,对所述RGB三通道缺失的像素值进行加权插值计算,包括:比较所述每个像素点周围的像素值,其中,若比较结果为某一像素值与其他像素值的差值超过预设阈值,则判定所述某一像素值为离群值,且将所述离群值从所述像素值中去除,以重新进行所述加权插值计算;若对互补金属氧化物半导体图像传感器采集到的图像进行颜色插值,则首先计算R、B像素点的G像素值,之后计算R、B像素点的B、R像素值,以及计算G像素点的R、B像素值后,重新计算校准R、B像素点的G像素值;若对缩放的图片进行所述颜色插值,则分别对R、G、B三通道的像素值进行所述加权插值计算。
可选地,在本申请的一个实施例中,所述将所述插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据,包括:基于所述插值计算后的RGB三通道像素值,融合生成具有完整三通道像素值的RGB格式图像数据;将所述RGB格式图像转换为所述最终颜色插值图像数据。
可选地,在本申请的一个实施例中,所述最佳颜色插值算法包括最近邻域法、双线性插值法、方向加权插值法和自适应插值法中的至少一项。
本申请第二方面实施例提供一种智能影像处理中的颜色插值装置,包括:获取模块,用于获取智能影像的原始图像数据,将所述原始图像数据进行RGB三通道分离,得到RGB三通道像素值;第一计算模块,用于根据所述RGB三通道像素值计算每个像素点的边缘算子,并根据所述边缘算子计算所述每个像素点在不同方向上的梯度权重值;第二计算模块,用于根据所述梯度权重值和所述RGB三通道像素值之间的差值相关性,对所述RGB三通道缺失的像素值进行加权插值计算,得到插值计算后的RGB三通道像素值;以及生成模块,用于将所述插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据。
可选地,在本申请的一个实施例中,所述第一计算模块包括:选择单元,用于根据所述图像数据的处理需求和评价指标选择最佳颜色插值算法;第一计算单元,用于根据所述最佳颜色插值算法和所述RGB三通道像素值计算所述每个像素点的边缘算子。
可选地,在本申请的一个实施例中,所述图像数据的评价指标包括图像峰值信噪比和图像结构相似性指数中的至少一项。
可选地,在本申请的一个实施例中,所述第二计算模块包括:比较单元,用于比较所述每个像素点周围的像素值,其中,当比较结果为某一像素值与其他像素值的差值超过预设阈值时,判定所述某一像素值为离群值,且将所述离群值从所述像素值中去除,以重新进行所述加权插值计算;第二计算单元,用于当对互补金属氧化物半导体图像传感器采集到的图像进行颜色插值时,首先计算R、B像素点的G像素值,之后计算R、B像素点的B、R像素值,以及计算G像素点的R、B像素值后,重新计算校准R、B像素点的G像素值;第三计算单元,用于当对缩放的图片进行所述颜色插值时,分别对R、G、B三通道的像素值进行所述加权插值计算。
可选地,在本申请的一个实施例中,所述生成模块包括:生成单元,用于基于所述插值计算后的RGB三通道像素值,融合生成具有完整三通道像素值的RGB格式图像数据;转换单元,用于将所述RGB格式图像转换为所述最终颜色插值图像数据。
可选地,在本申请的一个实施例中,所述最佳颜色插值算法包括最近邻域法、双线性插值法、方向加权插值法和自适应插值法中的至少一项。
本申请第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的智能影像处理中的颜色插值方法。
本申请第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,该程序被处理器执行时实现如上的智能影像处理中的颜色插值方法。
本申请实施例可以基于RGB三通道像素值、图片的处理需求和评价指标,选择合适的颜色插值方法完成颜色插值计算,得到最终的颜色插值图像数据,进而提高了图像视觉效果。由此,解决了相关技术中,数字图像系统中由于CMOS采集图像或对图像缩放时通道像素值缺失的问题,提高了图像的清晰度,降低了运算复杂度,增强了图像的色彩还原度及锐利度,提升了图像视觉效果。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请实施例提供的一种智能影像处理中的颜色插值方法的流程图;
图2为根据本申请一个实施例的智能影像处理中的颜色插值方法的基于方向加权的颜色插值方法的原理示意图;
图3为根据本申请一个实施例的智能影像处理中的颜色插值方法的流程图;
图4为根据本申请一个实施例的智能影像处理中的颜色插值方法的线性插值方法的原理示意图;
图5为根据本申请实施例提供的一种智能影像处理中的颜色插值装置的结构示意图;
图6为根据本申请实施例提供的电子设备的原理示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的智能影像处理中的颜色插值方法及装置。针对上述背景技术中提到的在彩色数字图像系统中,由于图像传感器在每个像素点只能获取RGB三通道像素值中的一种,或者图片放大时导致像素点增加,故需要对缺失的像素值进行恢复的问题,本申请提供了一种智能影像处理中的颜色插值方法,在该方法中,可以基于RGB三通道像素值、图片的处理需求和评价指标,选择合适的颜色插值方法完成颜色插值计算,得到最终的颜色插值图像数据,进而提高了图像视觉效果。由此,解决了相关技术中,数字图像系统中由于CMOS采集图像或对图像缩放时通道像素值缺失的问题,提高了图像的清晰度,降低了运算复杂度,增强了图像的色彩还原度及锐利度,提升了图像视觉效果。
具体而言,图1为本申请实施例所提供的一种智能影像处理中的颜色插值方法的流程示意图。
如图1所示,该智能影像处理中的颜色插值方法包括以下步骤:
在步骤S101中,获取智能影像的原始图像数据,将原始图像数据进行RGB三通道分离,得到RGB三通道像素值。
可以理解的是,本申请实施例中的RGB三通道像素值可以为R(Red,红)、G(Green,绿)、B(Blue,蓝)三个通道各自的像素值,通常在CMOS传感器表面覆盖一层彩色滤波阵列CFA,使得传感器的每个像素点只接收RGB三通道中的一种数据。又由于人眼视觉系统对于绿色较为敏感,所以滤波阵列中G像素点的个数要多于RB像素点,最终获得的图像数据为GB交替行与GR交替行间隔排列,称之为RGGB格式,即G像素点个数为R或B像素点个数的两倍。具体的排列方式如图2所示。
在实际执行过程中,本申请实施例可以通过摄影机、摄像机等拍摄设备获取智能影像的原始图像数据,将原始图像数据转换为RGB格式,并将RGB三通道的像素值分离,得到RGB三通道像素值,即得到R、G、B三个通道各自的像素值,从而为后续选择合适的颜色插值算法提供依据,进而以较低的运算复杂度提高了图像的清晰度,增强了图像的色彩还原度及锐利度,提升了图像视觉效果。
在步骤S102中,根据RGB三通道像素值计算每个像素点的边缘算子,并根据边缘算子计算每个像素点在不同方向上的梯度权重值。
作为一种可能实现的方式,本申请实施例可以根据RGB三通道像素值计算每个像素点的边缘算子,并根据边缘算子计算每个像素点在不同方向上的梯度权重值,从而获得高质量图像,提高图像的清晰度。
可选地,在本申请的一个实施例中,根据RGB三通道像素值计算每个像素点的边缘算子,包括:根据图像数据的处理需求和评价指标选择最佳颜色插值算法;根据最佳颜色插值算法和RGB三通道像素值计算每个像素点的边缘算子。
在实际执行过程中,本申请实施例可以根据图像数据的处理需求和评价指标选择最佳颜色插值算法,根据最佳颜色插值算法和RGB三通道像素值计算每个像素点的边缘算子,从而保证可以基于每个像素点的边缘算子,计算每个像素点在不同方向上的梯度权重值,进而解决数字图像系统中由于CMOS采集图像或对图像放大时导致通道像素值缺失的问题,以较低的运算复杂度提高了图像的清晰度,增强了图像的色彩还原度及锐利度,提升了图像视觉效果。
可选地,在本申请的一个实施例中,图像数据的评价指标包括图像峰值信噪比和图像结构相似性指数中的至少一项。
举例而言,本申请实施例可以使用图像峰值信噪比或者图像结构相似性指数作为评判图像处理的指标。其中,PSNR(Peak Signal-to-Noise Ratio,峰值信噪比)是一种常用于评估影像质量的指标,其通过比较原始信号(参考图像)与经过处理后的信号(目标图像)之间的差异来量化图像质量。PSNR的计算基于信号峰值与噪声的MSE(Mean SquaredError,均方误差),通常以对数形式表示,单位为分贝(dB)。PSNR的值越高,表示两个图像之间的差异越小,从而表示图像质量越好。PSNR的计算公式如下:
其中,R代表像素值的最大可能值,通常RGB图像为255,M、N代表图像的长宽,X(i,j)和Y(i,j)表示参考图像和目标图像在同一位置的像素值。
需要说明的是,PSNR也存在一些局限性。首先,PSNR只关注均方差,而忽略了人眼对图像质量的主观感知。有时PSNR较高的图像在视觉上可能仍然存在明显的失真。其次,PSNR对于不同图像内容和场景的敏感性不同。例如对于细节丰富的图像,即使PSNR较高,也可能出现锯齿状伪影或模糊的问题。
SSIM(Structural Similarity Index,结构相似性指数)也是一种常用于评估影像质量的指标。与峰值信噪比相比,SSIM更加注重人眼对图像的主观感知,能够更准确地评估图像的结构相似性和质量。SSIM通过比较参考图像与目标图像之间的结构、亮度和对比度等方面的差异来量化图像质量。SSIM的计算基于三个关键因素:亮度(Luminance)相似性、对比度(Contrast)相似性和结构(Structure)相似性。其范围在0到1之间,值越接近1,表示图像质量越好。SSIM的计算公式如下:
SSIM=l(x,y)α*c(x,y)β*s(x,y)γ
其中,x、y分别代表参考图像和目标图像,l(x,y)、c(x,y)、s(x,y)分别代表亮度、对比度、结构的相似性,α、β、γ为可调参数。μ、σ分别为均值和标准差,特别地,σxy为两者协方差,c1、c2、c3为常量,用于避免分母为0的情况。一般情况下,可以取c3=c2/2,α=β=γ=1,则可以得到:
需要说明的是,SSIM也存在一些局限性。对于特定类型的失真和噪声,SSIM的表现可能不如其他指标。SSIM计算时忽略了图像中的空间信息,其只考虑了全局的结构相似性,这可能导致SSIM在评估具有局部结构变化的图像时不准确。
因此,本申请实施例可以根据图像数据的处理需求和评价指标选择最佳颜色插值算法,从而进一步增强图像的色彩还原度及锐利度,提升图像视觉效果。
需要说明的是,本领域技术人员可以根据实际情况选择合适的颜色插值评价指标,于此不做具体限制。
可选地,在本申请的一个实施例中,最佳颜色插值算法包括最近邻域法、双线性插值法、方向加权插值法和自适应插值法中的至少一项。
具体而言,本申请实施例可以但不限于通过最近邻域法、双线性插值法、方向加权插值法和自适应插值法等最佳颜色插值算法,进一步而解决数字图像系统中由于CMOS采集图像或对图像放大时导致通道像素值缺失的问题。
本申请的一个实施例中采用基于方向加权的颜色插值算法,下述将具体介绍如何使用该方法对图像进行颜色插值。
图2展示了基于方向加权的颜色插值算法的原理示意图。该方法对R/B像素点的G像素值插值或对G像素点的R/B像素值插值时,考虑如图所示的12个方向,记为1至12。其通过计算每个像素点的边缘算子来判断该像素点周围的边缘信息,并根据边缘信息决定每个方向在插值时的权重值。
本申请实施例中,首先需要计算每个像素点(i,j)的边缘算子In(i,j),由于在对R/B像素点的G像素值插值时,考虑如图2所示的12个方向,故边缘算子的n也要从1计算到12。记每个像素点采集到的像素值为P(i,j),P(i,j)可能是RGB三基色像素值中的一种,以滤波片采集到的数据为准。则边缘算子In(i,j)的计算公式如下:
In(i,j)=κn(abs(P(i+vn,j+hn)-P(i-vn,j-hn))+abs(P(i+2vn,j+2hn)-
Pi,j
其中,abs()代表对括号内的式子取绝对值,vn和hn代表偏移量,具体取值如下表,表1为绿色通道的边缘算子参数表,其中,如表1所示:
表1
n Vn hn n Vn hn
1 0 -1 2 -1 0
3 0 +1 4 +1 0
5 -1 -2 6 -2 -1
7 -2 +1 8 -1 +2
9 +1 +2 10 +2 +1
11 +2 -1 12 +1 -2
κn代表不同方向距离的衰减系数,如图2所示,由于1到4方向的距离比5到12的短,故κn取值如下:
κn=1,1≤n≤4,
计算得到边缘算子In(i,j)后,其值代表着像素点与图像边缘的关系,In(i,j)值越大则代表像素点在边缘的跳变越大,故本申请实施例可以给该方向分配更小的权重系数,以防止插值对图像边缘造成模糊。综上,本申请实施例可以基于计算得到的边缘算子计算像素点(i,j)各个方向的权重值wn(i,j):
该方法对R像素点的B像素值或B像素点的R像素值进行插值时,只考虑像素点四个对角的像素点,记为方向1到4,其边缘算子I′n(i,j)计算如下:
I′n(i,j)=abs(P(i+v′n,j+h′n)-P(i-v′n,j-h′n))+abs(P(i+2v′n,j+2h′n)-Pi,j
上式中v′n和h′n其实就是对每个像素点去对角的像素值,具体取值如下表,表2为红色/蓝色通道的边缘算子参数表,其中,如表2所示:
表2
n v′n h′n n v′n h′n
1 -1 -1 2 -1 +1
3 +1 +1 4 +1 -1
综上,基于计算得到的边缘算子计算像素点(i,j)各个方向的权重值w′n(i,j):
保证了选择合适的颜色插值方法完成颜色插值计算。
在步骤S103中,根据梯度权重值和RGB三通道像素值之间的差值相关性,对RGB三通道缺失的像素值进行加权插值计算,得到插值计算后的RGB三通道像素值。
在实际执行过程中,本申请实施例可以根据梯度权重值和RGB三通道像素值之间的差值相关性,对RGB三通道缺失的像素值进行加权插值计算,得到插值计算后的RGB三通道像素值,为增强图像的色彩还原度及锐利度提供支撑,提升了图像视觉效果。
可选地,在本申请的一个实施例中,根据梯度权重值和RGB三通道像素值之间的差值相关性,对RGB三通道缺失的像素值进行加权插值计算,包括:比较每个像素点周围的像素值,其中,若比较结果为某一像素值与其他像素值的差值超过预设阈值,则判定某一像素值为离群值,且将离群值从像素值中去除,以重新进行加权插值计算;若对互补金属氧化物半导体图像传感器采集到的图像进行颜色插值,则首先计算R、B像素点的G像素值,之后计算R、B像素点的B、R像素值,以及计算G像素点的R、B像素值后,重新计算校准R、B像素点的G像素值;若对缩放的图片进行颜色插值,则分别对R、G、B三通道的像素值进行加权插值计算。
可以理解的是,本申请实施例中R、B像素点的G像素值可以为红色像素点和蓝色像素点的绿色像素值,R、B像素点的B、R像素值可以为红色像素点的蓝色像素值和蓝色像素点的红色像素值,G像素点的R、B像素值可以为绿色像素点的红色像素值和蓝色像素值。
举例而言,本申请实施例可以比较像素点周围的像素值,其中,当比较结果为某一像素值与其他像素值的差值超过预设阈值时,判定某一像素为离群值,将此离群值从像素值中去除后再重新进行插值加权计算;本申请实施例可以对互补金属氧化物半导体图像传感器采集到的图像进行颜色插值,即每个像素点只存在R/G/B中一个通道的像素值,基于计算得到的梯度权重和选择的颜色插值算法,分别计算红色像素点和蓝色像素点的绿色像素值;基于前述计算得到的绿色像素值,分别计算红色像素点的蓝色像素值和蓝色像素点的红色像素值;基于前述计算得到的像素值,分别计算绿色像素点的红色像素值和蓝色像素值;基于前述计算得到的像素值,重新计算红色像素点和蓝色像素点的绿色像素值。
进一步地,本申请实施例可以在对放大的图片进行颜色插值,即部分像素点的RGB三通道像素值都存在时,部分像素点缺失RGB三通道值,此时本申请实施例可以同时分别对R、G、B三通道的像素值进行插值计算。
需要说明的是,本领域的技术人员可以自行设置预设阈值用于判断某个像素点是否为离群值,用于排除偶发错误,于此不做具体限制。
图2展示了计算红色像素点和蓝色像素点的绿色像素值时考虑的12个方向,计算公式如下:
其中,Kb,n(i+vn,j+hn)代表着方向n上G像素值和B像素值的梯度,即:
Kb,n(i+vn,j+hn)=G(i+vn,j+hn)-B(i+vn,j+hn),
需要注意的是,由于此时G像素点中还没有R和B的像素值,但是在计算梯度Kb,n(i+vn,j+hn)时需要对G像素点的R、B像素值进行线性插值,根据线性插值得到的像素值计算梯度。
举例而言,计算图2中像素点(4,4)的G像素值时,需要计算Kb,6(2,3),则该梯度值的计算式可以通过线性插值的方式得到:
对R像素点的B像素值或B像素点的R像素值进行插值时,只考虑像素点四个对角的像素点,记为方向1到4。下面以对B像素点的R像素值进行插值为例,插值公式如下:
其中,Kr,n(i+v′n,j+h′n)代表在方向上G像素值和R像素值的梯度,计算公式如下:
Kr,n(i+v′n,j+h′n)=G(i+v′n,j+h′n)-R(i+v′n,j+h′n),
需要注意的是,由于本申请实施例已经计算出所有像素点的G像素值,故在对R像素点的B像素值或B像素点的R像素值进行插值时,所有像素值都是已知,不再需要线性插值。
同理,对R像素点的B像素值也采用上述方法即可,在此不再赘述。
对G像素点的R、B像素值进行插值时,采用如图2所示的12个方向,记为1到12。以R像素值为例,则插值公式可以表示如下:
由于上式中的所有变量在前述步骤中都已求得,故此处直接带入计算即可。对于G像素点的B像素值插值时,采用类似方法即可,在此不再赘述。
计算得到上述所有像素值后,由于之前G像素值是通过线性插值得到的,可能不准确,重新计算G像素值可以让图像质量有进一步的提升,因此,需要根据插值得到的像素值重新对R像素点和B像素点的G像素值进行插值。具体过程同第一次插值计算,在此不再赘述。
在步骤S104中,将插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据。
作为一种可能实现的方式,本申请实施例可以将插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据,从而进一步增强了图像的色彩还原度及锐利度,提升了图像视觉效果。
可选地,在本申请的一个实施例中,将插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据,包括:基于插值计算后的RGB三通道像素值,融合生成具有完整三通道像素值的RGB格式图像数据;将RGB格式图像转换为最终颜色插值图像数据。
在实际执行过程中,本申请实施例可以基于插值计算后的RGB三通道像素值,融合生成具有完整三通道像素值的RGB格式图像数据,即完成了颜色插值;本申请实施例可以根据实际需求将RGB格式图像转换为最终颜色插值图像数据,即转换为需要的图片格式,于此不做具体限制。
具体地,结合图3和4所示,以多个具体实施例对本申请实施例中的智能影像处理中的颜色插值方法的工作原理进行详细阐述。
如图3所示,当最佳颜色插值方法采用线性插值时,本申请实施例可以包括以下步骤:
步骤S301:获取待处理的图像原始数据,经过RGB三通道分离后分别得到R、G、B三个通道的像素值。
步骤S302:基于得到的RGB三通道像素值,计算每个像素点的边缘算子以表征图像的边缘信息,并根据边缘算子计算每个像素点在不同方向上与近邻通道像素点之间的梯度权重值。
步骤S303:基于计算得到的不同方向梯度权重值和RGB三通道之间的差值相关性,对RGB三通道缺失的像素值通过去离群值后的加权计算进行插值。
步骤S304:基于插值计算得到的RGB三通道像素值,将三通道像素值进行融合,得到最终的图像数据。
如图4所示,图4为线性插值方法的原理示意图,当颜色插值方法采用线性插值时,本申请实施例可以包括以下步骤:
S1:获取待处理的图像原始数据,经过RGB三通道分离后分别得到R、G、B三个通道的像素值。
在实际执行过程中,通常在CMOS传感器表面覆盖一层彩色滤波阵列CFA,使得传感器的每个像素点只接收RGB三通道中的一种数据。又由于人眼视觉系统对于绿色较为敏感,所以滤波阵列中G像素点的个数要多于RB像素点,最终获得的图像数据为GB交替行与GR交替行间隔排列,称之为RGGB格式,即G像素点个数为R或B像素点个数的两倍。具体的排列方式如图2所示。
S2:基于得到的RGB三通道像素值,选择合适的颜色插值算法。
本申请实施例可以基于图片的处理需求和评价指标,选择合适的颜色插值算法。
举例而言,本申请的实施例可以使用图像峰值信噪比或者图像结构相似性指数作为评判图像处理的指标。需要说明的是,本领域技术人员可以根据实际情况选择合适的颜色插值评价指标,于此不做具体限制。
在本申请的一个实施例中,使用线性插值法对图像进行颜色插值。由于线性插值法通过将周围通道的像素值求平均作为当下像素点的像素值,故其不需要计算不同方向上的梯度权重值。下面将具体介绍如何使用线性插值法对图像完成颜色插值。
S3:基于选择的颜色插值算法,对RGB三通道分别进行颜色插值计算;
图4展示了线性插值法的原理示意图。该方法包括如下步骤:比较像素点周围的像素值,若某像素值与其他像素值的差值超过预设阈值则判定为离群值,将此离群值从像素值中去除后再进行插值加权计算;对G像素点的R、B像素值进行插值;对R、B像素点的G像素值进行插值;对R像素点的B像素值进行插值并对B像素点的R像素值进行插值。
由于线性插值法都是利用已知像素值进行插值,故前述步骤可以同时并行。
对G像素点的R、B像素值进行插值时,插值公式如下:
对R、B像素点的G像素值进行插值时,插值公式如下:
对R像素点的B像素值进行插值并对B像素点的R像素值进行插值时,插值公式如下:
综上,便完成了对所有像素点缺失像素值的线性插值计算。
S4:基于插值计算得到的RGB三通道像素值,将三通道像素值进行融合,得到最终的图像数据。
在实际执行过程中,通过计算得到每个像素点缺失的像素值后,基于插值计算得到的RGB三通道像素值融合生成具有完整三通道像素值的RGB格式图像数据,即完成了颜色插值。之后本领域的技术人员可以根据实际需求将处理好的RGB图片转为需要的图片格式,于此不做具体限制。
实施例三
当因图片放大而需要对新增加的像素点进行颜色插值时,该方法包括以下步骤:
S1:获取待处理的图像原始数据,经过RGB三通道分离后分别得到R、G、B三个通道的像素值。
在实际执行过程中,由于对图像放大会导致新增需要像素点,故需要对缺失的像素点像素值进行补充。首先将原图像的已有像素值经过RGB三通道分离,得到三通道分别对应的像素值。
S2:基于得到的RGB三通道像素值,选择合适的颜色插值算法。
本申请实施例可以基于图片的处理需求和评价指标,选择合适的颜色插值算法。
举例而言,本申请的实施例可以使用图像峰值信噪比或者图像结构相似性指数作为评判图像处理的指标。需要说明的是,本领域技术人员可以根据实际情况选择合适的颜色插值评价指标,于此不做具体限制。
在本申请的一个实施例中,使用双线性插值法对图像进行颜色插值。下面将具体介绍如何使用线性插值法对图像完成颜色插值。
S3:基于选择的颜色插值算法,对RGB三通道分别进行颜色插值计算。
以R通道的像素为例,由于图像放大后,原本近邻的四个像素点之间必定会产生新的像素点,那么就可以使用双线性插值对新增的像素点像素值进行补充。
假设原先近邻的四个像素点坐标为(x0,y0),(x1,y0),(x0,y1),(x1,y1),其对应的R通道像素值分别为R(x0,y0),R(x1,y0),R(x0,y1),R(x1,y1),现在要求图片放大后位于四个顶点所框柱矩形中的像素点(x,y)的R通道像素值,则该像素值的计算公式如下:
R(x,y)=[R(x1,y0)-R(x0,y0)](x-x0)+[R(x0,y1)-R(x0,y0)](y-y0)+[R(x1,y1)+R(x0,y0)-R(x1,y0)-R(x0,y1)](x-x0)(y-y0)+R(x0,y0),
由于双线性插值法都是利用已知像素值进行插值,故对于RGB三通道像素值的插值步骤可以同时并行,其中G和B通道的像素值插值过程与R通道类似,在此不再赘述。
综上,便完成了对所有像素点缺失像素值的线性插值计算。
S4:基于插值计算得到的RGB三通道像素值,将三通道像素值进行融合,得到最终的图像数据。
在实际执行过程中,通过计算得到每个像素点缺失的像素值后,基于插值计算得到的RGB三通道像素值融合生成具有完整三通道像素值的RGB格式图像数据,即完成了颜色插值。之后本领域的技术人员可以根据实际需求将处理好的RGB图片转为需要的图片格式,于此不做具体限制。
根据本申请实施例提出的智能影像处理中的颜色插值方法,可以基于RGB三通道像素值、图片的处理需求和评价指标,选择合适的颜色插值方法完成颜色插值计算,得到最终的颜色插值图像数据,进而提高了图像视觉效果。由此,解决了相关技术中,数字图像系统中由于CMOS采集图像或对图像缩放时通道像素值缺失的问题,提高了图像的清晰度,降低了运算复杂度,增强了图像的色彩还原度及锐利度,提升了图像视觉效果。
其次参照附图描述根据本申请实施例提出的智能影像处理中的颜色插值装置。
图5是本申请实施例的智能影像处理中的颜色插值装置的结构示意图。
如图5所示,该智能影像处理中的颜色插值装置10包括:,获取模块100、第一计算模块200、第二计算模块300和生成模块400。
具体地,获取模块100,用于获取智能影像的原始图像数据,将原始图像数据进行RGB三通道分离,得到RGB三通道像素值。
第一计算模块200,用于根据RGB三通道像素值计算每个像素点的边缘算子,并根据边缘算子计算每个像素点在不同方向上的梯度权重值。
第二计算模块300,用于根据梯度权重值和RGB三通道像素值之间的差值相关性,对RGB三通道缺失的像素值进行加权插值计算,得到插值计算后的RGB三通道像素值。
生成模块400,用于将插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据。
可选地,在本申请的一个实施例中,第一计算模块200包括:选择单元和第一计算单元。
其中,选择单元,用于根据图像数据的处理需求和评价指标选择最佳颜色插值算法。
第一计算单元,用于根据最佳颜色插值算法和RGB三通道像素值计算每个像素点的边缘算子。
可选地,在本申请的一个实施例中,图像数据的评价指标包括图像峰值信噪比和图像结构相似性指数中的至少一项。
可选地,在本申请的一个实施例中,第二计算模块300包括:比较单元、第二计算单元和第三计算单元。
其中,比较单元,用于比较每个像素点周围的像素值,其中,当比较结果为某一像素值与其他像素值的差值超过预设阈值时,判定某一像素值为离群值,且将离群值从像素值中去除,以重新进行加权插值计算。
第二计算单元,用于当对互补金属氧化物半导体图像传感器采集到的图像进行颜色插值时,首先计算R、B像素点的G像素值,之后计算R、B像素点的B、R像素值,以及计算G像素点的R、B像素值后,重新计算校准R、B像素点的G像素值。
第三计算单元,用于当对放大的图片进行颜色插值时,分别对R、G、B三通道的像素值进行加权插值计算。
可选地,在本申请的一个实施例中,生成模块400包括:生成单元和转换单元。
其中,生成单元,用于基于插值计算后的RGB三通道像素值,融合生成具有完整三通道像素值的RGB格式图像数据。
转换单元,用于将RGB格式图像转换为最终颜色插值图像数据。
可选地,在本申请的一个实施例中,最佳颜色插值算法包括最近邻域法、双线性插值法、方向加权插值法和自适应插值法中的至少一项。
需要说明的是,前述对智能影像处理中的颜色插值方法实施例的解释说明也适用于该实施例的智能影像处理中的颜色插值装置,此处不再赘述。
根据本申请实施例提出的智能影像处理中的颜色插值装置,可以基于RGB三通道像素值、图片的处理需求和评价指标,选择合适的颜色插值方法完成颜色插值计算,得到最终的颜色插值图像数据,进而提高了图像视觉效果。由此,解决了相关技术中,数字图像系统中由于CMOS采集图像或对图像缩放时通道像素值缺失的问题,提高了图像的清晰度,降低了运算复杂度,增强了图像的色彩还原度及锐利度,提升了图像视觉效果。
图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括:
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的智能影像处理中的颜色插值方法。
进一步地,电子设备还包括:
通信接口603,用于存储器601和处理器602之间的通信。
存储器601,用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现,则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,在具体实现上,如果存储器601、处理器602及通信接口603,集成在一块芯片上实现,则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的智能影像处理中的颜色插值方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种智能影像处理中的颜色插值方法,其特征在于,包括以下步骤:
获取智能影像的原始图像数据,将所述原始图像数据进行RGB三通道分离,得到RGB三通道像素值;
根据所述RGB三通道像素值计算每个像素点的边缘算子,并根据所述边缘算子计算所述每个像素点在不同方向上的梯度权重值;
根据所述梯度权重值和所述RGB三通道像素值之间的差值相关性,对所述RGB三通道缺失的像素值进行加权插值计算,得到插值计算后的RGB三通道像素值;以及
将所述插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述RGB三通道像素值计算每个像素点的边缘算子,包括:
根据所述图像数据的处理需求和评价指标选择最佳颜色插值算法;
根据所述最佳颜色插值算法和所述RGB三通道像素值计算所述每个像素点的边缘算子。
3.根据权利要求2所述的方法,其特征在于,所述图像数据的评价指标包括图像峰值信噪比和图像结构相似性指数中的至少一项。
4.根据权利要求1所述的方法,其特征在于,所述根据所述梯度权重值和所述RGB三通道像素值之间的差值相关性,对所述RGB三通道缺失的像素值进行加权插值计算,包括:
比较所述每个像素点周围的像素值,其中,若比较结果为某一像素值与其他像素值的差值超过预设阈值,则判定所述某一像素值为离群值,且将所述离群值从所述像素值中去除,以重新进行所述加权插值计算;
若对互补金属氧化物半导体图像传感器采集到的图像进行颜色插值,则首先计算R、B像素点的G像素值,之后计算R、B像素点的B、R像素值,以及计算G像素点的R、B像素值后,重新计算校准R、B像素点的G像素值;
若对缩放的图片进行所述颜色插值,则分别对R、G、B三通道的像素值进行所述加权插值计算。
5.根据权利要求1所述的方法,其特征在于,所述将所述插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据,包括:
基于所述插值计算后的RGB三通道像素值,融合生成具有完整三通道像素值的RGB格式图像数据;
将所述RGB格式图像转换为所述最终颜色插值图像数据。
6.根据权利要求2所述的方法,其特征在于,所述最佳颜色插值算法包括最近邻域法、双线性插值法、方向加权插值法和自适应插值法中的至少一项。
7.一种智能影像处理中的颜色插值装置,其特征在于,包括:
获取模块,用于获取智能影像的原始图像数据,将所述原始图像数据进行RGB三通道分离,得到RGB三通道像素值;
第一计算模块,用于根据所述RGB三通道像素值计算每个像素点的边缘算子,并根据所述边缘算子计算所述每个像素点在不同方向上的梯度权重值;
第二计算模块,用于根据所述梯度权重值和所述RGB三通道像素值之间的差值相关性,对所述RGB三通道缺失的像素值进行插值加权计算,得到插值计算后的RGB三通道像素值;以及
生成模块,用于将所述插值计算后的RGB三通道像素值进行融合,生成最终颜色插值图像数据。
8.根据权利要求7所述的装置,其特征在于,所述第一计算模块包括:
选择单元,用于根据所述图像数据的处理需求和评价指标选择最佳颜色插值算法;
计算单元,用于根据所述最佳颜色插值算法和所述RGB三通道像素值计算所述每个像素点的边缘算子。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-6任一项所述的智能影像处理中的颜色插值方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-6任一项所述的智能影像处理中的颜色插值方法。
CN202311000574.4A 2023-08-09 2023-08-09 智能影像处理中的颜色插值方法及装置 Pending CN117041745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311000574.4A CN117041745A (zh) 2023-08-09 2023-08-09 智能影像处理中的颜色插值方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311000574.4A CN117041745A (zh) 2023-08-09 2023-08-09 智能影像处理中的颜色插值方法及装置

Publications (1)

Publication Number Publication Date
CN117041745A true CN117041745A (zh) 2023-11-10

Family

ID=88642445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311000574.4A Pending CN117041745A (zh) 2023-08-09 2023-08-09 智能影像处理中的颜色插值方法及装置

Country Status (1)

Country Link
CN (1) CN117041745A (zh)

Similar Documents

Publication Publication Date Title
US8406557B2 (en) Method and apparatus for correcting lens shading
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
EP1389771B1 (en) Digital image system and method for combining demosaicing and bad pixel correction
JP4054184B2 (ja) 欠陥画素補正装置
US7825965B2 (en) Method and apparatus for interpolating missing colors in a color filter array
JP4610930B2 (ja) 画像処理装置、画像処理プログラム
US8565524B2 (en) Image processing apparatus, and image pickup apparatus using same
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20050088455A1 (en) Image processing
EP2352301A1 (en) Image processing device, image processing method, and program
US20130057734A1 (en) Image processing apparatus, image processing method, information recording medium, and program
EP2742681B1 (en) Image processing apparatus and control method therefor
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
US8131110B2 (en) Reducing signal overshoots and undershoots in demosaicking
JP4329542B2 (ja) 画素の類似度判定を行う画像処理装置、および画像処理プログラム
US20100214446A1 (en) Image processing apparatus and image processing method
JP2015139141A (ja) 画像処理装置、画像処理方法及びプログラム
EP2103979B1 (en) Method for correcting chromatic aberration
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
JP5738904B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR101327790B1 (ko) 영상 보간 방법 및 장치
CN117041745A (zh) 智能影像处理中的颜色插值方法及装置
JP5153842B2 (ja) 画像処理装置、画像処理プログラム
JP4122082B2 (ja) 信号処理装置およびその処理方法
CN113781350B (zh) 图像处理方法、图像处理装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination