CN109587466A - 颜色阴影校正的方法和装置 - Google Patents

颜色阴影校正的方法和装置 Download PDF

Info

Publication number
CN109587466A
CN109587466A CN201710911423.2A CN201710911423A CN109587466A CN 109587466 A CN109587466 A CN 109587466A CN 201710911423 A CN201710911423 A CN 201710911423A CN 109587466 A CN109587466 A CN 109587466A
Authority
CN
China
Prior art keywords
pixel
colored shadow
image
transformation coefficient
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710911423.2A
Other languages
English (en)
Other versions
CN109587466B (zh
Inventor
尹玄武
左坤隆
郗东苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710911423.2A priority Critical patent/CN109587466B/zh
Priority to PCT/CN2018/106645 priority patent/WO2019062633A1/zh
Publication of CN109587466A publication Critical patent/CN109587466A/zh
Application granted granted Critical
Publication of CN109587466B publication Critical patent/CN109587466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种颜色阴影校正的方法和装置,能够准确地对图像的颜色阴影进行校正。该方法包括:接收第一图像;提取所述第一图像中的梯度小于或等于阈值的第一像素点的色调值;利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数,其中,所述特征轮廓用于表示统计得到的多个标准光源的图像中的像素点的颜色阴影轮廓的特征,所述变换系数用于表示所述特征轮廓的强弱程度;根据所述第一像素点的变换系数和颜色阴影模型,确定所述第一图像中的第二像素点的颜色阴影轮廓;根据所述第二像素点的颜色阴影轮廓,对所述第二像素点的颜色阴影进行校正。

Description

颜色阴影校正的方法和装置
技术领域
本申请涉及图像处理领域,并且更具体的,涉及图像处理领域中的颜色阴影校正的方法和装置。
背景技术
由于无线终端及其它移动设备在轻薄设计方面的需求,要求数字摄像头模组的体积越来越小,这对输出的图像带来了多种副作用,其中之一便是颜色阴影(ColorShading)。颜色阴影是指彩色摄像头模组输出的图像中,从中心到边缘的颜色渐变。通常,在摄像头模组中,数字图像传感器正面都装有红外截止(IR-CUT)滤光片,在透过可见光的同时阻挡红外光,以保证颜色再现的准确性。但是,所述红外截止滤光片的截止波长随入射光角度的变化而变化,造成传感器中心与边缘截止波长不同,表现为图像的颜色阴影。并且,摄像头模组尺寸的减小会增大入射光角度,使得颜色阴影越发显著。此外,主镜头与微透镜等器件的不匹配也会加重颜色阴影。
颜色阴影的程度会随场景反射光谱的改变而改变,因此需要对颜色阴影进行动态校正。目前,现有技术基于颜色一致性模型对颜色阴影进行校正,该模型包括一组一般轮廓和一组对应于色温的变换系数。但是,色温和光谱并不是一一对应的,例如A光和U30色温接近但光谱差异很大,这会造成该颜色一致性模型粗糙,导致使用该模型造成颜色阴影校正不准确。
发明内容
本申请提供一种颜色阴影校正的方法和装置,能够准确地对图像的颜色阴影进行校正。
第一方面,提供了一种颜色阴影校正的方法,该方法包括:
接收第一图像;
提取所述第一图像中第一像素点的色调值,其中,所述第一像素点的色调值的梯度小于或等于阈值;
利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数,其中,所述特征轮廓用于表示统计得到的多个标准光源的图像中的像素点的颜色阴影轮廓的特征,所述变换系数用于表示所述特征轮廓的强弱程度;
根据所述第一像素点的变换系数和颜色阴影模型,确定所述第一图像中的第二像素点的颜色阴影轮廓,其中,所述颜色阴影模型用于表示图像中的像素点的颜色阴影轮廓、特征轮廓以及变换系数之间的映射关系;
根据所述第二像素点的颜色阴影轮廓,对所述第二像素点的颜色阴影进行校正。
本申请实施例首先提取第一图像的第一像素点的色调值,然后根据该第一像素点的色调值和该第一像素点的特征轮廓,确定该第一像素点的模型参数(即变换系数),进一步该第一像素点的模型参数和颜色阴影模型,确定第一图像的颜色阴影轮廓,最后根据该第一图像的颜色阴影轮廓对该第一图像的颜色阴影进行校正。由于本申请实施例通过直接使用图像的色调值来确定模型参数,而并不依赖于白平衡等其他模块获取模型参数,因而本申请实施例能够准确地确定模型参数。并且,本申请实施例中特征轮廓能够表征某一具体因素或统计特征所造成的颜色阴影,颜色阴影模型能够准确的表征复杂的颜色阴影轮廓,因而本申请实施例能够准确地对图像的颜色阴影进行校正。
可选的,所述利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数之前,还包括:
提取所述多个标准光源的平场图像的像素点的颜色阴影轮廓;
确定所述多个标准光源的平场图像的像素点的颜色阴影轮廓的特征向量,并根据所述特征向量确定所述特征轮廓。
因此,特征轮廓可以用于表示统计得到的多个标准光源的图像的颜色阴影轮廓的特征。也就是说,每个特征轮廓都是从多个标准光源的图像的颜色阴影轮廓中统计得到的特征。这时,每个特征轮廓可以对应于某一具体物理因素或统计特征所造成的颜色阴影,其中,物理因素例如为入射角变化、主镜头与微透镜等器件的不匹配等。
可选的,所述利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数,包括:
根据以下公式,确定所述第一像素点的变换系数:
其中,x代表所述第一像素点,为x的变换系数且fk(x)为x的第k维的特征轮廓,ak为fk(x)的变换系数,bk为fk(x)的平移系数,且ak+bk=1,k的取值范围为1至N且代表所述特征轮廓的维度,N为大于1的正整数,H(x)表示x处的色调值的对数。
具体的,对于rg色调,可以定义第一区域的变换系数则有:
对于bg色调,可以定义第一区域的变换系数则有:
可选的,本申请实施例中,可以将第一区域中的第一像素点的变换系数作为所获取的第一图像中的第二像素点的变换系数。也就是说,本申请实施例中,图像中的各个像素点的变换系数是相同的。这时,可以将该变换系数和第二像素点的特征轮廓带入图像颜色阴影模型中,合成图像的颜色阴影轮廓。
具体的,颜色阴影模型可以具有如下形式:
其中,s(x)表示x的颜色阴影轮廓,fk(x)为x的第k维的特征轮廓,ak为fk(x)的变换系数,bk为fk(x)的平移系数,k的取值范围为1至N且代表所述特征轮廓的个数,N为大于1的正整数。本申请实施例中,约定无颜色阴影处fk(x)=1,则为了保持fk(x)的归一化特性,ak+bk=1。
本申请实施例中,变换系数ak用于描述该变换系数ak对应的特征轮廓fk(x)的强弱程度。因此,本申请实施例中的颜色阴影模型通过采用多个特征轮廓相乘的方式,能够表征多个因素或统计特征叠加时的颜色阴影分量。
这时,所述第二像素点的颜色阴影轮廓为:
其中,x'代表所述第二像素点,s(x')表示x'的颜色阴影轮廓,fk(x')为x'的第k维的特征轮廓,ak为fk(x')的变换系数,bk为fk(x')的平移系数,且ak+bk=1,k的取值范围为1至N且代表所述特征轮廓的个数,N为大于1的正整数。
可选的,所述根据所述第二像素点的颜色阴影轮廓,对所述第二像素点的颜色阴影进行校正包括:
将所述第二像素点的颜色阴影轮廓的倒数确定为所述第二像素点的校正值。具体的,校正表可以包括图像像素点和该像素点的校正值,像素点的校正值具体可以为该像素点的颜色阴影轮廓的倒数。
根据所述第二像素点的校正值对所述第二像素点的颜色阴影进行校正。具体的,第二像素点x'的R通道的值与rg色调的校正值的乘积为校正之后第二像素点x'的R通道的值,第二像素点x'的B通道的值与bg色调的校正值的乘积为校正之后第二像素点x'的B通道的值。
第二方面,本申请实施例提供了一种颜色阴影校正的装置,用于执行上述第一方面或第一方面的任意可能的实现方式中的方法,具体的,该装置包括用于执行上述第一方面或第一方面任意可能的实现方式中的方法的模块。
第三方面,本申请实施例提供了一种颜色阴影校正的装置,包括:存储器和处理器。其中,该存储器用于存储指令,该处理器用于执行该存储器存储的指令,并且当该处理器执行该存储器存储的指令时,该执行使得该处理器执行第一方面或第一方面的任意可能的实现方式中的方法。
第四方面,本申请实施例提供了一种计算机可读介质,用于存储计算机程序,该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
附图说明
图1是本申请实施例的一种颜色阴影校正的应用场景的示意图。
图2是本申请实施例的一种标定颜色阴影模型的方法的示意性流程图。
图3是本申请实施例的一种颜色阴影校正的方法的示意性流程图。
图4是本申请实施例的一种颜色阴影校正的装置的示意性框图。
图5是本申请实施例的另一种颜色阴影校正的装置的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
图1是本申请实施例的一种颜色阴影校正的应用场景的示意图。具体的,场景11反射的光经镜头12投射,在图像传感器13上形成数字图像信号,该数字图像信号首先经过预处理模块14进行坏点校正、黑电平补偿等操作,然后将预处理之后的图像信号输入到颜色阴影估计模块15,颜色阴影估计模块15对图像信号的颜色阴影进行估计,得到该图像的校正表。校正模块16根据颜色阴影估计模块确定的校正表,对图像信号进行校正。后续处理模块17进一步对校正之后的图像信号进行后续处理,生成最终图像18。
本申请实施例对颜色阴影估计模块15进行了改进。颜色阴影估计模块15可以应用于图像信号处理(Image Signal Processing,ISP)芯片中,用于对彩色摄像头模组采集到的图像信号进行处理。图像信号处理芯片可以单独安装或集成于手机、数码相机、平板电脑、个人数字助理或其他可以捕获图像的装置中,或者单独安装或集成于桌式电脑、视频会议台或其他使用内部或外部相机来捕获图像的装置中。因此,具有该图像处理芯片的装置可以对静态图像或视频图像进行颜色阴影校正。
通常,颜色阴影的作用方式可以用以下公式(1)表示
h(x)=s(x)·i(x) (1)
其中,x代表像素点,i(x)是x的无颜色阴影的理想图像信号,s(x)是x的颜色阴影轮廓,也可以称为颜色阴影分量或颜色阴影信息,h(x)是x的实际的图像信号。并且,在公式(1)中,图像信号具体可以为图像的色调值。
本申请实施例中,颜色阴影估计模块15可以基于颜色阴影模型对图像的颜色阴影进行校正。这里,颜色阴影模型可以用于表示图像的颜色阴影轮廓、特征轮廓以及变换系数的映射关系。具体的,颜色阴影模型可以具有如下形式:
其中,s(x)表示x的颜色阴影轮廓,fk(x)为x的第k维的特征轮廓,ak为fk(x)的变换系数,bk为fk(x)的平移系数,k的取值范围为1至N且代表所述特征轮廓的个数,N为大于1的正整数。本申请实施例中,约定无颜色阴影处fk(x)=1,则为了保持fk(x)的归一化特性,ak+bk=1。
具体而言,公式(2)中的特征轮廓可以用于表示统计得到的多个标准光源的图像的颜色阴影轮廓的特征。也就是说,每个特征轮廓都是从多个标准光源的图像的颜色阴影轮廓中统计得到的特征。这时,每个特征轮廓可以对应于某一具体物理因素或统计特征所造成的颜色阴影,其中,物理因素例如为入射角变化、主镜头与微透镜等器件的不匹配等。并且,变换系数ak用于描述该变换系数ak对应的特征轮廓fk(x)的强弱程度。因此,本申请实施例中的颜色阴影模型通过采用多个特征轮廓相乘的方式,能够表征多个因素或统计特征叠加时的颜色阴影分量。
应注意,本申请实施例中的颜色阴影模型并不限于上述公式(2)的形式,例如还可以是公式(2)各种变形(例如对fk(x)或s(x)取对数、倒数或者求导等),本申请实施例对此不限定。
图2示出了本申请实施例的一种标定颜色阴影模型中的特征轮廓的方法的示意性流程图。应理解,图2示出了标定颜色阴影模型中的特征轮廓的方法的步骤或操作,但这些步骤或操作仅是示例,本申请实施例还可以执行其他操作或者图2中的各个操作的变形。此外,图2中的各个步骤可以按照与图2呈现的不同的顺序来执行,并且有可能并非要执行图2中的全部操作。
201,采集图像。
具体的,可以使用图1中的图像传感器13来采集图像。具体而言,将标准光源投射在场景11上,场景11将标准光源的光经镜头12投射,在图像传感器13上形成标准光源的图像。由于图像传感器13上的红外截止滤光片的截止波长随入射角度的增大而变短,且摄像头模组尺寸的减小会增加入射光角度,因此,201中采集的图像会有颜色阴影。
这里,可以采集每个标准光源的平场图像。也就是说,此时场景11可以是白纸或者白墙等没有颜色且表面平坦的场景。这样,图像中不同位置上的实际颜色与该位置的颜色阴影分量相关,且该实际颜色与场景11自身的属性(例如表面颜色以及表面的曲率等)无关。
这里,标准光源是指模拟各种环境光线下的人造光源,例如美式厨窗射灯A,家庭酒店用灯F,模拟太阳光D50,国际标准人工日光(Artificial Daylight)D65,模拟北方平均太阳光D75,欧洲标准暖白商店光源(Warm White)TL83,欧洲、日本、中国商店光源TL84,美国冷白商店光源(Cool White Fluorescent,CWF),美国暖白商店光源(Warm WhiteFluorescent,U30),美国零售商塔吉特-Target指定对色灯管U35、紫外灯光源(Ultra-Violet,UV)等光源等。这里,可以采集每个标准光源的平场图像。可理解,不同的标准光源具有不同的光谱、色温以及功率。
本申请实施例中,可以同时将至少两个标准光源投射在场景上,这样在图像传感器上可以形成至少两个标准光源共同作用的平场图像。本申请实施例中,对于一个标准光源,可以采集一个或多个平场图像,或者在至少两个标准光源共同作用时,可以采集一个或多个平场图像。
202,提取图像的颜色阴影轮廓。
具体的,可以提取图像中每个像素点的颜色阴影轮廓。首先,可以获取201中采集的图像中每个像素点的红绿蓝(Red Green Blue,RGB)值。当采集了一个标准光源或者至少两个标准光源共同作用时的多个平场图像时,可以对该多个平场图像求每个像素点的RGB平均值,并将每个像素点的RGB平均值作为该标准光源或至少两个标准光源共同作用时的平场图像的每个像素点的RGB值。这样,对于一个标准光源,可以得到一个平场图像。在至少两个标准光源共同作用时,可以得到对应的一个平场图像。
这里,可以将图像中所有像素点的RGB值称为该图像的RGB值。在获取了每个平场图像的RGB值之后,可以将RGB值变换为色调值。具体而言,可以根据一个像素点的RGB值获得该像素点的rg色调分量和bg色调分量,rg色调分量为R值与G值的比值,bg色调分量为B值与G值的比值,即rg=R/G,bg=B/G。
对于每个平场图像中每个像素点的色调,可以分别以每个光心为基准进行归一化处理,得到每个像素点的颜色阴影轮廓。这里,平场图像的个数可以为M,M为大于1的正整数。具体而言,对于每个像素点的rg色调,可以获取该像素点的颜色阴影轮廓其中j=1,…,M。对于每个像素点的bg色调,可以获取该像素点的颜色阴影轮廓其中j=1,…,M。
203,判断是否提取了所有标准光源的颜色阴影轮廓。
若否,对其他标准光源重复上述201和202的步骤。若是,则执行下一步204。
204,提取特征轮廓。具体的,可以提取上述每个像素点的特征轮廓。
具体而言,对提取的每个标准光源平场图像的rg色调的颜色阴影轮廓取对数可以得到将所有标准光源平场图像的rg色调的颜色阴影轮廓j=1,2,…,M视为一个集合,即平场图像的rg色调的颜色阴影轮廓集合可以表示为矩阵
然后,求矩阵的特征向量其中N1表示该特征向量的维度,特征向量的维度可以理解为该特征向量的个数,且为小于M的正整数。本申请实施例中,可以使用主成分分析(Principal Component Analysis,PCA)、卷积神经网络(Convolutional Neural Networks,CNN)等比较公知的方法求该特征向量,具体的,求取特征向量的过程可以参见现有技术中的求矩阵的特征向量的方法,本申请实施例不再赘述。
最后,可以求该特征向量的指数,得到图像的rg色调的特征轮廓这里N1表示rg色调的特征轮廓的维度或个数。
同理,可以采用与rg色调相同的方式,求图像的bg色调的特征轮廓 其中N2为小于M的正整数,表示bg色调的特征轮廓的维度或个数。
这里,特征轮廓的描述可以参见上文中的描述,为避免重复,这里不再赘述。
205,存储上述rg色调和bg色调的特征轮廓。具体的,可以存储每个像素点的每个色调的特征轮廓。
因此,本申请实施例通过采集多个标准光源的平场图像,然后提取每个标准光源的平场图像的颜色阴影轮廓,并根据所有标准光源的颜色阴影轮廓的集合提取一组特征轮廓,该特征轮廓能够表征某一具体因素或统计特征所造成的颜色阴影。
进一步,上述一组特征轮廓与一组变换系数通过乘法结合构成本申请实施例中所述的颜色阴影模型。本申请实施例中,变换系数可以表征该因素或统计特征的强弱程度,乘法能够反映不同因素叠加时的物理规律,因此本申请实施例中的该颜色阴影模型能够准确的表征复杂的颜色阴影轮廓。
图3示出了本申请实施例的一种颜色阴影校正的方法的示意性流程图。具体的,该方法可以由图1中所示的颜色阴影估计模块15和校正模块16执行。应理解,图3示出了颜色阴影校正的方法的步骤或操作,但这些步骤或操作仅是示例,本申请实施例还可以执行其他操作或者图3中的各个操作的变形。此外,图3中的各个步骤可以按照与图3呈现的不同的顺序来执行,并且有可能并非要执行图3中的全部操作。
301,接收第一图像。
具体的,可以使用图1中的图像传感器13来采集图像。具体而言,镜头12将一个具体场景反射的光投射至图像传感器13,图像传感器13可以将该数字图像信号发送至预处理模块14,预处理模块14对该数字图像信号进行坏点校正、黑电平补偿等操作,然后将预处理之后的数字图像输入至颜色阴影估计模块15。这里,该数字图像信号可以称为图像或者图像数据。
302,确定所述第一图像中的每个像素点的色调值。
这里,色调值包括rg色调分量hrg和bg色调分量hbg。具体的,颜色阴影估计模块15可以根据301中接收的图像的RGB值获得该图像的每个像素点的rg色调分量hrg和bg色调分量hbg
303,在所述第一图像中提取第一像素点,第一像素点为色调变化平缓的像素点。
这时,可以分别对302中确定的每个像素点的hrg和hbg进行对数运算,得到Hrg和Hbg。下一步可以分别对Hrg和Hbg求梯度得到其中可以表示Hrg的变化程度,可以表示Hbg的变化程度。
这时,可以根据确定图像中rg色调的色调变化平缓的像素点,根据确定图像中bg色调的色调变化平缓的像素点。这里,可以称色调变化平缓的像素点为第一像素点,将第一像素点所属的区域称为第一区域。也就是说,第一区域中的第一像素点的色调变化小于或等于阈值。
具体而言,rg色调的第一区域可以表示为Rrg,则:
其中x为Rrg中的任意一个像素点,即第一像素点,thrg为rg色调的色调变化阈值。
bg色调的第一区域可以表示为Rbg,则:
其中x为Rbg中的任意一个像素点,即第一像素点,thbg为bg色调的色调变化阈值。
可理解,因为301中获取的第一图像对应的场景可以为实际中的一个具体场景,因此该图像可以具有丰富的色彩。本申请实施例中,如果图像的色调变化比较大,则可以认为该色调变化比较大的区域的色彩为场景本身的颜色。如果图像的色调变化在比较平缓,则可以认为该色调变化平缓的区域的色彩为颜色阴影轮廓。
304,利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数,其中,所述特征轮廓用于表示统计得到的多个标准光源的图像的颜色阴影轮廓的特征,所述变换系数用于表示所述特征轮廓的强弱程度。
具体而言,颜色阴影估计模块15可以根据预先存储的图像的每个像素点的一组特征轮廓和第一区域的像素点的坐标,确定第一区域的特征轮廓。这里,预先存储的每个像素点的一组特征轮廓可以是根据上述图2所示的方法确定的特征轮廓。
然后,根据所述第一区域中的第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一区域的变换系数。步骤304可以由颜色阴影估计模块15执行。
这时,可以定义第一区域的变换系数则有:
其中,x代表所述第一像素点,fk(x)为x的第k维的特征轮廓,ak为fk(x)的变换系数,bk为fk(x)的平移系数,且ak+bk=1,k的取值范围为1至N且代表所述特征轮廓的维度,N为大于1的正整数,H(x)表示x处的色调值的对数。
具体的,对于rg色调,可以定义第一区域的变换系数则有:
对于bg色调,可以定义第一区域的变换系数则有:
下面将对公式(3)的推导过程进行说明。
具体而言,颜色阴影轮廓是利用颜色阴影模型表征的该图像的颜色阴影。本申请实施例中,将第一像素点的特征轮廓代入颜色阴影模型,可以得到第一像素点的颜色阴影轮廓的函数表达式。也就是说,这时可以将第一区域中的第一像素点的颜色阴影轮廓表示为所述第一像素点的变换系数的函数,其中,第一像素点的变换系数为自变量,第一像素点的颜色阴影轮廓为因变量。
色调值为所提取的图像的实际的图像信号。此时可以令第一像素点的色调值与第一像素点的颜色阴影轮廓相等,即:
其中,h(x)为第一区域的色调值。
对等式(4)两边分别先取对数,再求梯度,可得:
可以理解,在颜色阴影模型为理想模型时上述等式(4)和等式(5)成立。而在实际应用中,图像的色调值的对数的梯度与利用颜色阴影模型所表征的颜色阴影的对数的梯度往往不会完全相等。此时,图像的色调值的对数的梯度与利用颜色阴影模型所表征的颜色阴影的对数的梯度越接近,则表示根据颜色阴影模型表征的颜色阴影越能反映图像实际的颜色阴影。因此,可以确定第一像素点的实际的色调值的对数的梯度与第一像素点的颜色阴影轮廓的对数的梯度最接近时,变换系数的取值为第一像素点的变换系数的最优值。具体而言,上述公式(3)即表示为第一像素点的实际的色调值的对数的梯度与第一像素点的颜色阴影轮廓的对数的梯度的差值最小时的取值。
应理解,本申请实施例中,变换系数的取值并不限定于上述公式(3),例如还可以确定变换系数为第一像素点的实际的色调值的对数的梯度与第一像素点的颜色阴影轮廓的对数的梯度的比值最接近1时的取值,本申请实施例对此不限定。
305,根据所述第一像素点的变换系数和颜色阴影模型,确定所述第一图像中的第二像素点的颜色阴影轮廓,其中,所述颜色阴影模型用于表示所述图像的颜色阴影轮廓、特征轮廓以及变换系数之间的映射关系。
这里,称第一图像中的像素点为第二像素点。本申请实施例中,可以将第一区域中的第一像素点的变换系数作为所获取的第一图像中的第二像素点的变换系数。也就是说,本申请实施例中,图像中的各个像素点的变换系数是相同的。这时,可以将该变换系数和第二像素点的特征轮廓带入图像颜色阴影模型中,合成图像的颜色阴影轮廓。
这时,所述第二像素点x'的颜色阴影轮廓s(x')为以下形式:
其中,fk(x')为x'的特征轮廓,ak为fk(x')的变换系数,bk为fk(x')的平移系数,且ak+bk=1,N为大于1的正整数且代表所述特征轮廓fk(x')的个数,k的取值范围为1至N。
具体而言,对于rg色调,根据计算出的第一图像的模型参数可以确定第一图像的rg色调的颜色阴影轮廓为:
对于bg色调,根据计算出的第一图像的模型参数可以确定第一图像的bg色调的颜色阴影轮廓为:
S306,根据所述第二像素点的颜色阴影轮廓,对所述第二像素点的颜色阴影进行校正。
具体的,校正模块16可以根据颜色阴影估计模块15确定的图像的颜色阴影轮廓,维护校正表中的校正值。具体的,校正表可以包括图像像素点和该像素点的校正值,像素点的校正值具体可以为该像素点的颜色阴影轮廓的倒数。
具体而言,第二像素点的rg色调分量的校正值grg(x')可以表示为:
grg(x')=1/srg(x');
第二像素点的bg色调的校正值gbg(x')可以表示为:
gbg(x')=1/sbg(x');
具体的,校正模块16可以根据校正表,对第一图像的颜色阴影进行校正。
具体的,采用rg色调的校正表对R通道进行校正,即:
rc(x')=r(x')·grg(x') (9)
其中,r(x')为校正之前第二像素点x'的R通道的值,rc(x')为校正之后第二像素点x'的R通道的值。
采用bg色调的校正表对B通道进行校正,即:
bc(x')=b(x)·gbg(x') (10)
其中,b(x')为校正之前第二像素点x'的B通道的值,bc(x')为校正之后第二像素点x'的B通道的值。
在校正模块16根据校正表对第一区域的颜色阴影进行校正之后,校正模块16将图像数据传递给后续处理模块17进行图像处理。
本申请实施例首先提取第一图像的第一区域中的第一像素点的色调值,然后根据该第一像素点的色调值和该第一像素点的特征轮廓,确定该第一像素点的模型参数(即变换系数),进一步该第一像素点的模型参数和颜色阴影模型,确定第一图像的颜色阴影轮廓,最后根据该第一图像的颜色阴影轮廓对该第一图像的颜色阴影进行校正。由于本申请实施例通过直接使用图像的色调值来确定模型参数,而并不依赖于白平衡等其他模块获取模型参数,因而本申请实施例能够准确地确定模型参数。并且,本申请实施例中特征轮廓能够表征某一具体因素或统计特征所造成的颜色阴影,颜色阴影模型能够准确的表征复杂的颜色阴影轮廓,因而本申请实施例能够准确地对图像的颜色阴影进行校正。
图4示出了本申请实施例的一种颜色阴影校正的装置400的示意性框图。该装置400可以为手机、数码相机、平板电脑、个人数字助理或其他可以捕获图像的装置,或者桌式电脑、视频会议台或其他使用内部或外部相机来捕获图像的装置。具体的,该装置400包括接收单元410、提取单元420、确定单元430和校正单元440。
接收单元410,用于接收第一图像。
提取单元420,用于提取所述第一图像中的第一区域中的第一像素点的色调值,其中,所述第一像素点的色调值的梯度小于或等于阈值。
确定单元430,用于利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数,其中,所述特征轮廓用于表示统计得到的多个标准光源的图像中的像素点的颜色阴影轮廓的特征,所述变换系数用于表示所述特征轮廓的强弱程度。
所述确定单元430还用于根据所述第一像素点的变换系数和颜色阴影模型,确定所述第一图像中的第二像素点的颜色阴影轮廓,其中,所述颜色阴影模型用于表示图像中的像素点的颜色阴影轮廓、特征轮廓以及变换系数之间的映射关系。
校正单元440,用于根据所述第二像素点的颜色阴影轮廓,对所述第二像素点的颜色阴影进行校正。
本申请实施例首先提取第一图像的第一区域中的第一像素点的色调值,然后根据该第一像素点的色调值和该第一像素点的特征轮廓,确定该第一像素点的模型参数(即变换系数),进一步该第一像素点的模型参数和颜色阴影模型,确定第一图像的颜色阴影轮廓,最后根据该第一图像的颜色阴影轮廓对该第一图像的颜色阴影进行校正。由于本申请实施例通过直接使用图像的色调值来确定模型参数,而并不依赖于白平衡等其他模块获取模型参数,因而本申请实施例能够准确地确定模型参数。并且,本申请实施例中特征轮廓能够表征某一具体因素或统计特征所造成的颜色阴影,颜色阴影模型能够准确的表征复杂的颜色阴影轮廓,因而本申请实施例能够准确地对图像的颜色阴影进行校正。
可选的,所述提取单元420还用于提取所述多个标准光源的平场图像的像素点的颜色阴影轮廓。所述确定单元430还用于确定所述多个标准光源的平场图像的像素点的颜色阴影轮廓的特征向量,并根据所述特征向量确定所述特征轮廓。
可选的,所述确定单元430具体用于:
根据以下公式,确定所述第一像素点的变换系数:
其中,x代表所述第一像素点,为x的变换系数且fk(x)为x的第k维的特征轮廓,ak为fk(x)的变换系数,bk为fk(x)的平移系数,且ak+bk=1,k的取值范围为1至N且代表所述特征轮廓的维度,N为大于1的正整数,H(x)表示x处的色调值的对数。
可选的,颜色阴影模型可以具有如下形式:
其中,s(x)表示x的颜色阴影轮廓,fk(x)为x的第k维的特征轮廓,ak为fk(x)的变换系数,bk为fk(x)的平移系数,k的取值范围为1至N且代表所述特征轮廓的个数,N为大于1的正整数。本申请实施例中,约定无颜色阴影处fk(x)=1,则为了保持fk(x)的归一化特性,ak+bk=1。
本申请实施例中,变换系数ak用于描述该变换系数ak对应的特征轮廓fk(x)的强弱程度。因此,本申请实施例中的颜色阴影模型通过采用多个特征轮廓相乘的方式,能够表征多个因素或统计特征叠加时的颜色阴影分量。
可选的,所述确定单元430确定的所述第二像素点的颜色阴影轮廓为:
其中,x'代表所述第二像素点,s(x')表示x'的颜色阴影轮廓,fk(x')为x'的第k维的特征轮廓,ak为fk(x')的变换系数,bk为fk(x')的平移系数,且ak+bk=1,k的取值范围为1至N且代表所述特征轮廓的个数,N为大于1的正整数。
所述校正单元具体用于:
将所述第二像素点的颜色阴影轮廓的倒数确定为所述第二像素点的校正值;
根据所述第二像素点的校正值对所述第二像素点的颜色阴影进行校正。应注意,本发明实施例中,接收单元410、提取单元420、确定单元430和校正单元440可以由处理器实现。如图5所示,颜色阴影校正的装置600可以包括处理器610和存储器620。其中,存储器620可以用于存储特征轮廓和处理器610执行的代码等。
在实现过程中,上述方法的各步骤可以通过处理器610中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器620,处理器610读取存储器620中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
图4所示的颜色阴影校正的装置400或图5所示的颜色阴影校正的装置600能够实现前述图2和图3所示的方法实施例对应的各个过程,具体的,该颜色阴影校正的装置400或颜色阴影校正的装置600可以参见上述图2和图3中的描述,为避免重复,这里不再赘述。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种颜色阴影校正的方法,其特征在于,包括:
接收第一图像;
提取所述第一图像中的第一像素点的色调值,其中,所述第一像素点的色调值的梯度小于或等于阈值;
利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数,其中,所述特征轮廓用于表示统计得到的多个标准光源的图像中的像素点的颜色阴影轮廓的特征,所述变换系数用于表示所述特征轮廓的强弱程度;
根据所述第一像素点的变换系数和颜色阴影模型,确定所述第一图像中的第二像素点的颜色阴影轮廓,其中,所述颜色阴影模型用于表示图像中的像素点的颜色阴影轮廓、特征轮廓以及变换系数之间的映射关系;
根据所述第二像素点的颜色阴影轮廓,对所述第二像素点的颜色阴影进行校正。
2.根据权利要求1所述的方法,其特征在于,所述利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数,包括:
根据以下公式,确定所述第一像素点的变换系数:
其中,x代表所述第一像素点,为x的变换系数且fk(x)为x的第k维的特征轮廓,ak为fk(x)的变换系数,bk为fk(x)的平移系数,且ak+bk=1,k的取值范围为1至N且代表所述特征轮廓的维度,N为大于1的正整数,H(x)表示x处的色调值的对数。
3.根据权利要求1或2所述的方法,其特征在于,所述第二像素点的颜色阴影轮廓为:
其中,x'代表所述第二像素点,s(x')表示x'的颜色阴影轮廓,fk(x')为x'的第k维的特征轮廓,ak为fk(x')的变换系数,bk为fk(x')的平移系数,且ak+bk=1,k的取值范围为1至N且代表所述特征轮廓的个数,N为大于1的正整数。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述第二像素点的颜色阴影轮廓,对所述第二像素点的颜色阴影进行校正包括:
将所述第二像素点的颜色阴影轮廓的倒数确定为所述第二像素点的校正值;
根据所述第二像素点的校正值对所述第二像素点的颜色阴影进行校正。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数之前,还包括:
提取所述多个标准光源的平场图像的像素点的颜色阴影轮廓;
确定所述多个标准光源的平场图像的像素点的颜色阴影轮廓的特征向量,并根据所述特征向量确定所述特征轮廓。
6.一种颜色阴影校正的装置,其特征在于,包括:
接收单元,用于接收第一图像;
提取单元,用于提取所述第一图像中的第一像素点的色调值,其中,所述第一像素点的色调值的梯度小于或等于阈值;
确定单元,用于利用所述第一像素点的色调值和所述第一像素点的特征轮廓,确定所述第一像素点的变换系数,其中,所述特征轮廓用于表示统计得到的多个标准光源的图像中的像素点的颜色阴影轮廓的特征,所述变换系数用于表示所述特征轮廓的强弱程度;
所述确定单元还用于根据所述第一像素点的变换系数和颜色阴影模型,确定所述第一图像中的第二像素点的颜色阴影轮廓,其中,所述颜色阴影模型用于表示图像中的像素点的颜色阴影轮廓、特征轮廓以及变换系数之间的映射关系;
校正单元,用于根据所述第二像素点的颜色阴影轮廓,对所述第二像素点的颜色阴影进行校正。
7.根据权利要求6所述的装置,其特征在于,所述确定单元具体用于:
根据以下公式,确定所述第一像素点的变换系数:
其中,x代表所述第一像素点,为x的变换系数且fk(x)为x的第k维的特征轮廓,ak为fk(x)的变换系数,bk为fk(x)的平移系数,且ak+bk=1,k的取值范围为1至N且代表所述特征轮廓的维度,N为大于1的正整数,H(x)表示x处的色调值的对数。
8.根据权利要求6或7所述的装置,其特征在于,所述确定单元确定所述第二像素点的颜色阴影轮廓为:
其中,x'代表所述第二像素点,s(x')表示x'的颜色阴影轮廓,fk(x')为x'的第k维的特征轮廓,ak为fk(x')的变换系数,bk为fk(x')的平移系数,且ak+bk=1,k的取值范围为1至N且代表所述特征轮廓的个数,N为大于1的正整数。
9.根据权利要求6-8任一项所述的装置,其特征在于,所述校正单元具体用于:
将所述第二像素点的颜色阴影轮廓的倒数确定为所述第二像素点的校正值;
根据所述第二像素点的校正值对所述第二像素点的颜色阴影进行校正。
10.根据权利要求6-9任一项所述的装置,其特征在于,还包括:
所述提取单元还用于提取所述多个标准光源的平场图像的像素点的颜色阴影轮廓;
所述确定单元还用于确定所述多个标准光源的平场图像的像素点的颜色阴影轮廓的特征向量,并根据所述特征向量确定所述特征轮廓。
CN201710911423.2A 2017-09-29 2017-09-29 颜色阴影校正的方法和装置 Active CN109587466B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710911423.2A CN109587466B (zh) 2017-09-29 2017-09-29 颜色阴影校正的方法和装置
PCT/CN2018/106645 WO2019062633A1 (zh) 2017-09-29 2018-09-20 颜色阴影校正的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710911423.2A CN109587466B (zh) 2017-09-29 2017-09-29 颜色阴影校正的方法和装置

Publications (2)

Publication Number Publication Date
CN109587466A true CN109587466A (zh) 2019-04-05
CN109587466B CN109587466B (zh) 2020-02-21

Family

ID=65900594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710911423.2A Active CN109587466B (zh) 2017-09-29 2017-09-29 颜色阴影校正的方法和装置

Country Status (2)

Country Link
CN (1) CN109587466B (zh)
WO (1) WO2019062633A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298351A (zh) * 2019-06-21 2019-10-01 上海邻致科技有限公司 一种图像颜色识别存储的方法及装置
CN112862714A (zh) * 2021-02-03 2021-05-28 维沃移动通信有限公司 图像处理方法及装置
CN113132695A (zh) * 2021-04-21 2021-07-16 维沃移动通信有限公司 镜头阴影校正方法、装置及电子设备
CN116405614A (zh) * 2022-06-10 2023-07-07 上海玄戒技术有限公司 一种镜头阴影校正方法、装置、电子设备、芯片及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119150A (ko) * 2006-06-14 2007-12-20 주식회사 아이닉스 음영보상장치 및 보상방법
CN102298781A (zh) * 2011-08-16 2011-12-28 长沙中意电子科技有限公司 基于颜色和梯度特征的运动阴影检测方法
CN102313973A (zh) * 2010-07-07 2012-01-11 奥林巴斯映像株式会社 具有光路反射型变焦镜头的摄像装置
CN103377474A (zh) * 2012-04-27 2013-10-30 比亚迪股份有限公司 镜头阴影校正系数确定方法、镜头阴影校正方法及装置
CN103561206A (zh) * 2007-04-24 2014-02-05 帝欧希数字光学科技(欧洲)有限公司 调整将核应用于信号的效果在信号上取得预期效果的技术

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119150A (ko) * 2006-06-14 2007-12-20 주식회사 아이닉스 음영보상장치 및 보상방법
CN103561206A (zh) * 2007-04-24 2014-02-05 帝欧希数字光学科技(欧洲)有限公司 调整将核应用于信号的效果在信号上取得预期效果的技术
CN102313973A (zh) * 2010-07-07 2012-01-11 奥林巴斯映像株式会社 具有光路反射型变焦镜头的摄像装置
CN102298781A (zh) * 2011-08-16 2011-12-28 长沙中意电子科技有限公司 基于颜色和梯度特征的运动阴影检测方法
CN103377474A (zh) * 2012-04-27 2013-10-30 比亚迪股份有限公司 镜头阴影校正系数确定方法、镜头阴影校正方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298351A (zh) * 2019-06-21 2019-10-01 上海邻致科技有限公司 一种图像颜色识别存储的方法及装置
CN112862714A (zh) * 2021-02-03 2021-05-28 维沃移动通信有限公司 图像处理方法及装置
CN113132695A (zh) * 2021-04-21 2021-07-16 维沃移动通信有限公司 镜头阴影校正方法、装置及电子设备
CN116405614A (zh) * 2022-06-10 2023-07-07 上海玄戒技术有限公司 一种镜头阴影校正方法、装置、电子设备、芯片及介质
CN116405614B (zh) * 2022-06-10 2024-01-30 上海玄戒技术有限公司 一种镜头阴影校正方法、装置、电子设备、芯片及介质

Also Published As

Publication number Publication date
WO2019062633A1 (zh) 2019-04-04
CN109587466B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN111062378B (zh) 图像处理方法、模型训练方法、目标检测方法及相关装置
CN110660088B (zh) 一种图像处理的方法和设备
CN109587466A (zh) 颜色阴影校正的方法和装置
CN107800965B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108055452A (zh) 图像处理方法、装置及设备
CN109191403A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US9460521B2 (en) Digital image analysis
CN111027489B (zh) 图像处理方法、终端及存储介质
CN107509031A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
WO2019011154A1 (zh) 白平衡处理方法和装置
CN109712192A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN107396079B (zh) 白平衡调整方法和装置
WO2016206344A1 (zh) 白平衡处理方法、装置和计算机存储介质
CN111385438B (zh) 镜头阴影校正的补偿方法、装置及计算机可读存储介质
CN107424117A (zh) 图像美颜方法、装置、计算机可读存储介质和计算机设备
CN109190533A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113411507B (zh) 测肤图像的获取方法、装置、设备及存储介质
CN106895916B (zh) 一种单次曝光拍摄获取多光谱图像的方法
US11457189B2 (en) Device for and method of correcting white balance of image
CN107770447B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109300186A (zh) 图像处理方法和装置、存储介质、电子设备
CN109166082A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN105160329B (zh) 一种基于yuv颜色空间的牙齿识别方法、系统及拍摄终端
CN110909696B (zh) 一种场景检测方法、装置、存储介质及终端设备
US9251567B1 (en) Providing color corrections to photos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant