发明内容
本发明所要解决的技术问题在于,提供一种图像间颜色校正方法和装置,能够解决全景图像的生成、图像配准以及图像融合中光照、色调一致性的问题。
为了解决上述技术问题,本发明的实施例提供了一种图像间颜色校正方法,包括以下步骤:
步骤S10,输入具有公共区域的两幅图像,所述图像包括第一图像和第二图像;
步骤S20,根据获取的所述第一图像和所述第二图像分别在所述公共区域内颜色通道的颜色平均值,确定所述第一图像和所述第二图像之间在所述颜色通道上的线性关系;
步骤S30,根据所述线性关系,校正所述第一图像或所述第二图像全图像上的像素点在所述颜色通道的颜色值。
优选的,所述步骤S20包括以下步骤:
步骤S201,获取所述第一图像和所述第二图像分别在所述公共区域内当前颜色通道上的颜色平均值;
步骤S202,根据所述当前颜色通道上的颜色平均值,确定所述第一图像和所述第二图像在所述当前颜色通道上的正比例系数。
优选的,所述步骤S30包括以下步骤:
步骤S301,根据所述当前颜色通道上的正比例系数,对应修改所述第一图像或所述第二图像全图像上任一像素点在所述当前颜色通道上的颜色值;
步骤S302,判断所述第一图像或所述第二图像全图像上的任一像素点在所有颜色通道上的颜色值是否对应修改,如果判断为是,则所述第一图像的色调与所述第二图像的色调保持一致;如果判断为否,则对下一个颜色通道的颜色值进行对应修改。
优选的,所述步骤S30还包括以下步骤:
步骤S303,判断所述第一图像或所述第二图像全图像上任一像素点在所述颜色通道上对应修改后的颜色值是否超过当前颜色通道的限值,如果判断为是,则将所述对应修改后的颜色值设置为所述限值。
优选的,所述颜色通道包括YUV色彩模式或RGB色彩模式;
所述当前颜色通道包括所述RGB色彩模式中的R通道、RGB色彩模式中的G通道或RGB色彩模式中的B通道。
本发明还公开了图像间颜色校正装置,包括:用于输入具有公共区域两幅图像的输入单元,用于根据获取的所述第一图像和所述第二图像分别在所述公共区域内颜色通道的颜色平均值,确定所述第一图像和所述第二图像之间在所述颜色通道上线性关系的获取单元以及用于根据所述线性关系,校正所述第一图像或所述第二图像全图像上的像素点在所述颜色通道上颜色值的校正单元;所述输入单元、获取单元以及校正单元相连接。
优选的,所述获取单元包括:
用于获取所述第一图像和所述第二图像分别在所述公共区域内当前颜色通道上颜色平均值的颜色平均值获取模块和用于根据所述当前颜色通道上的颜色平均值,确定所述第一图像和所述第二图像在所述当前颜色通道上正比例系数的正比例系数获取模块;所述颜色平均值获取模块和所述正比例系数获取模块相连接。
优选的,所述校正单元包括:
用于根据所述当前颜色通道上的正比例系数,对应修改所述第一图像或所述第二图像全图像上任一像素点在所述当前颜色通道上颜色值的对应修改模块(31)和用于判断所述第一图像或所述第二图像全图像上任一像素点在所有颜色通道上的颜色值是否对应修改的第一判断模块,所述第一判断模块判断为是,则所述第一图像的色调与所述第二图像的色调保持一致;所述第一判断模块判断为否,则对下一个颜色通道进行对应修改;所述对应修改模块和所述第一判断模块相连接。
优选的,所述校正单元还包括:
用于判断所述第一图像或所述第二图像全图像上的任一像素点在所述颜色通道上对应修改后的颜色值是否超过当前颜色通道限值的第二判断模块,所述第二判断模块判断为是,则将所述对应修改后的颜色值设置为所述限值;所述第二判断模块和所述第一判断模块相连接。
优选的,所述颜色通道包括YUV色彩模式或RGB色彩模式;
所述当前颜色通道包括所述RGB色彩模式中的R通道、RGB色彩模式中的G通道或RGB色彩模式中的B通道。
本发明所提供的图像间颜色校正方法和装置,根据获取的第一图像和第二图像分别在公共区域内颜色通道的颜色平均值,确定第一图像和第二图像之间在颜色通道上的线性关系后,可根据该线性关系,校正第一图像或第二图像全图像上的像素点在所述颜色通道上的颜色值。避免了图像拼接或融合过程中产生的颜色差别现象,能够校正出明暗、色调一致的图像;并且,能够解决全景图像的生成、图像配准以及图像融合中光照、色调一致性的问题。可以具体应用在PC终端、手机、平板电脑拍照处理软件上,校正效果稳定,应用广泛。
具体实施方式
下面参考附图对本发明的优选实施例进行描述。
参见图1,本发明实施例提供了一种图像间颜色校正方法,包括以下步骤:
输入具有公共区域的两幅图像,所述图像包括第一图像和第二图像;
根据获取的所述第一图像和所述第二图像分别在所述公共区域内颜色通道的颜色平均值,确定所述第一图像和所述第二图像之间在所述颜色通道上的线性关系;
根据所述线性关系,校正所述第一图像或所述第二图像全图像上的像素点在所述颜色通道上的颜色值。
步骤S10中,输入具有公共区域的两幅图像,输入的图像包括第一图像和第二图像。公共区域是两图形具有相同图形或相同图像的区域,其可以是三角形、圆形或矩形等常见几何形状,也可以是规则或不规则的多边形形状。本实施例中,该公共区域设置为一矩形(如图3、图4所示的矩形框区域),该两张图片(如图3所示的第一图像,如图4所示的第一图像)是在进行全景图像生成时输入的两张相邻图片,公共区域在第一图像中位于该图像的右下角,公共区域在第二图像中位于该图像的左上角,该公共区域所反应的图像内容一致并一一对应。可以理解的是,公共区域并不限定在上述矩形框的形式,其也可以是根据图形的样式而改变的其他形状的区域,只要满足该区域所反应的图像内容一致并一一对应即可。
步骤S20,根据获取的所述第一图像和所述第二图像分别在所述公共区域内颜色通道的颜色平均值,确定所述第一图像和所述第二图像之间在所述颜色通道上的线性关系。
由于物体的颜色是由物体的辐射度(radiance reflection)决定的,辐射度和物体到光源的距离成正比,即:
Lc=f(Rc)
上述公式中,Lc是物体对应像素c颜色通道(RGB色彩模式中红R通道、绿G通道、蓝B通道)的颜色值,例如,Lc=(200、180、50),其中,200是R通道的颜色值,180是G通道的颜色值,50是B通道的颜色值,Rc是物体对该点的辐射度。
根据上述辐射度和物体到光源距离的关系可以得到,物体的颜色与辐射度成正比,即:
Lc=λ×Rc
其中,λ是颜色通道颜色值与辐射度间的正比例系数。根据该公式,对于两幅图像:第一图像和第二图像,若要使第二图像B的整体明暗、色调调整为与第一图像A一致,可以通过该公式对应修改第二图像对应像素颜色通道的颜色值。例如:设p是第一图像和第二图像公共区域内的任意一点,按照上述实施方法,p在第一图像和第二图像中的对应像素颜色通道的颜色值可以分别表达成:
LA,c(p)=λ0×Lc
LB,c(p)=λ1×Lc
其中,LA,c(p)和LB,c(p)分别是p点在第一图像和第二图像中的对应像素颜色通道的颜色值,λ0和λ1分别是它们各自的λ系数。
对步骤S20的进一步说明如下,参见图2,步骤S20包括以下步骤:
步骤S201,获取所述第一图像A和所述第二图像B分别在所述公共区域内当前颜色通道上的颜色平均值
根据上述表达式,对于具有公共区域、针对同一场景的第一图像和第二图像,可以通过两图像在公共区域上的同一个像素点同一通道的颜色间存在的线性关系对相关图像进行校正。获取颜色平均值
的作用是为了去除单个像素点受噪声、位置偏差等因素的影响,通过获取颜色平均值
可以求取第一图像和第二图像在公共区域上的同一个像素点的同一通道的颜色之间线性关系。
可以理解的是,获取的颜色平均值
是两图像在公共区域上多个相对应像素点在同一颜色通道上的颜色值的平均值,该数值能够反映单幅图像的色调水平,是对图像颜色进行校正的基础。
步骤S202,根据所述当前颜色通道上的颜色平均值
确定所述第一图像和所述第二图像在所述当前颜色通道上的正比例系数ω。
实施时,获取的正比例系数ω与颜色平均值满足如下公式:
其中,
分别是第一图像和第二图像在公共区域内当前颜色通道上的颜色平均值,ω是两者间的正比例系数。
当前颜色通道包括RGB色彩模式中的R通道、RGB色彩模式中的G通道或RGB色彩模式中的B通道。也就是说,正比例系数ω仅与第一图像和第二图像在当前颜色通道上的颜色平均值
有关,在上述获取第一图像和第二图像分别在公共区域内当前颜色通道上的颜色平均值
后,便可通过颜色平均值
获取正比例系数ω。实施时,需要分别获取RGB色彩模式中的R通道、RGB色彩模式中的G通道以及RGB色彩模式中的B通道的正比例系数ω。
步骤S30中,根据所述线性关系,校正所述第一图像或所述第二图像全图像上的像素点在所述颜色通道上的颜色值。该步骤通过对上述获取的正比例系数ω对图像的色调进行校正。
对步骤S30的进一步说明如下,步骤S30包括以下步骤:
步骤S301,根据所述当前颜色通道上的正比例系数ω,对应修改所述第一图像或所述第二图像全图像上任一像素点在所述当前颜色通道上的颜色值;
具体实施时,对应修改的过程按照下述公式进行修改:
L′A,c(p)=ω×LA,c(p)
其中,L′A,c(p)代表第一图像A中的p点经对应修改后的当前颜色通道的颜色值。该式实际上是将第一图像中p点当前颜色通道的颜色值乘以上述经获取的正比例系数ω,该正比例系数ω代表了第一图像和第二图像间在当前颜色通道上的线性关系。
图3所示的第一图像和图4所示的第二图像是在进行全景图像生成时输入的两张相邻图片,其中矩形框标记了它们的公共区域。其中,第二图像的整体色调和光照比第一图像的整体色调和光照暗淡,以下具体说明将第二图像的颜色色调校正到与第一图像一致的校正过程:
实施时,可分别先将第一图像和第二图像在公共区域内像素的颜色通道R的颜色值求平均值,再计算出R通道的ω,再将第二图像全图像上所有像素点的R通道颜色值乘以ω,完成对第二图像通道R颜色值的校正。
步骤S302中,判断所述第一图像或所述第二图像全图像上的任一像素点在所有颜色通道上的颜色值是否对应修改。
由于当前颜色通道包括了RGB色彩模式中的R通道、RGB色彩模式中的G通道或RGB色彩模式中的B通道,因此,对第一图像或所述第二图像颜色的校正应该是对其上的所有像素点的颜色值的校正。本实施例中,如果判断第二图像全图像上所有像素点在所述颜色通道上的颜色值都已经做了对应修改,那么,继续执行步骤S303;如果判断第二图像在颜色通道上仍有颜色值并未修改,那么,对下一个颜色通道的颜色值进行对应修改。
例如:实施时,如果判断第二图像仅对通道R的颜色值进行了校正,那么,紧接着对其余颜色通道(通道G、通道B)的颜色值进行对应修改。在上述分别获取第一图像和第二图像在公共区域内像素的颜色通道G、通道B的颜色值求平均值,获取通道G、通道B的ω后,可分别将第二图像全图像上所有像素点的G通道、B通道的颜色值分别乘以相对应的ω,完成对第二图像通道G和通道B颜色值的校正。参见图5,为经上述实施方式校正后图像的效果示意图。
步骤S303,判断所述第一图像或所述第二图像全图像上任一像素点在所述颜色通道上的对应修改后的颜色值是否超过当前颜色通道的限值。
由于RGB色彩模式中单通道颜色值的上限值为255,按照上述方式校正后得到的颜色值可能会超过单通道颜色值的上限值255,因此,可以需要执行该步骤进行截断。本实施例中,如果判断第二图像在对应修改后的单通道上的颜色值超过255,亦即L′A,c(p)大于255,执行步骤S304,将L′A,c(p)设置为255。
可以理解的是,按照上述判断方式,可以同时对颜色值的修改限定在下限值。
实施本发明的图像间颜色校正方法的另一种实施方式中,若第一图像或第二图像采用YUV的色彩模式进行颜色表示,那么,对输入图像第一图像或第二图像颜色的校正可以按照上述采用RGB色彩模式的图像校正方法进行实施。其中,步骤S10和S20中的实施方式相同,不同之处在于:该色彩模式中的U通道对应Cb、该色彩模式中的V通道对应Cr;在步骤S30中根据线性关系,校正所述第一图像或第二图像全图像上的像素点在所有颜色通道上的颜色值的方式有所不同,相应的在步骤S301中,对应修改第一图像或第二图像全图像上的任一像素点在所述当前颜色通道上的颜色值的方式可以按照下述公式进行修改:
需要注意的是,按照该方式所进行的修改也应当是基于第一图像或第二图像全图像上所有像素点的修改。
上述图像间颜色校正方法可以应用在图像处理、全景图像生成、图像融合等技术领域,具体到PC终端、手机、平板电脑拍照处理软件上。
本发明还公开了一种图像间颜色校正装置,参见图6,其包括:用于输入具有公共区域两幅图像的输入单元1,用于根据获取的所述第一图像和所述第二图像分别在所述公共区域内颜色通道的颜色平均值,确定所述第一图像和所述第二图像之间在所述颜色通道上线性关系的获取单元2以及用于根据所述线性关系,校正所述第一图像或所述第二图像全图像上的像素点在所有颜色通道上的颜色值的校正单元3;
所述输入单元1、获取单元2以及校正单元3相连接。
输入单元1用于输入具有公共区域的两幅图像,包括第一图像和第二图像。公共区域是两图形具有相同图形或相同图像的区域,其可以是三角形、圆形或矩形等常见几何形状,也可以是规则或不规则的多边形形状。本实施例中,该公共区域设置为一矩形(如图3、图4所示的矩形框区域),该两张图片(如图3所示的第一图像,如图4所示的第一图像)是在进行全景图像生成时输入的两张相邻图片,公共区域在第一图像中位于该图像的右下角,公共区域在第二图像中位于该图像的左上角,该公共区域所反应的图像内容一致并一一对应。可以理解的是,公共区域并不限定在上述矩形框的形式,其也可以是根据图形的样式而改变的其他形状的区域,只要满足该区域所反应的图像内容一致并一一对应即可。
获取单元2包括:用于获取所述第一图像和所述第二图像分别在所述公共区域内当前颜色通道上颜色平均值
的颜色平均值获取模块21和用于根据所述当前颜色通道上的颜色平均值
确定所述第一图像和所述第二图像在所述当前颜色通道上正比例系数ω的正比例系数获取模块22;所述颜色平均值获取模块21和所述正比例系数获取模块22相连接。
具体实施时,由于物体的颜色是由物体的辐射度(radiance reflection)决定的,辐射度和物体到光源的距离成正比,即:
Lc=f(Rc)
上述公式中,Lc是物体对应像素c颜色通道(RGB色彩模式中红R通道、绿G通道、蓝B通道)的颜色值,例如,Lc=(200、180、50),其中,200是R通道的颜色值,180是G通道的颜色值,50是B通道的颜色值,Rc是物体对该点的辐射度。
根据上述辐射度和物体到光源距离的关系可以得到,物体的颜色与辐射度成正比,即:
Lc=λ×Rc
其中,λ是颜色通道颜色值与辐射度间的正比例系数。根据该公式,对于两幅图像:第一图像和第二图像,若要使第二图像的整体明暗、色调调整为与第一图像一致,可以通过该公式对应修改第二图像对应像素颜色通道的颜色值。例如:设p是第一图像和第二图像公共区域内的任意一点,按照上述实施方法,p在第一图像和第二图像中的对应像素颜色通道的颜色值可以分别表达成:
LA,c(p)=λ0×Lc
LB,c(p)=λ1×Lc
其中,LA,c(p)和LB,c(p)分别是p点在第一图像和第二图像中的对应像素颜色通道的颜色值,λ0和λ1分别是它们各自的λ系数。
对于具有公共区域、针对同一场景的第一图像和第二图像,校正单元3可以通过两图像在公共区域上的同一个像素点同一通道的颜色间存在的线性关系对相关图像进行校正。颜色平均值获取模块21获取颜色平均值
的作用是为了去除单个像素点受噪声、位置偏差等因素的影响,颜色平均值获取模块21通过获取颜色平均值
使得正比例系数获取模块22可以求取第一图像和第二图像在公共区域上的同一个像素点的同一通道的颜色之间线性关系。
可以理解的是,颜色平均值获取模块21获取的颜色平均值
是两图像在公共区域上多个相对应像素点在同一颜色通道上的颜色值的平均值,该数值能够反映单幅图像的色调水平,是对图像颜色进行校正的基础。
实施时,正比例系数获取模块22获取的正比例系数ω与颜色平均值获取模块21获取的颜色平均值
满足如下公式:
其中,
和
分别是颜色平均值获取模块21获取的第一图像和第二图像在公共区域内当前颜色通道上的颜色平均值,ω是正比例系数获取模块22获取的两者间的正比例系数。
正比例系数获取模块22获取的正比例系数ω仅与颜色平均值获取模块21获取的第一图像和第二图像在当前颜色通道上的颜色平均值
有关,在上述颜色平均值获取模块21获取第一图像和第二图像分别在公共区域内当前颜色通道上的颜色平均值
后,正比例系数获取模块22便可通过颜色平均值
获取正比例系数ω。由于当前颜色通道包括RGB色彩模式中的R通道、RGB色彩模式中的G通道或RGB色彩模式中的B通道。实施时,正比例系数获取模块22需要分别获取RGB色彩模式中的R通道、RGB色彩模式中的G通道以及RGB色彩模式中的B通道的正比例系数ω。
所述校正单元3包括:用于根据正比例系数获取模块22获取的当前颜色通道上的正比例系数ω,对应修改所述第一图像或所述第二图像全图像上任一像素点在所述当前颜色通道上颜色值的对应修改模块31和用于判断所述第一图像或所述第二图像全图像上的任一像素点在所有颜色通道上的颜色值是否对应修改的第一判断模块32,对应修改模块31和第一判断模块32相连接。
具体实施时,对应修改模块31对应修改的过程按照下述公式进行修改:
L′A,c(p)=ω×LA,c(p)
其中,L′A,c(p)代表第一图像中的p点经对应修改后的当前颜色通道的颜色值。该式实际上是将第一图像中p点当前颜色通道的颜色值乘以正比例系数获取模块22获取的正比例系数ω,该正比例系数ω代表了第一图像和第二图像间在当前颜色通道上的线性关系。
图3所示的第一图像和图4所示的第二图像是在进行全景图像生成时输入的两张相邻图片,其中矩形框标记了它们的公共区域。其中,第二图像的整体色调和光照比第一图像的整体色调和光照暗淡,以下具体说明将第二图像的颜色色调校正到与第一图像一致的校正过程:
实施时,颜色平均值获取模块21可分别先将第一图像和第二图像在公共区域内像素的颜色通道R的颜色值求平均值,正比例系数获取模块22计算出R通道的ω,对应修改模块31将第二图像全图像上所有像素点的R通道颜色值乘以ω,完成对第二图像通道R颜色值的校正。
由于当前颜色通道包括了RGB色彩模式中的R通道、RGB色彩模式中的G通道或RGB色彩模式中的B通道,因此,对应修改模块31对第一图像或所述第二图像颜色的校正应该是对其上的所有像素点的颜色值的校正。本实施例中,如果第一判断模块32判断第二图像全图像上所有像素点在所述颜色通道上的颜色值都已经做了对应修改,那么,第一图像的色调与第二图像的色调保持一致;如果第一判断模块32判断第二图像在颜色通道上仍有颜色值并未修改,那么,对应修改模块31对下一个颜色通道的颜色值进行对应修改。
例如:实施时,第一判断模块32如果判断第二图像仅对通道R的颜色值进行了校正,那么,对应修改模块31紧接着对其余颜色通道(通道G、通道B)的颜色值进行对应修改。在上述颜色平均值获取模块21分别获取第一图像和第二图像在公共区域内像素的颜色通道G、通道B的颜色值求平均值,正比例系数获取模块22获取通道G、通道B的ω后,对应修改模块31可分别将第二图像全图像上所有像素点的G通道、B通道的颜色值分别乘以相对应的ω,完成对第二图像通道G和通道B颜色值的校正。参见图5,为经上述实施方式校正后图像的效果示意图。
所述校正单元3还包括:用于判断所述第一图像或所述第二图像全图像上任一像素点在所述颜色通道上的对应修改后的颜色值是否超过当前颜色通道限值的第二判断模块33,第二判断模块33和第一判断模块32相连接。
由于RGB色彩模式中单通道颜色值的上限值为255,按照上述方式校正后得到的颜色值可能会超过单通道颜色值的上限值255,因此,需要通过第二判断模块33进行判断。本实施例中,如果第二判断模块33判断第二图像在对应修改后的单通道上的颜色值超过255,亦即L′A,c(p)大于255,对应修改模块31将L′A,c(p)设置为255。
可以理解的是,按照上述判断方式,对应修改模块31可以同时对颜色值的修改限定在下限值。
实施本发明的图像间颜色校正装置的另一种实施方式中,若第一图像或第二图像采用YUV的色彩模式进行颜色表示,那么,对输入图像第一图像或第二图像颜色的校正可以按照上述采用RGB色彩模式的图像校正方式进行实施。其中,输入单元1、获取单元2的实施方式相同,不同之处在于:该色彩模式中的U通道对应Cb、该色彩模式中的V通道对应Cr;校正单元3根据线性关系,校正所述第一图像或第二图像全图像上的像素点在所有颜色通道的颜色值的方式有所不同,相应的,对应修改模块31对应修改第一图像或第二图像全图像上任一像素点在所述当前颜色通道上的颜色值的方式可以按照下述公式进行修改:
需要注意的是,对应修改模块31按照该方式所进行的修改也应基于第一图像或第二图像全图像上所有像素点的修改。
上述图像间颜色校正方法可以应用在图像处理、全景图像生成、图像融合等技术领域,具体到PC终端、手机、平板电脑拍照处理软件上。
实施本发明的图像间颜色校正方法和装置,根据获取的第一图像和第二图像分别在公共区域内颜色通道的颜色平均值,确定第一图像和第二图像之间在颜色通道上的线性关系后,可根据该线性关系,校正第一图像或第二图像全图像上的像素点在所述颜色通道上的颜色值。避免了图像拼接或融合过程中产生的颜色差别现象,能够校正出明暗、色调一致的图像;并且,能够解决全景图像生成、图像配准以及图像融合中光照、色调一致性的问题。可以具体应用在PC终端、手机、平板电脑拍照处理软件上,校正效果稳定,应用广泛。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此等同变化,仍属本发明所涵盖的范围。