CN113905218A - 一种颜色阴影校正方法及电子设备 - Google Patents

一种颜色阴影校正方法及电子设备 Download PDF

Info

Publication number
CN113905218A
CN113905218A CN202110574325.0A CN202110574325A CN113905218A CN 113905218 A CN113905218 A CN 113905218A CN 202110574325 A CN202110574325 A CN 202110574325A CN 113905218 A CN113905218 A CN 113905218A
Authority
CN
China
Prior art keywords
light source
current
correction table
image
color temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110574325.0A
Other languages
English (en)
Other versions
CN113905218B (zh
Inventor
郗东苗
钱彦霖
金萌
罗钢
邵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202110574325.0A priority Critical patent/CN113905218B/zh
Publication of CN113905218A publication Critical patent/CN113905218A/zh
Application granted granted Critical
Publication of CN113905218B publication Critical patent/CN113905218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control

Abstract

一种颜色阴影校正方法及电子设备。在该方法中,电子设备可以利用当前光源的光谱信息与各参考光源的光谱信息以及各参考光源对应的校正表,重新生成当前光源对应的当前校正表,再利用该校正表对图像做颜色阴影校正,得到颜色阴影校正后的图像。实施本申请提供的技术方案,使得颜色阴影校正更准确。

Description

一种颜色阴影校正方法及电子设备
技术领域
本申请涉及终端及图像处理领域,尤其涉及一种颜色阴影校正方法及电子设备。
背景技术
导致图像出现颜色阴影的原因可以包括电子设备的图像传感器(imagesensor)的正面装有红外截止滤光片,该红外截止滤光片用于滤除光信号中的红外光。然后,滤除红外光的光信号通过镜片被传递到摄像头的图像传感器,将被拍摄对象的影像聚焦到该图像传感器的影像区上,该图像传感器将光信号转换成电信号,电子设备将该电信号转化未被处理的图像时,可以保证该图像中颜色再现的准确性。但是该红外截止滤光片的截止波长随入射光角度的变化而变化,造成图像传感器的影像区中心与边缘的截止波长不同,使得该影像区的边缘检测到的光信号的强度与中心不一致,从而导致出现图像中出现颜色阴影,该图像的颜色阴影包括图像的中心或者四周偏色的问题。
因此,需要对图像的颜色阴影进行校正,以解决上述图像的中心或者四周偏色的问题。
目前,现有方案中,一种校正颜色阴影的方法是预先生成各参考光源对应的校正表,然后电子设备利用光源的色温信息估计拍摄场景的当前光源最有可能是参考光源中哪一个参考光源,将该参考光源对应的校正表用于对图像做颜色阴影校正。
但是,通过色温信息并不能准确地确定当前光源最有可能是参考光源中哪一个参考光源,因为图像的颜色阴影与光源的光谱强相关,而色温信息与光谱信息并不是一一对应的,相同色温的光源可以具有不同的光谱信息。则通过色温信息会错误的判断当前光源是参考光源中的哪一种,从而导致利用错误的参考光源对应的校正表校正图像的颜色阴影,导致图像的颜色阴影校正不准确。
发明内容
本申请提供了一种颜色阴影校正方法及电子设备,电子设备可以利用当前光源的光谱信息与各参考光源的光谱信息以及各参考光源对应的校正表,重新生成当前光源对应的当前校正表,再利用该校正表对图像做颜色阴影校正,得到颜色阴影校正后的图像,使得颜色阴影校正更准确。
第一方面,本申请提供了一种颜色阴影校正方法,该方法包括:拍摄第一图像时,通过多光谱传感器检测当前光源中不同波长范围的光信号的光强度,将其作为多光谱传感器信息;通过第一对应关系利用当前光源的多光谱传感器信息生成当前光源的光谱信息;该当前光源的光谱信息用于表示当前光源中多个不同波长的光信号的光强度;该对应关系为多光谱传感器信息与光谱信息的对应关系;根据各参考光源的光谱信息以及该当前光源的光谱信息,确定当前光源对应的预选光源类型以及各光源类型的置信度;该各参考光源的光谱信息用于表示各参考光源中多个不同波长的光信号的光强度;获取各参考光源对应的参考校正表;根据该预选光源类型、该各光源类型的置信度和该各参考光源对应的参考校正表,生成当前光源对应的当前校正表;利用该当前校正表对第一图像做颜色阴影校正,得到颜色阴影校正后的第一图像。
实施第一方面的方法,电子设备利用多光谱传感器检测当前光源中不同波长范围的光信号的光强度,并将其转化为当前光源的光谱信息。不同光源的光谱信息不同,则电子设备利用该当前光源的光谱信息可以更准确地确定各参考光源中的哪一个或者哪几个可能是当前光源,即确定出当前光源的预选光源类型。该预选光源类型中包括的一个或多个参考光源对应的校正表都可以为生成当前校正表做贡献,某一个参考光源越有可能是当前光源,则它的权重越大,其对应的参考校正表对当前校正表的贡献越大。这样,可以使得电子设备生成更准确的当前校正表对图像做颜色阴影校正。
结合第一方面,在一种实施方式中,根据该预选光源类型、该各光源类型的置信度和该各参考光源对应的参考校正表,生成当前光源对应的当前校正表,具体包括:按照各参考光源的色温对各参考光源进行分类,将相同色温或色温范围的参考光源划分为一类时,获取当前光源的色温信息;根据该预选光源类型、该各光源类型的置信度、该当前光源的色温信息和该各参考光源对应的参考校正表,生成当前光源对应的当前校正表。
在上述实施例中,除了利用当前光源与各参考光源的光谱信息确定计算当前校正表需要的参考校正表之外,还利用了当前光源与各参考光源的色温信息进一步确定计算当前校正表需要的参考校正表。可以理解的是,电子设备利用当前光源与各参考光源的光谱信息可以得出计算当前校正表需要M个参考校正表。该M个参考校正表对应的M个参考光源。该M个参考光源中任一参考光源对应的色温信息如果与当前光源的色温信息不匹配,则该参考光源对应的参考校正表将不会被用来计算当前校正表。这样,可以进一步提高计算当前校正表的准确性。
结合第一方面,在一种实施方式中,根据该预选光源类型、该各光源类型的置信度、该当前光源的色温信息和该各参考光源对应的参考校正表,生成当前光源对应的当前校正表,具体包括:根据该当前光源的色温信息确定当前光源对应的目标色温或目标色温范围;确定该目标色温或目标色温范围对应的参考光源;根据该目标色温或目标色温范围对应的参考光源和该预选光源类型确定可能的目标光源类型;根据该可能的目标光源类型、该各目标光源类型的置信度、该目标色温或目标色温范围对应的参考光源对应的参考校正表,生成当前光源对应的当前校正表。
在上述实施例中,电子设备利用当前光源与各参考光源的光谱信息可以确定W个预选光源类型。然后,电子设备通过当前光源与各参考光源的色温信息,从M个预选光源类型中筛选W个预选光源类型作为目标光源类型。其中,该W个预选光源类型为该目标色温或色温范围对应的参考光源,由于M个预选光源类型中有的光源并不是该目标色温或色温范围对应的参考光源,所以W小于或等于M。排除了预选光源类型中色温信息与当前光源的色温信息不匹配的参考光源,可以进一步提高计算当前校正表的准确性。
结合第一方面,在一种实施方式中,根据该预选光源类型、该各光源类型的置信度和该各参考光源对应的参考校正表,生成当前光源对应的当前校正表,具体包括:当按照各参考光源下拍摄的未处理的第一图像的颜色阴影轻重程度将该各参考光源进行分类时,根据该预选光源类型和该各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表;对第一图像进行图像统计,生成图像统计结果;根据该部分参考光源对应的参考校正表和该图像统计结果,确定当前光源对应的当前校正表。
在上述实施例中,电子设备可以利用预选光源类型和该各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表,排除其他对确定当前校正表没有贡献的参考光源对应的参考校正表,这样可以提高电子设备确定当前校正表的速度。
结合第一方面,在一种实施方式中,根据该预选光源类型和该各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表,具体包括:先确定预选光源类型所属的目标光源组;从各参考光源对应的参考校正表中,确定该目标光源组中的参考光源为部分参考光源对应的参考校正表。
在上述实施例中,电子设备按照各参考光源下拍摄的未处理的第一图像的颜色阴影轻重程度将该各参考光源进行分类,利用预选光源类型和该各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表,排除其他对确定当前校正表没有贡献的参考光源对应的参考校正表,这样可以提高电子设备确定当前校正表的速度。
结合第一方面,在一种实施方式中,该方法还包括:对该当前光源对应的当前校正表做时域滤波,得到滤波后的当前校正表;利用该当前校正表对第一图像做颜色阴影校正,具体包括:利用该滤波后的当前校正表对第一图像做颜色阴影校正。
在上述实施例中,电子设备对当前校正表做时域滤波,可以使得连续帧间(连续两帧或多帧)图像的颜色可以平滑过渡或光源切换时图像的颜色可以快速收敛。
结合第一方面,在一种实施方式中,对该当前光源对应的当前校正表做时域滤波,得到滤波后的当前校正表,具体包括:通过之前光源对应的预选光源类型、当前光源对应的预选光源类型、之前光源的色温信息以及当前光源的色温信息确定拍摄场景的变化程度;利用该拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;该当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
在上述实施例中,电子设备对当前校正表做时域滤波是利用上一帧图像进行校正时所使用的校正表以及当前校正表计算得到滤波后的当前校正表,这样,上一帧图像进行校正时所使用的校正表可以对当前帧图像进行校正时需要的校正表做贡献,可以使得连续帧间(连续两帧或多帧)图像的颜色可以平滑过渡或光源切换时图像的颜色可以快速收敛。
结合第一方面,在一种实施方式中,该方法还包括:对该对第一图像进行图像统计,生成图像统计结果;根据该图像统计结果对该当前校正表进行优化,得到优化后的当前校正表;利用该当前校正表对第一图像做颜色阴影校正,具体包括:利用该优化后的当前校正表对第一图像做颜色阴影校正。
在上述实施例中,对当前校正表进行优化,即调整当前校正表记录的像素的增益。这样,可以使得当前校正表可以更准确地校正图像的阴影。
结合第一方面,在一种实施方式中,该方法还包括:
对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表;利用该优化后的当前校正表对第一图像做颜色阴影校正,具体包括:利用该滤波后的当前校正表对第一图像做颜色阴影校正。
在上述实施例中,先对当前校正表进行优化,即调整当前校正表记录的像素的增益。这样,使得当前校正表可以更准确地校正图像的阴影。然后,将优化的当前校正表做时域滤波,这样,上一帧图像进行校正时所使用的校正表可以对当前帧图像进行校正时需要的校正表做贡献,可以使得连续帧间(连续两帧或多帧)图像的颜色可以平滑过渡或光源切换时图像的颜色可以快速收敛。
结合第一方面,在一种实施方式中,对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表,具体包括:通过之前光源对应的预选光源类型、当前光源对应的预选光源类型、之前光源的色温信息以及当前光源的色温信息确定拍摄场景的变化程度;利用该拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;该优化后的当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
在上述实施例中,先对当前校正表进行优化,即调整当前校正表记录的像素的增益。这样,使得当前校正表可以更准确地校正图像的阴影。然后,将优化的当前校正表做时域滤波,这样,上一帧图像进行校正时所使用的校正表可以对当前帧图像进行校正时需要的校正表做贡献,可以使得连续帧间(连续两帧或多帧)图像的颜色可以平滑过渡或光源切换时图像的颜色可以快速收敛。
第二方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行:拍摄第一图像时,通过多光谱传感器检测当前光源中不同波长范围的光信号的光强度,将其作为多光谱传感器信息;通过第一对应关系利用当前光源的多光谱传感器信息生成当前光源的光谱信息;该当前光源的光谱信息用于表示当前光源中多个不同波长的光信号的光强度;该对应关系为多光谱传感器信息与光谱信息的对应关系;根据各参考光源的光谱信息以及该当前光源的光谱信息,确定当前光源对应的预选光源类型以及各光源类型的置信度;该各参考光源的光谱信息用于表示各参考光源中多个不同波长的光信号的光强度;获取各参考光源对应的参考校正表;根据该预选光源类型、该各光源类型的置信度和该各参考光源对应的参考校正表,生成当前光源对应的当前校正表;利用该当前校正表对第一图像做颜色阴影校正,得到颜色阴影校正后的第一图像。
实施第二方面的方法,电子设备利用多光谱传感器检测当前光源中不同波长范围的光信号的光强度,并将其转化为当前光源的光谱信息。不同光源的光谱信息不同,则电子设备利用该当前光源的光谱信息可以更准确地确定各参考光源中的哪一个或者哪几个可能是当前光源,即确定出当前光源的预选光源类型。该预选光源类型中包括的一个或多个参考光源对应的校正表都可以为生成当前校正表做贡献,某一个参考光源越有可能是当前光源,则它的权重越大,其对应的参考校正表对当前校正表的贡献越大。这样,可以使得电子设备生成更准确的当前校正表对图像做颜色阴影校正。
结合第二方面,在一种实施方式中,该一个或多个处理器具体用于调用该计算机指令以使得该第一设备执行:按照各参考光源的色温对各参考光源进行分类,将相同色温或色温范围的参考光源划分为一类时,获取当前光源的色温信息;根据该预选光源类型、该各光源类型的置信度、该当前光源的色温信息和该各参考光源对应的参考校正表,生成当前光源对应的当前校正表。
在上述实施例中,除了利用当前光源与各参考光源的光谱信息确定计算当前校正表需要的参考校正表之外,还利用了当前光源与各参考光源的色温信息进一步确定计算当前校正表需要的参考校正表。可以理解的是,电子设备利用当前光源与各参考光源的光谱信息可以得出计算当前校正表需要M个参考校正表。该M个参考校正表对应的M个参考光源。该M个参考光源中任一参考光源对应的色温信息如果与当前光源的色温信息不匹配,则该参考光源对应的参考校正表将不会被用来计算当前校正表。这样,可以进一步提高计算当前校正表的准确性。
结合第二方面,在一种实施方式中,该一个或多个处理器具体用于调用该计算机指令以使得该第一设备执行:根据该当前光源的色温信息确定当前光源对应的目标色温或目标色温范围;确定该目标色温或目标色温范围对应的参考光源;根据该目标色温或目标色温范围对应的参考光源和该预选光源类型确定可能的目标光源类型;根据该可能的目标光源类型、该各目标光源类型的置信度、该目标色温或目标色温范围对应的参考光源对应的参考校正表,生成当前光源对应的当前校正表。
在上述实施例中,电子设备利用当前光源与各参考光源的光谱信息可以确定W个预选光源类型。然后,电子设备通过当前光源与各参考光源的色温信息,从M个预选光源类型中筛选W个预选光源类型作为目标光源类型。其中,该W个预选光源类型为该目标色温或色温范围对应的参考光源,由于M个预选光源类型中有的光源并不是该目标色温或色温范围对应的参考光源,所以W小于或等于M。排除了预选光源类型中色温信息与当前光源的色温信息不匹配的参考光源,可以进一步提高计算当前校正表的准确性。
结合第二方面,在一种实施方式中,该一个或多个处理器具体用于调用该计算机指令以使得该第一设备执行:当按照各参考光源下拍摄的未处理的第一图像的颜色阴影轻重程度将该各参考光源进行分类时,根据该预选光源类型和该各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表;对第一图像进行图像统计,生成图像统计结果;根据该部分参考光源对应的参考校正表和该图像统计结果,确定当前光源对应的当前校正表。
在上述实施例中,电子设备可以利用预选光源类型和该各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表,排除其他对确定当前校正表没有贡献的参考光源对应的参考校正表,这样可以提高电子设备确定当前校正表的速度。
结合第二方面,在一种实施方式中,该一个或多个处理器具体用于调用该计算机指令以使得该第一设备执行:先确定预选光源类型所属的目标光源组;从各参考光源对应的参考校正表中,确定该目标光源组中的参考光源为部分参考光源对应的参考校正表。
在上述实施例中,电子设备按照各参考光源下拍摄的未处理的第一图像的颜色阴影轻重程度将该各参考光源进行分类,利用预选光源类型和该各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表,排除其他对确定当前校正表没有贡献的参考光源对应的参考校正表,这样可以提高电子设备确定当前校正表的速度。
结合第二方面,在一种实施方式中,该一个或多个处理器还用于调用该计算机指令以使得该第一设备执行:对该当前光源对应的当前校正表做时域滤波,得到滤波后的当前校正表;该一个或多个处理器具体用于调用该计算机指令以使得该第一设备执行:利用该滤波后的当前校正表对第一图像做颜色阴影校正。
在上述实施例中,电子设备对当前校正表做时域滤波,可以使得连续帧间(连续两帧或多帧)图像的颜色可以平滑过渡或光源切换时图像的颜色可以快速收敛。
结合第二方面,在一种实施方式中,该一个或多个处理器具体用于调用该计算机指令以使得该第一设备执行:通过之前光源对应的预选光源类型、该之前光源的预选光源类型对应的置信度、当前光源对应的预选光源类型、该当前光源的预选光源类型对应的置信度、之前光源的色温信息以及当前光源的色温信息确定拍摄场景的变化程度;利用该拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;该当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
在上述实施例中,电子设备对当前校正表做时域滤波是利用上一帧图像进行校正时所使用的校正表以及当前校正表计算得到滤波后的当前校正表,这样,上一帧图像进行校正时所使用的校正表可以对当前帧图像进行校正时需要的校正表做贡献,可以使得连续帧间(连续两帧或多帧)图像的颜色可以平滑过渡或光源切换时图像的颜色可以快速收敛。
结合第二方面,在一种实施方式中,该一个或多个处理器还用于调用该计算机指令以使得该第一设备执行:对该对第一图像进行图像统计,生成图像统计结果;根据该图像统计结果对该当前校正表进行优化,得到优化后的当前校正表;该一个或多个处理器具体用于调用该计算机指令以使得该第一设备执行:利用该优化后的当前校正表对第一图像做颜色阴影校正。
在上述实施例中,对当前校正表进行优化,即调整当前校正表记录的像素的增益。这样,可以使得当前校正表可以更准确地校正图像的阴影。
结合第二方面,在一种实施方式中,该一个或多个处理器还用于调用该计算机指令以使得该第一设备执行:对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表;该一个或多个处理器具体用于调用该计算机指令以使得该第一设备执行:利用该滤波后的当前校正表对第一图像做颜色阴影校正。
在上述实施例中,先对当前校正表进行优化,即调整当前校正表记录的像素的增益。这样,使得当前校正表可以更准确地校正图像的阴影。然后,将优化的当前校正表做时域滤波,这样,上一帧图像进行校正时所使用的校正表可以对当前帧图像进行校正时需要的校正表做贡献,可以使得连续帧间(连续两帧或多帧)图像的颜色可以平滑过渡或光源切换时图像的颜色可以快速收敛。
结合第二方面,在一种实施方式中,该一个或多个处理器具体用于调用该计算机指令以使得该第一设备执行:通过该之前光源对应的预选光源类型、该之前光源的预选光源类型对应的置信度、该当前光源对应的预选光源类型、该当前光源的预选光源类型对应的置信度、该之前光源的色温信息以及该当前光源的色温信息确定拍摄场景的变化程度;利用该拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;该优化后的当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
在上述实施例中,先对当前校正表进行优化,即调整当前校正表记录的像素的增益。这样,使得当前校正表可以更准确地校正图像的阴影。然后,将优化的当前校正表做时域滤波,这样,上一帧图像进行校正时所使用的校正表可以对当前帧图像进行校正时需要的校正表做贡献,可以使得连续帧间(连续两帧或多帧)图像的颜色可以平滑过渡或光源切换时图像的颜色可以快速收敛。
第三方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
结合第三方面,在一种实施方式中,对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表,具体包括:通过之前光源对应的预选光源类型、当前光源对应的预选光源类型、之前光源的色温信息以及当前光源的色温信息确定拍摄场景的变化程度;利用该拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;该优化后的当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
第四方面,本申请实施例提供了一种包含指令的计算机程序产品,其特征在于,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
结合第四方面,在一种实施方式中,在一种实施方式中,对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表,具体包括:通过之前光源对应的预选光源类型、当前光源对应的预选光源类型、之前光源的色温信息以及当前光源的色温信息确定拍摄场景的变化程度;利用该拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;该优化后的当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
第五方面,本申请实施例提供了一种计算机可读存储介质,包括指令,其特征在于,当该指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
结合第五方面,在一种实施方式中,在一种实施方式中,对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表,具体包括:通过之前光源对应的预选光源类型、当前光源对应的预选光源类型、之前光源的色温信息以及当前光源的色温信息确定拍摄场景的变化程度;利用该拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;该优化后的当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
附图说明
图1是本申请实施例提供的一个未被处理的图像的示意图;
图2是本申请实施例提供的电子设备对图像的颜色阴影校正不准确的一组示意图;
图3是本申请实施例提供的电子设备对图像的颜色阴影校正准确的一个示意图;
图4是本申请实施例提供的电子设备的结构示意图;
图5是本申请实施例提供的电子设备对图像进行颜色阴影校正的示例性步骤流程图;
图6是本申请实施例提供的一种光源光谱示意图;
图7是本申请实施例提供的电子设备对参考光源进行分类的一组示意图;
图8是本申请实施例提供的第一种实现方式对图像进行颜色阴影校正的示例性步骤流程图;
图9是本申请实施例提供的第二种实现方式对图像进行颜色阴影校正的示例性步骤流程图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
由于本申请实施例涉及图像的颜色阴影校正,为了便于理解,下面先对本申请实施例涉及的相关术语及概念进行介绍。
(1)校正表
校正表中可以包含四个子表,每个子表与未处理的图像的四个颜色通道中的一者关联。每一个子表用于记录图像中的像素与该子表关联的颜色通道的增益。该增益即为对该颜色通道的调整值。例如,某一像素的与该子表关联的颜色通道的取值为122,该像素的该颜色通道的增益为2。则电子设备可以利用子表中记录的该像素的增益对该颜色通道调整。该调整后的像素的颜色通道的取值为122×2=244。
其中,该未处理的图像为拜尔(bayer)格式的原始图像(该未处理的图像是在均匀面光源下拍摄的平场图像),在电子设备内部存储的文件格式的后缀名一般为.raw。该图像对应四个颜色通道,分别为一个红色(r)通道、一个蓝色(b)通道以及两个绿色(gr以及gb)通道。
图1示出了一个未处理的图像的示意图。
如图1所示,该图像中存在颜色阴影。通常情况下,可以认为该图像的中心处的像素对应的颜色通道的取值是正确的,不需要进行调整。则对图像进行颜色阴影校正的目的就是为了使得图像中的像素与中心处的像素颜色(该颜色是指来自光源的颜色不是来自被拍摄物体的颜色)相同,即图像中的像素的颜色通道的取值与中心处的像素的各颜色通道的取值相同。
可以理解的是,上述中心处的像素是指的图像中正中心或者正中心附近的像素。
本申请实施例涉及的校正表包括各参考光源的校正表,当前光源对应的校正表等。电子设备可以利用不同参考光源下拍摄的未处理的图像生成不同的校正表。
为了节约电子设备的存储空间,可以使校正表中的每个子表只记录每个颜色通道对应部分像素的增益。
以电子设备生成各参考光源对应的校正表为例,生成该校正表的方式可以参考下述描述:
如图1所示,例如,每个校正表可以记录图像中9×11个像素的增益。其中,该校正表中的四个子表分别记录着该9×11个像素的颜色通道的增益。
下面以电子设备生成该9×11个像素的红色通道关联的子表为例,描述子表如何得来。
记图1中该9×11个像素中某一个像素的红色通道的取值为Rij,由于该图像是原始图像,则需要对该像素进行黑电平补偿,对该像素进行黑电平补偿后得到的该像素的红色通道的取值为R′ij,该R′ij=Rij-blc_r(blc_r为红色通道的黑电平补偿值)。则此时,电子设备可以利用该像素进行黑电平补偿后得到的红色通道的取值为R′ij以及该图像的像素的红色通道中的最大取值Rmax确定该像素在红色通道的增益,该最大值Rmax一般为中心处的像素,该增益记为Rij_gain。电子设备可以利用公式Rij_gain=Rmax/Rij确定该增益。
应该理解的是,该图像中,该9×11个像素的红色通道的增益都可以参考上述描述生成,然后电子设备将该9×11个像素的红色通道的增益作为校正表中与图像的红色通道关联的子表,在一些实施例中,该子表可以表现为一个9×11的矩阵,该矩阵中的每一个元素对应其中一个像素的红色通道的增益。校正表中其他三个子表的生成方式与前述描述相同。
电子设备生成当前光源对应的校正表的方式可以不同,将在下述内容中详细介绍,该处暂不赘述。
为了解决背景技术中电子设备通过光源的色温信息确定校正表,对图像进行颜色阴影校正时导致的颜色阴影校正不准确的问题。在一种方案中,电子设备可以先利用色温信息确定当前光源最有可能是参考光源中的哪一个参考光源。然后,获取该参考光源对应的校正表。电子设备可以通过对图像进行图像统计,再根据该图像统计结果动态的调整该校正表,然后利用调整后的校正表对图像做颜色阴影校正。
该图像统计是为了获取当前光源的颜色信息,一般是基于图像中部分像素获取的。例如,该图像统计结果可以是该部分像素中红色通道的取值与相应的两个像素的绿色通道的取值的平均值的比值和/或蓝色通道的取值与相应的两个像素的绿色通道的取值的平均值的比值。
这样,相比于只利用色温信息从各参考光源对应的校正表中确定的某一个参考光源对应的校正表来对图像做颜色阴影校正而言,又进一步对该校正表进行了调整。在利用色温信息确定当前光源是哪一种参考光源发生错误,导致选择错误的校正表的情况下,电子设备也可以通过调整后的校正表对图像做正确的颜色阴影校正。
但是,由于图像统计结果是基于图像中部分像素的颜色通道获取的,则电子设备无法判断当前图像统计结果反映的是当前光源的颜色,还是被拍摄对象自身的颜色,即通过统计结果无法区分光源的颜色和物体的颜色。例如,在一种情况下,当前光源为红色,电子设备在拍摄一张白纸时,电子设备获取的图像中的颜色信息主要是红色信息。但是,在另一种情况下,当前光源为白色,电子设备在拍摄一张红纸时,电子设备获取的图像中的颜色信息也主要是红色信息。在上述两种情况下,当前光源不同时,电子设备确定图像的颜色统计结果却是一样的,导致电子设备对校正表进行调整时出现错误,无法对校正表进行正确的调整。从而使得图像的颜色阴影校正不准确。
图2示出了电子设备对颜色阴影校正不准确的一组示意图。
如图2中的(a)所示,为图像出现颜色阴影的一个示意图,该图可以为电子设备在某一个光源下采集的图像,该图像中带有颜色阴影,如图2中的(a)所示,该图像的颜色阴影表现为图像四周的颜色与图像中心的颜色不一致,一般为图像四周相对图像中心偏绿。
图2中的(b)所示,为对图2中的(a)示出的图像按照该方案进行不准确的颜色阴影校正之后的示例性图像,该颜色阴影校正后的图像中,四周的颜色与中心的颜色仍然不一致,只是不一致的程度有所减弱。
这样,电子设备利用色温信息以及图像统计结果无法准确的确定当前光源是哪一种参考光源,从而选择错误的校正表对图像进行颜色阴影校正导致图像的颜色阴影校正不准确这一问题并没有得到真正地解决。
而采用本申请实施例提供的图像的颜色阴影校正方法,电子设备可以不利用光源的色温信息确定某一参考光源对应的校正表。而是利用当前光源的光谱信息与各参考光源的光谱信息以及各参考光源对应的校正表,重新生成当前光源对应的当前校正表,再利用该校正表对图像做颜色阴影校正,得到颜色阴影校正后的图像。这样,可以避免由于色温信息无法准确的确定当前光源是哪一种参考光源,从而选择错误的校正表对图像进行颜色阴影校正。
具体的,电子设备可以预先生成各参考光源对应的校正表。然后,通过当前光源的光谱信息与各参考光源的光谱信息,确定当前光源对应的预选光源类型以及各光源类型的置信度。然后,利用该预选光源类型、各光源类型的置信度以及各参考光源对应的参考校正表,生成当前光源对应的当前校正表,再利用该当前校正表对图像做颜色阴影校正,得到颜色阴影校正后的图像。
其中,当前光源对应的预选光源类型是指各参考光源中与当前光源的光源类型最相似的参考光源,该最相似的参考光源可以包括各个参考光源中的一个或多个参考光源。该一个或多个参考光源与该当前光源的相似度即为置信度。
图3示出了电子设备对图像的颜色阴影校正准确的一个示意图。
图3所示,为对图2中的(a)示出的图像按照本申请实施例提供的方案进行准确的颜色阴影校正之后的示例性图像,该颜色阴影校正后的图像中,四周的颜色与中心的颜色一致。
由于光源类型与光源的光源光谱强相关,不同的光源具有不同的光谱信息,因此,利用当前光源的光谱信息从各参考光源中确定当前预选光源类型及其置信度,可以使得电子设备对当前光源的光源类型估计地更准确。该预选光源类型中包括的一个或多个参考光源对应的校正表都可以为生成当前校正表做贡献,使得电子设备可以生成更准确的当前校正表对图像做颜色阴影校正。
下面首先介绍本申请实施例提供的示例性电子设备。
图4是本申请实施例提供的电子设备的结构示意图。
下面以电子设备为例对实施例进行具体说明。应该理解的是,电子设备可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,多光谱传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signalprocessor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。
I2S接口可以用于音频通信。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。
SIM接口可以被用于与SIM卡接口195通信,实现传送数据到SIM卡或读取SIM卡中数据的功能。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在本申请另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelitV,Wi-Fi)网络),蓝牙(bluetooth,BT),红外技术(infrared,IR)等无线通信的解决方案。
在一些实施例中,电子设备的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS)等。
电子设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光信号通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。该感光元件又可被称为图像传感器。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
环境光传感器180L用于感知环境光亮度。电子设备可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。
多光谱传感器180M可以用于检测光信号(光源)中的Y个不同波长范围的光信号的光强度。某一个波长范围的光信号的光强度就是波长在这个范围里的全部光信号的光强度之和。在一些实施例中,多光谱传感器180M上方覆盖了Y个滤光片,每个滤光片只能通过一个波长范围内的光信号,该波长范围内的光信号通过该滤光片传递到多光谱传感器180M上,多光谱传感器180M可以检测光信号(光源)中的不同波长范围的光信号的光强度,利用该不同波长范围的光信号的光强度生成多光谱传感器信息。该多光谱传感器信息用于表示光信号中Y个波长范围的光信号的光强度。例如,多光谱传感器180M上方可以覆盖10个不同滤光片,这些滤光片分别可以使得光信号中波长范围为780nm-700nm的光信号A、700nm-650nm的光信号B、650nm-600nm的光信号C、600nm-550nm的光信号D、550nm-500nm的光信号E、500nm-450nm的光信号F、450nm-400nm的光信号G、400nm-380nm的光信号H,1000nm-780nm的光信号I以及1050nm-380nm的光信号J通过。其中,光信号A-H为可见光。光信号I为近红外光(nearinfrared,NIR)。光信号J可以包括光信号中的大部分,为clear光。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。
本申请实施例中,该处理器110可以调用内部存储器121中存储的计算机指令,以使得电子设备执行本申请实施例中的图像的颜色阴影校正方法。
下面结合上述示例性电子设备的软硬件结构,对本申请实施例中的方法进行具体描述:
图5示出了本申请实施例中电子设备对图像进行颜色阴影校正的示例性步骤流程图。
本申请实施例中,电子设备可以根据参考光源的光谱信息以及多光谱传感器采集的当前光源的光谱信息,确定当前光源对应的预选光源类型以及各光源类型的置信度。然后,利用该预选光源类型、各光源类型的置信度以及各参考光源对应的参考校正表,生成当前光源对应的当前校正表,再利用该当前校正表对图像做颜色阴影校正。具体可以参考下述对步骤S101-步骤S107的描述:
S101.根据各参考光源的光谱信息以及当前光源的光谱信息,确定当前光源对应的预选光源类型以及各光源类型的置信度;
光谱信息用于表示光源中X个不同波长的光信号的光强度。不同光源的光谱信息不相同。
各参考光源的光谱信息是预先存储在电子设备中的。其中,某一个参考光源与该参考光源的光谱信息是一一对应的关系。
在一些实施例中,可以利用光谱仪采集各参考光源的光源光谱,生成各参考光源的光谱信息,该光谱信息可以记录各参考光源中X个不同波长的光信号的光强度。电子设备可以用一个X元数组存储该光谱信息,该X元数组的每一个元素为该参考光源中表示波长为某一个值的光信号的光强度。通常,根据目前市面上电子设备的处理性能,X的取值可以为650左右,或者其他,本申请实施例对此不作限定。
如图6示出了光谱仪采集的某一参考光源的光源光谱的示意图。
如图6所述,该参考光源的光源光谱可以描述该参考光源中任意波长的光信号的光强度。其中,横坐标为波长,纵坐标为光强度,例如,波长为650nm的光信号的光强度为0.74。
电子设备可以利用光谱仪采集的该参考光源的光源光谱,生成该参考光源的光谱信息。
具体的,可以对该光源光谱进行采样生成光谱信息,即每间隔一定步长的波长的光信号,取该波长的光信号的强度,这样电子设备可以取X个不同的波长的光信号的光强度,作为该参考光源的光谱信息。
例如,该光谱信息中某两个元素的取值可以包括a,b。其中,a为在波长i时的光强度,b为在波长i+1时的光强度。
各参考光源是指N种不同类型的光源,这些光源的色温可能相同,但光源光谱不同,从而各参考光源的光谱信息不同。例如,常见的不同类型的光源有:模拟北方平均太阳光(D75光源),该光源的色温为7500K;国际标准人工目光(D65光源),该光源的色温为6500K;模拟太阳光(D50光源),该光源的色温为5000K;模拟欧洲商店灯光(TL84),该光源的色温为4000K;欧洲标准暖白商店光源(TL83光源),该光源的色温为3000K以及美国暖白商店光(U30光源),该光源的色温同样为3000K,模拟美国商店灯光(UL3000光源)等。
可以理解的是,除了上述光源类型,还可以有其他的光源类型,本申请实施例对此不做限定。本申请实施例中涉及的N种不同类型的光源可以是上述光源类型中的一种或多种,也可以是其他的光源类型。
当前光源的光谱信息不是预先存储的。电子设备可以利用当前光源的多光谱传感器信息,通过对应关系生成当前光源的光谱信息。其中,多光谱传感器信息为电子设备的多光谱传感器检测到的当前光源中的Y个不同波长范围的光信号的光强度。电子设备可以用一个Y元数组存储该多光谱传感器信息,该Y元数组的每一个元素为该当前光源中某一个波长范围的光信号的光强度。
如何确定该对应关系,以及如何生成当前光源的光谱信息的过程可以参考下述对步骤S201的描述。
电子设备可以通过当前光源的光谱信息以及各参考光源的光谱信息,确定该当前光源的光谱信息与各参考光源的光谱信息的相似度。然后,电子设备可以确定其中与当前光源的光谱信息的相似度最高M个参考光源的光谱信息。电子设备确定该M个光谱信息对应的M个参考光源作为当前光源对应的预选光源类型。其中,每一个预选光源类型对应的光谱信息与当前光源的光谱信息的相似度可以用于确定该预选光源类型的置信度。该置信度越高,表示当前光源是该预选光源类型的可能性越大。
电子设备可以确定至少一个预选光源类型。当电子设备只确定了一个预选光源类型时,该光源类型的置信度为1。具体确定多少个预选光源类型受多种因素影响,例如处理器的处理能力等。只要能使电子设备对图像进行正确的颜色阴影校正即可,本申请实施例对此不作限定。
S102.获取各参考光源对应的参考校正表;
各参考光源对应的参考校正表是预先存储在电子设备中的。其中,某一个参考光源与该参考光源的参考校正表是一一对应的关系。
在一些实施例中,某一参考光源对应的参考校正表中可以包括四个子表,每个子表与未处理的图像的四个颜色通道中的一者关联。该参考校正表在电子设备中的存储形式可以是矩阵、数组等,本申请实施例对此不作限定。
该参考校正表的具体描述以及电子设备具体如何生成该各参考光源对应的参考校正表的方式可以参考前述对术语(1)的描述,此处不再赘述。
为了提高确定某一个参考光源对应的参考校正表的速度,电子设备可以将各参考光源进行分类。
图7示出了电子设备对参考光源进行分类的一组示意图。
在一些实施例中,电子设备可以将各参考光源按照光源的色温进行分类。具体的,电子设备可以将色温在同一个范围内的参考光源划分为一类或者色温相同的参考光源划分为一类。
如图7中的(a)所示,电子设备可以按照各参考光源的色温将各参考光源分为若干类,每一类光源下对应的参考光源不同,由于参考光源与该参考光源的参考校正表是一一对应的关系,则电子设备可以快速确定某一个色温范围内的参考光源对应的参考校正表。例如,电子设备确定光源的色温对应色温范围1,则电子设备可以确定参考光源11-参考光源1n对应的参考校正表为可能的参考校正表。
在另一些实施例中,电子设备可以按照各参考光源下拍摄的未处理的图像的颜色阴影轻重程度将各参考光源划分为不同的光源组。
其中,图像的颜色阴影轻重程度可以通过该参考光源对应的参考校正表中,红色通道对应的子表以及绿色通道对应的子表中,各像素的增益的比值的均值来确定,该均值越大,则颜色阴影越重。该均值在一个同范围内对应的光源可以为一个光源组。
如图7中的(b)所示,电子设备按照光源下拍摄的图像的颜色阴影轻重程度将各参考光源分成若干个光源组,每一个光源组下对应的参考光源不同。当电子设备已经确定某一光源是哪一种参考光源时,则可以确定该光源对应的是哪一个光源组。例如,电子设备确定该光源为参考光源11,则电子设备可以确定该光源在光源组1中。
S103.根据该预选光源类型、各光源类型的置信度以及各参考光源对应的参考校正表,生成当前光源对应的当前校正表;
在一些实施例中,预选光源类型为M个,则电子设备可以根据该M个预选光源类型从各参考光源对应的参考校正表中确定该M个预选光源类型对应的M个参考校正表。然后,电子设备利用各光源类型的置信度,结合该M个参考校正表,生成一个当前光源对应的当前校正表。该M个参考校正表都对该当前校正表有贡献,某一参考校正表对应的光源类型的置信度越高,则对当前校正表的贡献越大。
可以理解的是,如果电子设备只确定了一个预选光源类型,则电子设备可以直接确定该预选光源类型对应的参考校正表为当前校正表。
在一些实施例中,在电子设备是按照各参考光源的色温对各参考光源进行分类的情况下。电子设备可以获取当前光源的色温信息,然后,根据该预选光源类型、该各光源类型的置信度、该色温信息以及各参考光源对应的参考校正表,生成当前光源对应的当前校正表。
其中,光源的色温信息是指光源的色温大小。
电子设备可以利用当前光源的色温信息确定当前光源对应的目标色温(可以用一个值表示)或色温范围(可以用一个数据范围表示)。可以理解的是该目标色温或色温范围可以是一个或多个。例如,当前光源的色温信息在色温范围1内时,则色温范围1为目标色温范围。然后,电子设备从M个预选光源类型中筛选W个预选光源类型。其中,该W个预选光源类型为该目标色温或色温范围对应的参考光源,由于M个预选光源类型中有的光源并不是该目标色温或色温范围对应的参考光源,所以W小于或等于M。然后,电子设备根据该W个预选光源类型从各参考光源对应的参考校正表中确定该W个预选光源类型对应的W个参考校正表。然后,电子设备利用该W个光源类型对应的置信度,结合该W个参考校正表,生成一个当前光源对应的当前校正表。该W个参考校正表都对该当前校正表有贡献,某一参考校正表对应的光源类型的置信度越高,则对当前校正表的贡献越大。
为了便于叙述,上述涉及的W个预选光源类型也可以被称为可能的目标光源类型。
在另一些实施例中,如果电子设备是按照光源下拍摄的图像的颜色阴影轻重程度对各参考光源进行分类的。则电子设备首先可以根据该预选光源类型以及各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表。具体地,电子设备先确定M个预选光源类型所属的目标光源组,即电子设备确定某一预选光源类型是哪一个参考光源,则该参考光源所属的光源组就是该预选光源类型所属的目标光源组,该目标光源组可以是一个或多个。然后,电子设备从各参考光源对应的参考校正表中,筛选出部分参考光源对应的参考校正表,该部分参考光源即为目标光源组中的参考光源。
然后,电子设备对图像进行图像统计,生成图像统计结果,根据该部分参考光源对应的参考校正表以及该图像统计结果,确定当前光源对应的当前校正表。
其中,电子设备对图像进行图像统计,生成图像统计结果可以参考下述对步骤S104的描述,此处暂不赘述。
S104.对图像进行图像统计,生成图像统计结果;
该步骤S104是可选的。
在一些实施例中,电子设备可以对图像进行图像统计,生成图像统计结果。
该图像统计是为了获取当前光源的颜色信息,可以是基于图像中部分像素获取的,也可以是基于图像中的全部像素获取的。
在一些实施例中,电子设备可以统计图像中,部分像素的红色通道的取值与相应的两个像素的绿色通道的取值的平均值的比值以及部分像素的蓝色通道的取值与相应的两个像素的绿色通道的取值的平均值的比值,生成图像统计结果。例如,有N个像素的红色通道就有相应的2N个像素的绿色通道,就可以确定N个比值。
电子设备还可以采取其他的图像统计方法,例如,只统计上述部分像素的红色通道的取值与相应的两个像素的绿色通道的取值的平均值等,本申请实施例对此不作限制。
S105.根据图像统计结果对该当前校正表进行优化,得到优化后的当前校正表;
该步骤S105是可选的。
为了使得当前校正表可以对图像进行更准确的颜色阴影校正,电子设备可以对该当前校正表进行优化,即电子设备可以利用图像统计结果对该当前校正表中记录的像素的增益进行调整。
S106.对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表;
该步骤S106可选的。
为了使得连续帧间(连续两帧或多帧)图像的颜色可以平滑过渡或光源切换时图像的颜色可以快速收敛。则电子设备可以利用之前光源对应的预选光源类型以及该之前光源的预选光源类型对应的置信度、之前光源的色温信息,当前光源对应的预选光源类型以及该当前光源的预选光源类型对应的置信度、以及当前光源的色温信息。对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表。
其中,之前光源是指电子设备在拍摄上一帧图像时,第一拍摄环境中的光源。之前光源对应的预选光源类型是电子设备在拍摄上一帧图像时,第一拍摄环境对应的光源的预选光源类型,即指各参考光源中与之前光源的光源类型最相似的参考光源。之前光源的色温信息是该第一拍摄环境对应的光源的色温信息。
S107.利用该当前校正表对图像做颜色阴影校正,得到颜色阴影校正后的图像。
电子设备可以利用当前校正表中记录的部分像素的增益,调整图像中全部像素对应的颜色通道的取值,得到颜色阴影校正后的图像。可以理解的是,该图像是未处理的拜尔(bayer)格式的原始图像。
在一些实施例中,对于图像中的每一个像素,电子设备先确定该当前校正表中是否有该像素的增益,如果有,则使用该增益对该像素进行调整。如果没有,则电子设备可以根据该像素周围像素的增益进行插值计算,生成该像素的增益,例如,该插值可以为选取该像素周围最近的四个像素对应的增益进行双线插值,也可以为其他的方式,本申请实施例对此不做限制。然后利用该增益对该像素进行调整。
可以理解的是上述步骤S101-步骤S107中,步骤S101与步骤S102之间没有先后顺序,步骤S104-步骤S106是可选的,电子设备可以不执行其中的任何步骤,或者全部执行,或者只执行步骤S104以及步骤S105,也可以只执行步骤S106。例如,当电子设备只执行步骤S106上,则电子设备直接将步骤S103中生成的当前光源对应的当前校正表做时域滤波,得到滤波后的当前校正表。
根据上述对步骤S101-步骤S107的描述,介绍本申请实施例中两个具体的实现方式。
第一种实现方式:电子设备按照各参考光源的色温对各参考光源进行分类,将不同的参考光源分类到不同的色温范围内的情况下,可以根据预选光源类型、各光源类型的置信度、色温信息以及各参考光源对应的参考校正表,生成当前光源对应的当前校正表。然后利用图像统计结果对该当前校正表进行优化,得到优化后的当前校正表,再对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表。最后再利用该当前校正表对图像做颜色阴影校正,得到颜色阴影校正后的图像。
如图8示出了利用第一种实现方式对图像进行颜色阴影校正的示例性步骤流程图。
S201.根据各参考光源的光谱信息以及当前光源的光谱信息,确定当前光源对应的预选光源类型以及各光源类型的置信度;
该过程涉及的原理可以参考前述对步骤S101的描述。下面介绍该步骤S201涉及的一种可能的实现方式。
上述步骤S101中详细描述了各参考光源的光谱信息是如何得到的,此处不再赘述。下面介绍电子设备是如何利用当前光源的多光谱传感器信息,通过对应关系生成当前光源的光谱信息的。
电子设备生成当前光源的光谱信息的过程可以参考下述描述:
首先,利用全部参考光源的光谱信息以及该全部参考光源的多光谱传感器信息确定对应关系。
该对应关系是假设全部参考光源的多光谱传感器信息与全部参考光源的光谱信息可以对应时生成的对应关系。根据该对应关系,电子设备可以通过各参考光源的多光谱传感器信息,确定各参考光源的光谱信息,也可以根据各参考光源的光谱信息确定各参考光源的多光谱传感器信息。
在一些实施例中,全部参考光源的多光谱传感器信息可以表示为矩阵AN×Y,全部参考光源的光谱信息可以表示为BN×X。其中,AN×Y表示有N个参考光源,各参考光源的多光谱传感器信息包括Y个不同波长范围的光信号的光强度,该矩阵中,每一行都记录了一个参考光源的Y个不同波长范围的光信号的光强度,一共N行。BN×X表示有N个参考光源,各参考光源的光谱信息包括X个不同波长的光信号的光强度,该矩阵中,每一行都记录了一个参考光源的X个不同波长的光信号的强度,一共N行。
则电子设备利用全部参考光源的光谱信息以及该全部参考光源的多光谱传感器信息确定对应关系的公式可以为:
AN×Y*f=BN×X
式中,f即为对应关系,f为Y×X的矩阵。
为了强调该对应关系具体是假设全部参考光源的多光谱传感器信息与全部参考光源的光谱信息可以对应时生成的对应关系,而不是任何对应关系,可以称该对应关系为第一对应关系。
然后,电子设备利用当前光源的多光谱传感器信息,通过该对应关系生成当前光源的光谱信息。
在一些实施例中,生成参考校正表涉及的参考光源的数量可以与确定该对应关系涉及的参考光源的数量不同,为了使得该对应关系具有通用性,可以使得确定对应关系所涉及的参考光源的数量比生成参考校正表涉及的参考光源的数量多。
在一些实施例中,电子设备利用多光谱传感器检测当前光源中Y个不同波长范围的光信号的光强度,生成当前光源的多光谱传感器信息。假设当前光源一定是各参考光源中的一个,则电子设备可以利用当前光源的多光谱传感器信息,通过对应关系生成当前光源的光谱信息。
具体的,该过程涉及的相关公式可以如下:
Figure BDA0003083727300000201
式中,
Figure BDA0003083727300000202
表示当前光源的多光谱传感器信息,该矩阵中的任一元素表示当前光源的Y个不同波长范围的光信号的光强度中的一个。f为前述获取的对应关系。
Figure BDA0003083727300000203
即为生成的当前光源对应的光谱信息。该光谱信息与各参考光源的光谱信息一样,都包括X个不同波长的光信号的光强度。
在一些实施例中,电子设备可以将该矩阵
Figure BDA0003083727300000204
转化为前述涉及的X元数组。其中,每一个元素对应一个波长的光信号对应的光强度。
按照步骤S101的描述,电子设备可以通过当前光源的光谱信息以及各参考光源的光谱信息,计算当前光源的光谱信息与各参考光源的光谱信息的相似度。然后,根据相似度由高到低排序,确定出相似度比较高的前M个参考光源的光谱信息以及各光源类型的置信度。
具体的,将第i个参考光源的光谱信息包括的X个不同波长的光信号的光强度表示为Ci=[ci1,ci2,...,ciX],其中,每一个元素cij对应一个波长的光信号对应的光强度。将当前光源的光谱信息包括的X个不同波长的光信号的光强度表示为C=[c1,c2,...,cX],其中每一个元素cj对应一个波长的光信号对应的光强度。
其中,该当前光源的光谱信息与各参考光源的光谱信息的相似度可以利用下述公式计算:
Figure BDA0003083727300000205
式中,si表示第i个参考光源与当前光源的相似度。cij表示第i个参考光源的第j个波长的光信号的光强度。cj表示当前光源的第j个波长的光信号的光强度。
其中,si越大相似度越高,电子设备可以确定M个相似度最高的参考光源的光谱信息对应的M个参考光源作为当前光源对应的预选光源类型。再利用该M个预选光源类型的相似度确定该预选光源类型的置信度。
其中,该预选光源类型的置信度可以用相似度来表示,即:
cfdj=si
式中,cfdj表示M个预选光源类型中第j个预选光源类型的置信度。
可以理解的是,上述计算过程还可以有其他的方式,本申请实施对此不作限定。
S202.获取各参考光源对应的参考校正表;
该步骤S202与步骤S102相同,此处暂不赘述。
S203.获取当前光源的色温信息;
电子设备可以通过ISP中自平衡处理模块确定当前光源对应的色温信息。该色温信息表示当前光源的色温大小。
S204.根据该预选光源类型、该各光源类型的置信度、该色温信息以及各参考光源对应的参考校正表,生成当前光源对应的当前校正表;
首先,电子设备利用当前光源的色温信息判断当前光源对应的目标色温范围,假设当前光源的色温信息处于第一目标色温范围与第二目标色温范围之间。则电子设备从M个预选光源类型中筛选出W个预选光源类型以及W′个预选光源类型。其中,该W个预选光源类型为该第一目标色温范围对应的参考光源,该W′个预选光源类型为该第二目标色温范围对应的参考光源。
电子设备利用W个预选光源类型生成第一参考校正表以及W′个预选光源类型生成第二参考校正表,在利用该第一参考校正表以及第二参考校正表生成当前光源对应的当前校正表。
其中,利用W个预选光源类型生成第一参考校正表的过程可以参考下述描述:
电子设备根据该W个预选光源类型从各参考光源对应的参考校正表中确定该W个预选光源类型对应的W个参考校正表。然后,电子设备利用该W个光源类型对应的置信度,结合该W个参考校正表,生成第一校正表。
在一些实施例中,该W个参考校正表中的每一个子表都可以用一个矩阵表示。例如,第i个参考校正表中,第j个颜色通道对应的子表可以表示为矩阵Aij,该矩阵中每一个元素都对应一个像素的增益。则电子设备生成该第一校正表的第j个颜色通道对应的子表Bj的公式为:
Figure BDA0003083727300000211
式中,cfdi表示第i个参考校正表对应的预选光源类型的置信度。
可以理解的是,电子设备W′个预选光源类型生成第二校正表中的全部子表的过程可以参考上述生成第一校正表的描述。该第二校正表的第j个颜色通道对应的子表B′j
最后,电子设备利用第一校正表以及第二校正表生成当前光源对应的当前校正表。电子设备生成该当前校正表的第j个颜色通道对应的子表Dj的公式为:
Figure BDA0003083727300000221
式中涉及的每个校正表的第j个颜色通道都是同一个颜色通道,例如,都是红色通道。w1以及w2分别为第一校正表的权重以及第二校正表的权重。
其中,电子设备可以通过以下公式确定w1以及w2
Figure BDA0003083727300000222
式中,f1以及f2分别表示,第一目标色温范围的中值大小以及第二目标色温范围的中值大小。f3当前光源的色温大小。
可以理解的是,上述计算过程还可以有其他的方式,本申请实施对此不作限定。
S205.对图像进行图像统计,生成图像统计结果;
该步骤S205涉及的过程与步骤S104相同,可以参考前述对步骤S104的描述,此处不再赘述。
该图像统计结果可以表示为矩阵I1以及矩阵I2
其中,矩阵I1中的每一个元素表示第i个像素的红色通道的取值与相应的两个绿色通道的取值的平均值的比值,矩阵I2中的每一个元素表示第i个像素的蓝色通道的取值与相应的两个绿色通道的取值的比值。
S206.根据图像统计结果对该当前校正表进行优化,得到优化后的当前校正表;
在一些实施例中,电子设备可以利用当前校正表对图像统计结果进行校正。具体的,对步骤S205中图像统计时涉及的像素的颜色通道的取值进行校正。然后,利用校正后的像素再进行一次图像统计。
该校正后的图像统计结果可以表示为矩阵H1以及矩阵H2
其中,矩阵H1中的每一个元素表示第i个校正后的像素的红色通道的取值与相应的两个绿色通道的取值的平均值的比值,矩阵H2中的每一个元素表示第i个校正后的像素的蓝色通道的取值与相应的两个绿色通道的取值的平均值的比值。
然后,电子设备利用当前校正表进行颜色阴影估计。得到的颜色阴影估计结果可以表示为矩阵S1以及矩阵S2
其中,矩阵S1中的每一个元素表示第i个校正后的像素的红色通道与相应的两个绿色通道的最小化颜色阴影比值,矩阵S2中的每一个元素表示第i个校正后的像素的蓝色通道与相应的两个绿色通道的最小化颜色阴影比值。
其中,电子设备计算颜色阴影估计结果S1以及S2涉及的公式如下:
Figure BDA0003083727300000223
式中,M(S1)以及M(S2)分别表示S1以及S2的梯度量值的平方的总和(SSGM)。λ为直接控制梯度稀疏性的有效性的权数参数。[I1:I2]表示由二维层I1以及二维层I2组成的三维立方。#{}为计数运算符,
Figure BDA0003083727300000224
表示[I1:I2]在位置i处的二维部分梯度。
则电子设备可以利用颜色阴影估计结果(S1,S2)对当前校正表进行优化,该优化过程涉及的公式如下:
Figure BDA0003083727300000231
式中,矩阵Dr表示当前校正表的红色通道对应的子表,按矩阵Dr与矩阵S1中的元素执行除法操作,得到矩阵D′r,该矩阵D′r表示优化后的当前校正表的红色通道对应的子表。矩阵Db表示当前校正表的蓝色通道对应的子表,按矩阵Db与矩阵S2中的元素执行除法操作,得到矩阵D′b,该矩阵D′b表示优化后的当前校正表的蓝色通道对应的子表。
可以理解的是,上述计算过程还可以有其他的方式,本申请实施对此不作限定。
S207.对该优化后的当前校正表做时域滤波,得到滤波后的当前校正表;
该步骤S207涉及的过程可以参考前述对步骤S106的描述。一种可能的实现方式可以参考下述描述。
电子设备通过上一帧图像对应的之前光源与当前帧图像对应的当前光源的变化程度以及之前光源的色温信息与当前光源的色温信息的变化程度来确定拍摄场景对应的光源的变化。从而对当前光源进行时域滤波。
首先,电子设备确定上一帧图像对应的之前光源与当前帧图像对应的当前光源的变化程度Δlight,计算该变化程度Δlight的公式如下:
Figure BDA0003083727300000232
式中,cfdj表示M个之前光源对应的预选光源类型中,第i个之前光源对应的预选光源类型Lj的置信度。cfd′j表示M个当前光源对应的预选光源类型中,与之前光源类型Lj相同的当前光源类型的置信度。如果M个当前光源对应的预选光源类型中,没有与之前光源类型Lj相同的当前光源类型,则cfd′j=0。
电子设备确定之前光源的色温信息与当前光源的色温信息的变化程Δcct,计算该变化程度Δcct的公式如下:
Figure BDA0003083727300000233
式中,cct表示之前光源的色温信息的大小。cct′表示当前光源的色温信息的大小。
然后,电子设备确定拍摄场景的变化程度Δscene。该Δscene的计算涉及以下公式:
Figure BDA0003083727300000234
式中,k1表示当前光源的变化程度对拍摄场景的变化程度的影响大小,k2表示色温信息的变化程度对拍摄场景的变化程度的影响大小。该k1以及k2可以根据经验预先设定。
可以理解的是,在一些实施例中,电子设备还可以利用其他的方式确定拍摄场景的变化程度。例如,值利用光源的变化程度或者色温信息的变化程度,还可以利用其他的信息。本申请实施例对此不作限定。
然后,电子设备根据拍摄场景的变化程度Δscnce,确定当前校正表对应的权重w_cur。该权重w_cur的取值可以参考下述公式:
Figure BDA0003083727300000241
式中wi表示拍摄场景的变化程度Δscnce处于阈值区间[thi-1,thi)时预设的当前校正表对应的权重。且0<=w1<=w2<=...<=wi<=...<=wn<=1,0<thx<th2<...<thi<...<thn-1<1。
最后,电子设备确定滤波后的当前校正表Dtable的公式如下:
Dtable=(1-w_cur)*Dtable_pre+w_cur*Dtable_cur
式中,Dtable_pre表示对上一帧图像进行颜色阴影校正时的校正表。Dtable_cur表示时域滤波前的当前校正表。
可以理解的是,上述计算过程还可以有其他的方式,本申请实施对此不作限定。
S208.利用该当前校正表对图像做颜色阴影校正,得到颜色阴影校正后的图像。
该步骤S208涉及的过程与步骤S107相同,可以参考前述对步骤S107的描述,此处不再赘述。
由于光源类型与光源的光谱信息强相关,不同的光源具有不同的光谱信息。因此,电子设备执行步骤S201-步骤S208对图像进行颜色阴影校正时,可以利用光源的光谱信息使得电子设备对当前光源的光源类型估计更准确。同时利用色温信息使得电子设备可以快速找到某一可能的参考光源对应的参考校正表。
第二种实现方式:电子设备是按照在不同光源下拍摄的图像的颜色阴影轻重程度对各参考光源进行分类的情况下,可以根据该预选光源类型以及各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表。然后,电子设备利用图像统计结果,结合该部分参考光源对应的参考校正表,确定当前光源对应的当前校正表。再对该当前校正表做时域滤波,得到滤波后的当前校正表,再利用该当前校正表对图像做颜色阴影校正。
如图9示出了利用第二种实现方式对图像进行颜色阴影校正的示例性步骤流程图。
S301.根据各参考光源的光谱信息以及当前光源的光谱信息,确定当前光源对应的预选光源类型以及各光源类型的置信度;
该过程涉及的原理可以参考前述对步骤S101的描述。具体的实现方式可以参考前述对步骤S201的描述,此处不再赘述。
S302.获取各参考光源对应的参考校正表;
该步骤S302与步骤S102相同,此处暂不赘述。
S303.根据该预选光源类型以及各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表;
该步骤S303可以参考前述对步骤S103中相关过程的描述,此处不再赘述。
电子设备先确定M个预选光源类型所属的目标光源组,该目标光源组可以是一个或多个。然后,电子设备从各参考光源对应的参考校正表中,确定目标光源组中的参考光源为部分参考光源对应的参考校正表。
S304.对图像进行图像统计,生成图像统计结果;
该步骤S205涉及的过程与步骤S104以及步骤S205相同,可以参考前述对步骤S104以及步骤S205的描述,此处不再赘述。
S305.根据该部分参考光源对应的参考校正表以及该图像统计结果,确定当前光源对应的当前校正表;
电子设备从该部分参考光源对应的参考校正表中确定一个参考校正表作为当前光源对应的当前校正表。
具体的,电子设备依次利用该部分参考光源对应的参考校对该图像统计结果进行校正。该过程可以参考前述步骤S206中利用校正表对图像统计结果进行校正涉及的相关描述,此处不再赘述。
其中,该部分参考光源对应的参考校正表中第i个参考校正表对该图像统计结果进行校正后得到的图像统计结果表示为Hi_correct,则电子设备可以确定Hi_correct的梯度量值的平方的总和(SSGM)。电子设备可以确定,得到SSGM最小的校正后得到的图像统计结果所用的参考校正表为当前光源对应的当前校正表。
S306.对该当前校正表做时域滤波,得到滤波后的当前校正表;
该步骤S306涉及的过程可以参考前述对步骤S106的描述。一种可能的实现方式可以参考上述对步骤S106的描述,此处不再赘述。
S307.利用该当前校正表对图像做颜色阴影校正,得到颜色阴影校正后的图像。
该步骤S307涉及的过程与步骤S107相同,可以参考前述对步骤S107的描述,此处不再赘述。
由于光源类型与光源的光谱信息强相关,不同的光源具有不同的光谱信息。因此,电子设备执行步骤S301-步骤S307对图像进行颜色阴影校正时,可以利用光源的光谱信息使得电子设备对当前光源的光源类型估计更准确。同时筛选出各参考光源中部分参考光源对应的参考校正表,排出不需要使用的参考校正表,减少计算量,使得电子设备可以提升完成图像颜色阴影校正的速度。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (23)

1.一种颜色阴影校正方法,其特征在于,包括:
拍摄第一图像时,通过多光谱传感器检测当前光源中不同波长范围的光信号的光强度,将其作为多光谱传感器信息;
通过第一对应关系利用当前光源的多光谱传感器信息生成当前光源的光谱信息;所述当前光源的光谱信息用于表示当前光源中多个不同波长的光信号的光强度;所述对应关系为多光谱传感器信息与光谱信息的对应关系;
根据各参考光源的光谱信息以及所述当前光源的光谱信息,确定当前光源对应的预选光源类型以及各光源类型的置信度;所述各参考光源的光谱信息用于表示各参考光源中多个不同波长的光信号的光强度;
获取各参考光源对应的参考校正表;
根据所述预选光源类型、所述各光源类型的置信度和所述各参考光源对应的参考校正表,生成当前光源对应的当前校正表;
利用所述当前校正表对第一图像做颜色阴影校正,得到颜色阴影校正后的第一图像。
2.根据权利要求1所述的方法,其特征在于,根据所述预选光源类型、所述各光源类型的置信度和所述各参考光源对应的参考校正表,生成当前光源对应的当前校正表,具体包括:
按照各参考光源的色温对各参考光源进行分类,将相同色温或色温范围的参考光源划分为一类时,获取当前光源的色温信息;
根据所述预选光源类型、所述各光源类型的置信度、所述当前光源的色温信息和所述各参考光源对应的参考校正表,生成当前光源对应的当前校正表。
3.根据权利要求2所述的方法,其特征在于,根据所述预选光源类型、所述各光源类型的置信度、所述当前光源的色温信息和所述各参考光源对应的参考校正表,生成当前光源对应的当前校正表,具体包括:
根据所述当前光源的色温信息确定当前光源对应的目标色温或目标色温范围;
确定所述目标色温或目标色温范围对应的参考光源;
根据所述目标色温或目标色温范围对应的参考光源和所述预选光源类型确定可能的目标光源类型;
根据所述可能的目标光源类型、所述各目标光源类型的置信度、所述目标色温或目标色温范围对应的参考光源对应的参考校正表,生成当前光源对应的当前校正表。
4.根据权利要求1所述的方法,其特征在于,根据所述预选光源类型、所述各光源类型的置信度和所述各参考光源对应的参考校正表,生成当前光源对应的当前校正表,具体包括:
当按照各参考光源下拍摄的未处理的第一图像的颜色阴影轻重程度将所述各参考光源进行分类时,根据所述预选光源类型和所述各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表;
对第一图像进行图像统计,生成图像统计结果;
根据所述部分参考光源对应的参考校正表和所述图像统计结果,确定当前光源对应的当前校正表。
5.根据权利要求4所述的方法,其特征在于,根据所述预选光源类型和所述各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表,具体包括:
先确定预选光源类型所属的目标光源组;
从各参考光源对应的参考校正表中,确定所述目标光源组中的参考光源为部分参考光源对应的参考校正表。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述方法还包括:
对所述当前光源对应的当前校正表做时域滤波,得到滤波后的当前校正表;
利用所述当前校正表对第一图像做颜色阴影校正,具体包括:
利用所述滤波后的当前校正表对第一图像做颜色阴影校正。
7.根据权利要求6所述的方法,其特征在于,对所述当前光源对应的当前校正表做时域滤波,得到滤波后的当前校正表,具体包括:
通过之前光源对应的预选光源类型、所述之前光源的预选光源类型对应的置信度、当前光源对应的预选光源类型、所述当前光源的预选光源类型对应的置信度、之前光源的色温信息以及当前光源的色温信息确定拍摄场景的变化程度;
利用所述拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;
所述当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
8.根据权利要求1-5中任一项所述的方法,其特征在于,所述方法还包括:
对所述对第一图像进行图像统计,生成图像统计结果;
根据所述图像统计结果对所述当前校正表进行优化,得到优化后的当前校正表;
利用所述当前校正表对第一图像做颜色阴影校正,具体包括:
利用所述优化后的当前校正表对第一图像做颜色阴影校正。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
对所述优化后的当前校正表做时域滤波,得到滤波后的当前校正表;
利用所述优化后的当前校正表对第一图像做颜色阴影校正,具体包括:
利用所述滤波后的当前校正表对第一图像做颜色阴影校正。
10.根据权利要求9所述的方法,其特征在于,对所述优化后的当前校正表做时域滤波,得到滤波后的当前校正表,具体包括:
通过所述之前光源对应的预选光源类型、所述之前光源的预选光源类型对应的置信度、所述当前光源对应的预选光源类型、所述当前光源的预选光源类型对应的置信度、所述之前光源的色温信息以及所述当前光源的色温信息确定拍摄场景的变化程度;
利用所述拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;
所述优化后的当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
11.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器和存储器;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
拍摄第一图像时,通过多光谱传感器检测当前光源中不同波长范围的光信号的光强度,将其作为多光谱传感器信息;
通过第一对应关系利用当前光源的多光谱传感器信息生成当前光源的光谱信息;所述当前光源的光谱信息用于表示当前光源中多个不同波长的光信号的光强度;所述对应关系为多光谱传感器信息与光谱信息的对应关系;
根据各参考光源的光谱信息以及所述当前光源的光谱信息,确定当前光源对应的预选光源类型以及各光源类型的置信度;所述各参考光源的光谱信息用于表示各参考光源中多个不同波长的光信号的光强度;
获取各参考光源对应的参考校正表;
根据所述预选光源类型、所述各光源类型的置信度和所述各参考光源对应的参考校正表,生成当前光源对应的当前校正表;
利用所述当前校正表对第一图像做颜色阴影校正,得到颜色阴影校正后的第一图像。
12.根据权利要求11所述的电子设备,其特征在于,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一设备执行:
按照各参考光源的色温对各参考光源进行分类,将相同色温或色温范围的参考光源划分为一类时,获取当前光源的色温信息;
根据所述预选光源类型、所述各光源类型的置信度、所述当前光源的色温信息和所述各参考光源对应的参考校正表,生成当前光源对应的当前校正表。
13.根据权利要求12所述的电子设备,其特征在于,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一设备执行:
根据所述当前光源的色温信息确定当前光源对应的目标色温或目标色温范围;
确定所述目标色温或目标色温范围对应的参考光源;
根据所述目标色温或目标色温范围对应的参考光源和所述预选光源类型确定可能的目标光源类型;
根据所述可能的目标光源类型、所述各目标光源类型的置信度、所述目标色温或目标色温范围对应的参考光源对应的参考校正表,生成当前光源对应的当前校正表。
14.根据权利要求11所述的电子设备,其特征在于,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一设备执行:
当按照各参考光源下拍摄的未处理的第一图像的颜色阴影轻重程度将所述各参考光源进行分类时,根据所述预选光源类型和所述各参考光源对应的参考校正表,筛选出各参考光源中部分参考光源对应的参考校正表;
对第一图像进行图像统计,生成图像统计结果;
根据所述部分参考光源对应的参考校正表和所述图像统计结果,确定当前光源对应的当前校正表。
15.根据权利要求14所述的电子设备,其特征在于,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一设备执行:
先确定预选光源类型所属的目标光源组;
从各参考光源对应的参考校正表中,确定所述目标光源组中的参考光源为部分参考光源对应的参考校正表。
16.根据权利要求11-15中任一项所述的电子设备,其特征在于,所述一个或多个处理器还用于调用所述计算机指令以使得所述第一设备执行:
对所述当前光源对应的当前校正表做时域滤波,得到滤波后的当前校正表;
所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一设备执行:
利用所述滤波后的当前校正表对第一图像做颜色阴影校正。
17.根据权利要求16所述的电子设备,其特征在于,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一设备执行:
通过之前光源对应的预选光源类型、所述之前光源的预选光源类型对应的置信度、当前光源对应的预选光源类型、所述当前光源的预选光源类型对应的置信度、之前光源的色温信息以及当前光源的色温信息确定拍摄场景的变化程度;
利用所述拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;
所述当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
18.根据权利要求11-15中任一项所述的电子设备,其特征在于,所述一个或多个处理器还用于调用所述计算机指令以使得所述第一设备执行:
对所述对第一图像进行图像统计,生成图像统计结果;
根据所述图像统计结果对所述当前校正表进行优化,得到优化后的当前校正表;
所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一设备执行:
利用所述优化后的当前校正表对第一图像做颜色阴影校正。
19.根据权利要求18所述的电子设备,其特征在于,所述一个或多个处理器还用于调用所述计算机指令以使得所述第一设备执行:
对所述优化后的当前校正表做时域滤波,得到滤波后的当前校正表;
所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一设备执行:
利用所述滤波后的当前校正表对第一图像做颜色阴影校正。
20.根据权利要求19所述的电子设备,其特征在于,所述一个或多个处理器具体用于调用所述计算机指令以使得所述第一设备执行:
通过所述之前光源对应的预选光源类型、所述之前光源的预选光源类型对应的置信度、所述当前光源对应的预选光源类型、所述当前光源的预选光源类型对应的置信度、所述之前光源的色温信息以及所述当前光源的色温信息确定拍摄场景的变化程度;
利用所述拍摄场景的变化程度确定当前校正表的权重以及对上一帧图像进行校正时所使用的校正表的权重;
所述优化后的当前校正表及其权重以及对上一帧图像进行校正时所使用的校正表及其权重生成滤波后的当前校正表。
21.一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-10中任一项所述的方法。
22.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-10中任一项所述的方法。
23.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-10中任一项所述的方法。
CN202110574325.0A 2021-05-25 2021-05-25 颜色阴影校正方法、电子设备、芯片系统及存储介质 Active CN113905218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110574325.0A CN113905218B (zh) 2021-05-25 2021-05-25 颜色阴影校正方法、电子设备、芯片系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110574325.0A CN113905218B (zh) 2021-05-25 2021-05-25 颜色阴影校正方法、电子设备、芯片系统及存储介质

Publications (2)

Publication Number Publication Date
CN113905218A true CN113905218A (zh) 2022-01-07
CN113905218B CN113905218B (zh) 2022-10-28

Family

ID=79187504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110574325.0A Active CN113905218B (zh) 2021-05-25 2021-05-25 颜色阴影校正方法、电子设备、芯片系统及存储介质

Country Status (1)

Country Link
CN (1) CN113905218B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385566A (zh) * 2022-05-27 2023-07-04 上海玄戒技术有限公司 光源估计方法、装置、电子设备、芯片及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080198240A1 (en) * 2007-02-21 2008-08-21 Stmicroelectronics (Research & Development) Limited Error reduction in image sensors
JP2008277926A (ja) * 2007-04-25 2008-11-13 Kyocera Corp 画像データ処理方法と該方法を用いた撮像装置
US20090251567A1 (en) * 2006-04-06 2009-10-08 Dxo Labs Processing method for a relative illumination phenomenon on a digital image and associated processing system
CN102104709A (zh) * 2009-12-21 2011-06-22 展讯通信(上海)有限公司 相机拍摄图像的处理方法及相机
WO2015020958A2 (en) * 2013-08-07 2015-02-12 Qualcomm Incorporated Dynamic color shading correction
US20150271460A1 (en) * 2014-03-18 2015-09-24 Samsung Techwin Co., Ltd. White balance correcting apparatus and white balance correcting method
CN104952102A (zh) * 2015-06-12 2015-09-30 浙江大学 面向延迟着色的统一反走样方法
US9186909B1 (en) * 2014-09-26 2015-11-17 Intel Corporation Method and system of lens shading color correction using block matching
CN105100550A (zh) * 2014-04-21 2015-11-25 展讯通信(上海)有限公司 阴影校正方法及装置、成像系统
US9367916B1 (en) * 2014-12-10 2016-06-14 Intel Corporation Method and system of run-time self-calibrating lens shading correction
CN111586300A (zh) * 2020-05-09 2020-08-25 展讯通信(上海)有限公司 颜色校正方法、装置及可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090251567A1 (en) * 2006-04-06 2009-10-08 Dxo Labs Processing method for a relative illumination phenomenon on a digital image and associated processing system
US20080198240A1 (en) * 2007-02-21 2008-08-21 Stmicroelectronics (Research & Development) Limited Error reduction in image sensors
JP2008277926A (ja) * 2007-04-25 2008-11-13 Kyocera Corp 画像データ処理方法と該方法を用いた撮像装置
CN102104709A (zh) * 2009-12-21 2011-06-22 展讯通信(上海)有限公司 相机拍摄图像的处理方法及相机
WO2015020958A2 (en) * 2013-08-07 2015-02-12 Qualcomm Incorporated Dynamic color shading correction
US20150271460A1 (en) * 2014-03-18 2015-09-24 Samsung Techwin Co., Ltd. White balance correcting apparatus and white balance correcting method
CN105100550A (zh) * 2014-04-21 2015-11-25 展讯通信(上海)有限公司 阴影校正方法及装置、成像系统
US9186909B1 (en) * 2014-09-26 2015-11-17 Intel Corporation Method and system of lens shading color correction using block matching
US9367916B1 (en) * 2014-12-10 2016-06-14 Intel Corporation Method and system of run-time self-calibrating lens shading correction
CN104952102A (zh) * 2015-06-12 2015-09-30 浙江大学 面向延迟着色的统一反走样方法
CN111586300A (zh) * 2020-05-09 2020-08-25 展讯通信(上海)有限公司 颜色校正方法、装置及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385566A (zh) * 2022-05-27 2023-07-04 上海玄戒技术有限公司 光源估计方法、装置、电子设备、芯片及存储介质
CN116385566B (zh) * 2022-05-27 2024-04-30 上海玄戒技术有限公司 光源估计方法、装置、电子设备、芯片及存储介质

Also Published As

Publication number Publication date
CN113905218B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
US10070104B2 (en) Imaging systems with clear filter pixels
EP1774797B1 (en) Automatic white balance method and apparatus
CN111698434B (zh) 图像处理设备及其控制方法和计算机可读存储介质
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
KR101767093B1 (ko) 색감 복원 방법 및 장치
US9426437B2 (en) Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
US8629919B2 (en) Image capture with identification of illuminant
US8860798B2 (en) Image-capturing device and image processing method
US8717460B2 (en) Methods and systems for automatic white balance
US11323632B2 (en) Electronic device and method for increasing exposure control performance of a camera by adjusting exposure parameter of the camera
US20200228770A1 (en) Lens rolloff assisted auto white balance
CN113727085B (zh) 一种白平衡处理方法、电子设备、芯片系统和存储介质
CN113905218B (zh) 颜色阴影校正方法、电子设备、芯片系统及存储介质
US11457189B2 (en) Device for and method of correcting white balance of image
US20230069500A1 (en) Tone mapping for image capture
US20200228769A1 (en) Lens rolloff assisted auto white balance
CN115802183B (zh) 图像处理方法及其相关设备
CN115550575A (zh) 图像处理方法及其相关设备
CN114945087B (zh) 基于人脸特征的图像处理方法、装置、设备及存储介质
CN115955611B (zh) 图像处理方法与电子设备
US11943533B2 (en) Lens mode auto-detection
WO2023124165A1 (zh) 一种图像处理方法及相关电子设备
CN116437060B (zh) 一种图像处理方法及相关电子设备
US20150206287A1 (en) Denoising Raw Image Data Using Content Adaptive Orthonormal Transformation with Cycle Spinning
CN114359101A (zh) 图像处理方法、图像处理装置、存储介质与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant