CN115499631A - 一种图像处理方法、装置、芯片及模组设备 - Google Patents
一种图像处理方法、装置、芯片及模组设备 Download PDFInfo
- Publication number
- CN115499631A CN115499631A CN202211103019.XA CN202211103019A CN115499631A CN 115499631 A CN115499631 A CN 115499631A CN 202211103019 A CN202211103019 A CN 202211103019A CN 115499631 A CN115499631 A CN 115499631A
- Authority
- CN
- China
- Prior art keywords
- compensation table
- initial compensation
- initial
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 93
- 238000003705 background correction Methods 0.000 claims abstract description 79
- 238000004891 communication Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 abstract description 15
- 238000004422 calculation algorithm Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000001218 confocal laser scanning microscopy Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000006234 thermal black Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像处理方法、装置、芯片及模组设备,涉及电子技术领域,该方法包括:从预存的初始补偿表中获取第一初始补偿表,第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理;调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理。基于本申请所描述的方法,有利于提高软件模块进行颜色阴影矫正处理的效率。
Description
技术领域
本发明涉及电子技术领域,尤其涉及一种图像处理方法、装置、芯片及模组设备。
背景技术
颜色阴影(Color Shading)是一种常见的镜头阴影,具体表现为图像中心与四周颜色不一致,由于镜头对不同光谱光线的折射程度不同,导致不同波长的光线落在图像传感器(sensor)的不同位置,不同光源色温下,R、G、B通道的衰减趋势不同,导致图像四周和中心的颜色存在偏差,图像的色彩均匀性较差,严重影响图像质量。针对该问题,一般在拍摄原始图像后,基于一个补偿表对该原始图像进行颜色阴影校正。
现代相机系统是一个综合性的软硬件体系,存在一个复杂的处理流程,并不是单一的软件算法处理或者直接的硬件输出。因此,在现有的现代相机系统中的软件模块和硬件模块都会使用到相同的补偿表做双三次插值对图像进行颜色校正。由于硬件模块和软件代码的执行方式完全不同,硬件模块是完全针对于颜色阴影矫正的补偿表对应的算法而设计的,但软件模块并不是针对的颜色阴影矫正的补偿表对应的算法设计,这就导致在拍摄或者预览流程的后端,通过软件模块对图像进行颜色校正时效率低,需要较长的运算时间。
发明内容
本申请提供一种图像处理方法、装置、芯片及模组设备,有利于提高软件模块进行颜色阴影矫正处理的效率。
第一方面,本申请提供了一种图像处理方法,该方法包括:从预存的初始补偿表中获取第一初始补偿表,第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理,第二初始补偿表的宽度为M,第二初始补偿表的长度为N,第二初始补偿表存储了M×N个补偿系数,第一初始补偿表的宽度为K×M,第一初始补偿表的长度为K×N,第一初始补偿表存储了K×M×K×N个补偿系数,M、N和K均为大于1的正整数;调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理。
基于第一方面所描述的方法,由于软件模块在对补偿表进行双三次插值处理的过程中,处理速率较慢,而第一初始补偿表是预先对第二初始补偿表进行双三次插值处理进行放大后得到的,软件模块直接从预存的初始补偿表中获取第一初始补偿表,无需再进行双三次插值处理,因此基于本申请所描述的方法,可以提高软件模块进行颜色阴影矫正处理的效率。
在一种可能的实现方式中,该方法还包括:S1、采用双三次插值该方法放大L倍第二初始补偿表,得到第三初始补偿表,L为大于1且小于或等于K的正整数;S2、采用双三次插值该方法放大P×L倍第二初始补偿表,得到第四初始补偿表,该P为大于1的正整数;S3、采用双线性插值该方法放大P倍第三初始补偿表,得到第五初始补偿表;S4、计算第四初始补偿表和第五初始补偿表之间的误差;若误差小于或等于第一阈值,则确定第三初始补偿表为第一初始补偿表,并保存第一初始补偿表;若误差大于第一阈值,则增加L的值,并重新执行步骤S1~步骤S4。基于该实现方式,当计算出的误差值若小于或等于第一阈值,则说明若软件模块采用当前通过第二初始补偿表得到的第三初始补偿表进行颜色阴影补偿得到的结果,与硬件模块采用第二初始补偿表进行颜色阴影补偿得到的结果误差较小,可以近似看作是一致的。因此,基于该实现方式,有利于能够保证硬件模块和软件模块进行颜色阴影矫正处理结果的一致性。
在一种可能的实现方式中,该方法还包括:若L的值大于或等于第二阈值,则确定最后一次执行步骤S1得到的第三初始补偿表为第一初始补偿表,并保存第一初始补偿表。基于该实现方式,当L的值大于或等于第二阈值时,由于镜头阴影(Lenz Shade)曲线是一个缓慢变化的弧线,通过增加L的值的大小降低通过第三初始补偿表得到的第五初始补偿表与第四初始补偿表之间的误差有限,且同时L的值越大,则第三初始补偿表也越大,预存过大的补偿表也会对电子设备的存储空间造成负担。因此,若L的值大于或等于第二阈值,则确定第三初始补偿表为第一初始补偿表,并保存第一初始补偿表,有利于降低设备负担。
在一种可能的实现方式中,第二初始补偿表的数量为多个,预存的初始补偿表包括多个第一初始补偿表,一个第一初始补偿表对应一个色温,多个第一初始补偿表对应的色温互不相同;从预存的初始补偿表中获取第一初始补偿表,具体实现方式为:基于目标图像的色温从预存的初始补偿表中确定两个第一初始补偿表,目标图像的色温的大小位于两个第一初始补偿表对应的两个色温的大小之间;调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理,具体实现方式为:基于两个第一初始补偿表和目标插值系数,确定第一目标补偿表;调用软件模块基于第一目标补偿表对目标图像进行颜色阴影矫正处理。基于该实现方式,通过确定最适合当前光源的第一初始目标表以及目标插值系数,得到当前光源色温对应的目标补偿表,有利于准确地对当前光源的颜色阴影进行补偿,有效提高颜色阴影校正效果。
在一种可能的实现方式中,在基于两个第一初始补偿表和目标插值系数确定第一目标补偿表之前,该方法还包括:根据第一步长,从第一取值范围内确定多个第一可选插值系数,其中,第一步长的值小于第一取值范围中最大值与最小值之差,第一步长为相邻两个第一可选插值系数之间的差值;S5、基于两个第一初始补偿表和多个第一可选插值系数对降采样后的目标图像进行颜色阴影校正得到多个校正后的统计值图像;S6、基于多个校正后的统计值图像确定多个第一可选插值系数所对应的多个第一误差值;若不满足预设迭代条件,则基于多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,并将多个第二可选插值系数作为新的多个第一可选插值系数,再次执行步骤S5和步骤S6,预设迭代条件为多个第一误差值中的最小的第一误差值小于第三阈值或者迭代次数超过第四阈值;若满足预设迭代条件,则将最后一次执行步骤S6时多个第一误差值中的最小误差值对应的插值系数确定为目标插值系数。基于该实现方式,当多个第一误差值中的最小的第一误差值小于第三阈值,则说明当前最小的第一误差值对应的第一可选插值系数的误差较小,可以确定为目标插值系数,从而能够提高软件模块进行颜色阴影矫正补偿的效果。迭代次数也可以理解为循环的次数,即指执行步骤S402的次数,由于循环次数越多,效率越低,对设备的负担要求更高,通过限定迭代次数超过第四阈值,有利于提高进行颜色阴影矫正处理的效率,同时也能够降低设备的负担。
在一种可能的实现方式中,基于多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,具体实现方式为:根据多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定第二取值范围;根据第二步长,从第二取值范围确定多个第二可选插值系数,其中,第二步长小于第二取值范围中最大值与最小值的差值,第二步长为相邻两个第一可选插值系数之间的差值。基于该实现方式,有利于能够确定误差值更小的目标插值系数,从而提高软件模块对图像进行颜色阴影矫正处理的效果。
在一种可能的实现方式中,基于多个校正后的统计值图像确定多个第一可选插值系数所对应的多个第一误差值,具体实现方式为:将基于第一可选插值系数校正后的统计值图像中的子图像块的R通道与G通道的比值转换到对数域,得到第一子误差值,校正后的统计值图像包括多个子图像块;将子图像块的B通道与G通道的比值转换到对数域,得到第二子误差值;确定第一子误差值和第二子误差值的方差为子图像块的误差值;基于统计值图像的多个子图像块的误差值,确定第一可选插值系数对应的第一误差值。
第二方面,本申请提供一种装置,该装置包括:获取单元和处理单元;该获取单元,用于从预存的初始补偿表中获取第一初始补偿表,第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理,第二初始补偿表的宽度为M,第二初始补偿表的长度为N,第二初始补偿表存储了M×N个补偿系数,第一初始补偿表的宽度为K×M,第一初始补偿表的长度为K×N,第一初始补偿表存储了K×M×K×N个补偿系数,M、N和K均为大于1的正整数;处理单元,用于调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理。
第三方面,本申请提供了一种芯片,该芯片包括处理器和通信接口,处理器被配置用于使芯片执行上述第一方面或其任一种可能的实现方式中的方法。
第四方面,本申请提供了一种模组设备,该模组设备包括通信模组、电源模组、存储模组以及芯片,其中:该电源模组用于为该模组设备提供电能;该存储模组用于存储数据和指令;该通信模组用于进行模组设备内部通信,或者用于该模组设备与外部设备进行通信;该芯片用于执行上述第一方面或其任一种可能的实现方式中的方法。
第五方面,本发明实施例公开了一种电子设备,该电子设备包括存储器和处理器,该存储器用于存储计算机程序,该计算机程序包括程序指令,该处理器被配置用于调用该程序指令,执行上述第一方面或其任一种可能的实现方式中的方法。
第六方面,本申请提供了一种计算机可读存储介质,该计算机存储介质中存储有计算机可读指令,当该计算机可读指令在装置上运行时,使得该装置执行上述第一方面或其任一种可能的实现方式中的方法。
第七方面,本申请提供一种计算机程序或计算机程序产品,包括代码或指令,当代码或指令在计算机上运行时,使得计算机执行如第一方面或其任一种可能的实现方式中的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的流程示意图;
图2是本申请实施例提供的一种预存第一初始补偿表方法的流程示意图;
图3是本申请实施例提供的又一种图像处理方法的流程示意图;
图4是本申请实施例提供的一种迭代查找法的流程示意图;
图5为本申请实施例提供的一种电子设备的结构示意图;
图6是本申请实施例提供的一种电子设备的结构示意图;
图7是本申请实施例提供的一种装置的结构示意图;
图8是本申请实施例提供的一种模组设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
需要说明的是,本申请的说明书和权利要求书中及上述附图中的属于“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述以外的顺序实施。此外,术语“包括”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
颜色阴影(Color Shading)是一种常见的镜头阴影,具体表现为图像中心与四周颜色不一致,由于镜头对不同光谱光线的折射程度不同,导致不同波长的光线落在图像传感器(sensor)的不同位置,不同光源色温下,R、G、B通道的衰减趋势不同,导致图像四周和中心的颜色存在偏差,图像的色彩均匀性较差,严重影响图像质量。针对该问题,一般在拍摄原始图像后,基于一个补偿表对该原始图像进行颜色阴影校正。
现代相机系统是一个综合性的软硬件体系,存在一个复杂的处理流程,并不是单一的软件算法处理或者直接的硬件输出,包含若干硬件流水线和若干软件后处理。根据拍照/预览流程的场景设计,硬件流水线和软件链路也会动态设置。同时,对图像处理的很多算法也会同时存在于硬件流水线和软件库中,根据拍照或者预览流程的配置,这些算法可能在硬件中被启用,也可能在软件链路中被调用,或者需要多次调用,或者调用的顺序会被调整,或者要同时对多路数据进行处理,或者通过异构模式对同一帧数据进行拆分处理。因此,为了能够避免图像中出现颜色阴影,在现有的现代相机系统中的软件模块和硬件模块可能都会使用到相同的补偿表做双三次插值将补偿表进行放大,然后对图像进行颜色校正。双三次插值是二维空间中常用的插值方法,在这种方法中,函数f在点(x,y)的值可以通过矩形网格中最近的十六个采样点的加权平均得到,需要使用两个多项式插值三次函数,每个方向使用一个。由于硬件模块和软件代码的执行方式完全不同,硬件模块是完全针对于颜色阴影矫正的补偿表对应的算法而设计的,但软件模块并不是针对的颜色阴影矫正的补偿表对应的算法设计,软件模块在对补偿表进行双三次插值处理的过程中,处理速率较慢,这就导致在拍摄或者预览流程的后端,通过软件模块对图像进行颜色校正时效率低,需要较长的运算时间。
为了能够有利于提高软件模块进行颜色阴影矫正处理的效率,本申请提出了一种图像处理方法,该方法包括:从预存的初始补偿表中获取第一初始补偿表,第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理;调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理。由于软件模块在对补偿表进行双三次插值处理的过程中,处理速率较慢,而第一初始补偿表是预先对第二初始补偿表进行双三次插值处理进行放大后得到的,软件模块直接从预存的初始补偿表中获取第一初始补偿表,无需再进行双三次插值处理,因此基于本申请所描述的方法,可以提高软件模块进行颜色阴影矫正处理的效率。
下面对本申请实施例提供的图像处理方法进一步进行详细描述:
请参见图1,图1是本申请实施例提供的一种图像处理方法的流程示意图。图1所示的方法执行主语可以为电子设备,或主语可以为电子设备中的芯片。图1以电子设备为方法的执行主体为例进行说明。本申请实施例的其他附图所示的图像处理方法的执行主语同理,后文不再赘述。图1所示的图像处理方法包括步骤101和步骤102。其中:
101、从预存的初始补偿表中获取第一初始补偿表,第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理。
本申请实施例中,补偿表包括了用于对图像进行颜色阴影矫正处理的数据,电子设备可以通过补偿表对图像进行颜色阴影矫正处理。其中,第二初始补偿表用于硬件模块进行颜色阴影矫正处理,第二初始补偿表的宽度为M,第二初始补偿表的长度为N,第二初始补偿表存储了M×N个补偿系数,M和N为大于1的正整数。其中,由于硬件模块中的存储空间有限,且硬件模块的对补偿表进行双三次插值放大处理的速率较快,通常情况下,存储于硬件模块中的第二初始补偿表较小。而软件模块在对补偿表进行双三次插值处理的过程中,处理速率较慢。因此,在本申请所描述的方法中,预先对用于第二初始补偿表进行双三次插值处理放大K倍得到第一初始补偿表,第一初始补偿表的宽度为K×M,第一初始补偿表的长度为K×N,第一初始补偿表存储了K×M×K×N个补偿系数,K为大于1的正整数。由于软件模块在对补偿表进行双三次插值处理的过程中,处理速率较慢,而第一初始补偿表是预先对第二初始补偿表进行双三次插值处理进行放大后得到的,软件模块直接从预存的初始补偿表中获取第一初始补偿表,无需再进行双三次插值处理,因此,基于本申请所描述的方法,可以提高软件模块进行颜色阴影矫正处理的效率。
在一种可能的实现方式中,电子设备在在使用两种大小的补偿表进行颜色阴影补偿时,将会采用不同的插值算法,例如,硬件模块使用第二初始补偿表时,采用的是双三次插值进行补偿,软件模块在使用第一初始补偿表时,使用双线性插值进行补偿。使用的是双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在两个方向分别进行一次线性插值。因为双线性插值算法流程简单,相对于双三次插值算法效率更高,因此可以提高软件模块进行颜色阴影矫正处理的效率。然而,由于双三次插值算法和双线性插值算法不同,因此通过硬件模块进行颜色阴影矫正处理和通过软件模块进行颜色阴影矫正处理得到的结果可能不同,为了能够保证硬件模块和软件模块进行颜色阴影矫正处理结果的一致性,该方法可以还包括预存第一初始补偿表的方法,具体流程如图2所示:
S201、采用双三次插值该方法放大L倍第二初始补偿表,得到第三初始补偿表,L为大于1且小于或等于K的正整数。
S202、采用双三次插值该方法放大P×L倍第二初始补偿表,得到第四初始补偿表,P为大于1的正整数。
S203、采用双线性插值该方法放大P倍第三初始补偿表,得到第五初始补偿表。
S204、计算第四初始补偿表和第五初始补偿表之间的误差。
第二初始补偿表的宽度为M,长度为N,存储了M×N个补偿系数,因此采用双三次插值该方法放大L倍第二初始补偿表得到的第三初始补偿表的宽度为L×M,长度为L×N,共存储了L×M×L×N个补偿系数。再采用双线性插值该方法放大P倍第三初始补偿表得到第五初始补偿表的宽度为L×P×M,长度为L×P×M,共存储了L×P×M×L×P×N个补偿系数。采用双三次插值该方法放大P×L倍第二初始补偿表,得到第四初始补偿表宽度为L×P×M,长度为L×P×M,共存储了L×P×M×L×P×N个补偿系数。可见,第五初始补偿表的大小和第四初始补偿表的大小是相同的,因此,可以计算第五初始补偿表的大小和第四初始补偿表的大小之间的误差。可选的,第五初始补偿表和第四初始补偿表的误差可以通过公式(1)进行计算:
E=max(|T5(i,j)-T4(i,j)|)i∈[1,x]j∈[1,y](1)
其中,E表示第五初始补偿表和第四初始补偿表的误差,第五初始补偿表和第四初始补偿表分别存储了x×y个补偿系数,x表示第四初始补偿表和第五初始补偿表的宽度,y表示第四初始补偿表和第五初始补偿表的长度,x和y均为大于1的整数,T4表示第四初始补偿表,T5表示第五初始补偿表,T4(i,j)表示第四初始补偿表中第i行,第j列的补偿系数,T5(i,j)表示第五初始补偿表中第i行,第j列的补偿系数,i的取值为1至x之间的整数(包括1和x),j的取值范围为1至y之间的整数(包括1和y),函数符号||表示取绝对值,函数max()表示求最大值,其用于返回指定表达式中的最大值,因此,E等于第五初始补偿表和第四初始补偿表相同位置的补偿系数之差的绝对值中的最大值。
需要说明的是,第五初始补偿表和第四初始补偿表的误差还可以通过其他方式计算,例如,第五初始补偿表和第四初始补偿表的误差等于,第五初始补偿表和第四初始补偿表相同位置的补偿系数之差的绝对值的平均值,本申请实施例对此不作限定。
S205、确定误差是否小于或等于第一阈值,或者,L的值是否大于或等于第二阈值。若误差小于或等于第一阈值,或者,L的值大于或等于第二阈值,则执行步骤S206,若误差大于第一阈值且L的值小于第二阈值,执行步骤S207。
S206、确定第三初始补偿表为第一初始补偿表,并保存第一初始补偿表。
S207、增加L的值,并重新执行步骤S201~步骤S204。
当计算出的误差值若小于或等于第一阈值,则说明若软件模块采用第三初始补偿表进行颜色阴影补偿得到的结果,与硬件模块采用第二初始补偿表进行颜色阴影补偿得到的结果误差较小,可以近似看作是一致的。因此,基于该实现方式,有利于能够保证硬件模块和软件模块进行颜色阴影矫正处理结果的一致性。
当计算出的误差值大于第一阈值时,则说明若软件模块采用第三初始补偿表进行颜色阴影补偿得到的结果,与硬件模块采用第二初始补偿表进行颜色阴影补偿得到的结果误差较大,因此需要采用增加L的值的方式,提高第三初始补偿表的精度,降低第五初始补偿表与第四初始补偿表之间的误差。其中,增加L的值可以为在原有L的值的基础上增加单位数值,该单位数值大小可以为任意数值,例如,L原本为8,单位数值为2,在增加单位数值后得到的L的值为10。或者增加L的值也可以为在原有的L的值上乘单位数值,该单位数值大小可以为任意数值,例如,L原本为8,单位数值为2,在增加单位数值后得到的L的值为16。其中,在最终执行步骤206时,此时的L的值的大小与上述步骤101中的K相同。
当L的值大于或等于第二阈值时,由于镜头阴影(Lenz Shade)曲线是一个缓慢变化的弧线,通过增加L的值的大小降低第五初始补偿表与第四初始补偿表之间的误差有限,且同时L的值越大,则第三初始补偿表也越大,预存过大的补偿表也会对电子设备的存储空间造成负担。因此,若L的值大于或等于第二阈值,则确定第三初始补偿表为第一初始补偿表,并保存第一初始补偿表,有利于降低设备负担。
102、调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理。
本申请实施例中,电子设备在在使用两种大小的补偿表进行颜色阴影补偿时,将会采用不同的插值算法,硬件模块使用第二初始补偿表时,采用的是双三次插值进行补偿,软件模块在使用第一初始补偿表时,使用双线性插值进行补偿。由于,双线性插值算法流程简单,相对于双三次插值算法效率更高,因此可以提高软件模块进行颜色阴影矫正处理的效率。
通常,人们在进行颜色阴影矫正时,会预先在多个标准光源下,通过手电子设备分别拍摄多张原始图像,并分别基于原始图像标定得到各光源下的镜头阴影补偿表,存储在设备中。在实际场景拍摄图像时,根据当前场景光源,调用存储的补偿表对当前场景光源图像进行颜色阴影补偿。由于实际环境的光源比较复杂,因此拍摄照片时所处的位置不同场景不同,拍摄所得到的照片的色温也会不同。直接调用预先标定的补偿表,不能较好地适应复杂光源场景,导致颜色阴影校正效果不理想。
为了能够提高软件模块进行颜色阴影矫正补偿的效果,本申请实施例提出了一种图像处理的方法,请参见图3,图3是本申请实施例提供的一种图像处理方法的流程示意图,该方法为图1所示方法的一种具体的实现方式。图3所示的方法执行主语可以为电子设备,或主语可以为电子设备中的芯片。图3以电子设备为方法的执行主体为例进行说明。本申请实施例的其他附图所示的图像处理方法的执行主语同理。图3所示的图像处理方法包括步骤301~步骤303。其中:
301、基于目标图像的色温从预存的初始补偿表中确定两个第一初始补偿表,目标图像的色温的大小位于两个第一初始补偿表对应的两个色温的大小之间。
本申请实施例中,色温是表示光线中包含颜色成分的一个计量单位。光源的色温是通过对比它的色彩和理论的热黑体辐射体来确定的。可选地,电子设备可以通过目标图像中的R通道、B通道和G通道确定目标图像的色温。
其中,电子设备预先确定多个第二初始补偿表,一个第二初始补偿表对应一个色温,多个第二初始补偿表对应的色温互不相同。可选地,电子设备预先确定第二初始补偿表的具体实现方式为:电子设备在暗室的环境下,将电子设备的参数调整至拍摄要求,将电子设备的摄像头用毛玻璃片遮挡,对着灯箱中心,在不同色温的光源下拍摄用于标定的原始图像,一张原始图像对应一个色温光源;然后电子设备根据多张原始图像确定多张第二初始补偿表,以及这多张第二初始补偿表对应的色温。
基于上述的方法,电子设备为了能够提高软件模块进行颜色阴影矫正补偿的效率,将基于多个第二初始补偿表得到多个第一初始补偿表,具体实现方式可以参见上述步骤101中的描述,本申请实施例在此不作赘述。电子设备将确定的多个第一初始补偿表存储在预存的初始补偿表中,由于一个第二初始补偿表对应一个色温,对应的,也可以确定每个第一初始补偿表对应的色温,且多个第一初始补偿表对应的色温互不相同。电子设备可以根据目标图像的色温,从预存的初始补偿表中确定两个第一初始补偿表,且目标图像的色温的大小位于两个第一初始补偿表对应的两个色温的大小之间。示例性的,假设预存的初始补偿表中包含4个第一初始补偿表,分别为补偿表1、补偿表2、补偿表3和补偿表4,其中,补偿表1对应的色温为3000K,补偿表2对应的色温为4000K,补偿表3对应的色温为5000K,补偿表4对应的色温为6000K。假设目标图像的色温为4500K,由于4500K在4000K和5000K之间,因此电子设备从预存的初始补偿表中确定两个第一初始补偿表分别为补偿表2和补偿表3。
302、基于两个第一初始补偿表和目标插值系数,确定第一目标补偿表。
本申请实施例中,可以通过公式(2)确定第一目标补偿表:
Table1=Tablea×ratio+Tableb×(1-ratio)(2)
其中,Table1为第一目标补偿表,Tablea和Tableb分别指两个第一初始补偿表,ratio为目标插值系数。
在一种可能的实现方式中,目标插值系数有以下两种确定方式:
方式一、基于两个第一初始补偿表所对应的色温和目标图像的色温确定。具体可以通过公式(3)表示:
其中,ratio表示目标插值系数,colora和colorb分别为两个第一初始补偿表对应的色温,colora是补偿表Tablea对应的色温,colorb是补偿表Tableb对应的色温,colorc是目标图像的色温。示例性的,假设目标图像的色温为4300K,电子设备从预设的初始补偿表中确定的两个第一初始补偿表分别为Tablea和Tableb,Tablea对应的色温为4000K,Tableb对应的色温为5000K。基于上述公式(3)可以确定目标插值系数ratio的大小为0.7。
方式二、采用迭代查找法,确定补偿效果误差最小的目标插值系数,具体实现方式可以参见图4所示,包括步骤S401~步骤S406。
S401、根据第一步长,从第一取值范围内确定多个第一可选插值系数,其中,第一步长的值小于第一取值范围中最大值与最小值之差,第一步长为相邻两个第一可选插值系数之间的差值。
其中,第一取值范围可以表示为[x,y],x和y可以为任意数值,x小于y,第一步长表示为s,第一步长为相邻两个第一可选插值系数之间的差值,因此,多个第一可选插值系数具体可以表示为{x,x+s,x+2×s,…,y}。示例性的,假设第一步长为0.2,第一取值范围为0至1,第一步长为相邻两个第一可选插值系数之间的差值,因此可以确定多个第一可选插值系数分别为0、0.2、0.4、0.6、0.8、1。
S402、基于两个第一初始补偿表和多个第一可选插值系数对降采样后的目标图像进行颜色阴影校正得到多个校正后的统计值图像。
可选地,步骤S402可以通过公式(4)表示:
lscm_apply_table=LSCM×tablea×ratios+LSCM×tableb×(1-ratios)(4)
其中,lscm_apply_table表示校正后的统计值图像,LSCM表示降采样的目标图像,采样用于降低目标图像对应的数据大小,采用迭代查找法确定目标插值系数需要进行多次迭代循环,此时采用降采样后的目标图像,有利于降低电子设备的运算量,提高效率。Tablea和Tableb指两个第一初始补偿表,ratios表示第一可选插值系数
S403、基于多个校正后的统计值图像确定多个第一可选插值系数所对应的多个第一误差值。
可选地,确定第一误差值的具体实现方式包括如下步骤S403a~步骤S403d:
S403a、将基于第一可选插值系数校正后的统计值图像中的子图像块的R通道与G通道的比值转换到对数域,得到第一子误差值;
S403b、将子图像块的B通道与G通道的比值转换到对数域,得到第二子误差值;
S403c、确定第一子误差值和第二子误差值的方差为子图像块的误差值;
具体的,在得到统计值图像lscm_apply_table之后,将统计值图像lscm_apply_table划分P×Q个子图像块,然后分别计算每个子图像块的误差值,P和Q均为正整数。其中,对于第i个(i为1至P×Q中的一个正整数)子图像块,将子图像块的R通道与G通道的比值转换到对数域得到第一子误差值error_r,子图像块的B通道与G通道的比值转换到对数域得到第二子误差值error_b,然后计算error_r,error_b的方差之和,得到第i子图像块的误差值,记为error_value。基于该方法,可以基于P×Q个子图像块得到对应的P×Q个误差值。通常情况下,拍摄得到的图像中,色彩是均衡的,即R通道、B通道和G通道的值是接近的,因此,基于该实现方式计算误差值,可以避免用户拍摄的图像出现较大的色差。
S403d、基于统计值图像的多个子图像块的误差值,确定第一可选插值系数对应的第一误差值。
可选地,步骤S403d的具体实现方式为:计算多个子图像块的误差值的平均值;基于多个子图像块的误差值的平均值计算多个子图像块的权重;基于多个子图像块的权重和多个子图像块的误差值确定第一误差值。
进一步可选地,多个子图像块的权重可以通过公式(5)计算:
其中,errorweight(i)表示第i个子图像块的权重,统计值图像lscm_apply_table划分P×Q个子图像块,i为1至P×Q中的一个正整数,error_value(i)表示第i个子图像块的误差值,avg_error_value表示多个子图像块的误差值的平均值。
进一步可选地,第一误差值可以通过公式(6)计算:
其中,error表示第一误差值,errorweight(i)表示第i个子图像块的权重,error_value(i)表示第i个子图像块的误差值。
基于该实现方式,对于不同子图像块的误差值赋予不同的权重,充分考虑到各个子图像块的误差值对误差的重要程度,使误差计算更准确,从而保证补偿表的最优插值系数计算更准确,使得最终得到的目标补偿表为最适合当前光源色温的补偿表。
S404、确定是否满足预设迭代条件。若不满足预设迭代条件,则执行步骤S406,若满足预设迭代条件,则执行步骤S405。
其中,预设迭代条件为多个第一误差值中的最小的第一误差值小于第三阈值或者迭代次数超过第四阈值。当多个第一误差值中的最小的第一误差值小于第三阈值,则说明当前最小的第一误差值对应的第一可选插值系数的误差较小,可以确定为目标插值系数,从而能够提高软件模块进行颜色阴影矫正补偿的效果。迭代次数也可以理解为循环的次数,即指执行步骤S402的次数,由于循环次数越多,效率越低,对设备的负担要求更高,通过限定迭代次数超过第四阈值,有利于提高进行颜色阴影矫正处理的效率,同时也能够降低设备的负担。
需要说明的是,预设迭代条件还可以为其他条件,本申请实施例对此不作限定。
S405、若满足预设迭代条件,则将最后一次执行步骤S403时,多个第一误差值中的最小误差值对应的插值系数确定为目标插值系数。
S406、基于多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,并将多个第二可选插值系数作为新的多个第一可选插值系数,再次执行步骤S405和步骤S406。
可选地,基于多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,具体实现方式为:根据多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定第二取值范围;根据第二步长,从第二取值范围确定多个第二可选插值系数,其中,第二步长小于第二取值范围中最大值与最小值的差值,第二步长为相邻两个第一可选插值系数之间的差值。
示例性的,以第一步长为第一取值范围为[0,1],其中,第一可选插值系数包括假设经过第一次计算得到最小的第一误差值对应第一可选插值系数是第一取值范围中的中间点,例如为则确定临近的两个第一可选插值系数,即和此时可以确定第二取值范围为假设第二步长为则根据第二步长,从第二取值范围确定多个第二可选插值系数为假设经过第一次计算得到最小的第一误差值对应第一可选插值系数是第一取值范围中的最大值或者最小值,例如为0,则确定0临近的一个第一可选插值系数,即此时可以确定第二取值范围为假设第二步长为则根据第二步长,从第二取值范围确定多个第二可选插值系数为
基于上述所描述的迭代查找法,有利于能够确定误差值更小的目标插值系数,从而提高软件模块对图像进行颜色阴影矫正处理的效果。
在一种可能的实现方式中,该目标插值系数也可以是由硬件模块确定的,软件模块可以直接使用由硬件模块确定的目标插值系数用于确定第一目标补偿表。可选地,电子设备中的硬件模块可以通过两个第二初始补偿表所对应的色温和目标图像的色温确定目标插值系数,具体实现方式与上述所描述的方式一相同,本申请实施例在此不作赘述。可选地,电子设备中的硬件模块还可以采用迭代查找法,确定补偿效果误差最小的目标插值系数,具体实现方式与上述所描述的方式二相同,本申请实施例在此不作赘述。
303、调用软件模块基于第一目标补偿表对目标图像进行颜色阴影矫正处理。
本申请实施例中,由于第一目标补偿表是基于两张第一初始补偿表和目标插值系数得到的,因此大小与第一初始补偿表是相同的,第一目标补偿表的大小大于第二初始补偿表。电子设备在在使用两种大小的补偿表进行颜色阴影补偿时,将会采用不同的插值算法,硬件模块使用补偿表时,采用的是双三次插值进行补偿,软件模块在使用补偿表时,使用双线性插值进行补偿。由于,双线性插值算法流程简单,相对于双三次插值算法效率更高,因此,基于该实现方式,同样也可以提高软件模块进行颜色阴影矫正处理的效率。
同理,硬件模块也可以基于目标图像的色温确定两个第二初始补偿表,基于插值系数和两个第二初始补偿表确定目标补偿表从而对目标图像进行颜色阴影矫正处理,具体的实现方式与上述软件模块的实现方式相同,本申请实施例不再赘述。
在另一种可能的实现方式中,该方法还可以无需基于目标图像的色温从预存的初始补偿表中确定两个第一初始补偿表,而是通过最小误差值确定两个第一初始补偿表,具体实现方式为:基于预存的初始补偿表确定多个补偿表组合,每个补偿表组合中包括两个第一初始补偿表;分别确定每个补偿表组合在不同插值系数下进行颜色阴影校正的误差值,并确定最小误差值对应的目标补偿表组合以及目标插值系数;根据目标补偿表组合中的两个第一初始补偿表、以及目标插值系数确定目标补偿表,并调用软件模块基于该目标补偿表进行颜色阴影校正处理。
其中,基于预存的初始补偿表确定多个补偿表组合,具体实现方式为,将预存的初始补偿表中多个第一初始补偿表进行两两组合从而确定多个补偿表组合。可选地,一个补偿表组合中的两个第一初始补偿表对应的色温值是相邻的,示例性的,预存的初始补偿表中包含4张第一初始补偿表,分别为补偿表1、补偿表2、补偿表3和补偿表4,其中,补偿表1对应的色温为3000K,补偿表2对应的色温为4000K,补偿表3对应的色温为5000K,补偿表4对应的色温为6000K。设定一个补偿表组合中的两个第一初始补偿表对应的色温值是相邻的,可以得到如下三个补偿表组合,补偿表组合1包括补偿表1和补偿表2,补偿表组合2包括补偿表2和补偿表3,补偿表组合4包括补偿表3和补偿表4。
需要补充说明的是,确定每个补偿表组合在不同插值系数下进行颜色阴影校正的误差值,并确定最小误差值对应的目标补偿表组合以及目标插值系数,具体实现方式与上述图4中描述的采用迭代查找法确定目标插值系数的实现方式是相同的,本申请实施例在此不作赘述。根据目标补偿表组合中的两个第一初始补偿表、以及目标插值系数确定目标补偿表,具体实现方式与上述步骤303中描述的方法相同,本申请实施例在此不再赘述。
图5为本申请实施例提供的电子设备的结构示意图,如图4所示,该电子设备,包括:图像捕获模块、图像信号处理硬件模块、图像算法处理软件模块及输出模块。
图像捕获模块包括图像传感器,用于进行图像拍摄,具体例如可以是摄像手机、摄像机、数码相机或其他形式的摄像装置。
图像信号处理硬件模块包括黑电平校正模块、镜头阴影校正1模块、自动白平衡模块、去马赛克模块及其它图像处理模块(图中未示出),镜头阴影矫正1模块主要用于基于目标插值系数和两个第二初始补偿表确定适合当前光源的第二目标补偿表,从而对目标图像进行颜色阴影矫正处理。
图像算法处理软件模块包括镜头阴影校正2模块、和其他图像算法模块以及其他图像处理模块(图中未示出),镜头阴影矫正2模块主要用于基于目标插值系数和两个第一初始补偿表确定适合当前光源的第一目标补偿表,从而对目标图像进行颜色阴影矫正处理。
输出模块包括显示器、存储器,显示器用于显示图像,具体可以为发光二极管(Light Emitting Diode,LED)显示器或液晶显示器(Liquid Crystal Display,LCD),有机发光半导体(Organic Electroluminescence Display,OLED)等类型。存储器用于存储数据,可以为但不限于以下类型,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read Only Memory,EEPROM)等。
图像传感器输出的目标图像数据,输入至图像信号硬件处理模块,经黑电平校正、镜头阴影校正、自动白平衡等模块处理,输出至图像算法处理软件模块。其中,在镜头阴影矫正1模块中,将基于两个第二初始补偿表和目标插值系数确定适合当前光源的第二目标补偿表,基于该第二目标补偿表进行图像阴影矫正处理。在图像算法处理软件模块中,经过其他图像处理算法、镜头阴影矫正2、以及其他图像算法处理输出到显示设备上显示。在镜头阴影矫正2模块中,将基于两个第一初始补偿表和目标插值系数确定适合当前光源的第一目标补偿表,基于该第二目标补偿表进行图像阴影矫正处理。
其中,图像算法处理软件模块中的第一初始补偿表是通过图像信号处理硬件模块中的第二初始补偿表得到的,由于软件模块在对补偿表进行双三次插值处理的过程中,处理速率较慢,而第一初始补偿表是预先对第二初始补偿表进行双三次插值处理进行放大后得到的,软件模块直接从预存的初始补偿表中获取第一初始补偿表,无需再进行双三次插值处理,因此基于本申请所描述的方法,可以提高软件模块进行颜色阴影矫正处理的效率。基于最适合当前光源的第一初始目标表以及目标插值系数,得到当前光源色温对应的目标补偿表,有利于准确地对当前光源的颜色阴影进行补偿,有效提高颜色阴影校正效果。
需要说明的是,图5仅为本申请实施例提供的一种电子设备的结构的示意图,在实际情况中,该电子设备的结构可以不包含图像信号处理硬件模块或者图像算法处理软件模块,或者图像信号处理硬件模块和图像算法处理软件模块可以采用并联或者串并联结合的方式进行输出,又或者该电子设备的结构还可以包括其他图像处理模块,本申请实施例对此不作限定。其中,图5中未提及的内容以及各个步骤的具体实现方式可参见图1和图3所示实施例以及前述内容,这里不再赘述。
请参见图6,图6是本发明实施例提供的一种装置的结构示意图,该装置可以为电子设备或具有电子设备功能的装置(例如芯片)。该装置可以执行前述方法实施例中电子设备的相关步骤。具体的,如图6所示,装置600,可以包括获取单元601和处理单元602。
该获取单元601,用于从预存的初始补偿表中获取第一初始补偿表,第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理,第二初始补偿表的宽度为M,第二初始补偿表的长度为N,第二初始补偿表存储了M×N个补偿系数,第一初始补偿表的宽度为K×M,第一初始补偿表的长度为K×N,第一初始补偿表存储了K×M×K×N个补偿系数,M、N和K均为大于1的正整数;该处理单元602,用于调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理。
在一种可能的实现方式中,该处理单元602,还用于:S1、采用双三次插值该方法放大L倍第二初始补偿表,得到第三初始补偿表,L为大于1且小于或等于K的正整数;S2、采用双三次插值该方法放大P×L倍第二初始补偿表,得到第四初始补偿表,该P为大于1的正整数;S3、采用双线性插值该方法放大P倍第三初始补偿表,得到第五初始补偿表;S4、计算第四初始补偿表和第五初始补偿表之间的误差;若误差小于或等于第一阈值,则确定第三初始补偿表为第一初始补偿表,并保存第一初始补偿表;若误差大于第一阈值,则增加L的值,并重新执行步骤S1~步骤S4。
在一种可能的实现方式中,该处理单元602,还用于:若L的值大于或等于第二阈值,则确定最后一次执行步骤S1得到的第三初始补偿表为第一初始补偿表,并保存第一初始补偿表。
在一种可能的实现方式中,第二初始补偿表的数量为多个,预存的初始补偿表包括多个第一初始补偿表,一个第一初始补偿表对应一个色温,多个第一初始补偿表对应的色温互不相同;该获取单元601从预存的初始补偿表中获取第一初始补偿表,具体用于:基于目标图像的色温从预存的初始补偿表中确定两个第一初始补偿表,目标图像的色温的大小位于两个第一初始补偿表对应的两个色温的大小之间;该处理单元602调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理,具体用于:基于两个第一初始补偿表和目标插值系数,确定第一目标补偿表;调用软件模块基于第一目标补偿表对目标图像进行颜色阴影矫正处理。
在一种可能的实现方式中,该处理单元602,还用于:根据第一步长,从第一取值范围内确定多个第一可选插值系数,其中,第一步长的值小于第一取值范围中最大值与最小值之差,第一步长为相邻两个第一可选插值系数之间的差值;S5、基于两个第一初始补偿表和多个第一可选插值系数对降采样后的目标图像进行颜色阴影校正得到多个校正后的统计值图像;S6、基于多个校正后的统计值图像确定多个第一可选插值系数所对应的多个第一误差值;若不满足预设迭代条件,则基于多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,并将多个第二可选插值系数作为新的多个第一可选插值系数,再次执行步骤S5和步骤S6,预设迭代条件为多个第一误差值中的最小的第一误差值小于第三阈值或者迭代次数超过第四阈值;若满足预设迭代条件,则将最后一次执行步骤S6时多个第一误差值中的最小误差值对应的插值系数确定为目标插值系数。
在一种可能的实现方式中,该处理单元602基于多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,具体用于:根据多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定第二取值范围;根据第二步长,从第二取值范围确定多个第二可选插值系数,其中,第二步长小于第二取值范围中最大值与最小值的差值,第二步长为相邻两个第一可选插值系数之间的差值。
在一种可能的实现方式中,该处理单元602基于多个校正后的统计值图像确定多个第一可选插值系数所对应的多个第一误差值,具体用于:将基于第一可选插值系数校正后的统计值图像中的子图像块的R通道与G通道的比值转换到对数域,得到第一子误差值,校正后的统计值图像包括多个子图像块;将子图像块的B通道与G通道的比值转换到对数域,得到第二子误差值;确定第一子误差值和第二子误差值的方差为子图像块的误差值;基于统计值图像的多个子图像块的误差值,确定第一可选插值系数对应的第一误差值。
本申请实施例还提供了一种芯片,该芯片可以执行前述方法实施例中电子设备的相关步骤。该芯片,包括处理器和通信接口,
该芯片,用于:从预存的初始补偿表中获取第一初始补偿表,第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理,第二初始补偿表的宽度为M,第二初始补偿表的长度为N,第二初始补偿表存储了M×N个补偿系数,第一初始补偿表的宽度为K×M,第一初始补偿表的长度为K×N,第一初始补偿表存储了K×M×K×N个补偿系数,M、N和K均为大于1的正整数;调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理。
在一种可能的实现方式中,该芯片,还用于:S1、采用双三次插值该方法放大L倍第二初始补偿表,得到第三初始补偿表,L为大于1且小于或等于K的正整数;S2、采用双三次插值该方法放大P×L倍第二初始补偿表,得到第四初始补偿表,该P为大于1的正整数;S3、采用双线性插值该方法放大P倍第三初始补偿表,得到第五初始补偿表;S4、计算第四初始补偿表和第五初始补偿表之间的误差;若误差小于或等于第一阈值,则确定第三初始补偿表为第一初始补偿表,并保存第一初始补偿表;若误差大于第一阈值,则增加L的值,并重新执行步骤S1~步骤S4。
在一种可能的实现方式中,该芯片,还用于:若L的值大于或等于第二阈值,则确定最后一次执行步骤S1得到的第三初始补偿表为第一初始补偿表,并保存第一初始补偿表。
在一种可能的实现方式中,第二初始补偿表的数量为多个,预存的初始补偿表包括多个第一初始补偿表,一个第一初始补偿表对应一个色温,多个第一初始补偿表对应的色温互不相同;该芯片从预存的初始补偿表中获取第一初始补偿表,具体用于:基于目标图像的色温从预存的初始补偿表中确定两个第一初始补偿表,目标图像的色温的大小位于两个第一初始补偿表对应的两个色温的大小之间;该芯片调用软件模块基于第一初始补偿表对目标图像进行颜色阴影矫正处理,具体用于:基于两个第一初始补偿表和目标插值系数,确定第一目标补偿表;调用软件模块基于第一目标补偿表对目标图像进行颜色阴影矫正处理。
在一种可能的实现方式中,该芯片,还用于:根据第一步长,从第一取值范围内确定多个第一可选插值系数,其中,第一步长的值小于第一取值范围中最大值与最小值之差,第一步长为相邻两个第一可选插值系数之间的差值;S5、基于两个第一初始补偿表和多个第一可选插值系数对降采样后的目标图像进行颜色阴影校正得到多个校正后的统计值图像;S6、基于多个校正后的统计值图像确定多个第一可选插值系数所对应的多个第一误差值;若不满足预设迭代条件,则基于多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,并将多个第二可选插值系数作为新的多个第一可选插值系数,再次执行步骤S5和步骤S6,预设迭代条件为多个第一误差值中的最小的第一误差值小于第三阈值或者迭代次数超过第四阈值;若满足预设迭代条件,则将最后一次执行步骤S6时多个第一误差值中的最小误差值对应的插值系数确定为目标插值系数。
在一种可能的实现方式中,该芯片基于多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,具体用于:根据多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定第二取值范围;根据第二步长,从第二取值范围确定多个第二可选插值系数,其中,第二步长小于第二取值范围中最大值与最小值的差值,第二步长为相邻两个第一可选插值系数之间的差值。
在一种可能的实现方式中,该芯片基于多个校正后的统计值图像确定多个第一可选插值系数所对应的多个第一误差值,具体用于:将基于第一可选插值系数校正后的统计值图像中的子图像块的R通道与G通道的比值转换到对数域,得到第一子误差值,校正后的统计值图像包括多个子图像块;将子图像块的B通道与G通道的比值转换到对数域,得到第二子误差值;确定第一子误差值和第二子误差值的方差为子图像块的误差值;基于统计值图像的多个子图像块的误差值,确定第一可选插值系数对应的第一误差值。
请参阅图7,图7是本发明实施例提供的一种电子设备的结构示意图。该电子设备700可以包括存储器701、处理器702。可选地,该电子设备还可以包括通信接口703。存储器701、处理器702和通信接口703通过一条或多条通信总线连接。其中,通信接口703受处理器702的控制用于收发信息。可选地,该电子设备还可以包括摄像头704和/或显示器705,摄像头704用于拍摄图像,显示器705用于显示图像。可选地,该电子设备可以为集成有相机模组、具备拍摄功能且需要进行颜色阴影校正的电子设备,例如手机、工业相机、网络相机、平板计算机相机、游戏控制台相机、可视频智能手表、安防摄像头、摄像头模组等。
存储器701可以包括只读存储器和随机存取存储器,并向处理器702提供指令和数据。存储器701的一部分还可以包括非易失性随机存取存储器。
通信接口703用于接收或发送数据。
处理器702可以是中央处理单元(central processing unit,CPU),该处理器702还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器,可选地,该处理器702也可以是任何常规的处理器等。其中:
存储器701,用于存储程序指令。
处理器702,用于调用存储器701中存储的程序指令。
处理器702调用存储器701中存储的程序指令,使该电子设备700执行上述方法实施例中电子设备所执行的方法。
如图8所示,图8是本申请实施例提供的一种模组设备的结构示意图。该模组设备800可以执行前述方法实施例中电子设备的相关步骤,该模组设备800包括:通信模组801、电源模组802、存储模组803以及芯片804。
其中,电源模组802用于为模组设备提供电能;存储模组803用于存储数据和指令;通信模组801用于进行模组设备内部通信,或者用于模组设备与外部设备进行通信;芯片804用于执行上述方法实施例中电子设备所执行的方法。
需要说明的是,图7和图8对应的实施例中未提及的内容以及各个步骤的具体实现方式可参见图1和图3所示实施例以及前述内容,这里不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在处理器上运行时,上述方法实施例的方法流程得以实现。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在处理器上运行时,上述方法实施例的方法流程得以实现。
关于上述实施例中描述的各个装置、产品包含的各个模块/单元,其可以是软件模块/单元,也可以是硬件模块/单元,或者也可以部分是软件模块/单元,部分是硬件模块/单元。例如,对于应用于或集成于芯片的各个装置、产品其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同模块/单元可以位于芯片模组的同一件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于终端的各个装置、产品,其包含的模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于终端内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于终端内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些操作可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本申请提供的各实施例的描述可以相互参照,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。为描述的方便和简洁,例如关于本申请实施例提供的各装置、设备的功能以及执行的操作可以参照本申请方法实施例的相关描述,各方法实施例之间、各装置实施例之间也可以互相参考、结合或引用。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (12)
1.一种图像处理方法,其特征在于,所述方法包括:
从预存的初始补偿表中获取第一初始补偿表,所述第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,所述第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理,所述第二初始补偿表的宽度为M,所述第二初始补偿表的长度为N,所述第二初始补偿表存储了M×N个补偿系数,所述第一初始补偿表的宽度为K×M,所述第一初始补偿表的长度为K×N,所述第一初始补偿表存储了K×M×K×N个补偿系数,所述M、所述N和所述K均为大于1的正整数;
调用软件模块基于所述第一初始补偿表对目标图像进行颜色阴影矫正处理。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
S1、采用双三次插值方法放大L倍所述第二初始补偿表,得到第三初始补偿表,所述L为大于1且小于或等于K的正整数;
S2、采用双三次插值方法放大P×L倍所述第二初始补偿表,得到第四初始补偿表,所述P为大于1的正整数;
S3、采用双线性插值方法放大P倍所述第三初始补偿表,得到第五初始补偿表;
S4、计算所述第四初始补偿表和所述第五初始补偿表之间的误差;
若所述误差小于或等于第一阈值,则确定所述第三初始补偿表为所述第一初始补偿表,并保存所述第一初始补偿表;
若所述误差大于所述第一阈值,则增加所述L的值,并重新执行步骤S1~步骤S4。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述L的值大于或等于第二阈值,则确定最后一次执行步骤S1得到的第三初始补偿表为所述第一初始补偿表,并保存所述第一初始补偿表。
4.根据权利要求1~3中任意一项所述的方法,其特征在于,所述第二初始补偿表的数量为多个,所述预存的初始补偿表包括多个第一初始补偿表,一个第一初始补偿表对应一个色温,所述多个第一初始补偿表对应的色温互不相同;
所述从预存的初始补偿表中获取第一初始补偿表,包括:基于所述目标图像的色温从所述预存的初始补偿表中确定两个第一初始补偿表,所述目标图像的色温的大小位于所述两个第一初始补偿表对应的两个色温的大小之间;
调用软件模块基于所述第一初始补偿表对目标图像进行颜色阴影矫正处理,包括:
基于所述两个第一初始补偿表和目标插值系数,确定第一目标补偿表;
调用软件模块基于所述第一目标补偿表对所述目标图像进行颜色阴影矫正处理。
5.根据权利要求4所述的方法,其特征在于,在所述基于所述两个第一初始补偿表和目标插值系数确定第一目标补偿表之前,所述方法还包括:
根据第一步长,从第一取值范围内确定多个第一可选插值系数,其中,所述第一步长的值小于所述第一取值范围中最大值与最小值之差,所述第一步长为相邻两个第一可选插值系数之间的差值;
S5、基于所述两个第一初始补偿表和多个第一可选插值系数对降采样后的目标图像进行颜色阴影校正得到多个校正后的统计值图像;
S6、基于所述多个校正后的统计值图像确定所述多个第一可选插值系数所对应的多个第一误差值;
若不满足预设迭代条件,则基于所述多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,并将所述多个第二可选插值系数作为新的多个第一可选插值系数,再次执行步骤S5和步骤S6,所述预设迭代条件为所述多个第一误差值中的最小的第一误差值小于第三阈值或者所述迭代次数超过第四阈值;
若满足所述预设迭代条件,则将最后一次执行步骤S6时所述多个第一误差值中的最小误差值对应的插值系数确定为所述目标插值系数。
6.根据权利要求5所述的方法,其特征在于,所述基于所述多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定多个第二可选插值系数,包括:
根据所述多个第一误差值中的最小的第一误差值对应的第一可选插值系数确定第二取值范围;
根据第二步长,从所述第二取值范围确定多个第二可选插值系数,其中,所述第二步长小于所述第二取值范围中最大值与最小值的差值,所述第二步长为相邻两个第一可选插值系数之间的差值。
7.根据权利要求5或6所述的方法,其特征在于,所述基于所述多个校正后的统计值图像确定所述多个第一可选插值系数所对应的多个第一误差值,包括:
将基于第一可选插值系数校正后的统计值图像中的子图像块的R通道与G通道的比值转换到对数域,得到第一子误差值,所述校正后的统计值图像包括多个子图像块;
将所述子图像块的B通道与G通道的比值转换到对数域,得到第二子误差值;
确定所述第一子误差值和所述第二子误差值的方差为所述子图像块的误差值;
基于所述统计值图像的多个子图像块的误差值,确定所述第一可选插值系数对应的第一误差值。
8.一种装置,其特征在于,所述装置包括:获取单元和处理单元;
所述获取单元,用于从预存的初始补偿表中获取第一初始补偿表,所述第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,所述第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理,所述第二初始补偿表的宽度为M,所述第二初始补偿表的长度为N,所述第二初始补偿表存储了M×N个补偿系数,所述第一初始补偿表的宽度为K×M,所述第一初始补偿表的长度为K×N,所述第一初始补偿表存储了K×M×K×N个补偿系数,所述M、所述N和所述K均为大于1的正整数;
所述处理单元,用于调用软件模块基于所述第一初始补偿表对目标图像进行颜色阴影矫正处理。
9.一种芯片,其特征在于,包括处理器和通信接口,所述芯片用于:
从预存的初始补偿表中获取第一初始补偿表,所述第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,所述第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理,所述第二初始补偿表的宽度为M,所述第二初始补偿表的长度为N,所述第二初始补偿表存储了M×N个补偿系数,所述第一初始补偿表的宽度为K×M,所述第一初始补偿表的长度为K×N,所述第一初始补偿表存储了K×M×K×N个补偿系数,所述M、所述N和所述K均为大于1的正整数;
调用软件模块基于所述第一初始补偿表对目标图像进行颜色阴影矫正处理。
10.一种模组设备,其特征在于,所述模组设备包括通信模组、电源模组、存储模组以及芯片,其中:
所述电源模组用于为所述模组设备提供电能;
所述存储模组用于存储数据和指令;
所述通信模组用于进行模组设备内部通信,或者用于所述模组设备与外部设备进行通信;
所述芯片用于执行如权利要求:
从预存的初始补偿表中获取第一初始补偿表,所述第一初始补偿表是对第二初始补偿表进行双三次插值处理后放大了K倍的补偿表,所述第二初始补偿表用于硬件模块对图像进行颜色阴影矫正处理,所述第二初始补偿表的宽度为M,所述第二初始补偿表的长度为N,所述第二初始补偿表存储了M×N个补偿系数,所述第一初始补偿表的宽度为K×M,所述第一初始补偿表的长度为K×N,所述第一初始补偿表存储了K×M×K×N个补偿系数,所述M、所述N和所述K均为大于1的正整数;
调用软件模块基于所述第一初始补偿表对目标图像进行颜色阴影矫正处理。
11.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,使所述装置执行如权利要求1~7中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机存储介质中存储有计算机可读指令,当所述计算机可读指令在装置上运行时,使得所述装置执行权利要求1~7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211103019.XA CN115499631A (zh) | 2022-09-09 | 2022-09-09 | 一种图像处理方法、装置、芯片及模组设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211103019.XA CN115499631A (zh) | 2022-09-09 | 2022-09-09 | 一种图像处理方法、装置、芯片及模组设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115499631A true CN115499631A (zh) | 2022-12-20 |
Family
ID=84469314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211103019.XA Pending CN115499631A (zh) | 2022-09-09 | 2022-09-09 | 一种图像处理方法、装置、芯片及模组设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115499631A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6873735B1 (en) * | 2001-02-05 | 2005-03-29 | Ati Technologies, Inc. | System for improved efficiency in motion compensated video processing and method thereof |
US20100097504A1 (en) * | 2008-10-21 | 2010-04-22 | Kabushiki Kaisha Toshiba | Shading correcting device and imaging apparatus |
CN110033412A (zh) * | 2018-01-12 | 2019-07-19 | 华为技术有限公司 | 一种图像处理方法及装置 |
CN113840048A (zh) * | 2021-09-02 | 2021-12-24 | 信利光电股份有限公司 | 一种智能调整摄像头画面四角亮度的方法 |
CN114205487A (zh) * | 2020-08-28 | 2022-03-18 | 超威半导体公司 | 内容自适应镜头阴影校正方法和装置 |
CN114331907A (zh) * | 2021-12-31 | 2022-04-12 | 展讯半导体(南京)有限公司 | 颜色阴影校正方法及装置 |
-
2022
- 2022-09-09 CN CN202211103019.XA patent/CN115499631A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6873735B1 (en) * | 2001-02-05 | 2005-03-29 | Ati Technologies, Inc. | System for improved efficiency in motion compensated video processing and method thereof |
US20100097504A1 (en) * | 2008-10-21 | 2010-04-22 | Kabushiki Kaisha Toshiba | Shading correcting device and imaging apparatus |
CN110033412A (zh) * | 2018-01-12 | 2019-07-19 | 华为技术有限公司 | 一种图像处理方法及装置 |
CN114205487A (zh) * | 2020-08-28 | 2022-03-18 | 超威半导体公司 | 内容自适应镜头阴影校正方法和装置 |
CN113840048A (zh) * | 2021-09-02 | 2021-12-24 | 信利光电股份有限公司 | 一种智能调整摄像头画面四角亮度的方法 |
CN114331907A (zh) * | 2021-12-31 | 2022-04-12 | 展讯半导体(南京)有限公司 | 颜色阴影校正方法及装置 |
Non-Patent Citations (2)
Title |
---|
张霞;牛慧娟;许恒迎;王维涛;白成林;张晓光;: "偏振模色散自适应补偿实时控制系统的DSP的设计与实现", 光学技术, no. 02, 20 March 2009 (2009-03-20) * |
郭晓东, 刘积仁: "一种基于模拟退火算法的硬件/软件分解方法", 东北大学学报(自然科学版), no. 03, 15 June 2000 (2000-06-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106067953B (zh) | 确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置 | |
KR101903626B1 (ko) | 로우 이미지 데이터의 색도 측정을 이용한 자동 화이트 밸런싱 | |
US8723879B2 (en) | Techniques for reducing noise while preserving contrast in an image | |
WO2021223185A1 (zh) | 相机及其对齐方法和装置、云台 | |
US9270961B2 (en) | Color shading correction using color channel consistency | |
CN113676713B (zh) | 图像处理方法、装置、设备及介质 | |
US9361537B2 (en) | Techniques to reduce color artifacts in a digital image | |
CN114331907A (zh) | 颜色阴影校正方法及装置 | |
KR102610542B1 (ko) | 적외선 센서를 이용하여 이미지 데이터의 색상을 조절하기 위한 전자 장치 및 방법 | |
TW201601538A (zh) | 影像擷取裝置及其影像補償方法 | |
WO2016200553A1 (en) | Methods and devices for correction of camera module sensitivity and flash color variation | |
CN110751607A (zh) | 一种肤色的校正方法、装置、存储介质以及电子装置 | |
CN105306913A (zh) | 图像获取装置及其图像补偿方法 | |
US8542919B2 (en) | Method and system for correcting lens shading | |
CN113177886B (zh) | 图像处理方法、装置、计算机设备及可读存储介质 | |
CN115499631A (zh) | 一种图像处理方法、装置、芯片及模组设备 | |
CN115914601A (zh) | 图像处理方法、系统、电子设备、可读存储介质及芯片 | |
WO2023015993A1 (zh) | 一种色度信息的确定方法及相关电子设备 | |
CN114926364A (zh) | 图像校正方法、装置、计算机设备和存储介质 | |
CN115965541A (zh) | 颜色校正方法、装置、电子设备和存储介质 | |
CN109493391A (zh) | 摄像头标定方法和装置、电子设备、计算机可读存储介质 | |
CN113271450B (zh) | 白平衡调整方法、影像处理装置与影像处理系统 | |
CN113766206B (zh) | 一种白平衡调整方法、装置及存储介质 | |
TWI768282B (zh) | 光源資訊預測模型建立方法與系統 | |
CN109151457B (zh) | 一种图像处理方法及装置、终端、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |