CN101510962B - 透镜阴影校正方法和装置 - Google Patents
透镜阴影校正方法和装置 Download PDFInfo
- Publication number
- CN101510962B CN101510962B CN2008101877320A CN200810187732A CN101510962B CN 101510962 B CN101510962 B CN 101510962B CN 2008101877320 A CN2008101877320 A CN 2008101877320A CN 200810187732 A CN200810187732 A CN 200810187732A CN 101510962 B CN101510962 B CN 101510962B
- Authority
- CN
- China
- Prior art keywords
- stepping
- section
- actual pixels
- correction coefficient
- correct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
一种透镜阴影校正方法和装置,其中,所述透镜阴影校正方法包括:在参考场景下,获得期望点;根据每个像素点的亮度值以及到所述期望点的距离平方,获得像素点补偿到期望亮度所需要的校正系数与其到所述期望点距离平方的对应关系;根据所述校正系数与距离平方的对应关系,获得设定段数的连续步进校正段,及对应的步进参数和步进校正系数;在实际场景下,获得每个实际像素点到所述期望点的距离平方;根据所述距离平方,确定每个实际像素点的步进校正段,并计算每个实际像素点所对应的校正系数;根据所述校正系数,对图像的实际像素进行阴影校正。本发明有效地减小了芯片的消耗和运算量,使得能够以较小的硬件代价获得较好的亮度补偿效果。
Description
技术领域
本发明涉及图像信号处理技术,特别是透镜阴影失真还原技术。
背景技术
图像传感器被广泛应用于各种领域,例如,消费电子、机器人技术、基于卫星的仪器、交通、导航和制导。参考图1,场景光线经过透镜101和滤光片102进入图像传感器,通过色彩滤镜矩阵103使光线具有色彩信息,并通过像素阵列104对光线进行捕获,实现将图像的光信号转化为后续的图像信号处理装置105可识别的电信号。在后续的处理中,可将电信号进行过滤、校正等调整后,进行存储或通过显示设备转化为图像,进行显示。
随着传感器尺寸的日益小型化,不仅场景光线的入射照度被减弱,而且器件在高度方向中的结构已被相对地最小化,这些都影响到图像传感器所形成图像的照度,进而影响了图像传感器的成像质量。
入射照度对成像照度的影响可用透镜成像所需要满足的COS4法则来描述。其中,离轴光线在焦平面上成的像的照度,即出射照度,以及沿镜头光轴入射的主轴光线在焦平面上成像的照度,即入射照度,两者的比值与离轴光线和镜头主轴的夹角ω余弦的四次方成正比,即:
Ix/Ex=A·Cos4ω
其中,ω为离轴光线与镜头主轴的夹角,A为成像系统自身参数决定的因子,Ex为入射照度,Ix为出射照度。当入射照度减弱时,会影响图像传感器所形成图像的照度,甚至形成阴影。
器件结构所造成的影响,举个例子,参考图2,透镜201与芯片202之间的透镜支架203形成了限制抵达芯片表面光束的孔径光阑,使透镜边缘处的亮度发生衰减,从而影响图像传感器所形成图像的照度。
基于上述情况,通常图像信号处理装置在对图像信号进行处理之前,首先需要对透镜阴影进行校正,补偿因透镜或光路所造成的图像亮度损失。在现有技术中,常用的透镜阴影校正技术包括多种结合像素阵列中的XY座标提取信号并进行数字处理的方法。
其中,申请号为200410094246.6、名称为“图像处理装置和方法,记录介质,以及程序”的中国发明专利申请中,公开了一种图像处理方法,通过上下和左右的加权计算出从成像器件中读出的每一像素到光轴中心的距离,通过查询表获得该距离对应的校正系数,从而实现对该像素的亮度校正。申请号为02800645.3、名称为“屏幕校正方法和图像拾取装置”的中国发明专利申请中,公开了一种校正方法,根据距离光轴中心的像素数量转换成距离,并通过查询表获得校正系数,对所读取的像素信号进行校正。
这些现有方法中,都是通过对LUT的查找实现对像素信号的校正,LUT实质上为一种大规模存储器,将事先运算的结果进行保存,这样每输入一个信号进行逻辑运算就等于输入一个地址进行查表,找出地址对应的内容,然后输出即可。这对系统存储能力和运算能力的要求比较高。此外,不仅重复多次的迭代运算也限制了图像处理速度,而且大量的存储单元增大了图像信号处理芯片的面积,使图像传感器无法实现小型化。
发明内容
本发明解决的技术问题是提供了一种消耗芯片面积更小并且具有更小运算量的透镜阴影校正方法和装置。
为解决上述技术问题,本发明提供了一种透镜阴影校正方法,包括:在参考场景下,获得期望点;在参考场景下,根据每个像素点的亮度值以及到所述期望点的距离平方,获得像素点补偿到期望亮度所需要的校正系数与其到所述期望点的距离平方的对应关系;根据所述校正系数与所述距离平方的对应关系,获得设定段数的连续的步进校正段,以及与每段步进校正段对应的步进参数和步进校正系数;在实际场景下,获得每个实际像素点到所述期望点的距离平方;根据所述距离平方,确定每个实际像素点所处的步进校正段,并根据所述步进校正段的步进参数和步进校正系数,计算每个实际像素点所对应的校正系数;根据所述校正系数,对图像的实际像素进行阴影校正。
可选的,所述期望点为透镜光心在像素阵列对应的位置。
可选的,所述获得期望点包括:对图像中像素点在参考场景条件下的亮度值进行采集;对所采集的单一色彩像素点的亮度值进行数据处理,获得其中心点位置;根据所述单一色彩像素的中心点位置,计算出所述期望点的位置。
可选的,所述对所采集的单一色彩像素点的亮度值进行数据处理,获得其中心点位置,包括:将所采集的每一行单一色彩像素点的亮度值、以及每一列单一色彩像素点的亮度值分别进行累加,获得行累加结果和列累加结果;分别对所述累加结果中的干扰进行处理,获得所述单一色彩像素中心点的行、列位置。
可选的,所述分别对累加结果中的干扰进行处理,获得单一色彩像素中心点的行、列位置,包括:对所述累加结果分别进行多项式曲线拟合,以行累加结果中的极大值点为所述单一色彩像素中心点在所有同一色彩像素中的行位置,以及以列累加结果中的极大值点为所述单一色彩像素中心点在所有同一色彩像素中的列位置。
可选的,所述根据每个像素点的亮度值以及到期望点的距离平方,获得像素点补偿到期望亮度所需要的校正系数与其到所述期望点的距离平方的对应关系,包括:获得每个像素到所述期望点的距离平方;根据所获得的各像素点亮度值,进行去噪处理;根据每个像素补偿到期望亮度所需要的校正系数以及到所述期望点的距离,获得到所述期望点的距离平方与所述校正系数的对应关系。
可选的,所述采集各像素的亮度值并进行去噪处理,包括:获取像素点在多帧图像中的亮度值,对所述亮度值进行帧间平均。
可选的,所述根据每个像素补偿到期望亮度所需要的校正系数以及到期望点的距离,获得到期望点的距离平方与校正系数的对应关系,包括:将对应于不同距离平方的亮度平均值进行曲线拟合,所述期望亮度值对应于所拟合曲线中距离平方为零时的亮度值。
可选的,所述根据每个像素补偿到期望亮度所需要的校正系数以及到期望点的距离,获得到期望点的距离平方与校正系数的对应关系,包括:对具有相同距离平方的像素点,计算其亮度平均值,使具有相同距离平方的像素点具有唯一亮度值;将对应于不同距离平方的亮度平均值与期望亮度值进行比较,获得与该距离平方相对应的各像素点补偿到期望亮度所需要的校正系数。
可选的,所述根据校正系数与距离平方的对应关系,获得设定段数的连续的步进校正段以及与每段步进校正段对应的步进参数和步进校正系数,包括:按照所述距离平方对所述校正系数与所述距离平方的对应关系曲线进行划分,以获得设定段数的连续的步进校正段,其中,每段步进校正段所对应的距离平方的间距为该步进校正段的长度。
可选的,所述步进参数用于反映其对应的步进校正段的长度。
可选的,将以2为底、步进参数为指数的幂值作为与所述步进参数对应的步进校正段的长度。
可选的,所述步进校正系数用于反映与其对应的步进校正段所对应的校正系数随所述步进校正段长度的变化率。
可选的,所述步进校正系数为将所获得的校正系数和距离平方的关系曲线曲线拟合并进行分段线性化之后,每段线段的斜率。
可选的,所述设定段数为16。
可选的,所述根据校正系数与距离平方的对应关系,获得设定段数的连续的步进校正段以及与每段步进校正段对应的步进参数和步进校正系数,之前还包括:对所述校正系数和所述距离平方进行数据处理。
可选的,所述根据所获得的实际像素点到所述期望点的距离平方,确定每个实际像素点所处的步进校正段,包括:将所述距离平方,依次与每段步进校正段不包含自身的之前所有步进校正段的长度之和、以及其自身与其之前所有步进校正段的长度之和进行比较:当所述距离平方大于某段步进校正段之前的所有步进校正段长度之和,并且不大于该步进校正段自身与其之前所有步进校正段的长度之和,那么,所述实际像素点则对应于该步进校正段。
本发明还提供了一种透镜阴影校正方法,包括:在参考场景下,获得期望点;在参考场景下,根据每个像素点的亮度值以及到所述期望点的距离平方,获得像素点补偿到期望亮度所需要的校正系数与其到所述期望点的距离平方的对应关系;根据所述校正系数与所述距离平方的对应关系,获得设定段数的连续的步进校正段,以及与每段步进校正段对应的步进参数和步进校正系数;在实际场景下,获得每个行首实际像素点到所述期望点的绝对距离平方,以及每个非行首实际像素点相对于其前一个实际像素点的相对距离平方;根据所述绝对距离平方或者相对距离平方,分别确定所述行首实际像素点或者所述非行首实际像素点所对应的步进校正段,并根据所述步进校正段的步进参数和步进校正系数,计算每个实际像素点所对应的校正系数;根据所述校正系数,对图像的实际像素进行阴影校正。
可选的,所述获得每个行首实际像素点到期望点的绝对距离平方,包括:根据每一行行首实际像素点的水平坐标和垂直坐标以及所述期望点的水平坐标和垂直坐标,采用两点间距离公式计算每一行行首实际像素点与所述期望点的距离平方。
可选的,所述根据绝对距离平方,确定行首实际像素点所对应的步进校正段,包括:将所述绝对距离平方与第一段步进校正段的长度进行比较:如果所述绝对距离平方小于第一段步进校正段的长度,则行首实际像素点对应于第一段步进校正段;反之,计算第一段步进校正段尾端所对应的校正系数以及所述绝对距离平方与第一段步进校正段的差值,并将所述差值和第二段步进校正段的长度进行比较;重复所述步骤,直至所述差值小于某步进校正段的长度,则所述行首实际像素点对应于所述步进校正段。
可选的,所述根据步进校正段的步进参数和步进校正系数,计算每个行首实际像素点所对应的校正系数,包括:获得所对应的步进校正段之后,确定该步进校正段的所述差值,所述差值即为行首实际像素点的绝对距离平方与该步进校正段之前所有步进校正段长度之和的差值;计算所述差值与步进校正段所述步进校正系数的乘积;根据该步进校正段的前一步进校正段尾端所对应的校正系数,计算其与所述乘积的和值,并将所述和值,作为所述行首实际像素点的校正系数。
可选的,所述相对距离平方为每个非行首实际像素点到所述期望点的距离平方、与其前一个实际像素点到所述期望点的距离平方的差值。
可选的,所述获得每个非行首实际像素点相对于其前一个实际像素点的相对距离平方,包括:通过位拼接和加法运算,获得所述相对距离平方。
可选的,所述根据步进校正段的步进参数和步进校正系数,计算每个非行首实际像素点所对应的校正系数,包括:根据当前非行首实际像素点相对于其前一实际像素点的相对距离平方,判断当前实际像素点相对于前一实际像素点的运动方向以及当前实际像素点与前一实际像素点是否对应于同一步进校正段,并获得当前实际像素点对应的校正系数。
可选的,所述判断当前实际像素点相对于前一实际像素点的运动方向,包括:判断当前非行首实际像素点与其前一实际像素点的相对距离平方是否小于零,若小于零,则当前实际像素点相对于前一实际像素点负向运动,反之,则当前实际像素点相对于前一实际像素点正向运动。
可选的,所述在当前实际像素点相对于前一实际像素点为正向移动时,判断当前非行首实际像素点与其前一实际像素点是否对应于同一步进校正段的过程,包括:计算前一实际像素点到所述期望点的距离平方以及与所对应的步进校正段之前所有步进校正段长度之和的差值;获得前一实际像素点对应的步进校正段长度与所述计算结果的间距;计算当前实际像素点的相对距离平方与所述间距的差值;将所述差值与零进行比较:当所述差值小于零时,当前实际像素点和前一实际像素点对应于相同的步进校正段;反之,当前实际像素点和前一实际像素点分别对应于不同的步进校正段。
可选的,所述计算每个非行首实际像素点所对应的校正系数,包括:在当前实际像素点相对于前一实际像素点产生正向移动,并且分别对应于不同的步进校正段时,根据前一实际像素点所对应步进校正段的校正系数界值、步进参数、步进校正系数,以及当前实际像素点所对应步进校正段的步进校正系数,计算当前实际像素点的校正系数,并计算当前实际像素点所对应步进校正段的校正系数界值;在当前实际像素点相对于前一实际像素点产生正向移动,并且对应于相同的步进校正段时,根据前一实际像素点所对应步进校正段的校正系数界值和步进校正系数,计算当前实际像素点的校正系数。
可选的,所述在当前实际像素点相对于前一实际像素点为负向移动时,判断当前非行首实际像素点与其前一实际像素点是否对应于同一步进校正段的过程,包括:计算前一实际像素点到所述期望点的距离平方以及与所对应的步进校正段之前所有步进校正段长度之和的差值;获得当前实际像素点的相对距离平方与所述计算结果的差值;将所述差值与零进行比较:当所述差值小于零时,当前实际像素点和前一实际像素点对应于相同的步进校正段;反之,则当前实际像素点和前一实际像素点分别对应于不同的步进校正段。
可选的,所述计算每个非行首实际像素点所对应的校正系数,包括:当前实际像素点相对于前一实际像素点产生负向移动,并且分别对应于不同的步进校正段时,根据前一实际像素点所对应步进校正段的校正系数界值,以及当前实际像素点所对应步进校正段的步进校正系数,计算当前实际像素点的校正系数,并且计算当前实际像素点所对应步进校正段的校正系数界值;当前实际像素点相对于前一实际像素点产生负向移动,并且对应于相同的步进校正段时,根据前一实际像素点所对应步进校正段的校正系数界值,以及当前实际像素点所对应步进校正段的步进校正系数,计算当前实际像素点的校正系数。
本发明还提供了一种透镜阴影校正装置,包括:采集单元,用于在参考场景下和实际场景下,采集像素阵列的亮度值;期望点获取单元,用于根据所述采集单元所获得的像素阵列的亮度值,获得期望点;距离平方单元,用于在参考场景下,计算像素点与所述期望点获取单元所获得的期望点之间的距离平方,以及在实际场景下,计算行首实际像素点与所述期望点之间的绝对距离平方和非行首实际像素点与其前一实际像素点之间的相对距离平方;校正系数计算单元,用于在参考场景下,根据所述采集单元所获得的每个像素点的亮度值以及所述距离平方单元所获得的所述距离平方,获得每个像素点补偿到期望亮度所需要的校正系数与所述距离平方的对应关系;校正系数确定单元,用于在实际场景下,根据所述采集单元所获得的每个像素点的亮度值、所述距离平方单元所获得的所述绝对距离平方和所述相对距离平方以及所述校正系数计算单元所获得的对应关系,确定每个实际像素点所对应的校正系数;校正单元,用于根据所述校正系数确定单元所确定的校正系数,对图像的实际像素进行阴影校正。
可选的,所述期望点获取单元包括:累加单元,用于在参考场景下,对于所述采集单元所采集的单一色彩通道中每一行及每一列色彩像素点的所述亮度值,按照行和列分别进行累加,获得所述色彩通道的行累加结果和列累加结果;极值单元,用于在参考场景下,对于所述采集单元所采集的单一色彩通道中每一行及每一列色彩像素点的所述亮度值,按照行和列分别进行累加,获得所述色彩通道的行累加结果和列累加结果;期望点计算单元,用于根据所述极值单元所获得的具有最大值的点计算所述期望点。
可选的,所述距离平方单元,包括:绝对距离平方单元,用于在参考场景下,计算所述像素点和所述期望点之间的距离平方,以及在实际场景下,计算行首实际像素点与所述期望点之间的绝对距离平方;相对距离平方单元,用于在实际场景下,计算每行中非行首实际像素点与其前一实际像素点之间的距离平方。
可选的,所述校正系数计算单元包括:比较单元,用于对不同色彩通道的象素点,分别比较其到所述期望点的距离平方;存储单元,用于保存经所述比较单元获得的具有相同距离平方的同色彩像素点的亮度值;计数单元,用于计数经所述比较单元获得的具有相同距离平方的同色彩像素点的个数;期望亮度获取单元,用于根据所述存储单元所保存的像素点亮度值以及所述距离平方单元获得的所述像素点的距离平方,进行曲线拟合,并获得期望亮度;除法单元,用于根据所述存储单元所保存的像素点亮度值和所述计数单元所保存的像素点个数,计算经所述比较单元获得的具有相同距离的同色彩像素点的亮度值平均值,并根据所获得的亮度值平均值以及所述期望亮度获取单元所得到的期望亮度,计算所述像素点补偿到期望亮度所需要的校正系数。
可选的,所述校正系数确定单元包括:控制单元,用于根据所述校正系数与距离平方的对应关系,将所述校正系数分为具有设定段数的连续的步进校正段;更新单元,用于确定所述像素点所对应的步进校正段;计算单元,用于根据所述更新单元所获得的步进校正段的段序号,通过所述存储单元中与所述段序号对应的前一步进校正段尾端对应的校正系数以及所述差值,计算该像素点的校正系数。
可选的,所述控制单元包括:步进参数寄存器,用于各段步进校正段的步进参数,所述步进参数与各段步进校正段的长度相对应;步进校正系数寄存器,用于保存每段步进校正段中,所述校正系数随距离平方的变化率。
相较于现有技术,本发明实施方式通过将距离平方与所对应的校正系数,分别以步进参数、步进校正系数及其组合的形式来表现,从而避免了对大规模的查找表的使用,减少了存储量和运算量,简化了硬件实现逻辑,减低了实现代价,进而大大缩小了芯片面积。
此外,本发明实施方式还根据行首实际像素点到所述期望点的绝对距离平方以及非行首实际像素点距其前一实际像素点的相对距离平方,获得行首实际像素点所对应的步进校正段,以及非行首实际像素点所对应的步进校正段,并根据所述步进校正段的步进参数和步进校正系数获得与实际像素点对应的校正系数,从而减少了芯片面积,节约了成本。
附图说明
图1是图像传感器结构示意图;
图2是影响图像传感器成像质量的器件结构的结构示意图;
图3是本发明透镜阴影校正方法实施方式的流程示意图;
图4是图3中步骤S1具体实施方式的流程示意图;
图5是色彩滤镜矩阵图形块的结构示意图;
图6、图7图4中步骤S102具体实施方式的流程示意图;
图8是图3中步骤S2具体实施方式的流程示意图;
图9是不同色彩通道像素的校正系数与距离平方的对应关系曲线的示意图;
图10是图3中步骤S3具体实施例的流程示意图;
图11是本发明另一种透镜阴影校正方法实施方式的流程示意图;
图12是图11中步骤S15具体实施方式的流程示意图;
图13是图11中步骤S15具体实施例的流程示意图;
图14是计算非行首实际像素点校正系数具体实施例中,当前实际像素点相对于前一实际像素点为负向移动,且分别对应于不同步进校正段的示意图;
图15是计算非行首实际像素点校正系数具体实施例中,当前实际像素点相对于前一实际像素点为负向移动,且对应于相同步进校正段的示意图;
图16是计算非行首实际像素点校正系数具体实施例中,当前实际像素点相对于前一实际像素点为正向移动,且对应于相同步进校正段的示意图;
图17是计算非行首实际像素点校正系数具体实施例中,当前实际像素点相对于前一实际像素点为正向移动,且分别对应于不同步进校正段的示意图;
图18是本发明透镜阴影校正装置实施方式的结构示意图;
图19是图18中期望点获取单元具体实施方式的结构示意图;
图20是图18中校正系数计算单元具体实施方式的结构示意图;
图21是图18中校正系数确定单元具体实施方式的结构示意图。
具体实施方式
参考图3,本发明提供了一种透镜阴影校正方法,包括:步骤S1,在参考场景下,获得期望点;步骤S2,在参考场景下,根据每个像素点的亮度值以及到所述期望点的距离平方,获得像素点补偿到期望亮度所需要的校正系数与其到所述期望点的距离平方的对应关系;步骤S3,根据所述校正系数与所述距离平方的对应关系,获得设定段数的连续的步进校正段,以及与每段步进校正段对应的步进参数和步进校正系数;步骤S4,在实际场景下,获得每个实际像素点到所述期望点的距离平方;步骤S5,根据所述距离平方,确定每个实际像素点所处的步进校正段,并根据所述步进校正段的步进参数和步进校正系数,计算每个实际像素点所对应的校正系数;步骤S6,根据所述校正系数,对图像的实际像素进行阴影校正。
下面即结合附图和实施例,对本发明的具体实施方式做详细的说明。
其中,所述参考场景可为均匀照度场景。在具体实现过程中,可采用均匀发光板,以此作为光源放置于镜头前,通过调节该均匀发光板的亮度,使得其在像素阵列上所成像的亮度适中,也就是说,使该均匀发光板所成像中,既不存在过多的过亮部分,也不存在过多的照度为零的最暗部分。具体来说,采集该均匀发光板在像素阵列中所成像的像素亮度值;统计所有像素中像素亮度值到达255以及到达0的像素点:当具有最亮的或最暗的亮度值的像素数目达到一定限值,即所成像的亮度过亮或过暗;相应地,调节所述均匀发光板的亮度,直到所成像亮度适中。
步骤S1的所述期望点可为透镜光心在像素阵列对应的位置。在本发明具体实施例中,参考图4,步骤S1可包括:步骤101,对图像中像素点在参考场景条件下的亮度值进行采集;步骤S102,对所采集的单一色彩像素点的亮度值进行数据处理,获得其中心点位置;步骤S103,根据所述单一色彩像素的中心点位置,计算出所述期望点的位置。
图像的亮度由多个色彩通道构成,色彩滤镜矩阵(CFA)使仅能识别亮度信息的像素具有了色彩信息。目前较多采用的是Bayer CFA,即Gr、R、B、Gb四种色彩通道。参考图5,每个CFA图形块具有四个不同色彩的像素点,Gr色彩像素点301、R色彩像素点302、B色彩像素点303、Gb色彩像素点304。将4个像素点组成的图形块视为一体,通过只对单一色彩的像素点的亮度值进行数据处理,并根据数据处理所得到的该单一色彩像素中心点的行、列位置计算出整个图像的中心点,即期望点的位置,可使所需处理的亮度值数据量仅为所有亮度值数据量的1/4,从而大大减少了数据处理量,提高了处理速度。
其中,所述数据处理可包括,首先,将所采集的每一行单一色彩像素点的亮度值、以及每一列单一色彩像素点的亮度值分别进行累加,获得行累加结果和列累加结果;然后,分别对所述累加结果中的干扰进行处理,获得该单一色彩像素中心点的行、列位置。具体来说,可通过多项式曲线拟合,增加信噪比,减弱所述累加结果中的干扰对数据真值的影响,并通过多项式拟合,获得行累加结果中的极大值点以及列累加结果中的极大值点,也就是该单一色彩像素中心点的在所有同一色彩像素中的行、列位置。
举例来说,参考图6以及图7,采集Gr色彩像素点的亮度值,将行累加结果和列累加结果分别进行四阶多项式曲线拟合之后:第131个具有Gr色彩像素点的像素行的所述亮度值累加结果具有最大值,并且第161个具有Gr色彩像素点的像素列的所述亮度值累加结果具有最大值。也就是说,所述Gr色彩像素中心点为位于纵向第131个、横向第161个图形块中的Gr色彩像素点。接下来,计算该Gr色彩像素中心点所属图形块的中心点位置,其行序号为:131*2-1=261;其列序号为:161*2-1=321。也就是说,图像期望点为位于第261行第321列的像素点。
获得所述期望点之后,执行步骤S2。具体来说,参考图8,步骤S2可包括:步骤S201,获得每个像素到所述期望点的距离平方;步骤S202,根据步骤S1所获得的各像素点亮度值,进行去噪处理;步骤S203,根据每个像素补偿到期望亮度所需要的校正系数以及到所述期望点的距离,获得到所述期望点的距离平方与所述校正系数的对应关系。其中,在此处及后续步骤中,采用距离平方而不是距离的具体值,具有较高的性价比。
步骤S201可通过每个像素的水平位置坐标和垂直位置坐标,计算其到所述期望点的距离平方。举例来说,当所述期望点水平坐标为Xc,垂直坐标为Yc,而像素的水平坐标为X0,垂直坐标为Y0,则像素到所述期望点的距离的平方为(X0-Xc)2+(Y0-Yc)2。
步骤S202中可采用步骤S1中所采集的像素亮度值。获得所采集的像素亮度值之后,所述去噪处理可包括:获取像素点在多帧图像中的亮度值,对所述亮度值进行帧间平均,以消除随机噪声。
根据步骤S201得到每一个像素点到所述期望点的距离平方以及根据步骤S202得到这些像素点对应的亮度值之后,进入步骤S203。具体的,步骤S203可包括:首先,对具有相同距离平方的像素点,计算其亮度平均值,使具有相同距离平方的像素点具有唯一亮度值,以减弱像素对于相同照度的光所具有的不同响应,即光响应的不均匀性;接着,将对应于不同距离平方的亮度平均值与期望亮度值进行比较,获得与该距离平方相对应的各像素点补偿到期望亮度所需要的校正系数,也就是说,所述校正系数随着所述到期望点距离平方的不同而不同。
具体来说,可通过将对应于不同距离平方的亮度平均值进行曲线拟合;所述期望亮度值对应于所拟合曲线中距离平方为零时的亮度值。以该期望亮度值与对应于每个距离平方的亮度平均值的比值,作为对应于该距离平方的校正系数。
由于图像由具有四个色彩像素的图形块组成,因此可对四个色彩通道的像素分别进行步骤S201至步骤S203的操作。在具体实现中,由于将每个图形块中的四个Gr、R、B、Gb色彩像素视为一体,其到所述期望点的距离平方相同,因此通过步骤S201获得像素到所述期望点的距离的平方之后,分别对四个色彩通道的像素进行步骤S202至步骤S203的操作。参考图9,对于Gr、R、B、Gb色彩通道像素,可分别获得其所述校正系数与所述距离平方的对应关系曲线。
接下来,进入步骤S3,可包括:按照所述距离平方对所述校正系数与所述距离平方的对应关系曲线进行划分,以获得设定段数的连续的步进校正段,其中,每段步进校正段所对应的距离平方的间距为该步进校正段的长度。
每段步进校正段具有对应的步进校正系数和步进参数。所述步进参数用于反映该步进校正段的长度,具体来说,可将以2为底、步进参数为指数的幂值作为该步进校正段的长度。所述步进校正系数用于反映与该步进校正段所对应的校正系数随该步进校正段长度的变化率。
设定段数的设置受到校正精度和运算量的限制,具体来说,设定段数越多,校正精度越高,但是运算量也越大,而设定段数越小,运算量越小,但是校正精度相对也就越低。
在具体实现中,步骤S3在获得所述连续步进校正段之前,还可包括:对所述校正系数和所述距离平方进行数据处理。例如,可对所述校正系数和距离平方的关系曲线进行平滑拟合。
下面以具体实施例对步骤S3进行说明。首先,对所获得的校正系数和距离平方的关系曲线进行最小二乘拟合;然后,将该拟合曲线分段,并将每一段分别线性化。参考图10,每一段线段li即为步进校正段,其所对应的横轴间距即为该步进校正段的长度,ki为该步进校正段所对应的斜率;其中,i为步进校正段的段序数,0≤i<n,n为步进校正段的设定段数,此处n=16;STEPi为第i段的步进参数,ki为第i段的步进校正系数。
由于校正系数与距离平方具有唯一对应的关系,根据像素点到期望点的距离平方,即可获知其对应的校正系数。本发明的实施方式通过将距离平方与所对应的校正系数,分别以步进参数、步进校正系数及其组合的形式来表现,从而摆脱了传统方法中借助于通过查询对应的LUTs来获得对应的校正系数,也就是说,不再需要存储LUTs以及进行对LUTs的查询操作,进而节省了大量的存储空间和运算时间,大大的提高了阴影校正的效率。
接下来,在实际场景下,捕获透过透镜的场景光线,使图像在像素阵列中成像。通过步骤S4和步骤S5,根据成像的各实际像素点到所述期望点的距离平方,获得其所对应的校正系数。具体来说:
在步骤S4中,根据像素阵列中每个实际像素点的横坐标以及纵坐标,计算每个实际像素点到所述期望点的距离平方。具体来说,可包括:当所述期望点水平坐标为Xc,垂直坐标为Yc,而实际像素点的水平坐标为X1,垂直坐标为Y1,则该实际像素点到所述期望点的距离的平方为(X1-Xc)2+(Y1-Yc)2。
步骤S5通过将步骤S4中所获得的实际像素点到所述期望点的距离平方,依次与每段步进校正段不包含自身的之前所有步进校正段的长度之和、以及其自身与其之前所有步进校正段的长度之和进行比较:当所述距离平方大于某段步进校正段之前的所有步进校正段长度之和,并且不大于该步进校正段自身与其之前所有步进校正段的长度之和,那么,该实际像素点则对应于该步进校正段。
进一步地,根据该步进校正段的步进参数和步进校正系数,获得该实际像素点所对应的校正系数。举个例子,实际像素点对应于第m段步进校正段,其到期望点的距离为R2。其中,第m段步进校正段具有步进参数STEPm以及步进校正系数km,其中,0≤m<n,n为步进校正段的设定段数,该实际像素点所对应的校正系数Gm为:
获得每个实际像素点对应的校正系数之后,进行步骤S6,利用该校正系数,对每个实际像素进行校正,从而实现图像的透镜阴影校正。
参考图11,在本发明的其它实施方式中,还提供了一种透镜阴影校正方法,包括:步骤S11,在参考场景下,获得期望点;步骤S12,在参考场景下,根据每个像素点的亮度值以及到所述期望点的距离平方,获得像素点补偿到期望亮度所需要的校正系数与其到所述期望点的距离平方的对应关系;步骤S13,根据所述校正系数与所述距离平方的对应关系,获得设定段数的连续的步进校正段,以及与每段步进校正段对应的步进参数和步进校正系数;步骤S14,在实际场景下,获得每个行首实际像素点到所述期望点的绝对距离平方,以及每个非行首实际像素点相对于其前一个实际像素点的相对距离平方;步骤S15,根据所述绝对距离平方或者相对距离平方,分别确定所述行首实际像素点或者所述非行首实际像素点所对应的步进校正段,并根据所述步进校正段的步进参数和步进校正系数,计算每个实际像素点所对应的校正系数;步骤S16,根据所述校正系数,对图像的实际像素进行阴影校正。
其中,所述相对距离平方为每个非行首实际像素点到所述期望点的距离平方、与其前一个实际像素点到所述期望点的距离平方的差值。
在步骤S14中,对于行首实际像素点与所述期望点的绝对距离平方之和计算,可包括:根据每一行行首实际像素点的水平坐标和垂直坐标以及所述期望点的水平坐标和垂直坐标,采用两点间距离公式计算每一行行首实际像素点与所述期望点的距离平方。
由于每一行的实际像素点具有相同的垂直坐标,当前实际像素点到所述期望点的距离平方,相对于前一实际像素点到所述期望点的距离平方,仅为由当前实际像素点相对于前一实际像素点的水平坐标发生位移所引起的,因此可根据前一点实际像素点所获得的距离平方,对当前实际像素点的距离平方进行计算。
举个例子,R1 2为当前实际像素点与所述期望点的距离平方,R0 2为前一实际像素点与所述期望点的距离平方,x1、y1分别为当前实际像素点的水平坐标、垂直坐标,x0、y0分别为前一实际像素点的水平坐标、垂直坐标,xc、yc分别为所述期望点的水平坐标、垂直坐标,Δx为当前实际像素点与前一实际像素点的水平坐标距离:
发明人正是注意到:每一个非行首实际像素点到所述期望点的距离平方都可通过前一实际像素点到所述期望点的距离平方以及所述相对距离平方之和计算得到;并且发明人还注意到:由于以包含四个色彩像素点的图形块为位移单位,也就是说,相同色彩的前后实际像素点之间相隔两个实际像素点的距离,即Δx=±2,因此,当前实际像素点与前一实际像素点的相对距离平方ΔR2可表示为ΔR2=4±4(x0-xc)。也就是说,通过位拼接和加法运算,可以获得所述相对距离平方。
因此在本发明实施方式中,只需要计算每一个行首实际像素点的绝对距离平方,而通过所述相对距离平方标识每一个非行首实际像素点,从而避免了对大量非行首实际像素点进行平方运算所带来的程序和硬件的消耗,节约了校正时间和设备功耗,提高了校正效率。
获得每一个行首实际像素点的所述绝对距离平方和每一个非行首实际像素点的所述相对距离平方之后,进入步骤S15。
步骤S15具体可包括:对于行首实际像素点,根据其所述到期望点的绝对距离平方,获得对应的步进校正段,并计算所述校正系数;对于非行首实际像素点,根据其所述相对距离平方以及前一实际像素点对应的步进校正段,获得与当前实际像素点对应的步进校正段,并计算所述校正系数。
具体来说,对于行首实际像素点,参考图12,首先,步骤S301,将所述绝对距离平方与第一段步进校正段的长度进行比较:如果所述绝对距离平方小于第一段步进校正段的长度,则行首实际像素点对应于第一段步进校正段;反之,计算第一段步进校正段尾端所对应的校正系数以及所述绝对距离平方与第一段步进校正段的差值,并将所述差值和第二段步进校正段的长度进行比较。重复这样的比较和计算过程,直到当所述差值小于某步进校正段的长度,则行首实际像素点对应于该步进校正段。
接下来,步骤S302,由该步进校正段的步进参数和步进校正系数,计算该行首实际像素点对应的校正系数。具体来说,可包括:根据步骤S301获得所对应的步进校正段之后,确定该步进校正段的所述差值,所述差值即为行首实际像素点的绝对距离平方与该步进校正段之前所有步进校正段长度之和的差值。在此基础上,计算该差值与该步进校正段所述步进校正系数的乘积,然后,根据步骤S301获得该步进校正段的前一步进校正段尾端所对应的校正系数,计算其与所述乘积的和值,并将所述和值,作为该行首实际像素点的校正系数。
举个例子,参考图13,行首实际像素点的绝对距离平方为R0 2,首先将R0 2与第一段步进校正段的长度2STEP00相比较:如果 所述校正系数为1+SLOPE00×R0 2;如果 计算第一段步进校正段尾端的校正系数,即1+SLOPE00×2STEP00,以及R0 2与2STEP00的差值,即R0 2-2STEP00,将R0 2-2STEP00与第二段步进校正段的长度2STEP01相比较:如果R0 2-2STEP00<2STEP01,所述校正系数为1+SLOPE00×2STEP00+SLOPE01×(R0 2-2STEP00);如果R0 2-2STEP00≥2STEP01,计算第二段步进校正段尾端的校正系数,即1+SLOPE00×2STEP00+SLOPE01×2STEP01,以及R0 2-2STEP00与2STEP01的差值,即R0 2-2STEP00-2STEP01,将R0 2-2STEP00-2STEP01继续与第三段步进校正段对应的长度2STEP02相比较:依次进行比较和计算,直到所述差值小于某步进校正段的长度,则该行首实际像素点对应于该步进校正段。在此基础上,获得前一段步进校正段尾端对应的校正系数g0以及该行首实际像素点的校正系数g0+Db′×SLOPEn;其中,SLOPEn为第n段步进校正段的步进校正系数;Db′为行首实际像素点的绝对距离平方与第n段步进校正段之前所有步进校正段长度之和的差值。
对于其它非行首实际像素点,根据当前非行首实际像素点相对于前一实际像素点的相对距离平方ΔR2,判断当前实际像素点相对于前一实际像素点的运动方向以及当前实际像素点与前一实际像素点是否对应于同一步进校正段,并获得当前实际像素点对应的校正系数。
下面结合附图和具体实施例,对其它非行首实际像素点校正系数的计算过程进行详细说明。
首先,判断ΔR2是否大于零,得到当前实际像素点p1是否相对于前一实际像素点p0进行正向移动,当ΔR2<0,即当前实际像素点p1相对于前一实际像素点p0为负向移动,当ΔR2>0,即当前实际像素点p1相对于前一实际像素点p0为正向移动。
然后,在当前实际像素点p1相对于前一实际像素点p0为正向移动时,判断当前实际像素点p1和前一实际像素点p0是否对应于相同的步进校正段的过程包括:计算前一实际像素点p0到所述期望点的距离平方以及与所对应的步进校正段之前所有步进校正段长度之和的差值;获得前一实际像素点p0对应的步进校正段长度与所述计算结果的间距;计算当前实际像素点的相对距离平方与所述间距的差值,并将所述差值与零进行比较,当所述差值小于零时,当前实际像素点p1和前一实际像素点p0对应于相同的步进校正段;反之,当前实际像素点p1和前一实际像素点p0分别对应于不同的步进校正段。
具体来说,将ΔR2-(2STEP[p0]-Db)与0进行比较,也就是说,当ΔR2-(2STEP[p0]-Db)<0时,当前实际像素点p1和前一实际像素点p0对应于相同的步进校正段;当ΔR2-(2STEP[p0]-Db)≥0时,当前实际像素点p1和前一实际像素点p0对应于不同的步进校正段。其中,STEP[p0]为前一实际像素点p0所对应步进校正段的步进参数,Db为前一实际像素点p0到所述期望点的距离平方、以及与p0所对应的步进校正段之前所有步进校正段长度之和的差值。
在当前实际像素点p1相对于前一实际像素点p0为负向移动时,判断当前实际像素点p1和前一实际像素点p0是否对应于相同的步进校正段的过程包括:计算前一实际像素点p0到所述期望点的距离平方以及与所对应的步进校正段之前所有步进校正段长度之和的差值;获得当前实际像素点p1的相对距离平方与所述计算结果的差值;将所述差值与零进行比较:当所述差值小于零时,当前实际像素点p1和前一实际像素点p0对应于相同的步进校正段;反之,则当前实际像素点p1和前一实际像素点p0分别对应于不同的步进校正段。
具体来说,将ΔR2-Db与0进行比较,也就是说:当ΔR2-Db<0时,当前实际像素点p1和前一实际像素点p0对应于相同的步进校正段;当ΔR2-Db≥0时,当前实际像素点p1和前一实际像素点p0对应于不同的步进校正段。其中,Db为前一实际像素点p0到所述期望点的距离平方,以及与p0所对应的步进校正段之前所有步进校正段长度之和的差值。
参考图14和图15,当前实际像素点p1相对于前一实际像素点p0为负向移动。根据当前实际像素点p1和前一实际像素点p0是否对应于相同的步进校正段时,p0所对应步进校正段的校正系数界值,以及当前实际像素点p1所处步进校正段的步进校正系数,获得p1的校正系数。其中,由于步进校正段的连续性,p0所对应步进校正段首端的校正系数值为其前一步进校正段尾端的校正系数值。
具体来说,参考图14,ΔR2-Db≥0,当前实际像素点p1与前一实际像素点p0分别对应于不同的步进校正段。此时可得到当前实际像素点p1的校正系数为:
g0[p0]-(ΔR2-Db)×SLOPE[p1]
其中,SLOPE[p1]为当前实际像素点p1所处步进校正段的步进校正系数,g0[p0]为前一实际像素点p0所对应步进校正段首端的校正系数值。
参考图15,ΔR2-Db<0,当前实际像素点p1与前一实际像素点p0对应于相同的步进校正段。此时可得到当前实际像素点p1的校正系数为:
g0[p0]-(ΔR2-Db)×SLOPE[p1]
其中,SLOPE[p1]为当前实际像素点p1所对应步进校正段的步进校正系数,g0[p0]为前一实际像素点p0所对应步进校正段首端的校正系数值。
参考图16和图17,当前实际像素点p1相对于前一实际像素点p0为正向移动。根据当前实际像素点p1和前一实际像素点p0是否对应于相同的步进校正段时,p0所对应步进校正段的校正系数界值、步进参数、步进校正系数,以及当前实际像素点p1所处步进校正段的步进校正系数,获得p1的校正系数。其中,由于步进校正段的连续性,p0所对应步进校正段首端的校正系数值为其前一步进校正段尾端的校正系数值。
参考图16,ΔR2-(2STEP[p0]-Db)<0,当前实际像素点p1与前一实际像素点p0对应于同一步进校正段。此时可得到当前实际像素点p1的校正系数为:
g0[p0]+(Db+ΔR2)×SLOPE[p0]
其中,SLOPE[p0]为前一实际像素点p0所对应步进校正段的步进校正系数,g0[p0]为前一实际像素点p0所对应步进校正段首端的校正系数值。
参考图17,ΔR2-(2STEP[p0]-Db)≥0,当前实际像素点p1与前一实际像素点p0分别对应于不同的步进校正段中。此时可得到当前实际像素点p1的校正系数为:
g0[p0]+2STEP[p0]×SLOPE[p0]+(ΔR2-Db)×SLOPE[p1]
其中,SLOPE[p0]为前一实际像素点p0所对应步进校正段的步进校正系数,SLOPE[p1]为当前实际像素点p1所对应步进校正段的步进校正系数,STEP[p0]为前一实际像素点p0所对应步进校正段的步进参数,g0[p0]为前一实际像素点p0所对应步进校正段首端的校正系数值。
综合以上四种情况,即可根据前一实际像素点,获得当前实际像素点对应的校正系数。
上述实施方式,由于采用步进校正的方法,在具体实现的过程中,每次只需要与一段步进校正段进行比较,并且在比较过程中,逐段对所述差值、前一步进校正段首端对应的校正系数进行计算并更新。也就是说,在比较过程中,只需要保存并使用一个所述差值的具体值、以及一个所述前一步进校正段首端对应的校正系数的具体值。在运算过程中,有效地降低了对过程量的存储需求,减少了存储器件的数量,进而缩小了芯片面积。
接下来,通过步骤S16,将所获得的校正系数与所述实际像素点亮度值相乘,即可获得所述实际像素点经校正后的亮度值,完成对其的亮度补偿。对每个实际像素点进行校正,从而实现对整个图像的阴影校正。
相对于现有技术,本发明透镜阴影校正方法的上述实施方式具有以下优点:
1.通过将距离平方与所对应的校正系数,分别以步进参数、步进校正系数及其组合的形式来表现,从而避免了对大规模的查找表的使用,减少了存储量和运算量,简化了硬件实现逻辑,减低了实现代价,进而大大缩小了芯片面积。
2.根据行首实际像素点到所述期望点的绝对距离平方以及非行首实际像素点距其前一实际像素点的相对距离平方,获得行首实际像素点所对应的步进校正段,以及非行首实际像素点所对应的步进校正段,并根据所述步进校正段的步进参数和步进校正系数获得与实际像素点对应的校正系数,从而减少了芯片面积,节约了成本。
3.通过只对单一色彩的像素点的亮度值进行采集和数据处理,并根据数据处理所得到的该单一色彩像素中心点的行、列位置计算出整个图像的中心点,即期望点的位置,从而大大减少了数据处理量,提高了处理速度,降低了实现代价。
4.由于将每个包含4种不同色彩像素点的图形块视为一体,在具体计算处理过程中,每个图像块中的四个不同色彩像素点具有到所述期望点相同的距离平方,因此,以少量的判断逻辑可获得不同色彩像素点的距离平方,而不需要对每个色彩通道像素进行计算,从而减少了器件的功耗。
5.通过以行、列累加的方式获得累加结果,并通过多项式曲线拟合分别对累加结果中的干扰进行处理,增加信噪比,以获得较好的期望点,也就是透镜光心在像素阵列上的位置,从而以较小的运算量得到精确的位置信息。
参考图18,本发明还提供了一种透镜阴影校正装置,包括:采集单元401,用于在参考场景下和实际场景下,采集像素阵列的亮度值;期望点获取单元402,用于根据采集单元401所获得的像素阵列的亮度值,获得期望点;距离平方单元403,用于在参考场景下,计算像素点与期望点获取单元402所获得的期望点之间的距离平方,以及在实际场景下,计算行首实际像素点与所述期望点之间的绝对距离平方和非行首实际像素点与其前一实际像素点之间的相对距离平方;校正系数计算单元404,用于在参考场景下,根据采集单元401所获得的每个像素点的亮度值以及距离平方单元402所获得的所述距离平方,获得每个像素点补偿到期望亮度所需要的校正系数与所述距离平方的对应关系;校正系数确定单元405,用于在实际场景下,根据采集单元401所获得的每个像素点的亮度值、距离平方单元403所获得的所述绝对距离平方和所述相对距离平方以及校正系数计算单元404所获得的对应关系,确定每个实际像素点所对应的校正系数;校正单元406,用于根据校正系数确定单元405所确定的校正系数,对图像的实际像素进行阴影校正。
具体来说,采集单元401,在参考场景下采集各像素点的亮度值;
参考图19,期望点获取单元402,可包括累加单元501、极值单元502和期望点计算单元503。
其中,累加单元501用于在参考场景下,对于采集单元401所采集的单一色彩通道中每一行及每一列色彩像素点的所述亮度值,按照行和列分别进行累加,获得该色彩通道的行累加结果和列累加结果。在具体实施中,可为累加器,也可为加法器。
极值单元502用于根据累加单元501所获得的累加结果,确定该色彩通道中具有最大亮度值的像素点。极值单元502可包括拟合运算器和比较器,用于对所述累加结果进行曲线拟合,并获得该色彩通道中具有行、列亮度值最大值的像素点。
期望点计算单元503用于根据极值单元502所获得的具有最大值的点计算所述期望点。具体来说,由于图像由包含四个单一色彩像素点的图形块组成,因此,可根据单一色彩通道中具有最大亮度值的像素点之后,并通过固定的位移量,获得所述期望点。
距离平方单元403,可包括绝对距离平方单元和相对距离平方单元。
其中,所述绝对距离平方单元包括在参考场景下,计算所述像素点和所述期望点之间的距离平方,以及在实际场景下,计算行首实际像素点与所述期望点之间的绝对距离平方。在具体实施中,可包括乘法器、加法器。
所述相对距离平方单元,用于在实际场景下,计算每行中非行首实际像素点与其前一实际像素点之间的相对距离平方。在具体实施中,可包括加法器、位移计数器、减法器。
参考图20,校正系数计算单元404,可包括比较单元701、计数单元702、期望亮度获取单元703、存储单元704以及除法单元705。
其中,比较单元701,用于对不同色彩通道的象素点,分别比较其到所述期望点的距离平方,将具有相同距离平方的同色彩像素点的亮度值保存至存储单元704,并通过计数单元702获得所述像素点的个数;期望亮度获取单元703,用于根据存储单元704所保存的像素点亮度值以及距离平方单元403所获得的这些像素点的距离平方,进行曲线拟合,并获得期望亮度;除法单元702,根据存储单元704所保存的像素点亮度值和计数单元702所保存的像素点个数,计算具有相同距离的同色彩像素点的亮度值平均值,并根据所获得的亮度值平均值以及期望亮度获取单元703所得到的期望亮度,计算所述像素点补偿到期望亮度所需要的校正系数。所获得的校正系数与所述距离平方具有唯一的对应关系。
参考图21,校正系数确定单元405,可包括控制单元801、更新单元802、计算单元803和存储单元804。
其中控制单元801用于根据所述校正系数与距离平方的对应关系,将所述校正系数分为具有设定段数的连续的步进校正段,具体来说,可包括多个控制寄存器,进一步可包括步进参数寄存器、步进校正系数寄存器,分别对应保存每段步进校正段的相关参数。在具体实施中,例如,步进参数寄存器用于保存各段步进校正段的步进参数STEP,所述步进参数STEP与各段步进校正段的长度2STEP相对应;且步进校正系数寄存器用于保存每段步进校正段中,所述校正系数随距离平方的变化率。此外,对应于不同的色彩通道,将步进校正系数分别保存至不同的步进校正系数寄存器,例如:对应于Gr、R、B、Gb色彩通道,分别:G1SLOPE00~G1SLOPE15,RSLOPE00~RSLOPE15,BSLOPE00~BSLOPE15,G2SLOPE00~G2SLOPE15。
更新单元802用于确定所述像素点所对应的步进校正段,具体可包括比较器、运算器。计算单元803用于根据更新单元802所获得的步进校正段的段序号,通过存储单元804中与所述段序号对应的前一步进校正段首端对应的校正系数以及所述差值,计算该像素点的校正系数,具体来说可包括至少一个运算器。在具体实施过程中,更新单元802和计算单元803可采用相同的运算器。
存储单元804用于保存所述像素点所对应的步进校正段的段序号、其前一步进校正段首端对应的校正系数,以及该像素点到所述期望点的距离平方与其所对应的步进校正段之前所有步进校正段长度之和的差值。
校正单元406具体来说,可包括至少一个乘法器。
在具体的实施方式中,本发明透镜阴影校正装置可仅包括一个乘法器,通过对该乘法器的重复使用,从而实现以较小的硬件代价获得较好的亮度校正效果。
在其它的实施方式中,本发明透镜阴影校正装置还可包括参考场景提供单元,具体来说,可包括放置在镜头前的均匀发光板,以该均匀发光板作为光源,提供均匀场景照度的参考场景。
虽然本发明已通过较佳实施例说明如上,但这些较佳实施例并非用以限定本发明。本领域的技术人员,在不脱离本发明的精神和范围内,应有能力对该较佳实施例做出各种改正和补充,因此,本发明的保护范围以权利要求书的范围为准。
Claims (34)
1.一种透镜阴影校正方法,其特征在于,包括:
在参考场景下,获得期望点,所述期望点为透镜光心在像素阵列对应的位置,所述参考场景为均匀照度场景;
在参考场景下,根据每个像素点的亮度值以及到所述期望点的距离平方,获得像素点补偿到期望亮度所需要的校正系数与其到所述期望点的距离平方的对应关系;
根据所述校正系数与所述距离平方的对应关系,获得设定段数的连续的步进校正段,以及与每段步进校正段对应的步进参数和步进校正系数;
在实际场景下,获得每个实际像素点到所述期望点的距离平方;
根据所述距离平方,确定每个实际像素点所处的步进校正段,并根据所述步进校正段的步进参数和步进校正系数,计算每个实际像素点所对应的校正系数;
根据所述校正系数,对图像的实际像素进行阴影校正。
2.如权利要求1所述的透镜阴影校正方法,其特征在于,所述获得期望点包括:
对图像中像素点在参考场景条件下的亮度值进行采集;
对所采集的单一色彩像素点的亮度值进行数据处理,获得其中心点位置;
根据所述单一色彩像素的中心点位置,计算出所述期望点的位置。
3.如权利要求2所述的透镜阴影校正方法,其特征在于,所述对所采集的单一色彩像素点的亮度值进行数据处理,获得其中心点位置,包括:
将所采集的每一行单一色彩像素点的亮度值、以及每一列单一色彩像素点的亮度值分别进行累加,获得行累加结果和列累加结果;
分别对所述累加结果中的干扰进行处理,获得所述单一色彩像素中心点的行、列位置。
4.如权利要求3所述的透镜阴影校正方法,其特征在于,所述分别对累加结果中的干扰进行处理,获得单一色彩像素中心点的行、列位置,包括:
对所述累加结果分别进行多项式曲线拟合,以行累加结果中的极大值点为所述单一色彩像素中心点在所有同一色彩像素中的行位置,以及以列累加结果中的极大值点为所述单一色彩像素中心点在所有同一色彩像素中的列位置。
5.如权利要求1所述的透镜阴影校正方法,其特征在于,所述根据每个像素点的亮度值以及到期望点的距离平方,获得像素点补偿到期望亮度所需要的校正系数与其到所述期望点的距离平方的对应关系,包括:
获得每个像素到所述期望点的距离平方;
根据所获得的各像素点亮度值,进行去噪处理;
根据每个像素补偿到期望亮度所需要的校正系数以及到所述期望点的距离,获得到所述期望点的距离平方与所述校正系数的对应关系。
6.如权利要求5所述的透镜阴影校正方法,其特征在于,所述采集各像素的亮度值并进行去噪处理,包括:获取像素点在多帧图像中的亮度值,对所述亮度值进行帧间平均。
7.如权利要求5所述的透镜阴影校正方法,其特征在于,所述根据每个像素补偿到期望亮度所需要的校正系数以及到期望点的距离,获得到期望点的距离平方与校正系数的对应关系,包括:
将对应于不同距离平方的亮度平均值进行曲线拟合,所述期望亮度值对应于所拟合曲线中距离平方为零时的亮度值。
8.如权利要求7所述的透镜阴影校正方法,其特征在于,所述根据每个像素补偿到期望亮度所需要的校正系数以及到期望点的距离,获得到期望点的距离平方与校正系数的对应关系,包括:
对具有相同距离平方的像素点,计算其亮度平均值,使具有相同距离平方的像素点具有唯一亮度值;
将对应于不同距离平方的亮度平均值与期望亮度值进行比较,获得与该距离平方相对应的各像素点补偿到期望亮度所需要的校正系数。
9.如权利要求1所述的透镜阴影校正方法,其特征在于,所述根据校正系数与距离平方的对应关系,获得设定段数的连续的步进校正段以及与每段步进校正段对应的步进参数和步进校正系数,包括:按照所述距离平方对所述校正系数与所述距离平方的对应关系曲线进行划分,以获得设定段数的连续的步进校正段,其中,每段步进校正段所对应的距离平方的间距为该步进校正段的长度。
10.如权利要求9所述的透镜阴影校正方法,其特征在于,所述步进参数用于反映其对应的步进校正段的长度。
11.如权利要求10所述的透镜阴影校正方法,其特征在于,将以2为底、步进参数为指数的幂值作为与所述步进参数对应的步进校正段的长度。
12.如权利要求9所述的透镜阴影校正方法,其特征在于,所述步进校正系数用于反映与其对应的步进校正段所对应的校正系数随所述步进校正段长度的变化率。
13.如权利要求12所述的透镜阴影校正方法,其特征在于,所述步进校正系数为将所获得的校正系数和距离平方的关系曲线曲线拟合并进行分段线性化之后,每段线段的斜率。
14.如权利要求9所述的透镜阴影校正方法,其特征在于,所述设定段数为16。
15.如权利要求1所述的透镜阴影校正方法,其特征在于,所述根据校正系数与距离平方的对应关系,获得设定段数的连续的步进校正段以及与每段步进校正段对应的步进参数和步进校正系数,之前还包括:对所述校正系数和所述距离平方进行数据处理。
16.如权利要求1所述的透镜阴影校正方法,其特征在于,包括:所述根据所获得的实际像素点到所述期望点的距离平方,确定每个实际像素点所处的步进校正段,包括:将所述距离平方,依次与每段步进校正段不包含自身的之前所有步进校正段的长度之和、以及其自身与其之前所有步进校正段的长度之和进行比较:当所述距离平方大于某段步进校正段之前的所有步进校正段长度之和,并且不大于该步进校正段自身与其之前所有步进校正段的长度之和,那么,所述实际像素点则对应于该步进校正段。
17.一种透镜阴影校正方法,其特征在于,包括:
在参考场景下,获得期望点,所述期望点为透镜光心在像素阵列对应的位置,所述参考场景为均匀照度场景;
在参考场景下,根据每个像素点的亮度值以及到所述期望点的距离平方,获得像素点补偿到期望亮度所需要的校正系数与其到所述期望点的距离平方的对应关系;
根据所述校正系数与所述距离平方的对应关系,获得设定段数的连续的步进校正段,以及与每段步进校正段对应的步进参数和步进校正系数;
在实际场景下,获得每个行首实际像素点到所述期望点的绝对距离平方,以及每个非行首实际像素点相对于其前一个实际像素点的相对距离平方;
根据所述绝对距离平方或者相对距离平方,分别确定所述行首实际像素点或者所述非行首实际像素点所对应的步进校正段,并根据所述步进校正段的步进参数和步进校正系数,计算每个实际像素点所对应的校正系数;
根据所述校正系数,对图像的实际像素进行阴影校正。
18.如权利要求17所述的透镜阴影校正方法,其特征在于,所述获得每个行首实际像素点到期望点的绝对距离平方,包括:根据每一行行首实际像素点的水平坐标和垂直坐标以及所述期望点的水平坐标和垂直坐标,采用两点间距离公式计算每一行行首实际像素点与所述期望点的距离平方。
19.如权利要求18所述的透镜阴影校正方法,其特征在于,所述根据绝对距离平方,确定行首实际像素点所对应的步进校正段,包括:
将所述绝对距离平方与第一段步进校正段的长度进行比较:如果所述绝对距离平方小于第一段步进校正段的长度,则行首实际像素点对应于第一段步进校正段;反之,计算第一段步进校正段尾端所对应的校正系数以及所述绝对距离平方与第一段步进校正段的差值,并将所述差值和第二段步进校正段的长度进行比较;
重复所述步骤,直至所述差值小于某步进校正段的长度,则所述行首实际像素点对应于所述步进校正段。
20.如权利要求19所述的透镜阴影校正方法,其特征在于,所述根据步进校正段的步进参数和步进校正系数,计算每个行首实际像素点所对应的校正系数,包括:
获得所对应的步进校正段之后,确定该步进校正段的所述差值,所述差值即为行首实际像素点的绝对距离平方与该步进校正段之前所有步进校正段长度之和的差值;
计算所述差值与步进校正段所述步进校正系数的乘积;
根据该步进校正段的前一步进校正段尾端所对应的校正系数,计算其与所述乘积的和值,并将所述和值,作为所述行首实际像素点的校正系数。
21.如权利要求17所述的透镜阴影校正方法,其特征在于,所述相对距离平方为每个非行首实际像素点到所述期望点的距离平方、与其前一个实际像素点到所述期望点的距离平方的差值。
22.如权利要求21所述的透镜阴影校正方法,其特征在于,所述获得每个非行首实际像素点相对于其前一个实际像素点的相对距离平方,包括:通过位拼接和加法运算,获得所述相对距离平方。
23.如权利要求22所述的透镜阴影校正方法,其特征在于,所述根据步进校正段的步进参数和步进校正系数,计算每个非行首实际像素点所对应的校正系数,包括:根据当前非行首实际像素点相对于其前一实际像素点的相对距离平方,判断当前实际像素点相对于前一实际像素点的运动方向以及当前实际像素点与前一实际像素点是否对应于同一步进校正段,并获得当前实际像素点对应的校正系数。
24.如权利要求23所述的透镜阴影校正方法,其特征在于,所述判断当前实际像素点相对于前一实际像素点的运动方向,包括:判断当前非行首实际像素点与其前一实际像素点的相对距离平方是否小于零,若小于零,则当前实际像素点相对于前一实际像素点负向运动,反之,则当前实际像素点相对于前一实际像素点正向运动。
25.如权利要求24所述的透镜阴影校正方法,其特征在于,所述在当前实际像素点相对于前一实际像素点为正向移动时,判断当前非行首实际像素点与其前一实际像素点是否对应于同一步进校正段的过程,包括:
计算前一实际像素点到所述期望点的距离平方以及与所对应的步进校正段之前所有步进校正段长度之和的差值;
获得前一实际像素点对应的步进校正段长度与所述计算结果的间距;
计算当前实际像素点的相对距离平方与所述间距的差值;
将所述差值与零进行比较:当所述差值小于零时,当前实际像素点和前一实际像素点对应于相同的步进校正段;反之,当前实际像素点和前一实际像素点分别对应于不同的步进校正段。
26.如权利要求25所述的透镜阴影校正方法,其特征在于,所述计算每个非行首实际像素点所对应的校正系数,包括:
在当前实际像素点相对于前一实际像素点产生正向移动,并且分别对应于不同的步进校正段时,根据前一实际像素点所对应步进校正段的校正系数界值、步进参数、步进校正系数,以及当前实际像素点所对应步进校正段的步进校正系数,计算当前实际像素点的校正系数,并计算当前实际像素点所对应步进校正段的校正系数界值;
在当前实际像素点相对于前一实际像素点产生正向移动,并且对应于相同的步进校正段时,根据前一实际像素点所对应步进校正段的校正系数界值和步进校正系数,计算当前实际像素点的校正系数。
27.如权利要求24所述的透镜阴影校正方法,其特征在于,所述在当前实际像素点相对于前一实际像素点为负向移动时,判断当前非行首实际像素点与其前一实际像素点是否对应于同一步进校正段的过程,包括:
计算前一实际像素点到所述期望点的距离平方以及与所对应的步进校正段之前所有步进校正段长度之和的差值;
获得当前实际像素点的相对距离平方与所述计算结果的差值;
将所述差值与零进行比较:当所述差值小于零时,当前实际像素点和前一实际像素点对应于相同的步进校正段;反之,则当前实际像素点和前一实际像素点分别对应于不同的步进校正段。
28.如权利要求27所述的透镜阴影校正方法,其特征在于,所述计算每个非行首实际像素点所对应的校正系数,包括:
当前实际像素点相对于前一实际像素点产生负向移动,并且分别对应于不同的步进校正段时,根据前一实际像素点所对应步进校正段的校正系数界值,以及当前实际像素点所对应步进校正段的步进校正系数,计算当前实际像素点的校正系数,并且计算当前实际像素点所对应步进校正段的校正系数界值;
当前实际像素点相对于前一实际像素点产生负向移动,并且对应于相同的步进校正段时,根据前一实际像素点所对应步进校正段的校正系数界值,以及当前实际像素点所对应步进校正段的步进校正系数,计算当前实际像素点的校正系数。
29.一种透镜阴影校正装置,其特征在于,包括:
采集单元,用于在参考场景下和实际场景下,采集像素阵列的亮度值,所述参考场景为均匀照度场景;
期望点获取单元,用于根据所述采集单元所获得的像素阵列的亮度值,获得期望点,所述期望点为透镜光心在像素阵列对应的位置;
距离平方单元,用于在参考场景下,计算像素点与所述期望点获取单元所获得的期望点之间的距离平方,以及在实际场景下,计算行首实际像素点与所述期望点之间的绝对距离平方和非行首实际像素点与其前一实际像素点之间的相对距离平方;
校正系数计算单元,用于在参考场景下,根据所述采集单元所获得的每个像素点的亮度值以及所述距离平方单元所获得的所述距离平方,获得每个像素点补偿到期望亮度所需要的校正系数与所述距离平方的对应关系;
校正系数确定单元,用于在实际场景下,根据所述采集单元所获得的每个像素点的亮度值、所述距离平方单元所获得的所述绝对距离平方和所述相对距离平方以及所述校正系数计算单元所获得的对应关系,确定每个实际像素点所对应的校正系数;
校正单元,用于根据所述校正系数确定单元所确定的校正系数,对图像的实际像素进行阴影校正。
30.如权利要求29所述的透镜阴影校正装置,其特征在于,所述期望点获取单元包括:
累加单元,用于在参考场景下,对于所述采集单元所采集的单一色彩通道中每一行及每一列色彩像素点的所述亮度值,按照行和列分别进行累加,获得所述色彩通道的行累加结果和列累加结果;
极值单元,用于在参考场景下,对于所述采集单元所采集的单一色彩通道中每一行及每一列色彩像素点的所述亮度值,按照行和列分别进行累加,获得所述色彩通道的行累加结果和列累加结果;
期望点计算单元,用于根据所述极值单元所获得的具有最大值的点计算所述期望点。
31.如权利要求29所述的透镜阴影校正装置,其特征在于,所述距离平方单元,包括:
绝对距离平方单元,用于在参考场景下,计算所述像素点和所述期望点之间的距离平方,以及在实际场景下,计算行首实际像素点与所述期望点之间的绝对距离平方;
相对距离平方单元,用于在实际场景下,计算每行中非行首实际像素点与其前一实际像素点之间的距离平方。
32.如权利要求29所述的透镜阴影校正装置,其特征在于,所述校正系数计算单元包括:
比较单元,用于对不同色彩通道的象素点,分别比较其到所述期望点的距离平方;
存储单元,用于保存经所述比较单元获得的具有相同距离平方的同色彩像素点的亮度值;
计数单元,用于计数经所述比较单元获得的具有相同距离平方的同色彩像素点的个数;
期望亮度获取单元,用于根据所述存储单元所保存的像素点亮度值以及所述距离平方单元获得的所述像素点的距离平方,进行曲线拟合,并获得期望亮度;
除法单元,用于根据所述存储单元所保存的像素点亮度值和所述计数单元所保存的像素点个数,计算经所述比较单元获得的具有相同距离的同色彩像素点的亮度值平均值,并根据所获得的亮度值平均值以及所述期望亮度获取单元所得到的期望亮度,计算所述像素点补偿到期望亮度所需要的校正系数。
33.如权利要求29所述的透镜阴影校正装置,其特征在于,所述校正系数确定单元包括:
控制单元,用于根据所述校正系数与距离平方的对应关系,将所述校正系数分为具有设定段数的连续的步进校正段;
更新单元,用于确定所述像素点所对应的步进校正段;
计算单元,用于根据所述更新单元所获得的步进校正段的段序号,通过所述存储单元中与所述段序号对应的前一步进校正段尾端对应的校正系数以及所述差值,计算该像素点的校正系数;
存储单元,用于保存所述像素点所对应的步进校正段的段序号、其前一步进校正段尾端对应的校正系数,以及该像素点到所述期望点的距离平方与其所对应的步进校正段之前所有步进校正段长度之和的差值。
34.如权利要求33所述的透镜阴影校正装置,其特征在于,所述控制单元包括:
步进参数寄存器,用于各段步进校正段的步进参数,所述步进参数与各段步进校正段的长度相对应;
步进校正系数寄存器,用于保存每段步进校正段中,所述校正系数随距离平方的变化率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101877320A CN101510962B (zh) | 2008-12-31 | 2008-12-31 | 透镜阴影校正方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101877320A CN101510962B (zh) | 2008-12-31 | 2008-12-31 | 透镜阴影校正方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101510962A CN101510962A (zh) | 2009-08-19 |
CN101510962B true CN101510962B (zh) | 2012-03-21 |
Family
ID=41003204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101877320A Active CN101510962B (zh) | 2008-12-31 | 2008-12-31 | 透镜阴影校正方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101510962B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289327B (zh) * | 2011-07-13 | 2013-09-11 | 苏州佳世达电通有限公司 | 线性光源的边界点的位置校正方法和装置 |
CN104581098B (zh) * | 2014-12-01 | 2016-09-28 | 北京思比科微电子技术股份有限公司 | 一种lens shading自适应的处理方法 |
CN106341617B (zh) * | 2016-11-16 | 2019-08-02 | 信利光电股份有限公司 | 一种摄像头串扰补偿的方法及装置 |
CN107566763B (zh) * | 2017-02-16 | 2020-03-31 | 思特威(上海)电子科技有限公司 | 大尺寸图像传感器及其图像校正方法 |
CN108111777B (zh) * | 2017-12-15 | 2021-02-02 | 武汉精立电子技术有限公司 | 一种暗角校正系统及方法 |
CN108921797B (zh) * | 2018-06-14 | 2021-07-13 | 合肥市商巨智能装备有限公司 | 畸变图像的校准方法 |
CN110084856B (zh) * | 2019-04-24 | 2021-07-27 | Oppo广东移动通信有限公司 | 标定图像的亮度调整方法、装置、电子设备及存储介质 |
CN111385946B (zh) * | 2020-03-23 | 2022-05-27 | 北京经纬恒润科技股份有限公司 | 一种像素灯亮度控制方法及装置 |
CN112965261B (zh) * | 2021-02-23 | 2022-10-28 | 山东仕达思生物产业有限公司 | 一种快速有效的基于机器视觉的智能校正显微镜光轴的方法及其实现系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996005477A1 (en) * | 1994-08-11 | 1996-02-22 | Cyberoptics Corporation | High precision semiconductor component alignment systems |
EP1741976A1 (de) * | 2005-07-07 | 2007-01-10 | Hella KG Hueck & Co. | Scheinwerfer für Fahrzeuge |
CN101271196A (zh) * | 2008-04-24 | 2008-09-24 | 北京中星微电子有限公司 | 镜头阴影校正系数确定方法、镜头阴影校正方法及装置 |
-
2008
- 2008-12-31 CN CN2008101877320A patent/CN101510962B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996005477A1 (en) * | 1994-08-11 | 1996-02-22 | Cyberoptics Corporation | High precision semiconductor component alignment systems |
EP1741976A1 (de) * | 2005-07-07 | 2007-01-10 | Hella KG Hueck & Co. | Scheinwerfer für Fahrzeuge |
CN101271196A (zh) * | 2008-04-24 | 2008-09-24 | 北京中星微电子有限公司 | 镜头阴影校正系数确定方法、镜头阴影校正方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101510962A (zh) | 2009-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101510962B (zh) | 透镜阴影校正方法和装置 | |
EP2887308B1 (en) | Techniques for modifying image field data | |
JP4704913B2 (ja) | 画像補正方法および撮像装置 | |
US8891899B2 (en) | Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves | |
US6937282B1 (en) | Method and apparatus for correcting distortion aberration in position and density in digital image by using distortion aberration characteristic | |
US20070211154A1 (en) | Lens vignetting correction algorithm in digital cameras | |
US20090219419A1 (en) | Peripheral Light Amount Correction Apparatus, Peripheral Light Amount Correction Method, Electronic Information Device, Control Program and Readable Recording Medium | |
CN102622739B (zh) | 一种Bayer滤波阵列彩色相机图像非均匀性校正方法 | |
US7689059B2 (en) | Image processing method and image processing circuit | |
CN111669483B (zh) | 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 | |
CN116324869A (zh) | 亮色度校正的方法和装置 | |
CN101827274B (zh) | 图像处理装置、图像处理方法以及摄像装置 | |
CN110740314B (zh) | 彩色线阵相机坏点校正方法及系统 | |
CN117835082A (zh) | 一种环境温度自适应的多波段平场矫正方法、系统及介质 | |
CN103686113A (zh) | 基于数字相机的原始数据的白平衡系统和方法 | |
CN115346464A (zh) | 显示补偿数据设置方法、显示补偿方法、驱动芯片 | |
US7656441B2 (en) | Hue correction for electronic imagers | |
CN101500074A (zh) | 影像校正方法、影像校正单元及应用其的影像撷取装置 | |
JP2002320237A (ja) | 倍率色収差の検出方法 | |
CN114866755B (zh) | 自动白平衡方法、装置和计算机存储介质、电子设备 | |
KR20070012129A (ko) | 이미지 센서의 결함픽셀 보간 방법 및 장치 | |
KR100536401B1 (ko) | 컬러 필터 특성이 각기 다른 컬러 필터 어레이를 구비한 이미지센서를 위한 필터 옵셋 보상 장치 | |
US7495806B2 (en) | System and method for compensating for noise in a captured image | |
CN113409366B (zh) | 一种遥感卫星影像的辐射校正方法及装置 | |
CN112735353B (zh) | 屏幕亮度均匀性校正装置与方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Room 508-511, building a, Modern Plaza, No. 18, Weiye Road, Kunshan Development Zone, Suzhou, Jiangsu Patentee after: Ruixin Microelectronics Co., Ltd Address before: Room 508-511, block A, Modern Plaza, 18 Albert Road, Kunshan Development Zone, Jiangsu, 215300 Patentee before: BRIGATES MICROELECTRONICS (KUNSHAN) Co.,Ltd. |
|
CP03 | Change of name, title or address |