具体实施方式
以下说明为完成发明的较佳实现方式,其目的在于描述本发明的基本精神,但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是,使用于本说明书中的“包含”、“包括”等词,用以表示存在特定的技术特征、数值、方法步骤、作业处理、组件以及/或组件,但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件,或以上的任意组合。
于权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的组件,并非用来表示之间具有优先权顺序,先行关系,或者是一个组件先于另一个组件,或者是执行方法步骤时的时间先后顺序,仅用来区别具有相同名字的组件。
图1依据本发明实施例的图像处理装置的系统架构图。此系统架构可实施于数字
相机、数字录像机、测试设备等,至少包含处理单元110。处理单元110可使用多种方式实施,
例如以专用硬件电路或通用硬件(例如,单处理器、具平行处理能力的多处理器、图形处理
器或其他具运算能力的处理器),并且在执行固件(firmware)或软件(software)时,提供之
后所描述的功能。处理单元110可整合于图像信号处理器(ISP,Image Signal Processor)
中,并且可通过相机模块控制器170控制相机模块190用以捕捉多个帧。相机模块190可包含
图像传感器,例如,互补式金属氧化物半导体(complementary metal-oxide-
semiconductor,CMOS)、电荷耦合装置(charge-coupled device,CCD)等传感器,用以感测
由红、绿、蓝光强度所形成的图像,以及包含读取电子电路,用以从图像传感器搜集感测到
的资料。易失性存储器150,例如动态随机随取存储器(DRAM,Dynamic Random Access
Memory),用以存储执行过程中需要的数据,例如,变量、数据表(data tables)等。由于图像
传感器的物理特性,可能造成红(R-)、绿(G-)及蓝(B-)的三通道的响应为非线性。图2A是一
个通道的非线性响应示意图。通常,图像传感器在亮区(光强度高于阀值S2)及暗区(光强度
低于阀值S1)感测到的光强度并不呈现线性比例。为解决上述问题,本发明的处理单元110
执行图像传感器校准方法,用以于出厂前获得图像传感器的物理特性,并据此生成及存储
查找表至易失性存储器150或非易失性存储器140。当配置此图像传感器的电子设备出厂
前,此电子设备的非易失性存储器存储一个查找表。当拍摄图像时,此电子设备的读取电子
电路可依据查找表校准图像传感器感测到的R-、G-及B-通道的光强度并输出较为线性的结
果。图2B依据本发明实施例的校准后通道的线性响应示意图。
图3依据本发明实施例由处理单元执行之图像传感器校准方法流程图。首先,设置多个曝光时间作为候选值。于一些实施例中,候选曝光时间的数目可多于50个。于一些实施例中,候选曝光时间的范围可从1毫秒(ms)至6毫秒间,且每个步进值(step)可为100或200微秒(μs)。接着,图像传感器校准方法反复执行一个循环体(loop),直到所有的候选曝光时间都处理完为止。于每一回合中,处理单元110从候选曝光时间选择出一个,接着通过相机模块控制器170控制相机模块190于均匀光环境拍摄一段选择的曝光时间以从图像传感器采集第一明场图像及第二明场图像(步骤S320)。相机模块190可从积分球的探测窗口拍摄一段选择的曝光时间,积分球由一空心球体构成,球体内壁镀有一层具高漫射特性的材料涂层,用以均匀地反射入射光线,使得相机模块190可藉由球体上的探测窗口量测均匀光。曝光时间越长,图像传感器感测到的光强度越大。处理单元110还通过相机模块控制器170控制相机模块190于无光环境拍摄该选择的曝光时间以从图像传感器采集第一暗场图像及第二暗场图像(步骤S330)。本领域技术人员可于相机模块190上罩着遮光物体,用以创造一个无光环境。理论上,于无光环境中,图像传感器不能感测到任何光强度。如果第二图像中的像素值存在任何光强度的信息,此信息可视为图像传感器生成的噪声(noise)。第一明场及第二图像、第一暗场及第二图像包含成千上万的像素值,可作为计算感测值及校准值的基础。第一明场图像及第二明场图像、第一暗场图像及第二暗场图像中的像素形成一个贝尔图案(Bayer pattern),处理单元110可依序从第一明场图像及第二明场图像、第一暗场图像及第二暗场图像中的M×N个贝尔图案的像素中搜集(m/2)×(n/2)个R-、Gr-、Gb-及B-通道的像素,例如1024×768、640×480、600×400等等。图4依据本发明实施例的R-、Gr-、Gb-及B-通道的局部示意图。例如,处理单元110从帧中的16×16个像素的贝尔图案410搜集8×8个像素的R-通道430、8×8个像素的Gr-通道450、8×8个像素的Gb-通道470以及8×8个像素的B-通道490。Gr-通道450及Gb-通道470可统称为G-通道。
接着,依据多个通道的第一明场图像及第二明场图像、第一暗场图像及第二暗场图像的信息计算多个通道的增益值K(步骤S340)。于一些实施例,通道的数目可为4,包含R-、Gr-、Gb-与B-通道。于另一些实施例,Gr-及Gb-通道可合并为G-通道,而通道的数目可为3,包含R-、G-与B-通道。
于步骤S340,详细来说,第一明场图像及第二明场图像、第一暗场图像及第二暗场图像的信息可包括一明场方差、一明场均值、一暗场方差及一暗场均值,针对每个通道,上述均值、方差及增益值可使用公式(1)至(5)计算:
其中,M和N为正整数,yA[m][n]与yB[m][n]分别表示在某一曝光时间下,相机模块190所采集的第一明场图像及第二明场图像的此通道的第m列第n行的值,与分别表示在以该曝光时间成像的第一暗场图像及第二暗场图像中此通道的第m列第n行的值,该第一暗场图像及第二暗场图像为相机模块190在无光照条件下所采集的图像,与分别表示明场方差及暗场方差,μy与μy.dark分别表示明场均值及暗场均值,K表示增益值。由此可知,本方法考虑了在暗场下的图像信息,即考虑到了图像传感器自身所生成的噪声。
接着,处理单元110判断是否完成所有候选曝光时间的处理(步骤S350)。当存在任何候选曝光时间还未处理完毕(步骤S350中“否”的路径),选择下一个候选曝光时间以进行下一回合的处理(步骤S320)。当所有候选曝光时间都处理完毕(步骤S350中“是”的路径),处理单元110依据多个通道的增益值K生成查找表(步骤S360)。于一些实施例中,步骤S360可利用多个于步骤S340计算的增益值拟合或分段拟合出一个或多个系统总增益值(overall system gain),以及基于系统总增益值生成查找表。例如,可分为明场、中间场及暗场三段,并于不同段中拟合出不同的系统总增益值。于一些实施例中,如上所述的拟合采用最小二乘法(least squares method)。于步骤S340,详细来说,针对每个通道,校准值yc可使用公式(6)计算:
yc=yd+K’ktexp (6)
其中,yc代表在明场的均匀光环境中,当曝光时间设定为texp时,图像传感器的理想输出像素值,即校准像素值;yd代表在暗场中,当曝光时间设定为texp时,图像传感器的输出值,用以确定传感器的噪声对输出图像的影响;K’代表系统总增益值;k为常量,在一实施例中,η代表量子效率;E表示均匀光环境,c代表光速,h代表Planck’s常量,λ代表光的波长;A代表单个像素的面积(whole area of a single pixel)。于步骤S360,处理单元110依据多通道的消除噪声后的均值μy-μy.dark(又可称为原始值y)及校准值yc间的对应关系生成查找表,其中,由多通道的消除噪声后的均值μy-μy.dark来确定原始图像的像素值(又可称为原始值y)。于此须注意的是,虽然步骤S360生成的多通道的消除噪声后的均值μy-μy.dark及校准值yc间的多个对应关系是通过调整曝光时间的参数生成的,但并不代表此对应关系于将来应用在校正时需要考虑曝光时间。于步骤S360,由于电子设备的非易失性存储器(例如快取存储器)为稀缺资源,存储多通道的消除噪声后的均值μy-μy.dark及校准值yc间的所有对应关系会耗费太多空间。于一些实施例中,处理单元110可从中筛选出代表性的对应关系以生成查找表。于另一些实施例中,处理单元110可从依据所有的对应关系计算出代表性的对应关系以生成查找表。由于图像传感器在亮区(光强度高于阀值S2)及暗区(光强度低于阀值S1)感测到的光强度较容易生成偏差,因此,查找表可包含较多落入亮区及暗区的对应关系。例如,当通道值的范围为0至255,阀值S1可设为40至50之间,而阀值S2可设为165至175之间。当查找表只能包含9个代表性的对应关系时,可包含4个筛选或计算出的落入亮区的对应关系及4个筛选或计算出的落入暗区的对应关系。在另一实施例中,查找表中存储的也可能是多通道的未消除噪声的均值μy,进而由多通道的未消除噪声的均值μy来确定原始图像的像素值。
于此须注意的是,电子设备可配备如上所述之校准过的图像传感器,并且,当电子设备出厂前,使用如图3所示的图像传感器校准方法所生成的查找表可存储至电子设备中的非易失性存储器,例如,只读存储器(ROM,Read Only Memory)、可擦可编程只读存储器(Erasable Programmable Read Only Memory)、快闪存储器(flash memory)等。
于电子设备出厂后,电子设备的读取电子电路从图像传感器读取每一个值,即通道输出值。接着,针对每个读取的值,选择读取值所属通道的一个查找表,搜索该值落入的对应关系区间,依据搜索到的两个对应关系计算此值的调整值(adjusted value),并且输出调整值。在一些实施例中,若查找表中存储了原始图像某一通道输出值所对应的校准值,则将该输出值所对应的校准值即为调整值;若查找表中没有存储原始图像某一通道输出值所对应的校准值,则通过查找表及一映射公式来确定该输出值所对应的调整值。
图5依据本发明实施例的读取值的调整示意图,其中,查找表中存储的原始图像某一通道N个输出值a1,a2,……,aN所对应的校准值b1,b2,……,bN,N为正整数。假设读取值p落入查找表中原始值an-1及an之间(即,an-1<p<an,1≦n≦N),而原始值an-1及an所对应的校准值为bn-1及bn则读取值p所对应的调整值p’可由下列映射公式计算:
其中,为向下取整运算符,在另一实施例中,也可以向上取整。举例来说,非易失性存储器存储R-通道的查找表,包含原始子查找表及校正子查找表。原始子查找表包含{0,248,535,703,1013,1563,2308,3425,3760},校正子查找表包含{0,0,277,450,771,1348,2102,3272,3683}。当电子设备的处理单元,如通用处理器、数字信号处理器等,通过读取电子电路从图像传感器收到R-通道的读取值p=650时,检测到读取值落入原始子查找表的535及703之间,且此落入区间对应于校正子查找表的277及450之间。接着,使用公式(7)计算出调整值p’=395。
于另一些替代性的实施方式中,可控制相机模块对灰阶图(stepchart),例如柯达Q-13、柯达Q-14,拍摄一张图像,并依据图像中的信息生成及存储查找表。然而,这样的实施方式存在若干缺点:首先,当拍摄灰阶图的光源不均匀时,从图像传感器取得的信息会不准确。再者,这样的校准计算无法考虑图像传感器存在的噪声。更再者,因为关联于每个灰阶度的采样点不足,使得计算出的调整值可能存在较大的误差。
虽然图1中包含了以上描述的组件,但不排除在不违反发明的精神下,使用更多其他的附加组件,已达成更佳的技术效果。此外,虽然图3的处理步骤采用特定的顺序来执行,但是在不违法发明精神的情况下,本领域技术人员可以在达到相同效果的前提下,修改这些步骤间的顺序,所以,本发明并不局限于仅使用如上所述的顺序。
虽然本发明使用以上实施例进行说明,但需要注意的是,这些描述并非用以限制本发明。相反地,此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以,申请权利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。
附图标记
110 处理单元;
140 非易失性存储器;
150 易失性存储器;
170 相机模块控制器;
190 相机模块;
S1、S2 阀值;
S310~S360 方法步骤;
410 贝尔图案;
430 R-通道;
450 Gr-通道;
470 Gb-通道;
490 B-通道;
an-1、an 查找表中的原始值;
bn-1、bn 查找表中的校准值;
p 读取值;
p’ 读取值的调整值。