CN107454388A - 图像处理方法以及使用该方法的装置 - Google Patents
图像处理方法以及使用该方法的装置 Download PDFInfo
- Publication number
- CN107454388A CN107454388A CN201710761527.XA CN201710761527A CN107454388A CN 107454388 A CN107454388 A CN 107454388A CN 201710761527 A CN201710761527 A CN 201710761527A CN 107454388 A CN107454388 A CN 107454388A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- bright field
- value
- munderover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000005286 illumination Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 6
- 208000011580 syndromic disease Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
本发明的实施例提出一种由处理单元执行的图像处理方法，以校准图像传感器，包含：通过图像传感器获取原始图像；以及利用查找表校准上述原始图像的像素值以获得调整值。查找表包括不同候选曝光时间对应的多个校准像素值，其中校准像素值通过一系统总增益值决定，其中，系统总增益值是由多个增益值拟合出的，通过上述处理单元反复执行一循环体得到上述多个增益值。循环体包括：采集候选曝光时间中之一者下的第一明场图像及第二明场图像；采集上述候选曝光时间下的第一暗场图像及第二暗场图像；以及依据第一明场图像、第二明场图像、第一暗场图像及第二暗场图像的信息计算增益值。
Description
技术领域
本发明涉及一种图像处理技术，特别是一种图像传感器校准方法以及使用该方法的装置。
背景技术
随着科技的发展，很多电子设备，如桌机、手机、摄像机、相机中都带有摄像头用于采集图像数据。一般而言，摄像头中图像传感器会采集原始的图像数据，然后将其传输到CPU，再对原始的图像数据做进一步的处理。对于彩色光电传感器，由于器件本身物理特性的原因，导致红、绿及蓝的三通道的响应并非理想线性(尤其在低光照与高光照下)，并且，在经过白平衡等处理之后，容易造成色偏，影响色彩还原的精度，从而降低图像质量。因此，需要一种图像处理方法以及使用该方法的装置来校准图像传感器，用以使三通道的输出变为线性，从而生成校准后的输出图像。然后，CPU再对校准后的输出图像数据进行处理，如用指令进行读取、对图像进行对比度增强处理等操作。
发明内容
本发明的实施例提出一种由处理单元执行的用于校准图像传感器的图像处理方法，包含：通过图像传感器获取原始图像；以及利用查找表校准上述原始图像的像素值以获得调整值。
本发明的实施例提出一种图像处理装置，至少包含图像传感器及处理单元。处理单元耦接于图像传感器，通过图像传感器获取原始图像；以及利用查找表校准原始图像的像素值以获得调整值。
查找表包括不同候选曝光时间对应的多个校准像素值，其中校准像素值通过一系统总增益值决定，其中，根据多个增益值拟合出系统总增益值，通过处理单元反复执行一循环体得到多个增益值。循环体包括：采集候选曝光时间之一者下的第一明场图像及第二明场图像；采集上述候选曝光时间下的第一暗场图像及第二暗场图像；以及依据第一明场图像、第二明场图像、第一暗场图像及第二暗场图像的信息计算增益值。
附图说明
图1依据本发明实施例的图像处理装置的系统架构图。
图2A一个通道的非线性响应示意图。
图2B依据本发明实施例的校准后通道的线性响应示意图。
图3依据本发明实施例由处理单元执行之图像传感器校准流程图。
图4依据本发明实施例的R-、Gr-、Gb-及B-通道的局部示意图。
图5依据本发明实施例的读取值的调整示意图。
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用于本说明书中的“包含”、“包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、组件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
于权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的组件，并非用来表示之间具有优先权顺序，先行关系，或者是一个组件先于另一个组件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的组件。
图1依据本发明实施例的图像处理装置的系统架构图。此系统架构可实施于数字
相机、数字录像机、测试设备等，至少包含处理单元110。处理单元110可使用多种方式实施，
例如以专用硬件电路或通用硬件(例如，单处理器、具平行处理能力的多处理器、图形处理
器或其他具运算能力的处理器)，并且在执行固件(firmware)或软件(software)时，提供之
后所描述的功能。处理单元110可整合于图像信号处理器(ISP,Image Signal Processor)
中，并且可通过相机模块控制器170控制相机模块190用以捕捉多个帧。相机模块190可包含
图像传感器，例如，互补式金属氧化物半导体(complementary metal-oxide-
semiconductor,CMOS)、电荷耦合装置(charge-coupled device,CCD)等传感器，用以感测
由红、绿、蓝光强度所形成的图像，以及包含读取电子电路，用以从图像传感器搜集感测到
的资料。易失性存储器150，例如动态随机随取存储器(DRAM,Dynamic Random Access
Memory)，用以存储执行过程中需要的数据，例如，变量、数据表(data tables)等。由于图像
传感器的物理特性，可能造成红(R-)、绿(G-)及蓝(B-)的三通道的响应为非线性。图2A是一
个通道的非线性响应示意图。通常，图像传感器在亮区(光强度高于阀值S2)及暗区(光强度
低于阀值S1)感测到的光强度并不呈现线性比例。为解决上述问题，本发明的处理单元110
执行图像传感器校准方法，用以于出厂前获得图像传感器的物理特性，并据此生成及存储
查找表至易失性存储器150或非易失性存储器140。当配置此图像传感器的电子设备出厂
前，此电子设备的非易失性存储器存储一个查找表。当拍摄图像时，此电子设备的读取电子
电路可依据查找表校准图像传感器感测到的R-、G-及B-通道的光强度并输出较为线性的结
果。图2B依据本发明实施例的校准后通道的线性响应示意图。
图3依据本发明实施例由处理单元执行之图像传感器校准方法流程图。首先，设置多个曝光时间作为候选值。于一些实施例中，候选曝光时间的数目可多于50个。于一些实施例中，候选曝光时间的范围可从1毫秒(ms)至6毫秒间，且每个步进值(step)可为100或200微秒(μs)。接着，图像传感器校准方法反复执行一个循环体(loop)，直到所有的候选曝光时间都处理完为止。于每一回合中，处理单元110从候选曝光时间选择出一个，接着通过相机模块控制器170控制相机模块190于均匀光环境拍摄一段选择的曝光时间以从图像传感器采集第一明场图像及第二明场图像(步骤S320)。相机模块190可从积分球的探测窗口拍摄一段选择的曝光时间，积分球由一空心球体构成，球体内壁镀有一层具高漫射特性的材料涂层，用以均匀地反射入射光线，使得相机模块190可藉由球体上的探测窗口量测均匀光。曝光时间越长，图像传感器感测到的光强度越大。处理单元110还通过相机模块控制器170控制相机模块190于无光环境拍摄该选择的曝光时间以从图像传感器采集第一暗场图像及第二暗场图像(步骤S330)。本领域技术人员可于相机模块190上罩着遮光物体，用以创造一个无光环境。理论上，于无光环境中，图像传感器不能感测到任何光强度。如果第二图像中的像素值存在任何光强度的信息，此信息可视为图像传感器生成的噪声(noise)。第一明场及第二图像、第一暗场及第二图像包含成千上万的像素值，可作为计算感测值及校准值的基础。第一明场图像及第二明场图像、第一暗场图像及第二暗场图像中的像素形成一个贝尔图案(Bayer pattern)，处理单元110可依序从第一明场图像及第二明场图像、第一暗场图像及第二暗场图像中的M×N个贝尔图案的像素中搜集(m/2)×(n/2)个R-、Gr-、Gb-及B-通道的像素，例如1024×768、640×480、600×400等等。图4依据本发明实施例的R-、Gr-、Gb-及B-通道的局部示意图。例如，处理单元110从帧中的16×16个像素的贝尔图案410搜集8×8个像素的R-通道430、8×8个像素的Gr-通道450、8×8个像素的Gb-通道470以及8×8个像素的B-通道490。Gr-通道450及Gb-通道470可统称为G-通道。
接着，依据多个通道的第一明场图像及第二明场图像、第一暗场图像及第二暗场图像的信息计算多个通道的增益值K(步骤S340)。于一些实施例，通道的数目可为4，包含R-、Gr-、Gb-与B-通道。于另一些实施例，Gr-及Gb-通道可合并为G-通道，而通道的数目可为3，包含R-、G-与B-通道。
于步骤S340，详细来说，第一明场图像及第二明场图像、第一暗场图像及第二暗场图像的信息可包括一明场方差、一明场均值、一暗场方差及一暗场均值，针对每个通道，上述均值、方差及增益值可使用公式(1)至(5)计算：
其中，M和N为正整数，yA[m][n]与yB[m][n]分别表示在某一曝光时间下，相机模块190所采集的第一明场图像及第二明场图像的此通道的第m列第n行的值，与分别表示在以该曝光时间成像的第一暗场图像及第二暗场图像中此通道的第m列第n行的值，该第一暗场图像及第二暗场图像为相机模块190在无光照条件下所采集的图像，与分别表示明场方差及暗场方差，μy与μy.dark分别表示明场均值及暗场均值，K表示增益值。由此可知，本方法考虑了在暗场下的图像信息，即考虑到了图像传感器自身所生成的噪声。
接着，处理单元110判断是否完成所有候选曝光时间的处理(步骤S350)。当存在任何候选曝光时间还未处理完毕(步骤S350中“否”的路径)，选择下一个候选曝光时间以进行下一回合的处理(步骤S320)。当所有候选曝光时间都处理完毕(步骤S350中“是”的路径)，处理单元110依据多个通道的增益值K生成查找表(步骤S360)。于一些实施例中，步骤S360可利用多个于步骤S340计算的增益值拟合或分段拟合出一个或多个系统总增益值(overall system gain)，以及基于系统总增益值生成查找表。例如，可分为明场、中间场及暗场三段，并于不同段中拟合出不同的系统总增益值。于一些实施例中，如上所述的拟合采用最小二乘法(least squares method)。于步骤S340，详细来说，针对每个通道，校准值yc可使用公式(6)计算：
yc＝yd+K’ktexp (6)
其中，yc代表在明场的均匀光环境中，当曝光时间设定为texp时，图像传感器的理想输出像素值，即校准像素值；yd代表在暗场中，当曝光时间设定为texp时，图像传感器的输出值，用以确定传感器的噪声对输出图像的影响；K’代表系统总增益值；k为常量，在一实施例中，η代表量子效率；E表示均匀光环境，c代表光速，h代表Planck’s常量，λ代表光的波长；A代表单个像素的面积(whole area of a single pixel)。于步骤S360，处理单元110依据多通道的消除噪声后的均值μy-μy.dark(又可称为原始值y)及校准值yc间的对应关系生成查找表，其中，由多通道的消除噪声后的均值μy-μy.dark来确定原始图像的像素值(又可称为原始值y)。于此须注意的是，虽然步骤S360生成的多通道的消除噪声后的均值μy-μy.dark及校准值yc间的多个对应关系是通过调整曝光时间的参数生成的，但并不代表此对应关系于将来应用在校正时需要考虑曝光时间。于步骤S360，由于电子设备的非易失性存储器(例如快取存储器)为稀缺资源，存储多通道的消除噪声后的均值μy-μy.dark及校准值yc间的所有对应关系会耗费太多空间。于一些实施例中，处理单元110可从中筛选出代表性的对应关系以生成查找表。于另一些实施例中，处理单元110可从依据所有的对应关系计算出代表性的对应关系以生成查找表。由于图像传感器在亮区(光强度高于阀值S2)及暗区(光强度低于阀值S1)感测到的光强度较容易生成偏差，因此，查找表可包含较多落入亮区及暗区的对应关系。例如，当通道值的范围为0至255，阀值S1可设为40至50之间，而阀值S2可设为165至175之间。当查找表只能包含9个代表性的对应关系时，可包含4个筛选或计算出的落入亮区的对应关系及4个筛选或计算出的落入暗区的对应关系。在另一实施例中，查找表中存储的也可能是多通道的未消除噪声的均值μy，进而由多通道的未消除噪声的均值μy来确定原始图像的像素值。
于此须注意的是，电子设备可配备如上所述之校准过的图像传感器，并且，当电子设备出厂前，使用如图3所示的图像传感器校准方法所生成的查找表可存储至电子设备中的非易失性存储器，例如，只读存储器(ROM,Read Only Memory)、可擦可编程只读存储器(Erasable Programmable Read Only Memory)、快闪存储器(flash memory)等。
于电子设备出厂后，电子设备的读取电子电路从图像传感器读取每一个值，即通道输出值。接着，针对每个读取的值，选择读取值所属通道的一个查找表，搜索该值落入的对应关系区间，依据搜索到的两个对应关系计算此值的调整值(adjusted value)，并且输出调整值。在一些实施例中，若查找表中存储了原始图像某一通道输出值所对应的校准值，则将该输出值所对应的校准值即为调整值；若查找表中没有存储原始图像某一通道输出值所对应的校准值，则通过查找表及一映射公式来确定该输出值所对应的调整值。
图5依据本发明实施例的读取值的调整示意图，其中，查找表中存储的原始图像某一通道N个输出值a1,a2,……,aN所对应的校准值b1,b2,……,bN，N为正整数。假设读取值p落入查找表中原始值an-1及an之间(即，an-1＜p＜an,1≦n≦N)，而原始值an-1及an所对应的校准值为bn-1及bn则读取值p所对应的调整值p’可由下列映射公式计算：
其中，为向下取整运算符，在另一实施例中，也可以向上取整。举例来说，非易失性存储器存储R-通道的查找表，包含原始子查找表及校正子查找表。原始子查找表包含{0,248,535,703,1013,1563,2308,3425,3760}，校正子查找表包含{0,0,277,450,771,1348,2102,3272,3683}。当电子设备的处理单元，如通用处理器、数字信号处理器等，通过读取电子电路从图像传感器收到R-通道的读取值p＝650时，检测到读取值落入原始子查找表的535及703之间，且此落入区间对应于校正子查找表的277及450之间。接着，使用公式(7)计算出调整值p’＝395。
于另一些替代性的实施方式中，可控制相机模块对灰阶图(stepchart)，例如柯达Q-13、柯达Q-14，拍摄一张图像，并依据图像中的信息生成及存储查找表。然而，这样的实施方式存在若干缺点：首先，当拍摄灰阶图的光源不均匀时，从图像传感器取得的信息会不准确。再者，这样的校准计算无法考虑图像传感器存在的噪声。更再者，因为关联于每个灰阶度的采样点不足，使得计算出的调整值可能存在较大的误差。
虽然图1中包含了以上描述的组件，但不排除在不违反发明的精神下，使用更多其他的附加组件，已达成更佳的技术效果。此外，虽然图3的处理步骤采用特定的顺序来执行，但是在不违法发明精神的情况下，本领域技术人员可以在达到相同效果的前提下，修改这些步骤间的顺序，所以，本发明并不局限于仅使用如上所述的顺序。
虽然本发明使用以上实施例进行说明，但需要注意的是，这些描述并非用以限制本发明。相反地，此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以，申请权利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。
附图标记
110 处理单元；
140 非易失性存储器；
150 易失性存储器；
170 相机模块控制器；
190 相机模块；
S1、S2 阀值；
S310～S360 方法步骤；
410 贝尔图案；
430 R-通道；
450 Gr-通道；
470 Gb-通道；
490 B-通道；
an-1、an 查找表中的原始值；
bn-1、bn 查找表中的校准值；
p 读取值；
p’ 读取值的调整值。
Claims (20)
1.一种图像处理方法，以校准一图像传感器，由一处理单元执行，包含：
通过上述图像传感器获取一原始图像；以及
利用一查找表校准上述原始图像的像素值以获得调整值，
其中，上述查找表包括不同候选曝光时间对应的多个校准像素值，其中上述多个校准像素值通过一系统总增益值决定，其中，根据多个增益值拟合出上述系统总增益值，通过上述处理单元反复执行一循环体得到上述多个增益值，上述循环体包括：
采集上述候选曝光时间之一者下的一第一明场图像及一第二明场图像；
采集上述候选曝光时间下的一第一暗场图像及一第二暗场图像；以及
依据上述第一明场图像、上述第二明场图像、上述第一暗场图像及上述第二暗场图像的信息计算出上述多个增益值之一增益值。
2.如权利要求1所述的图像处理方法，其中，上述第一明场图像及上述第二明场图像是在均匀光照下通过上述图像传感器获得，上述第一暗场图像及上述第二暗场图像是在无光照下通过上述图像传感器获得。
3.如权利要求2所述的图像处理方法，其中，上述均匀光照通过一积分球获得，上述图像传感器透过上述积分球在上述均匀光照下曝光上述候选曝光时间，用以取得相应于上述候选曝光时间的上述第一明场图像及上述第二明场图像。
4.如权利要求1所述的图像处理方法，上述循环体包括：
依据上述第一明场图像及上述第二明场图像计算一明场方差及一明场均值；
依据上述第一暗场图像及上述第二暗场图像计算一暗场方差及一暗场均值；以及
利用上述明场方差、上述明场均值、上述暗场方差及上述暗场均值计算上述增益值。
5.如权利要求4所述的图像处理方法，其中，上述明场方差、上述明场均值、上述暗场方差及上述暗场均值使用以下公式计算：
<mrow>
<msub>
<mi>&mu;</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<msup>
<mi>y</mi>
<mi>A</mi>
</msup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>+</mo>
<msup>
<mi>y</mi>
<mi>B</mi>
</msup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>y</mi>
<mi>A</mi>
</msup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<msup>
<mi>y</mi>
<mi>B</mi>
</msup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>y</mi>
<mo>.</mo>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<msubsup>
<mi>y</mi>
<mi>d</mi>
<mi>A</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>+</mo>
<msubsup>
<mi>y</mi>
<mi>d</mi>
<mi>B</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mrow>
<mi>y</mi>
<mo>.</mo>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>y</mi>
<mi>d</mi>
<mi>A</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mi>d</mi>
<mi>B</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中，μy与μy.dark分别表示上述明场均值及上述暗场均值，与分别表示上述明场方差及上述暗场方差，yA[m][n]与yB[m][n]分别表示在上述候选曝光时间之一者下，上述第一明场图像及上述第二明场图像的第m列第n行的像素值，与分别表示在上述曝光时间下，上述第一暗场图像及上述第二暗场图像的第m列第n行的像素值，M和N为正整数。
6.如权利要求4所述的图像处理方法，其中，上述增益值使用以下公式计算：
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&delta;</mi>
<mrow>
<mi>y</mi>
<mo>.</mo>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mi>K</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&mu;</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>y</mi>
<mo>.</mo>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，K表示上述增益值，μy与μy.dark分别表示上述明场均值及上述暗场均值，与分别表示上述明场方差及上述暗场方差。
7.如权利要求1所述的图像处理方法，还包括：
设置多个上述候选曝光时间；
执行多次上述循环体以获得多个上述增益值；
利用多个上述增益值拟合或分段拟合出一个或多个上述系统总增益值；以及
基于上述系统总增益值生成上述查找表。
8.如权利要求1所述的图像处理方法，其中，上述拟合采用最小二乘法。
9.如权利要求1所述的图像处理方法，还包括：
分别利用上述第一明场图像、上述第二明场图像、上述第一暗场图像及上述第二暗场图像的R-通道、Gr-通道、Gb-通道及B-通道的值计算上述增益值；
基于上述增益值生成对应于上述R-通道的查找表、对应于上述Gr-通道的查找表、对应于上述Gb-通道的查找表及对应于上述B-通道的查找表；以及
利用上述R-通道的查找表、上述Gr-通道的查找表、上述Gb-通道的查找表及上述B-通道的查找表分别校准上述原始图像的上述R-通道、上述Gr-通道、上述Gb-通道及上述B-通道的像素值。
10.如权利要求1所述的图像处理方法，上述校准像素值使用以下公式计算：
yc＝yd+K’ktexp
其中，yc代表上述校准像素值，yd代表在暗场中当曝光时间设定为texp时，上述图像传感器的输出像素值，K’代表上述系统总增益值，k为常量。
11.如权利要求1所述的图像处理方法，还包括：
当上述查找表中没有存储上述原始图像的一输入像素值所对应的校准值时，通过上述查找表及一映射公式来确定上述输入像素值所对应的上述调整值，上述映射公式为：
其中，p代表上述输入像素值，p’代表上述输入像素值所对应的调整值，an-1及an分别代表上述查找表中存储的最接近上述输入像素值的两个像素值，以及bn-1及bn代表上述查找表中分别对应于an-1及an的校准值。
12.一种图像处理装置，以校准一图像传感器，包含：
一处理单元，耦接于上述图像传感器，通过上述图像传感器获取一原始图像；以及
利用一查找表校准上述原始图像的像素值以获得调整值，
其中，上述查找表包括不同候选曝光时间对应的多个校准像素值，其中上述校准像素值由一系统总增益值决定，其中，根据多个增益值拟合出上述系统总增益值，通过上述处理单元反复执行一循环体得到上述多个增益值，
其中，上述循环体包括：
采集上述候选曝光时间之一者下的第一明场图像及第二明场图像；
采集上述候选曝光时间下的第一暗场图像及第二暗场图像；以及
依据上述第一明场图像、上述第二明场图像、上述第一暗场图像及上述第二暗场图像的信息计算出上述多个增益值之一增益值。
13.如权利要求12所述的图像处理装置，其中，上述第一明场图像及上述第二明场图像是在均匀光照下通过上述图像传感器获得，上述第一暗场图像及上述第二暗场图像是在无光照下通过上述图像传感器获得。
14.如权利要求13所述的图像处理装置，其中，上述均匀光照通过一积分球获得，上述图像传感器透过上述积分球在上述均匀光照下曝光上述候选曝光时间，用以取得相应于上述候选曝光时间的上述第一明场图像及上述第二明场图像。
15.如权利要求12所述的图像处理装置，上述循环体包括：
依据上述第一明场图像及上述第二明场图像计算一明场方差及一明场均值；
依据上述第一暗场图像及上述第二暗场图像计算一暗场方差及一暗场均值；以及
利用上述明场方差、上述明场均值、上述暗场方差及上述暗场均值计算上述增益值。
16.如权利要求15所述的图像处理装置，其中，上述明场方差、上述明场均值、上述暗场方差及上述暗场均值使用以下公式计算：
<mrow>
<msub>
<mi>&mu;</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<msup>
<mi>y</mi>
<mi>A</mi>
</msup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>+</mo>
<msup>
<mi>y</mi>
<mi>B</mi>
</msup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>y</mi>
<mi>A</mi>
</msup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<msup>
<mi>y</mi>
<mi>B</mi>
</msup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>y</mi>
<mo>.</mo>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mrow>
<mo>(</mo>
<msubsup>
<mi>y</mi>
<mi>d</mi>
<mi>A</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>+</mo>
<msubsup>
<mi>y</mi>
<mi>d</mi>
<mi>B</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mrow>
<mi>y</mi>
<mo>.</mo>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>y</mi>
<mi>d</mi>
<mi>A</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mi>d</mi>
<mi>B</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>m</mi>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>n</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中，μy与μy.dark分别表示上述明场均值及上述暗场均值，与分别表示上述明场方差及上述暗场方差，yA[m][n]与yB[m][n]分别表示在上述候选曝光时间之一者下，上述第一明场图像及上述第二明场图像的第m列第n行的像素值，与分别表示在上述曝光时间下，上述第一暗场图像及上述第二暗场图像的第m列第n行的像素值，M和N为正整数。
17.如权利要求16所述的图像处理装置，其中，上述增益值使用以下公式计算：
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&delta;</mi>
<mrow>
<mi>y</mi>
<mo>.</mo>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mi>K</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&mu;</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>y</mi>
<mo>.</mo>
<mi>d</mi>
<mi>a</mi>
<mi>r</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，K表示上述增益值，μy与μy.dark分别表示上述明场均值及上述暗场均值，与分别表示上述明场方差及上述暗场方差。
18.如权利要求12所述的图像处理装置，上述校准像素值使用以下公式计算：
yc＝yd+K’ktexp
其中，yc代表上述校准像素值，yd代表在暗场中当曝光时间设定为texp时，上述图像传感器的输出像素值，K’代表上述系统总增益值，k为常量。
19.如权利要求12所述的图像处理装置，上述处理单元还设置多个上述候选曝光时间，执行多次上述循环体以获得多个上述增益值，利用多个上述增益值拟合或分段拟合出一个或多个上述系统总增益值，以及基于上述系统总增益值生成上述查找表。
20.如权利要求12所述的图像处理装置，其中，上述处理单元当上述查找表中没有存储上述原始图像的一像素值所对应的校准值时，通过上述查找表及一映射公式来确定上述像素值所对应的上述调整值，上述映射公式为：
其中，p代表上述输入像素值，p’代表上述输入像素值所对应的调整值，an-1及an分别代表上述查找表中存储的最接近上述输入像素值的两个像素值，以及bn-1及bn代表上述查找表中分别对应于an-1及an的校准值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710761527.XA CN107454388B (zh) | 2017-08-30 | 2017-08-30 | 图像处理方法以及使用该方法的装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710761527.XA CN107454388B (zh) | 2017-08-30 | 2017-08-30 | 图像处理方法以及使用该方法的装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107454388A true CN107454388A (zh) | 2017-12-08 |
| CN107454388B CN107454388B (zh) | 2020-03-27 |
Family
ID=60493408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710761527.XA Active CN107454388B (zh) | 2017-08-30 | 2017-08-30 | 图像处理方法以及使用该方法的装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107454388B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503011A (zh) * | 2019-08-06 | 2019-11-26 | Oppo广东移动通信有限公司 | 数据校准方法、电子设备及非易失性计算机可读存储介质 |
| CN113156408A (zh) * | 2021-03-19 | 2021-07-23 | 奥比中光科技集团股份有限公司 | 一种对比度标定方法、装置及设备 |
| CN116709046A (zh) * | 2023-07-03 | 2023-09-05 | 深圳市度申科技有限公司 | 一种固定模式噪音的计算与补偿方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129674A (zh) * | 2010-12-17 | 2011-07-20 | 北京优纳科技有限公司 | 一种自适应彩色图像颜色平衡校正方法 |
| CN102176247A (zh) * | 2010-12-28 | 2011-09-07 | 新奥特（北京）视频技术有限公司 | 一种对彩色图像进行模拟曝光及冲印的方法 |
| CN104125456A (zh) * | 2014-07-15 | 2014-10-29 | 中国电子科技集团公司第四十一研究所 | 一种ccd器件系统增益测量装置及方法 |
| CN106105178A (zh) * | 2014-03-19 | 2016-11-09 | Iee国际电子工程股份公司 | 具有集成校准表的摄像头 |
-
2017
- 2017-08-30 CN CN201710761527.XA patent/CN107454388B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129674A (zh) * | 2010-12-17 | 2011-07-20 | 北京优纳科技有限公司 | 一种自适应彩色图像颜色平衡校正方法 |
| CN102176247A (zh) * | 2010-12-28 | 2011-09-07 | 新奥特（北京）视频技术有限公司 | 一种对彩色图像进行模拟曝光及冲印的方法 |
| CN106105178A (zh) * | 2014-03-19 | 2016-11-09 | Iee国际电子工程股份公司 | 具有集成校准表的摄像头 |
| CN104125456A (zh) * | 2014-07-15 | 2014-10-29 | 中国电子科技集团公司第四十一研究所 | 一种ccd器件系统增益测量装置及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503011A (zh) * | 2019-08-06 | 2019-11-26 | Oppo广东移动通信有限公司 | 数据校准方法、电子设备及非易失性计算机可读存储介质 |
| CN113156408A (zh) * | 2021-03-19 | 2021-07-23 | 奥比中光科技集团股份有限公司 | 一种对比度标定方法、装置及设备 |
| CN116709046A (zh) * | 2023-07-03 | 2023-09-05 | 深圳市度申科技有限公司 | 一种固定模式噪音的计算与补偿方法 |
| CN116709046B (zh) * | 2023-07-03 | 2023-12-15 | 深圳市度申科技有限公司 | 一种固定模式噪音的计算与补偿方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107454388B (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI395958B (zh) | 壞點偵測校正設備、系統及偵測校正壞點的方法 | |
| US7733391B2 (en) | Method and system for black-level correction on digital image data | |
| CN105611185B (zh) | 图像生成方法、装置及终端设备 | |
| US20160105656A1 (en) | White balance method in multi-exposure imaging system | |
| US20020025164A1 (en) | Solid-state imaging device and electronic camera and shading compensation method | |
| JP3587433B2 (ja) | 固体撮像素子の画素欠陥検出装置 | |
| KR101536060B1 (ko) | 고체 촬상 장치 및 카메라 모듈 | |
| JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
| JP2007525070A (ja) | 撮像デバイスにおける暗電流及び欠陥画素の影響を減少させる方法及び装置 | |
| JP2011101359A (ja) | イメージセンサの統合ノイズモデリング方法及びそれを利用するノイズ低減方法 | |
| JP5561112B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP2008160730A (ja) | 信号ムラを修正する画像処理装置、較正方法、撮像装置、画像処理プログラム、および画像処理方法 | |
| JP2011029887A (ja) | 撮像装置及び制御方法 | |
| JP2009284424A (ja) | 撮像装置、撮像方法及びプログラム | |
| CN107454388B (zh) | 图像处理方法以及使用该方法的装置 | |
| US20060125945A1 (en) | Solid-state imaging device and electronic camera and shading compensaton method | |
| CN107835337A (zh) | 黑白面阵ccd相机平场校正方法及系统 | |
| KR20120062722A (ko) | 이미지 캡쳐 시스템에서 결함 평가방법 및 관련 시스템 | |
| CN114584700A (zh) | 对焦标记方法、标记装置以及电子设备 | |
| JP6334976B2 (ja) | 測光に使用される焦点検出ピクセルを備えたデジタル・カメラ | |
| US10819927B1 (en) | Image sensor with self-testing black level correction | |
| Sur et al. | Measuring the noise of digital imaging sensors by stacking raw images affected by vibrations and illumination flickering | |
| JP2005309651A (ja) | 撮像素子および撮像装置のシェーディング処理装置、およびシェーディング処理方法 | |
| WO2020241471A1 (ja) | キャリブレーション方法 | |
| CN114331893A (zh) | 一种获取图像噪声的方法、介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211129 Address after: Room 201, No. 2557, Jinke Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201203 Patentee after: Gryfield Intelligent Technology Co.,Ltd. Address before: Room 301, 2537 Jinke Road, Zhangjiang hi tech park, Shanghai 201203 Patentee before: VIA ALLIANCE SEMICONDUCTOR Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 201203, 11th Floor, Building 3, No. 889 Bibo Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: Granfei Intelligent Technology Co.,Ltd. Country or region after: China Address before: Room 201, No. 2557, Jinke Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201203 Patentee before: Gryfield Intelligent Technology Co.,Ltd. Country or region before: China |