CN1914580A - 通过外推来对图像场数据进行建模的技术 - Google Patents

通过外推来对图像场数据进行建模的技术 Download PDF

Info

Publication number
CN1914580A
CN1914580A CNA200580003885XA CN200580003885A CN1914580A CN 1914580 A CN1914580 A CN 1914580A CN A200580003885X A CNA200580003885X A CN A200580003885XA CN 200580003885 A CN200580003885 A CN 200580003885A CN 1914580 A CN1914580 A CN 1914580A
Authority
CN
China
Prior art keywords
pixel
data
blackspot
intensity
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200580003885XA
Other languages
English (en)
Other versions
CN100451913C (zh
Inventor
维克特·平托
艾莱兹·加里尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Zoran Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoran Corp filed Critical Zoran Corp
Publication of CN1914580A publication Critical patent/CN1914580A/zh
Application granted granted Critical
Publication of CN100451913C publication Critical patent/CN100451913C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

提供可在数码相机、视频图像捕获设备和其它光学系统中实现的用于修改图像的数据的技术，以校正出现在来自二维光传感器的数据中的图像黑斑变化。例如，会由于有缺点的透镜、光传感器上的不均匀灵敏度和光学系统的外壳之内的内部反射造成这些变化。为了校正所述变化，将包括基值和黑斑强度的斜率的少量修改数据存储在相机或其它光学系统之内的存储器中，优选的是，对于每个基色存储单独的校正数据。通过以下处理迅速地对来自各个像素的图像数据进行校正：以与获取图像数据相同的速度对来自存储的修改数据的各个像素校正量进行插值，从而可在不降低从图像传感器传递图像数据的速度的情况下进行校正。

Description

通过外推来对图像场数据进行建模的技术
技术领域
本发明一般涉及处理视频信号数据的技术，更具体地说，涉及处理视频二进制数据以校正成像的光场上的变化，例如，补偿由透镜、传感器灵敏度变化和相机中的外壳内部反射造成的黑斑(shading)效应等。
背景技术
图像黑斑是图像场上的不均匀光响应。在光学系统中，其可以由出现在特定系统中的以下因素造成：透镜的特征、光线所投射到的光传感器上的灵敏度变化、透镜相对于所采用的光传感器的图像平面的不适当的对准、内部的相机反射和可能出现在特定系统中的其它可能因素。在仅考虑透镜的情况下，简单的用于对其上具有均匀光强度的景象取景的透镜将典型地产生具有明显不均匀的光强度的所述景象的图像。这种光强度通常在图像的中间最高，在图像的边缘下降大约百分之六十或更多。这样的透镜很明显在不对这种效应进行校正的情况下不适合多数光学应用。可通过使用复杂的透镜组合件来进行校正，所述透镜组合件对景象成像，而不会在其上带来强度变化。
电子相机将景象成像在诸如电荷耦合装置(CCD)、互补硅上金属(CMOS)装置的二维传感器或其它类型的光传感器。这些装置包括沿着小型的二维表面排列的大量光检测器(典型地有两百万、三百万、四百万或更多)，所述光检测器各自产生与光的强度或照射在元件上的其它光辐射(包括与可见光波长临近的光谱的红外线区域和紫外线区域)成比例的信号。典型地以光栅图来扫描形成图像的像素的这些元件，以便当扫描所述元件时，产生照射一个接一个的传感器元件的光辐射强度的连续的数据流。获得彩色数据最通常的方法是通过使用对交替分布在传感器上的每个不同彩色分量(诸如，红、绿和蓝)敏感的光检测器来获得。黑斑效应造成在光传感器上光的非均匀分布，由此，来自所述传感器的视频信号包括叠加在其上的不期望的强度变化的数据，其中，所述黑斑效应由以下因素造成：将对象景象成像在光传感器上的透镜、光传感器对于照射它的各种光色彩的不均匀灵敏度、以及其它潜在因素。
相比于通过使用复杂和昂贵的透镜以及昂贵的经过仔细挑选的光传感器来消除透镜的黑斑效应，建议可以按某种方式处理来自光传感器的信号以补偿这些效应。应用于来自每个光检测器元件的信号的补偿量取决于所述元件在图像光传感器的表面上的位置。
发明内容
本发明的电子信号处理技术允许补偿透镜黑斑和/或其它类似现象，诸如传感器灵敏度变化和内部的相机反射，这些现象共同地将可被测量和量化的变化叠加在由多元件的二维光电传感器检测的光图案上。特别地将这种强度黑斑补偿技术应用于数字相机或其它类型的视频设备，但是所述技术并不限于这样的光学图像系统应用。该技术可用低成本来实现，需要最小量的存储器并以与从光电传感器获得正被修改的视频数据相同的速度来操作，从而不会对视频系统的性能产生不利的影响。这可以通过以下方式来实现：将校正因子实时地应用到光传感器的输出信号，以便补偿光传感器上不期望的固定的强度变化。
在以上给出的对相关申请进行交叉引用的两个专利申请中，通过以下的方式来补偿图像上的黑斑变化：将这些变化表征为一个或多个诸如圆形、椭圆形或双曲线的几何形状，然后存储表征所述几何形状所必需的少量数据。在优选的形式中，将强度黑斑变化的数据根据每个像素距离不期望的强度图案的光心的径向位置来维护。选择性地将这样的“光心”称为“重心”或“定位点”。通过主要涉及加法的算法来按顺序计算每个像素的径向位置，这是一种基于每个像素的径向位置来计算用于每个像素的校正因子的又快又简单的方法。
然而，在一些情况下，通过一个或少数几个简单的几何形状以期望的精度来代表强度黑斑图案是非常困难或者不实际的。作为另一选择，根据本发明，可将光传感器的像素矩阵在逻辑上划分为大量毗邻的矩形块的栅格，每个块在一边包含固定数量的像素。在校准期间，计算并存储各个块上的黑斑图案的数据，典型地以光栅扫描图来实时地在从光传感器扫描图像数据时，通过所存储的数据来对各个像素计算校正因子。存储所述块的黑斑强度数据所必需的存储器的容量与存储用于光传感器的每个像素的校正因子所必需的存储器的容量相比要小得多。由此减小了相机或其它图像获取设备所必需的集成电路的大小并降低了所述集成电路的成本。而校正的程度以及作为结果所得到的获取的图像数据的质量仍保持得非常好。
通过对存储的校准数据进行插值而根据减化的所述数据的集合计算各个像素强度调整值。根据特定的实现，对于垂直的X方向和Y方向两者，存储各个像素块上的黑斑强度的改变率(斜率)。还存储光传感器的上端左手边角落中的扫描开始像素的绝对强度。当扫描开始时，通过存储的斜率值来计算第一个像素之后的像素的强度。优选的是通过以下处理来进行所述计算：将强度增量(其取决于斜率而为正数或负数)加到紧靠在前面的像素的强度，其中，通过存储的用于当前像素所在的矩形的斜率来确定所述增量。使用加法和减法来代替乘法或除法，这使得实现起来更加容易，特别是当由专用逻辑电路执行所述计算时。
在一示例中，通过以下处理来校准每个相机或其它光学系统：将均匀强度的景象成像在光传感器上，捕获作为结果所得到的光传感器上的强度变化的每个像素的数据，在逻辑上将像素阵列划分为块的栅格，然后计算每个块上的强度的平均改变率。这些相对较少的强度斜率值、像素栅格的特性和每个扫描的帧的第一像素的绝对强度通过减少的数据量来表征光传感器上的黑斑强度变化。通常期望获取三组这样的数据，对于图像处理中利用的每个基色采用一组数据。
本发明的其它目的、优点和特点被包括在下面结合附图进行的、对其示例性实施例的描述中。将这里参考的每个专利、专利申请、论文或出版物全部包括在这里以达到参考的目的。
附图说明
图1示意性示出可采用本发明的技术的电子视频设备；
图2是图1的设备的电子处理系统的一部分的框图；
图3A、图3B和图3C示出由图2的系统对三种不同类型的视频数据进行的修改；
图4示出将光传感器的像素在逻辑上组织为块，所述块用于以基于块而存储的强度黑斑校正因子来校准和使用图1和图2的相机；
图5是图4的像素块之一的示例；以及
图6示出在校准相机或感兴趣的其它光学系统期间执行的计算之一。
具体实施方式
由于先前讨论的现象而造成的在图像或其它期望的光图案上叠加变化，从而导致在所述光图案的每个像素中能量的变化。这些能量变化与拍摄的图像或其它图像数据本身不相关。为了补偿光传感器上能量的这种变化，例如，可通过乘法将每个像素值与黑斑校正度因子进行组合。根据图像传感器矩阵中每个像素的地理位置，所述因子对于每个像素而言是唯一的。在理想情况下，可在将图像的每个像素所需的补偿因子存储在存储器的校准过程期间创建因子表。通过以图像拍摄设备中的处理单元执行下面的等式，可使得需要的黑斑补偿能够有效进行：
PixelOut＝PixelIn*F(X，Y)          (1)
其中，
PixelOut＝图像黑斑补偿模块的输出；换言之，校正后的像素；
PixelIn＝图像黑斑补偿模块的输入。校正之前的像素；以及
F(X，Y)＝校正因子，其取决于以X和Y直角坐标来表示的像素的位置。
在存储用于光电传感器的每个像素的校正因子的情况下，在集成电路上实现由所述等式定义的处理成本很高。需要大型存储器来存储用于每个像素的校正因子，由此使用存储器的大量硅区域。将各个存储的校正因子与像素值作乘法还需要相当大量的硅区域，以便专用电路完成所述乘法，而且/或者，所述乘法会降低获得校正后的数据的速度。因此，这里描述的技术采用所述处理的独特近似，该近似需要非常小的存储器和处理能力，但是仍可从图像中消除不期望的光图案。可将数据量减少的不期望的强度黑斑图案(或反之，黑斑校正因子)存储在一个或多个稀疏的二维查找表中。可将单独的查找表用于每种彩色。
在本说明书中，在校准过程期间得到用于数码相机、视频拍摄设备或其它类型的数字成像设备的光学图像系统(即，透镜、图像传感器、和/或外壳)的黑斑校正因子。通过将均匀强度的景象成像在正校准的设备采用的光传感器上来执行所述校准，校准处理中还用到所述设备的透镜系统和外壳。记录各个像素强度值，计算在光传感器上栅格的各个矩形的斜率值并将其存储在正校准的设备内的存储器中。由于在校准过程期间使用了数字成像设备的全部光学图像系统，所以这些技术除了校正单纯由于透镜黑斑引起的不均匀之外，还校正由图像传感器和/或它与入射图像光线之间的相互作用造成的任何强度变化。
光学设备示例
在相机或其它视频获取设备中描述本发明的技术的实现，其中，迅速对图像或其它拍摄的光图案的数字数据进行修改，以补偿由相机的光学系统、光电传感器和来自内部的相机表面的反射在图像上叠加的强度修改(黑斑？)。在图1中，示意性示出这种相机，其包括：外壳11、成像光学系统13、产生控制信号17的用户控制器15、与内部电接线21相连的输入-输出接收器19、与内部电接线25连接的卡槽23、可抽取地插入卡槽23的非易失性存储卡27。可将由相机拍摄的图像的数据存储在存储卡27或内部非易失性存储器(未示出)中。还可通过接收器19将图像数据输出到另一视频设备。存储卡27可以是商业上可用的半导体闪速电擦写可编程只读存储器(EEPROM)，小型可抽取式旋转磁盘或其它非易失性存储器，可由相机将视频数据编程到所述存储器。或者，特别是当相机在拍摄每秒三十图像帧的电影等时，可使用诸如磁带或可写光盘的更大容量的存储介质作为替代。
光学系统13可以是如图所示的单个透镜，但其通常是一组透镜。在图像传感器35的二维表面上，以通过快门33的可见光辐射来形成景象31的图像29。传感器的电输出37携带由扫描图像29投射到的传感器35的表面的各个光检测器而产生的模拟信号。传感器35典型地包含大量单个的光检测器，按照行和列的二维阵列排列所述光检测器以便检测图像29的各个像素。按时间顺序在输出37中获得与照射各个光检测器的光强度成比例的信号，典型地通过以光栅图扫描所述光检测器来获得所述信号，在上述处理中，从顶端的行开始，从左到右每次扫描光检测器的一行，以产生可重建图像29的一帧视频数据。将模拟信号37应用到模拟到数字转换器电路芯片39，其产生图像29在电路41中的数字数据。典型地，电路41中的信号是数字数据的各个块的序列，所述数字数据代表照射传感器35的各个光检测器的光强度。
在该实施例中，通过单个的集成电路芯片43来提供对电路41中的视频数据的处理以及对相机操作的控制。除了将电路芯片43连接到电路17、21、25和41之外，还将电路芯片43连接到控制和状态线路45。又将线路45依次连接到快门33、传感器29、模拟到数字转换器39和相机的其它部件，以便提供对它们的同步操作。还将单独的易失性随机存取存储器电路芯片47连接到处理器芯片43，以临时存储数据。此外，将单独的非易失性可重新编程的存储器芯片49连接到处理器芯片43，以存储处理器程序、校准数据等。在相机内提供普通的时钟电路51以将时钟信号提供给所述电路芯片和其它部件。相比于时钟电路作为单独的部件，还可以将其包括在处理器芯片43中。
在图2中示出处理器芯片43的功能框图。数字信号处理器(DSP)55是关键部件，其控制芯片43以及相机的其它部件的操作。但是如下所述，由于DSP 55不会大量地处理视频数据，所以其可以是相对简单和便宜的处理器。存储器管理单元57将DSP 55连接到外部存储器芯片47和49，并且连接到输出接口电路59，所述输出接口电路59分别通过电路21连接到输入输出连接器19和通过电路25连接到卡槽23(图1)。
现在，将概括地描述视频数据从模拟-数字转换器39(图1)开始通过图2的框图的流程。在块61中对线路41中的输入数据进行预处理，随后将其作为一路输入提供给乘法器电路63。乘法器63的另一路输入65携带修改输入的视频数据的数据，修改后的视频数据出现在乘法器63的输出67。在该示例中，线路65中的修改数据对由相机元件在图像上带来的透镜黑斑和强度变化的效应进行校正。在又一个图像处理器69中适当地对视频数据进行处理之后，通过存储器管理单元57将视频数据送至输出接口电路59，随后或者通过线路21将视频数据送至相机的输入-输出接收器19，或者通过线路25将视频数据送至相机的卡槽23(图1)，或者两者都进行，以便显示和/或存储。
通过专用处理电路71的块来产生线路65中的校正数据。块71包括电路73，所述电路73提供当前正从中获取视频数据的每个图像像素的(X，Y)位置。随后由计算电路75使用所述像素位置来产生应用于乘法器63的修改因子。存储器77存储查找表。为了减小存储器77的大小，仅将少量的校正数据存储在查找表中，电路75通过这些数据来计算各个像素的校正值。寄存器集合79存储由计算电路73和75两者使用的参数和中间结果。
计算电路73和75独立于DSP 55而进行操作。可以将DSP作为替代来用于进行这些计算，但是这需要极其快速的处理器，即使可以提供足够的速度，这也将很昂贵并且占用芯片43上相当大的空间。电路73和75在没有DSP 55的参与的情况下专用于执行需要的重复计算，它们在结构上非常简单，占用芯片43上很小的空间，并且释放DSP 55使其执行其它功能。
存储器或存储器组77和79存储图像修改数据和参数，所述存储器优选的是易失性随机存取类型，以便与其它处理器电路兼容存取速度和处理，从而可将所述处理器包括在单个的成本效率合算的芯片上。在制造每个相机的最后阶段为每个相机一次性产生图像修改数据和参数，之后，将这些修改数据和参数永久地存储在非易失性存储器49中。随后，在DSP 55通过控制和状态线路83进行的控制下，每次初始化系统时，就将这些数据通过线路81加载到存储器77和存储器79中。
参照图3A，解释图2的系统的操作的一方面，其中，传感器35(图1)包括每个图像像素的单个光检测器。传感器的数字化输出41包括来自一行中传感器35的相邻光检测器的连续数据块87、89、91等。每个数据块包含10、12或更多比特，这些比特对正由单个光检测器元件感测的图像29的一个像素进行量化，所述数据块以系统时钟51通过控制计数器85(图2)控制的速度出现在电路41中。例如，数据块87、89、91等中的一个可以在每个时钟信号周期期间出现。
由修改处理电路71(图2)以相同的速度与图像数据87、89、91等同步地产生数据块93、95、97等。即，产生修改数据93以使其在与图像数据87相同的时间出现在乘法器63，其它数据块依此类推。由于已知光检测器的扫描图案，所以计算电路73按照与从传感器35的表面上的光检测器读取图像数据相同的顺序和相同的速度产生所述光检测器的位置半径。随后，将对于特定图像像素产生的修改因子数据与所述像素的强度数据进行组合。将图像数据87和对于相同像素产生的修改数据93在乘法器63中进行组合，其结果产生修改后的数据98。以类似的方式通过数据89和95、91和97的组合分别获得修改后的数据块99和100。
通常的视频系统处理图像的多个区别彩色分量的每一个的数据。典型的商用传感器沿着行将光传感器交替间隔，所述行覆盖有红、绿和蓝滤光器。商业上使用的感色光传感器有几种不同的排列方式。在上述一种排列中，一行包含交替的感红和感绿光检测器，而下一行包含交替的感蓝和感绿光检测器，也沿着行放置所述光检测器，以便提供以列交替的彩色灵敏度。其它标准的排列使用两个交替彩色的其它组合。如图3B所示，一种这样的传感器的线路41中的输出包括连续的红、绿和蓝数据段。块101、103、105等代表交替的感红光检测器和感绿光检测器的分离的数据，在每个连续的时钟周期期间输出一个块。
如果对于所有正检测的离散彩色只有一组校正数据，则在不考虑彩色的情况下通过该组数据产生用于每个图像像素的图像修改数据。该处理对于以下这种情况是适当的：正通过信号修改去除的图像上的变化在相同或几乎相同的程度上影响所有彩色。然而，在变化较大程度上依赖于彩色的情况下，将单独的校正因子用于每个彩色分量。图3B示出使用依赖于彩色的修改，其中，将连续的修改因子113、115、117等与每个连续的图像数据块101、103、105等进行组合。其结果是修改后的数据块120、122、124等。从红校正数据中提取修改因子113、117、121等，而修改因子115、119、123等来自绿校正数据。
一种特定类型的商业上可用的光检测器在每个光点或像素上堆栈多个光检测器。顶端的检测器使红色和绿色通过，而滤出所述检测器对其敏感的彩色，例如，蓝。紧接在该顶端的检测器下面的检测器使绿色(和蓝色？)通过并滤出所述检测器对其敏感的彩色，所述敏感的彩色在这个示例中是红。随后，底端的检测器对绿色敏感。图3C示出具有这种类型的传感器的图2系统的操作。输出数据块125、127、129、131等，其中三个用于一个像素的三种彩色，另外三个用于下一相邻的像素，依次类推。如果对于所有彩色只保存一组校正数据，则将相同的修改因子与来自每个光点的三个数据块进行组合，例如，修改因子133用于产生彩色数据块125、127和129的点。如果对于每个彩色保存单独的校正数据，则修改因子可以是不同的，但是对于图像传感器上的单个径向位置，要计算全部三种彩色。当在乘法器63中进行组合时，产生连续的修改后的数据块137、138、139等。
还可通过这里描述的技术对其它类型的彩色系统进行校正。例如，仅使用两个彩色分量的商用彩色系统。此外，还有四彩色系统，其中，将具有较宽光谱范围的单独的检测器用于获取“黑和白”信息。
黑斑校正处理
在本发明的二维表面外推方法中，保存黑斑校正因子的二维子集。这些校正因子用于对用于二维图像平面中所有像素的大部分的黑斑校正因子的数据进行插值。
图4和图5提供用于下述讨论的框架。在图4中示意性示出光电传感器，其中，将大量的像素在逻辑上划分为以虚线的轮廓线显示的栅格图案的矩形。对于显示的总共15,360,000个像素，描述一个特定的示例，其中，每行4800个水平像素，有3200个垂直行。所述栅格图案水平方向上包括16个块，垂直方向上包括8个块。图5以扩充视图示出图4的栅格图案的矩形之一。在该特定示例中的每个块在水平方向上包含300个像素，在垂直方向上包含400行像素。当然，在图4和图5中示出的栅格图案中显示的矩形的形状和数量以及像素的数量并不受限于为了示出特定示例而选择的数量。
一种在不必存储用于阵列的所有像素的这种因子的情况下，确定用于各个像素的校正因子的方法是存储用于每个块中少数代表性像素的所述因子，随后通过插值、线性变化或其它方式来计算用于其它各个像素的校正。即，使图4和图5的栅格图案的块的大小足够小，从而可通过各个块中少数存储的值来预测所述块上的黑斑图案的强度变化。对于每个像素位置，可根据下式从所述存储的子集外推出校正因子：
PixelOut＝PixelIn*F[(X，Y)位置，存储的校正值的子集]   (2)
其中，
PixelOut＝图像黑斑处理模块71的输出；换言之，校正后的像素；
PixelIn＝图像黑斑处理模块71的输入；换言之，校正之前的像素；以及
F[...]＝校正因子，其作为像素位置(X，Y)和存储在存储器77中的黑斑校正值的子集的函数，用于被校正的像素所位于的块中的一些像素。
在这种情况下，将校正因子外推公式实现为二维外推，其响应于当前位置上感兴趣的像素和由存储在有限的校正因子表中的黑斑校正因子代表的临近像素之间的几何距离。可将分别用于图5的角落像素A、B、C、D的校正因子的值GainA、GainB、GainC、GainD存储在存储器中。像素P是位于点A、B、C和D之间的块内的感兴趣的像素，那么，可将在像素P的图像强度的校正后的值外推为：
点P处校正后的PixelOut＝(点P处未校正的PixelIn)*Gainp  (3)
其中，GainP是点P处的黑斑校正因子，可以表示为：
GainP＝[GainA*(Distance(A，P)/Distance(A，C))+GainB*(Distance(B，P)/
       Distance(B，D))+GainC*(Distance(C，P)/Distance(A，C))+
       GainD*(Distance(D，P)/Distance(B，D))]        (4)
其中，Distance(A，P)，Distance(B，P)，Distance(C，P)和Distance(D，P)分别是像素A、B、C、D和感兴趣的像素P之间的几何距离，Distance(A，C)和Distance(B，D)分别是角落像素A和C，以及角落像素B和D之间的几何距离。以若干像素为单位用最便利的方式测量所述距离。
然而，以集成电路的形式实现这一处理的成本较高，这是因为需要大量的乘法运算并且需要将大量的黑斑校正因子增益包括在集成电路中，其中，黑斑校正因子的数量直接与光传感器中像素的数量成比例。必须存储用于图4的矩形的每个角落像素的校正因子。但是，通过将相邻块的角落点的黑斑校正因子增益之间的改变存储在表中，而不是存储增益本身的绝对值，并且通过采用加法器连同一组寄存器来存储中间计算数据，需要的乘法数量会显著减少，由此大大降低集成电路实现的成本。
使用校正因子增益改变或斜率，而不是使用黑斑校正因子本身的处理方法源于以下这种实际情况：例如，在数码相机中，透镜或光传感器的不均匀光感应可造成图像的强度在水平和垂直两个方向上改变，以致强度在水平行或垂直列的开端要低于在所述行或列的中央，并且中央的强度再次高于在所述行或列的末端的强度。为了在拍摄景象的时候以均匀的亮度来拍摄、存储和显示图像，在校准的时间存储光传感器上的亮度的改变，随后将这些测量用于补偿所述改变。
对特定示例来说，将接收将被校正的图像或其它光图案的光传感器的区域在逻辑上划分为图4所示的块的数量。这在图像的块之间以及图像的边缘四周总共提供了16条水平边界和8条垂直边界。可使用更为粗略或更为精细的图像划分。选定的块的范围应该与光传感器的接口计数器支持的最大像素分辨率一致。不论将图像的哪一部分送入视频信号处理单元43(图1)中进行处理，块边界均扩展到遍及光传感器的整个光图像大小。
在校准时间，通过相机或其它光学设备的光学系统将其上均匀强度的光场投到光传感器上。通过计算每个块中黑斑强度的dX斜率、dY斜率和二阶偏斜率dXY来在光传感器输出端测量在校准光分布上的亮度改变。因此，块的dX斜率代表光强度沿着所述块的顶端像素行的改变，dXY斜率代表在从块的顶端像素行到底端像素行的各相继行之间的dX斜率的改变。例如，由块的dX斜率和i*dXY斜率的和来代表块的行i的亮度改变。dY代表组成图像的第一列的各相继的块之间在垂直方向上的亮度改变。通过这些测量来形成三个斜率表，并将它们包括在数字图像拍摄设备中并用于图像黑斑校正。所述表是：
1)HGST(水平增益斜率表)-X方向改变(dX)斜率表，其在该特定示例中具有128个条目(16×8)，一个条目用于图4的每个块，每个条目具有22比特(1比特表示符号，21比特表示分数)。
2)VGST1(垂直增益斜率表1)-Y方向改变(dY)斜率表，其具有8个条目，一个条目用于图4的块的每一行，每个条目为22比特宽(1比特表示符号，21比特表示分数)。
3)VGST2(垂直增益斜率表2)-X方向改变的二次偏导数(dXY)斜率表，其具有128个条目，每个条目是17比特宽(1个符号比特，16个分数比特)。
表HGST对于图像中的每个块指定块中每个像素的增益的斜率(HGS)。换言之，其指定沿着图5所示的块内的水平扫描行的像素x的增益和下一像素x+1的增益之间的微分。更具体地说，沿着点A和B之间的水平行的每像素增益的增加的微分(斜率)HGSAB是：
HGSAB＝(GainB-GainA)/DAB              (5)
数量HGSCD是沿着诸如图5所示的块的点C和D之间的水平行的斜率：
HGSCD＝(GainC-GainD)/DCD              (6)
其中，DAB是若干像素中测量的点A和B之间的距离，DCD是图5的点C和D之间的距离。在特定示例中，所述数量是在相机的运行期间存储在存储器77(图2)中的HGST表的一部分，将所述数量中的每一个表示为22比特宽的二进制数(1个符号比特，21个分数比特)。
表VGST1对于图4的块的每一行包含一个条目。对于每个在一行块中的第一个块，该条目指定所述第一个块中的所有像素的增益的垂直斜率。换言之，其指定与块的左边缘相邻的相同列中像素(0，Y)的增益到相邻像素(0，Y+1)的增益之间的微分。可将每像素增益的增加的微分(斜率)VGSAC表示为：
VGS1＝(GainC-GainA)/DAC                (7)
其中，DAC是作为若干像素测量的角落像素A和C之间的距离。在这个示例中，表中的每个条目是22比特宽的二进制数(1个符号比特，21个分数比特)。
表VGST2对于组成图像的每个块包含一个条目。多于每个块，所述条目指定所述块中每行的HGS的垂直斜率(也就是二阶导数)。换言之，其指定行y中第一像素的HGS和按顺序的下一行y+1中第一像素的HGS之间的微分。可将每像素增益的增加的微分(斜率)VGSAC表示为：
VGS2＝(HGSCD-HGSAB)/DAC                (8)
在该示例中，表中的每个条目是17比特宽的二进制数(1个符号比特，16个分数比特)。
校准过程还提供包括在数字图像拍摄设备中的“基本增益”。基本增益是图像的第一个块的增益，将基本增益作为如图4所示的图像的顶端左边的像素(X0，Y0)的增益因子，用于图像黑斑校正处理。在该示例中，将所述增益表示为26比特宽的二进制数(2个整数比特，24个分数比特)。
参考像素(X0，Y0)的基本增益和存储在表HGST和VGST中的条目提供计算显示的每个像素的校正因子的增益所必需的所有数据，将所述增益与从每个像素读取的输出值进行组合。另外的表VGST2提供使得所述计算和组合处理更快执行的数据。
在对于下面的表A描述的以下步骤的详细描述中，使用下面的术语以及上面定义的术语：
逐行图像格式：在逐行图像格式中，将图像作为单个帧来对其进行处理。换言之，按照顺序的次序作用于图像的行。首先处理并显示图像的行1，其后接着图像的行2，再接着图像的行3等等。
隔行图像格式：在隔行图像格式中，将图像划分为两场：场1包含偶数行(0，2，...)场2包含奇数行。当处理或显示隔行图像时，首先处理或显示图像的行1，3，5，7等，接着是图像的行2、4、6、8。尽管在整个讨论中将2场的隔行格式用作示例，但是本发明对于划分为3、4、5或更多分离的场的图像也是有效果的。
Reg[]：16个寄存器的阵列，其累积(VGST2)*(当前感兴趣的像素所位于的块中的行号)。每个寄存器是26比特宽的二进制数(1个符号比特，1比特表示整数，24比特表示分数)。
CurrentVGS，CurrentHGS：应用于当前块的VGS和HGS，所述当前块是感兴趣的像素所在的块。例如，如果像素在第(i，j)个块中，则CurrentVGS2＝VGST2(i，j)且CurrentHGS＝HGST(i，j)。
CurrentVSize：当前块的垂直大小(取自块边界LUT)。
CurrentLine：距离当前块的开端的垂直偏移。
CurrentGain：所述增益用于与当前像素的强度值相乘以便起到像素黑斑校正的作用。在该示例中，CurrentGain是26比特的二进制数(2比特表示整数，24比特表示分数)。
LineStart Register：存储行开端处的增益。在该示例中，LineStart是26比特的二进制数(2比特表示整数，24比特表示分数)。
AddH Register：每当在正校正的图像中将感兴趣的像素向右移动一个像素时，将存储在AddH register中的内容与CurrentGain相加。在该示例中，AddH的内容是26比特的二进制数(1比特表示符号，1比特表示整数，24比特表示分数)。
Tmp Register：对CurrentGain值进行归一化并将其存储在Tmpregister中，随后用Tmp register中归一化的CurrentGain值去乘当前像素的强度值，即，未校正的PixelIn，以便起到黑斑校正的作用并产生校正后的PixelOut。在该示例中，Tmp是10比特的二进制数(2比特表示整数，8比特表示分数)。
对每个像素进行的校正计算响应于像素在作为整体的图像中的的特定位置，所述像素在图像的特定块中，并且在图像的已定义的行中。表A将作用于每个块中的每个像素的黑斑校正描述为像素位置和图像格式的函数。作为示例性实现，假设使用以集成电路的形式实现的数字信号处理引擎。
                                   表A-黑斑校正方法步骤
  象素位置 逐行图像格式 隔行图像格式场1 隔行图像格式场2
  图像中的第一象素 LineStart=BasicGainCurrentGain=LineStartReg[0]=0AddH=Reg[0]+CurrentHGSTmp=(CurrentGain+0x8000)＞＞16PixelOut=Limit((PixelIn*Tmp+128)＞＞8,0,1023)CurrentGain=CurrentGain+AddH Limit(CurrentGain，0，226-1)LineStart=LineStart+CurrentVGS1 Limit(LineStart，0，226-1) LineStart=LineStart+(CurrentVGS1*2) LineStart=BasicGain+CurrentVGS1Limit(LineStart,0,226-1)Reg[0]=CurrentVGS2LineStart=LineStart+(CurrentVGS1*2)
行中的第一象素 CurrentGain=LineStartIf it′s the first line in the blockThenReg[0]=0Else{ Then Reg[0]=CurrentVGS2Else
 Reg[0]=Reg[0]+CurrentVGS2 Limit(Reg[0],-225,225-1)}AddH=Reg[0]+CurrentHGSLimit(AddH,-225,225-1)Tmp=(CurrentGain+0x8000)＞＞16PixelOut=Limit(PixelIn*Tmp+128)＞＞8,0,1023)CurrentGain=CurrentGain+AddHLimit(CurrentGain,0,226-1)LineStart=LineStart+CurrentVGS1Limit(LineStart,0,226-1) {Reg[0]=Reg[0]+(CurrentVGS2*2)}LineStart=LineStart+(CurrentVGS1*2) {Reg[0]=Reg[0]+(CurrentVGS2*2)}If it′s the last line in ablockLineStart=LineStart+CurrentVGS1+NextVGS1ElseLineStart=LineStart+(CurrentVGS1*2)
块j(j≠0)中的第一象素 If it′s the first line in the blockThen Reg[j]=0Else{Reg[j]=Reg[j]+CurrentVGS2 Limit(Reg[j],-225,225-1)} Reg[j]=Reg[j]+(CurrentVGS2*2) Then Reg[j]=CurrentVGS2Else{Reg[j]=Reg[j]+(CurrentVGS2*2)
AddH=Reg[j]+CurrentHGSLimit(AddH,-225,225-1)Tmp=(CurrentGain+0x8000)＞＞16PixelOut=Limit((PixelIn*Tmp+128)＞＞8,0,1023)CurrentGain=CurrentGain+AddH Limit(CurrentGain,0,226-1) }
其它(常规)像素 Tmp=(CurrentGain+0x8000)＞＞16PixelOut=Limit((PixelIn*Tmp+128)＞＞8,0,1023)CurrentGain=CurrentGain+AddH Limit(CurrentGain,0,226-1)
黑斑补偿校准
由正校准的相机拍摄来自其上是均匀强度的均匀光照全白图像的图像数据，而略过对这一相机的黑斑校正阶段。在特定示例中，由8个垂直块将校准图像划分为16个水平块。在相机的生产期间，由校准测试操作员通过使用在相机系统的控制器或视频信号处理器上执行的程序，来对总共16个水平块边界和8个垂直块边界进行编程。选择块的数量，并由此选定块数量的范围，以匹配由相机光传感器接口计数器支持的最大像素分辨率。对于今天普遍使用的光电传感器，最大的块大小将是300×400(水平×垂直)个像素，最小的块大小将是30×30个像素。因此，块中的每一个通常在每个水平行中具有30-300个像素，在垂直方向上具有30-400像素(行)。
首先计算平均亮度，将这一处理分配到每个校正的图像块的最顶端左边的角落像素。由图6的填满的单元指示的像素用作所述平均亮度计算的“感兴趣的像素”。通过使用临近所述感兴趣的像素的像素来计算平均亮度。如先前参照图3A到图3C所讨论的，包括在该校准过程中使用的数码相机光传感器在内的大部分数码相机光传感器，采用两种类型的光传感器行。第一种是感应彩色RGRGRG(R＝红(Red)，G＝绿(Green)，B＝蓝(Blue))的光传感器元件的行，第二种是感应彩色GBGBGB的光传感器元件的行。在图6中通过边框进行界定来示出第一种类型，第二种类型在图6中表示为没有边框。为了计算图像的给定像素的平均亮度，因此有必要从同样组成的光传感器行中的临近像素读取强度数据并对其进行平均。这就是说将由边框界定的行中的像素与其它也是由边框界定的行中的相应像素进行平均，没有由边框界定的像素与其它也没有由边框节点的行中的相应像素进行平均。具体说来，这要求将图6中包含所述感兴趣的像素并由边框界定的行中的像素基于相应的逐像素，与在所述行之上和之下的也由边框界定的行进行平均。优选的是将每行的每个像素进行平均。这一处理很重要，因为在平均亮度计算中，保证充分地表示出每行中的绿色分量是必要的。还应注意：当必须对其计算平均亮度的像素是图像的边缘像素时，对较少的像素进行平均。因此，如果所述像素在图像的左边缘，则仅将右边的相邻像素计入平均处理中。
尽管下面对于“斜率计算”的讨论和先前对于“平均亮度”的讨论没有特别要求对于每个基色使用单独的平均亮度计算和单独的块斜率计算，但是可以以上述方式来实现所述实施例。
在作为示例的数码相机中，透镜或光传感器的不均匀光感应可造成图像以图像中央处与其角落处不同的光强度进行存储和显示。这种强度通常在水平和垂直方向中均发生改变，以致强度在水平行或垂直列的开端低于在所述行或列的中央，并且中央的强度再次高于在所述行或列的末端的强度。为了在拍摄景象的时候以均匀的强度来拍摄、存储和显示图像，在校准的时间测量强度的这些改变，随后将这些测量用于补偿所述改变。
在采用的校准过程中，通过计算每个块中的dX斜率、dY斜率和二次偏斜率dXY来测量强度改变。因此，块的dX斜率代表光强度沿着所述块的像素顶端行的改变，dXY斜率代表在从块的像素顶端行到像素底端行的各相继行之间的dX斜率的改变。例如，由块的dX斜率和i*dXY斜率的和来代表块的行i的强度改变。dY斜率代表组成图像的第一列的各相继的块之间在垂直方向上的强度改变。
通过以下处理来对于每个块计算斜率dX、dY和dXY：首先找到图像的最大平均强度的图像块，用感兴趣的图像块的平均强度去除所述平均最大强度值。得到的比率称为“增益”。
计算dX、dY和dXY斜率的算法产生三个斜率表：
1)HGST(水平增益斜率表)-dX斜率表，其具有128个条目(16×8)，每个条目具有22比特(1比特表示符号，21比特表示分数)。
2)VGST2(垂直增益斜率表)-dXY斜率表，其具有128个条目，每个条目是17比特宽(1个符号比特，16个分数比特)。
3)VGST1(垂直增益斜率表)-dY斜率表，其具有8个条目，每个条目为22比特宽(1比特表示符号，21比特表示分数)。
该算法还提供“基本增益”。基本增益是图像的第一个块的增益，将基本增益随后作为图像的顶端左边的像素(X0，Y0)的增益因子，用于图像校正处理。以26比特的条目(2比特表示整数，24比特表示分数)来给出所述增益。
可更加详细地描述所述校准算法，如下：
1)首先找到最大平均亮度(在计算出每块的平均亮度之后)；
2)使用最大平均亮度来计算基本增益；
3)对于图像的每个块，计算出dX、dY和dXY斜率。以下面的方式来计算所述斜率：
第一行的第一块：
a)将dX斜率计算为(GainB-Basic_gain)/DAB
b)将dY斜率计算为(GainC-Basic_gain)/DAC
对于这两个斜率，Basic_gain值为GainA(见图5)
行i的第一块：
a)将dX的斜率计算为(GainB-Basic_gain(i))/DAB
b)将dY的斜率计算为(GainC-Basic_gain(i)/DAC
对于这两个斜率，Basic_gain(i)计算为(Basic_gain(i-1))+dY(i-1)*Height(i-1))
行i的块j
a)将dX斜率计算为(GainB-Basic_gain(j))/DAB，在这里，将Basic_gain(j)计算为(Basic_gain(j-1))+dX(j-1)*Width(j-1))
对于行i的每个块j，我们通过(dX(i+1)-dX(i))/DAC来计算它的dXY斜率。
4)在制造过程中，将产生的斜率表和基本增益存储在数码相机的非易失性存储器，例如，图1和图2的49中，随后按照先前所讨论的那样将它们用于对黑斑非均匀性进行补偿。
结论
尽管已参照特定实施例描述了本发明，但是应当理解，本发明享有在权利要求的全部范围内进行保护的权利。

Claims (19)

1、一种对于从感光像素的二维阵列获得的数据补偿叠加在感兴趣的光图案上的黑斑强度图案的方法，包括：
将以下内容存储在存储器中：
所述阵列的至少一个像素的黑斑强度图案的至少一个基值，以及
黑斑强度图案在行和列两者中在阵列上的像素之间的改变增量；
根据所述至少一个基值和所述增量来计算用于各个像素的补偿因子；以及
将计算出的补偿因子与从阵列的所述各个像素获得的数据进行组合，由此对从所述像素获得的数据校正黑斑强度图案。
2、如权利要求1所述的方法，其中，将所述像素的阵列按照其行和列两者划分为具有多个像素的相邻块，用于各个块的、存储在存储器中的改变增量包括黑斑强度图案在行方向上沿着各个像素的第一改变率、以及黑斑强度图案在列方向上沿着各个像素的第二改变率。
3、如权利要求2所述的方法，其中，用于各个块的、存储在存储器中的改变增量还包括黑斑强度图案在行方向上沿着各个像素的改变率的二阶导数。
4、如权利要求1所述的方法，其中，以至少与从所述像素的阵列获得数据同样快的速度对各个像素执行计算和组合。
5、如权利要求1所述的方法，其中，黑斑强度图案包括由将光场成像在传感器上的光学系统所引入的强度变化、由感光像素阵列本身所引入的强度变化、或者由离开容纳光学系统和阵列的外壳的内部表面的光反射所引入的强度变化。
6、如权利要求1所述的方法，其中，存储至少一个基值和改变增量的步骤包括：维护多组用于感光像素的阵列的黑斑强度图案值，其中对于多个彩色分量中的每一个分量维护一组数据。
7、如权利要求1所述的方法，其中，存储、计算和组合功能全部在单个集成电路芯片上完成。
8、如权利要求1所述的方法，其中，存储、计算和组合功能全部由专用于实现这些功能的电子电路来执行。
9、一种对于来自光传感器的数字视频信号校正通过光学系统投到所述光传感器上的光场上的强度黑斑变化的方法，所述图像传感器具有单独光检测器的二维阵列，当以光栅图案扫描光检测器时，所述阵列产生视频信号，该方法包括：
维护用于光场的至少两个彩色分量中的每一个的图像校正数据，所述校正数据包括各个像素校正值在光检测器阵列的块上的斜率，
根据校正数据斜率来计算各个像素强度校正值，以及
将各个像素强度校正值与相应光检测器的图像传感器视频信号进行组合，由此来校正数字视频信号。
10、一种包含能够接收和处理各个光检测器的数据流的电路的集成电路芯片，其中，通过根据预定的图案线性扫描二维光学图像来获得所述数据流，该芯片包括：
所述电路的第一部分，其在二维光学图像的线性扫描过程中，通过将存储的增量值加到为在前面的光检测器所确定的校正数据上，来与扫描所述光学图像同步地确定扫描的光学图像的校正值，以及
所述电路的第二部分，其接收输入数据和校正值，以输出各个光检测器的修改后的数据流。
11、一种视频成像设备，包括：
具有检测器的二维阵列的光学传感器，其中，以光栅图案扫描所述检测器以便输出代表检测器上的光辐射强度的连续数据流，
相对于所述传感器固定的光学系统，用于将光辐射场投到所述传感器上，
存储器，用于存储至少用于光学传感器和光学系统的强度校正函数，将所述校正函数定义为在阵列的行和列两者中的检测器中的相继检测器的值之间的改变，通过由设备的光学系统对其上具有均匀强度的光场进行取景，借助于光学传感器来测量所述校正函数，
专用校正确定电路，其从所述存储器读取所述检测器中的相继检测器的值之间的改变值，并通过这些值计算用于对来自各个像素的连续数据流进行的强度校正量，以及
组合电路，其用所确定的强度校正量对从光学传感器输出的连续数据流进行修改，由此对于所述连续数据流校正成像的光场上的强度变化。
12、如权利要求11所述的成像设备，其中，所述传感器输出连续数据流，所述数据流代表照射在所述传感器上的光辐射的多个单独的彩色分量的强度，并且存储器存储用于所述多个彩色分量中的每一个的校正数据。
13、一种对于从感光像素的二维阵列获得的数据补偿叠加在感兴趣的光图案上的黑斑强度图案的方法，其包括：
将以下内容存储在存储器中：
所述阵列的至少一个像素的黑斑强度图案的至少一个基值，
黑斑强度图案在行和列两者中在阵列上的像素之间的改变增量，以及
黑斑强度图案在至少垂直方向上沿着阵列上的各个像素的改变增量的二阶导数；
根据所述至少一个基值、所述增量和所述二阶导数来计算用于各个像素的补偿因子；以及
将计算出的补偿因子与从阵列的所述各个像素获得的数据进行组合，由此对从所述像素获得的数据校正黑斑强度图案。
14、如权利要求13所述的方法，其中，将所述像素的阵列按照其行和列两者划分为具有多个像素的相邻块，以及用于各个块的、存储在存储器中的改变增量包括黑斑强度图案在行方向上沿着各个像素的第一改变率、以及黑斑强度图案在列方向上沿着各个像素的第二改变率。
15、如权利要求13所述的方法，其中，以至少与从所述像素的阵列获得数据同样快的速度对各个像素执行计算和组合。
16、如权利要求13所述的方法，其中，黑斑强度图案包括由以下因素中的任何一个或多个所引入的强度变化：将光场成像在传感器上的光学系统、感光像素阵列本身、离开容纳光学系统和阵列的外壳的内部表面的光反射。
17、如权利要求13所述的方法，其中，存储至少一个基值、改变增量和二阶导数的步骤包括：维护多组用于感光像素的阵列的黑斑强度图案值，对于多个彩色分量中的每一个分量维护一组数据。
18、如权利要求13所述的方法，其中，存储、计算和组合功能全部在单个集成电路芯片上完成。
19、如权利要求18所述的方法，其中，存储、计算和组合功能全部由专用于实现这些功能的电子电路来执行。
CNB200580003885XA 2004-02-02 2005-01-11 通过外推来对图像场数据进行建模的技术 Expired - Fee Related CN100451913C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/770,696 2004-02-02
US10/770,696 US7388610B2 (en) 2002-08-16 2004-02-02 Techniques of modifying image field data by extrapolation

Publications (2)

Publication Number Publication Date
CN1914580A true CN1914580A (zh) 2007-02-14
CN100451913C CN100451913C (zh) 2009-01-14

Family

ID=34837833

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200580003885XA Expired - Fee Related CN100451913C (zh) 2004-02-02 2005-01-11 通过外推来对图像场数据进行建模的技术

Country Status (5)

Country Link
US (3) US7388610B2 (zh)
EP (1) EP1711880B1 (zh)
JP (1) JP4833085B2 (zh)
CN (1) CN100451913C (zh)
WO (1) WO2005076111A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873436B (zh) * 2009-04-27 2011-12-07 倚强科技股份有限公司 使用多线内插的镜头亮度补偿方法
CN110191260A (zh) * 2018-02-23 2019-08-30 欧姆龙株式会社 图像传感器以及本体模块

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7388610B2 (en) 2002-08-16 2008-06-17 Zoran Corporation Techniques of modifying image field data by extrapolation
US7408576B2 (en) * 2002-08-16 2008-08-05 Zoran Corporation Techniques for modifying image field data as a function of radius across the image field
US7391450B2 (en) 2002-08-16 2008-06-24 Zoran Corporation Techniques for modifying image field data
KR100615277B1 (ko) * 2004-08-18 2006-08-25 엠텍비젼 주식회사 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치
US7477570B2 (en) * 2004-08-20 2009-01-13 Micron Technology, Inc. Sequential access memory with system and method
JP2006121612A (ja) * 2004-10-25 2006-05-11 Konica Minolta Photo Imaging Inc 撮像装置
US7716021B2 (en) * 2005-03-31 2010-05-11 Veeco Instruments, Inc. Grid transparency and grid hole pattern control for ion beam uniformity
JP4476955B2 (ja) * 2006-03-17 2010-06-09 富士通マイクロエレクトロニクス株式会社 シェーディング補正回路とその制御方法
US8259179B2 (en) * 2006-05-15 2012-09-04 Csr Technology Inc. Compensating for non-uniform illumination of object fields captured by a camera
GB2442050A (en) * 2006-08-29 2008-03-26 Micron Technology Inc Image pixel value correction
US7782380B2 (en) * 2006-09-01 2010-08-24 Aptina Imaging Corporation Positional gain adjustment and surface generation for image processing
US7777708B2 (en) * 2006-09-21 2010-08-17 Research In Motion Limited Cross-talk correction for a liquid crystal display
US8078001B2 (en) * 2007-05-11 2011-12-13 Micron Technology, Inc. Methods, apparatuses and systems for piecewise generation of pixel correction values for image processing
US20080278613A1 (en) * 2007-05-11 2008-11-13 Micron Technology, Inc. Methods, apparatuses and systems providing pixel value adjustment for images produced with varying focal length lenses
US8463068B2 (en) 2007-08-09 2013-06-11 Micron Technology, Inc. Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves
JP4682181B2 (ja) * 2007-11-19 2011-05-11 シャープ株式会社 撮像装置および電子情報機器
US8331722B2 (en) * 2008-01-08 2012-12-11 Aptina Imaging Corporation Methods, apparatuses and systems providing pixel value adjustment for images produced by a camera having multiple optical states
GB0801443D0 (en) * 2008-01-25 2008-03-05 Micron Technology Inc Methods, systems and apparatuses for pixel signal correction using elliptical hyperbolic cosines
US20090252405A1 (en) * 2008-04-03 2009-10-08 Sangkeun Lee Method and apparatus for dictionary-based image processing
JP2010103642A (ja) * 2008-10-21 2010-05-06 Toshiba Corp シェーディング補正装置
TWI393428B (zh) * 2009-04-20 2013-04-11 Pixart Imaging Inc 影像校正方法及使用此方法的影像處理系統
US8472712B2 (en) * 2009-10-20 2013-06-25 Apple Inc. System and method for applying lens shading correction during image processing
JP5901246B2 (ja) * 2010-12-13 2016-04-06 キヤノン株式会社 撮像装置
JP5592776B2 (ja) * 2010-12-21 2014-09-17 オリンパスイメージング株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
CN103621070B (zh) * 2011-06-30 2015-05-20 富士胶片株式会社 摄像装置及摄像装置的控制方法
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
JP6105903B2 (ja) * 2012-11-09 2017-03-29 キヤノン株式会社 画像処理装置、画像処理方法、放射線撮影システム及びプログラム
US10424055B2 (en) * 2016-05-27 2019-09-24 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same
JP6819629B2 (ja) * 2018-02-23 2021-01-27 オムロン株式会社 画像センサ
DE102018115991B4 (de) 2018-07-02 2023-12-07 Basler Ag Digitale schaltung zur korrektur eines vignettierungseffekts in werten von pixeln eines bildes einer elektronischen kamera

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4482975A (en) * 1982-03-29 1984-11-13 Motorola, Inc. Function generator
JPS60182870A (ja) 1984-03-01 1985-09-18 Canon Inc 画像処理装置
JPS62250774A (ja) * 1986-04-24 1987-10-31 Konika Corp 画像のシエ−デイング補正方法
US5267055A (en) 1988-05-11 1993-11-30 Canon Kabushiki Kaisha Image signal processing apparatus
FR2657208B1 (fr) 1990-01-16 1992-04-10 Thomson Consumer Electronics Procede et dispositif de correction automatique de geometrie, de superposition de couleurs et d'uniformite d'image pour camera de television.
JP2754842B2 (ja) * 1990-03-13 1998-05-20 ソニー株式会社 シェーディング補正回路
US5181096A (en) * 1990-04-12 1993-01-19 Actel Corporation Electrically programmable antifuse incorporating dielectric and amorphous silicon interlayer
US5047861A (en) * 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
JP2893078B2 (ja) 1990-12-06 1999-05-17 オムロン株式会社 シェーディング補正方法およびその装置
JP3191354B2 (ja) * 1991-11-15 2001-07-23 ソニー株式会社 シェーディング補正回路
JP3283586B2 (ja) * 1992-09-18 2002-05-20 株式会社リコー 画像読取装置
JPH0865546A (ja) * 1994-08-18 1996-03-08 Fuji Photo Film Co Ltd シェーディング補正係数生成回路およびシェーディング補正係数生成方法
EP0720125B1 (fr) 1994-12-29 2002-05-08 Koninklijke Philips Electronics N.V. Dispositif de formation d'image et procédé pour effectuer des corrections de distorsions optiques géométriques dans une image
JPH0969971A (ja) * 1995-08-30 1997-03-11 Olympus Optical Co Ltd 電子カメラ
EP0827667B1 (en) * 1996-03-18 2001-10-10 Koninklijke Philips Electronics N.V. Flare compensation
JPH09307789A (ja) 1996-05-17 1997-11-28 Olympus Optical Co Ltd 画像処理装置
JP3675066B2 (ja) 1996-11-06 2005-07-27 三菱電機株式会社 赤外線撮像装置および画像補正方法
JPH10160566A (ja) 1996-12-03 1998-06-19 Mitsubishi Electric Corp 赤外線撮像装置
JP3822723B2 (ja) 1997-08-29 2006-09-20 富士写真フイルム株式会社 画像処理装置
DE19855885A1 (de) 1997-12-04 1999-08-05 Fuji Photo Film Co Ltd Bildverarbeitungsverfahren und -vorrichtung
JP3800824B2 (ja) 1998-09-16 2006-07-26 日本ビクター株式会社 情報処理装置及び情報処理方法
JP4327928B2 (ja) 1999-02-26 2009-09-09 メディア・テック・ユーエスエイ・インコーポレーテッド 電子カメラ装置
US6727521B2 (en) 2000-09-25 2004-04-27 Foveon, Inc. Vertical color filter detector group and array
US6833862B1 (en) 1999-06-30 2004-12-21 Logitech, Inc. Image sensor based vignetting correction
JP2001274973A (ja) 2000-03-24 2001-10-05 Sanyo Electric Co Ltd 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001275029A (ja) * 2000-03-28 2001-10-05 Minolta Co Ltd デジタルカメラ、その画像信号処理方法及び記録媒体
JP2002125156A (ja) 2000-08-11 2002-04-26 Nikon Corp 固体撮像素子及び電子カメラ
JP4574022B2 (ja) 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
JP2002216136A (ja) 2001-01-23 2002-08-02 Sony Corp 距離算出方法及び撮像装置
US6853402B2 (en) 2001-01-30 2005-02-08 Xerox Corporation Combined multiplexing and offset correction for an image sensor array
JP2002237998A (ja) 2001-02-07 2002-08-23 Sony Corp 画面補正方法及び撮像装置
JP3539394B2 (ja) * 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
US6983298B2 (en) 2001-03-28 2006-01-03 Texas Instruments Incorporated Method and apparatus for linear interpolation using gradient tables
US6940546B2 (en) * 2001-04-04 2005-09-06 Eastman Kodak Company Method for compensating a digital image for light falloff while minimizing light balance change
US6975775B2 (en) * 2002-03-06 2005-12-13 Radiant Imaging, Inc. Stray light correction method for imaging light and color measurement system
US7151560B2 (en) * 2002-06-20 2006-12-19 Hewlett-Packard Development Company, L.P. Method and apparatus for producing calibration data for a digital camera
JP2004038728A (ja) * 2002-07-05 2004-02-05 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および、画像処理プログラムを記録した記録媒体
US7388610B2 (en) 2002-08-16 2008-06-17 Zoran Corporation Techniques of modifying image field data by extrapolation
US7408576B2 (en) 2002-08-16 2008-08-05 Zoran Corporation Techniques for modifying image field data as a function of radius across the image field
US7391450B2 (en) 2002-08-16 2008-06-24 Zoran Corporation Techniques for modifying image field data
US20050041805A1 (en) * 2003-08-04 2005-02-24 Lowell Rosen Miniaturized holographic communications apparatus and methods
CN1820496B (zh) 2003-10-31 2011-08-03 三菱电机株式会社 图像修正方法和摄像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873436B (zh) * 2009-04-27 2011-12-07 倚强科技股份有限公司 使用多线内插的镜头亮度补偿方法
CN110191260A (zh) * 2018-02-23 2019-08-30 欧姆龙株式会社 图像传感器以及本体模块
US10742853B2 (en) 2018-02-23 2020-08-11 Omron Corporation Image sensor and body module
CN110191260B (zh) * 2018-02-23 2021-12-10 欧姆龙株式会社 图像传感器以及本体模块

Also Published As

Publication number Publication date
US20110025889A1 (en) 2011-02-03
EP1711880B1 (en) 2014-04-23
JP2007520179A (ja) 2007-07-19
US7388610B2 (en) 2008-06-17
US20050041806A1 (en) 2005-02-24
US7817196B1 (en) 2010-10-19
US8218037B2 (en) 2012-07-10
JP4833085B2 (ja) 2011-12-07
EP1711880A1 (en) 2006-10-18
WO2005076111A1 (en) 2005-08-18
CN100451913C (zh) 2009-01-14

Similar Documents

Publication Publication Date Title
CN1914580A (zh) 通过外推来对图像场数据进行建模的技术
JP4773369B2 (ja) 画像フィールドデータを修正するための技術
CN1226864C (zh) 图象感测设备及黑斑校正方法
US8259179B2 (en) Compensating for non-uniform illumination of object fields captured by a camera
CN101124611B (zh) 颜色增益值的自动白平衡的方法和装置
US20150062347A1 (en) Image processing methods for visible and infrared imaging
CN1806425A (zh) 具有减小的图像缓冲存储器和最小处理用于通过服务中心回收的数字照相机
JP5859080B2 (ja) イメージのカラーアーチファクトを補正する方法と関連装置
CN1171465C (zh) 具有单-摄像元件、可抑制伪彩色信号的彩色摄象机
US20070262236A1 (en) Techniques for Modifying Image Field Data Obtained Using Illumination Sources
JP5592486B2 (ja) 画像取込システムにおける欠陥を推定するための方法および関連したシステム
WO2005119638A2 (en) Uniformity and brightness measurement in oled displays
CN102696228B (zh) 成像设备和混色校正方法
JP4520502B2 (ja) デジタル撮像デバイスにおける画像品質向上のための方法、装置、撮像モジュールおよびプログラム
US9392180B2 (en) Partial lens shading compensation method
US20100149403A1 (en) Automatic white balancing using meter sensors
CN1767598A (zh) 修正因输出电路特性所产生误差的固态图像拾取设备
CN104025577A (zh) 图像处理装置、方法以及摄像装置
JP5010909B2 (ja) 撮像装置および画像データ補正方法
CN104041021B (zh) 图像处理装置及方法以及摄像装置
CN112042185B (zh) 图像传感器以及相关电子装置
JP2012156882A (ja) 固体撮像装置
CN114007055A (zh) 图像传感器镜头阴影校正方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GAOTONG TECHNOLOGY INC.

Free format text: FORMER OWNER: ZORAN CORP.

Effective date: 20150515

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150515

Address after: California, USA

Patentee after: Qualcomm Technologies, Inc.

Address before: American California

Patentee before: Zoran Corp.

TR01 Transfer of patent right

Effective date of registration: 20170419

Address after: California, USA

Patentee after: QUALCOMM Inc.

Address before: California, USA

Patentee before: QUALCOMM TECHNOLOGIES, INC.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090114

Termination date: 20220111

CF01 Termination of patent right due to non-payment of annual fee