CN102577355B - 预测图像采集系统的缺陷的方法及其相关系统 - Google Patents
预测图像采集系统的缺陷的方法及其相关系统 Download PDFInfo
- Publication number
- CN102577355B CN102577355B CN201080042911.0A CN201080042911A CN102577355B CN 102577355 B CN102577355 B CN 102577355B CN 201080042911 A CN201080042911 A CN 201080042911A CN 102577355 B CN102577355 B CN 102577355B
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- change
- field
- numerical value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000008859 change Effects 0.000 claims abstract description 163
- 238000005259 measurement Methods 0.000 claims abstract description 59
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000012937 correction Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 17
- 238000004519 manufacturing process Methods 0.000 claims description 13
- 238000005286 illumination Methods 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims description 4
- 201000009310 astigmatism Diseases 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 18
- 108091006146 Channels Proteins 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 230000004075 alteration Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101000694017 Homo sapiens Sodium channel protein type 5 subunit alpha Proteins 0.000 description 1
- 241000012186 Litura Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Character Input (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及一种用于预测图像采集系统(1)中的缺陷的方法,该缺陷在涉及呈现任意场景(S)的任意第一图像(I)中产生第一图像特征场中的变化且具有在数量级上概率小于由场景所引入的所述特征场中的变化。所述方法包括:计算步骤,用于计算在第一图像场的至少一个第一部分中与所述第一图像的特征相关的测量μ(I),以及获取步骤,用于获取在第一图像的至少一个第二部分中的所述缺陷的预测大小数值(v),该数值取决于所计算的测量并具有与所述缺陷所产生的第一图像特征场中的变化相同数量级的变化。
Description
本发明涉及图像采集系统的缺陷。
图像采集系统(固定的或者动画的)可以是例如用于数码相机、单反式照相机、扫描仪器、传真机、内视镜、电影摄像机、便携式摄像机、监视摄像机、玩具电影摄像机、以及与电话机、个人数字助理设备或电脑、红外摄象机、超声装置、MRI(磁共振成像)装置、X射线成像装置集成在一起或者连接在一起的摄像机,等。
它通常包括传感器和光学系统,其中光学系统包括一个或多个用于将光线聚焦在传感器上的透镜。
光学系统以具有的多项特征进行特征化,包括尺寸的大小、透镜的数量、透镜所使用的材料、透镜的形状、系统的不同部件沿着光轴的位置等。
就传感器而言,它是一个光敏元件(例如像素)的系统,可以将其所接收的一些光强转换为数字数值,并且将所对应的数字数值分配给各个像素。由传感器直接采集到的且未经处理的图像通常称为原始图像。最终用于各个像素的数字数值的数量取决于图像采集系统。
传感器可以是,例如,CCD(电荷耦合器件)、CMOS(互补型金属氧化物半导体)、CID(电荷感应器件)、IRCCD(红外CCD)、ICCD(强化CCD)、EBCCD(电子轰击CCD)、MIS(金属绝缘半导体)、APS(有源像素传感器)、QWIP(量子阱红外光电探测器)、MQW(倍增量子阱)以及其它器件。也可能与滤色器有关,例如Bayer滤色器、全色性单元,以便获得彩色图像。
图像采集系统用于产生照片情景的真实图像。尤其是,图像采集系统必须能以照片情景的方式转换物体特性的,例如它们的反照率(它们如何反射光线的)、距离摄像头的距离或其它特性。
然而,实际的图像采集系统一般都会有些缺陷,例如,与设计或制造有关的缺陷,这会在所采集的图像方面产生变化。其结果是,采集图像所呈现出的变化不仅与照片场景特性有关,还会因图像采集系统中的至少一个或多个缺陷而产生。这在人们用肉眼观察这些图像时,就会带来很多麻烦。
图像采集系统会有多种不同类型的缺陷,在使用图像采集系统采集图像时会产生图像至少一个特性的变化。
一个实例是光照渐变。这会使得图像采集系统所采集到的图像其边缘部分明显暗于中心部分。光照渐变缺陷使得图像采集系统所采集到的图像部分产生对应于灰阶的至少一个特性的变化。该缺陷所产生的变化在数量级上概率小于由照明和场景中的物体干扰所产生的灰阶变化。
图像采集系统中的缺陷的另一实例是色彩渐变。该缺陷在图像采集系统所采集的图像场中产生对应于色度的至少一个特征的变化。该缺陷会产生变化,使得其概率上数量级小于由场景中的物体颜色所产生的色度变化。它作为场景的位置函数而对应图像采集系统(传感器+红外滤光器)的频谱响应中的变化。作为结果,就彩色而言,采用单色光源来照亮完全均匀的表面是不会在传感器上产生同样的响应的。该变化取决于照明光源的频谱分布,仅仅只从一个图像以及传感器的各个光敏元件接收光线的入射角度来看,这是不可预测的。这样的问题会产生于包含不同类型光敏元件的任何传感器,例如使用重复4个像素(两个绿色、一个红色、一个蓝色)图形的Bayer阵列以及其它类型阵列的传感器。
图像采集系统的缺陷的另一实例是非均匀性的模糊。该缺陷在图像采集系统所采集图像场内产生对应于模糊的至少一个特征的变化。该缺陷所产生的变化在数量级上概率小于在场景中的物体所产生的明锐度的变化。该缺陷与场景曲率有显著关系。实际上,由于最佳的聚焦位置一般不是平面的而是曲线的,所以当使用平面传感器时就会产生沿着该曲线的模糊变化。
该曲线也取决于波长,使得模糊变化根据所观察的颜色而改变。该缺陷就是众所周知的色差。
值得注意的是,非均匀的模糊也与其它因素有关,例如,由于透镜制造质量所产生的明锐度均匀性的缺乏。
在光学系统使用自动对焦的情况中,在采集图像中的模糊还会受到透镜的移动或透镜相对于传感器的移动或相互移动的影响。透镜的移动并不始终完全受控的并且透镜有时可以调整角度的(偏离中心、光学倾斜,等),这会影响他们的光轴变化。这些相关的移动都会改变场景的光学性能。例如,作为第一近似,这意味着改变场景中的物体的距离并因此改变在图像中的明锐度。这些移动都是随机的并且因为它们的属性而不可预测的。
另一实例是包括使用Bayer滤色器的传感器的图像采集系统的缺陷,事实上,该缺陷源与在同一阵列的单元中的两个绿色像素(Gr和Gb)完全不同于,并且所述差异可以在区域中变换。该缺陷产生图像采集系统所采集图像中对应噪声结构的至少一个特性的变化。该缺陷所产生的变化在数量级上概率小于由场景物体所产生的结构变化。
上述的缺陷列表并不是完整的。很显然,作为本领域的技术人员,可以设想图像采集系统的其它缺陷,且这些缺陷会在图像采集系统所采集的图像区域中产生至少一个特性的变化。
例如,会有各种不同的缺陷:非均匀噪声缺陷,产生在图像中的噪声变化在数量级上概率小于由场景中的物体的细节变化;几何缺陷,例如失真或色差,产生图像的局部变形变化在数量级上概率小于场景中的物体几何的变化;非均匀黑色量级缺陷,产生在图像中的黑色电平变化在数量级上概率小于场景物体的黑色电平变化;闪烁缺陷,产生对比度的变化在数量级上概率小于由场景所引起的对比度的变化;场的非均匀光学缺陷,产生图像的至少一个特征的变化;场的非均匀传感器缺陷,产生图像的至少一个特征的变化。
由图像采集系统所存在的部分缺陷会导致所采集的图像产生一些变化,这些变化与图像采集条件和参数无关。然而,一些产生所采集图像的至少一个特征的其它变化会取决于图像的至少一个图像采集条件和/或至少一个图像采集参数。上述的色彩渐变和非均匀模糊都是这第二类缺陷的实例。
下述部分或所有元素构成图像采集条件:物体距离(或场景和摄像机之间的距离)、场景合成、单光源或多光源的特征(例如,频谱响应、平均温度、色彩、光强度、光源位置,等等)、场景的内容(物体在场景中的位置、平均色彩,等等),温度、地理位置(尤其是摄像机)具有诸如GPS(全球定位系统)定位系统或其它系统)和/或日期时间,等等。
下述部分或所有元素构成图像采集参数:当透镜可互换时所使用的透镜类型、使用采集系统的模型、焦距的长度、聚焦的距离、曝光过度或曝光不足、闪光的激活及其强度、曝光时间、传感器的振幅、压缩、白平衡,等等。
导致场中变化的缺陷与图像采集参数无关,并且通常通过测量和确定校正参数进行校正,称为校准。该校准通常是在图像采集系统退出生产线后在实验室中进行。它使用呈现预定场景的参考图像,诸如测试图形。
在校准过程中,至少一个图像是由预定场景所采集的,并且会从中推导出一个或多个固定组的校正参数。例如,WO03/007241,WO03/007237,和WO03/007242阐述了这种方法。
因此,在图像采集系统的制造过程中,校准是附加地步骤,需要一定的时间,会影响产品制造的速度。它还需要永久存储从校准中所获得的校正参数。
当需要校正缺陷时,这些现象会更加严重,各个图像采集系统的缺陷都各不相同,因为例如它们的特性和/或产品的公差。在这样的情况下,通过单元的调试和不通过模块(表示通过图像采集系统的类型)是必需的。例如,在缺陷取决于图像采集系统制造过程中的至少一个不确定性的场合下,就必须对产品线上的各个单元进行校准。
下列是缺陷的非限制性实例,这些缺陷取决于图像采集系统制造过程中的不确定性:
在场中的色差变化缺陷,该缺陷尤其取决于图像采集系统制造过程中的下列不确定性:光学元件相互之间以及相对于传感器的形状和位置;
在场中的光照变化缺陷,该缺陷尤其取决于图像采集系统制造过程中的下述不确定性:光学元件相互之间以及相对于传感器的形状和位置;
在场中的明锐度变化缺陷,该缺陷尤其取决于图像采集系统制造过程中的下述不确定性:光学元件相互之间以及相对于传感器的的形状和位置。
若缺陷取决于某些图像采集条件和/或某些图像采集参数,则情况就可能更加复杂。
图像采集系统的上述校准仅能获得与特殊的图像采集条件和参数直接关联并且影响校准过程的一些校正参数。在使用已经校准过的图像采集系统时,这些校正参数不再适用于校正在其它条件和/或参数下所采集到的图像中所存在的这些缺陷。使用这些与图像采集条件和参数无关的相同校正参数,只能获得较差质量的图像。
众所周知,对于根据图像采集系统所测量的至少一个图像采集条件(例如光源的温度)而变化的缺陷,需要执行不同图像采集条件的校准,其中校正参数取决于变化的图形采集条件。例如,WO03/007236和WO03/007239阐述了这种方法。
对于根据至少一个图像采集参数(例如焦距长度)而变化的缺陷,事实上是相同的。然后,进行适用于不同图像采集参数的校准,其中校正参数取决于变化的图像采集参数。例如,WO03/007236和WO03/007239阐述了这种方法。
根据不由图像采集系统所测量的至少一个图像采集条件和/或图像采集参数(例如光源频谱响应)而变化的缺陷,就不能简单地使用基于校准的方法。
因此,不论是否基于至少一个图像采集条件和/或图像采集参数的缺陷,都会经历校准,虽然这十分复杂且仅能获得不太合适在校准过程中较难适用图像采集条件和/或图像采集参数的校正参数;或者不能经历校准并因此不能进行校准。
值得注意的是,有一种基于图像的预测方法,例如白平衡预测,但是这些预测不涉及图像采集系统的缺陷,只涉及由图像来预测的图像采集参数。
本发明的一个目的在于至少改善上述一些缺点。
因此,本发明提供一种用于预测图像采集系统的至少一个缺陷的方法,所述缺陷使得图像采集系统所采集的和呈现任意场景的任意至少一个第一图像在第一图像至少一个特征场中产生变化,所述变化在数量级上概率小于由所述场景所引入的第一图像特征场中的变化,所述方法包括下列步骤:
-计算步骤,在第一图像场的至少一个第一部分中,计算与所述第一图像特征有关的测量;
-以及,获取步骤,在第一图像场的至少一个第二部分中,获得所述缺陷的预测大小数值,所述大小数值取决于计算的测量并且具有与所述缺陷所产生的第一图像特征场中的变化相同数量级的变化。
采用这种方法来预测图像采集系统的缺陷,就能消除上述校准的需要及其相关的缺点(实施的成本、测试图形的使用、在永久存储器中存储数据,等等)。此外,还能预测出校准不能校正的缺陷。
缺陷的预测能够用于不同的目的和/或由不同部分所使用。例如,它能在图像采集系统的限制条件下用于实现缺陷的校正,或用于其它目的。
下列是一些优选实施例且可以任何可设想的方式进行组合:
-所述方法还包括确定步骤,从所获得的大小数值中,确定适用于由图像采集系统所采集至少一个第二图像的所述缺陷的校正参数,所述第二图像不同于第一图像。校正第二图像或者有可能是多个第二图像的能力,这不同于第一图像,可用于缺陷的预测和节省处理过程;
-确定所述校正参数,用于第二图像的整个场;
-该方法还包括第二图像的处理步骤,用于考虑所述校正参数来处理由图像采集系统所采集的第二图像;
-与第二图像相比,第一图像具有较低的分辨率、通道数量和/或尺寸的大小;
-所述缺陷所产生的第一图像至少一个特征场内的变化取决于第一图像的至少一个图像采集参数和/或图像采集条件,并且第二图像由相同于或相似于第一图像的所述图像采集参数和/或图像采集条件来采集。因此,现有技术能够预测的这类缺陷是不能在校准之后得到合适的校正的或者就根本不能进行校准;
-由所述缺陷产生的第一图像至少一个特征场内的变化专属于所述图像采集系统。在这样的情况下,可避免各个单元校准的高昂成本;
-缺陷取决于在所述图像采集系统制造过程中的至少一个不确定性。
-图像采集系统至少包括下列之一:
光照渐变、色彩渐变、非均匀模糊、在相同通道中的相邻光敏元件之间比率的非均匀变化、非均匀噪声、几何失真、横向色差、纵向色差、散光、闪烁以及非均匀黑电平;
-该方法包括识别,在所述第一图像的场的至少第一部分中识别一系列均匀区域,在各个均匀区域中,所述计算测量的变化在数量级上相同于所述缺陷所产生的第一图像特征场中的变化,并且所述大小数值通过考虑所识别的均匀区域而获得;
-在所述系列均匀区域中的一个均匀区域内,通过将所述计算测量与第一图像所述特征测量相关以及与所述均匀区域的参考点的计算相关来获得所述大小数值。
本发明还提供了一种根据上述方法所述用于预测图像采集系统至少一个缺陷的系统,所述缺陷使得图像采集系统所采集的和呈现任意场景的任意至少一个第一图像产生在第一图像至少一个特征场中的变化,所述变化在数量级上概率小于由所述场景所引入的第一图像特征场中的变化。所述系统包括:
-计算单元,用于计算在第一图像场的至少一个第一部分中与所述第一图像的所述特征相关的测量;
-获取单元,用于获得所述缺陷在第一图像场的至少一个第二部分中的预测大小数值(v),所述大小数值取决于所计算的测量并且具有与所述缺陷所产生的第一图像所述特征场中的变化相同数量级的变化。
本发明还提供了一种用于确定至少一个参数的系统,所述参数用于校正根据上述方法所预测的图像采集系统的至少一个缺陷。该系统包括确定单元,用于从所获得的大小数值(v)中确定用于由图像采集系统所采集的至少一个第二图像(I′)的所述缺陷的校正参数(c),所述第二图像不同于第一图像。
本发明还提出一种计算机程序的产品和/或电子电路,包括用于根据上述方法所述实施预测图像采集系统。
本发明的其它特征和优点将通过下列非限制性实施例以及参照附图的阐述而变得明晰,附图包括:
-图1是本发明能够使用的图像采集系统的一个实例;
-图2是根据本发明所执行的步骤序列的流程图;
-图3是根据本发明实施例所执行的图像分割的示意图;
-图4是在本发明中用于预测色彩渐变缺陷的实施例中的步骤序列的流程图。
图1示出图像采集系统1的实施例。该系统通常包括具有至少一个传感器C以及包括至少一个透镜L的光学系统,所述透镜可以为背景解释中的任何可臆测到的形式。
可选择的是,图像采集系统1可以包括自动焦距系统AF,从而例如籍助于马达M来确保在光学系统L和传感器C之间的相对位移。尽管也可考虑其它位移,但这种位移通常优选的是沿着图像采集系统的光轴A平移,例如沿着垂直于光轴的轴向平移,以便获得图像的稳定效果。
当光学系统L包括多个透镜,只有部分透镜可经受相对于传感器C的位移。在光学系统的透镜之间相对位移也是可能的。
可选择的是,图像采集系统1可以包括光学变焦,以便用于改变尺寸的大小。
图像采集系统1能够采集表示任意场景S的任意至少一个图像I。“表示任意场景的任意图像”可以理解为在限定的预定条件下难以采集到的图像,并且其图像内容是事先不知晓的。一般来说,这是在没有特定约束条件下且在图像采集系统1的服务寿命周期中所采集到的图像。相比之下,诸如在实验室中所采集到测试图形的参考图像不在所述定义内。
所采集到的图像I可以包括对应单一通道的每个像素的单一数值,尤其是在RAW图像中。另一种选择是,图像I可以具有每个像素的多个数值,例如,对应于红、绿和蓝(R、G、B)三个通道的三个数值。对本领域的普通技术人员而言,也可以考虑其它的可能性,这些可能的实施例都是显而易见的。图像I可以是静态的或动态的(视频)。
可以假设,图像采集系统1具有多种缺陷。这个或这些缺陷会在图像I的至少一个特征场中产生变化。换句话说,图像I的特征假设取决于在所述场中位置的数值。
作为非限制性实施例,图像采集系统1可能存在说明书所述的光照渐变的缺陷。该缺陷会在图像I中产生场中光照强度的变化。
附加地或可选地,图像采集系统1可能存在说明书所述的色彩渐变的缺陷。该缺陷会在彩色图像I中产生场中的色度上的变化。
附加地或可选地,图像采集系统1可能存在与场的曲率相关的非均匀模糊的缺陷。该缺陷会在图像I中产生场中的模糊变化。
附加地或可选地,使用自动变焦AF的图像采集系统1,如图1所示,可能存在与透镜移动或透镜组L相关的模糊缺陷(中心偏移,光学倾斜等)。该缺陷会在图像I中产生场中的模糊变化。
附加地或可选地,包括使用Bayer滤色器的传感器的图像采集系统1可能存在阵列的相同小区中的两个绿色的像素(标记为Gr和Gb)明显不同且这种差异会在场中变化的缺陷。
附加地或可选地,图像采集系统1可能包括在图像I中产生该图像I至少一个特征场的变化的其它缺陷。
对图像采集系统1所呈现的任何缺陷,导致在图像I相关特征场中的变化在数量级上概率小于由场景S所引入在相同特征场中的变化。
因此,本发明通常可应用于在图像特征中的变化在数量级上概率小于由场景所引入在所述图像特征场中的变化的任何缺陷,这就意味着缺陷在波长的场中所引入的变化大于由于场景在场中变化的波长。这样就通过消除由于场景的变化来消除场景的依赖性,如下文所述。
可以理解的是,在图像I的场中的替换过程中,由缺陷所产生的变化比由场景引入的变化更慢并且更加复杂(所述由场景引入的变化会产生在图像两个相邻点之间的模糊转换)。此外,即使将图像I作为整体考虑,由缺陷所产生变化的总的振幅通常小于由场景所引入的变化(例如,由场景所引入变化的振幅包含非常高的对比度)。
事实上,由缺陷所引入的变化“概率”为其振幅的数量级小于由场景S所引入的,这是考虑场景的平均变化所产生的。然而,有可能具有一个特别稳定的场景,该场景具有特别小的变化。例如,这种情况可能是在场景中呈现均匀光照的平坦单色物体。可以肯定的是,对任何场景S来说,我们所感兴趣的这种场景概率上是不太可能的。因此,由缺陷所引入的变化在数量级上通常小于由所述任何场景S所引入的变化。
当然,这样并不能阻止由缺陷所产生的变化,在某些场合下,所述缺陷所产生的变化在数量级上等于或大于由所述任何场景S所引入的变化,尤其当所述场景包括在一些位置上的稳定物体。如下文所述,这种在场景中的局部稳定可用于通过检测对应的均匀区域来消除缺陷。
如果所述摄影的任何场景S发生引入相同数量级的变化或甚至是小于图像采集系统1缺陷的数量级的变化,则仍可以执行该方法的下列步骤。有可能导致图像的过度校正或错误校正。例如,在场景中的灰阶通过校正而变得均匀。然而,导致信息的丢失会令人讨厌,或者在任何情况中可以比图像采集系统1没有缺陷的情况更少令人讨厌。
如果考虑例如色彩,可以假设所述任何场景S都包括不同色彩的物体,并由不同频谱的光线照亮。因此,场景的色彩可以在振幅中有非常显著的差异。例如,只要场景包括两个不同色彩的相邻物体,就有可能在场景S中非常接近的两个点之间有非常大的差异。
然而,色彩渐变是一种振幅主要基于由传感器所接收的光线入射角的现象。这种现象的结果是,在场中的色彩变化相对较小且相对较慢。这个色彩的变化确实是在数量级上概率小于由场景本身所引入的变化。
色彩渐变的另一个因素是与空间一致性相关的现象。这样足以在场中的多个位置上消除色彩渐变,以推导各处都具有好的相似性。
如说明书所已经讨论的那样,基于所考虑的缺陷类型,由图像采集系统1由缺陷所产生图像I的至少一个特征场中的变化可以取决于该图像I的一个或多个图像采集条件和/或一个或多个图像采集参数,如上文所定义的。
例如,这是色彩渐变的情况。由于该现象取决于传感器所接收光线的入射角度,导致在色彩中的变化并不一定等同于所有的光线照射观察场景的变化,即使在场景中的物体仍然保持相同的状态。图像I的特征场中的变化对一些图像采集条件和/或参数的相同依赖性,仍旧存在于其它类型的缺陷,例如非均匀模糊。
在一些情况中,在由图像采集系统1考虑缺陷所产生的图像I至少一个特征的场中的变化可以专用于该图像采集系统。换句话说,相同模式的不同单元都可在与考虑缺陷相关的图像I的特征中具有不同的变化。
例如,这种对图像采集系统的依赖性可由图像采集系统的可能变化的特征所产生,例如由于制造的公差。作为一个实例,光学系统L相对于图像采集系统1的传感器C的轻微倾斜都会引起场曲率上的改变并因此由该系统产生非均匀的模糊。
如图2所示,由图像采集系统1所采集的图像I具有上述至少一个缺陷(步骤10)。
在该图像I场的至少一个部分中,计算与图像I的特征有关的测量μ(I),图像采集系统1的缺陷引起在场中的变化(步骤11)。这个测量μ(I)具有也取决于场中位置的数值。因此,这个测量是局部的,并且它在各个点上的数值取决于接近考虑点的区域中的图像I。
测量μ(I)可以在图像I的场中的各个点上进行计算,或者仅在该场中的确定点上进行计算。作为一个非限制性实例,可以仅在所述场的确定点上计算测量μ(I),所述给定点是预先确定的,例如通过在图像中的测量来确定,从而使得预测更加可靠或者比给定的阈值更加可靠。
这个计算是在运行中完成的,这意味着是在图像采集系统1正常使用采集图像I的过程中,不同于在离开生产线之后的实验室中的校准。
此外,如上所述,这个计算是对表示任何场景的任意至少一个图像I所执行的,这不同于诸如测试图形的参考图像。
也有可能计算由图像采集系统1所采集的多个图像I的测量μ(I)。例如,不同的图像I进行平均,且这个平均可以用于确定测量μ(I)。附加地或可选择的,可以为每个图像I独立计算测量μ(I),并随后对不同的测量μ(I)进行平均且仅保存有关图像组的那个测量。
也可能使用递归计算,即仅存储每个新图像与先前图像组合有关的单一测量μ(I)。这就可避免为每个图像I存储数据μ(I)。由于取决于先前图像的测量μ(I),这也可以避免振动或闪烁的现象,这种现象会在连续图像相互独立处理的情况下出现。
作为一个非限制性实例,μ(I)可以为图像I的绿色通道(G)和红色通道(R)之间的比值,可定义在R不为零的任意点上,或实际上大于由信号噪声等级所给出的阈值。
还可以计算在各个点上的明锐度的测量μ(I),例如,仅在梯度大于确定数值的点上的通道的拉普拉斯算子。
根据图像采集系统1所呈现的一个或多个缺陷,还可以考虑测量μ(I)的其它实例。
然后,通过例如取决于所计算的测量μ(I)的计算,来获得图像采集系统1缺陷中所考虑缺陷的预测大小数值v(步骤12)。该大小数值v在相同于计算测量μ(I)的部分的图像I的场的部分中获得。可选择的,该图像I的场的部分可不同于计算测量μ(I)的部分。在这种情况下,在两个部分之间可能呈现重叠。例如,获得大小数值v的场部分可能是计算测量μ(I)部分的子部分。作为一个变化例,其本身可以包括计算测量μ(I)的部分。例如,可以获得图像I的整个场以及具有在该场中一些位置上的计算测量μ(I)的大小数值v。
所获得的大小数值v使得其变化具有与由图像采集系统1所考虑缺陷产生的图像I特征场中的变化的相同数量级。
从而可以消除在测量μ(I)中由场景S对变化所产生的贡献,并且仅保留由图像采集系统1的考虑缺陷所产生的变化。
大小数值v可以假设不同形式。例如,它包含能够反馈定义图像I上各个点的数值的函数。作为一个实例,该函数可以是场位置函数的多项式,也可以是兼容所考虑缺陷引入变化的其它类型的函数。
作为一个变化例,大小数值v可以包含一系列参数。优选地,给定图像采集系统1的缺陷的特性,参数的数量就可减少。
作为一个实例,该系列参数可以包括3阶或4阶多项式的系数。在另一实例中,该系列参数可以包括与图像I中的各个点或多个点相关的系列数值,例如由这些点或系列点的函数所假设的数值。在另一实例中,大小数值v可包含确定数值不同映射的加权以及与图像I一点或多点相关的加权。在另一实例中,大小数值v可包含由不同函数之间的局部选择的参数。还可以考虑其它实例,这些实例对本领域的技术人员都是显而易见的。
大小数值v可以任何合适的方法来获得。下文阐述两个非限制性的可能方法。
第一种方法是在调整之后使用图像分隔。
事实上,这种方法是基于任何给定的图像I都可能包含相对稳定的区域,其中所呈现场景的变化相对较少。还基于是在这些均匀区域中的假设,所观测到的变化主要是由于图像采集系统1所考虑的缺陷引起的。
因此,在该方法中寻求这样的均匀区域。为此目的,在图像I场的至少一个部分中,定义一系列均匀的区域,这些均匀区域中的各个区域定义为图像I的一个区域,在所述区域中的计算测量μ(I)具有数量级相同于图像I特征场中变化的变化,所述图像I的特征场中的变化是由图像采集系统1考虑的缺陷所产生的。
为了阐述这个理论,参考图3,图3示出了由4个区域3-6所构成的图像2。在这些区域中,仅区域3和4对应于均匀的区域。例如,区域3表示均匀的物体,例如色彩均匀的桌子,并且区域4表示另一均匀的物体,例如色彩均匀的墙。阴影区域5和6分别对应多个非均匀的物体和/或难以与其它物体相互区分的物体。
在图像I中的均匀区域可以例如通过观测在场中不同点上所计算的测量μ(I)来识别,并且检测该测量区域的变化与图像采集系统1所考虑缺陷产生的图像特征场中的变化具有相同的数量级变化。
例如,所检测的均匀区域是图像I中测量μ(I)在场中的变化较慢的区域(而由于场景自身的原因在测量μ(I)中可能有较快的变化)。也就是说,靠近均匀区域的两个位置都具有较接近的数值。然而,值得注意的是,均匀区域可以包括两个具有较大差异数值μ(I)的两个点,其提供从一个点至另一个点μ(I)中的变化缓慢的路径。
此外,图像I的分隔,意味着在图像I中系列均匀区域的识别,可以优选执行,使得在图像I中的各个点属于一个且仅属于一个区域。这就是图3所图示说明的内容,其中区域3-6是不重叠的。这些区域形成了图像的分块。
作为一个实例,分隔可以通过合并区域来执行,且各个点都在初始为一个区域的图像I所考虑的部分内。合并包括两个相邻点x1和x2的区域,只要计算的测量μ(I)类似于在两个点上的计算,即只要差异μ(x1)-μ(x2)非常之小(例如小于阈值)。
这只是一个说明性实例。可以使用任何类型的分隔,例如Horowitz和Pavlidis所讨论的分隔和合并的算法(SplitandMergealgorithm)或诸如考虑轮廓规律性的Mumford-Shah技术。
分隔算法的输出包括均匀区域Zi的列表。物体的各个点属于至多一个均匀的区域。
然后,执行调整,以获得大小数值v。
大小数值v确定为使用常用函数的测量μ(I)中的变化的近似度,仅在较大的尺度范围内变化。具体的说,在由分隔所确定的各个均匀区域Zi中,近似度v较佳仅包含低频且接近于μ(I)的低频。
在均匀区域外,假设大小数值v满足常规的标准。事实上,这个假设产生于图像采集系统的大部分缺陷都会在所采集的图像中产生规律性的影响。
因此,在该实例中,近似度v的确定是基于下述两个原理:
i/在v中的变化和在μ(I)中的变化都是在均匀区域中局部靠近的;并且,
ii/函数v在任何位置上都是有规律的(与μ(I)不同,μ(I)在均匀区域的边界和在不属于任何均匀区域的点上具有间断性,尤其是由于场景S的变化)。
约束函数v规律性的一种方法是讨论常用函数族的规律性,例如低阶多项式是在场中位置的函数或是场中位置函数低频的正弦和余弦。
优选解决方法是建立上述两种原理之间的折衷。
为了执行理论i/,例如可以选择在各个均匀区域Zi中的参考位置xi。这个参考点,在图3所示实例中,将区域3标记为7,将区域4标记为8,它可以为任意点。例如,它可以是由数值μ(xi)所定义的点,所述数值μ(xi)是例如在区域Zi中的平均或中值。它还可以是由它的位置所定义的点,例如定义在区域Zi的中心。
因此,在均匀区域Zi中的任意点x上的大小数值v(标记为v(x))可以通过在该点(标记为μ(x))上计算的测量μ(I)与在参考点(标记为μ(xi))上计算的测量μ(I)的相关而获得。
也就是说,理论i/可以通过计算μ(x)来确保在均匀区域Zi中任意点x上
例如,可以处罚(penalize)差异v(xi)μ(x)-μ(xi)v(x)。
另外一种消除的可能是需求对参考数值的处罚▽(lnμ)-▽(lnv)式中▽表示梯度操作。
最佳的标准优先考虑所有有效的测量,这些测量根据位置可能具有不同的加权。
为了执行理论ii/,例如处罚在v中的变化。为了这样执行,处罚v的梯度或拉普拉斯算子或讨论v的局部变化的任意其它操作。
最佳的标准优选考虑场中的所有位置,这些位置根据位置可能具有不同的加权。
其它全局性的约束也可以在最佳解决方法中执行,例如总的振幅不能超出平均数的确定部分。
可以这样考虑,测量μ(I)在图像I的均匀区域中为常数。但是,通常可以观测到一些变化,因为所述测量具有噪声。由于施加有规律的约束条件,大小数值v所具有的噪声就更少。这种方法可以用于预测这些不需要的变化。出于相同的原因,使用大小数值v的图像校正还能减少图像的噪声。
在第二种方法中,大小数值v的获得不需要分隔和调正这两个独立且连续的步骤。
为了执行这样的方法,例如,从测量μ(I)中的变化模式开始。例如,这类模式可以参数或多种学习路径来提供。
使用在图像I中的多个参考点。然后,试图最小化在其所属域各个点和参考点的测量μ(I)之间误差之和。最佳的变量是参考点(包括它们的数量)以及调整的路径。例如,在预先学习路径的情况中,可以寻求能够最小化误差的路径或者最小化误差路径的组合。
参考点的数量可以为处罚的目标,并且可以寻求给定数量参考点的最佳位置及其最佳相关路径。
所获得大小数值v可用于不同的目的。例如,可以用于图像采集系统1的量化条件,其基于预测来提供在图像采集系统1中的缺陷。也可以用于从多种这类系统中选择一些图像采集系统,并且只保留那些具有较小缺陷的的图像采集系统。
如图2所示,所获得的大小数值v可优选用于确定校正图像采集系统1所考虑缺陷所需的至少一个参数c,其中第二图像I′可以相同于或不同于图像I(步骤13)。这个或这些校正参数c允许确定对图像I’的所有或部分进行校正,从而消除或至少消减缺陷的影响。
在一些情况中,大小数值v直接给出校正参数c。在另一些情况中,这些校正参数c的确定从使用大小数值v的计算(而不是定义的函数)中获得。
校正参数c的特性是多变的。它们可以为表示校正算法或函数的参数,例如多项式的系数,例如是在3或4阶场中的位置的函数。在另一实例中,可以为一系列与图像I’的一点或点组相关的数值组,例如由这些点或这系列点的函数所假设的数值。它还可以具有在预定数值的不同路径之间的加权以及与图像中的一点或多点相关的加权。还可以考虑其它实例,对本领域的技术人员来说,这些实例都是显而易见的。
为了获得在图像I’的各个点上都有效的校正参数c,同时大小数值v仅在图像I的一些点上获得,可以为其它点执行大小数值v的插值操作。
当两个图像呈现不同的场景时,则认为两个图像I和I’是不同的。在这样的情况中,确定的校正参数可适用于图像I’,尽管是从图像I所获得的大小数值v中推导得到的,只要由图像采集系统1所考虑缺陷产生的特征中的变化是独立于场景的。因此,如果对呈现不同于图像I场景的图像I’确定这类校正参数c,那么对这类缺陷是较为有利的。
通过执行这种方法,有可能校正在采集图像的特征中产生变化的图像采集系统的缺陷,所述这种变化独立于场景。之后,这类校正还可用于校正图像采集系统1所采集的任意图像。采用这种方法,对单一图像I中所执行的预测能够用于之后所采集的整个系列图像I’的校正。
这就避免了图像采集系统的校准,如说明书中所阐述的,因为图像校正是根据图像采集系统使用过程中所进行的预测来实施的。
当两个图像以不同的分辨率来呈现相同的场景时,那么认为图像I和I’是不同的。当图像I’的分辨率比图像I的分辨率高时,校正优选包括大小数值v的插值,以适用于图像I′的更高分辨率。
当两个图像以不同的图像采集条件和/或不同的图像采集参数来采集时,那么也可认为图像I和I’是不同的。
例如,图像I可以在图像I’之前通过图像采集系统1采集。例如,其可以为预览图像,以确定一些获取参数或用于做出一些调整(诸如,为一些位置获得明锐度的测量,所述明锐度是在光学系统L和传感器C之间由于自动对焦系统AF的相对距离的变化而产生的)。
确定校正参数的图像I可能比需要校正的图像I’更加简单。例如,它可以具有比图像I’更低的分辨率、通道数量和/或维度数值。图像I的较低分辨率可通过子采样与图像I’相同尺寸的大图像的方法获得,
-例如,通过确定在大图像中的区域并且从各个区域中选择至少一个像素或平均各个区域的像素,
-可通过将大图像分解为规则的或不规则的光栅(grid)获得区域,
-区域可以基于或不基于图像的内容。
这样可以减少所需计算的复杂度,并且因此能消除存储图像I的需要。
当图像采集系统1所述的缺陷在图像特性场中产生变化且取决于至少一个图像采集条件和/或至少一个图像采集参数时,所确定的校正参数c可有利地应用于图像I’,其可能不同于图像I但是由图像采集系统采用与图像I相同或相似的图像采集条件和/或参数所采集的。
如果在两个图像之间的变化具有所考虑缺陷修正图像特征的影响且这种影响对肉眼不重要或可以容忍的,则认为适用于图像I’的图像采集条件和/或图像采集参数相同于或类似于图像I的相同图像采集条件和/或图像采集参数。如果认为时两种不同的缺陷,则因此可接受的变化程度是不同的。于是,可以根据所考虑的缺陷,对可接受的变化限制设置所述图像采集条件和/或图像采集参数。
例如,色彩渐变是基于照明传感器的光线频谱。它也可以基于照亮场景的光源。如果照亮场景的光源在两个图像之间没有改变,那么色彩渐变通常在两个图像之间具有相似的数值。对第一图像的预测可随后用于第二图像的合适校正。
如果光源在两个图像之间有改变,则色彩渐变可能在两个图像之间会有变化,且在这样的条件下还会改变白平衡。在图像采集系统采用实时图像处理的情况中,至少一个图像必须用于预测本发明的色彩渐变,如同白平衡的情况。
在一个变化例中,完整或部分存储一个或多个图像I的操作记录:
-图像采集条件和/或图像采集参数;
-以及对应的测量μ(I)或大小数值v或校正参数c。
在图像采集的过程中,可以使用操作记录来避免重复的操作,并且减少能量的消耗以及加速改变图像采集条件和/或图像采集参数的校正适应性,且可在不需要存储图像I的运行过程中执行。
如果第一图像在图像采集系统处理之前就存储,优选组合第一图像和第二图像,以获得适合所有情况的校正。
于是,可以确定适用于一个或多个图像采集条件和/或参数改变的且不能使用现有技术的校准来校正的情况的校正参数。
使用所确定的校正参数c优选用于校正图像I’。
在计算测量μ(I)和获得缺陷预测大小数值v的相同系统中,例如图像采集系统1本身,可以根据这些参数来实施缺陷的校正参数c和/或缺陷校正的确定。除了用于执行上述步骤的单元以外,该系统包括确定单元,用于从图像采集系统采集到的图像I’所获得的大小数值v中确定所述缺陷的校正参数c;和/或处理单元,用于根据这些参数来执行校正的处理。
作为一个变化例,确定校正参数c和/或考虑这些参数的图像I’的校正可由不同的系统来执行,所述系统包括用于确定校正参数的确定单元和/或适用于执行图像I’校正的处理单元。
于是,可以有用于预测缺陷的系统(可以是图像采集系统自身)以及用于确定所考虑缺陷校正的一个或多个参数的独立系统。基于校正参数c的图像I’的校正可由确定校正参数的系统或独立的校正系统来完成。在后者情况中,校正系统优选包括用于从确定参数的系统中接收校正参数c的接收单元。
值得注意的是,本发明所提及的系统可以由简单的装置构成,也可由复杂的系统构成,并且与多个独立的单元协同实施上述各项功能。
此外,可以通过软件来完整或部分地执行上述不同的步骤,即通过包括为此目的的编码指令的计算机程序产品。附加地或选择的,这些步骤中至少有一些步骤可以通过电子电路来执行。
本发明的示范性应用将在下文中进行阐述。这些都是非限制性实施例,可以推测其它的应用,这些对本领域的技术人员来说都是显而易见的。
在第一应用中,如图4所示,假设图像采集系统1存在着色彩渐变的缺陷。如上所述,该缺陷在具有红色通道R、绿色通道G和蓝色通道B的采集图像I(步骤14)中产生图像I场中的色度变化。因为色彩渐变是基于传感器所接收到的光线入射角的现象,所导致的色度变化在概率上小于由场景S所产生的色度变化。
在图像I场的至少第一部分中,计算与至少一种色彩有关的测量μ(I)。它可以是不同通道之间的色彩比值。例如,所述测量包括在绿色和红色通道中测量到的光强的G/R比值,如图4所示(步骤15)。所述测量可以由例如G/B的比值来进行替换或补充。
然后,在图像I场的至少一个第二部分中(它可以与所述第一部分不同或相同),获取用于色彩渐变缺陷的预测大小数值v。这种方法的获取,使得大小数值v基于计算测量μ(I)并且具有与由色彩渐变所导致的色彩变化相同数量级的变化。
为了执行这样的方法,图像I可通过上述方法进行分隔,以便确定在G/R(和/或G/B)变化缓慢的均匀区域Zi。在均匀区域Zi中,可对具有相似G/R(和/或G/B)数值的图像I的相邻点进行分组,例如那些具有小于确定阈值所区分的数值。
为了模拟色彩渐变和保证上述特性i/和ii/,例如寻求具有作为大小数值v可缓慢变化的函数,例如3或4阶的多项式P(x,y),使得对任何点都具有坐标(x,y):
在均匀区域Zi内部: (或者 )
以及在均匀区域外部:▽P(x,y)≈0,
其中G、R和B表示分别在绿、红和蓝通道中的点(x,y)上所测量到的强度,而Gi、Ri和Bi表示分别在绿、红和蓝通道的区域Zi的参考点上所测量到的强度,以及▽表示梯度算子(步骤16)。
为了解决这个问题并且获得满足上述条件的多项式P(x,y),例如最小化下述数量来解决二次方程式和线性问题:
在均匀场Zi中: (和/或 )
以及在均匀场外:|▽P(x,y)|2
在该实例中,所获得的多项式P(x,y)直接给出色彩渐变的校正参数(例如多项式自身,该多项式的系数或者其它),用于不同于或相同于图像I的至少一个图像I’的校正。该多项式P(x,y)在整个图像I’的场中定义。
基于这些校正参数的校正例如可以通过下述方法执行。例如,对在图像I’中的任何坐标(x,y),通道G中的数值保持不变,而在R(和/或B)通道中的数值改变,并且校正数值R′(和/或B′)使得R′=P(x,y).R(和/或B′=P(x,y).B)。
实际上,因为确定P(x,y)使之在均匀区域Zi中满足 (和/或 ),所以在该区域Zi中点的比值G/R′(和/或G/B′)基本等于Gi/Ri(和/或Gi/Bi)。即,在各个均匀区域中,所修正的色彩基本对应于所述区域中所选择参考点的色彩。因此,或多或少消除了在各个均匀区域中与色彩渐变有关的色度变化。
色彩渐变的效果也限制在均匀区域外部,因为已经确定了表示在整个图像I(▽P(x,y)≈0)中的缓慢变化的多项式P(x,y)。
可以理解的是,这个只是一个预测和校正色彩渐变的实例。可选择的,缺陷的预测和校正可以不需要明确定义图像I中的均匀区域来进行确定。
还值得注意的是,通过对一个或多个通道应用增益来校正色彩渐变不是唯一的校正模式。例如,更常用的校正方法可以使用矩阵,矩阵中的系数基于所述场中的位置并且其取决于场中位置的方式来组合不同的通道。先前的校正对应于对角矩阵的特定情况。可以较为容易的推广至任意较高阶的模式。
刚讨论的色彩渐变的实例可以简单地转换用于预测光照渐变的缺陷,这时所采集到的图像边缘比中心要暗。
为了执行这样的方法,而不是使用不同色彩通道(G/R和/或G/B)的数值比值来作为测量μ(I),而是考虑一个或多个通道(例如G或R或B)的光强数值。另外,刚讨论的上述相似方法的多项式P(x,y)确定非常适用于该情况。
在另一实例中,预测图像I场中的模糊变化,例如由于场的曲率和/或由于图像采集系统1引入的纵向色像差所产生的模糊变化。
在图像I场的至少一个第一部分中,计算与至少一个模糊等级有关的测量μ(I)。
之后,在图像I场的至少一个第二部分中(其可以相同于或至少部分相同于所述第一部分),获得模糊变化的预测大小数值v。该大小数值v基于计算的测量μ(I)并且具有与模糊变化所产生的变化相同数量级的变化。为了执行该方法,可以进行局部增强的滤波,以对模糊等级形成确定的数值。
作为一个实例,计算在图像I的各个点x上以及各个红R和G绿通道的模糊等级。这些模糊等级标记为FR(x)和FG(x)。然后,对在场景S中的目标边缘,使用常用的边缘检测算法在图像I中所识别的在通道R和G之间的相关模糊,例如FR(x)/FG(x)之比,基本上是稳定的。为此目的,可为大小数值v确定具有缓慢变化的函数,例如多项式P(x),其近似于恒定比率FR(x)/FG(x)。除了识别的边缘以外,P(x)的梯度可以最小化,例如保证多项式在场中的一致性。
对于本领域的普通技术人员来说,有可能出于校正的目的,根据本发明的原理,消除图像采集系统的其它缺陷都是显而易见的。下文将阐述一些非限制性实例。
为了限制在Bayer阵列的像素Gr和Gb之间绿色级别的差异,Gr/Gb比之可以作为测量μ(I)来计算,于是可获得表示串扰变化的大小数值v。
另一个缺陷是光学闪烁,当强光源接近所述场或在所述场中,就会在传感器上形成闪烁。闪烁是由于在光学系统中的离散反射的影响。这个影响会在图像中产生光线遮蔽的效果,从而使对比度降低和色彩模糊。通常,还会引起在Gr和Gb之间的差异。在Gr和Gb之间的差异允许测量和检闪烁变化并且适用于色彩转换以及场景的对比度。特性测量因此可以为基于图像采集条件的Gr和Gb之间的差异。大小数值可以为基于图像采集条件以及在场中的位置的黑点的转移。
在另一实例中,为了预测散光,可以计算模糊点的定向测量μ(I)。
另一实例涉及几何失真的预测。图像采集系统的这类缺陷使得摄影场景的直线在采集图像中不再呈现为直线。为了预测这样的缺陷,可以在采集图像I中设置规则的边缘。然后,计算在设置边缘上的局部曲率的测量μ(I),并且所获得的大小数值v对应于贯穿场的放大倍率的变化的路径。
另一实例涉及横向色度偏差。图像采集系统的这类缺陷引入取决于波长的放大失真。为了预测这类缺陷,可以例如在采样图像I中设置规则的边缘。然后,计算适用于不同波长或波长范围(例如在不同的通道R、G、B)在这些边缘位置上的差异的测量μ(I),以及获得对应于在波长或波长范围之间位置上的差异路径的大小数值v。在位置上的差异仅在垂直于边缘的方向上进行评估。值得注意的是,当横向色差在径向上产生放大效应时,则只有可能用于计算使用边缘的测量μ(I),所述边缘不穿过获取图像I的中心。如果所有通过图像中心的边缘,则不能校正横向色差,但是色差对图像没有影响,这样没有校正的必要。在更多的实际和通常的情况中,图像可以在多个方向上包括不同的边缘。事实上,色差是在图像场中缓慢变化的现象,可以预测位移v在任何地方和任何方向上的路径。
另一实例涉及非均匀黑色电平。这个缺陷使得已经接收到确定数量光线的图像采集系统返回一个不是完全线性的响应。实际上,即使在完全没有光线的情况下,返回的数值也不是零,并且取决于场中的位置。为了预测这类缺陷,可以计算所采集图像I的黑电平位置对应于传感器响应的测量μ(I),以及获取大小数值v,从而预测传感器对整个场的响应。
另一实例涉及非均匀噪声。这个缺陷是涉及图像采集系统包括产生变化强度的噪声的不同部件。为了预测这类缺陷,计算局部噪声变化的测量μ(I),并且通过预测延展了局部噪声变化的局部增益来获得大小数值v。然后,有可能使用由所获得大小数值v所推导出的校正参数来校正图像I’的噪声。校正的图像I’通常包括均匀的噪声。
Claims (13)
1.一种用于预测图像采集系统的至少一个缺陷的方法,所述缺陷使得图像采集系统所采集的和呈现任意场景的任意至少一个第一图像产生在第一图像至少一个特征场中产生变化,所述变化在数量级上概率小于由所述场景所引入的第一图像特征场中的变化,所述方法包括下列步骤:
-计算步骤,在第一图像场的至少一个第一部分中,计算与所述第一图像特征有关的测量;以及,
-获取步骤,在第一图像场的至少一个第二部分中,获得所述缺陷的预测大小数值,所述大小数值取决于计算的测量并且具有与所述缺陷所产生的第一图像特征场中的变化相同数量级的变化;
-确定步骤,从所获得的大小数值中,确定适用于由图像采集系统所采集至少一个第二图像的所述缺陷的校正参数,所述第二图像不同于第一图像。
2.根据权利要求1所述的方法,其特征在于,所述第二图像由图像采集系统在紧接着第一图像之后采集。
3.根据权利要求1所述的方法,其特征在于,所述第一图像为预先采集或预先预览的图像。
4.根据权利要求1所述的方法,其特征在于,所述校正参数是为第二图像的整个场而确定的。
5.根据权利要求1所述的方法,还包括第二图像的处理步骤,所述第二图像由图像采集系统采集且考虑所述校正参数。
6.根据权利要求1所述的方法,其特征在于,所述第一图像具有与第二图像相比较低的分辨率、通道的数量和/或维度的数量。
7.根据权利要求1所述的方法,其特征在于,在由所述缺陷产生的第一图像至少一个特征场中的变化取决于第一图像的至少一个图像采集参数和/或图像采集条件,并且所述第二图像由图像采集系统采用相同于或类似于第一图像的图像采集参数和/或图像采集条件采集。
8.根据权利要求1所述的方法,其特征在于,由所述缺陷所产生的第一图像至少一个特征场中的变化是专属于所述图像采集系统。
9.根据权利要求8所述的方法,其特征在于,所述缺陷取决于所述图像采集系统制造过程中的至少一个不确定性。
10.根据权利要求1所述的方法,其特征在于,所述图像采集系统的缺陷至少包括:光照渐变、色彩渐变、非均匀模糊、在相同通道中相邻光敏元件元素之间的比率的非均匀变化、非均匀噪声、几何失真、横向色像偏差、纵向色象偏差、散光以及非均匀黑色电平。
11.根据上述权利要求中任一项所述的方法,其特征在于,在所述第一图像的场的至少第一部分中识别一系列均匀区域(3;4),在各个均匀区域中,所述计算测量(u(I))的变化在数量级上相同于所述缺陷所产生的第一图像(I)特征场中的变化,并且所述大小数值通过考虑所识别的均匀区域而获得。
12.根据权利要求11所述的方法,其特征在于,在所述系列均匀区域中的一个均匀区域内,通过将所述计算测量与第一图像所述特征测量相关以及与所述均匀区域的参考点的计算相关来获得所述大小数值。
13.一种用于预测图像采集系统至少一个缺陷的系统,所述缺陷使得图像采集系统所采集的和呈现任意场景的任意至少一个第一图像产生在第一图像至少一个特征场中的变化,所述变化在数量级上概率小于由所述场景所引入的第一图像特征场中的变化,所述系统包括:
计算单元,用于计算在第一图像场的至少一个第一部分中,与所述第一图像的所述特征相关的测量;
用于获取的电子电路,用于获得所述缺陷在第一图像场的至少一个第二部分中的预测大小数值,所述大小数值取决于所计算的测量并且具有与所述缺陷所产生的第一图像所述特征场中的变化相同数量级的变化;
用于确定的电子电路,用于从所获得的大小数值中确定用于由图像采集系统所采集的至少一个第二图像的所述缺陷的校正参数,所述第二图像不同于第一图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0955075 | 2009-07-21 | ||
FR0955075A FR2948521B1 (fr) | 2009-07-21 | 2009-07-21 | Procede d'estimation d'un defaut d'un systeme de capture d'images et systemes associes |
PCT/FR2010/051395 WO2011010040A1 (fr) | 2009-07-21 | 2010-07-02 | Procede d'estimation d'un defaut d'un systeme de capture d'images et systemes associes |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102577355A CN102577355A (zh) | 2012-07-11 |
CN102577355B true CN102577355B (zh) | 2015-12-16 |
Family
ID=41694701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080042911.0A Active CN102577355B (zh) | 2009-07-21 | 2010-07-02 | 预测图像采集系统的缺陷的方法及其相关系统 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8736683B2 (zh) |
EP (2) | EP2457379B1 (zh) |
JP (1) | JP5592486B2 (zh) |
KR (1) | KR101666137B1 (zh) |
CN (1) | CN102577355B (zh) |
FR (1) | FR2948521B1 (zh) |
WO (1) | WO2011010040A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104540835B (zh) | 2012-04-26 | 2017-08-08 | 百时美施贵宝公司 | 用于治疗血小板聚集的作为蛋白酶激活受体4(par4)抑制剂的咪唑并噻二唑衍生物 |
JP6101343B2 (ja) | 2012-04-26 | 2017-03-22 | ブリストル−マイヤーズ スクイブ カンパニーBristol−Myers Squibb Company | 血小板凝集を治療するためのプロテアーゼ活性化受容体4(par4)阻害剤としてのイミダゾチアジアゾールおよびイミダゾピリダジン誘導体 |
US9270959B2 (en) * | 2013-08-07 | 2016-02-23 | Qualcomm Incorporated | Dynamic color shading correction |
LU92516B1 (en) * | 2014-08-11 | 2016-02-12 | Iee Sarl | Infrared imager non-uniformity correction with bad pixel detection and correction |
USRE49930E1 (en) | 2015-03-26 | 2024-04-23 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
EP3284252B1 (en) * | 2015-04-13 | 2021-07-21 | Universidade De Coimbra | Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination |
WO2017091268A2 (en) * | 2015-09-25 | 2017-06-01 | Board Of Regents, The University Of Texas System | Measurement of non-uniformity noise |
EP3371196B1 (en) | 2015-10-19 | 2021-10-27 | Université de Montréal | Heterocyclic compounds as inhibitors of platelet aggregation |
TWI581213B (zh) * | 2015-12-28 | 2017-05-01 | 力晶科技股份有限公司 | 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體 |
US10796499B2 (en) | 2017-03-14 | 2020-10-06 | Universidade De Coimbra | Systems and methods for 3D registration of curves and surfaces using local differential information |
JP7005313B2 (ja) * | 2017-11-21 | 2022-01-21 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
KR20200097865A (ko) | 2019-02-08 | 2020-08-20 | 삼성전자주식회사 | 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법 |
KR102674227B1 (ko) * | 2020-05-12 | 2024-06-12 | 엘지이노텍 주식회사 | 카메라 장치 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101049011A (zh) * | 2004-09-02 | 2007-10-03 | 高通股份有限公司 | 镜头滑移校正方法和设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4991007A (en) * | 1989-05-05 | 1991-02-05 | Corley Ferrand D E | Image evaluation of at least one characteristic of an object, and method of evaluation |
JP4274632B2 (ja) * | 1999-05-25 | 2009-06-10 | オリンパス株式会社 | 色再現システム |
US6992696B1 (en) * | 2000-10-26 | 2006-01-31 | Lockheed Martin Corporation | Image test target for visual determination of digital image resolution |
JP2002222416A (ja) * | 2001-01-26 | 2002-08-09 | Mitsubishi Electric Corp | 画質改善装置 |
AU2002317219A1 (en) | 2001-07-12 | 2003-01-29 | Do Labs | Method and system for modifying a digital image taking into account its noise |
US7532766B2 (en) | 2001-07-12 | 2009-05-12 | Do Labs | Method and system for producing formatted data related to geometric distortions |
JP3927995B2 (ja) * | 2001-12-27 | 2007-06-13 | ソニー株式会社 | 画像表示制御装置と画像表示制御方法及び撮像装置 |
US7233352B2 (en) * | 2002-06-20 | 2007-06-19 | Hewlett-Packard Development Company, L.P. | Method and apparatus for color non-uniformity correction in a digital camera |
US7502057B2 (en) * | 2002-06-20 | 2009-03-10 | Hewlett-Packard Development Company, L.P. | Method and apparatus for color non-uniformity correction in a digital camera |
US7068302B2 (en) * | 2002-08-15 | 2006-06-27 | Ford Global Technologies, Llc | Method for camera calibration and quality testing |
JP3680827B2 (ja) * | 2002-08-27 | 2005-08-10 | コニカミノルタフォトイメージング株式会社 | デジタルカメラ |
US7751653B2 (en) * | 2004-05-13 | 2010-07-06 | Color Savvy Systems Limited | Method for collecting data for color measurements from a digital electronic image capturing device or system |
US7629998B2 (en) * | 2005-06-23 | 2009-12-08 | Elbex Video Limited | Method and apparatus for measuring illumination and camera performances |
US7548661B2 (en) * | 2005-12-23 | 2009-06-16 | Microsoft Corporation | Single-image vignetting correction |
US7732768B1 (en) * | 2006-03-02 | 2010-06-08 | Thermoteknix Systems Ltd. | Image alignment and trend analysis features for an infrared imaging system |
US20080055455A1 (en) * | 2006-08-31 | 2008-03-06 | Micron Technology, Inc. | Imbalance determination and correction in image sensing |
US7839422B2 (en) * | 2006-12-13 | 2010-11-23 | Adobe Systems Incorporated | Gradient-domain compositing |
US8094195B2 (en) * | 2006-12-28 | 2012-01-10 | Flextronics International Usa, Inc. | Digital camera calibration method |
US8103121B2 (en) * | 2007-08-31 | 2012-01-24 | Adobe Systems Incorporated | Systems and methods for determination of a camera imperfection for an image |
JP5020800B2 (ja) * | 2007-12-25 | 2012-09-05 | キヤノン株式会社 | 撮像装置及びその制御方法 |
-
2009
- 2009-07-21 FR FR0955075A patent/FR2948521B1/fr active Active
-
2010
- 2010-07-02 KR KR1020127004376A patent/KR101666137B1/ko active IP Right Grant
- 2010-07-02 JP JP2012521076A patent/JP5592486B2/ja not_active Expired - Fee Related
- 2010-07-02 CN CN201080042911.0A patent/CN102577355B/zh active Active
- 2010-07-02 EP EP10742180.2A patent/EP2457379B1/fr active Active
- 2010-07-02 EP EP20151198.7A patent/EP3657784B1/fr active Active
- 2010-07-02 WO PCT/FR2010/051395 patent/WO2011010040A1/fr active Application Filing
- 2010-07-02 US US13/386,036 patent/US8736683B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101049011A (zh) * | 2004-09-02 | 2007-10-03 | 高通股份有限公司 | 镜头滑移校正方法和设备 |
Non-Patent Citations (3)
Title |
---|
robust radiometric calibration and vignetting correction;seon joo kim,etc.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20080430;第30卷(第4期);P562-576 * |
single-image vignetting correction;Yuanjie Zheng,etc.;《IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20061231;P461-468 * |
single-image vignetting correction;Yuanjie Zheng,etc.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20091231;第31卷(第12期);P2243-2256 * |
Also Published As
Publication number | Publication date |
---|---|
KR101666137B1 (ko) | 2016-10-13 |
JP2012533957A (ja) | 2012-12-27 |
WO2011010040A1 (fr) | 2011-01-27 |
EP2457379B1 (fr) | 2020-01-15 |
EP2457379A1 (fr) | 2012-05-30 |
FR2948521B1 (fr) | 2012-01-27 |
JP5592486B2 (ja) | 2014-09-17 |
EP3657784A1 (fr) | 2020-05-27 |
CN102577355A (zh) | 2012-07-11 |
EP3657784B1 (fr) | 2024-03-20 |
US20120120255A1 (en) | 2012-05-17 |
KR20120062722A (ko) | 2012-06-14 |
FR2948521A1 (fr) | 2011-01-28 |
US8736683B2 (en) | 2014-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102577355B (zh) | 预测图像采集系统的缺陷的方法及其相关系统 | |
US5757425A (en) | Method and apparatus for independently calibrating light source and photosensor arrays | |
CN101778222B (zh) | 图像处理装置 | |
JP4478358B2 (ja) | ディジタル画像の輝度調整のためのディジタル画像処理方法及び装置 | |
US7289154B2 (en) | Digital image processing method and apparatus for brightness adjustment of digital images | |
CN101755463B (zh) | 图像传感器的多分量读出 | |
US20090040364A1 (en) | Adaptive Exposure Control | |
CN102547116A (zh) | 摄像设备及其控制方法 | |
CN103430551A (zh) | 使用具有纵色像差的透镜单元的成像系统及其操作方法 | |
CN101840576B (zh) | 一种可视化的测试数码相机各个成像区域分辨率的方法 | |
WO2007095483A2 (en) | Detection and removal of blemishes in digital images utilizing original images of defocused scenes | |
KR20030020357A (ko) | 데이터 해상도를 향상시키는 방법 및 장치 | |
CN107835337A (zh) | 黑白面阵ccd相机平场校正方法及系统 | |
US7796153B1 (en) | Equalization system and method for an imaging sensor | |
CN110740314B (zh) | 彩色线阵相机坏点校正方法及系统 | |
JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
CN103262524B (zh) | 自动聚焦图像系统 | |
US8049796B2 (en) | Method of correcting sensitivity and imaging apparatus | |
US9210386B2 (en) | Filter setup learning for binary sensor | |
KR100645856B1 (ko) | 신호처리 방법 및 화상취득 장치 | |
Mustaniemi et al. | Parallax correction via disparity estimation in a multi-aperture camera | |
Vargas et al. | Calibration assessment of CMOS photo cameras for roadways luminance measurements at night | |
CN115393444A (zh) | 一种拼接式相机自适应辐射一致性校正方法及装置 | |
Zhang et al. | Image Acquisition Devices | |
CN114757946A (zh) | 一种相机线性度的检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20191106 Address after: Fa Guobali Patentee after: Lens Correction Technologies Inc. Address before: Boulogne, France Patentee before: Dxo Labs |
|
TR01 | Transfer of patent right |