CN103229497B - 用于估计图像检测装置的纱窗效应的方法和设备 - Google Patents
用于估计图像检测装置的纱窗效应的方法和设备 Download PDFInfo
- Publication number
- CN103229497B CN103229497B CN201180056622.0A CN201180056622A CN103229497B CN 103229497 B CN103229497 B CN 103229497B CN 201180056622 A CN201180056622 A CN 201180056622A CN 103229497 B CN103229497 B CN 103229497B
- Authority
- CN
- China
- Prior art keywords
- image
- information
- screen window
- intensity information
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 230000000694 effects Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007620 mathematical function Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种用于估计图像检测装置的纱窗效应的方法,所述图像检测装置具有多个用于提供光强度信息的图像传感器,所述方法包括以下步骤:确定图像信息的图像特征,所述图像信息基于多个光强度信息(104)和多个参数(108),其中分别为所述多个图像传感器中的每一个分配所述多个参数之一;求得(106)所述多个参数(108)的多个参数值,其中所述图像特征至少接近理想的图像特征,其中所述多个参数代表所述图像检测装置的模型中的纱窗效应。
Description
技术领域
本发明涉及一种用于估计图像检测装置的纱窗效应的方法、一种用于校正图像检测装置的纱窗效应的方法以及涉及一种相应的设备。
背景技术
用于校正纱窗效应的方法在现代图像设备构造和现代图像检测领域中是充分公知的。然而,在大多数应用中,在制造期间和附加地或替代地在特别的实验室环境中估计纱窗效应(英语和专业文献又是:FPN;Fixed Pattern Noise:固定模式噪声)。
一些基于场景的用于降低纱窗效应的方法出现在科学出版物——例如R.C.Hardie,M.M.Hayat,E.Armstrong和B.Yasuda所著的《Scene-based nonuniformitycorrection with video sequences and registration》(美国光学学会,应用光学No.8,第39卷,第1241-1250页,2000年或者US2009/0257679A1中。但在此应用的方法主要基于光流或其他与其紧密关联的方法和过程的估计。
发明内容
在此背景下,借助本发明提出根据独立权利要求的用于估计图像检测装置的纱窗效应的方法、用于校正图像检测装置的纱窗效应的方法、使用所述方法的设备以及相应的计算机程序产品。有利的构型从相应的从属权利要求和后续描述中得出。
本发明基于以下知识:由图像检测装置检测的图像信息由于图像检测装置的运动或由图像检测装置检测的环境持续地变化。如果将在一个时间间隔内检测的图像信息平均或者相加,则最终得到的图像信息典型地具有光滑的变化过程。光滑的变化过程受干扰的区域表明由图像检测装置引起的干扰。因为真实的图像检测装置引起这样的干扰,所以由图像检测装置检测的图像信息以及由多个检测到的图像信息生成的最终得到的图像信息不具有光滑的变化过程。由图像检测装置引起的干扰可以通过图像检测装置的模型描述中的相应参数来描述。如果将所述参数最佳地调节到图像检测装置上,则由图像检测装置检测的图像信息可以通过参数如此校正,使得其具有光滑的变化过程。因此,可以通过以下方式确定所述参数:根据模型描述以参数加载最终得到的图像信息并且寻找参数的以下值:在所述值时最终得到的图像信息具有尽可能光滑的变化过程。替代地,可以以参数加载检测到的图像信息并且随后分别确定所检测的图像信息的光滑性。随后可以将所检测的图像信息的光滑性的各个值归纳为最终得到的光滑性并且可以确定参数的以下值:在所述值时最终得到的光滑性最小化。
根据本发明的方式描述用于基于图像序列分析的纱窗效应估计的在线方法。这尤其意味着,可以在实验室环境之外测量并且纠正纱窗效应。为了实现所述目标,进行关于世界和单个图像检测的一些假设。
所述方式适合于自然环境中单个图像检测的最不同的基于视频的方法。这尤其适用于现代车辆前端摄像机或移动机器人上的摄像机的视频序列。
借助在线FPN校正能够实施所检测的序列中的纱窗效应的校正。因此,视频场景中纱窗效应的校正在通常的传感器中尤其是在具有较少的光的序列的情况下改善视频质量。也能够实现色彩重建时的改善。特别在色彩重建时(其中必须在计算过程中关联多个像素值),需要精确的像素值。经FPN校正的图像数据引起图像中更少的色彩噪声,尤其是在具有弱照明的序列的情况下。此外,能够实现算法函数的改善。很多算法取决于“好的”——也就是说对于相应算法合适的图像信号。纱窗效应、尤其是优选发生的列FPN干扰图像处理算法,例如车道识别算法。纱窗效应的校正可以改善这样的算法函数的功能。
图像检测装置的校准的更新在数年之后在实际使用中也有意义。因为根据本发明涉及一种在线FPN校正算法,所以可以在确定的时间区间内校正纱窗效应。这意味着,可以校正纱窗效应超出大的时间标度的变化。这改善产品的质量。还能够实现实际应用中与温度相关的FPN校正参量的检测。纱窗效应通常是与温度非常相关的现象。借助在线FPN校正,可以检测和校正与温度相关的不同校正参数(数据)。所有所测量的数据与温度相关的并且因此也可以在无在线FPN校正的情况下被测量。但借助在线FPN校正可以根据温度校正FPN。
这也导致制造过程中的成本节省。借助在线FPN校正的使用可以放弃制造过程中的以下步骤:在所述步骤中测量纱窗效应并且随后将其存储在设备中。通过这种方式,还可以减小设备中的存储空间。这能够实现由于好的校正方法而成本更有利的图像设备硬件的使用。
根据本发明的方式基于所测量的图像或图像序列的空间特征和/或时间特征——简称“图像特征”的推导。所述图像特征可以通过光滑性,但也可以通过光滑性变化或完全不同地定义的全局图像特征实现。这样的图像特征通常能够映射到数字上。附加地,估计关于理想图像或理想的图像序列的图像特征的假设。所述估计例如可以在理论上推导或启发式地——即出于经验推断。基于所测量的图像特征与所假设的理想的图像特征的比较,现在估计图像校正参数,借助所述图像校正参数朝理想的图像特征的方向校正所测量的图像的图像特征。现在最小化过程寻找给定的输入数据的理想参数组。在此,理想的图像不必完全已知。相反地,如此定义所述图像的抽象图像特征使得所得到的结果可有意义地用于真实的应用中就足够了。
在FPN校正的情况下,如下应用根据本发明的方式。作为所测量的图像的全局参数估计一个序列的所汇总的单个图像的光滑性,或替代地,汇总多个单个图像的光滑性。未受干扰的、光滑的图像假设为所假设的理想图像。将所测量的图像的光滑性校正到理想图像的所假设的理想光滑性上的校正参数也可以通过传感器模型来描述并且因此也可以以固定模型噪声(Fixed Pattern Noise)表示。最小化过程现在寻找给定数量的图像的理想参数组。如果这些图像被代表性地选择并且从数量上是足够的,则在模型范畴中所找到的FPN相应于图像检测装置的FPN。
本发明提供一种用于估计具有多个用于提供光强度信息的图像传感器的图像检测装置的纱窗效应的方法,所述方法包括以下步骤:
确定图像信息的图像特征,所述图像信息基于多个光强度信息和多个参数,其中分别为所述多个图像传感器中的每一个分配所述多个参数之一;
求得所述多个参数的多个参数值,其中图像特征至少接近理想的图像特征,其中所述多个参数代表所述图像检测装置的模型中的纱窗效应。
纱窗效应——英语是Fixed Pattern Noise(固定模式噪声)涉及不期望的图像伪影,其由图像检测装置的技术结构决定。图像检测装置可以涉及摄像机或摄像机的一部分,例如一些图像传感器。图像检测装置例如可以设置在车辆上,以便检测车辆的周围环境。光强度可以由图像检测装置的像点检测。多个相邻的像点的多个同时或直接彼此相继地检测的光强度可以归纳成一个光强度信息。因此,光强度信息可以涉及图像或图像检测装置的记录或相应图像的或相应记录的部分区域。因此,可以检测或提供图像检测装置的传感器面的一个区域的光强度信息。如果二维的坐标系置于传感器面中,则用于不同坐标的光强度信息具有不同的光强度值。同样地,坐标系的不同坐标的多个参数可以具有不同的值。所述多个参数值可以表示为数字矩阵,其中以参数值的形式为每个图像传感器分配一个自己的数字。所述多个光强度信息可以时间上相继地由传感器面的同一个区域检测。一些所使用的光强度信息可能取决于通过图像检测装置的像点的光强度的最大可能的分辨率。因此,光强度信息的数量可以选择得比分辨率更大。图像检测装置可以通过模型来描述。所述模型可以定义由图像检测装置检测的真实的图像信息和由图像检测装置检测的相应的图像信息之间的关系。所述模型可以表示数学函数。所示至少一个参数可以是模型的变量。尤其所述至少一个参数可以是模型的表示纱窗效应的干扰参量。可以由光强度信息以及多个参数确定图像信息,其方式是,汇总并且随后以多个参数加载光强度信息,或其方式是,分别以多个参数加载并且随后汇总光强度信息。图像特征可以代表图像信息的空间特征和/或时间特征。可以在准备阶段中对于理想图像或理想图像序列估计理想的图像特征。所述图像特征可以通过一个值或一个数字表示。可以基于理想的图像特征和借助实际的参数值求得的实际的图像特征之间的比较来实施图像特征与理想的图像特征的接近。通过多重比较,可以找到以下这些参数值:在所述参数值时理想的图像特征和实际的图像特征之间的偏差最小或位于公差窗内。合适的图像特征的一个示例是图像信息的光滑性。光滑性可以表示关于图像信息缺少高频。在恒定的图像信息中存在最小的光滑性,这不是所期望的,因为所述图像信息随后消除。可以相应于理想的图像特征的“所期望的”光滑性不包含进行干扰的图像部分中的任一图像部分。所述进行干扰的图像部分大多通过高空间频率表示并且在真实的、受干扰的图像信息中不出现。相应地,可以如此选择多个参数值中的各个参数值,使得图像特征相应于理想的图像特征或尽可能接近理想的图像特征,例如位于理想的图像特征的值周围的预先确定的值范围内。对于光滑性的示例,当图像信息具有尽可能少的高频时存在理想的图像特征。可以在线地——即在图像检测装置运行期间实施用于纱窗效应的相应的在线估计方法,其中图像检测装置提供周围环境的记录。
根据一个实施方式,确定图像特征的步骤包括以下步骤:汇总多个光强度信息,以便确定最终得到的光强度信息;以多个参数加载最终得到的光强度信息,以便确定以多个参数加载的光强度信息;确定图像特征作为经加载的光强度信息的图像特征。可以以如下方式实现所述汇总:由光强度信息形成平均值,或将光强度信息相加。所述汇总也可以以完全不同的方式实施,例如作为根据过去时间的加权。不仅各个光强度信息而且最终得到的光强度信息具有由纱窗效应引起的干扰。通过以多个参数加载最终得到的光强度信息,可以降低由纱窗效应引起的干扰。干扰越好地通过多个参数代表,则在使用多个参数的情况下可以越好地降低经加载的光强度信息中的干扰。越好地降低干扰,则经加载的光强度信息又越无干扰——例如越光滑。因此,多个参数值中例如导致经加载的光强度信息的理想的光滑性的参数值最好地适合用于减少由纱窗效应引起的干扰。为了实现导致恒定图像的最可能的光滑性,最小化规则还可以包含正则化参数(α和β)。可以如此选择所述正则化参数,使得光滑性在校正之后尽可能与真实信息的所假设的或根据本发明的光滑性一致。
根据一个备选实施方式,确定图像特征的步骤可以包括以下步骤:分别以多个参数加载多个光强度信息中的每一个,以便确定多个经加载的光强度信息;分别确定多个经加载的光强度信息的图像特征;通过汇总多个经加载的光强度信息的图像特征来确定图像特征。通过以多个参数加载光强度信息中的每一个,可以减少光强度信息中的每一个的由纱窗效应引起的干扰。可以借助合适的数学函数或逻辑函数来确定图像特征的值——例如光滑性的值。可以以如下方式实现各个图像特征的值的汇总:由这些值形成平均值,或将这些值相加。光强度信息中的干扰越强地通过多个参数值减少,则经加载的光强度信息越无干扰并且具有越小的值——对于光滑性的示例是最终得到的光滑性。在此,光滑性的小的值意味着很光滑并且大的值意味着不光滑,即粗糙的。
所述至少一个参数可以代表图像检测装置的暗信号非均匀性(Dark Signal non-Uniformity(DSNU))并且附加地或替代地代表图像检测装置的光响应非均匀性(PhotoResponse Non-Uniformity(PRNU))。原则上,可以估计FPN参数的所有组合。光响应非均匀性可以涉及图像检测装置的特征噪声部分。暗信号非均匀性可以涉及各个传感器范围的信号响应与对于没有光线到达图像检测装置的情况的平均值的偏差。通过PRNU和DSNU可以很好地描述纱窗效应。例如,所述至少一个参数可以包括一个因子和/或一个加数,根据模型以所述因子和/或加数加载待由图像检测装置检测的光强度信息,以便确定考虑纱窗效应的模型化的光强度信息。参数PRNU可以用作因子并且参数DSNU可以用作加数。
可以基于最小化过程求得多个参数的多个参数值。因此,对于多个参数中的每个单个参数,分别求得一个合适的参数值。例如,多个参数值可以被确定为描述图像信息的光滑性的函数的最小值,其中所述函数包括关于图像检测装置的检测面的至少一个主延伸方向的图像信息的推导。因此可以在数学上确定和评价图像特征的值——例如光滑性的值。
通常,图像特征代表图像信息的空间特征和(附加地或替代地)时间特征。
此外,本发明提供一种用于校正图像检测装置的纱窗效应的方法,其包括以下步骤:
根据前述实施方式中之一求得多个参数的多个参数值,其代表图像检测装置的模型中的纱窗效应;
借助多个参数值校正多个图像传感器的光强度信息,以便确定在纱窗效应方面校正的光强度信息。
可以以以下方式实现所述校正:以多个参数加载由传感器检测的光信息,例如将光强度信息与相应的参数值相乘或将相应的参数值相加。通过所述校正,可以使所检测的光强度信息消除所求得的纱窗效应。这可以引起存在的纱窗效应的完全校正或部分校正。
根据一个实施方式,可以在图像检测装置的运行模式期间多次重复执行求得多个参数值的步骤,在所述运行模式中图像传感器持续地检测光强度信息。因此,在校正的步骤中,以最后确定的多个参数值加载所检测的光强度信息。通过这种方式,可以例如快速地研究取决于温度的变化。
因此,可以响应于图像检测装置的所检测的温度的或图像检测装置的环境的预先确定的值实施求得参数值的步骤。
此外,本发明提供一种设备,所述设备被构造用于在相应的装置中实施或实现根据本发明的方法的步骤。通过本发明的控制设备形式的实施方案可以快速且有效地解决本发明所基于的任务。
设备在此可以理解为处理传感器信号并且据此输出控制信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中,接口例如可以是包括所述设备的最不同功能的所谓的系统ASIC的一部分。然而,还可能的是,接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中,接口可以是软件模块,其例如与其他软件模块共存在微控制器上。
具有程序代码的计算机程序产品也是有利的,所述程序代码可以存储在机器可读的载体——如半导体存储器、硬盘存储器或光学存储器上并且用于当在一个相应于计算机的设备上执行代码时实施根据先前描述的实施方式之一的方法。
附图说明
以下根据附图示例性地详细解释本发明。示出:
图1:根据本发明的一个实施例的图像检测装置的方框图;
图2:根据本发明的一个实施例的用于校正图像检测装置的纱窗效应的设备的方框图;
图3:根据本发明的一个实施例的用于估计图像检测装置的纱窗效应的方法的流程图;
图4:根据本发明的一个实施例的用于估计图像检测装置的纱窗效应的另一种方法的流程图。
在本发明的优选实施例的后续描述中,对于在不同附图中示出并且起类似作用的元件使用相同的或类似的参考标记,其中不重复描述这些元件。
具体实施方式
图1示出根据本发明的一个实施例的图像检测装置的方框图。图像检测装置具有图像传感器102,所述图像传感器被构造用于检测射到图像传感器102上并且通过箭头表示的光强度。图像传感器102被构造用于输出光强度信息104,其包括关于在图像传感器102的部分区域或整个检测面中检测到的光强度的信息。用于估计图像检测装置的纱窗效应的设备106被构造用于接收多个光强度信息104,所述多个光强度信息由图像传感器102在不同的检测时刻检测并且输出。设备106被构造用于确定由多个光强度信息104生成的图像信息的图像特征。接下来示例性地使用光滑性作为图像特征。此外,在使用光滑性的情况下,设备106被构造用于确定一个或多个参数值108,其描述由图像检测装置引起的纱窗效应。参数值108可以由设备106输出用于进一步使用。
图2示出根据本发明的一个实施例的用于校正图像检测装置的纱窗效应的设备的方框图。所述设备具有校正装置212,所述校正装置被构造用于接收由图像检测装置检测和输出的光强度信息104以及适合用于校正纱窗效应的参数值108。此外,校正装置212被构造用于在使用参数值108的情况下校正存在于光强度信息104中的纱窗效应并且输出相应校正的光强度信息214。
图3示出根据本发明的一个实施例的用于估计图像检测装置的纱窗效应的方法的流程图。所述方法例如可以由在图1中示出的设备106执行。借助所述方法生成参数值108,所述参数值例如可以由在图2中示出的校正装置212使用。
在步骤321中,汇总多个光强度信息104,以便确定最终得到的光强度信息323。在步骤325中,以多个参数的参数值108加载最终得到的光强度信息,以便确定以参数加载的光强度信息327。在步骤329中,求得经加载的光强度信息327的光滑性331。为此,可以使用合适的数学函数或逻辑函数。可以借助其他参数值108重复执行步骤325、329,并且可以相互比较光滑性331的分别最终得到的值。光滑性331的值最小时的那些参数值108可以视为最佳的参数值108并且被输出。替代步骤325、329,可以借助合适的算法——例如最小化过程寻找一组最佳的参数值108。
接下来根据一个实施例详细描述所述方式。
在传统的二维图像检测方法中,使用光学器件。所述光学器件将环境中来自一个预给定的空间角度的光强度信息投影到二维传感器装置上。这可以如下表示:
IW,3D∈Ω∩R3→IW,2D∈R2 (1)
IW,2D在此可以表示传感器平面内的光强度信息。
现在假设,当超过足够长的持续时间求平均时,信息IW,2D中的平均值是光滑的。
所述平均可以通过简单的积分或求和或具体的求平均值实现,其中例如在公式(2)中所示的积分还除以时间T。
所述假设基于以下事实:信息IW,2D在真实的世界中随时间变化。这可能是因为,摄像机和光学器件不断运动——例如在车辆前端摄像机的情况中如此或因为其他的效应。
通常,可以由设备记录的具有最大光强度的边缘逐个图像地变化。由此可以很好地导出必须对多少采样值求平均。如果在一个图像中存在一个边缘但在任何其他图像中不存在边缘,则所述边缘在平均时应消失。传感器通常仅仅能够测量IW,2D∈[0…2n-1]∩Z﹢的光强度。最大光强度的边缘在汇总之后应不大于1。相应地有:
(5)
nAbtastwert在此说明:汇总多少个光强度。
信息X的光滑S可以如下表示:
其中|·|代表任意的但有意义的标准。值S越小,则图像越光滑。
光滑在此表示缺少高频。
考虑世界中经平均的信息是光滑的。就此而言有:
x和y在此表示放入传感器面中的坐标系的坐标。
这导致应建立图像检测设备Derf的模型。通常考虑所测量的光强度IW,2D的线性模型。然而也考虑泰勒多项式意义上的一般更高阶:
IM,2D=Derf.(IW,2D) (9)
≈a·IW,2D+b (11),
其中,以ax,y表示的值也称为PRNU(Photo Response Non-Uniformity:光响应非均匀性)并且以bx,y表示的值也称为DSNU(Dark Signal Non-Uniformity:暗信号非均匀性)。
通过使用公式8中的传感器模型得出:
如果考虑所述假设是正确的,则可以得出:平均的环境强度S(AW,2D)的光滑由检测设备干扰。为了获得FPN(a,b)的校正值,现在使S最小化:
为了给最小化过程施加一定的约束条件已决定,考虑平均具有与其理想参数仅仅很小的偏差——例如a=1和b=0的设备模型并且考虑与理想状态的偏差:
在所述任务的另一过程中已决定:在使用L2标准的情况下具体化最小化。首先定义一些缩写:
E|·|=S(AW,2D)+|a-1|+|b| (15)
或:
随后通过以下实施最小化:
(20)
必须使所述最小化离散,因为设备的传感器不连续地对信号进行采样。此外,这借助通过同一类型的所有传感器的位置处的一阶有限元实现。不同类型的传感器例如是具有不同彩色滤镜的传感器。这意味着,同一类型的传感器例如是具有相同彩色滤镜的传感器。这导致方程数量取决于p·n·m的方程组并且必须解此方程组。在此,p代表设备模型的阶数,这通常是2。n、m表示传感器装置尺寸内的传感器数量。
图4示出本发明的一个实施例的用于估计图像检测装置的纱窗效应的另一种方法的流程图。所述方法例如可以由在图1中示出的设备106执行。借助所述方法生成参数值108,所述参数值例如可以由在图2中示出的校正装置212使用。
在步骤441中,分别以一个参数值108加载多个光强度信息104,以便确定多个经加载的光强度信息443。在步骤445中,对于每个经加载的光强度信息443确定相应的经加载的光强度信息443的光滑性447的值。在步骤449中,汇总光滑性447的各个值,以便确定最终得到的光滑性451。可以借助其他的参数值108重复执行步骤441、445、449并且可以相互比较分别最终得到的值——光滑性451。光滑性451的值最小时的那个参数值108可以视为最佳的参数值108并且被输出。
以下根据一个实施例详细描述所述方式。
每个强度信息——例如图像由于测量而恶化。恶化在此又意味着高频的增加以及因此光滑性的下降。
现在,借助与根据图3描述的相同方法、借助公式(6)确定单个图像的光滑性S(X)。
为了考虑时间维度,必须考虑所有确定的光滑性的汇总——例如平均值。在此,传感器模型的参数组在所有光滑性计算中是恒定的。
必须使光滑性的平均值或汇总最小化,以便获得干扰降低的信息。所述最小化又通过惩罚器(Penalizer)(α或α和β)的参数来调节。
根据本发明的方式不限于仅仅校正DSNU或PRNU。替代地,所述方式可以扩展到设备模型的任意阶数。
此外,还可以通过以下方式匹配设备模型:所得到的方程组更小,例如仅仅允许一列FPN。还可以自由选择如何解方程组的方式,更确切地说,匹配于所需要的精度均衡和所需要的处理复杂性。
与其他FPN校正方案相反,根据本发明的方式基于关于环境对设备的影响的基本物理假设。
可以以计算设备的程序代码进行实现,所述计算设备被构造用于与摄像机交换信息。也可以以硬件进行实现。此外,硬件系统在此还需要用于存储经平均的信息的存储器。
根据本发明的方式可以应用在所有需要清晰的和无噪声的图像的产品中。使用可能性例如存在于车辆的前端摄像机。
所描述的和在附图中示出的实施例仅仅是示例性选择的。不同的实施例可以完整地或关于各个特征彼此组合。一个实施例也可以通过另一个实施例的特征来补充。此外,可以重复以及以不同于所描述的顺序的顺序执行根据本发明的方法步骤。
Claims (7)
1.一种用于校正用于车辆的图像检测装置(102)的纱窗效应的方法,所述图像检测装置具有多个用于提供光强度信息的图像传感器,所述方法包括以下步骤:
分别以多个参数(108)加载多个光强度信息(104)中的每一个,以便确定多个经加载的光强度信息(443);
分别确定(445)所述多个经加载的光强度信息的图像特征(447);
通过汇总所述多个经加载的光强度信息的图像特征来确定(449)图像信息的全局图像特征,所述图像信息基于所述多个光强度信息(104)和所述多个参数(108),其中,分别为所述多个图像传感器中的每一个分配所述多个参数之一,其中,所述图像特征代表所述图像信息的空间特征和/或时间特征;
将所述全局图像特征与假设的理想的图像特征进行比较;
基于所述全局图像特征与所假设的理想的图像特征的比较求得所述多个参数(108)的多个参数值,其中,所述全局图像特征接近所假设的理想的图像特征,其中,所述多个参数代表所述图像检测装置的模型中的纱窗效应;
借助所述多个参数值校正所述多个图像传感器的光强度信息(104),以便确定在所述纱窗效应方面校正的多个光强度信息(214)。
2.根据权利要求1所述的方法,其中,所述多个参数值中导致经加载的光强度信息的理想的光滑性的那个参数值最好地适合用于减少由所述纱窗效应引起的干扰。
3.根据权利要求1或2所述的方法,其中,所述多个参数(108)代表所述图像检测装置的光响应非均匀性(PRNU)或暗信号非均匀性(DSNU)或者不仅代表所述图像检测装置的光响应非均匀性(PRNU)而且代表所述图像检测装置的暗信号非均匀性(DSNU)。
4.根据权利要求1或2所述的方法,其中,基于最小化过程求得所述多个参数值。
5.根据权利要求1或2所述的方法,其中,在所述图像检测装置(102)的运行模式期间多次重复地执行求得所述多个参数值的步骤,在所述运行模式中所述多个图像传感器持续地提供光强度信息(104),其中,在所述校正的步骤中,以最后确定的多个参数值加载所述光强度信息。
6.根据权利要求1所述的方法,其中,所述图像特征代表所述图像信息的光滑性或光滑性变化并且能够映射到数字上。
7.一种用于校正用于车辆的图像检测装置的纱窗效应的设备,所述图像检测装置具有多个用于提供光强度信息的图像传感器,所述设备包括以下模块:
第一模块,其用于分别以多个参数(108)加载多个光强度信息(104)中的每一个,以便确定多个经加载的光强度信息(443);
第二模块,其用于分别确定(445)所述多个经加载的光强度信息的图像特征(447);
第三模块,其用于通过汇总所述多个经加载的光强度信息的图像特征来确定(449)图像信息的全局图像特征,所述图像信息基于所述多个光强度信息(104)和所述多个参数(108),其中,分别为所述多个图像传感器中的每一个分配所述多个参数之一,其中,所述图像特征代表所述图像信息的空间特征和/或时间特征;
第四模块,其用于将所述全局图像特征与假设的理想的图像特征进行比较;
第五模块,其用于基于所述全局图像特征与所假设的理想的图像特征的比较求得所述多个参数(108)的多个参数值,其中,所述全局图像特征接近所假设的理想的图像特征,其中,所述多个参数代表所述图像检测装置的模型中的纱窗效应;
第六模块,其用于借助所述多个参数值校正所述多个图像传感器的光强度信息(104),以便确定在所述纱窗效应方面校正的多个光强度信息(214)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010061864.0 | 2010-11-24 | ||
DE102010061864A DE102010061864A1 (de) | 2010-11-24 | 2010-11-24 | Verfahren und Vorrichtung zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung |
PCT/EP2011/066829 WO2012069238A1 (de) | 2010-11-24 | 2011-09-28 | Verfahren und vorrichtung zur abschätzung eines fliegengittereffekts einer bilderfassungseinrichtung |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103229497A CN103229497A (zh) | 2013-07-31 |
CN103229497B true CN103229497B (zh) | 2018-02-06 |
Family
ID=44800006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180056622.0A Expired - Fee Related CN103229497B (zh) | 2010-11-24 | 2011-09-28 | 用于估计图像检测装置的纱窗效应的方法和设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9154715B2 (zh) |
EP (1) | EP2643967A1 (zh) |
JP (1) | JP2013545410A (zh) |
CN (1) | CN103229497B (zh) |
DE (1) | DE102010061864A1 (zh) |
WO (1) | WO2012069238A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016102988A1 (en) | 2014-12-24 | 2016-06-30 | Datalogic Automation, Inc. | Multiline scanner |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101212562A (zh) * | 2006-12-28 | 2008-07-02 | 比亚迪股份有限公司 | Cmos图像传感器固定模式噪声消除电路 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2596316B2 (ja) | 1993-06-22 | 1997-04-02 | 日本電気株式会社 | 固体撮像カメラの固定パターンノイズ除去回路 |
US7362911B1 (en) * | 2003-11-13 | 2008-04-22 | Pixim, Inc. | Removal of stationary noise pattern from digital images |
US7294817B2 (en) * | 2004-05-06 | 2007-11-13 | Siemens Power Generation, Inc. | System and methods for determining nonuniformity correction parameters in detector-array imaging |
JP4487640B2 (ja) | 2004-06-01 | 2010-06-23 | ソニー株式会社 | 撮像装置 |
US7684634B2 (en) * | 2006-08-29 | 2010-03-23 | Raytheon Company | System and method for adaptive non-uniformity compensation for a focal plane array |
KR101442242B1 (ko) | 2007-12-12 | 2014-09-29 | 삼성전자주식회사 | 불량 화소 및 잡음 제거 방법 |
US7995859B2 (en) | 2008-04-15 | 2011-08-09 | Flir Systems, Inc. | Scene based non-uniformity correction systems and methods |
JP2009302850A (ja) * | 2008-06-12 | 2009-12-24 | Olympus Imaging Corp | 固体撮像素子のノイズ除去装置、撮像装置、固体撮像素子のノイズ除去方法 |
KR20110048922A (ko) * | 2009-11-03 | 2011-05-12 | 삼성전자주식회사 | 이미지 센서의 통합 노이즈 모델링 방법 및 이를 이용하는 노이즈 저감 방법 |
-
2010
- 2010-11-24 DE DE102010061864A patent/DE102010061864A1/de not_active Withdrawn
-
2011
- 2011-09-28 WO PCT/EP2011/066829 patent/WO2012069238A1/de active Application Filing
- 2011-09-28 JP JP2013540274A patent/JP2013545410A/ja active Pending
- 2011-09-28 US US13/989,645 patent/US9154715B2/en not_active Expired - Fee Related
- 2011-09-28 CN CN201180056622.0A patent/CN103229497B/zh not_active Expired - Fee Related
- 2011-09-28 EP EP11769819.1A patent/EP2643967A1/de not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101212562A (zh) * | 2006-12-28 | 2008-07-02 | 比亚迪股份有限公司 | Cmos图像传感器固定模式噪声消除电路 |
Also Published As
Publication number | Publication date |
---|---|
US9154715B2 (en) | 2015-10-06 |
EP2643967A1 (de) | 2013-10-02 |
WO2012069238A1 (de) | 2012-05-31 |
CN103229497A (zh) | 2013-07-31 |
JP2013545410A (ja) | 2013-12-19 |
US20130308020A1 (en) | 2013-11-21 |
DE102010061864A1 (de) | 2012-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10542208B2 (en) | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information | |
Kim et al. | Robust radiometric calibration and vignetting correction | |
EP2887308B1 (en) | Techniques for modifying image field data | |
Zhuo et al. | Defocus map estimation from a single image | |
Tsin et al. | Statistical calibration of CCD imaging process | |
GB2538584A (en) | Image filtering based on image gradients | |
US10931901B2 (en) | Method and apparatus for selectively correcting fixed pattern noise based on pixel difference values of infrared images | |
CN106017695B (zh) | 基于运动状态估计的自适应红外非均匀性校正方法 | |
CN102891966A (zh) | 数码成像设备的对焦方法及装置 | |
CN107835337A (zh) | 黑白面阵ccd相机平场校正方法及系统 | |
CN111179184B (zh) | 基于随机抽样一致性的鱼眼图像有效区域提取方法 | |
CN112200848B (zh) | 低光照弱对比复杂环境下的深度相机视觉增强方法及系统 | |
CN107403410B (zh) | 一种热红外图像的拼接方法 | |
CN106408518A (zh) | 图像融合方法、装置及终端设备 | |
US7796153B1 (en) | Equalization system and method for an imaging sensor | |
Kurmi et al. | Pose error reduction for focus enhancement in thermal synthetic aperture visualization | |
CN113781375B (zh) | 一种基于多曝光融合的车载视觉增强方法 | |
CN103229497B (zh) | 用于估计图像检测装置的纱窗效应的方法和设备 | |
US10728476B2 (en) | Image processing device, image processing method, and image processing program for determining a defective pixel | |
CN110349133A (zh) | 物体表面缺陷检测方法、装置 | |
CN105046674A (zh) | 一种多元并扫红外ccd图像的非均匀化校正方法 | |
Pashchenko et al. | An algorithm for the visualization of stereo images simultaneously captured with different exposures | |
JP2018160024A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN109993690A (zh) | 一种基于结构相似性的彩色图像高精度灰度化方法 | |
Bringier et al. | Evidence theory for high dynamic range reconstruction with linear digital cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180206 |
|
CF01 | Termination of patent right due to non-payment of annual fee |