CN100596171C - 图像数据处理装置、图像数据处理方法和成像系统 - Google Patents

Abstract

一种校正每个图像数据帧中的闪烁的图像数据处理装置。该装置包括：阈值生成器，其生成阈值；积分器，其基于该阈值，对每个帧中抽取的所选范围内的像素数据的值进行积分；存储单元，其存储多个帧的积分值；平均值计算器，其基于所述积分值，计算所述图像数据的平均值；增益计算器，其将所述平均值除以与目标帧相关联的积分值，从而计算出参考校正增益；比较器，其检查所述目标帧中的像素数据是否在所选范围中；校正增益输出单元，其基于比较结果输出校正增益；以及校正器，其基于所述校正增益，对所选范围内的每个像素数据片段执行校正。

Description

图像数据处理装置、图像数据处理方法和成像系统

技术领域

本发明涉及用来校正例如发生在高速成像中的帧闪烁(frame flicker)的图像数据处理装置、图像数据处理方法和成像系统。更具体而言，本发明涉及图像数据处理装置、图像数据处理方法和成像系统，利用该图像数据处理装置、图像数据处理方法和成像系统，基于通过对具有大于或等于阈值的值或小于或等于阈值的值的选定范围中的像素数据进行积分而获得的帧的积分值来计算每个帧的校正增益，并且基于校正增益对帧的选定范围中的像素数据的值进行校正，从而使得用于确定校正增益的处理的负担可得以减小，并且使得与选定范围中的像素数据相对应的图像区域中的闪烁可被适当地校正。

背景技术

在卷帘式快门(焦面快门)成像设备的情况下，闪烁问题被认为尤其严重。但是，在全局快门成像设备的情况下，由于成像速率快于照明的打开/关闭周期，所以在高速成像中光趋向于在整个屏幕上闪烁，即会发生帧闪烁。在一些情况下，由于在屏幕中的个体区域之间照明的相位或级别有所不同(例如当多个光源存在于屏幕上的图像中时)，因此帧闪烁使得难以对这些个体区域进行校正。

在闪烁校正的现有方法中，检测发生闪烁的区域并在该区域中执行校正。利用该方法，将会检测在哪个区域中发生了闪烁。但是，闪烁的状态根据光源或对象变化，因此为了实现精确的校正，用于检测区域的处理变得复杂并且负担增大。

在闪烁校正的另一种现有方法中，校正增益是基于帧的平均值或积分值来确定的。利用该方法，如果在屏幕中存在具有不同闪烁状态的区域(例如发生闪烁的区域和未发生闪烁的区域)，那么当在发生闪烁的区域中执行校正时，相反地，在以前未发生闪烁的区域中则新发生了闪烁。

在图8所示的闪烁校正的第一示例中，一个长方体占据了帧中的成分的很大比例。从而，当长方体的闪烁成分被校正时，闪烁成分由于校正增益而发生在背景中。相反，在图9所示的闪烁校正的第二示例中，背景占据了帧中的成分的很大比例。从而，当背景的闪烁成分被校正时，闪烁成分由于校正增益而发生在长方体中。

根据日本未审查专利申请公布No.2000-101909中提出的技术，将屏幕划分成多个区域，针对个体的划分区域计算闪烁校正增益，并且利用它们各自的闪烁校正增益在划分的区域中独立地执行闪烁校正。

发明内容

根据日本未审查专利申请公开No.2000-101909中描述的技术，检测出平均照明，并且为每个划分的区域计算闪烁校正增益，从而导致用于确定校正增益的处理负担较大。此外，根据日本未审查专利申请公开No.2000-101909中描述的技术，用于划分屏幕的边界由用户指定，或者基于对闪烁区域的检测结果自动确定。由于所划分的区域是由垂直和水平位置限定的矩形区域，所以在闪烁区域具有非矩形复杂形状时，就不能适当地执行闪烁校正。尽管即使在划分的区域是矩形的情况下，也可以通过增加划分区域的数目来在一定程度上处理具有复杂形状的闪烁区域，但是增加了用于确定校正增益的处理的负担。

期望与所选范围内的像素数据相对应的图像区域中的闪烁可以被适当地校正，同时减少用于确定校正增益的处理负担。

根据本发明一个实施例，提供了图像数据处理装置，该图像数据处理装置对作为校正目标帧的图像数据的每个帧顺序执行闪烁校正，其中图像数据是通过成像设备成像获取的。该图像数据处理装置包括：阈值生成器，其被配置来生成针对像素数据的阈值；积分器，其被配置来基于所述阈值生成器生成的阈值，抽取所述图像数据的每个帧中的所选范围内的像素数据，并且对所抽取的像素数据的值进行积分，其中，每个帧中的所选范围内的像素数据的值大于等于所述阈值，或者每个帧中的所选范围内的像素数据的值小于等于所述阈值；存储单元，其被配置来存储多个帧的积分值，所述积分值是由所述积分器获得的，并且所述多个帧的积分值是成像设备的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目个连续帧的积分值；平均值计算器，其被配置来基于所述多个帧的积分值，计算所述图像数据的平均值，其中所述积分值被存储在所述存储单元中；增益计算器，其被配置来将所述平均值计算器计算出的所述平均值除以所述多个帧的积分值中与所述校正目标帧相关联的积分值，从而计算出用于所述校正目标帧的参考校正增益，其中所述积分值被存储在所述存储单元中；比较器，其被配置来基于所述阈值生成器生成的阈值，检查所述校正目标帧中的各个像素数据片段是否是所选范围中的像素数据；校正增益输出单元，其被配置来在所述比较器的检查结果的基础上，基于所述增益计算器计算出的参考校正增益，输出与所述校正目标帧的所选范围中的每个像素数据片段相关联的校正增益，其中，对于值在从阈值到所选范围内的像素数据的平均值的范围内的像素数据，校正增益输出单元根据像素数据的值和阈值之差，输出在从1.0到参考校正增益的范围内的校正增益；以及校正器，其被配置来基于从所述校正增益输出单元输出的校正增益，对所述校正目标帧中的像素数据片段中在所选范围内的每个像素数据片段执行校正。

在该图像数据处理装置中，阈值生成器生成针对像素数据的阈值。此外，积分器对每个帧的像素数据进行积分。此时，对于每个帧，值大于等于所述阈值的像素数据或者值小于等于所述阈值的像素数据被抽取出，并且作为所选范围内的像素数据被积分。

存储单元存储所述积分器获得的多个帧的积分值。所述成像设备的成像定时和闪烁之间的相位关系是周期性的。例如，所述存储单元中存储的多个帧的积分值是所述成像设备的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目个连续帧的积分值。明显地，在该预定数目个连续帧中，成像设备的成像定时和闪烁之间的相位关系是变化的。在此情况下，只有用来计算图像数据的平均值的帧的积分值被存储在存储单元中。因此，可以节省形成所述存储单元的存储介质的容量。

所述平均值计算器基于所述存储单元中存储的所述多个帧的积分值计算图像数据的平均值。此刻，例如，图像数据的平均值是通过对所述成像设备的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目个帧的积分值求平均计算出的。

所述增益计算器将由所述平均值计算器计算出的平均值除以存储在所述存储单元中的多个帧的积分值中与所述校正目标帧相关联的积分值，从而计算出校正目标帧的参考校正增益。如前所述，由于所述成像设备的成像定时和闪烁之间的相位关系是周期性的，所以可以使用其成像设备的成像定时和闪烁之间的相位关系与校正目标帧相同并且在校正目标帧之前的帧的积分值作为与所述校正目标帧相关联的积分值。在这种情形中，可以分配较长的时间用于该计算。

所述比较器基于所述阈值生成器所生成的阈值，检测所述校正目标帧中的各个像素数据片段是否是所选范围内的像素数据。所述校正增益输出单元在所述比较的检查结果的基础上，基于所述参考校正增益，输出与所述校正目标帧的所选范围中的每个像素数据片段相关联的校正增益。所述校正器基于从所述校正增益输出单元输出的校正增益，对所述校正目标帧中的像素数据片段中在所选范围内的每个像素数据片段执行校正。通过对所述校正目标帧的所选范围内的像素数据的值进行校正，在与所选范围内的像素数据相对应的图像区域中已发生的闪烁得到了校正。

在上述闪烁校正中，针对图像数据的每个帧，仅确定一个参考校正增益就足够了，从而可以减少用于确定校正增益的处理的负担。此外，在闪烁校正中，利用所选范围内的像素数据确定参考校正增益，并且基于该参考校正增益校正所选范围内的像素数据。因此，在不影响不在所选范围内的像素数据的情况下，可以适当地对在与所选范围内的像素数据相对应的图像区域(其中要执行闪烁校正的图像区域)中发生的闪烁进行校正。

例如，对于值在从所述阈值到所选范围内的像素数据的平均值范围内的像素数据，所述校正增益输出单元根据所述像素数据的值和阈值之差，输出在从1.0到参考校正增益的范围内的校正增益。在这种情形中，随着像素数据的值变得更接近所述阈值，所述校正增益的值变得更接近1.0，从而校正的影响变弱。因此，可以防止在其中已执行了闪烁校正的图像区域(与所选范围内的像素数据相对应的图像区域)和其他图像区域之间的边界处发生不自然的显示。

例如，所述图像数据处理装置可以包括用户操作单元，该用户操作单元被配置来允许用户调节所述阈值生成器所生成的所述阈值的值。在这种情形中，通过利用所述用户操作单元调节所述阈值的值，用户可以如期调整其中要执行闪烁校正的图像区域。

作为另一个示例，该图像数据处理装置可以包括用户操作单元，该用户操作单元可被配置来允许用户选择值大于等于所述阈值的像素数据或者值小于等于所述阈值的像素数据作为所选范围内的像素数据。在这种情形中，通过利用所述用户操作单元选择值大于等于所述阈值的像素数据或者值小于等于所述阈值的像素数据，用户可以如期选择与值大于等于所述阈值的像素数据相对应的图像区域或者与值小于等于所述阈值的图像数据相对应的图像区域作为其中要执行闪烁校正的图像区域。

根据本发明的该实施例，基于每个帧的积分值计算出针对该帧的校正增益，其中每个帧的积分值是通过对所选范围中值大于等于一个阈值或者值小于等于该阈值的像素数据进行积分获得的，并且基于该校正增益，该帧的所选范围内的像素数据的值得到了校正，从而可以减小用于确定校正增益的处理的负担，使得可以适当地校正与所选范围(其中要执行闪烁校正的图像区域)内的像素数据相对应的图像区域中的闪烁。

根据本发明的另一个方面，提供了一种对作为校正目标帧的图像数据的每个帧顺序执行闪烁校正的图像数据处理方法，所述图像数据是通过成像设备成像获取的，该图像数据处理方法包括：生成针对像素数据的阈值；基于所述针对像素数据的阈值，抽取所述图像数据的每个帧中的所选范围内的像素数据，并且对所抽取的像素数据的值进行积分，其中，所述每个帧中的所选范围内的像素数据的值大于等于所述阈值，或者所述每个帧中的所选范围内的像素数据的值小于等于所述阈值；在存储介质中存储多个帧的积分值，所述多个帧的积分值是所述成像设备的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目个连续帧的积分值；基于所述多个帧的积分值，计算所述图像数据的平均值，其中所述积分值被存储在所述存储介质中；将所述平均值除以所述多个帧的积分值中与所述校正目标帧相关联的积分值，从而计算出用于所述校正目标帧的参考校正增益，其中所述积分值被存储在所述存储介质中；基于所述针对像素数据的阈值，检查所述校正目标帧中的各个像素数据片段是否是所述所选范围中的像素数据；在所述比较的检查结果的基础上，基于所述参考校正增益，输出与所述校正目标帧的所述所选范围中的每个像素数据片段相关联的校正增益，其中，对于值在从所述阈值到所选范围内的像素数据的平均值的范围内的像素数据，根据所述像素数据的值和所述阈值之差，输出在从1.0到所述参考校正增益的范围内的校正增益；以及基于所述输出的校正增益，对所述校正目标帧中的像素数据片段中在所述所选范围内的每个像素数据片段执行校正。

根据本发明的另一个方面，提供了一种种成像系统，包括：成像设备；以及图像数据处理装置，其对作为校正目标帧的图像数据的每个帧顺序执行闪烁校正，所述图像数据是通过成像设备成像获取的；其中，所述图像数据处理装置包括：阈值生成器，其被配置来生成针对像素数据的阈值；积分器，其被配置来基于所述阈值生成器生成的所述阈值，抽取所述图像数据的每个帧中的所选范围内的像素数据，并且对所抽取的像素数据的值进行积分，其中，所述每个帧中的所选范围内的像素数据的值大于等于所述阈值，或者所述每个帧中的所选范围内的像素数据的值小于等于所述阈值；存储单元，其被配置来存储多个帧的积分值，所述积分值是由所述积分器获得的，并且所述多个帧的积分值是所述成像设备的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目个连续帧的积分值；平均值计算器，其被配置来基于所述多个帧的积分值，计算所述图像数据的平均值，其中所述积分值被存储在所述存储单元中；增益计算器，其被配置来将所述平均值计算器计算出的所述平均值除以所述多个帧的积分值中与所述校正目标帧相关联的积分值，从而计算出用于所述校正目标帧的参考校正增益，其中所述积分值被存储在所述存储单元中；比较器，其被配置来基于所述阈值生成器生成的阈值，检查所述校正目标帧中的各个像素数据片段是否是所选范围中的像素数据；校正增益输出单元，其被配置来在所述比较器的检查结果的基础上，基于所述增益计算器计算出的参考校正增益，输出与所述校正目标帧的所选范围中的每个像素数据片段相关联的校正增益，其中，对于值在从所述阈值到所选范围内的像素数据的平均值的范围内的像素数据，所述校正增益输出单元根据所述像素数据的值和所述阈值之差，输出在从1.0到所述参考校正增益的范围内的校正增益；以及校正器，其被配置来基于从所述校正增益输出单元输出的校正增益，对所述校正目标帧中的像素数据片段中在所述所选范围内的每个像素数据片段执行校正。

附图说明

图1是示出根据本发明实施例的成像系统的配置的框图；

图2是用于说明在高照度区域中执行闪烁校正的情况下的校正增益的图；

图3是用于说明在低照度区域中执行闪烁校正的情况下的校正增益的图；

图4是示出校正目标帧的示例(其中在场(field)区域发生了闪烁而在后面的暗区域未发生闪烁)的图；

图5是示出校正目标帧中的各个像素数据的值(级别)分布的图；

图6是示出成像和闪烁的定时之间的相位关系的示例的图；

图7是示出图像数据的个体帧的积分值和参考校正增益的相应变化的图；

图8是用于说明现有闪烁校正技术的问题的第一示例的图；以及

图9是用于说明现有闪烁校正技术的问题的第二示例的图。

具体实施方式

现在将参考附图描述本发明的实施例。图1示出了根据本发明实施例的成像系统100的配置。成像系统100包括成像设备101、阈值生成器102、用户操作单元103、积分器104、历史存储单元105、平均值计算器106、参考校正增益计算器107、比较器108、校正增益确定器109、校正器110和监视器111。阈值生成器102、用户操作单元103、积分器104、历史存储单元105、平均值计算器106、参考校正增益计算器107、比较器108、校正增益确定器109和校正器110构成了对从成像设备101输出的图像数据执行闪烁校正的图像数据处理装置。

成像设备101捕获对象(未示出)的图像并且输出与该对象相对应的图像数据。图像数据由图像数据的连续的帧构成。成像设备101可例如通过减小帧周期来执行高速成像。在这种情况下，当帧周期变得短于照明的打开/关闭周期时，就发生所谓的帧闪烁。

阈值生成器102生成像素数据的阈值Lth。阈值Lth的值可由用户通过操作用户操作单元103来调节。用户可以对其中将通过调节阈值Lth执行闪烁校正的图像区域进行调节。后面将描述，其中将执行闪烁校正的图像区域是与值大于等于阈值Lth的图像数据相对应的区域或者与值小于等于阈值Lth的像素数据相对应的区域。可以按照希望通过用户对用户操作单元103的操作来选择与值大于等于阈值Lth的像素数据相对应的图像区域(下文称作“高照明区域”)或者与值小于等于阈值Lth的像素数据相对应的图像区域(下文称作“低照明区域”)作为其中将执行闪烁校正的图像区域。

允许用户选择高照明区域或者低照明区域作为其中将执行闪烁校正的图像区域的原因在于闪烁可能发生在高照明区域中，也可能发生在低照明区域中。当闪烁在高照明区域中发生时，用户选择高照明区域作为其中将执行闪烁校正的图像区域。相反，当闪烁在低照明区域中发生时，用户选择低照明区域作为其中将执行闪烁校正的图像区域。

积分器104获得从成像设备101输出的图像数据的每帧的积分值。更具体而言，积分器104基于阈值生成器102生成的阈值Lth，抽取每帧中的所选区域的像素数据(值大于等于阈值Lth的像素数据或者值小于等于阈值Lth的像素数据)，并且对所抽取的像素数据的值(电平)进行积分来获得积分值。如前所述，当通过用户对用户操作单元103的操作，高照明区域被选作其中将执行闪烁校正的图像区域时，所选区域中的像素数据的值大于等于阈值Lth。相反，当通过用户对用户操作单元103的操作，低照明区域被选作其中将执行闪烁校正的图像区域时，所选区域中的像素数据的值小于等于阈值Lth。

在本实施例中，为了辅助在稍后将描述的平均值计算器106中计算图像数据的平均值，在积分器104中，每帧中的所抽取的像素数据的积分值被除以所抽取的像素数据的片段数目(即，计算所选区域中的像素数据的个体片段的值的平均值)。就此而言，积分器104可以是这样的像素数据平均值计算器，该平均值计算器针对从成像设备101输出的图像数据的每个帧，计算所选区域中的像素数据的值的平均值。

历史存储单元105存储例如个体帧的积分值中的多个最近的帧的积分值，这些积分值是积分器104获得的。历史存储单元105中存储的多个帧的积分值随着帧的前行被顺序更新。历史存储单元105由诸如半导体存储器之类的存储介质实现。成像设备101成像定时和由于照明的打开/关闭导致的闪烁之间的相位关系是周期性的。即，成像定时和闪烁在预定数目(该数目是根据成像的帧周期和照明的打开/关闭周期唯一确定的)个帧的一个周期处表现出相同的相位关系。

例如，历史存储单元105中存储的多个帧的积分值是成像设备101的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目(该数目是根据成像的帧周期和照明的打开/关闭周期唯一地确定的)个连续帧的积分值。很明显，在这预定数目个连续帧中，成像设备101的成像定时和闪烁之间的相位关系是变化的。在这种情形中，只有用来计算图像数据的平均值的帧的积分值被存储在历史存储单元105中。因此，可以节省形成历史存储单元105的存储介质的容量。

平均值计算器106基于历史存储单元105中存储的多个帧的积分值，计算图像数据的平均值Lav。在这种情形中，例如，在成像设备101所成像定时和闪烁之间的相位关系的一个周期中包括的预定数目个帧的积分值被求平均来计算图像数据的平均值Lav。

参考校正增益计算器107将由平均值计算器106计算出的图像数据的平均值Lav除以历史存储单元105中存储的多个帧的积分值中与将被校正器110(稍后描述)校正的校正目标帧相关联的积分值，从而计算出针对校正参考帧的参考校正增益G。很明显，可以使用校正目标帧自身的积分值作为与该校正目标帧相关联的积分值。但是，在本实施例中，由于成像设备101的成像定时和闪烁之间的相位关系如前所述是周期性的，所以作为与校正目标帧相关联的积分值，例如可以使用与校正目标帧具有相同的成像设备101的成像定时和闪烁之间的相位关系并且在校正目标帧之前的帧的积分值。在这种情形中，由于使用了在该校正目标帧之前的帧的积分值，所以在该校正目标帧实际被校正之前存在一定时间可用。因此，可以分配较长的时间用于计算参考校正增益。

基于阈值生成器102生成的阈值Lth，比较器108检查校正目标帧的每个像素数据片段是否是所选范围(值大于等于阈值Lth的像素数据或者值小于等于阈值Lth的像素数据)中的一个像素数据片段。如前所述，当用户对用户操作单元103的操作选择了高照明区域作为其中要执行闪烁校正时，比较器108检查每个像素数据片段是否具有大于等于阈值Lth的值。相反，当用户对用户操作单元103的操作选择了低照明区域作为其中要执行闪烁校正时，比较器108检查每个像素数据片段是否具有小于等于阈值Lth的值。

基于比较器108的检查结果，校正增益确定器109基于参考校正增益计算器107计算出的与校正目标帧的所选范围中的像素数据相关的参考校正增益G输出校正增益Gc。校正增益确定器109充当校正增益输出单元。

在校正增益确定器109中，基于阈值生成器102生成的阈值Lth、平均值计算器106计算出的平均值Lav、校正目标帧的像素数据的值(电平)Lin等等，以及比较器108的检查结果，要被输出的与校正目标帧的每个像素数据片段相关联的校正增益Gc根据像素数据的值Lin被确定出(如下所述)。

首先，将参考图2描述这样的一种情形，在该情形中，高照明区域如前所述被用户操作选作其中要执行闪烁校正的图像区域。在图2中，实线代表参考校正增益G大于等于1.0的情形，并且点划线代表参考校正增益G小于等于1.0的情形。

在像素数据的值Lin小于等于阈值Lth时，确定该像素数据不是其中要执行闪烁校正的图像区域中包括的像素数据。因此，校正增益Gc被挑选为1.0，从而使得基本不对该像素数据执行校正。

在像素数据的值Lin大于阈值Lth并且小于平均值Lav时，校正增益Gc被挑选为(G-1.0)/(Lav-Lth)*(Lin-Lth)+1.0。即，在这种情形中，校正增益Gc根据像素的值Lin和阈值Lth之差，在1.0到参考校正增益G的范围内变动。在这种情形中，随着像素数据的值Lin变得更接近阈值Lth，校正增益Gc的值变得更接近1.0，从而使得校正效果变弱。从而，可以防止在其中已执行了闪烁校正的图像区域(与值大于等于阈值Lth的像素数据相对应的图像区域)和其他图像区域之间的边界处发生不自然的显示。

在像素数据的值Lin大于等于平均值Lav时，校正增益Gc被挑选为参考校正增益G。

接下来，参考图3描述这样一种情形，在该情形中，低照明区域被用户操作选作其中要执行闪烁校正的图像区域。在图3中，实线代表参考校正增益G大于等于1.0的情形，并且点划线代表参考校正增益G小于等于1.0的情形。

在像素数据的值Lin大于等于阈值Lth时，确定该像素数据不是其中要执行闪烁校正的图像区域中包括的像素数据。因此，校正增益Gc被挑选为1.0，从而使得基本不对该像素数据执行校正。

在像素数据的值Lin小于阈值Lth并且大于平均值Lav时，校正增益Gc被挑选为(1.0-G)/(Lth-Lav)*(Lth-Lin)+1.0。即，在这种情形中，校正增益Gc根据像素的值Lin和阈值Lth之差，在1.0到参考校正增益G的范围内变动。在这种情形中，随着像素数据的值Lin变得更接近阈值Lth，校正增益Gc的值变得更接近1.0，从而使得校正效果变弱。从而，可以防止在其中已执行了闪烁校正的图像区域(与值小于等于阈值Lth的像素数据相对应的图像区域)和其他图像区域之间的边界处发生不自然的显示。

在像素数据的值Lin小于等于平均值Lav时，校正增益Gc被挑选为参考校正增益G。

校正器110基于从校正增益确定器109输出的校正增益Gc，对校正目标帧的像素数据中的前述所选范围内的像素数据进行校正。在这种情形中，校正器110通过将校正目标帧的每个像素数据片段乘以从校正增益确定器109输出的校正增益Gc，从而执行校正。如前所述，不被包括在其中将要执行校正的图像区域中的像素数据的校正增益Gc为1.0，从而基本不对该像素数据执行校正。

监视器111基于从校正器110输出的通过闪烁校正获得的图像数据显示图像。在这种情形中，例如，通过延长用于显示基于成像设备101高速成像获得的图像数据的帧周期，可以以慢动作显示图像。尽管未示出，也可以在校正器110和监视器111之间提供记录设备，从而使得通过校正器110的闪烁校正获得的图像数据临时被该记录设备所记录，然后被回放并被提供给监视器111。在该情形中，帧周期可以在该记录设备处被转换，从而使得可以如上所述以慢动作显示图像。

现在，将描述图1中示出的成像系统100的操作。

阈值生成器102生成像素数据的阈值Lth。阈值Lth被提供到其中使用阈值Lth的组件，例如，积分器104、比较器108和校正增益确定器109。

通过成像设备101成像获得的图像数据被提供到其中使用图像数据的组件，例如，积分器104、比较器108、校正增益确定器109和校正器110。校正器110对作为校正目标帧的图像数据的帧顺序执行闪烁校正。

积分器104从图像数据的每个帧抽取所选范围内的像素数据(值大于等于阈值Lth或者值小于等于阈值Lth的像素数据)，并且对这些值进行积分来获得积分值。积分值被提供到历史存储单元105。历史存储单元105存储积分器104获得的帧的积分值中的多个最近帧的积分值。例如，历史存储单元105存储成像设备101的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目(该数目是根据成像的帧周期和照明的打开/关闭周期唯一确定的)个连续帧的积分值。

基于历史存储单元105中存储的多个帧的积分值，平均值计算器106计算图像数据的平均值Lav。例如，平均值Lav是通过对成像设备101的成像周期和闪烁之间的相位关系的一个周期中包括的预定数目个连续帧求平均计算出的。平均值Lav被提供给参考校正增益计算器107和校正增益确定器109。

如前所述，校正器110对作为校正目标帧的图像数据的帧顺序执行闪烁校正。参考校正增益计算器107顺序计算与个体校正目标帧相关联的参考校正增益G。在这种情形中，与要被校正器110校正的校正目标帧相关联的参考校正增益G是通过下述过程计算出的：将平均值计算器106计算出的图像数据的平均值Lav除以历史存储单元105中存储的多个帧的积分值中的与校正目标帧相关联的积分值。参考校正增益G被提供给校正增益确定器109。

比较器108基于阈值Lth检查校正目标帧中的每个像素数据片段是否是所选范围内的像素数据(值大于等于阈值Lth的像素数据或者值小于等于阈值Lth的像素数据)。由于所选范围内的像素数据对应于其中要执行闪烁校正的图像区域，所以检查该像素数据是否在所选范围内等同于检查该像素数据是否要被校正。比较器108检查的结果被提供给校正增益确定器109。

与校正目标帧的所选范围内的每个像素数据片段相关地，校正增益确定器109基于参考校正增益G输出校正增益Gc。在这种情形中，在所选范围内的像素数据中，关于值在阈值Lth到平均值Lav范围内的像素数据，被输出的校正增益Gc根据像素数据的值Lin和阈值Lth之差取1.0到参考校正增益G范围内的值。校正增益Gc被提供给校正器110。

在校正目标帧中的像素数据中，校正器110基于从校正增益确定器109输出的校正增益Gc，对所选范围内的像素数据进行校正。由于用于不在所选范围内的像素数据的校正增益Gc被选为1.0，所以基本未执行校正。

通过校正器110的闪烁校正获得的图像数据被提供到监视器111。监视器111基于通过闪烁校正获得的图像数据显示图像。在显示在监视器111上的图像中，在其中已执行了闪烁校正的图像区域(与所选范围内的像素数据相对应的图像区域)中闪烁得到了适当的校正。

在阈值生成器102生成的阈值Lth的值被用户的操作调节时，所选范围中包括的像素数据片段的数目减少或增加，从而使得其中要执行闪烁校正的区域相应地改变。用户可以参考显示在监视器111上的图像来将阈值Lth的值调节到最优值。

此外，在用户操作将高照明区域(与值大于等于阈值Lth的像素数据相对应的图像区域)选作其中要执行闪烁校正的图像区域时，参考校正增益计算器107基于与高照明区域相对应的像素数据计算参考校正增益G，并且校正器110基于校正增益Gc对与高照明区域相对应的像素数据执行闪烁校正。另一方面，在用户操作将低照明区域(与值小于等于阈值Lth的像素数据相对应的图像区域)选作其中要执行闪烁校正的图像区域时，参考校正增益计算器107基于与低照明区域相对应的像素数据计算参考校正增益G，并且校正器110基于校正增益Gc对与低照明区域相对应的像素数据执行闪烁校正。参考显示在监视器111上的图像，用户可以选择高照明区域或者低照明区域作为其中要执行闪烁校正的图像区域。

接下来，将在特定示例的上下文中进一步描述图1中示出的成像系统100中执行的闪烁校正。

在下面的描述中，作为示例，将考虑这样的情形，其中对图4中示出的校正目标帧FL执行闪烁校正。假设在校正目标帧FL中，在场区域中由于照明已发生了闪烁，但是在后面暗区域中由于照明条件的差异未发生闪烁。图5示出了像素数据的多个片段的值(电平)Lin的可假定分布。该场区域中的像素数据的值Lin按“级别B”分布，并且后面暗区域中的像素数据的值Lin按“级别A”分布。

如前所述，通过成像设备101成像获得的图像数据被积分器104逐帧地积分。此时，阈值生成器102生成的阈值Lth的值考虑到其中已发生闪烁的区域中的像素数据的值(电平)Lin而被设置。在校正目标帧FL中的像素数据的片段的值(电平)Lin如图5所示分布时，阈值Lth的值被设置在图5所示的级别B和级别A之间。

如前所述，用户可以通过操作用户操作单元103来调节阈值Lth的值。更具体地说，用户可以参考显示在监视器111上的图像来调节阈值Lth的值，以使得场区域中的闪烁得到校正，同时后面暗区域将不会受到该闪烁校正的影响。在阈值Lth的值被如上调节时，用户可以在并非专门如此执行的情况下将阈值Lth的值设置在图5中所示的级别B和级别A之间。

在校正目标帧FL中，由于在亮场中已发生了闪烁，所以通过用户操作将高照明区域选作其中将执行闪烁校正的图像区域。因此，积分器104抽取值大于等于阈值Lth的像素数据作为被选范围，即，抽取级别B部分中包括的像素数据，同时排除级别A部分中包括的像素数据，并且对所抽取的像素数据的值进行积分。

成像设备101成像的定时和由于照明的打开/关闭而导致的闪烁之间的相位关系是周期性的。即，成像的定时和闪烁在预定时间段的周期处表现出相同的相位关系。成像的定时和闪烁之间的相位关系的周期是根据成像的帧周期和照明的打开/关闭周期唯一地确定的。例如，在成像的定时和闪烁具有图6所示的相位关系时，成像的定时和闪烁之间的相位关系在成像定时Ta和成像定时Td之间是一致的。在图6中，帧Fa、Fb、Fc、…是与成像定时Ta、Tb、Tc、…相对应的帧。

在本示例中，历史存储单元105存储帧Fa、Fb和Fc的积分值(所选范围中的像素数据的片段的值的平均值)I(a)、I(b)、I(c)，作为成像设备101成像的定时和闪烁之间的相位关系的一个周期中包括的预定数目个连续帧的积分值。在图7中，示出了与成像定时Ta、Tb、Tc、…相对应的帧的积分值I(a)、I(b)、I(c)、...。

平均值计算器106通过对如上所述历史存储单元105中存储的与成像定时Ta、Tb和Tc相对应的帧的积分值计算平均值，从而计算图像数据的平均值Lav。

参考校正增益计算器107基于平均值计算器106计算出的平均值Lav和要被执行校正的帧(校正目标帧)前一个周期的帧的积分值，计算参考校正增益G。在本示例的情形中，在与成像定时Td相对应的帧Fd要被校正时，在帧Fd前一个周期的帧是与成像定时Ta相对应的帧Fa。因此，帧Fd的参考校正增益G(d)是通过将平均值Lav除以帧Fa的积分值I(a)计算出的。

此外，图7示出了以类似方式计算出的帧Fa、Fb、Fc、…的参考校正增益G(a)、G(b)、G(c)、…。

参考校正增益计算器107计算出的参考校正增益G基于在积分器104和平均值计算器106中使用的像素数据，但是该像素数据不包括不在基于阈值Lth的所选范围中的像素数据(值小于等于阈值Lth的像素数据)。因此，如果利用参考校正增益G对校正目标帧中的所有像素数据进行了校正，则因为参考校正增益G不适用于不在所选范围中而被排除的像素数据，所以在与不在所选范围中的像素数据相对应的图像区域中闪烁分量被放大了而不是被减小了。

为了避免对不在所选范围中的像素数据的这种影响，用于在所选范围中的像素数据的校正增益Gc被选为1.0，从而使得基本不执行校正。比较器108基于阈值Lth，检查校正目标帧中的每个像素数据片段是所选范围中的像素数据(值大于等于阈值Lth的像素数据)，还是不在所选范围中的像素数据(值小于等于阈值Lth的像素数据)。

基于比较器108检查的结果等，校正增益确定器109基于每个像素数据片段的值Lin，为该像素数据片段确定校正增益Gc(参考图2)。此刻，如上所述，不在所选范围中的像素数据的校正增益Gc被挑选为1.0，从而使得在与不在所选范围中的像素数据相对应的图像区域中，闪烁分量将不被放大，而是被减小。

在像素数据的值Lin大于阈值Lth并且小于平均值Lav时，随着像素数据的值Lin变得接近阈值Lth，校正增益Gc被挑选为更接近1.0，以减轻校正的影响。因此，减轻了其中已执行了闪烁校正的图像区域(与值大于等于阈值Lth的图像数据相对应的图像区域)和其他图像区域之间的边界处的不自然。

校正器110将校正增益确定器109确定出的用于校正目标帧中的个体图像数据片段的校正增益Gc乘以像素数据的关联像素。校正器110输出通过闪烁校正获得的图像数据，即，其中已对每个校正目标帧的所选范围中的像素数据执行了闪烁校正的图像数据。

在图4中所示的校正目标帧的情形中，在已发生了闪烁的场区域中闪烁被减小，而未发生闪烁的后面暗区域未受到闪烁校正的影响，并且被未加改变地显示。

在图1所示成像系统100中，针对图像数据的每个帧仅确定一个参考校正增益G就足够了，从而可以减少确定校正增益的处理的负担。

此外，在图1所示的成像系统100中，利用所选范围中的像素数据确定参考校正增益G，并且基于该参考校正增益G对所选范围中的像素数据进行了校正。因此，在未影响不在所选范围中的像素数据的情况下，可以适当地校正与在所选范围中的像素数据相对应的图像区域(其中将要执行闪烁校正的图像区域)中发生的闪烁。

此外，在图1所示成像系统100中，用户可以对阈值生成器102所生成的阈值Lth的值进行调节，使得可以如期调节其中要执行闪烁校正的图像区域。

此外，在图1所示成像系统100中，用户可以通过利用用户操作单元103选择值大于等于阈值Lth的像素数据或者值小于等于阈值Lth的像素数据，来如期选择高照明区域(与值大于等于阈值Lth的像素数据相对应的图像区域)或者低照明区域(与值小于等于阈值Lth的像素数据相对应的图像区域)作为其中要执行闪烁校正的图像区域。

本领域技术人员应当理解，取决于设计需求和其他因素，可以实现各种修改、组合、子组合和替换，只要它们在所附权利要求书及其等同物的范围内。

本发明包含与2006年9月7日向日本专利局递交的日本专利申请JP2006-242374相关的主题，这里通过引用将该申请的全部内容并入。

Claims (6)

1.一种对作为校正目标帧的图像数据的每个帧顺序执行闪烁校正的图像数据处理装置，所述图像数据是通过成像设备成像获取的，该图像数据处理装置包括：

阈值生成器，其被配置来生成针对像素数据的阈值；

积分器，其被配置来基于所述阈值生成器生成的所述阈值，抽取所述图像数据的每个帧中的所选范围内的像素数据，并且对所抽取的像素数据的值进行积分，其中，所述每个帧中的所选范围内的像素数据的值大于等于所述阈值，或者所述每个帧中的所选范围内的像素数据的值小于等于所述阈值；

存储单元，其被配置来存储多个帧的积分值，所述积分值是由所述积分器获得的，并且所述多个帧的积分值是所述成像设备的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目个连续帧的积分值；

平均值计算器，其被配置来基于所述多个帧的积分值，计算所述图像数据的平均值，其中所述积分值被存储在所述存储单元中；

增益计算器，其被配置来将所述平均值计算器计算出的所述平均值除以所述多个帧的积分值中与所述校正目标帧相关联的积分值，从而计算出用于所述校正目标帧的参考校正增益，其中所述积分值被存储在所述存储单元中；

比较器，其被配置来基于所述阈值生成器生成的阈值，检查所述校正目标帧中的各个像素数据片段是否是所选范围中的像素数据；

校正增益输出单元，其被配置来在所述比较器的检查结果的基础上，基于所述增益计算器计算出的参考校正增益，输出与所述校正目标帧的所选范围中的每个像素数据片段相关联的校正增益，其中，对于值在从所述阈值到所选范围内的像素数据的平均值的范围内的像素数据，所述校正增益输出单元根据所述像素数据的值和所述阈值之差，输出在从1.0到所述参考校正增益的范围内的校正增益；以及

校正器，其被配置来基于从所述校正增益输出单元输出的校正增益，对所述校正目标帧中的像素数据片段中在所述所选范围内的每个像素数据片段执行校正。

2.如权利要求1所述的图像数据处理装置，

其中，所述增益计算器使用下述帧的积分值作为与所述校正目标帧相关联的积分值：所述帧的成像设备成像定时和闪烁之间的相位关系与所述校正目标帧相同并且所述帧在所述校正目标帧之前。

3.如权利要求1所述的图像数据处理装置，还包括：

用户操作单元，其被配置来允许用户调节由所述阈值生成器生成的所述阈值的值。

4.如权利要求1所述的图像数据处理装置，还包括：

用户操作单元，其被配置来允许用户选择值大于等于所述阈值的像素数据或者值小于等于所述阈值的像素数据作为所述所选范围内的像素数据。

5.一种对作为校正目标帧的图像数据的每个帧顺序执行闪烁校正的图像数据处理方法，所述图像数据是通过成像设备成像获取的，该图像数据处理方法包括：

生成针对像素数据的阈值；

基于所述针对像素数据的阈值，抽取所述图像数据的每个帧中的所选范围内的像素数据，并且对所抽取的像素数据的值进行积分，其中，所述每个帧中的所选范围内的像素数据的值大于等于所述阈值，或者所述每个帧中的所选范围内的像素数据的值小于等于所述阈值；

在存储介质中存储多个帧的积分值，所述多个帧的积分值是所述成像设备的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目个连续帧的积分值；

基于所述多个帧的积分值，计算所述图像数据的平均值，其中所述积分值被存储在所述存储介质中；

将所述平均值除以所述多个帧的积分值中与所述校正目标帧相关联的积分值，从而计算出用于所述校正目标帧的参考校正增益，其中所述积分值被存储在所述存储介质中；

基于所述针对像素数据的阈值，检查所述校正目标帧中的各个像素数据片段是否是所述所选范围中的像素数据；

在所述检查的结果的基础上，基于所述参考校正增益，输出与所述校正目标帧的所述所选范围中的每个像素数据片段相关联的校正增益，其中，对于值在从所述阈值到所选范围内的像素数据的平均值的范围内的像素数据，根据所述像素数据的值和所述阈值之差，输出在从1.0到所述参考校正增益的范围内的校正增益；以及

基于所述输出的校正增益，对所述校正目标帧中的像素数据片段中在所述所选范围内的每个像素数据片段执行校正。

6.一种成像系统，包括：

成像设备；以及

图像数据处理装置，其对作为校正目标帧的图像数据的每个帧顺序执行闪烁校正，所述图像数据是通过成像设备成像获取的；

其中，所述图像数据处理装置包括：

阈值生成器，其被配置来生成针对像素数据的阈值；

积分器，其被配置来基于所述阈值生成器生成的所述阈值，抽取所述图像数据的每个帧中的所选范围内的像素数据，并且对所抽取的像素数据的值进行积分，其中，所述每个帧中的所选范围内的像素数据的值大于等于所述阈值，或者所述每个帧中的所选范围内的像素数据的值小于等于所述阈值；

存储单元，其被配置来存储多个帧的积分值，所述积分值是由所述积分器获得的，并且所述多个帧的积分值是所述成像设备的成像定时和闪烁之间的相位关系的一个周期中包括的预定数目个连续帧的积分值；

平均值计算器，其被配置来基于所述多个帧的积分值，计算所述图像数据的平均值，其中所述积分值被存储在所述存储单元中；

增益计算器，其被配置来将所述平均值计算器计算出的所述平均值除以所述多个帧的积分值中与所述校正目标帧相关联的积分值，从而计算出用于所述校正目标帧的参考校正增益，其中所述积分值被存储在所述存储单元中；

比较器，其被配置来基于所述阈值生成器生成的阈值，检查所述校正目标帧中的各个像素数据片段是否是所选范围中的像素数据；

校正增益输出单元，其被配置来在所述比较器的检查结果的基础上，基于所述增益计算器计算出的参考校正增益，输出与所述校正目标帧的所选范围中的每个像素数据片段相关联的校正增益，其中，对于值在从所述阈值到所选范围内的像素数据的平均值的范围内的像素数据，所述校正增益输出单元根据所述像素数据的值和所述阈值之差，输出在从1.0到所述参考校正增益的范围内的校正增益；以及

校正器，其被配置来基于从所述校正增益输出单元输出的校正增益，对所述校正目标帧中的像素数据片段中在所述所选范围内的每个像素数据片段执行校正。

Images