CN102611837A - 闪光带处理电路和处理方法、成像装置和成像处理方法 - Google Patents

Abstract

本发明公开了闪光带处理电路和处理方法、成像装置和成像处理方法。一种闪光带处理电路包括：闪光带检测电路，该闪光带检测电路基于由包括在利用滚动快门系统的成像设备中的像素针对每帧所输出的视频信号的曝光时段差来检测闪光带的开始行和结束行，该闪光带是在帧中根据闪光所生成的每行的等级差。

Description

闪光带处理电路和处理方法、成像装置和成像处理方法

技术领域

本公开涉及可被应用在检测到闪光带的情形中的闪光带(flash band)处理电路、处理闪光带的方法、成像装置和成像处理方法，该闪光带生成在例如通过向对象发射强光(以下，称为“闪光”)来将对象成像所获得的视频内。

背景技术

在相关技术中，作为在相机中所使用的成像设备，利用滚动快门系统的成像设备是公知的，其中，针对每个水平线(以下，称为“行”)曝光被顺序启动，并且，通过顺序读出每行的视频信号，帧被顺序生成。在利用滚动快门系统的成像设备中，针对每行，曝光时段是不同的。因此，在闪光等在比成像设备读出视频信号的帧率更短的时段期间中出现的情形中，存在如下情形：在亮度等级中的带形区别(闪光带)被生成在根据读出帧内的视频信号所显示的视频中。以下，亮度等级被缩写为“等级”，而闪光带被缩写为“FB”。

图15A和图15B是示出了在相关技术中的生成在帧中的FB的示例的示意图。

在图15A中，纵轴代表在垂直方向上的行的数量，横轴代表时间(秒)，并且，示出了连续帧和闪光之间的关系。

成像设备以从在垂直方向上的行的数量少的一侧(在本示例中，是从帧的上部到下部的方向)的次序读出视频信号并输出视频信号。从第一帧到第二帧，闪光出现。

图15B示出了每个帧的视频的示例。

当闪光从第一帧到第二帧出现时，闪光对已经被读出的第一帧的上部行没有影响，但是，由于闪光的影响，等级差异被在第一帧的下部行中生成。在第二帧中，在第一帧的最低行的视频信号被读出之前，第二帧的上部行的视频信号被读出。因此，由于闪光在第二帧的上部行中的影响，等级差异被生成，但是，闪光对第二帧的下部行没有影响。如以上，当FB被在帧中生成时，视频的下部被在第一帧中照亮，而视频的上部被在第二帧中照亮。由于FB被在多个帧中生成，并且，当视频被再现或静止屏幕被捕捉时，FB被看到，因此，视频的质量可变坏。

在相关技术中，为了抑制其中FB被生成在视频上的帧的影响，采用诸如校正帧以用于移除等级差异或丢弃帧之类的对策。作为这种对策的前提，检测是否存在FB的方法已被审查。

在JP-A-2010-135921中，作为检测FB的方法，公开了利用第一条件的方法，该第一条件是检测到其中出现像素等级在第一帧的下部和第二针帧的上部增加(其作为FB的典型特征)的区域。在该方法中，在第一帧中等级增加的区域的等级在第二帧中降低被设置为第二条件。通过将第二条件添加到第一条件，可防止在仅由于目标的构成而使第一条件被满足的情形中对FB的生成的错误检测。

另外，作为另一方法，在JP-A-2007-306225中，公开了一种方法，其中，从通过在适当的曝光下成像所获得的一组连续帧中检测到曝光饱和的帧。

发明内容

在JP-A-2010-135921中所公开的检测FB的方法中，很难检测FB的开始行和结束行落入一帧(以下，这种FB状态被称为“FB被完成”)的情形或FB在三帧或更多帧上连续的情形。另外，在该方法中，一行的视频信号从帧的上部至下部被读出。因此，当具有高亮度的对象从帧的下部移动到上部时，由于显示在第一帧的下部的对象和显示在第二帧的上部的对象，FB可能被错误地检测。另外，即便当如在新闻报告节目等中的短时段中存在许多目标的闪光，因而FB在连续帧的多个地方生成时，也很难指定帧中的FB的位置。

另外，在公开在JP-A-2007-306225中的检测FB的方法中，在运动体的位置或具有高亮度的光源变化时，由于运动体或光源的位置已经改变，因此将可能错误地检测FB的生成。

因此，希望合适地检测在帧中所生成的FB。

在本公开的实施例中，基于由包括在滚动快门系统的成像设备中的像素针对每帧所输出的每行的视频信号的曝光时段差来检测闪光带的开始行和结束行。

因此，可检测在帧中所生成的FB的开始行和结束行。

根据本公开的实施例，通过检测在帧中所生成的FB的开始行和结束行，可获得用于校正FB所必须的详细信息。因此，存在如下优点：仅可针对作为目标的所检测到的FB执行合适的FB校正处理。

附图说明

图1是示出了根据本公开的实施例的成像装置的内部配置的示例的框图。

图2示出了根据本公开的实施例的检测在帧内生成的FB的闪光带检测电路的内部配置的示例。

图3是示出了根据本公开的实施例的等级比较电路的内部配置的示例的框图。

图4是示出了根据本公开的实施例的水平方向积分单元的内部配置的示例的框图。

图5是示出了根据本公开的实施例的判定保持单元的内部配置的示例的框图。

图6是示出了根据本公开的实施例的区域判定单元的内部配置的示例的框图。

图7是示出了根据本公开的实施例的垂直方向积分单元的内部配置的示例的框图。

图8是示出了根据本公开的实施例的FB校正处理的操作示例的流程图。

图9是示出了根据本公开的实施例的全面脸部闪光处理的操作示例的流程图。

图10是示出了根据本公开的实施例的闪光去除处理的操作示例的流程图。

图11是示出了在FB在两个帧中连续生成的情形中的根据本公开的实施例的输出帧的示例的示意图。

图12A和图12B是示出了FB在三个帧中连续生成的情形中的根据本公开的实施例的输出帧的示例的示意图。

图13A至图13C是示出了FB在四个或更多个帧中连续生成的情形中的根据本公开的实施例的输出帧的示例的示意图。

图14是示出了在FB在一帧中完成的情形中的根据本公开的实施例的输出帧的示例的示意图。

图15A和图15B是示出了在相关技术中生成在帧中的FB的示例的示意图。

具体实施方式

以下，将描述实现本公开(以下，称为实施例)的模式。将以如下的次序呈现该描述。

1.实施例(检测到FB并校FB的处理的示例)

2.修改后的示例

<1.实施例>

[检测到FB并校正FB的处理的示例]

以下，将参照图1至图14来描述本公开的实施例。在本实施例中，将描述检测在帧中所生成的FB并校正所检测到的FB的视频信号处理电路3以及包括该视频信号处理电路3的成像装置1的示例(以下，称为“本示例”)。

图1示出了本示例的成像装置1的内部配置的示例。

首先，将描述利用通用相机系统的成像装置1。与本公开相关的技术也被应用于在成像装置1中所使用的成像处理方法。

成像装置1包括成像单元2和对从成像单元2接收的视频信号执行预定处理的视频信号处理电路3，该成像单元2包括成像设备的滚动快门系统、透镜系统等，以及三原色的输出视频信号。关于该成像设备，例如使用CMOS(互补金属氧化物半导体)传感器。在图中并未示出包括在成像单元2中的成像设备、透镜系统等。

成像设备针对每个像素对通过透镜系统入射到目标的图像光进行曝光，并且，针对每行读出视频信号。存在如下的情形：由于闪光，针对每帧，在帧中的行等级差异FB基于在由包括在成像设备中的像素所输出的视频信号的曝光时段中的针对每行的差异而生成。然后，通过利用A/D(模拟/数字)转换单元，成像单元2将由成像设备所读出的视频信号从模拟信号转换成数字信号，从而生成量化的视频信号。

视频信号处理电路3包括校正从成像单元2所接收的视频信号的缺陷的成像系统校正单元31，以及根据指令调整视频信号的增益等的增益调整单元32，该指令由用户等做出，从在图中未示出的操作单元发送出来。在本示例中，成像系统校正单元31和增益调整单元32被组合，以被用作执行对视频信号的线性校正的线性校正单元。

将稍后描述的闪光带检测电路10(参见图2)检测FB的出现以及FB的开始行和结束行，并且，优选地被安装在成像系统校正单元31或增益调整单元32中。根据本公开的实施例的闪光带检测电路10和包括在线性校正单元中的闪光带校正电路17检测在帧中所生成的FB的开始行和结束行，并被用作校正FB的闪光带处理电路和处理闪光带的方法。另外，闪光带校正电路17被用作闪光带校正单元。

另外，闪光带处理电路检测当前由成像设备输出的当前帧中的FB的出现。另外，在当前帧之前的预定数量帧到当前帧之间，闪光带处理电路检测由成像设备输出的过去的帧中的FB的生成。在以下所呈现的描述中，当前帧的视频被缩写为“当前帧”，而过去帧的视频被缩写为“过去帧”。

另外，视频信号处理电路3包括执行对视频信号的拐点校正(kneecorrection)的拐点校正单元33和对视频信号执行伽玛校正的伽玛校正单元34。拐点校正单元33和伽玛校正单元34被组合，以便被用作对视频信号执行非线性校正的非线性校正单元。另外，视频信号处理电路3包括输出信号生成单元35，该输出信号生成单元将用于输出从伽玛校正单元34接收的视频信号的输出信号输出到外部记录介质(闪存、HDD等)。

由成像单元2输出的三原色R、G和B的视频信号被成像系统校正单元31和增益调整单元32适当地线性处理，并且然后，其等级被拐点校正单元33压缩，以便被设置在预定信号规格中。另外，为了对应于诸如CRT(阴极射线管)之类的监视器(视频信号从该监视器输出)的伽玛(gamma)，伽玛校正单元34执行对视频信号的伽玛校正。之后，输出信号生成单元35将视频信号转换成最终输出格式，以用于将其输出到监视器等，并且，将已转换的视频信号输出。

图2示出了检测在帧中生成的FB的闪光带检测电路10的内部配置和闪光带校正电路17的示例。

闪光带检测电路10比较帧之间的等级，其中，当前帧和过去帧针对每个像素是连续的，以便获得对比结果，其指定等级线，其中，基于比较结果，等级的变化量很大，并且，检测变化量大的连续等级线和变化量小的等级线之间的边界线，从而检测闪光带的生成。

闪光带检测电路10包括记录过去帧的记录单元11和比较当前帧和过去帧的等级的等级比较单元12。另外，闪光带检测电路10包括水平方向积分单元13，该水平方向积分单元接收作为针对每个像素从等级比较单元12判定的每个像素的等级的变化的结果的变化量判定值(0或1)并计算在水平方向上的每行的当前帧的积分。以下，等级的变化被称为“等级变化”，而等级的变化量被称为“等级变化量”。

水平方向积分单元13包括两种类型的水平方向积分部件13a和13d。水平方向积分部件13a直接将从在水平方向上的等级比较单元12输出的变化量判定值进行积分。在另一方面，水平方向积分部件13d包括一行延迟部件13b和减法部件13c，该一行延迟部件13b存储在水平方向上的一行的变化量判定值，减法部件13c从作为处理目标从等级比较单元12读出的当前行的变化量判定值中减去由一行延迟部件13b所延迟的一行的变化量判定值。

另外，闪光带检测电路10包括区域判定单元14，该区域判定单元14基于从稍后描述的判定保持单元16所接收的在水平方向上的积分值判定值和FB开始行判定值以及FB结束行判定值从过去帧的等级来判定其中生成了FB的区域的等级的增加或减少。

另外，包括垂直方向积分单元15，该垂直方向积分单元15将行数进行积分，该行所在区域被判定为关于每个各种量判定值的由区域判定单元14输出的增加区域判定值或减少区域判定值(参见图7，其将稍后描述)。垂直方向积分单元15将指示对FB的开始的判定的“FB开始判定值”和指示对FB的结束的判定的“FB结束判定值”输出到判定保持单元16和闪光带校正电路17。用0或1来表示FB开始判定值。当FB开始判定值是0时，其指示FB还未开始。在另一方面，当FB开始判定值是1时，其指示FB已经开始。另外，用0或1来表示FB结束判定值。当FB结束判定值是0时，其指示FB还未结束。在另一方面，当FB结束判定值是1时，其指示FB已经结束。

另外，闪光带检测电路10包括判定保持单元16，该判定保持单元基于FB开始判定值或FB结束判定值(以下，被缩写为“FB开始/结束判定值”)来判定当前帧是否在FB时段中间。该判定保持单元16在一行或一帧时段中保持判定结果。然后，判定保持单元16获得作为对FB的开始行和结束行的判定结果的“FB开始行判定值”和“FB结束行判定值”，并且，将FB开始行判定值和FB结束行判定值输出到区域判定单元14。

闪光带处理电路包括闪光带校正电路17，该闪光带校正电路输出通过基于从垂直方向积分单元15接收的FB开始/结束判定值来校正包括在当前帧和过去帧中的FB所获得的输出帧。闪光带校正电路17基于预先设置的清除模式或复制模式来执行FB校正。此处，其中执行了全面脸部闪光处理、删除去除处理和通过输出(through output)(稍后描述)的处理模式被称为“清除模式”，而其中执行了全面脸部闪光处理和通过输出的处理模式被称为“复制模式”。然后，闪光带校正电路17将其FB根据处理模式被校正的帧作为输出帧输出。

接下来，将描述每个单元的操作示例。

等级比较单元12将位于当前帧和过去帧的特定位置处(在本示例中，是相同的位置(x，y))的像素的亮度等级的比率作为等级变化比而获得。然后，作为指示位于当前帧和之前帧中的相同位置(x，y)处的像素的等级变化量是否大于预定阈值的值，等级比较单元12在变化量小的情形中将“变化量判定值”输出为“0”，而在变化量大的情形中将“变化量判定值”输出为“1”。

作为指示通过对每行进行积分所获得的积分值的绝对值是否大于预定阈值的值，水平方向积分部件13a在积分值小于阈值的情形中输出为0的“积分值判定值”，而在积分值大于阈值的情形中输出为1的“积分值判定值”。另外，水平方向积分单元13输出“积分值符号”，其表示积分值的符号是正的还是负的。

区域判定单元14基于如下值来获得增加区域或减少区域：从水平方向积分单元13输入的积分值判定值和积分值符号、表示FB的开始行或结束行并从判定保持单元16输入的“FB开始行判定值”或“FB结束行判定值”等等。以下，“FB开始行判定值”或“FB结束行判定值”被缩写为“FB开始/结束行判定值”。区域判定单元14在当前帧中包括增加区域的情形中输出“增加区域判定值”，而在当前帧中包括减少区域的情形中输出“减少区域判定值”。此处，其中当前帧中的像素等级高于之前帧中相同位置处的像素等级的区域被称为“增加区域”，而其中当前帧中的像素等级低于过去帧中的像素等级的区域被称为“减少区域”。

垂直方向积分单元15累加被判定为当前帧的垂直方向上的增加区域的行数或被判定为减少区域的行数。然后，当所累加的行数超过预定阈值时，垂直方向积分单元15将指示对FB的开始或结束的判定的FB开始/结束判定值输出到判定保持单元16和闪光带校正电路17。将稍后描述判定其是否在FB时段期间中的处理。

判定保持单元16基于从垂直方向积分单元15输入的FB开始/结束判定值，将FB开始/结束行判定值输出到区域判定单元14。另外，判定保持单元16将判定FB开始/结束行判定值是“在FB时段期间中”还是“不在FB时段期间中”的值输出到区域判定单元14。

闪光带校正电路17通过利用从记录单元11读出的当前帧和过去帧，基于从垂直方向积分单元15接收的FB开始/结束判定值，来对FB进行校正并输出一输出帧。稍后，将参照稍后描述的图8至图14来详细描述由闪光带校正电路17执行的FB校正处理。

在本公开的实施例中，用于判定FB的条件是以下四个条件。

第一条件：位于当前帧和之前帧(过去帧)中相同位置处的像素的等级变化大(等级比较单元12)。

第二条件：在一行中存在许多满足第一条件的像素(水平方向积分单元13)。

第三条件：满足第二条件的行在垂直方向上是连续的(垂直方向积分单元15)。

第四条件：在垂直方向上的高频率分量出现在满足第三条件的一组行中的首行(leading line)中(区域判定单元14)。

在帧中生成FB的情形中，在其在从过去帧的等级增加了亮度等级的正方向上的等级变更的一组行(其中闪光被成像的区域)出现在当前帧中之后，在其在减少了亮度等级的负方向上的等级变更(恢复到原始等级)的一组行出现在当前帧中。因此，在满足第一到第四条件的一组行中，可估计FB的生成，在其生成在区域所具有的边界处，等级从正方向变化到负方向。

第四条件是用于防止错误地将高亮度移动体检测为FB，该高亮度移动体的等级由于其跨越多个帧的移动而在帧中变化。在第四条件中，在存在FB的情形中，存在的如下差异被使用：在存在闪光的时段期间被成像的行的等级与不存在闪光的时段期间被成像的行的等级之间的差异。因此，通过利用第四条件，通过检测帧的垂直方向上的高频分量的存在，可彼此识别闪光和移动体。

接下来，将描述闪光带检测电路10的每个单元的内部配置的示例和其操作的示例。

图3是示出了等级比较单元12的内部配置的示例的框图。

等级比较单元12比较在当前帧和过去帧中的每个像素的等级，从而判定第一条件。

等级比较单元12包括将针对每个像素输出的当前帧的视频信号转换成每个像素的像素值Y的Y转换部件12a，以及将针对每个像素输出的过去帧的视频信号转换成每个像素的像素值Y的Y转换部件12b。另外，等级比较单元12包括减法电路12c，该减法电路12c将从Y转换部件12a输入的亮度值Y从Y转换部件12b输入的亮度值Y中减去。另外，等级比较单元12包括选择部件12d和12e，其每一个选择由Y转换部件12a和12b输出的亮度值Y中的一个并输入所选择的亮度值，以及除法电路12f，该除法电路12f通过将由选择部件12d输出的亮度值Y的等级除以由选择部件12e输出的亮度值Y的等级来获得“等级变化比”。另外，等级比较单元12包括减法电路12g，该减法电路12g基于当前帧和过去帧，通过从第一阈值TH_LV中减去由除法电路12f所获得的等级变化比，输出针对每个像素的像素值Y判定变化量的判定结果。

接下来，将描述等级比较单元12的操作示例。

等级比较单元12将在当前帧和过去帧中特定位置处的像素的亮度等级比率作为等级变化比获得，并且将表示等级变化比是等于还是高于第一阈值(TH_LV)的等级变化量作为变化量判定值获得。

更具体地，Y转换部件12a和12b将输入到等级比较单元12的当前帧和过去帧的每个像素的视频信号转换成亮度值Y，并且，减法电路12c减少在当前帧和过去帧中的每个像素的亮度值Y。此处，减法电路12c在减法结果为正的情形中将“0”作为符号位输出，而在减法结果为负的情形中输出“1”。然后，Y转换部件12a将亮度值Y输入到选择部件12s的输入端口0和选择部件12e的输入端口1。另外，Y转换部件12b将亮度值Y输入到选择部件12d的输入端口1和选择部件12e的输入端口0。

选择部件12d和12e中的每一个基于减法电路12c的减法结果，选择并输出从Y转换部件12a或12b输入到输入端口0或1的当前帧或过去帧中的每个像素的亮度值Y。此处，当从减法电路12c输入的符号位是“1”时，当前帧的亮度值Y的大小大于过去帧的亮度值Y的大小，并且因此，选择部件12d输出当前帧的亮度值Y，而选择部件12e输出过去帧的亮度值Y。选择部件12d在从减法电路12c输入的符号为“0”的情形中将输入到输入端口0的亮度值Y输出，而在符号为“1”的情形中将输入到输入端口1的亮度值Y输出。在另一方面，当输入符号位是“1”时，过去帧的亮度值Y大于当前帧的亮度值Y，并且因此，选择部件12d输出过去帧的亮度值Y，而选择部件12e输出当前帧的亮度值Y。在从减法电路12c输入的符号为“0”的情形中，选择部件12e将输入到输入端口0的亮度值Y输出，而在符号为“1”的情形中，将输入到输入端口1的亮度值Y输出。

除法电路12f将如下值作为“等级变化比”获得：从选择部件12d输出的具有更高等级的像素的亮度值Y的等级与从选择部件12w输出的具有更低等级的像素的亮度值Y的等级的比率。在图中所示的等级变化比被近似地记录为“更高等级/更低等级”。然后，除法电路12f不仅将等级变化比输出到减法电路12g，还其输出到闪光带校正电路17。

在等级变化比高于阈值TH_LV的情形中，减法电路12g输出像素的存在，该像素满足包括在变化量判定值中的第一条件。在当前帧和过去帧中相同位置处的像素的等级的变化量小的情形中，该变化量判定值被输出为“0”，而在变化大的情形中，被输出为“1”。另外，减法电路12c将“变化量符号”作为变化方向输出，该变化方向表示正等级变化量和负等级变化量中的一个。在包括在当前帧中的像素等级高于过去帧中的像素等级的情形中，变化量符号是正的，并且被设置为“0”。在另一方面，在包括在过去帧中的像素等级高于当前帧中的像素等级的情形中，变化量符号是负的，并且被设置为“1”。

接下来，水平方向积分单元13针对在水平方向上的每行，对由等级比较单元12输出的变化量判定值进行积分，以便判定第二条件。

图4是示出了水平方向积分单元13的内部配置示例的框图。

水平方向积分单元13包括水平方向积分部件13a，该水平方向积分部件13a通过对在水平方向上的每一行具有更大变化量的像素的变化量判定值进行积分来获得积分值。另外，水平方向积分单元13包括水平方向积分部件13d，该水平方向积分部件13d通过对经过每一行的高通滤波器的变化量判定值进行积分来获得积分值。在变化量判定值是“0”的情形中，通过利用水平方向积分部件13a来对每行进行积分所获得的积分值是“0”。在另一方面，在变化量判定值是“1”的情形中，作为对变化量判定值进行积分的结果，积分值与具有更大变化量的像素数相同。

水平方向积分部件13a包括乘法部分13a1，该乘法部分13a1将从等级比较单元12输入的变化量判定值乘以-1。另外，水平方向积分部件13a包括选择部分13a2，该选择部分13a2输入通过利用乘法部分13a1将从等级比较单元12输入的变化量判定值乘以-1所获得的变化量判定值，并且，基于从等级比较单元12输入的变化量符号，将所选择的变化量判定值输出。另外，水平方向积分部件13a包括相加电路13a3，该相加电路13a3对由选择部分13a2输出的对应于在水平方向上的一行的变化量判定值进行积分，和绝对值转换部分13a4，该绝对值转换部分13a4将积分值转换成绝对值。另外，水平方向积分部件13a包括减法电路13a5，该减法电路13a5通过将由绝对值转换部分13a4输出的绝对值减去阈值TH_INTEG来输出“积分值判定值”，该“积分值判定值”用于判定积分值的大小关系。

接下来，将描述水平方向积分单元13的操作示例。

水平方向积分单元13的水平方向积分部件13a通过对变化量判定值进行积分来获得水平方向积分值，该变化量判定值的等级变化比等于或高于包括在当前帧的等级线中的每个像素的第一阈值(TH_LV)。然后，水平方向积分部件13a获得指示在水平方向上的积分值是否等于或大于第二阈值(TH_INTEG)的积分值判定值，并且获得表示正号或负号之一的积分值符号。

包括在水平方向积分部件13a中的乘法部分13a1将通过把可变量判定值乘以-1所获得的值输入到选择部分13a2的输入端口1。此处，在满足第一条件的像素的变化量判定值是1的情形中，乘法部分13a1将把其乘以-1所获得的-1输出到选择部分13a2。在另一方面，在满足第一条件的像素的变化量判定值是0的情形中，乘法部分13a1将把其乘以-1所获得的0输出到选择部分13a2。变化量判定值被直接输入到选择部分13a2的输入端口0。

在变化量符号是0的情形中，选择部分13a2将变化量判定值输出到输入端口0，而在变化量符号是1的情形中，选择部分13a2将变化量判定值输出到输入端口1。加法电路13a3通过将由对应于一行的选择部分13a2所输出的变化量判定值进行积分来获得积分值。此处，在变化量小的情形中，变化量判定值是0，并且变化量符号是0，由加法电路13a3所积分的积分值是0。在变化量大的情形中，根据变化量符号由选择部分13a2所输出的变化量判定值是积分带有正号或负号的积分值。加法电路13a3将“积分值符号”作为知识积分值是正的还是负的的符号输出。在积分值是正的的情形中，积分值符号被输出为0，而在积分值是负的的情形中，积分值符号被输出为1。

绝对值转换部分13a4计算带有正号或负号的积分值的绝对值，并且，减法电路13a5从阈值TH_INTEG中减去绝对值并判断绝对值的大小关系。在绝对值比阈值TH_INTEG足够大得多的情形中，减法电路13a5将判定结果作为“积分值判定值”输出。此处，在积分值的绝对值小于阈值TH_INTEG的情形中，减法电路13a5将积分值判定值输出为0，而在积分值的绝对值等于或大于阈值TH_INTEG的情形中，减法电路13a5将积分值判定值输出为1。

水平方向积分单元13的水平方向积分部分13d执行类似于上述的水平方向积分部分13a的处理的处理，并且因此，对省略了对每个框的详细描述，与配置水平方向积分部分13a的框相同的参考标号被指派给该每个框。但是，为了在水平方向积分部件13d中判定增加区域或减少区域的开始行(第四条件)，一行延迟部件13b被布置在选择部分13a2和加法电路13a3之间。换言之，水平方向积分部件13d获得“HPF积分值”，该HPF积分值是通过从对包括在垂直方向中的彼此邻接的行中并位于水平方向中的相同位置处的每个像素的其他变化量判定值中减去一个变化量判定值的结果进行积分所获得的。此时，减法部件13c通过从出现在输入到水平方向积分部件13d的坐标x的位置处的像素所获得的变化量判定值中减去位于在x方向上的相同位置处并在y方向上被延迟一行的像素所获得的变化量判定值来获得差值。然后，加法电路13a3通过对一行的差值进行积分而获得HPF积分值。另外，水平方向积分部件13d获得HPF积分值判定值，该HPF积分值判定值指示HPF积分值是等于还是大于第五阈值(TH_HPF_INTEG)，并且，水平方向积分部件13d获得HPF积分值符号，该HPF积分值符号表示HPF积分值的符号是正号还是负号。

将一行延迟部件13b和减法部件13c布置在水平方向积分部件13d中的原因是识别FB和视频，该视频通过利用某现象来捕获彼此具有高亮度的运动体而被获得，在该现象中，在通过对具有高亮度的运动体进行成像所获得的视频帧的每行中，彼此的亮度不同。当FB被生成，包括在垂直方向上彼此邻接的行中的像素的亮度值Y的变化量相当大。但是，在对具有高亮度的运动体进行成像的情形中，包括在垂直方向上彼此邻接的行中的像素的亮度值Y的变化量小。因此，通过将一行延迟部件13b、减法部件13c和加法电路13a3用作高通滤波器，判定在垂直方向上是否出现高频分量，并且，仅有FB能被正确识别，而不将通过对具有高亮度的运动体进行成像所获得的识别错误地识别为FB。

之后，减法电路13a5比较由绝对值转换部分13a4所转换的绝对值和阈值TH_HPF_INTEG，并且，输出“HPF积分值判定值”，以用于判定经过高通滤波器的积分值的大小关系。另外，加法电路13a3将“HPF积分值符号”作为指示HPF积分值的符号是正的还是负的的符号输出。由于当前行的变化量判定值和位于当前行之前的一行的变化量判定值的差值是积分目标，因此，HPF积分值判定值可被用于判定在垂直方向是否存在高频分量。在HPF积分值的绝对值小于阈值TH_HPF_INTEG的情形中，HPF积分值判定值被输出为0，而在HPF积分值的绝对值等于或大于阈值TH_HPF_INTEG的情形中，HPF积分值判定值被输出为1。另外，在HPF积分值是正的的情形中，HPF积分值的符号被输出为0，而在HPF积分值是负的的情形中，HPF积分值的符号被输出为1。

接下来，区域判定单元14基于水平方向积分单元13的输出结果判定第四条件是否满足。此时，保持在判定保持单元16中的FB判定结果被使用。因此，首先，将描述配置的示例和判定保持单元16的操作。

图5是示出了判定保持单元16的内部配置的示例的框图。

判定保持单元16包括与(AND)电路16a，该与电路16a获得从垂直方向积分单元15输入的FB开始判定值和行时段的重置信号的逻辑积，并且，针对每行输出FB开始判定值。另外，判定保持单元16包括与电路16b，该与电路16b获得从垂直方向积分单元15输入的FB结束判定值和行时段的重置信号的逻辑积，并且，针对每行输出FB结束判定值。另外，判定保持单元16包括具有S(设置)端子的锁存电路16c和16f，由与电路输出的FB开始判定值被输入到该S端子。锁存电路16f的输出被用作表示FB开始行的FB开始行判定值。

另外，判定保持单元16包括与电路16d，该与电路16d获得锁存电路16c的输出信号的反向信号和帧时段的重置信号的逻辑积。另外，判定保持单元16包括或电路16e，该或电路16e获得与电路16b和16d的信号的逻辑和，并且，将结果信号输出到锁存电路16f的R(重置)端子。另外，判定保持单元16包括或电路16g，与电路16a的输出信号和帧时段的重置信号被输入到该或电路16g，并且，判定保持单元16包括锁存电路16h，该锁存电路16h具有S端子(与电路16b的输出信号被输入到该端子)和R端子(或电路16g的输出信号被输入到该端子)。锁存电路16h的输出被用作表示FB结束行的FB结束行判定值。

另外，判定保持单元16包括与电路16i，该与电路16i获得锁存电路16f的输出信号和帧时段的重置信号的逻辑积，并且，判定保持单元16包括锁存电路16j，该锁存电路16j包括S端子(与电路16i的输出信号被输入到该端子)。0被输入到锁存电路16j的R端子。另外，判定保持单元16包括与电路16k，该与电路16k获得锁存电路16f的输出信号和锁存电路16j的反向信号的逻辑积，并且，判定保持单元16包括与电路16l，该与电路16l获得锁存电路16h和16j的输出信号的逻辑积。与电路16k的输出信号被用作表示“不在FB时段期间和FB开始行判定值”。由与电路16l所输出的输出值被用于表示“在FB时段期间和FB结束行判定值”。

接下来，将描述判定保持单元16的操作的示例。

判定保持单元16基于帧的行时段和根据行时段的帧时段以及帧时段，针对预定时段保持FB开始判定值和FB结束判定值。然后，判定保持单元16基于FB开始判定值将表示对FB开始行的位置的判定的FB开始行判定值输出到区域判定单元14，并且，基于FB结束判定值将表示对FB结束行的位置的判定的FB结束行判定值输出到区域判定单元14。

更具体地，判定保持单元16保持在行时段和帧时段处的FB开始/结束判定值(其为垂直方向积分单元15的输出结果)，并且，基于在行时段处所保持的FB开始/结束判定值，将FB开始/结束行判定值输出。然后，判定保持单元16通过组合在帧时段处所保持的FB开始/结束行判定值，一起输出“不在FB时段期间和FB开始行判定值”和“在FB时段期间和FB结束行判定值”。

“不在FB时段期间和FB开始行判定值”被用于检测FB(参见图14)，该FB在一帧中完成。在这种情形中，对应于FB提示结束(tipend)的当前帧的像素等级并未从过去帧的等级中改变。因此，FB的提示结束并不是等级在负方向上变化的行，而是等级不变化的行。“在FB时段期间和FB结束行判定值”被用于检测FB是连续的，并且，在一帧中FB的结束紧接其后，下一FB开始(参见图12A和图12B)。在这种情形中，对应于在当前帧中所开始的FB的开始结束的行的像素等级并未从当前帧的等级中改变。因此，FB的开始结束并不是等级在正方向上变化的行，而是等级不变化的行。

接下来，将描述区域判定单元14的配置和操作的示例。

图6是示出了区域判定单元14的内部配置的示例的框图。

区域判定单元14包括与电路14a，该与电路14a获得从水平方向积分部件13a输入的积分值判定值和反向积分值符号的逻辑积，并且，区域判定单元14包括与电路14b，该与电路14b获得积分值判定值和积分值符号的逻辑积。另外，区域判定单元14包括与电路14c，该与电路14c获得从水平方向积分部件13d输入的HPF积分值判定值和反向HPF积分值符号的逻辑积，并且，区域判定单元14包括与电路14d，该与电路14d获得HPF积分值判定值和HPF积分值符号的逻辑积。

另外，区域判定单元14包括或电路14e，该或电路14e将与电路14c的输出信号和从稍后描述的与电路14m输出的增加区域判定值作为输入接收，并且，获得其逻辑积。另外，区域判定单元14包括或电路14f，该或电路14f将与电路14d的输出信号和由稍后描述的与电路14n输出的增加的区域判定值作为输入接收，并且，获得其逻辑积。

另外，区域判定单元14包括与电路14g，该与电路14g将与电路14a和或电路14e的输出信号作为输入接收，并且，获得其逻辑积，并且，区域判定单元14包括与电路14h，该与电路14h将与电路14b的方向输出信号和或电路14e的输出信号作为输入接收，并且，获得其逻辑积。另外，区域判定单元14包括与电路14i，该与电路14i将与电路14a的反向输出信号和或电路14f的输出信号作为输入接收，并且，获得其逻辑积，并且，区域判定单元14包括与电路14j，该与电路14j将与电路14b和或电路14f的输出信号作为输入接收，并且，获得其逻辑积。

另外，区域判定单元14包括选择部件14k，该选择部件14k选择将与电路14g和14h的输出信号输入到输入端口0和1，并且，基于“在FB时段期间和FB结束行判定值”的输入，将所选择的输出信号输出。另外，区域判定单元14包括选择部件14l，该选择部件14l选择将与电路14i和14j的输出信号输入到端口1和0，并且，基于“不在FB时段期间和FB开始行判定值”的输入，将所选择的输出信号输出。另外，区域判定单元14包括与电路14m，该与电路14m获得选择部件14k的输出信号和反向“FB开始行判定值”的逻辑积，并且，区域判定单元14包括与电路14n，该与电路14n获得选择部件14l的输出信号和反向“FB结束行判定值”的逻辑积。与电路14m将增加区域判定值输出到垂直积分单元15，并且，与电路14n将增加区域判定值输出到垂直方向积分单元15。

接下来，将描述区域判定值14的操作的示例。

基于积分值判定值和积分值符号，在积分值符号是正的的情形中，区域判定单元14输出表示对增加区域的判定的增加区域判定值，在该增加区域中，包括在当前帧中的像素的亮度高于包括在过去帧中的像素的亮度。在另一方面，在积分值符号是负的的情形中，区域判定单元14输出表示对减少区域的判定的减少区域判定值，在该减少区域中，包括在当前帧中的像素的亮度低于包括在过去帧中的像素的亮度。另外，区域判定单元14通过基于HPF积分值判定值和HPF积分值符号来判定在垂直方向上是否出现高频分量，从而基于闪光来检测是否出现FB。

在如下情形中，区域判定单元14判定增加区域：“在FB时段期间和FB结束行判定值”为1、HPF积分值判定值为1，以及HPF积分值符号是0(正的)。该增加区域是一组行，该行到达至积分值是1(积分值在负方向上大)的行，并且，在该行之后，积分值判定值是1。另外，在如下情形中，增加区域在判定：“在FB时段期间和FB结束行判定值”是0、HPF积分值判定值是1，并且HPF积分值符号是0(正的)。该增加区域是一组行，在该组行之后，积分值判定值是1，并且，积分值符号是0(积分值在正方向上大)。增加区域是满足第一、第二和第四条件的区域，并且，具有在正方向上变化的等级(等级在负方向上不变化)。

在另一方面，在如下情形中，在到达积分值在正方向上增加的行之后的一组行被判定为减少区域：“不在FB时段期间和FB开始行判定值”是1、HPF积分值判定值是1，并且，HPF积分值符号是1。另外，在如下情形中，在到达积分值在负方向上增加的行之后的一组行被判定为减少区域：“不在FB时段期间和FB开始行判定值”是0、HPF积分值判定值是1，并且，HPF积分值符号是1。减少区域是满足第一、第二和第四条件的区域，并且，具有在负方向上变化的等级(或不在正方向上变化的等级)。

接下来，垂直方向积分单元15判定通过基于区域判定单元14的输出结果对一组连续行进行积分(计数)来判定是否满足第三条件。以下，将描述垂直方向积分单元15的配置和操作示例。

图7是示出了垂直方向积分单元15的内部配置的示例的框图。

垂直方向积分单元15包括计数器15a，该计数器15a在从区域判定单元14输入的区域判定值是1的情形中，对计数值进行积分，而在增加区域判定值是0的情形中，将计数值重置，并且，垂直方向积分单元15包括减法部件15b，该减法部件15b通过从阈值TH_UP_LINES中减去计数值而获得相减值。当认识到增加区域的数量大于由阈值TH_UP_LINES所定义的行数时，减法部件15b输出FB开始判定值。另外，垂直方向积分单元15包括计数器15c，该计数器15c在从区域判定单元14输入的增加区域判定值是1的情形中，对计数值进行积分，而在减少区域判定值是0的情形中，将计数值重置，并且，垂直方向积分单元15包括减法部件15d，该减法部件15d从阈值TH_DN_LINES中减去计数值。当认识到增加区域的数量大于由阈值TH_DN_LINES所定义的行数时，减法部件15d输出FB结束判定值。

接下来，将描述垂直方向积分单元15的操作的示例。

此时，在通过针对在垂直方向上的每行的增加区域判定值进行积分所获得的增加区域判定值积分值等于或大于第三阈值(TH_UP_LINES)的情形中，垂直方向积分单元15输出表示FB在帧中开始的FB开始判定值。另外，在通过针对在垂直方向上的每行的减少区域判定值进行积分所获得的减少区域判定值积分值等于或大于第四阈值(TH_DN_LINES)的情形中，垂直方向积分单元15输出表示FB在帧中结束的FB结束判定值。

更具体地，计数器15a对其增加区域判定值是1(等级在满足第一、第二和第四条件的区域中的正方向上变化)的连续行的数量进行计数。在所计数的值大于阈值TH_UP_LINES的情形中，减法部件15b判定FB的开始，并且，将增加区域判定值重置为0。在另一方面，计数器15c对减少区域判定值是1的行的数量进行计数。然后，在所计数的值大于阈值TH_DN_LINES的情形中，减法部件15d判定FB的结束，并且，将减少区域判定值重置为0。

闪光带校正电路17判定一组行，该组行开始于垂直方向积分单元15输出FB开始判定值的行，并结束于FB结束判定值被作为“FB估计部件”输出的行，该部件被估计为其中FB是连续的的部件。另外，在如下情形中，FB结束判定值是无效的：FB的结束是在未判定FB的开始的状态中判定的。

然后，将描述基于FB开始/结束判定值利用当前帧和过去帧来执行FB校正的闪光带校正电路17的处理的示例。

图8是示出了FB校正处理的操作示例的流程图。

首先，闪光带校正电路17基于由闪光带检测电路10输出的FB开始/结束判定值来判定FB开始判定值是否出现在帧中(步骤S1)。在未出现FB开始判定值的情形中，过去帧(用于检测FB的目标帧)被直接输出(以下，称为“通过输出“)，而不执行对其的任何校正处理(步骤S2)。在该通过输出中，不仅输出通过复制过去帧所获得的输出阵，而且存在通过复制当前帧所获得的输出帧被输出的情形。

在出现FB开始判定值的情形中，判定FB结束判定值是否出现在帧中(步骤S3)。在未出现FB结束判定值的情形中，可以估计，其当前在FB时段期间内。在这种情形中，“全面脸部闪光处理”被执行，其中，比较包括在当前帧和过去帧中的像素的亮度值，并且，输出将要替换到具有更大亮度值的像素中的输出帧，从而决定由于FB而导致的等级中差异(步骤S4)。通过全面脸部处理，在特定帧中的像素的等级可被提升，以便在整个脸部上均匀。另外，在包括当前帧和过去帧的两帧中，可添加(平均)像素。但是，通过平均而进行闪光校正之后的等级是原始等级的1/2。

在步骤S3的处理中，在出现FB开始判定值和FB结束判定值的情形中，可以估计，当前行在FB的结束之后。在这种情形中，执行“闪光去除处理”(步骤S4)，其中，通过比较包括在当前帧和过去帧中的像素的亮度值以及输出将要替换到具有更低亮度的像素中的输出帧，闪光的影响被去除。另外，“复制模式”可被选择，其中，当前帧是通过输出(参见图11至图14)。但是，在下一个将要开始的FB被包括在完成FB的当前帧中的情形中，当通过输出被执行时，以下所公开的FB被直接表示。

针对在一帧中完成的FB(图14)，在其中开始了FB的帧紧接其后的帧被估计为在FB的结束之后。因此，通过降低帧中的等级以在整个脸部均匀，用于排除闪光的闪光去除处理被执行。在一帧中完成的FB的情形中，由于闪光被成像的区域并未出现在过去帧中，并且因此，很难执行组合了当前帧和过去帧的全面脸部闪光处理。因此，FB被从当前帧中去除的“闪光去除处理”是有效的校正方法。

图9是示出了在图8中所示出的步骤S4中所描述的全面脸部闪光处理的操作示例的流程图。在全面脸部闪光处理中，如下处理被执行：包括在当前帧和过去帧中的具有高等级的亮像素被在输出帧中收集。

首先，闪光带校正电路17比较在当前帧和过去帧中的每个像素的等级(步骤S11)。然后，判定包括在当前帧中的像素的等级是否高于包括在过去帧中的像素的等级(步骤S12)。

接下来，在包括在当前帧中的像素的等级高于包括在过去帧中的像素的等级的情形中，判定通过将当前帧的像素的等级除以过去帧的像素的等级所获得的“等级变化率”是否大于阈值TH_LV(步骤S13)。在该等级变化率大于阈值TH_LV的情形中，输出帧被输出(步骤S14)，其中，其等级低的像素被替换为过去帧中具有高等级的像素。

在另一方面，在等级变化率低(等于或小于阈值TH_LV)的情形中，根据等级变化率，当前帧的等级和过去帧的等级通过α被混合。在变化率是1的情形(等级相同)中，此时的混合率α被设置为0.5，而在变化率是TH_LV的情形中，被设置为1.0。当具有更高等级的像素的等级是H并且具有更低等级的像素的等级式L的情形中，以下计算方程满足上述混合率α。在以下呈现的描述中，为了简化方程，存在如下情形：包括在当前帧中的像素的等级被缩写为“当前的”，而包括在过去帧中的像素的等级被缩写为“过去的”。

在本示例的闪光带校正电路17中，α＝(当前的-过去的)/(2×过去的×(TH_LV-1)+1/2)，并且，当前的×α+过去的×(1-α)的处理被执行(步骤S15)。另外，优选的是，应用低通滤波器(LPF)，使得混合率α在帧的空间方向上是平滑的。因此，通过生成图像(其中，闪光在整个脸部上成像)，输出帧被输出。

同样，在当前帧的像素等于或低于过去帧的像素的情形中，类似于步骤S13，闪光带校正电路17判定等级变化率是否高于在步骤S12的处理中的阈值TH_LV(步骤S16)。在等级变化率高于阈值TH_LV的情形中，通过将在过去帧中具有低等级的像素替换为在当前帧中具有高等级的像素，输出帧被输出(步骤S17)。

在等级变化率低(等于或低于阈值TH_LV)的情形中，闪光带校正电路17根据等级变化率通过a混合等将像素等级混合。在本示例中，α＝(过去的-当前的)/(2x当前的x(TH_LV-1))+1/2，并且，当前的x(1-α)+过去的xα的处理被执行(步骤S15)。另外，希望应用低通滤波器，使得混合率α在帧的空间方向上是平滑的。因此，输出帧被输出，其中，闪光在整个脸部上被成像的视频被生成。

图10是示出了在图8中所示的步骤S5中所描述的闪光去除处理的操作示例的流程图。在该闪光去除处理中，如下处理被执行：具有包括在当前帧和过去帧中的低等级的黑像素被在输出帧中收集。

不同于参照图9所描述的全面脸部闪光处理，闪光带校正电路17将在当前帧中具有高等级的像素替换为在过去帧中具有低等级的像素。更具体地，针对在全面脸部闪光处理中所计算的混合率α，可将1-α设置为混合率。因此，可生成其中闪光未被包括在帧的整个脸部中的视频，换言之，可生成其中FB被去除的视频。

首先，闪光带校正电路17比较在当前帧和过去帧中的每个像素的等级(步骤S21)。然后，闪光带校正电路17判定包括在当前帧中的像素的等级是否高于包括在过去帧中的像素的等级(步骤S22)。

接下来，在包括在当前帧中的像素的等级高于包括在过去帧中的像素的等级的情形中，闪光带校正电路17判定等级变化率是否高于阈值TH_LV(步骤S23)。在等级变化率高于阈值TH_LV的情形中，通过将在过去帧中具有高等级的像素替换为在当前帧中具有低等级的像素，输出帧被输出(步骤S24)。

在等级变化率低(等于或低于阈值TH_LV)的情形中，闪光带校正电路17根据等级变化率通过a混合等将等级混合。在变化率是1(等级相同)的情形中，此时的混合率a被设置为值0.5，而在变化率是TH_LV的情形中，被设置为1.0。

在本示例的闪光带校正电路17中，α＝(当前的-过去的)/(2x过去的x(TH_LV-1))+1/2，并且，当前的x(1-α)+过去的xα的处理被执行(步骤S25)。另外，优选的是，应用低通滤波器，使得混合率α在帧的空间方向上是平滑的。因此，通过生成在整个脸部上去除了FB的图像，输出帧被输出。

在步骤S22的处理中，同样，在当前帧的像素的等级等于或低于过去帧的像素的等级的情形中，类似于步骤S23，闪光带校正电路17判定等级变化率是否高于阈值TH_LV(步骤S26)。在等级变化率高于阈值TH_LV的情形中，通过将在过去帧中具有高等级的像素替换为在当前帧中具有低等级的像素，输出帧被输出(步骤S27)。

在等级变化率低(等于或低于阈值TH_LV)的情形中，闪光带校正电路17根据等级变化率通过α混合等将像素的等级混合(步骤S26)。闪光带校正电路17将α设置为α＝(过去的-当前的)/(2x当前的x(TH_LV-1))+1/2，并且，执行当前的xα+过去的x(1-α)的处理(步骤S25)。另外，希望应用低通滤波器，使得混合率α在帧的空间方向上是平滑的。因此，输出帧被输出，其中，视频被在与当闪光在整个脸部上时的状态相同的状态中成像。

接下来，将参照图11至图14来描述操作示例，其中，闪光带检测电路10检测在帧中所生成的FB，并且，闪光带校正电路17对FB进行校正。

图11示出了在FB在两帧中连续生成的情形中的输出帧的示例。

在图11中，从第一帧到第五帧，示出了输入到闪光带检测电路10的视频帧。在本示例中，FB在第二帧的下部和第三帧的上部生成。

闪光带检测电路10从FB的第二帧的开始行在输入的视频帧中检测增加区域，并且，从FB的第三帧的结束行检测减少区域。然后，闪光带校正电路17将第一帧作为也在去除模式和复制模式之中的一个中的通过输出输出。接下来，闪光带校正电路17执行全面脸部闪光处理，其中，第二帧和第三帧的增加区域被组合，并且，输出结果。接下来，在去除模式中，第三帧和第四帧的减少区域被组合和输出，闪光被去除。在另一方面，在复制模式中，第四帧被作为通过输出输出。由于在那之后FB校正对输出帧而言不是必须的，因此，输出帧别直接作为通过输出输出。

另外，当通过输出被执行时，闪光带校正电路17将在当前帧之前一帧的过去帧设置为输出帧。但是，在FB包括在当前帧的前一帧中的帧之中并且全面脸部闪光处理或闪光去除处理未执行的情形中，作为通过输出而被输出的帧被变更，使得当前帧被设置为输出帧，并且之后，过去帧被设置为输出帧。

图12A和12B是示出了FB在三帧中连续生成的情形中的输出帧的示例的示意图。

在图12A和图12B中，从第一帧到第六帧示出了输入到闪光带检测电路10的视频帧。在本示例中，从第二帧到第四帧，FB被生成两次。

图12A示出了在FB中存在中断的情形中的FB检测处理和FB校正处理的示例。

在本示例中，虽然FB从第二帧到第四帧中生成，闪光在短时间内连续，但是，FB被在第三帧中中断。在这种情形中，闪光带检测电路10从包括在第一次出现闪光的第二帧中的FB开始行检测增加区域，并且，识别到FB结束行，在该行处，减少区域被检测为FB估计部分。另外，在第三帧中，从闪光结束处的FB结束行检测减少区域，并且接下来，从包括在闪光再次出现的区域中的FB开始行检测增加区域。然后，在第四帧中，从闪光被中断处的FB结束行识别减少区域，并且，还在第五帧中识别减少区域。

然后，在去除模式和复制模式中的任意一个中的闪光带校正电路17将第一帧作为通过输出而输出，并且通过组合增加区域，将第二帧和第三帧以及第三帧和第四帧作为整个脸部闪光输出。另外，在去除模式中，第四帧和第五帧的减少区域被组合并通过去除闪光而输出。另外，在复制模式中，第五帧被作为通过输出而输出。针对在那之后的输出帧，FB校正不是必须的，并且，输出帧被直接作为通过输出而输出。

图12B示出了在FB中不存在中断的情形中的FB检测处理和FB校正处理的示例。

图12B与图12A的不同之处在于：在第三帧中不存在FB中断。因此，闪光带检测电路10通过在每帧中检测增加区域和减少区域而检测FB的生成。然后，如在图12A中所示，闪光带校正电路17输出其中FB被作为通过输出生成的帧，并且，输出其中通过组合增加区域而生成FB的帧。另外，闪光带校正电路17输出其中包括了FB结束行和通过组合下一帧的减少区域而被去除的闪光的帧。

图13A至图13C示出了FB在四个或更多个帧中被连续生成的情形中的输出帧的示例。

在图13A至图13C中，从第一帧到第七帧示出了输入到闪光带检测电路10的视频帧。在本示例中，从第二帧到第五帧，FB被生成两次。

图13A示出了在FB在四帧上连续生成并且在一帧上存在FB中断的情形中的FB检测处理和FB校正处理的示例。

在本示例中，虽然从第二帧到第五帧中生成FB，闪光在短时间内连续，但是，从第三帧到第四帧，FB被中断。FB被中断的时段具有等于或长于一帧的长度。在这种情形中，闪光带检测电路10识别区域，其中，从第二帧到第三帧并从第四帧到第五帧，增加区域被检测为FB估计部分。另外，闪光带检测电路10将从第三帧的FB结束行到第四帧和第五帧以及之后处闪光被中断的区域识别为减少区域。

然后，在去除模式和复制模式中的任意一个中的闪光带校正电路17将第一帧作为通过输出而输出，并且，执行全面脸部闪光处理，其中，针对第二帧、第三帧、第四帧和第五帧，增加区域被组合，并且，输出经过处理后的帧。另外，在去除模式中，针对第三帧和第四帧执行全面脸部闪光处理，并且，通过组合其减少区域并执行针对其的闪光去除处理来输出第五帧和第六帧。另外，在复制模式中，第四帧和第五帧被作为通过输出而输出。针对在那之后的输出帧，FB校正不是必须的，并且，输出帧被直接输出为通过输出。

图13B示出了FB在四帧或更多帧中连续生成并在少于一帧中存在FB中断的情形中的FB检测处理和FB校正处理的示例。

在本示例中，虽然从第二帧到第五帧生成了FB，闪光在短时间内是连续的，但是，从第三帧到第四帧，FB被中断。FB被中断的时段具有少于一帧的长度。在这种情形中，闪光带检测电路10将从第二帧到第三帧和从第四帧到第五帧中检测到增加区域的部分识别为FB估计部分。另外，闪光带检测电路10从FB结束行(其中，闪光被从第三帧中断)到第四帧和第五帧和之后帧识别减少区域。

然后，在去除模式和复制模式中的任意一个中的闪光带校正电路17将第一帧作为通过输出而输出，并且，执行全面脸部闪光处理，其中，针对第二帧、第三帧、第四帧和第五帧，增加区域被组合，并且，输出经过处理后的帧。另外，在去除模式中，针对第三帧和第四帧执行全面脸部闪光处理，并且，通过组合其减少区域并执行针对其的闪光去除处理来输出第五帧和第六帧。另外，在复制模式中，第四帧和第五帧被作为通过输出而输出。针对在那之后的输出帧，FB校正不是必须的，并且，输出帧被直接输出为通过输出。

图13C示出了FB在四帧或更多帧上连续生成并在FB中不存在中断的情形中的FB检测处理和FB校正处理的示例。

在本示例中，虽然FB从第二帧到第五帧被生成，闪光存在了很长时间，但是，在FB中不存在中断。在这种情形中，闪光带检测电路10将从第二帧到第五帧检测到增加区域的部分识别为FB估计部分。另外，闪光带检测电路10从FB结束行识别减少区域，闪光被在第五帧和第六帧中中断。

然后，在去除模式和复制模式中的任意一个中的闪光带校正电路17将第一帧作为通过输出而输出，并且，执行全面脸部闪光处理，其中，针对第二帧、第三帧、第四帧，增加区域被组合，并且，将经过处理后的帧作为全面脸部闪光输出。另外，在第四帧之后的输出帧被直接作为通过输出而输出。

图14示出了FB在一帧中完成的情形中的恶输出帧的示例。

在图14中，从第一帧到第四帧示出了输入到闪光带检测电路10的视频帧。在本示例，虽然FB在第二帧中生成，但是，该FB在第二帧中完成。在这种情形中，闪光带检测电路10将在第二帧中检测到增加区域的部分识别为FB估计部分。另外，在第三帧中，闪光带检测电路10从FB结束行识别减少区域，在第二帧中检测到减少区域。

然后，闪光带检测电路17将第一帧作为通过输出而输出。在去除模式中，通过组合第二帧和第三帧并对其执行去除处理，第二帧和第三帧被输出，而在复制模式中，第二帧被作为通过输出而输出。针对在那之后的输出帧，对FB的校正不是必须的，并且，输出帧被直接作为通过输出而输出。

根据实施例的上述闪光带检测电路10通过检测在帧中所生成的FB的开始行和结束行可检测其中实时地生成了FB的帧。因此，通过执行所检测的FB所适合的校正处理，视频处理所必须的时间被缩短，因而存在如下优点：输出帧可实时地输出。

除了两帧连续的FB之外，三帧或更多帧连续的FB或在一帧中完成的FB被检测，并且，所检测到的FB可被校正。另外，不仅可检测到从过去帧到当前帧的FB的生成，还可检测到仅在当前帧中生成的FB，该FB在相关技术中很难检测和校正。由于闪光带校正电路17校正所检测到的FB，仅在一帧或多帧上的FB被有效地校正，因而，可改善输出帧的视频质量。

另外，闪光带校正电路17可通过利用基于由闪光带检测电路10所获得的FB开始/结束判定值的全面脸部闪光处理或闪光去除处理来根据帧中的增加区域和减少区域校正FB。此时，根据如下情形，选择合适的校正方法：FB在两帧或更多帧中连续的情形中的全面脸部闪光或FB在一帧中完成的情形中的闪光去除。另外，通过像素在当前帧和过去帧之间交换的FB校正，与包括在校正前的帧中的原始闪光的等级相比，包括在校正后的输出帧中的闪光视频的等级并未减少。另外，通过任意设置去除模式或复制模式，闪光带校正电路17可选择输出一帧，其中，FB作为通过输出而生成。

另外，当执行FB检测和FB校正时，闪光带检测电路10和闪光灯校正电路17二者可仅参照两帧，该两帧包括当前帧和紧接当前帧之前的过去帧。因此，可包括作为对应于一帧的帧存储器的记录单元11，并且因此，可以以低成本实现闪光带处理电路。

<2.修改后的示例>

另外，在帧中检测到FB之后，闪光带检测电路10可将指示对FB的检测的符号指派给检测到FB的帧的辅助数据区域。基于该符号，闪光带校正电路17可校正该FB。因此，在由闪光带检测电路10检测到FB的帧被一次记录在记录单元11中之后，闪光带校正电路17可从记录单元11读出帧，并且，根据符号来校正FB。

在相关技术中，作为校正所检测到的FB的方法，存在一般的方法，其中，FB出现在底部和上部的两帧被添加和平均。因此，通过利用将包括在当前帧和过去帧中的像素的亮度值进行添加和平均的方法，可以以灵活的方式回应成像环境。

另外，根据上述实施例的一系列处理可以由硬件或软件执行。在由软件来执行一系列处理的情形中，其可由其中配置软件的程序被嵌入到专用硬件的计算机来执行，或者可由安装了执行各种功能的程序的计算机来执行。例如，可通过将配置所希望的软件的程序安装到通用个人计算机等来执行一系列处理。

另外，其上记录了实现上述实施例的功能的软件的程序代码的记录介质可被提供给系统或装置。另外，很显然，通过利用系统的计算机(或诸如CPU之类的控制设备)或装置，通过读出并执行存储在记录介质上的程序代码，可实现功能。

作为在这种情形中的用于提供程序代码的记录介质，例如可使用灵活盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。

另外，计算机执行所读出的代码，从而实现上述实施例的功能。另外，基于程序代码的指令，操作计算机的OS等执行部分或全部的实际处理。这里包括由处理来实现上述实施例的功能的情形。

另外，本公开并不限于上述实施例，并且，很显然，可使用其他各种应用和修改后的示例，只要它们不偏离由所附权利要求所定义的本公开的概念即可。

另外，本公开还可具有以下配置。

(1)提供了一种闪光带处理电路，包括：闪光带检测电路，该闪光带检测电路基于由包括在利用滚动快门系统的成像设备中的像素针对每帧所输出的每行的视频信号的曝光时段差来检测闪光带的开始行和结束行，该闪光带是在帧中根据闪光所生成的每行的等级差。

(2)在(1)中所描述的闪光带处理电路，其中，所述闪光带检测电路检测由所述成像设备输出的当前帧中的闪光带的生成，或由所述成像设备输出的、从所述当前帧之前的预定数量的帧到所述当前帧中的一过去帧的闪光带的生成。

(3)在(2)中所描述的闪光带处理电路，其中，所述闪光带检测电路通过执行以下操作来检测所述闪光带的生成：通过比较在针对每个像素当前帧和过去帧连续的帧之间的等级来获得比较结果，基于所述比较结果指定变化量大的水平行，并且检测作为在所述变化量大的连续水平行和所述变化量小的连续水平行之间的边界的行。

(4)在(3)中所描述的闪光带处理电路，还包括：等级比较单元，该等级比较单元获得出现在所述当前帧和过去帧的特定位置处的像素的亮度等级的比率作为等级变化率，并且，获得指示所述等级变化率是否是等于或高于第一阈值的等级变化量作为变化量判定值；水平方向积分单元，该水平方向积分单元获得积分值判定值，该积分值判定值指示通过针对包括在所述当前帧的水平方向上的行中的每个像素对所述等级变化率等于或高于第一阈值的所述变化量判定值进行积分所获得的水平方向积分值是否是等于或大于第二阈值，并且，该水平方向积分单元获得表示所述积分值的正号或负号的积分值符号；区域判定单元，该区域判定单元基于所述积分值判定值和所述积分值符号，在所述积分值符号为正的情形中，输出判定增加区域的增加区域判定值，在所述增加区域中，包括在所述当前帧中的像素的亮度高于在所述过去帧中的像素的亮度，并且，在所述积分值符号为负的情形中，输出判定减少区域的减少区域判定值，在所述减少区域中，包括在所述当前帧中的像素的亮度低于在所述过去帧中的像素的亮度；垂直方向积分单元，在通过针对在垂直方向上的每行对所述增加区域判定值进行积分所获得的增加区域判定值积分值等于或大于第三阈值的情形中，该垂直方向积分单元输出表示帧中的闪光带的开始的闪光带开始判定值，并且，在通过针对在垂直方向上的每行对所述减少区域判定值进行积分所获得的减少区域判定值积分值等于或大于第四阈值的情形中，该垂直方向积分单元输出表示帧中的闪光带的结束的闪光带结束判定值；以及判定保持单元，该判定保持单元基于帧的行时段和帧时段、按照行时段和帧时段，将所述闪光带开始判定值和所述闪光带结束判定值保持预定时段，基于所述闪光带开始判定值将判定所述闪光带的开始行的闪光带开始行判定值输出到所述区域判定单元，并且，基于所述闪光带结束判定值将判定所述闪光带的结束行的闪光带结束行判定值输出到所述区域判定单元。

(5)在(4)中所描述的闪光带处理电路，其中，所述水平方向积分单元针对包括在在垂直方向上彼此邻接的行中的、在水平方向上位于相同位置处的每个像素，获得第二积分值判定值，该第二积分值判定值表示通过将一个变化量判定值从其他变化量判定值中减去的结果进行积分所获得的积分值是否是等于或大于第五阈值，并且，所述水平方向积分单元获得表示所述积分值是具有正号还是负号的第二积分值符号，并且其中，所述区域判定单元基于所述第二积分值判定值和所述第二积分值符号，通过判定在帧中是否出现在垂直方向上的高频分量，来检测是否出现由于闪光所导致的所述闪光带。

(6)在(1)到(5)中的任一项中所描述的闪光带处理电路，其中，表示检测到所述闪光带的符号被附接到检测到所述闪光带的帧的辅助数据区域。

(7)在(1)到(6)中的任一项中所描述的闪光带处理电路，还包括：闪光带校正单元，该闪光带校正单元输出一输出帧，在该输出帧中所生成的闪光带基于所述闪光带开始判定值和所述闪光带结束判定值被校正。

(8)在(7)中所描述的闪光带处理电路，其中，所述闪光带校正单元比较包括在所述当前帧和所述过去帧中的像素的亮度值，并且，输出具有较大亮度值的像素被替换的输出帧。

(9)在(7)或(8)中所描述的闪光带处理电路，其中，所述闪光带校正单元比较包括在所述当前帧和所述过去帧中的像素的亮度值，并且，输出具有较小亮度值的像素被替换的输出帧。

(10)在(7)到(9)中的任一项中所描述的闪光带处理电路，其中，所述闪光带校正单元输出通过复制所述过去帧所获得的输出帧。

(11)在(7)到(10)中的任一项中所描述的闪光带处理电路，其中，所述闪光带校正单元输出通过对包括在所述当前帧和所述过去帧中的像素的亮度值相加和取平均所获得的输出帧。

(12)提供了一种处理闪光带的方法，所述方法包括：基于由包括在利用滚动快门系统的成像设备中的像素针对每帧所输出的每行的视频信号的曝光时段差来检测闪光带的开始行和结束行，该闪光带是在帧中根据闪光所生成的每行的等级差。

(13)提供了一种成像装置，包括：闪光带检测电路，该闪光带检测电路基于由包括在利用滚动快门系统的成像设备中的像素针对每帧所输出的每行的视频信号的曝光时段差来检测闪光带的开始行和结束行，该闪光带是在帧中根据闪光所生成的每行的等级差；以及闪光带校正电路，该闪光带校正电路输出被校正成帧中没有闪光带生成的视频的输出帧。

(14)提供了一种成像处理方法，包括：基于由包括在利用滚动快门系统的成像设备中的像素针对每帧所输出的每行的视频信号的曝光时段差来检测闪光带的开始行和结束行，该闪光带是在帧中根据闪光所生成的每行的等级差；以及输出被校正成帧中没有闪光带生成的视频的输出帧。

本公开包括与2011年1月24日递交日本专利局的日本优先权专利申请JP 2011-012034公开的内容有关的主题，该申请的全部内容通过引用被结合于此。

本领域技术人员应当理解，取决于设计要求和其他因素，可以发生各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。

Claims (14)

1.一种闪光带处理电路，包括：

闪光带检测电路，该闪光带检测电路基于由包括在利用滚动快门系统的成像设备中的像素针对每帧所输出的每行的视频信号的曝光时段差来检测闪光带的开始行和结束行，该闪光带是在帧中根据闪光所生成的每行的等级差。

2.根据权利要求1所述的闪光带处理电路，其中，所述闪光带检测电路检测由所述成像设备输出的当前帧中的闪光带的生成，或由所述成像设备输出的、从所述当前帧之前的预定数量的帧到所述当前帧中的一过去帧的闪光带的生成。

3.根据权利要求2所述的闪光带处理电路，其中，所述闪光带检测电路通过执行以下操作来检测所述闪光带的生成：

通过比较在针对每个像素当前帧和过去帧连续的帧之间的等级来获得比较结果，

基于所述比较结果指定变化量大的水平行，并且

检测作为在所述变化量大的连续水平行和所述变化量小的连续水平行之间的边界的行。

4.根据权利要求3所述的闪光带处理电路，还包括：

等级比较单元，该等级比较单元获得出现在所述当前帧和过去帧的特定位置处的像素的亮度等级的比率作为等级变化率，并且，获得指示所述等级变化率是否是等于或高于第一阈值的等级变化量作为变化量判定值；

水平方向积分单元，该水平方向积分单元获得积分值判定值，该积分值判定值指示通过针对包括在所述当前帧的水平方向上的行中的每个像素对所述等级变化率等于或高于第一阈值的所述变化量判定值进行积分所获得的水平方向积分值是否是等于或大于第二阈值，并且，该水平方向积分单元获得表示所述积分值的正号或负号的积分值符号；

区域判定单元，该区域判定单元基于所述积分值判定值和所述积分值符号，在所述积分值符号为正的情形中，输出判定增加区域的增加区域判定值，在所述增加区域中，包括在所述当前帧中的像素的亮度高于在所述过去帧中的像素的亮度，并且，在所述积分值符号为负的情形中，输出判定减少区域的减少区域判定值，在所述减少区域中，包括在所述当前帧中的像素的亮度低于在所述过去帧中的像素的亮度；

垂直方向积分单元，在通过针对在垂直方向上的每行对所述增加区域判定值进行积分所获得的增加区域判定值积分值等于或大于第三阈值的情形中，该垂直方向积分单元输出表示帧中的闪光带的开始的闪光带开始判定值，并且，在通过针对在垂直方向上的每行对所述减少区域判定值进行积分所获得的减少区域判定值积分值等于或大于第四阈值的情形中，该垂直方向积分单元输出表示帧中的闪光带的结束的闪光带结束判定值；以及

判定保持单元，该判定保持单元基于帧的行时段和帧时段、按照行时段和帧时段，将所述闪光带开始判定值和所述闪光带结束判定值保持预定时段，基于所述闪光带开始判定值将判定所述闪光带的开始行的闪光带开始行判定值输出到所述区域判定单元，并且，基于所述闪光带结束判定值将判定所述闪光带的结束行的闪光带结束行判定值输出到所述区域判定单元。

5.根据权利要求4所述的闪光带处理电路，其中，

所述水平方向积分单元针对包括在在垂直方向上彼此邻接的行中的、在水平方向上位于相同位置处的每个像素，获得第二积分值判定值，该第二积分值判定值表示通过将一个变化量判定值从其他变化量判定值中减去的结果进行积分所获得的积分值是否是等于或大于第五阈值，并且，所述水平方向积分单元获得表示所述积分值是具有正号还是负号的第二积分值符号，并且

其中，所述区域判定单元基于所述第二积分值判定值和所述第二积分值符号，通过判定在帧中是否出现在垂直方向上的高频分量，来检测是否出现由于闪光所导致的所述闪光带。

6.根据权利要求5所述的闪光带处理电路，其中，表示检测到所述闪光带的符号被附接到检测到所述闪光带的帧的辅助数据区域。

7.根据权利要求6所述的闪光带处理电路，还包括：

闪光带校正单元，该闪光带校正单元输出一输出帧，在该输出帧中所生成的闪光带基于所述闪光带开始判定值和所述闪光带结束判定值被校正。

8.根据权利要求7所述的闪光带处理电路，其中，所述闪光带校正单元比较包括在所述当前帧和所述过去帧中的像素的亮度值，并且，输出具有较大亮度值的像素被替换的输出帧。

9.根据权利要求7所述的闪光带处理电路，其中，所述闪光带校正单元比较包括在所述当前帧和所述过去帧中的像素的亮度值，并且，输出具有较小亮度值的像素被替换的输出帧。

10.根据权利要求7所述的闪光带处理电路，其中，所述闪光带校正单元输出通过复制所述过去帧所获得的输出帧。

11.根据权利要求7所述的闪光带处理电路，其中，所述闪光带校正单元输出通过对包括在所述当前帧和所述过去帧中的像素的亮度值相加和取平均所获得的输出帧。

12.一种处理闪光带的方法，所述方法包括：

基于由包括在利用滚动快门系统的成像设备中的像素针对每帧所输出的每行的视频信号的曝光时段差来检测闪光带的开始行和结束行，该闪光带是在帧中根据闪光所生成的每行的等级差。

13.一种成像装置，包括：

闪光带检测电路，该闪光带检测电路基于由包括在利用滚动快门系统的成像设备中的像素针对每帧所输出的每行的视频信号的曝光时段差来检测闪光带的开始行和结束行，该闪光带是在帧中根据闪光所生成的每行的等级差；以及

闪光带校正电路，该闪光带校正电路输出被校正成帧中没有闪光带生成的视频的输出帧。

14.一种成像处理方法，包括：

基于由包括在利用滚动快门系统的成像设备中的像素针对每帧所输出的每行的视频信号的曝光时段差来检测闪光带的开始行和结束行，该闪光带是在帧中根据闪光所生成的每行的等级差；以及

输出被校正成帧中没有闪光带生成的视频的输出帧。

Images