CN106973285B - 摄像装置、闪烁检测方法以及记录介质 - Google Patents

Abstract

本发明提供摄像装置和闪烁检测方法。具备闪烁检测功能的摄像装置，包含卷帘快门方式的摄像元件的摄像部；和包含处理器的控制部，所述控制部，判定被摄体与主体装置是否相对运动，对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，由此分别算出包含振幅和相位的傅立叶谱，在算出的2个所述傅立叶谱当中至少1个振幅为给定振幅以上，且2个所述傅立叶谱的相位的差分为给定相位差以下，且判定为所述被摄体与所述主体装置相对运动的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁。

Description

摄像装置、闪烁检测方法以及记录介质

技术领域

本发明涉及基于所摄像的图像内的明亮度变化来检测闪烁的摄像装置、闪烁检测方法以及记录介质。

背景技术

数字视频摄像机等摄像装置若在对应于商用电源频率(例如50Hz、60Hz)而周期性明亮度变化的光源(例如荧光管等)的环境下进行摄像，则在商用电源频率为50Hz的情况下，以1/100秒周期而光源的明亮度发生变化，在60Hz的情况下，以1/120秒周期而光源的明亮度发生变化，因此有时在该图像信号内中会出现明暗的条纹。在该情况下，在卷帘快门方式(行曝光依次读出方式)的摄像元件(CMOS)中，由于以行为单位错开曝光定时来进行1帧份的摄像，因此有在所摄像的图像中在垂直方向上呈现条纹图样而产生闪烁的情况。

作为检测该闪烁的技术，过去已知如下技术(参考专利文献1)：在具备卷帘快门方式的摄像元件的摄像装置中，在检测有无荧光灯等闪烁产生要因的情况下，解析在所摄影的图像中出现的条纹的产生状态，由此检测荧光灯的闪烁分量的频率。

专利文献1：JP特开2004-7402号公报

但在上述的专利文献中，在通过解析在图像内产生的条纹而检测到闪烁的情况下，虽然只要是在能设定闪烁检测用的特别的摄影条件的状况下即可，但在动态图象摄影中为了被摄体抖动而有希望积极使用高速快门的要求的情况等、不能像动态图象摄影中或实时取景显示中那样设定闪烁检测用的特别的摄影条件(摄像定时等)的状况下，有以下那样的问题。即，难以区别在图像内产生的条纹是描绘在被摄体的图样或因被摄体的配置状态等而呈现的条纹图样(被摄体所引起的条纹)，还是因光源的闪烁而呈现的条纹图样(闪烁所引起的条纹)，有难以进行闪烁的检测这样的问题。

发明内容

本发明的课题是，在闪烁检测用的特别的摄影条件的设定受到限制的摄影状况下，也能区别在摄像图像内产生的条纹是由被摄体引起的还是由闪烁引起的，从而合适地检测闪烁。

本发明的第1方面，提供一种摄像装置，具备闪烁检测功能，所述摄像装置的特征在于，包含：包含卷帘快门方式的摄像元件的摄像部；和包含处理器的控制部，判定被摄体与主体装置是否相对运动，所述控制部对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，由此分别算出包含振幅和相位的傅立叶谱，在算出的2个所述傅立叶谱当中至少1个振幅为给定振幅以上，且所述2个傅立叶谱的相位的差分为给定相位差以下，且判定为所述被摄体与所述主体装置相对运动的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁。

本发明的第2方面，提供一种闪烁检测方法，是具备卷帘快门方式的摄像元件的摄像装置中的闪烁检测方法，所述闪烁检测方法的特征在于，判定被摄体与主体装置是否相对运动，对由所述卷帘快门方式的摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，来分别算出包含振幅和相位的傅立叶谱，在算出的所述2个傅立叶谱当中的至少1个振幅为给定振幅以上，且所述2个傅立叶谱的相位的差分为给定相位差以下，且判定为所述被摄体与所述主体装置相对运动的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁。

本发明的第3方面，提供一种记录介质，记录有程序，所述程序使具备卷帘快门方式的摄像元件的摄像装置的计算机实现如下功能：判定被摄体与主体装置是否相对运动，对由所述卷帘快门方式的摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，来分别算出包含振幅和相位的傅立叶谱，在算出的所述2个傅立叶谱当中的至少1个振幅为给定振幅以上，且所述所述2个傅立叶谱的相位的差分为给定相位差以下，且判定为所述被摄体与所述主体装置相对运动的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁。

本发明的第4方面，提供一种摄像装置，具备闪烁检测功能，所述摄像装置的特征在于，包含：包含卷帘快门方式的摄像元件的摄像部；和包含处理器的控制部，所述控制部对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，由此分别算出包含振幅和相位的傅立叶谱，在与成为所述检测对象的闪烁周期的N倍的频率即频率N对应的算出的2个所述傅立叶谱当中至少1个振幅为给定振幅以上，且与所述频率N对应的所述2个傅立叶谱的相位的差分的绝对值为给定相位差以下的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁，其中N是整数。

本发明的第5方面，提供一种闪烁检测方法，是具备卷帘快门方式的摄像元件的摄像装置中的闪烁检测方法，所述闪烁检测方法的特征在于，对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，来分别算出包含振幅和相位的傅立叶谱，在与成为所述检测对象的闪烁周期的N倍的频率即频率N对应的算出的所述2个傅立叶谱当中的至少1个振幅为给定振幅以上，且与所述频率N对应的所述2个傅立叶谱的相位的差分的绝对值为给定相位差以下的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁，其中N是整数。

本发明的第6方面，提供一种记录介质，记录有程序，所述程序使具备卷帘快门方式的摄像元件的摄像装置的计算机实现如下功能：对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，来分别算出包含振幅和相位的傅立叶谱，在与成为所述检测对象的闪烁周期的N倍的频率即频率N对应的算出的所述2个傅立叶谱当中的至少1个振幅为给定振幅以上，且与所述频率N对应的所述2个傅立叶谱的相位的差分的绝对值为给定相位差以下的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁，其中N是整数。

附图说明

图1是表示作为摄像装置而运用的数字摄像机的基本构成要素的框图。

图2是用于说明摄影模式下的一部分动作(本实施方式的特征性的闪烁检测动作)的流程图。

图3是紧接图2的动作的流程图。

具体实施方式

以下参考图1～图3来说明本发明的实施方式。

图1是表示作为摄像装置而运用的数字摄像机的基本构成要素的框图。

摄像装置是数字摄像机，除了具备对静止图像和动态图象进行摄像的摄像功能、显示记录保存的图像的重放功能、得到计时信息的计时功能、自动控制光圈、速度来得到与被摄体的明度相应的曝光的自动曝光功能等以外，还具备闪烁检测功能。该闪烁检测功能是在对应于商用电源频率而明亮度周期性变化的光源(例如荧光管等)的环境下，检测所摄像的图像内中所呈现的闪烁的产生要因的功能。控制部1通过来自电源部(二次电池)2的电力提供而动作，按照存放于存储部3内的各种程序来控制该数字摄像机的整体动作，在该控制部1中设有未图示的CPU(中央运算处理装置)、存储器等。

存储部3例如是具有ROM、闪速存储器等的构成，具有：容纳用于按照后述的图2以及图3所示的动作次序实现本实施方式的程序、各种应用等的程序存储器3A；临时存储为了该摄像机动作而需要的各种信息(例如标记等)的工作内存3B等。另外，存储部3例如可以是包含SD卡、USB存储器等拆装自由的可移动型存储器(记录介质)的构成，虽未图示，但也可以在经由通信功能与网络连接的状态下包含给定的服务器装置侧的存储区。

虽然图示省略，操作部4除了具备切换能摄影的动作模式(摄影模式)和重放摄影完毕图像(保存图像)的动作模式(重放模式)的模式变更按钮、指示摄影开始的释放按钮以外，还具备进行快门速度、光圈、ISO灵敏度等摄影条件的设定操作等的各种键，控制部1例如进行模式变更处理、摄影处理、摄影条件的设定等，作为与来自该操作部4的输入操作信号相应的处理。显示部5是高精细度液晶显示器或有机EL(Electro Luminescence，电致发光)显示器等，成为实时显示摄像的图像数据(实时取景图像)的监视器画面(实时取景画面)，或成为重放摄影完毕的图像数据的重放画面。

摄像部6构成能高精度对被摄体进行摄影的摄像机部，在其镜头构件6A设置变焦透镜6B、聚焦透镜(合焦透镜)6C、光圈和快门6D、摄像元件6E。摄像元件6E将各像素二维配置成行列的矩阵状，是对配置于水平行(行行)和垂直行(列行)上的各像素一边按垂直方向上并排的每水平行(1行或多行)错开曝光定时一边进行摄像的卷帘快门方式(行曝光依次读出方式)的CMOS图像传感器。

并且，虽然图示省略，但摄像元件6E具有电荷积蓄部以及电荷转移部，针对从其排头行(最上端(行)的水平行)到最终行(最下端(行)的水平行)每隔给定时间一边错开定时一边按每水平行依次进行曝光、读出。另外，在此所说的「垂直」、「水平」是方便示出在卷帘快门方式的摄像元件中进行上述那样的曝光的情况下的像素数据的读出方向的称谓，并不限定于重力方向或摄像元件的安装方向等。以下也有将水平行仅称作“行”的情况。

从该摄像元件6E读出的图像信号(模拟值的信号)被图示省略的A/D变换部变换成数字信号(图像信号)，并在被实施了给定的图像显示处理后，作为实时取景图像而实时监视显示在显示部5。控制部1对按照释放按钮(图示省略)的操作而摄像的图像实施给定的图像处理(显影处理等)来生成摄影图像，并在实施图像压缩处理而变换为标准的文件格式后，记录保存在存储部3的记录介质。

在如此具备卷帘快门方式的摄像元件6E的摄像装置(数字摄像机)中，一般，作为检测在对应于商用电源频率(例如50Hz、60Hz)而明亮度周期性变化的光源的环境下进行动态图象摄影的情况下产生的闪烁的方法，有以下的方法。作为其中1个方法，利用因闪烁而在摄像图像产生的条纹的量根据曝光时间不同而不同这点，通过控制该曝光时间来检测闪烁。在该方法中，由于能直接检测闪烁所引起的条纹，因此不需要区别在摄像图像内产生的条纹是描绘在被摄体的图样或因被摄体的配置状态等而呈现的条纹图样(被摄体所引起的条纹)，还是因光源的闪烁而呈现的条纹图样(闪烁所引起的条纹)，相应地，有着在闪烁检测时未保持合适曝光、或闪烁的条纹较大呈现在摄像图像中这样的问题。

作为其他方法，利用因闪烁而在摄像图像产生的条纹的相位根据摄像定时(帧周期)不同而不同这点，通过控制该摄像定时来区别在摄像图像产生的条纹是被摄体所引起的条纹还是闪烁所引起的条纹，从而检测闪烁。在该方法中，在检测到在2个摄像图像中产生条纹且条纹的相位不同的情况下，判定为不是被摄体所引起的条纹而是产生闪烁所引起的条纹，因此能在保持合适曝光的情况下使呈现在摄像图像的闪烁的条纹也减小，相应地，需要控制摄像定时，以能区别在摄像图像内产生的条纹是被摄体所引起的条纹还是闪烁所引起的条纹。为此，在动态图象摄影时(或实时取景显示时)那样决定了摄像定时的摄影状况下，有难以进行闪烁检测这样的问题。

即，所摄像的图像内呈现闪烁的条纹的周期，成为闪烁周期与摄影帧的周期的最小公倍数的周期，但若摄影帧的周期是闪烁周期的整数倍，则呈现闪烁条纹的周期与摄影帧的周期一致，闪烁条纹不再呈现，因此例如在摄像帧速率为30fps(33ms周期)的情况下，能检测50Hz闪烁(因50Hz的电源频率而产生的闪烁)。与此相对，在摄影帧的周期是闪烁周期的整数倍的情况下，例如在摄像帧速率为30fps(33ms周期)时检测60Hz闪烁(因60Hz的电源频率而产生的闪烁)的情况下，无论哪个定时的帧都与60Hz闪烁相位成为相同，在各帧间没有闪烁导致的相位差，不再能检测60Hz闪烁。

在如此控制摄像定时来检测闪烁的方法中，相对于摄像定时刻意错开闪烁所引起的条纹的相位(控制摄像定时)，并且不相对于摄像定时刻意错开被摄体所引起的条纹的相位(设定帧速率，使得在被摄体即使移动也让移动量较少那样的短时间内进行2次的摄像)，由此检测到在摄像图像中产生条纹且条纹的相位不同，在该情况下，判定为不是被摄体所引起的条纹，而是呈现闪烁所引起的条纹。与此相对，在本实施方式中，使用与上述的方法相反的方法，区别在摄像图像内产生的条纹是由被摄体引起还是由闪烁引起，从而检测闪烁。

即，本实施方式与上述的方法相反，不相对于摄像定时刻意错开闪烁的相位(将帧速率(摄像定时)设定为固定而不错开)，且相对于摄像定时刻意错开被摄体所引起的条纹的相位，即，在进行2次的摄像时判定为被摄体和该摄像装置相对移动的情况下利用该2个摄像图像来检测该图像内的条纹的相位，由此在检测到在摄像图像中产生条纹且条纹的相位相同或近似的情况下，判定为不是被摄体所引起的条纹，而是产生闪烁所引起的条纹。由此在动态图象摄影时(或实时取景显示时)那样决定了摄像定时的摄影状况下，也能区别在摄像图像内产生的条纹是否是被摄体所引起的闪烁，来对闪烁进行检测。

接下来，参考图2以及图3中的流程图来说明本实施方式中的数字摄像机的动作概念。在此，这些流程图中所记述的各功能以可读的程序代码的形态存放，遵循该程序代码的动作被逐次执行。另外，还能逐次执行经由网络等传输介质传输来的上述的程序代码的动作。即，除了能利用记录介质以外，还能利用经由传输介质而外部提供的程序/数据来执行本实施方式特有的动作。另外，图2以及图3是表示摄像装置的整体动作当中本实施方式的特征部分的动作概要的流程图，在从该图2以及图3的流程脱离时，返回整体动作的主流程(图示省略)。

图2以及图3是用于说明摄影模式下的一部分动作(本实施方式的特征性的闪烁检测动作)的流程图，例如在动态图象摄影时(或实时取景显示时)执行。

首先，控制部1按照当前模式(从各种动态图象摄影模式中任意选择的摄影模式)来设定对应的摄影用帧速率(图2的步骤S1)。这时，若是实时取景显示的摄影模式，则作为其摄影用帧速率设定30fps。接下来开始与当前模式相应的摄影动作，若是实时取景显示的摄影模式，则进一步开始所摄像的图像的显示动作(步骤S2)。

在该状态下，调查是否是预先决定的闪烁检测定时(例如起动时设定摄影模式的情况、从其他模式切换到摄影模式的情况等)(步骤S3)，若不是检测定时(步骤S3“否”)，则移转到摄影模式下下的其他动作，若是检测定时(步骤S3“是”)，则从成为检测对象的50Hz闪烁的周期(10ms)、60Hz闪烁的周期(8.3ms)中选择其中1个作为本次的检测对象(步骤S4)。然后取得预先设定的动态图象摄影时(或实时取景显示时)的帧速率(帧周期)，调查该摄影用的帧周期是否是所选择的闪烁频率的整数倍(步骤S5)。

例如在摄影用的帧速率被设定为30fps的状态下选择60Hz闪烁作为检测对象的情况下，摄影用的帧周期33ms成为闪烁周期(8.3ms)的整数倍，在选择50Hz闪烁作为检测对象的情况下，摄影用的帧周期33ms不成为闪烁周期(10ms)的整数倍。另外，在摄影用的帧速率被设定为25fps的状态下选择60Hz闪烁周期作为检测对象的情况下，摄影用的帧周期40ms不成为闪烁周期(8.3ms)的整数倍，而在选择50Hz闪烁作为检测对象的情况下，摄影用的帧周期40ms成为闪烁周期(10ms)的整数倍。

当前，在摄影用的帧速率被设定为30fps的状态下，选择60Hz闪烁作为检测对象的情况下，由于摄影用的帧周期成为闪烁周期的整数倍(步骤S5“是”)，因此以下移转到本实施方式的特征的闪烁检测处理(步骤S6～S16)。在该闪烁检测处理中，将在每个给定的摄像定时摄像的帧图像基于成为检测对象的闪烁周期进行傅立叶谱解析(Fourier spectrumsanalysis)，来算出包含振幅和相位的傅立叶谱，在与检测对象的闪烁周期对应的傅立叶谱的振幅为给定以上且2个傅立叶谱的相位之差为给定以下、进而被摄体和该摄像装置相对运动的情况下，判断为产生了成为检测对象的闪烁周期的闪烁。

首先，将连续摄像的2帧份的图像指定为闪烁检测用的评价对象，取得它们的帧图像并暂时存储在工作内存3B(步骤S6)。然后读出暂时存储在该工作内存3B内的2个帧图像，对这些帧图像进行处理，将其各图像值按每水平行积分，来算出垂直方向的明亮度变动数据(步骤S7)。即，由于闪烁所引起的条纹在图像内的垂直方向上呈现，因此首先将时间上前后的2帧图像当中的其中一方的帧图像作为对象，将各水平行内的在水平方向上并排的全部像素数据按每水平行积分，得到与多个水平行对应的多个积分值。

接下来，将另一方帧图像作为对象，同样地，将各水平行内的在水平方向上并排的全部像素数据按每水平行积分，得到与多个水平行对应的多个积分值。然后，将以一方的帧图像为对象得到的多个积分值和以另一方帧图像为对象得到的多个积分值按每水平行进行比较，算出多个比较值(每行的明亮度的比)作为垂直方向的明亮度变动数据。另外，上述的积分和比较既可以分别按每1行进行，也可以按每多行进行。另外，也可以按每1行进行积分，按每多行进行比较。另外，也可以在按每像素进行比较后将其比较值按每行积分。

接下来，从算出的各个明亮度变动数据提取(采样)相当于成为检测对象的闪烁周期的N(整数)倍的范围，在频率N下进行傅立叶谱解析(步骤S8)。即，确定成为傅立叶谱解析的对象的评价区域(图像区)，从该确定的评价区域(图像区)内提取对应的多个比较值数据，但在该情况下，明亮度的变化由于对应于闪烁周期周期性呈现，因此若检测对象是50Hz闪烁，则从相当于其周期10ms以上(可能的话为其2倍以上的整数倍)的时间的图像区(评价区域)提取比较值数据，若检测对象是60Hz闪烁，则从相当于其周期8.3ms以上(可能的话为其2倍以上的整数倍)的时间的图像区(评价区域)内提取比较值数据。然后，将从该评价区域内提取的比较值数据的垂直方向的明亮度变化(明亮度比的变动数据)在频率N(N＝1、2、3、...的整数)下进行傅立叶谱解析。在该情况下，在将评价区域整体作为1周期的情况下，解析包含与其几倍的频率对应的频率分量。

对如此在每个给定的摄像定时摄像的2个帧图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，由此分别算出包含振幅和相位(虚部和实部)的傅立叶谱。之后移转到图3的流程，根据对2个帧图像进行傅立叶谱解析的结果(在解析结果以包含傅立叶谱的虚部和实部的复数的形式得到的情况下，根据其虚数和实数基于已知的变换式变换成傅立叶谱的振幅和相位)来分别取得傅立叶谱的振幅(步骤S9)。然后，对每个帧图像调查其振幅谱(与检测对象的闪烁对应的频率的谱分量的振幅)是否为给定以上(步骤S10)。

即，调查振幅谱的大小是否为给定以上、即为了判定摄像图像内是否呈现条纹而预先设定的阈值以上(调查的可以是仅一方的帧图像，也可以调查两方，将大的值、小的值、平均值的任一者与阈值进行比较)。在此，若任何帧图像的振幅谱都不为给定以上(步骤S10“否”)，则判断为在任何图像内都未呈现条纹，判定为没有成为检测对象的闪烁周期的闪烁(步骤S16)。

另外，若任意的帧图像的振幅谱为给定以上(步骤S10“是”)，则判断为在摄像图像内呈现被摄体所引起的条纹、或闪烁所引起的条纹，移转到步骤S11，读出暂时存储在工作内存3B的2个帧图像(傅立叶谱解析中所利用的2帧份的图像)，将其像素值按每个像素进行比较，来算出它们的差分的平方(二次方)的和。然后，基于该算出值(图像整体的偏差量)是否为给定以上，来调查被摄体和该摄像装置是否相对的运动(步骤S12)。

在此，在振幅光谱被判断为给定以上从而判定为在图像内呈现条纹的情况下(步骤S10“是”)，若2个帧图像的差分二次方和(差分平方和)不是给定以上，即若图像整体的偏差量不少(步骤S12“否”)，则由于被摄体与该摄像装置的相对的运动(移动量)少，因此也判定为被摄体和该摄像装置未相对运动。在该情况下，返回上述的步骤S6，将连续摄像的新的2个帧图像指定为比较对象(评价对象)，在取得这些帧图像后，以下重复上述的动作(步骤S6～S12)。

由此，若差分二次方和成为给定以上(步骤S12“是”)，则判断为被摄体和该摄像装置相对运动，移转到接下来的步骤S13，从使用在被摄体的移动中摄像的2个帧图像进行傅立叶谱解析，并根据结果(傅立叶谱的虚数和实数)分别取得傅立叶谱的相位。接下来，调查与成为检测对象的闪烁周期对应的频率的谱分量(相位谱)的差(绝对值)是否为给定以下，即，是否是为了判定是否是检测对象的闪烁所引起的条纹而预先设定的阈值以下(相位是否相同或近似)(步骤S14)。在该情况下，由于帧周期是闪烁周期的整数倍从而没有闪烁所引起的条纹改变位置的情况，因此基于相位差是否为给定以下来判定是否呈现检测对象的闪烁所引起的条纹。

在此，由于若与闪烁周期对应的频率的谱分量(相位谱)的差(相位的差)不为给定以下(步骤S14“否”)，则条纹的位置发生变化(由于不是闪烁所引起的条纹)，因此判定为没有成为检测对象的闪烁周期的闪烁(步骤S16)，由于若该相位的差为给定以下(步骤S14“是”)，则相位相同或近似，因此判定为有成为检测对象的闪烁周期的闪烁导致的影响(步骤S15)。即，就算与频率N对应的2个傅立叶谱的相位的差分的绝对值为给定以上，若没有傅立叶谱的相位差，则判定为与频率N对应的傅立叶谱的振幅成为给定以上的原因不是因描绘在被摄体的图样或被摄体的配置状态等而呈现的条纹图样，而是成为检测对象的闪烁周期的闪烁所引起的条纹图样。在进行了这样的判定后从图2以及图3的流程脱离。

另一方面，在摄影用的帧周期不是选择的闪烁频率的整数倍的情况下，例如在摄影用的帧速率被设定为30fps的状态下，选择50Hz闪烁作为检测对象的情况下(步骤S5“否”)，移转到接下来的步骤S17，取得连续摄像的2帧份的图像作为闪烁检测用的评价对象。然后，对该2个帧图像，作为不使用傅立叶谱的相位差的其他闪烁检测处理而进行如下处理：不使用2个傅立叶谱的相位或判定被摄体与该摄像装置的相对的运动的判定结果，基于傅立叶谱的振幅来检测是否产生成为检测对象的闪烁的周期的闪烁(步骤S18)。

即，使用如下方法：利用最初所示那样的因闪烁而在摄像图像产生的条纹的量根据曝光时间不同而不同这点，控制该曝光时间来检测闪烁；相对于摄像定时刻意错开闪烁所引起的条纹的相位(控制摄像定时)，且相对于摄像定时不刻意错开被摄体所引起的条纹的相位(设定帧速率，使得即使被摄体移动也让移动量较少那样在短时间内进行2次的摄像)，由此在检测到在摄像图像产生条纹且条纹的相位不同的情况下，判定为呈现的不是被摄体所引起的条纹，而是闪烁所引起的条纹。

例如，对短时间内连续摄像且相对于闪烁周期的摄像定时的相位不同的2个帧图像，将其各图像值按每水平行积分来分别算出垂直方向的明亮度变动数据，取算出的2个明亮度变动数据的差分，从该差分数据提取(采样)相当于成为检测对象的闪烁周期的N(整数)倍的范围，并在频率N下进行傅立叶谱解析来取得傅立叶谱的振幅，若该振幅不为给定以上，则判定为没有成为检测对象的闪烁周期的闪烁，若为给定以上，则判定为呈现检测对象的闪烁所引起的条纹。之后从图2以及图3的流程脱离。

另外，若上述那样的闪烁检测处理结束(从图2以及图3的流程脱离)，则移转到基于在该处理中检测到的闪烁的产生有无以及闪烁的种类(50Hz闪烁、60Hz闪烁)来变更摄影条件(曝光时间等)的处理(图示省略)。例如曝光时间(快门速度)基于检测到的闪烁的种类(50Hz闪烁、60Hz闪烁)而变更成闪烁周期(10ms或8.3ms)的整数倍。例如，若为50Hz电源的环境下，则曝光时间变更为10ms、20ms、30ms等的任一者，若成为60Hz电源的环境下，则变更为8.3ms、16.7ms、25ms等的任一者。

如以上那样，在本实施方式中，在具备卷帘快门方式的摄像元件的摄像装置中，对摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期来进行傅立叶谱解析，由此分别算出包含振幅和相位的傅立叶谱，在该算出的傅立叶谱的振幅和2个傅立叶谱的相位满足给定条件的情况下，判断为产生成为检测对象的闪烁周期的闪烁，因此在闪烁检测用的特别的摄影条件的设定受到限制的摄影状况下，也能区别在摄像图像内产生的条纹是由被摄体引起的还是由闪烁引起的，从而合适地检测闪烁。

控制部1在与检测对象的闪烁周期对应的傅立叶谱的振幅为给定以上且2个傅立叶谱的相位的差为给定以下的情况下，判断为产生成为检测对象的闪烁周期的闪烁，因此若在2个帧图像中呈现的条纹的相位差相同或近似，则能检测到不是被摄体所引起的条纹，而是成为检测对象的闪烁所引起的条纹。

控制部1在与检测对象的闪烁周期对应的傅立叶谱的振幅为给定以上且2个傅立叶谱的相位的差为给定以下、进而判定为被摄体和该摄像装置相对运动的情况下，检测到产生成为检测对象的闪烁周期的闪烁，因此若在被摄体和该摄像装置相对运动时所摄像的2个帧图像中所呈现的条纹的相位差相同或近似，则能检测到不是被摄体所引起的条纹，而是成为检测对象的闪烁所引起的条纹。

由于对从以给定的摄影帧周期连续摄像的多个帧图像中选择的2个帧图像进行傅立叶谱解析，因此能在动态图象摄影时检测闪烁。

控制部1在摄影帧周期是成为检测对象的闪烁周期的整数倍的情况下，将2个傅立叶谱的相位的差为给定以下且判定为被摄体和该摄像装置相对运动作为条件，来检测出产生了成为检测对象的闪烁周期的闪烁，因此即使摄影帧周期是成为检测对象的闪烁周期的整数倍，也能合适地检测闪烁。

控制部1在摄影帧周期不是成为检测对象的闪烁周期的整数倍的情况下，不使用2个傅立叶谱的相位或被摄体和该摄像装置是否相对运动的判定结果，而是基于傅立叶谱的振幅来检测是否产生成为检测对象的闪烁周期的闪烁，因此，在摄影帧周期不是成为检测对象的闪烁周期的整数倍的情况下，能根据傅立叶谱的振幅检测检测对象的闪烁的有无。因此，在希望将帧速率保持恒定的情况下(例如30fps的动态图象摄影中)，不管50Hz闪烁还是60Hz闪烁都能检测，能实现高速摄像的主动采用。

控制部1将摄像定时不同的2个图像作为对象，将这2个图像的像素值按每个像素进行比较，由此判定被摄体和该摄像装置是否相对运动，因此能根据图像整体的明亮度变化判定被摄体与该摄像装置的相对的运动，能精度良好地进行该判定。

控制部1将摄像定时不同的2个图像作为对象，在这2个图像的像素值的每个像素的差分的二次方和为给定以上的情况下，判定为被摄体和该摄像装置相对运动，因此在图像整体的像素值的偏差量大的情况下判定为被摄体和该摄像装置相对运动。

控制部1通过对利用了经过傅立叶谱解析的2个帧图像的图像进行比较，来判定被摄体和该摄像装置是否相对运动，因此能在被摄体和该摄像装置相对运动的情况下利用所摄像的2个帧图像进行傅立叶谱解析。

控制部1从在每个给定的摄像定时摄像的帧图像中指定连续的2个帧图像，并进行利用了这2个帧图像的图像的比较，直到由此判别到被摄体和该摄像装置相对运动为止，重复依次指定连续的2个帧图像的动作，因此能在被摄体和该摄像装置相对运动的情况下利用所摄像的2个帧图像进行闪烁检测。

控制部1在摄影的帧图像内将曝光定时处于成为检测对象的闪烁周期的N倍(N是整数)的时间范围内的图像区域内作为对象，在频率N下进行傅立叶谱解析，因此能效率良好地进行将相当于闪烁周期的N倍的区域的数据(解析用数据)作为对象的傅立叶谱解析。

控制部1在判定为与频率N对应的傅立叶谱的振幅为给定以上的情况下检测到产生成为检测对象的闪烁周期的闪烁，因此能准确地检测对应于成为检测对象的闪烁周期而周期性呈现的闪烁。

控制部1，就算判定为被摄体和该摄像装置相对运动，在与频率N对应的2个傅立叶谱的相位的差分的绝对值为给定以下的情况下，由于检测到与频率N对应的傅立叶谱的振幅成为给定以上的原因是由成为检测对象的闪烁周期的闪烁引起，因此即使以被摄体和该摄像装置相对运动为前提来进行闪烁检测，也能合适地检测闪烁。

控制部1在检测对象是60Hz或50Hz闪烁、摄像帧速率是30fps或25fps的情况下，基于2个傅立叶谱的相位、以及被摄体和该摄像装置是否相对运动的判定结果，来检测是否产生成为检测对象的闪烁周期的闪烁，因此即使摄影帧周期是成为检测对象的闪烁周期的整数倍也能合适地检测闪烁。

另外，在上述的实施方式中，在傅立叶谱解析后，对在该解析中所用的2个帧图像进行比较，来判定被摄体和该摄像装置是否相对运动，但也可以在判定被摄体和该摄像装置是否相对运动后，使用该判定中所用的2个帧图像来进行傅立叶谱解析。

在上述的实施方式中，为了判定被摄体和该摄像装置是否相对移动而比较连续摄影的2个图像，但也可以利用摄像元件以外的移动检测传感器(加速度传感器、多普勒传感器等)。

另外，在预先获知(设想)将摄像机不是固定在三脚架等而是用手保持来进行摄影的情况下，由于产生不少手抖，因此也可以省略图3的流程图中的步骤A11、A12的处理。

在上述的实施方式中，比较2帧份的图像来算出其差分的平方(二次方)的和，基于该差分二次方和是否为给定以上来判定被摄体和该摄像装置是否相对运动，但作为其判定方法，当然并不限于差分二次方和。

另外，在被摄体和该摄像装置是否相对运动的判定中，也可以判定是否在产生图像的条纹的纵向上相对运动。

在上述的实施方式中，在图2的步骤A5中判定为「否」的情况下，为了减轻执行运动检测、相位解析等额外的处理的负担而进行另外的闪烁检测处理，但也可以在步骤A5中判定为「否」的情况下也进行与判定为「是」的情况相同的闪烁检测处理。

在上述的实施方式中，示出了作为摄像装置而运用数字摄像机的情况，但并不限于此，也可以是带摄像机功能个人计算机、PDA(面向个人的便携型信息通信设备)、平板终端装置、智能手机等便携电话机、电子游戏机、音乐播放器等。

另外，上述的实施方式中示出的“装置”、“部”，也可以按功能分离成多个筐体，并不限于单一的筐体。另外，上述的流程图中记述的各步骤并不限于时间序列上的处理，也可以并行处理多个步骤，或分开独立进行处理。

Claims (17)

1.一种摄像装置，具备闪烁检测功能，

所述摄像装置的特征在于，包含：

包含卷帘快门方式的摄像元件的摄像部；和

包含处理器的控制部，

所述控制部，

判定被摄体与摄像装置是否相对运动，

对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，由此分别算出包含振幅和相位的傅立叶谱，

在算出的2个所述傅立叶谱当中至少1个振幅为给定振幅以上，且2个所述傅立叶谱的相位的差分为给定相位差以下，且判定为所述被摄体与所述摄像装置相对运动的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁。

2.根据权利要求1所述的摄像装置，其特征在于，

所述摄像部以给定的摄影帧周期连续进行摄像，

所述控制部对从以所述给定的摄影帧周期连续摄像的多个帧图像中选出的2个帧图像进行所述傅立叶谱解析。

3.根据权利要求2所述的摄像装置，其特征在于，

所述控制部，在所述摄像部的所述给定的摄影帧周期是成为所述检测对象的闪烁周期的整数倍的情况下，将所述2个傅立叶谱的相位的差分为所述给定相位差以下、且判定为所述被摄体和主体装置相对运动作为条件，来检测产生了成为所述检测对象的闪烁周期的所述闪烁。

4.根据权利要求2所述的摄像装置，其特征在于，

所述控制部在所述给定的摄影帧周期不是成为所述检测对象的闪烁周期的整数倍的情况下，不使用所述2个傅立叶谱的相位，或者不使用被摄体与摄像装置是否相对运动的判定结果，而是基于所述傅立叶谱的振幅来检测是否产生了成为所述检测对象的闪烁周期的所述闪烁。

5.根据权利要求2所述的摄像装置，其特征在于，

所述控制部以所述摄像定时不同的所述2个帧图像为对象，通过将所述2个帧图像的像素值按每个像素进行比较，来判定被摄体和摄像装置是否相对运动。

6.根据权利要求5所述的摄像装置，其特征在于，

所述控制部将所述摄像定时不同的所述2个帧图像作为对象，在所述2个帧图像的所述像素值的每个所述像素的差分的二次方和为给定二次方和以上的情况下，判定为所述被摄体和所述摄像装置相对运动。

7.根据权利要求5所述的摄像装置，其特征在于，

所述控制部通过利用经过所述傅立叶谱解析的所述2个帧图像的图像比较来判定所述被摄体和所述摄像装置是否相对运动。

8.根据权利要求5所述的摄像装置，其特征在于，

所述控制部从在每个给定的所述摄像定时摄像的帧图像中指定连续的所述2个帧图像，

直到通过利用所述2个帧图像的图像比较判定为所述被摄体和所述摄像装置相对运动为止，重复依次指定连续的所述2个帧图像的动作。

9.根据权利要求2所述的摄像装置，其特征在于，

所述控制部将在帧图像内曝光定时处于成为所述检测对象的闪烁周期的N倍的时间范围内的图像区域内作为对象，在成为所述检测对象的闪烁周期的N倍的频率即频率N下进行所述傅立叶谱解析，其中N是整数。

10.根据权利要求9所述的摄像装置，其特征在于，

所述控制部在判定为与所述频率N对应的所述傅立叶谱的振幅为给定振幅以上的情况下，检测产生了成为所述检测对象的闪烁周期的所述闪烁。

11.根据权利要求9所述的摄像装置，其特征在于，

所述控制部，就算判定为被摄体和所述摄像装置相对运动，在与所述频率N对应的所述2个傅立叶谱的相位的差分的绝对值为给定相位差以下的情况下，检测与所述频率N对应的所述傅立叶谱的振幅成为给定振幅以上的原因是由成为所述检测对象的闪烁周期的所述闪烁引起的。

12.根据权利要求1～11的任一项所述的摄像装置，其特征在于，

所述控制部在检测对象为60Hz的闪烁或50Hz的闪烁、摄像帧速率为30fps或25fps的情况下，基于所述2个傅立叶谱的相位、和被摄体与摄像装置是否相对运动的判定结果来检测是否产生成为所述检测对象的闪烁周期的所述闪烁。

13.一种闪烁检测方法，是具备卷帘快门方式的摄像元件的摄像装置中的闪烁检测方法，所述闪烁检测方法的特征在于，

判定被摄体与所述摄像装置是否相对运动，

对由所述卷帘快门方式的摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，来分别算出包含振幅和相位的傅立叶谱，

在算出的2个所述傅立叶谱当中的至少1个振幅为给定振幅以上，且2个所述傅立叶谱的相位的差分为给定相位差以下，且判定为所述被摄体与所述摄像装置相对运动的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁。

14.一种记录介质，记录有程序，所述程序使具备卷帘快门方式的摄像元件的摄像装置的计算机实现如下功能：

判定被摄体与所述摄像装置是否相对运动，

对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，来分别算出包含振幅和相位的傅立叶谱，

在算出的2个所述傅立叶谱当中的至少1个振幅为给定振幅以上，且2个所述傅立叶谱的相位的差分为给定相位差以下，且判定为所述被摄体与所述摄像装置相对运动的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁。

15.一种摄像装置，具备闪烁检测功能，

所述摄像装置的特征在于，包含：

包含卷帘快门方式的摄像元件的摄像部；和

包含处理器的控制部，

所述控制部对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，由此分别算出包含振幅和相位的傅立叶谱，

在判定为被摄体与所述摄像装置相对移动，且与成为所述检测对象的闪烁周期的N倍的频率即频率N对应的算出的2个所述傅立叶谱当中至少1个振幅为给定振幅以上，且与所述频率N对应的所述2个傅立叶谱的相位的差分的绝对值为给定相位差以下的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁，其中N是整数。

16.一种闪烁检测方法，是具备卷帘快门方式的摄像元件的摄像装置中的闪烁检测方法，所述闪烁检测方法的特征在于，

对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，来分别算出包含振幅和相位的傅立叶谱，

在判定为被摄体与所述摄像装置相对移动，且与成为所述检测对象的闪烁周期的N倍的频率即频率N对应的算出的2个所述傅立叶谱当中的至少1个振幅为给定振幅以上，且与所述频率N对应的所述2个傅立叶谱的相位的差分的绝对值为给定相位差以下的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁，其中N是整数。

17.一种记录介质，记录有程序，所述程序使具备卷帘快门方式的摄像元件的摄像装置的计算机实现如下功能：

对由所述卷帘快门方式的所述摄像元件摄像的摄像定时不同的2个摄影图像，基于成为检测对象的闪烁周期进行傅立叶谱解析，来分别算出包含振幅和相位的傅立叶谱，

在判定为被摄体与所述摄像装置相对移动，且与成为所述检测对象的闪烁周期的N倍的频率即频率N对应的算出的2个所述傅立叶谱当中的至少1个振幅为给定振幅以上，且与所述频率N对应的所述2个傅立叶谱的相位的差分的绝对值为给定相位差以下的情况下，判断为产生了成为所述检测对象的闪烁周期的闪烁，其中N是整数。