具体实施方式
下面参见附图详细说明本发明的实施方式。
图3是示出实现本发明一个实施方式的摄像装置的相机的构成例的框图。在本实施方式中,作为相机的一例,说明应用于数字单反相机的例子。
如图3所示,该数字单反相机(以下简称为“相机”)构成为具有主体单元100、例如可更换的镜头单元(即镜头镜筒)200、记录有摄影得到的图像数据的记录媒体131。
其中,记录媒体131通过通信连接器130与主体单元100连接。
镜头单元200凭借设置于主体单元100前表面的未图示的镜头安装器而可自由拆装,镜头单元200可相对于主体单元100进行更换。
该镜头单元200构成为具有摄影镜头210a和摄影镜头210b(光学系统)、光圈203、镜头驱动机构204、光圈驱动机构202、镜头控制用微型计算机(以下称之为“Lμcom”)201。
设置于镜头驱动机构204内的未图示的步进电机沿光轴方向驱动摄影镜头210a和摄影镜头210b。
设置于光圈驱动机构202内的未图示的步进电机对光圈203进行驱动。
另外,Lμcom201对镜头驱动机构204和光圈驱动机构202等镜头单元200内的各部分进行驱动控制。
该Lμcom201通过通信连接器160与作为后述的主体控制用微型计算机的Bμcom101(摄像控制部)(闪烁检测部)电连接起来,可与Bμcom101进行各种数据收发,由Bμcom101进行控制。
而主体单元100如下构成。
经由镜头单元200内的摄影镜头210a和摄影镜头210b、光圈203射入的来自未图示的被摄体的光束的光轴上配置有焦平面式快门单元120、用于对通过了光学系统的被摄体像进行光电转换的摄像元件111。通过了摄影镜头210a和摄影镜头210b的光束在摄像元件111成像。
摄像元件111凭借摄像元件驱动IC110(摄像控制部)控制光电转换动作。摄像元件111对凭借该相机的成像光学系统而如上那样形成的被摄体像进行光电转换,将其转换为模拟电信号。摄像元件111采用卷帘快门方式,如后所述具有从摄影画面的上方向下方的扫描方向。
从摄像元件111输出的上述电信号被摄像元件驱动IC110转换为用于由图像处理IC102(闪烁检测部)进行处理的数字电信号,被图像处理IC102转换为图像信号。
另外,在本实施方式的主体单元100中,摄像元件111、摄像元件驱动IC110、作为存储区域设置的SDRAM(Synchronous Dynamic Random Access Memory:同步动态随机存储器)等半导体存储器104、液晶监视器140(显示部)与用于进行图像处理的图像处理IC102连接。另外,记录媒体131通过通信连接器130与图像处理IC102连接。
如上,主体单元100构成为能够由本实施方式的相机提供电子摄像功能以及电子记录显示功能。
记录媒体131是各种半导体存储卡或外置的硬盘驱动器(HDD)等的外部记录介质,可通过通信连接器130与主体单元100通信,并且可更换地装配。
另外,图像处理IC102与用于控制该主体单元100内的各部分的主体控制用微型计算机(以下简称为Bμcom)101连接。该Bμcom101具有作为控制相机主体动作的控制部的功能。
该功能例如是通过由该Bμcom101执行作为固件或软件安装在Bμcom101的控制程序103来实现的。或者该功能例如可以由构成Bμcom101的硬件逻辑电路来实现。
并且,Bμcom101连接有通信连接器160和快门控制驱动电路121等,还连接着用于凭借显示输出向摄影者告知相机动作状态的液晶监视器140、相机操作开关(SW)150、未图示的电源。
并且,Bμcom101与Lμcom201将镜头单元200装配于主体单元100,从而通过通信连接器160以可通信的方式电连接。而且Lμcom201从属于Bμcom101进行辅助工作,并作为数字相机工作。
快门控制驱动电路121控制快门单元120中未图示的前幕和后幕的运动,并且在与Bμcom101之间进行控制快门开闭动作的信号与前幕行进完毕时的信号的收发。
液晶监视器140用于凭借显示输出向用户(摄影者)告知相机的动作状态。
相机操作开关150由开关组构成,该开关组包括例如指示摄影动作的执行的释放开关、将摄影模式切换为连拍模式或通常摄影模式等的模式变更开关、切换电源的接通/断开的电源开关等用户操作相机所需的操作按钮(操作部)。
本实施方式的主体单元100具有未图示的电源电路,该电源电路将作为电源的未图示的电池的电压转换为相机各电路单元所需的电压并提供给该各电路单元。
下面说明该相机的摄影动作。
首先,凭借Bμcom101对图像处理IC102进行控制,若从摄像元件111和摄像元件驱动IC110向图像处理IC102输入了图像数据,则图像处理IC102将该图像数据保存于作为暂时保存用存储器的半导体存储器104。并且,半导体存储器104还可用作图像处理IC102进行图像处理所需的工作区。例如在本实施方式中,半导体存储器104储存着帧500。
另外,图像处理IC102进行将该图像数据转换为JPEG数据的图像处理,能通过记录媒体131进行保存。
快门控制驱动电路121从Bμcom101收到用于驱动控制快门的信号时控制快门单元120,使其进行快门开闭动作。
此时对于由摄像元件111通过摄像元件驱动IC110输出的摄像数据进行预定的图像处理,生成图像数据,记录于记录媒体131,从而完成摄影动作。
接着说明该相机的实时取景动作。
来自摄影镜头210a和摄影镜头210b的光束被引导至摄像元件111,摄像元件111的输出信号被摄像元件驱动IC110处理后生成为摄像数据。
例如以每秒30张左右的比例连续进行曝光,图像处理IC102将此时从摄像元件111通过摄像元件驱动IC110输出的摄像数据转换为视频信号后提供给液晶监视器140,从而能够实时在液晶监视器140显示被摄体的动态图像。
这种显示被称作“实时取景”,是公知技术。并且要以该相机进行液晶监视器140上图像数据的实时取景显示,由用户操作上述相机操作开关150中的模式变更开关,选择实时取景模式即可。在此后的说明中有时将实时取景简称为“LV”。
并且在LV动作时,来自摄影镜头210a和摄影镜头210b的光束始终被引导至摄像元件111,因此能够使图像处理IC102根据从摄像元件111和摄像元件驱动IC110输出的图像数据进行被摄体明亮度的测光处理和对被摄体进行的公知的测距处理。
图4是示出本实施方式的相机的Bμcom101的基本动作的一例的流程图。
在步骤S101中,主体单元100的电源由断开变为接通,从而进行控制。通常这被称作预置处理,因此进行Bμcom101、摄像元件驱动IC110、图像处理IC102等的电路启动、对与主体单元100连接的镜头单元200的电源供给和通信等。
在步骤S102中,作为开始上述实时取景动作的准备进行如下控制:通过通信连接器160对镜头单元200进行预定的光圈驱动指示,对摄像元件驱动IC110设定电子快门速度(积分时间)和感光度、由快门控制驱动电路121打开快门单元120使得摄像元件111受光。
在步骤S103中,开始上述实时取景动作。摄像元件111按照所设定的电子快门速度进行积分动作,通过摄像元件驱动IC110向图像处理IC102发送摄像输出数据。
如图6举例所示,图像处理IC102将摄像输出转换为图像数据并显示于液晶监视器140,同时,图像处理IC102向Bμcom101发送被摄体的亮度计算用数据。
该被摄体亮度计算用数据例如包括将在摄像元件111形成的像分割为预定区域并求平均而获得的数据等,作为能够由Bμcom101计算被摄体亮度的数值数据发送给该Bμcom101。
在该步骤S104,Bμcom101根据对被摄体进行区域分割而获得的数据计算出与各分割对应的亮度值。
亮度值是通过摄像元件111根据所设定的感光度、使镜头单元200进行控制的光圈值、电子快门速度(与摄像元件111的积分时间同值)计算向摄像元件111的各区域照射了何种程度的光而得到的。
其中,设测定亮度的区域(测光区域)为图6所示的9个区域。如图7所示,在从画面上方(或下方)依次开始积分(扫描)的卷帘快门方式的摄像元件中,若在闪烁光源下进行摄影,则如使用图2A、图2B说明的那样,闪烁成分以图8所示的条纹图案显现。因而通过如图6那样在纵向分割而测定亮度,能够检查后述的条纹的周期。另外,测定亮度的区域(测光区域)的数量不限于9个。
在步骤S105,在后述的步骤S113检查是否检测出闪烁,检测到闪烁的情况下转移到步骤S114。而未检测到闪烁的情况下转移到步骤S106。
在开始了步骤S101的电源接通处理后初次进行步骤S105的处理时,判定为未检测到闪烁,因此进入步骤S106。
在步骤S106中,判断从刚接通电源起是否经过了经过时间或从过去经过了该步骤S106起是否经过了闪烁检测周期td(例如td=500ms)。该闪烁检测周期td控制进行闪烁检测的时机。
若经过了闪烁检测周期td以上则进入步骤S108,未经过的情况下转移到步骤S107。
在步骤S107,根据步骤S104取得的亮度值计算出使得曝光级别适当的光圈值、快门速度、感光度。将这些计算出的值设定为更换镜头200的光圈203、摄像元件111的电子快门速度、感光度,从而能获得适当的曝光级别的摄像输出。
步骤S107是未产生闪烁的情况下执行的处理,因此与后述的步骤S114不同,不存在与快门速度有关的制约。执行了该处理后进入步骤S115。
在步骤S108进行闪烁判定处理。后面详细叙述。
若在步骤S108检测出闪烁则在步骤S109进入步骤S111。而未检测到闪烁的情况下进入步骤S110。
步骤S110是在步骤S108未判定为闪烁光源时进行的处理,对以500ms以上的周期计量连续几次判断为闪烁光源的计数器清零后进入步骤S115。
在步骤S111,对以500ms以上的周期计量连续几次判断为闪烁光源的计数器进行+1计数,然后进入步骤S112。
在步骤S112中,确认以500ms以上的周期计量连续几次判断为闪烁光源的计数器是否为“3”。在连续3次检测出闪烁的情况下,进入步骤S113。未检测出的情况下进入步骤S115。
在步骤S113中判定为被摄体处于闪烁光源下。
若通过步骤S106、108、109、111、112、113这一系列的处理以500m以上的间隔进行闪烁检测动作,连续检测出3次闪烁,则进行判定为被摄体处于闪烁光源下的处理。通常被摄体处于和不处于闪烁光源下的情况不会在几秒内变化,因此若以1.5秒左右的时间进行闪烁判断,在1.5秒期间全都检测到闪烁,则判断为闪烁。
被摄体一瞬间穿越闪烁光源的情况下,不进行后面在步骤S114中描述的应对闪烁的曝光控制,而是在被摄体稳定处于闪烁光源环境下时进行应对闪烁的曝光控制。
在步骤S114中,若被摄体处于闪烁光源下,则执行降低闪烁影响的应对闪烁的曝光控制。应对闪烁的曝光控制对积分时间设定电子快门速度,以使得积分时间不会比闪烁周期短,而且使其成为闪烁周期的倍数。
将电子快门速度设定得更低,另一方面控制更换镜头200的光圈203,从而限制到达摄像元件的光量,即使积分时间为闪烁周期的倍数,曝光也不会过量。
然而,用于变更光圈值的光圈驱动是驱动机械机构而进行的,因此相比电子快门速度变更和感光度变更的控制其追随性较慢,对于实时取景动作中的光圈控制而言并不优选。
而为了应对被摄体的亮度变化,不使用比帧周期短的快门速度而通过光圈进行应对会使得亮度变化的追随反应变慢,作为截取瞬间的静态图像摄影的构图确认用的实时取景显示而言并不优选。
若进一步缩窄光圈则被摄场深度变深,存在用户不易确认焦点的对焦状态的课题。而在自动对焦时需要使得被摄场深度变浅以确保对焦精度,因此每当进行自动对焦时都需要开放光圈,存在释放时滞变长等诸多课题。
基于以上原因,在实时取景动作中优选开放光圈,以摄像元件的电子快门和感光度进行亮度追随。因而在本实施例中,上述应对闪烁的曝光控制是在判定为被摄体处于闪烁光源下进行的控制。
在步骤S115中,处于相机操作开关150中的释放被接通的情况下,进行步骤S116的静态摄影。
在步骤S116中,暂时停止实时取景动作,根据步骤S104中获得的亮度值计算出作为静态图像摄影最佳的光圈值、电子快门速度、感光度。根据计算出的值进行上述摄影动作。
在步骤S117中,判别处于相机操作开关150中的电源开关是否未断开。而电源开关未断开的情况下,进行下一帧的曝光动作,因而返回步骤S104,进行取得亮度值的处理。
只要电源开关未断开,则反复进行从步骤S104到步骤S116的处理。而释放开关断开时,反复进行从步骤S104到步骤S114的处理。在反复该处理的期间内,处于在液晶监视器140显示出连续的图像的实时取景动作。电源开关断开后,进行相机的电源断开控制。
图5是示出本实施方式的相机中Bμcom101的闪烁检测处理的一例的流程图。接着参照该图5,详细说明上述步骤S108的闪烁检测处理的一例。
如图4的流程图所示,该步骤S108的闪烁检测处理基本是以周期td的时间间隔处理的。
作为图5的控制概要,根据步骤S104中获得的亮度值,在以预定周期反复的摄像输出中取得连续3帧的帧的亮度值的控制中,第1帧与第2帧是以相同的快门速度(积分时间)进行的。第3帧对在第1、2帧进行控制的快门速度(积分时间)提高了1级速度,提升了1级感光度,从而维持了曝光级别,进行变更快门速度(积分时间)的控制。使用该3帧的亮度值进行闪烁判定。
在步骤S201中,根据在上述图4的步骤S104获得的亮度值计算出使得曝光级别适当的光圈值、快门速度、感光度,将计算出的各值设定为镜头的光圈、摄像元件的电子快门速度、感光度,进行摄像动作,取得摄像输出。在步骤S202中,与步骤S104同样地根据摄像输出计算图6所示的各区域的亮度值。
在步骤S203中,使用与步骤S201中相同的光圈值、快门速度、感光度进行摄像动作,获得第2帧的摄像输出,在步骤S204中,根据第2帧的摄像输出,计算出图6所示的各区域的亮度值。
在步骤S205中,使得步骤S202中控制的光圈值、快门速度、感光度中的快门速度提升1级。将感光度增加1级以使得不会由于快门速度变快而曝光过低。然后进行第3帧的摄像动作,取得摄像输出。在步骤S206中,根据第3帧的摄像输出,计算图6所示的各区域的亮度值。
在步骤S207中,按照每个对应区域对在第1帧和第2帧获得的各区域的亮度值计算亮度值之差(第1亮度差)。为了对区域N计算2个帧的亮度值之差,关于N=1~9的情况,分别进行下式(1)的计算。
区域N的差=第2帧的区域N的亮度值-第1帧的区域N的亮度值...(1)
在步骤S208中,按照每个对应的区域对在第2帧和第3帧获得的各区域的亮度值计算亮度值之差(第2亮度差)。为了对区域N计算2个帧的亮度值之差,关于N=1~9的情况,分别进行与上述式(1)相同的计算。
基于到此为止的处理,获得了作为闪烁判定所需的摄像输出的积分时间相同的2个帧的摄像输出与积分时间不同的2个帧的摄像输出。进而根据该摄像输出计算图6所示的区域的亮度,基于式(1)的计算对每个区域获得积分时间相同的2个帧的亮度变化(第1亮度差)和积分时间不同的2个帧的亮度变化(第2亮度差)。
在说明步骤S209以后进行的闪烁判定的处理之前,使用图9~图15说明从步骤S201到步骤S208获得的数据与闪烁光源的关系。
图9是具有闪烁的照明均匀照射被摄体的情况。被摄体与闪烁光源的位置关系是固定的。图10示出如上设定的亮度与积分时间的关系。其中,举例说明商用电源频率为60Hz,闪烁亮灭频率为120Hz、摄像输出的帧速率为120fps时的闪烁亮灭频率与摄像输出的帧速率同步的情况。
图10最上方的图表“A:照射面亮度变动”表示被摄体的亮度变动。横轴表示作为图表A、B、C共同的时间轴的经过时间,纵轴表示亮度。120Hz的闪烁具有如下特征:以8.33ms的周期反复亮灭,尤其在熄灭的时机亮度每单位时间的变化变大。
接着根据图10上方第2个图表“B:积分时间T的逐次积分”说明以某积分时间“T”进行积分时图6所示的9个区域的积分时间和时机。
如图7所示,在从上方逐次开始积分的摄像元件中,按照每个像素从上方依次开始积分。图6所示区域中存在多个像素,该像素的积分时机在区域内部也按照每个像素而不同,对区域内的像素输出求平均而作为“区域亮度值”,视作从区域1向区域9依次开始积分,图10的图表B示出这种情况。
以120fps从区域1开始积分,到区域9依次进行积分动作,将该过程作为第1次积分。图表B示出以120fps反复3次积分动作的情形。
首先,着眼于第1次积分,在图表A所示的照射面亮度最高的时机出现积分时间中心的区域为“区域2”。因而根据区域2计算出的亮度值比其他区域的高。而在图表A照射面亮度最低的是“区域7”,根据区域7计算出的亮度值在9个区域中是最低亮度。
由于闪烁周期与摄像周期同步,因此较亮区域与较暗区域的关系在第2次积分和第3次积分中也能得以保持。如上可知,若比较在积分时间相同的情况、即第1次、第2次、第3次积分获得的各区域的亮度值,则能获得相同亮度值。
图10的图表“C:积分时间“t”的逐次积分”表示以积分时间与T不同的时间“t”进行积分的情况。
积分开始时机与图表B相同,而由于积分时间较短,因而积分时间的中心会发生变化,结果积分时间“t”时最明亮的区域为“区域4”、最暗的区域为“区域9”。根据图11的图表A、B、C,若在闪烁照明下改变积分时间,则在每个区域出现的亮度值会不同。
而若比较以积分时间T取得的图表B的区域7与以积分时间t获得的图表C的区域9,则虽然最暗时刻为积分时间的中心,然而积分时间T还包括较明亮的时刻而进行积分,而积分时间较短的情况下仅在亮度较暗的时间积分,因此示出根据图表C的积分时间t的区域9计算出的亮度值比根据图表B的积分时间T的区域7计算出的亮度值的亮度暗。
图10的图表“D:通过积分获得的亮度值(测光值)”在横轴的时间轴描述9个区域的积分时间的中心时刻,纵轴表示从各区域获得的亮度值。积分时间T用实线表示,积分时间t用虚线表示,处于若变更积分时间则所获得的亮度值会发生变化的关系。
如图9、图10所示,在荧光灯的闪烁导致的亮灭以外不存在照射面的亮度变动因素的情况下,仅闪烁成分作为亮度值显现出来,因此通过比较积分时间不同的摄像输出就能判定是否为闪烁光源。
然而在实际的摄影场景时,如图11所示,存在被摄体运动的状况,即使光源为不存在闪烁亮灭的无闪烁光源,取得的亮度值也会变化。
图12以与图10同样的方式示出图11的状况下的亮度变化等。图12的图表A反复随机的亮度变化。在这种被摄体状况下,无关于快门速度的变更都会产生亮度值的变动。
图12中,在积分时间相同的第1次、第2次、第3次积分中在各区域都会产生亮度变动。另外,还会产生积分时间“T”与积分时间“t”的差异。
因此如图12所示,在闪烁光源下且被摄体进行运动的一般被摄体的照射面亮度重叠有闪烁亮灭导致的变动成分和被摄体运动导致的变动成分。
因此,仅凭比较积分时间不同的摄像输出难以根据闪烁成分与被摄体的变动成分重叠的被摄体的照射面亮度判断被摄体是否处于闪烁光源下。
在本实施例中,通过图5的闪烁检测处理解决这种问题。图14以与图10、图12相同的方式示出本实施例的动作。
图14的图表“A:照射面亮度变动”示出以闪烁亮灭的8.33ms周期发生亮度变化的成分与随机的被摄体移动导致变化的亮度成分重叠的状态。第1次积分与第2次积分为相同积分时间,第3次积分缩短积分时间而取得。这是从图5的步骤S201到S206为止说明的状态,图5的第1帧对应于第1次积分、第2帧对应于第2次积分、第3帧对应于第3次积分。
图15示出在步骤S207获得的第1、第2帧的亮度差(第1亮度差)与在S208获得的第2、第3帧获得的亮度差(第2亮度差)的时间变化。作为第1、第2帧的亮度差的“第2帧-第1帧”是以相同积分时间进行摄像动作的第2帧与第1帧的亮度值之差。而作为第2、第3帧的亮度差的“第3帧-第2帧”是以不同积分时间进行摄像动作的第3帧与第2帧的亮度值之差。
进而,在步骤S208中,作为第1、2帧的变动量(第1变动量)计算出作为图15所示的“第3帧-第2帧”的最大值与最小值之差的“第3帧-第2帧的振幅”。而在步骤S207,同样作为第2、3帧的变动量(第2变动量)计算出“第2帧-第1帧的振幅”。
在后述的步骤S209中,比较在步骤S208获得的“第3帧-第2帧的振幅”是否充分大于在步骤S207获得的“第2帧-第1帧的振幅”,判断为充分大的情况下判定为符合闪烁判定中的一个条件。具体是在满足下式(2)的情况下判定为符合闪烁判定中的一个条件。
(第3帧-第2帧的振幅)/(第2帧-第1帧的振幅)>阈值D...(2)
如后所述,作为一例,阈值D既可以为2,也可以按照各种条件适当进行变更。说明通过如上对亮度值之差的振幅进行比较,进行是否为闪烁光源下的判定的原理。
相比人眼无法识别的快速闪烁亮灭,基于可视觉确认的被摄体的移动的亮度变动较为缓和,每单位时间的亮度变动较少。
如图16所示的一例,比较积分时间为4ms、感光度为ISO200时取得的摄像输出与将积分时间减少1级而为2ms、相应增加1级感光度而为ISO400的情况,若不存在亮度变化则能获得相同的亮度值,然而对于例如以8.33ms的周期闪烁亮灭的亮度变化较快的情况而言,积分时间差异导致的亮度值差异变大。
并且,在图16中,积分时间2ms(ISO400)的情况下亮度值相当于L(2ms)(右上斜线部的面积)、积分时间4ms(ISO200)的情况下亮度值相当于L(4ms)(右下斜线部的面积),换算为亮度值进行比较时,考虑到感光度之差而比较2×L(2ms)和4×(4ms)。
另一方面,对于被摄体移动那样进行缓和变化的情况,赋予与图16同样的标记而在图17示出。如图17所示,将积分时间变为2ms(ISO400)和4ms(ISO200)时亮度值之差小于闪烁亮灭的状况下测光值之差。
而在相当于闪烁亮灭的被摄体变化较为激烈的情况下,基于上述判断方法难以与闪烁区分开来。然而闪烁成分与被摄体运动以相同程度变动的被摄体中,闪烁的条纹图案混入被摄体的激烈变化中而并不显现,判定是否处于闪烁光源下的必要性较小。
根据以上所述的原理,在积分时间不同的摄像输出的变动与积分时间相同的摄像输出的变动之比大于预定值(例如2)的情况下判定为存在闪烁。
而积分时间不同的摄像输出的变动与积分时间相同的摄像输出的变动之比小于预定值(例如2)的情况下,即使存在闪烁也认为闪烁的影响在实时取景显示中并非显眼的级别,判断为闪烁的影响足够小,判定为无闪烁。上述预定值可以通过各种条件进行变更。
还可以判定积分时间不同的摄像输出的变动(第2变动量)与积分时间相同的摄像输出的变动(第1变动量)之差是否超过预定阈值。
下面返回图5进行说明。
在步骤S209中,在步骤S208获得的变动量相比步骤S207获得的变动量在2倍以上(满足式(2))的情况下,判断为被摄体处于闪烁光源下,进入步骤S210。而小于2倍时判断为被摄体不处于闪烁光源下或闪烁光源的影响足够小,结束闪烁判定处理。
在步骤S210,检查亮度变动周期,检查是否与闪烁周期同步,判断周期性是否符合闪烁周期。
如图18所示,对于第3帧与第2帧的差,检查从正切换为负的切换点。比较“区域N”与“区域N+1”,搜索“区域N”为正、“区域N+1”为负或0的区域N。
被摄体处于闪烁光源下的情况下,判定作为这种多个切换点的间隔的图18所示的间隔1是否相当于闪烁的1个周期的时间。
虽然在图10、图12、图14中没有示出,然而在区域1至区域9之间在闪烁的1个周期以上对画面整体进行积分的情况下,判断切换点是否偏离了相当于积分开始时间错开作为闪烁的1个周期的8.33ms的区域数量。
同样比较“区域N”与“区域N+1”,求出从负切换为正或0的切换点时,在图18所示例子中获得3个切换点,例如能够通过间隔2是否为闪烁周期的大致一半的方法来检查。
在取得1个画面的摄像输出的时间相比闪烁周期长数倍的实时取景上产生很多条纹的情况下,将区域数增至大于9个来检查傅里叶变换等频率成分的方法也是有效的。
如上,判定亮度值的变动周期是否与闪烁周期大致一致,作为周期性评价结果判定为符合闪烁周期的情况下进入步骤S211。然后在步骤S211进行检测到闪烁的判定。
以上对于图5的闪烁判定处理的动作结束说明。
并且,本实施例中的相同积分时间是将双方的积分时间的比率大于0.75且小于1.25的范围内作为相同积分时间。而不同的积分时间是将双方的积分时间的比率在0.75以下或在1.25以上的范围作为不同积分时间。
接着如下说明第1实施例的变形例。利用闪烁成为横向条纹对实时取景显示带来影响的情况,如图19所示在摄影画面的横向也相邻配置测光区域,在步骤S210进行周期性评价的判定。即,在图19的摄像区域400的测光区域401的横向配置测光区域402、403。测光区域402、403与测光区域401同样地分别具有区域1至区域9。
然后判别在上述步骤S210求出的区域1至区域9的切换点是否如图20所示在测光区域401和在其横向相邻的测光区域402和测光区域403中一致。在判定为该切换点的间隔与闪烁周期大致一致的情况下进入步骤S211。在图20所示例子中,在测光区域401、402、403的所有区域中,区域1、5、9成为切换点,判别为切换点一致。
如上就能进一步提升周期性评价的可靠性。
并且在摄像的帧速率为60fps的情况下,与闪烁的2个周期同步,30fps的情况下与闪烁的4个周期同步,因此会产生与本实施例的120fps的情况相同的现象,摄像的帧速率为60fps、30fps时,本实施例的闪烁判定处理也有效。
如上,能够检测出以摄像元件的摄像输出周期(摄像的帧速率的倒数)的大致(1/整数)倍的周期进行亮灭的闪烁成分。
如上所述,在第1实施例中,根据相同积分时间的摄像输出的变动量和不同积分时间的摄像输出的变动量判定是否含有闪烁成分,因此能去除被摄体的运动导致的误判定。
而被摄体为平面且运动较少的情况下,即使处于由于闪烁成分产生微弱的闪烁条纹的状况下,在实时取景显示上也容易显著。此时,相同积分时间的摄像输出的变化量较小,因此即使不同积分时间的摄像输出的变动量较小也能判定为含有闪烁成分,能提升闪烁检测能力。不仅对于被摄体运动的影响,对相机抖动的影响也能通过同样的方法去除闪烁检测的误判定。
接着说明第2实施例。第2实施例的构成与示出第1实施例的构成的图1相同,图4的相机基本动作的处理也相同。下面仅说明与第1实施例不同的部分。
在图5所示的第1实施例的闪烁判定处理中,示出第1次积分和第2次积分以相同的积分时间取得摄像输出,第3次积分以与前两次不同的较短的积分时间进行积分的例子。
在第2实施例中,使第1次积分、第2次积分、第3次积分为相同时间,对第4次积分采用与前三次不同的积分时间,从而具有对商用电源频率60Hz和50Hz这双方的闪烁进行判别的能力。
在摄像输出的帧速率为30fps的情况下,在商用电源频率为60Hz的地域,闪烁照明为120Hz的闪烁周期,如图2B所示,与摄像输出的帧速率同步。
如图2A所述,在商用电源频率为50Hz的地域的闪烁照明中,条纹图案在帧之间发生变化。该变化在100ms同步,该100ms是闪烁周期10ms与摄像输出周期33.3ms(1/30fps)的最小公倍数。
若对积分时间相同的3次的积分值求平均,则能获得减弱了闪烁成分的影响的数据,这如上述在先技术所述是公知的。因此在检测未与摄像输出同步的闪烁成分的情况下进行3帧比较比起基于积分时间变更的检测能更为良好地进行检测,因而通过不同的判断方法检测作为不与摄像输出的帧速率同步的闪烁的100Hz的闪烁和与之同步的120Hz的闪烁。
图21示出第2实施例的闪烁判定处理的流程图。
在步骤S301中,根据在图4的步骤S104获得的亮度值,计算使得曝光级别适当的光圈值、积分时间、感光度,将该计算出的值设定给摄影镜头的光圈、摄像元件的电子快门、感光度,执行摄像动作,获得摄像输出。
从步骤S302到S304,与步骤S104同样地根据摄像输出对图6所示的每个测光区域计算亮度值。
在步骤S302中取得第1帧的亮度值,在步骤S303中取得第2帧的亮度值,在步骤S304中获得第3帧的亮度值,在步骤S302、S303、S304都在相同的积分时间进行摄像动作。
在步骤S305中,将在步骤S302、S303、S304控制的光圈值、积分时间、感光度中的积分时间设定得快1级。然后按照加快快门速度的量相应增加1级感光度,使得曝光不会不足。
然后在步骤S306进行第4帧的摄像动作,取得摄像输出,获得图6所示的区域的亮度值。
在步骤S307,根据以相同积分时间进行了摄像动作的第1、2、3帧的亮度值检测50Hz的闪烁。闪烁检测方法是公知技术且在上述在先技术中已有描述,因而如下简单说明。
计算对上述1~3帧计算出的各区域的亮度值的平均值。例如基于下式对区域1求出平均值。
区域1的平均亮度值=[(第1帧的区域1的亮度值)+(第2帧的区域1的亮度值)+(第3帧的区域1的亮度值)]/3...(3)
对9个区域进行式(3)的计算。
该9个区域的亮度值相当程度上被减少了闪烁成分。若对于第1帧的区域1~9,对各区域从亮度值减去3个帧的亮度值的平均值,则在闪烁环境下仅提取出闪烁成分。
对于其他2帧也同样地从各区域的亮度值获取3个帧的亮度值的平均值之差,获得的差值相当于闪烁成分,因此通过检查闪烁成分的特征量、例如频率成分等,能判断为50Hz的闪烁。
如上根据第1、2、3帧的摄像输出判断不与摄像的帧速率同步的闪烁成分,在判断为闪烁成分的情况下进入步骤S313。而未判断为闪烁成分的情况下进入步骤S308。
在步骤S308,与步骤S208同样地进行如下计算。
“区域N的差”=“第3帧·区域N的亮度”-“第2帧·区域N的亮度”...(4)
基于上述式(4),计算第3帧与第2帧的各区域的亮度值之差(第1亮度差)。然后同样计算出变动量(第1变动量)。
在步骤S309,与步骤S308同样地进行如下计算。
“区域N的差”=“第4帧·区域N的亮度”-“第3帧·区域N的亮度”...(5)
基于上述式(5),计算第4帧与第3帧的各区域的亮度值之差(第2亮度差)。然后同样计算出变动量(第2变动量)。
在步骤S310、S311中,进行与步骤S209、S210同样的检查。在步骤S310中若第4帧与第3帧的变动量(第2变动量)同第2帧与第3帧的变动量(第1变动量)之比超过了预定阈值,而且在步骤S311基于周期性评价判定为符合60Hz闪烁周期的情况下,进入步骤S312,判定为存在60Hz的闪烁。
其中,处于50Hz的闪烁环境下的情况下,不会基于步骤S307的分支而进入步骤S311,因此在步骤S312判定的是同步中的60Hz的闪烁。
在步骤S313中判定为50Hz闪烁。如上,未与摄像帧速率同步的闪烁相比同步的闪烁其条纹的变动显著不同,因此分别检测50Hz和60Hz的闪烁就能进行良好的检测。
另外,图21所示的闪烁判定处理中摄像帧速率不限于30fps。在摄像帧速率为60fps(周期16.6ms)的情况下,与50Hz闪烁的周期100ms的最小公倍数为6个帧,因此可使用6帧的平均数据。
另外,作为变形例,如图22所示,可以间取帧而使用基于隔帧的摄像输出的亮度值。摄像帧速率为120fps的情况下,可使用基于每隔4帧的摄像输出的亮度值。如上当摄像帧速率增加的情况下,使用适当间取的摄像输出,能基于与图21相同的方法进行闪烁判定。
图23示出其他变形例。图23中,设3次积分动作中第1次与第3次的积分时间为T,第2次的积分时间为t。此时,将第1次积分与第3次积分作为相同积分时间的摄像输出计算出其亮度差(第1亮度差),将第1次积分与第2次积分作为不同积分时间的摄像输出计算出其亮度差(第2亮度差)。然后计算出第1次和第2次的不同积分时间的摄像输出的亮度差的振幅(第2变动量)与第1次和第3次的相同积分时间的摄像输出的亮度差的振幅(第1变动量)之比。然后判定该比是否超过预定阈值,从而能获得同样的效果。
下面说明第3实施例。
在第1、第2实施例中,根据通过图6所示的测光区域401的摄像输出求出的亮度值之差进行闪烁判定处理,而第3实施例的不同之处在于根据多个摄像输出求出运动矢量,进而根据运动矢量进行闪烁判定处理。
在图像处理IC102的内部设有未图示的运动矢量计算部。运动矢量计算部根据从摄像元件111通过摄像元件驱动IC110输出的多帧的摄像输出计算运动矢量。
如图24所示,在被摄体A相对于摄像画面400产生了2帧的移动的情况下,如图25所示,已知如下技术:关于处于移动前的帧的摄像输出的被摄体上的特定点处于移动后的帧的摄像输出的何处,使用与2帧的摄像输出有关的图案匹配等方法检测运动方向。
第3实施例使用上述公知技术,并且变更积分时间进行摄像动作,从而利用在实时取景显示中产生的条纹的浓淡和粗细程度发生变化的情况,检测闪烁。
在(闪烁周期×整数倍)的摄像输出周期的情况下,若为相同积分时间则如上所述,在实时取景显示中显现的闪烁条纹不会在多帧间移动,保持一定的位置进行显示。图26示出此时运动矢量计算部计算出的运动矢量的例子。如图26所示,仅产生与被摄体有关的运动矢量410,不产生闪烁条纹的运动矢量。
另一方面,相同条件且不同积分时间的情况下闪烁的条纹会发生变化,因此如图27所示,运动矢量计算部还计算在与条纹变化对应的摄影画面400的横向并列产生的运动矢量411。Bμcom101接收由图像处理IC102的运动矢量计算部对每帧计算出的运动矢量信息,检测图26与图27的运动矢量的差异,从而判定有无闪烁。
下面说明变形例。
摄像输出具备RGB的颜色信息,因而可观察RGB的比例变化。荧光灯亮灭时会产生颜色变动,因此在实时取景中显示的条纹根据荧光灯有时会成为红色显著的条纹。因而,由于积分时间较长时的摄像输出而在图28所示的摄影画面上存在闪烁条纹405A的情况下,基于进一步缩短积分时间时的摄像输出而成为图29所示的摄影画面上的闪烁条纹405B,产生红色进一步变强的变化。
例如,图6所示的区域并非使用亮度信息,而是区分RGB各自的积分值作为数据使用,从而可以按照对9个区域分别比较积分时间相同的2个帧的颜色变动量与积分时间不同的帧的颜色变动量的方式,置换进行比较的变动量。无论哪种情况都是使用积分时间相同的摄像输出的比较和积分时间不同的摄像输出的比较这双方进行判断,能获得同样的效果。
如上所述,根据本实施方式,在闪烁周期与帧速率同步的情况下,或虽然没有完全同步但帧速率接近与闪烁周期同步的频率的情况下,即使使用应用对变更了电子快门速度的摄像输出进行比较的方法的闪烁检测,也能适当进行闪烁检测,而不会降低用于用户确认构图而显示于液晶监视器140的实时取景的动态图像的画质。
即,根据本实施方式,在帧速率与闪烁光源的频率同步的情况下,也能在不降低实时取景的显示画质的情况下进行闪烁检测。
并且本发明不限于上述实施方式举例示出的构成,当然可以在不脱离其主旨的范围内进行各种变更。