CN106559623B - 摄像装置和闪烁检测方法 - Google Patents

摄像装置和闪烁检测方法 Download PDF

Info

Publication number
CN106559623B
CN106559623B CN201610670569.8A CN201610670569A CN106559623B CN 106559623 B CN106559623 B CN 106559623B CN 201610670569 A CN201610670569 A CN 201610670569A CN 106559623 B CN106559623 B CN 106559623B
Authority
CN
China
Prior art keywords
frame
period
light
flashing
frame period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610670569.8A
Other languages
English (en)
Other versions
CN106559623A (zh
Inventor
塚越丈史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Western Europe Desk
Original Assignee
Western Europe Desk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Europe Desk filed Critical Western Europe Desk
Publication of CN106559623A publication Critical patent/CN106559623A/zh
Application granted granted Critical
Publication of CN106559623B publication Critical patent/CN106559623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供摄像装置和闪烁检测方法。不管在怎样的摄影环境下,都能确实且迅速地检测多个不同的外光的亮灭周期当中、哪一亮灭周期的光成为闪烁的发生要因。在将针对外光的亮灭周期摄影帧的相位以给定数的帧间隔一致的帧周期设定为闪烁检测用的帧周期的情况下,将针对多个不同的外光的亮灭周期(例如50Hz、60Hz情况的闪烁要因周期)摄影帧的相位一致的帧间隔各不相同的帧周期(例如37.5ms)设定为闪烁检测用的帧周期(图4的步骤B1)。通过判定以该帧周期连续摄影的多个帧图像的明亮度以与多个亮灭周期的哪一者对应的帧间隔变化(步骤B2~B6),来判定哪一亮灭周期的光成为闪烁的发生要因(步骤B8、B9)。

Description

摄像装置和闪烁检测方法
技术领域
本发明涉及基于所摄像的帧图像的明亮度来检测摄影时呈现的闪烁的发生要因的摄像装置。
背景技术
数字视频摄像机等摄像装置若在对应于商用电源频率(例如50Hz、 60Hz)而周期性明亮度变化的光源(例如荧光管等)的环境下进行摄像,在商用电源频率为50Hz的情况下,以1/100秒周期而光源的明亮度发生变化,在60Hz的情况下,以1/120秒周期而光源的明亮度发生变化,因此有时在该图像信号内中会出现闪烁。即,由于与外光的亮灭周期相应的明亮度变化而作为监视器画面或动态图象出现闪烁,或者在帧图像内出现不均匀的条纹状的闪烁。
一般,在检测这样的闪烁的情况下,设定用于容易地检测闪烁的摄影参数,进行基于该设定的摄影参数的连续的摄影,对该摄影中得到的多个图像数据进行解析,来判定有无闪烁。另外,作为考虑商用电源频率为2 个种类的技术,已知能检测该外光的亮灭周期(闪烁频率)是100Hz(商用电源频率50Hz的2倍)或120Hz(商用电源频率60Hz的2倍)的哪一者的技术(参考专利文献1)。
专利文献1:JP特开2002-84466号公报
上述的专利文献的技术通过执行用于检测100Hz的闪烁的摄影参数的设定处理、摄影处理、解析处理、和用于检测120Hz的闪烁的摄影参数的设定处理、摄影处理、解析处理的双方,虽然能检测对应于按地域划分的商用电源频率(50Hz、60Hz)而不同的频率的闪烁,但并不是有效果地执行这些闪烁检测所需的处理的技术,难以确实且迅速地检测闪烁。
发明内容
本发明的课题在于,能确实且迅速检测多个不同的外光的亮灭周期当中、哪一个亮灭周期的光成为闪烁的发生要因。
本发明的1个方式涉及具有闪烁检测功能的摄像装置,将针对外光的亮灭周期摄影帧的相位以给定数的帧间隔一致的1个帧周期设定为闪烁检测用的帧周期,若以该设定的帧周期连续摄影的多个帧图像的明亮度以所述给定数的帧间隔变化,则判定为所述亮灭周期的光成为闪烁的发生要因,进而在所述设定中,将针对多个不同的外光的亮灭周期摄影帧的相位一致的帧间隔各不相同的1个帧周期设定为闪烁检测用的帧周期,在所述判定中,通过判定以所述1个帧周期连续摄影的多个帧图像的明亮度以与所述多个亮灭周期的哪一者对应的帧间隔变化,来判定哪一亮灭周期的光成为闪烁的发生要因。
附图说明
图1是表示作为摄像装置而运用的数字摄像机的基本构成要素的框图。
图2是概略表示商用电源频率50Hz(闪烁频率100Hz)以及60Hz(闪烁频率120Hz)的情况的闪烁所引起的亮度变化的状态的图。
图3是用于说明对应于电源接通而开始执行的摄像装置(数字摄像机) 的动作(本实施方式的特征性的动作)的流程图。
图4是用于详述闪烁检测处理(图3的步骤A6)的流程图。
图5是用于详述摄影条件设定处理(图3的步骤A7)的流程图。
具体实施方式
以下参考图1~图5来详细说明本发明的实施方式。
图1是表示作为摄像装置而运用的数字摄像机的基本构成要素的框图。
摄像装置(数字摄像机)是数字视频摄像机,除了具备摄像功能、重放功能、计时功能等以外,还具备闪烁检测功能,基于在对应于商用电源频率而周期性明亮度发生变化的光源(例如荧光管等)的环境下连续摄像的各帧图像的明亮度变化来检测该帧图像内所出现的闪烁。控制部1通过来自电源部(二次电池)2的电力提供而动作,按照容纳于存储部3内的各种程序来控制该数字摄像机的整体动作,在该控制部1中设有未图示的 CPU(中央运算处理装置)、存储器等。
存储部3例如是具有ROM、闪速存储器等的构成,具有:容纳用于按照后述的图3~图5所示的动作次序实现本实施方式的程序、各种应用等的程序存储器3A;临时存储该摄像机为了动作而需要的各种信息(例如标记等)的工作内存3B等。另外,存储部3例如可以是包含SD卡、IC 卡等拆装自由的可移动型存储器(记录介质)的构成,虽未图示,但也可以在经由通信功能与网络连接的状态下包含给定的服务器装置侧的存储区。
虽然图示省略,操作部4除了具备切换能摄影的动作模式(摄影模式) 和重放摄影完毕图像(保存图像)的动作模式(重放模式)的模式变更按钮、指示摄影开始的释放按钮以外,还具备进行曝光、快门速度、光圈、 ISO灵敏度等摄影条件的设定操作等的各种键,控制部1例如进行模式变更处理、摄影处理、摄影条件的设定等,作为与来自该操作部4的输入操作信号相应的处理。显示部5是高精细度液晶显示器或有机EL(Electro Luminescence,电致发光)显示器等,成为实时显示摄像的图像数据(实时取景图像)的监视器画面(实时取景画面),或成为重放摄影完毕的图像数据的重放画面。
摄像部6构成能高精度对被摄体进行摄影的摄像机部,在其镜头组件 6A设置变焦透镜6B、聚焦透镜(合焦透镜)6C、光圈和快门6D、摄像元件6E。该摄像元件6E例如是以预先设定的摄影用的帧周期或后述的闪烁检测用的帧周期进行连续摄像的CCD图像传感器,具有多个电荷积蓄部以及电荷转移部,该电荷转移部遵循全局快门方式(同时曝光一并读出方式)使全像素在同时定时进行转移。另外,摄像元件6E并不限于CCD 图像传感器,也可以是采用卷帘快门方式(行曝光依次读出方式)的CMOS 图像传感器。
从该摄像元件6E读出的图像信号(模拟值的信号)被图示省略的A/D 变换部变换成数字信号(图像信号),并在被实施了给定的图像显示处理后,作为实时取景图像而实时监视显示在显示部5。控制部1对按照释放按钮(图示省略)的操作而摄像的图像实施给定的图像处理(显影处理等) 来生成摄影图像,并在实施图像压缩处理而变换为标准的文件格式后,记录保存在存储部3的记录介质。GPS通信部(定位部)7利用地面系统/ 卫星系统的控制站来测定当前位置(摄像机位置),控制部1在摄像机位置发生较大(给定值以上)变化的情况下判断为摄影环境发生变化。
图2是概略表示商用电源频率50Hz(外光的亮灭周期:闪烁频率 100Hz)以及商用电源频率60Hz(外光的亮灭周期:闪烁频率120Hz)的情况的闪烁所引起的明亮度变化的状态的图。另外,以下将商用电源频率 50Hz仅称呼为50Hz,将商用电源频率60Hz仅称呼为60Hz。
图中,横轴表示时间(ms),纵轴表示明亮度变化(亮灭的变化),实线的波形概略示出50Hz的情况的明亮度变化的波形和60Hz的情况的明亮度变化的波形。
基本上,在动态图象摄影(或实时取景摄影)中,在摄影帧中出现闪烁的影响的周期(闪烁发生周期)是成为闪烁要因的光的亮灭周期(闪烁要因周期)和摄影帧的周期的最小公倍数的周期。若摄影帧的周期成为闪烁要因周期的整数倍,则由于闪烁发生周期与摄影帧周期一致,因此不出现闪烁的影响。
另外,若设定摄影帧的周期使闪烁要因周期和摄影帧的周期的最小公倍数变得非常长,则闪烁的检测所需的时间会变得过长。若该最小公倍数短,则虽然能在短时间内检测闪烁,但在希望检测1/100s和1/120s两方的闪烁要因的情况下,由于分开进行用于检测各自的闪烁要因的摄影帧的周期的设定处理、和该设定中的摄影处理,因此检测时间变长。为此,在要更有效果(确实且快速)地检测1/100s和1/120s这两方的闪烁要因的情况下,期望公共地同时进行用于闪烁检测的摄影帧的周期的设定处理、和该设定中的摄影处理。
但如上述那样,由于即使设定了相对1/100s和1/120s的任意一方的闪烁要因周期最小公倍数短的摄影帧的周期,设定相对另一方闪烁要因周期最小公倍数长、或成为另一方的闪烁要因周期的整数倍那样的摄影帧的周期,可能会无法检测另一方的闪烁要因,或即使能检测也需要长时间。
以下说明用于进行更有效果的闪烁检测的摄影帧的周期的设定。
在此,例如若将50Hz(闪烁要因周期1/100s)和60Hz(闪烁要因周期1/120s)的最小公倍数1/20s设为摄影帧的周期(50ms),则该摄影帧的周期由于相对于两方的闪烁要因周期都成为整数倍,因此如图示那样, 50Hz的明亮度变化的波形和60Hz的情况的明亮度变化的波形中帧周期的相位一致(在全部帧相位一致)。
考虑通过设定相对于针对该两方的闪烁要因周期的最小公倍数1/20s 稍错开的摄影帧的周期,来设定针对哪一闪烁要因周期都不成为整数倍且与哪一闪烁要因周期的最小公倍数都足够短的摄影帧的周期。
在50±α(稍错开的值)中,将α设为12.5,
将该式进一步变更为12.5+25.0×N。
作为除了闪烁要因周期1/100s(10ms)、1/120s(12ms)的整数倍以外的值,若例如将37.5ms(将上述的N设为1的情况)设为摄像元件6E 的帧周期,则如图示那样,50Hz的情况的闪烁型式(明暗的变化型式) 成为每4帧重复的型式周期(150ms),60Hz的情况的闪烁型式成为每2 帧重复的型式周期(75ms)。
为此在60Hz的情况下,成为与前2帧相同的型式,在50Hz以及60Hz 的情况下,成为与前4帧相同的型式。由于与2个闪烁要因周期的最小公倍数是4帧和2帧,因此该摄影帧的周期37.5ms不是任一闪烁要因周期的倍数,且针对任一闪烁要因周期最小公倍数都为最小,能进行效率最佳的检测。即,至少要得到4+α份的连续的帧图像,就能同时检测2个种类的闪烁。由此闪烁检测的时间变短,且能减低闪烁检测用的临时存储存储器的容量。虽然除了37.5ms以外还存在满足上述的条件的摄影帧的周期,但在闪烁要因周期为1/100s和1/120s这2个的情况下,37.5ms最佳。
以下更具体说明设定该摄影帧的周期37.5ms的情况下的闪烁的检测方法。
如上述那样,针对多个不同的闪烁要因周期(将50Hz的情况称呼为第1亮灭周期,将60Hz的情况称呼为第2亮灭周期)而影帧的相位一致的帧间隔各不相同,50Hz的情况的帧间隔为4帧间隔,60Hz的情况的帧间隔为2帧间隔。在该情况下,在本实施方式中,将针对多个不同的闪烁要因周期(第1以及第2亮灭周期)摄影帧的相位一致的帧间隔各不相同的帧周期、例如37.5ms临时设定为闪烁检测用的帧周期。
即,设定闪烁检测用的帧周期(例如37.5ms),从而将针对第1亮灭周期即闪烁要因周期1/100s(10ms)摄影帧的相位一致的帧间隔(4帧间隔)设为第1帧间隔,将针对第2亮灭周期即1/120s(12ms)摄影帧的相位一致的帧间隔(2帧间隔)设为第2帧间隔。
另外,图中、最初的0ms~37.5ms表示第1帧的帧(1)的期间,7.5ms~ 75.0ms表示第2帧的帧(2)的期间,75.0ms~112.5ms表示第3帧的帧(3) 的期间,112.5ms~150.0ms表示第4帧的帧(4)的期间,150.0ms~187.5ms 表示第5帧的帧(5)的期间。在如此设定闪烁检测用的帧周期(例如37.5ms) 的状态下,控制部1比较多个帧图像(例如5帧图像)的明亮度,通过判定多个帧图像的明亮度以与多个亮灭周期(第1亮灭周期、第2亮灭周期) 的哪一个对应的帧间隔(第1帧间隔的4帧间隔、第2帧间隔的2帧间隔) 变化,来判定哪一亮灭周期的光成为闪烁的发生要因。
即,比较多个帧图像的明亮度,在相隔第2帧间隔(2帧间隔)的2 个帧图像的明亮度之差为给定值以上、且相隔不同于第2帧间隔的间隔的 2个帧图像(例如连续的2个帧图像)的明亮度之差为给定值以上的情况下,判定为第1亮灭周期(50Hz情况的闪烁要因周期)的光成为闪烁的发生要因。另外,比较相隔第2帧间隔(2帧间隔)的2个帧图像,是因为相位反转,明亮度之差较大(以下同样)。另一方面,在相隔第2帧间隔(2帧间隔)的2个帧图像的明亮度之差不足给定值、且相隔不同于第 2帧间隔的间隔的2个帧图像(例如连续的2个帧图像)的明亮度之差为给定值以上的情况下,判定为第2亮灭周期(60Hz的情况的闪烁要因周期)的光成为闪烁的发生要因。
在该情况下,将相隔第1帧间隔(4帧间隔)与第2帧间隔(2帧间隔)的最小公倍数(4帧间隔)的帧间隔的2个帧图像的明亮度之差为给定值以下作为条件,来判定成为闪烁的发生要因的亮灭周期。另外,关于其理由在后面叙述。另外,在连续的2个帧图像的明亮度之差不足给定值的情况下,判定为第1亮灭周期和第2亮灭周期的任一者的光均未成为闪烁的发生要因(无闪烁)。在执行这样的闪烁检测处理后,控制部1将闪烁检测用的帧周期(例如37.5ms)的设定变更为通常的摄影用的帧周期的设定,并对应于检测到的闪烁的发生要因来变更曝光时间等摄影条件。
接下来,参考图3~图5所示的流程图来说明本实施方式中的摄像装置(数字摄像机)的动作概念。在此,这些流程图中所记述的各功能以可读的程序代码的形态容纳,遵循该程序代码的动作被逐次执行。另外,还能逐次执行经由网络等传输介质传输来的上述的程序代码的动作。即,除了能利用记录介质以外,还能利用经由传输介质而外部提供的程序/数据来执行本实施方式特有的动作。
图3是用于说明对应于电源接通而开始执行的摄像装置(数字摄像机) 的动作(本实施方式的特征性的动作)的流程图。
首先,控制部1调查是否对应于电源接通操作而切换到摄影模式(步骤A1),在切换到其他模式、例如重放模式等的情况下(步骤A1“否”),移转到与该其他模式相应的处理,但在切换到摄影模式的情况下(步骤 A1“是”),使1帧份的图像临时存储到工作内存3B中(步骤A2)。然后,调查在该工作内存3B内是否存储了5帧份的图像,即,是否到达闪烁检测定时(步骤A3)。
另外,工作内存3B至少临时存储第1帧间隔与第2帧间隔的最小公倍数的帧图像(例如4帧份的图像),作为最新的帧图像之前的帧图像。在本实施方式中,包括最新的帧图像在内存储5帧份的图像。由于最初是存储第1帧的图像的情况(步骤A3“否”),因此移转到接下来的步骤A8,调查是否进行了摄影指示操作,若没有摄影指示(步骤A8“否”),则返回最初的步骤A1。
在当前工作内存3B内存储了5帧份的图像的情况下,即,在到达闪烁检测定时的情况下(步骤A3“是”),调查闪烁检测时的摄影环境是否变化(步骤A4)。在此,所谓「摄影环境的变化时」,是电源接通时;从前次的闪烁检测起经过给定时间时;从GPS通信部7取得的摄影位置(摄像机位置)的变化状态;通过动态图象摄影中的图像解析而检测到的被摄体的变化状态;半按释放按钮的定时;切换到摄影模式的定时等。在此,若相比于前次的闪烁检测时而摄影环境没有变化(步骤A4“否”),则移转到接下来的步骤A8,调查是否进行了摄影指示操作。
另外,在本实施方式中,不管摄影环境是否变化的判断结果如何,都总是临时存储最新的5帧份的图像,但也可以仅在摄影环境发生变化的情况下才临时存储5帧份的图像。
若没有摄影指示(步骤A8“否”),则返回最初的步骤A1,若执行上述的动作(步骤A1~A4)的结果是检测到摄影环境的变化(步骤A4“是”),则从工作内存3B内取得连续的5帧份的图像,作为闪烁检测用的评价对象(步骤A5)。然后,在执行了后述的闪烁检测处理(步骤A6)后,移转到后述的摄影条件设定处理(步骤A7)。然后,调查是否进行了摄影指示操作(步骤A8),若指示了摄影(步骤A8“是”),则在执行记录保存摄影图像的一系列摄影处理(步骤)后返回最初的步骤A1,若没有摄影指示(步骤A8“否”),则就这样返回最初的步骤A1。
图4是用于详述闪烁检测处理(图3的步骤A6)的流程图。
首先,控制部1使用上述的计算式「帧周期=12.5+25.0×N(ms)」来求取将N设为“1”的情况下的值(37.5ms),并将该值设定为闪烁检测用的帧周期(步骤B1)。另外,闪烁检测用的帧周期并不限于上述的37.5ms,例如也可以是将上述的N的值设为“2”或“3”等而求得的值。
接下来,对从工作内存3B内取得的各评价帧(连续的5帧)的图像信号进行积分计算来算出明亮度的累计(或平均)值(步骤B2),比较各帧图像的明亮度(步骤B3)。例如,比较最新帧即帧(5)、和第1帧间隔(4帧)前的帧即帧(1)的明亮度,或比较时间上连续的2个帧即帧 (1)和帧(2)的明亮度,或比较相隔第2帧间隔(2帧)的帧即帧(1) 和帧(3)的明亮度。
然后,调查比较上述的各评价帧的明亮度的结果是该明亮度之差为给定值以下,还是给定值以上(步骤B4~B6)。首先比较相隔第1帧间隔 (4帧间隔)与第2帧间隔(2帧间隔)的最小公倍数的帧间隔(4帧间隔) 的2个帧图像、例如最新的帧(5)的图像和4帧前的帧(1)的图像,调查其明亮度之差是否为给定值以下(步骤B4)。另外,该给定值是为了根据图像的明亮度变化来判定摄像装置以及被摄体未移动的可能性是否高而预先设定的阈值。
在此,若明亮度几乎不变化、明亮度之差为给定值以下(步骤B4“否”),则判断为摄像装置以及被摄体未移动的可能性高、是适于帧评价(闪烁检测)的定时,但在超过该给定值那样明亮度较大变化的情况下(步骤 B4“否”),由于摄像装置以及被摄体正移动的可能性高,因此移转到步骤 B10,为了将闪烁检测临时搁置而在搁置次数(再检测次数)加上“1”。然后调查该搁置次数(再检测次数)是否达到第10次(步骤B11),由于最初未达到第10次(步骤B11“否”),因此返回图3的步骤A1。
由此,若作为新的评价对象的帧而在工作内存3B内临时存储5帧份的图像(步骤A3“是”),即,若到达闪烁检测定时,则进一步以摄影环境发生变化为条件(步骤A4“是”)再度取得新的各评价帧(时间上连续的5帧)(步骤A5),移转到闪烁检测处理(步骤A6)。以下,若即使执行步骤B1~B4,帧(5)与帧(1)的明亮度之差仍然超过给定值(步骤B4“否”),则重复更新再检测次数的值的处理(步骤B10)。其结果,若再检测次数到达第10次(步骤B11“是”),则判定为不适于帧评价(闪烁检测)的情况(“不能闪烁检测”)(步骤B18),从图4的流程脱离。
另一方面,若比较帧(5)和帧(1)的图像的结果是该明亮度之差为给定值以下(步骤B4“是”),则判定为适于帧评价(闪烁检测),移转到步骤B5,调查连续的2个帧图像、例如帧(1)与帧(2)的图像的明亮度之差是否为给定值以上(步骤B5)。在此,给定值是为了根据图像的明亮度变化来判定闪烁的有无而预先设定的阈值。在此是若连续的2个帧图像的明亮度之差为给定值以上,则是因50Hz、60Hz的任意一方而出现闪烁的情况,而若该明亮度之差不足给定值(步骤B5“否”),则判定为未因50Hz、60Hz的任一方而出现闪烁的情况(无闪烁)(步骤B7)。
另外,若连续的2个帧图像的明亮度之差为给定值以上(步骤 B5“是”),则比较相隔第2帧间隔(2帧间隔)的2个帧、例如帧(1)和帧(3)的图像,调查其明亮度之差是否为给定值以上(步骤B6)。在此,给定值是为了判定出现闪烁的是50Hz的情况还是60Hz的情况而预先设定的阈值。在此,若帧(1)与帧(3)的明亮度之差为给定值以上(步骤 B6“是”),则判定为出现闪烁的是50Hz的情况(判定为有50Hz电源的闪烁)(步骤B8)。另外,若帧(1)与帧(3)的明亮度之差不足给定值(步骤B6“否”),则判定为出现闪烁的是60Hz的情况(判定为有60Hz 电源的闪烁)(步骤B9)。这样的判定结束后,从图4的流程脱离。
如此在闪烁检测处理中,在相隔第2帧间隔(2帧间隔)的2个帧图像的明亮度之差为给定值以上(步骤B6“是”)且相隔不同于第2帧间隔的间隔的2个帧图像(例如连续的2个帧图像)的明亮度之差为给定值以上的情况下(步骤B5“是”),判定为第1亮灭周期(将50Hz的情况设为闪烁要因周期)的光成为闪烁的发生要因(步骤B8)。另外,在相隔第2 帧间隔(2帧间隔)的2个帧图像的明亮度之差不足给定值(步骤B6“否”) 且相隔不同于第2帧间隔的间隔的2个帧图像(例如连续的2个帧图像) 的明亮度之差为给定值以上的情况下(步骤B5“是”),判定为第2亮灭周期(将60Hz的情况设为闪烁要因周期)的光成为闪烁的发生要因(步骤 B9)。
图5是用于详述摄影条件设定处理(图3的步骤A7)的流程图。
首先,作为摄影条件,控制部1进行使设定为闪烁检测用的帧周期(例如37.5ms)返回预先设定的既定的摄影帧周期(帧速率)的处理(步骤 C1)。然后,参考闪烁检测结果,调查是否判定为“有闪烁”(步骤C2),在判定为“无闪烁”的情况下(步骤C2“否”),在作为其他摄影条件,进行了设定曝光时间等已有的摄影条件的处理(步骤C11)后,从图5的流程脱离。
另外,在判定为“有闪烁”的情况下(步骤C2“是”),更进一步调查是否判定为“有50Hz电源的闪烁”(步骤C3)。在当前判定为“有50Hz电源的闪烁”的情况下(步骤C3“是”),在静止图像摄影时(步骤C4“否”)作为曝光时间而设定1/20s或1/25s(步骤C5),在动态图象摄影时(步骤 C4“是”),作为曝光时间而设定1/100s或1/50s(步骤C6)。
另外,在判定为“有60Hz电源的闪烁”的情况下(步骤C3“否”),在动态图象摄影时(步骤C7“是”),作为曝光时间而设定1/120s或1/60s(步骤C8),在静止图像摄影时(步骤C7“否”),作为曝光时间而设定1/20s 或1/30s(步骤C9)。即,例如在动态图象摄影的情况下,作为用于抑制闪烁的发生的摄影条件,设定50Hz(闪烁要因周期1/100s)和60Hz(闪烁要因周期1/120s)、或其整数倍(1/50s、1/60s)的曝光时间。在如此对应于闪烁检测结果变更了曝光时间的情况下,为了确保与该变更相伴的明亮度,变更光圈、ISO灵敏度(步骤C10)。之后从图5的流程脱离。
如以上那样,在本实施方式中,在将针对外光的亮灭周期摄影帧的相位以给定数的帧间隔一致的帧周期设定为闪烁检测用的帧周期的情况下,将针对多个不同的外光的亮灭周期(例如50Hz、60Hz情况的闪烁要因周期)摄影帧的相位一致的帧间隔各不相同的帧周期设定为闪烁检测用的帧周期,通过判定以该帧周期连续摄影的多个帧图像的明亮度以与多个亮灭周期的哪一者对应的帧间隔变化,来判定哪一亮灭周期的光成为闪烁的发生要因,因此能确实且迅速检测多个不同的外光的亮灭周期当中哪一亮灭周期的光成为闪烁的发生要因。
在以设定为闪烁检测用的帧周期的帧周期连续摄影的多个帧图像临时存储在工作内存3B中的状态下,比较临时存储在工作内存3B的多个帧 (例如5帧)的图像的明亮度,在相隔第2帧间隔的2个帧图像的明亮度之差为给定值以上且相隔不同于第2帧间隔的间隔的2个帧图像的明亮度之差为给定值以上的情况下,判定为第1亮灭周期(50Hz的情况的闪烁要因周期)的光成为闪烁的发生要因,因此仅比较多个帧的图像的明亮度就能容易地判定闪烁的发生要因。
另外,比较临时存储在工作内存3B的多个帧的图像的明亮度,在相隔第2帧间隔的2个帧图像的明亮度之差不足给定值且相隔不同于第2帧间隔的间隔的2个帧图像的明亮度之差为给定值以上的情况下,判定为第 1亮灭周期(60Hz的情况的闪烁要因周期)的光成为闪烁的发生要因,因此仅比较多个帧的图像的明亮度就能容易地判定闪烁的发生要因。
由于相隔不同于第2帧间隔的间隔的2个帧图像是连续的2个帧图像,因此该2个帧图像的明亮度之差为给定值以上时,能判定多个不同的外光的亮灭周期当中哪一亮灭周期的光成为闪烁的发生要因。
由于将相隔第1帧间隔与第2帧间隔的最小公倍数的帧间隔(例如4 帧)的2个帧图像的明亮度之差为给定值以下作为条件,来判定成为闪烁的发生要因的亮灭周期,因此在2个帧图像的明亮度之差超过给定值的情况下,能判断为摄像装置以及被摄体正移动的可能性高,不适于帧评价(闪烁检测)。
由于在连续的2个帧图像的明亮度之差不足给定值的情况下,判定为第1亮灭周期和第2亮灭周期的哪一者的光均未成为闪烁的发生要因(无闪烁),因此还能容易地进行无闪烁的检测。
工作内存3B临时存储第1帧间隔与第2帧间隔的最小公倍数的帧图像(例如4帧份的图像),作为最新的帧图像之前的帧图像,在判定为相隔该最小公倍数的帧间隔的2个帧图像的明亮度之差超过给定值的情况下,进行控制使工作内存3B再度临时存储另外的多个帧图像,因此能基于最近的多个帧图像来进行闪烁检测。
由于在对闪烁的发生要因即外光的亮灭周期进行判定后,取代设定为闪烁检测用的帧周期而设定摄影用的帧周期,因此在闪烁检测后能以摄影用的帧周期进行摄影。
由于对应于闪烁的发生要因的判定结果来设定用于抑制闪烁的发生的摄影条件进行摄影,因此能得到不出现闪烁的摄影图像。
由于作为用于抑制闪烁的发生的摄影条件,变更为多个不同的外光的亮灭周期或其整数倍的曝光时间,因此能得到不出现闪烁的摄影图像。
由于为了确保与曝光时间的变更相伴的明亮度,至少变更光圈值、ISO 灵敏度的任一者,因此能防止因曝光时间的变更而损害摄影时的明亮度的情况。
由于在作为多个亮灭周期,是与50Hz的电源频率对应的第1亮灭周期和与60Hz的电源频率对应的第2亮灭周期的情况下,作为帧周期设定了12.5+25.0×N(单位为ms、N为整数),因此能以简单的计算求取闪烁检测用的帧周期。
由于在检测到摄影环境的变化时进行闪烁检测,因此能在合适的定时进行闪烁检测,闪烁检测变得更加确实。例如在从50Hz的地域移动到60Hz 的地域那样的情况下,能在经过一定时间时、在电源接通时、摄像机位置的变化时的任一者进行闪烁检测,因此能在摄影环境的变化时确实且迅速地检测多个不同的外光的亮灭周期当中、哪一亮灭周期的光成为闪烁的发生要因。
另外,在上述的实施方式中,将闪烁的发生要因认为是50Hz和60Hz 这2个种类的电源频率所引起的荧光灯的亮灭,作为闪烁检测用的帧周期,用「12.5+25.0×N(单位为ms、N为整数)」的计算式求取,但并不限于该频率,若其他还有周期性使摄影时的明亮度变化那样的要因,则也可以遵循下式求取。
即,若将2个外光的亮灭周期设为S1、S2,将该S1与S2的最小公倍数设为S12,进而将帧周期设为F,将k1、k2设为不同的素数,将m1、 m2、m12、N设为任意的整数,则也可以将满足
S1×k1=S12×m1/m12
S2×k2=S12×m2/m12
F=S12×(N±1/m12)
的关系的「F」设定为帧周期。
例如,若适用在上述的实施方式中说明的50Hz和60Hz这2个种类的电源频率所引起的亮灭周期中,则在S1=1/100s、S2=1/120s的情况下,
若设为k1=5、k2=3、m1=4、m2=2、m12=4,
则通过F=1/20s×(N±1/4)来求取帧周期「F」。
另外,在上述的实施方式中,由于将闪烁检测用的帧周期设为37.5ms,因此50Hz的情况的闪烁型式(明暗的变化型式),成为每4帧重复的型式周期(150ms),60Hz的情况的闪烁型式成为每2帧重复的型式周期 (75ms),将第1帧间隔设为4帧间隔,将第2帧间隔设为2帧间隔,但第1帧间隔、第2帧间隔并不限于此,可以根据闪烁检测用的帧周期而不同。
即,在上述的计算式中,采用使m1、m2更小的帧周期「F」即可。
另外,如上述那样,摄像元件6E并不限于CCD图像传感器,也可以是采用了全局快门方式的CMOS图像传感器,在该情况下,在对每行或每数行的图像信号积分来算出明亮度的累计(或平均)值后比较明亮度即可。
另外,在上述的实施方式中,示出了作为摄像装置而运用数字摄像机的情况,但并不限于此,也可以是带摄像机功能的个人计算机、PDA(面向个人的便携型信息通信设备)、平板终端装置、智能手机等便携电话机、电子游戏机、音乐播放器等。
另外,上述的实施方式中示出的“装置”、“部”也可以按功能分离成多个筐体,并不限于单一的筐体。另外,上述的流程图中记述的各步骤并不限于时间序列上的处理,也可以并行处理多个步骤,或分开独立进行处理。

Claims (14)

1.一种摄像装置,具有闪烁检测功能,
所述摄像装置的特征在于,包括:
包含摄像元件的摄像部;和
包含处理器的控制部,
所述控制部将以针对外光的亮灭周期摄影帧的相位以给定数的帧间隔一致的1个帧周期设定为闪烁检测用的帧周期,
若以该设定的帧周期连续摄影的多个帧图像的明亮度以所述给定数的帧间隔变化,则判定为所述亮灭周期的光成为闪烁的发生要因,
进而,在所述设定中,将针对多个不同的外光的亮灭周期摄影帧的相位一致的帧间隔各不相同的1个帧周期设定为闪烁检测用的帧周期,
在所述判定中,通过判定以所述1个帧周期连续摄影的多个帧图像的明亮度以与所述多个亮灭周期的哪一者对应的帧间隔进行变化,来判定哪一亮灭周期的光成为闪烁的发生要因。
2.根据权利要求1所述的摄像装置,其特征在于,
将以所述设定的帧周期连续摄影的多个帧图像临时存储在存储器中,
在所述设定中,将所述多个不同的外光的亮灭周期设为第1亮灭周期和第2亮灭周期,并且针对所述第1亮灭周期,按照将摄影帧的相位一致的帧间隔设为第1帧间隔的方式设定所述闪烁检测用的帧周期,
另外,针对所述第2亮灭周期,按照将摄影帧的相位一致的帧间隔设为第2帧间隔的方式设定所述闪烁检测用的帧周期,
对于所述判定中的、所述第1亮灭周期的光是否为闪烁的发生要因的判定,比较临时存储在所述存储器的多个帧图像的明亮度,在相隔所述第2帧间隔的2个帧图像的明亮度之差为给定值以上、且相隔不同于所述第2帧间隔的间隔的2个帧图像的明亮度之差为给定值以上的情况下,判定为所述第1亮灭周期的光成为闪烁的发生要因。
3.根据权利要求2所述的摄像装置,其特征在于,
对于所述判定中的、所述第2亮灭周期的光是否为闪烁的发生要因的判定,比较临时存储在所述存储器中的多个帧图像的明亮度,在相隔所述第2帧间隔的2个帧图像的明亮度之差不足给定值、且相隔不同于所述第2帧间隔的间隔的2个帧图像的明亮度之差为给定值以上的情况下,判定为所述第2亮灭周期的光成为闪烁的发生要因。
4.根据权利要求2所述的摄像装置,其特征在于,
相隔不同于所述第2帧间隔的间隔的2个帧图像是连续的2个帧图像。
5.根据权利要求2所述的摄像装置,其特征在于,
在所述判定中,将相隔所述第1帧间隔与所述第2帧间隔的最小公倍数的帧间隔的2个帧图像的明亮度之差为给定值以下作为条件,来判定成为闪烁的发生要因的亮灭周期。
6.根据权利要求4所述的摄像装置,其特征在于,
在所述判定中,在所述连续的2个帧图像的明亮度之差为给定值以下的情况下,判定为所述第1亮灭周期和所述第2亮灭周期的任一者的光均未成为闪烁的发生要因。
7.根据权利要求2所述的摄像装置,其特征在于,
在所述临时存储中,至少临时存储所述第1帧间隔与所述第2帧间隔的最小公倍数的帧图像,作为最新的帧图像之前的帧图像,
在通过所述判定而判定为相隔所述最小公倍数的帧间隔的2个帧图像的明亮度之差超过给定值的情况下,进行控制,使所述存储器再度临时存储另外的多个帧图像。
8.根据权利要求1所述的摄像装置,其特征在于,
在所述设定中,在通过所述判定而判定出作为闪烁的发生要因的外光的亮灭周期后,取代所述设定的闪烁检测用的帧周期而设定摄影用的帧周期。
9.根据权利要求8所述的摄像装置,其特征在于,
对所述摄像部进行控制,使其对应于所述判定的判定结果来设定用于抑制闪烁的发生的摄影条件,从而进行摄影。
10.根据权利要求9所述的摄像装置,其特征在于,
在所述摄影的控制中,作为用于抑制闪烁的发生的摄影条件,变更为所述多个不同的外光的亮灭周期或其整数倍的曝光时间。
11.根据权利要求10所述的摄像装置,其特征在于,
在所述摄影的控制中,为了确保与所述曝光时间的变更相伴的明亮度,至少变更光圈值、ISO灵敏度的任一者。
12.根据权利要求1所述的摄像装置,其特征在于,
在所述设定中,在所述多个亮灭周期是与50Hz的电源频率对应的第1亮灭周期、和与60Hz的电源频率对应的第2亮灭周期的情况下,作为所述帧周期,设定12.5+25.0×N,其中单位为ms,N为整数。
13.根据权利要求1所述的摄像装置,其特征在于,
检测摄影环境的变化,
在所述设定中,在检测到所述摄影环境的变化时,设定所述闪烁检测用的帧周期,
在所述判定中,在检测到所述摄影环境的变化时,判定闪烁的发生要因。
14.一种闪烁检测方法,是摄像装置中的闪烁检测方法,其特征在于,包括如下处理:
在将针对外光的亮灭周期摄影帧的相位以给定数的帧间隔一致的1个帧周期设定为闪烁检测用的帧周期的情况下,将针对多个不同的外光的亮灭周期摄影帧的相位一致的帧间隔各不相同的1个帧周期设定为闪烁检测用的帧周期;和
在若以所述设定的1个帧周期连续摄影的多个帧图像的明亮度以所述给定数的帧间隔变化,则判定为所述亮灭周期的光成为闪烁的发生要因的情况下,通过判定所述多个帧图像的明亮度以与所述多个亮灭周期的哪一者对应的帧间隔变化,来判定哪一亮灭周期的光成为闪烁的发生要因。
CN201610670569.8A 2015-09-24 2016-08-15 摄像装置和闪烁检测方法 Active CN106559623B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015186479A JP6300118B2 (ja) 2015-09-24 2015-09-24 撮像装置、フリッカ検出方法及びプログラム
JP2015-186479 2015-09-24

Publications (2)

Publication Number Publication Date
CN106559623A CN106559623A (zh) 2017-04-05
CN106559623B true CN106559623B (zh) 2019-11-01

Family

ID=58406049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610670569.8A Active CN106559623B (zh) 2015-09-24 2016-08-15 摄像装置和闪烁检测方法

Country Status (4)

Country Link
US (1) US20170094148A1 (zh)
JP (1) JP6300118B2 (zh)
KR (1) KR102587377B1 (zh)
CN (1) CN106559623B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568924B (en) * 2017-11-30 2022-07-20 Apical Ltd Method of flicker reduction
CN108462837B (zh) * 2018-03-13 2022-06-21 中兴通讯股份有限公司 拍摄方法及装置
US10944912B2 (en) * 2019-06-04 2021-03-09 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
CN110784658B (zh) * 2019-10-31 2021-12-07 Oppo广东移动通信有限公司 一种曝光控制方法、装置、存储介质和终端设备
CN111083384B (zh) * 2019-12-06 2021-12-07 Oppo广东移动通信有限公司 一种曝光调节方法、装置、电子设备及其存储介质
CN112672009B (zh) * 2020-12-14 2022-09-02 浙江大华技术股份有限公司 一种视频处理方法、装置、设备及存储介质
JP2022168738A (ja) * 2021-04-26 2022-11-08 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN115529409A (zh) * 2021-06-24 2022-12-27 荣耀终端有限公司 一种拍摄方法及相关装置
CN115529419B (zh) * 2021-06-24 2024-04-16 荣耀终端有限公司 一种多人工光源下的拍摄方法及相关装置
CN114222070A (zh) * 2021-09-27 2022-03-22 苏州科达科技股份有限公司 亮度补偿方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084466A (ja) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp 撮像装置および自動レベル調整方法
CN1630350A (zh) * 2003-12-19 2005-06-22 三洋电机株式会社 闪烁检测装置和摄像装置
CN101079962A (zh) * 2006-05-24 2007-11-28 华为技术有限公司 一种闪烁抑制方法
CN101567977A (zh) * 2009-06-09 2009-10-28 北京中星微电子有限公司 一种闪烁检测方法及其装置
CN104104882A (zh) * 2013-04-09 2014-10-15 展讯通信(上海)有限公司 图像闪烁检测方法及装置、图像捕获设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4423889B2 (ja) * 2002-11-18 2010-03-03 ソニー株式会社 フリッカ低減方法、撮像装置およびフリッカ低減回路
JP2006332917A (ja) * 2005-05-25 2006-12-07 Renesas Technology Corp 撮像装置
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device
KR101085802B1 (ko) * 2007-03-05 2011-11-22 르네사스 일렉트로닉스 가부시키가이샤 촬상 장치 및 플리커 검출 방법
JP2009141613A (ja) 2007-12-05 2009-06-25 Seiko Epson Corp 面内均一性評価装置、および面内均一性評価方法
JP2009248077A (ja) 2008-04-09 2009-10-29 Npo Taiyo No Genkotsu Mura 細菌による発酵熱を利用した下水汚泥の乾燥方法。
JP5644451B2 (ja) * 2010-05-25 2014-12-24 株式会社リコー 画像処理装置および画像処理方法、ならびに、撮像装置
JP5331766B2 (ja) * 2010-09-03 2013-10-30 株式会社日立製作所 撮像装置
JP5389274B2 (ja) * 2010-11-30 2014-01-15 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
JP6296697B2 (ja) * 2013-05-10 2018-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084466A (ja) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp 撮像装置および自動レベル調整方法
CN1630350A (zh) * 2003-12-19 2005-06-22 三洋电机株式会社 闪烁检测装置和摄像装置
CN101079962A (zh) * 2006-05-24 2007-11-28 华为技术有限公司 一种闪烁抑制方法
CN101567977A (zh) * 2009-06-09 2009-10-28 北京中星微电子有限公司 一种闪烁检测方法及其装置
CN104104882A (zh) * 2013-04-09 2014-10-15 展讯通信(上海)有限公司 图像闪烁检测方法及装置、图像捕获设备

Also Published As

Publication number Publication date
KR102587377B1 (ko) 2023-10-10
US20170094148A1 (en) 2017-03-30
JP6300118B2 (ja) 2018-03-28
JP2017063264A (ja) 2017-03-30
CN106559623A (zh) 2017-04-05
KR20170036601A (ko) 2017-04-03

Similar Documents

Publication Publication Date Title
CN106559623B (zh) 摄像装置和闪烁检测方法
US9794492B2 (en) Image pickup apparatus capable of reducing influence of flicker, method of controlling the same, and storage medium
US8520094B2 (en) Flicker detecting circuit and method in image sensor
US9979898B2 (en) Imaging apparatus equipped with a flicker detection function, flicker detection method, and non-transitory computer-readable storage medium
CN107431769B (zh) 摄像装置、闪烁检测方法及闪烁检测程序
CN104113700A (zh) 拍摄装置和拍摄方法
CN106131543B (zh) 摄像设备和用于检测光量变化的方法
TW200904169A (en) Buffer management for an adaptive buffer value using accumulation and averaging
JP2015088917A (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
CN108520493A (zh) 图像替换的处理方法、装置、存储介质及电子设备
CN103905725A (zh) 图像处理设备和图像处理方法
JP2018107770A (ja) 撮像装置、フリッカ検出方法、およびプログラム
US20140354847A1 (en) Imaging apparatus, method of detecting flicker, and information processing unit
CN110290325A (zh) 图像处理方法、装置、存储介质及电子设备
US9674496B2 (en) Method for selecting metering mode and image capturing device thereof
CN112383718A (zh) 图像曝光方法、装置和电子设备
JP2022548668A (ja) 画像における複数の光源のフリッカ現象の低減
JP2017038169A (ja) 撮像装置、その制御方法、および制御プログラム
CN105657262B (zh) 一种图像处理方法和装置
JP2017069741A (ja) 撮像装置、フリッカ検出方法及びプログラム
CN110278375A (zh) 图像处理方法、装置、存储介质及电子设备
EP3267675B1 (en) Terminal device and photographing method
WO2017088314A1 (zh) 一种拍摄的方法、终端及计算机存储介质
CN109120856B (zh) 一种摄像方法及装置
JP2017092609A (ja) 撮像装置、フリッカ検出方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant