CN100429928C - 能够进行闪烁检测的图像捕捉设备 - Google Patents

能够进行闪烁检测的图像捕捉设备 Download PDF

Info

Publication number
CN100429928C
CN100429928C CNB2005101145352A CN200510114535A CN100429928C CN 100429928 C CN100429928 C CN 100429928C CN B2005101145352 A CNB2005101145352 A CN B2005101145352A CN 200510114535 A CN200510114535 A CN 200510114535A CN 100429928 C CN100429928 C CN 100429928C
Authority
CN
China
Prior art keywords
flicker
flicker component
signal
peak
cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005101145352A
Other languages
English (en)
Other versions
CN1882041A (zh
Inventor
高桥诚治
大川章
上西纪行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN1882041A publication Critical patent/CN1882041A/zh
Application granted granted Critical
Publication of CN100429928C publication Critical patent/CN100429928C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time

Abstract

本发明是一种具有图像捕捉元件的图像捕捉设备。该设备还包括闪烁检测部分,其从由图像捕捉元件提供的每个帧的图像信号中抽取对应于图像捕捉环境中的亮度的周期性变化的闪烁成分信号,执行校正以去除等于或低于规定的参考低幅度值的信号,并且根据校正后的闪烁成分信号的峰和谷来检测闪烁成分的频率或周期。

Description

能够进行闪烁检测的图像捕捉设备
技术领域
本发明涉及具有XY地址型图像捕捉元件的图像捕捉设备,尤其涉及能够检测例如通过荧光因商业电源引起的闪烁的图像捕捉设备。
背景技术
近来年,捕捉诸如数字静止图像这样的静止图像的图像捕捉设备已开始使用XY地址型MOS图像捕捉设备,例如CMOS图像传感器。CMOS图像传感器结构简单并且可用低成本制造,以低功耗提供高图像质量;但是由于当在荧光照明下或者在亮度周期性变化的某种其他环境中执行图像捕捉时,对于每个像素(或者更确切地说,对于每行)执行光电转换的定时是不同的,因此明-暗水平条纹出现在捕捉到的图像中。这种捕捉到的图像中的水平条纹被称为“闪烁”。
为了抑制此闪烁,提出了检测闪烁的发生,并且在发生闪烁时,根据闪烁频率来控制曝光时间(快门速度)。此外,提出了各种方法,用于检测闪烁的发生,以及判断闪烁频率(50Hz或60Hz的商业电源频率)。例如,参见日本未审查专利公布No.2003-189129、日本未审查专利公布No.2002-84466和日本未审查专利公布No.2001-119708。在以上专利参考文献中,在日本未审查专利公布No.2003-189129中,从获得自CMOS图像传感器的图像信号中抽取闪烁成分,将闪烁成分中具有高和低亮度的部分判断为“峰”和“谷”,并且根据“峰”和“谷”的数目和其间的间隔,估计闪烁频率。通过获得先前和后续帧的图像信号之间的差异,来执行闪烁成分的抽取,以去除图像信号中所包含的对象的图像信号。
发明内容
但是日本未审查专利公布No.2003-189129中公开的闪烁检测方法和闪烁频率检测方法是以假设所抽取的闪烁成分始终具有理想闪烁成分波形为前提的,从而在某些情况下难以应用到实际图像信号。例如,首先,当如同白炽照明的情况中那样存在同步于商业电源的频率的微弱亮度变化时,可能不需要根据闪烁发生而控制曝光时间。这是因为由亮度变化导致的水平条纹不那么容易察觉。但是如果对应于这种微弱的周期性亮度变化而检测到闪烁发生,则必须根据闪烁频率控制曝光时间,并可能导致图像质量的下降。第二,存在这样的情况,即由于图像捕捉期间对象的高速运动或图像捕捉范围的高速运动,在连续帧中对象图像不同,并且高亮度图像仅被包含在帧图像之一中。在这种情况下,从连续帧中的差异抽取的闪烁成分的信号频率与理想波形的很不相同,于是难以判断是否存在闪烁,而且难以检测闪烁频率。
因此本发明的一个目的是提供一种具有图像捕捉元件的、允许高度精确的闪烁检测的图像捕捉设备。
为了实现以上目的,本发明的第一方面是一种具有图像捕捉元件的图像捕捉设备,该设备还包括闪烁检测部分,其从由图像捕捉元件提供的每个帧的图像信号中抽取对应于图像捕捉环境中的亮度的周期性变化的闪烁成分信号,执行校正以去除等于或低于规定的参考低幅度值的信号,并且根据校正后的闪烁成分信号的峰和谷来检测闪烁成分的频率或周期。
通过第一方面,可从闪烁成分信号中去除白炽光等的微弱亮度变化,从而可避免不必要的闪烁检测。
为了实现以上目的,本发明的第二方面是一种具有图像捕捉元件的图像捕捉设备,该设备还包括闪烁检测部分,其从由图像捕捉元件提供的每个帧的图像信号中抽取对应于图像捕捉环境中的亮度的周期性变化的闪烁成分信号,执行校正以去除等于或高于规定的参考高幅度值的信号,并且根据校正后的闪烁成分信号的峰和谷来检测闪烁成分的频率或周期。
例如,在通过获得连续帧的图像信号之间的差异来抽取闪烁成分信号的情况下,存在这样的情况,即连续帧的图像信号中的对象同,并且一帧中的对象信号余留在闪烁成分信号中,这些闪烁成分信号是不同的成分。当余留的对象信号具有高亮度时,在闪烁成分信号中包含大幅度值,并且无法适当检测闪烁成分信号的峰和谷。通过以上第二方面,可去除这种高亮度噪声成分,以便适当检测闪烁成分信号的峰和谷。
为了实现以上目的,本发明的第三方面是一种具有图像捕捉元件的图像捕捉设备,该设备还包括闪烁检测部分,其从由图像捕捉元件提供的每个帧的图像信号中抽取对应于图像捕捉环境中的亮度的周期性变化的闪烁成分信号,参考每个周期上闪烁成分信号的平均值来鉴别闪烁成分信号的峰和谷,并根据鉴别出的峰和谷来检测闪烁成分的频率或周期。
通过第三方面,即使当所抽取的闪烁成分信号包括与理想信号不同的波形成分时,通过分别将高于和低于每个周期的平均值的部分鉴别为峰和谷,也可适当地鉴别闪烁成分的峰和谷。
通过本发明,可适当校正所抽取的闪烁成分信号,并且由于将判断参考值用于失真波形,因此可适当鉴别闪烁成分信号的峰和谷,并且可精确检测闪烁成分的存在以及频率。
附图说明
图1A和图1B示出一个实施例的图像捕捉设备的配置以及由闪烁引起的水平条纹;
图2是由控制部分14进行的自动曝光控制过程的流程图;
图3是由控制部分14进行的闪烁检测过程的流程图;
图4是一个实施例的闪烁频率鉴别过程的流程图;
图5A和图5B示出第一实施例的用于闪烁频率鉴别过程中的低幅度成分去除的校正处理;
图6A和图6B示出第二实施例的用于闪烁频率鉴别过程中的高幅度成分去除的校正处理;
图7A和图7B示出了图6B中的闪烁成分在峰/谷鉴别后的闪烁成分;
图8A和图8B示出第二实施例中的校正处理;
图9A和图9B说明第三实施例中的闪烁判断过程。
具体实施方式
以下,参考附图说明本发明的实施例。但是,本发明的技术范围不限于这些实施例,而是延伸到权利要求的范围中所描述的发明,以及延伸到与其等同的发明。
图1A和图1B示出一个实施例的图像捕捉设备的配置以及由于闪烁引起的水平条纹。
图1A所示的图像捕捉设备具有CMOS图像传感器10,其是MOS型图像捕捉元件;信号处理部分12,其对从CMOS图像传感器10输出的图像信号11执行利用CDS(相关双采样)的噪声去除处理、A/D转换处理、平滑处理和其他信号处理;控制部分14,其检测从信号处理部分12输出的数字图像信号13中所包括的闪烁成分信号,并且基于这些信号执行曝光控制;显示部分16,包括液晶面板、有机EL面板或其他设备,其上的显示由控制部分来控制;以及操作部分18,其具有快门和其他操作装置。控制部分14包括微处理器,并且在此方面具有闪烁检测部分、基于由闪烁检测部分所检测到的闪烁频率或周期计曝光时间ET的曝光控制部分以及控制显示部分16上的显示的显示控制部分。
在CMOS图像传感器中,各自具有光电二极管或其他光电转换元件以及放大由光电转换所产生的电压的晶体管的像素被排列在矩阵中,并且每个像素内放大的电压被经由为每个像素提供的选择晶体管输出到在垂直方向上延伸的数据线。选择晶体管被通过在水平方向上延伸的扫描线相继选择,以便像素内的电压被输出到数据线。输出到多个数据线的图像信号被顺序输出到信号处理部分12。
从而CMOS图像传感器是XY地址型图像捕捉元件,并且像素中的图像信号是根据扫描线的扫描定时来输出的。因此不同行的图像信号的图像捕捉间隔被偏移开来。因此,当在其中的亮度对应商业电源频率周期性变化的荧光照明环境中捕捉图像时,周期性变化的荧光照明亮度被包含在每行的图像信号中。此外,由于在行与行之间图像捕捉间隔是偏移的,因此对于每一行荧光照明的亮度变化的效果是不同的,从而捕捉到的图像中存在水平条纹。
在图1B中示出了由于闪烁引起的水平条纹。在帧周期Fn中,图像信号包括四个水平条纹和一个钻石形对象。在50Hz商业电源的情况下,电源电夺的正极和负极最大值以1/100秒的间隔出现,以使得荧光照明的亮度以1/100秒的周期的变化。因此如果传感器中的所有扫描线的扫描发生在4/100秒中,则出现四个水平条纹。另一方面,在下一帧周期Fn+1中,水平条纹在垂直方向被略微偏移。
当荧光照明闪烁周期是1/100秒时,如果曝光时间(快门速度)被设置为N/100秒,即闪烁周期的整数倍,则来自入射到每行的像素上的荧光照明的光通量的累积值都相等,以使得即使存在其亮度由于闪烁而周期性变化的照明,也不会生成上述水平条纹。即,当曝光时间不是闪烁周期的整数倍时,来自入射到每行的像素上的荧光照明的光通量不同,因此往往会出现水平条纹。当商业电源为60Hz时,荧光照明亮度以1/120秒的周期变化。
图2是由控制部分14进行的自动曝光控制过程的流程图。控制部分14输入来自信号处理部分12的已经历信号处理的数字图像信号13,并将信号以帧为单位存储在内部帧存储器中(S1)。然后,分析图像信号,并检测闪烁的存在和闪烁频率(或周期)(S2)。当存在闪烁时(S3中“是”),确定对应于闪烁频率的曝光时间ET。即,如上所述,曝光时间ET被设置为等于闪烁周期的整数倍。另一方面,如果不存在闪烁(S3中“否”),则在没有任何由闪烁频率施加的约束的情况下确定曝光时间(S5)。即曝光时间可被设置为对应于图像亮度的最佳曝光时间,或者利用操作部分18指定的曝光时间(快门速度)。
从而,当存在闪烁时,有必要在曝光时间是闪烁周期的整数倍这一约束下,将曝光时间设置为最接近对应于图像亮度的最佳曝光时间或指定的曝光时间的曝光时间。因此希望在最小必要范围内执行闪烁检测。
图3是由控制部分14进行的闪烁检测过程的流程图。闪烁检测过程等同于日本未审查专利公布No.2003-189129中描述的方法。即,对第一帧的图像信号计算随着每条水平线的亮度变化(S11)。每条水平线中的图像信号的累积值成为该行的亮度。或者,也可将每个帧划分成多个水平区域,并且计算每个水平区域中多条线的图像信号的累积值。
接下来,确定先前帧中每条水平线的亮度或每个水平区域的亮度,与当前帧中每条水平线的亮度或每个水平区域的亮度之间的差异(S12)。如图1B所示,连续帧中的对象通常是等同的,以使得通过确定先前和后续帧中的图像信号的亮度差异,而只获得闪烁成分,同时去除对象的亮度成分。因此足以检测差异数据中是否存在由于闪烁而引起的水平条纹;并且如果存在这种条纹,则通过检测水平条纹的数目,可检测闪烁频率(或周期)。
在过程S13中,基于差异数据和闪烁的存在性而执行频率分析,并且鉴别闪烁频率(周期)。在鉴别闪烁频率时,检测随时间变化的差异数据(帧图像中的垂直方向)的“峰”和“谷”,并且对峰和谷的数目计数,或者检测其间的间隔。此闪烁频率鉴别过程在下文中更详细讨论。最后,为了确认鉴别出的闪烁频率,在多次试验中鉴别闪烁频率,并且当在多次试验中确定出的闪烁频率一致时,将一致的闪烁频率当作鉴别出的闪烁频率(S14)。
图4是一个实施例的闪烁频率鉴别过程的流程图。此闪烁频率鉴别过程示出图3中的过程S13的特定细节。即,将先前和后续帧中的图像信号的差异成分当成闪烁成分,并且对这些闪烁成分信号执行两类校正处理S21、S22,并对此校正后的数据判断三个状态一“峰”、“谷”和“其他”(三值判断,S23),并且根据“峰”和“谷”的数目和间隔,鉴别闪烁频率(S24)。校正处理包括从作为第一差异数据的闪烁成分信号中去除低幅度成分的处理(S21)和去除高幅度成分的处理(S22)。也可按相反的顺序来执行处理。通过去除低幅度成分,可避免将诸如由于白炽照明引起的微弱闪烁成分不必要地检测为闪烁。通过去除高幅度成分,即使在差异数据包含高亮度成分时,都能适当去除这些高亮度成分,从而使得能够鉴别“峰”和“谷”。
在S23的处理中,为在“峰”、“谷”和“其他”之间做出判决,计算每个周期的校正后的闪烁成分信号的平均值,并且将具有大于平均值的最大值的极大点判断为“峰”,而将具有小于平均的最小值的极小点判断为“谷”。通过这种方式,即使信号包含高亮度成分时,也不会遗漏闪烁成分。可通过检测导数值从正变到负的零交叉点来识别最大值极大点;以及通过检测导数值从负变到正的零交叉点来识别最小值极小点。
图2、图3和图4所示的处理是通过执行包含在控制部分14所包括的处理器内的判断程序来进行的。
图5A和图5B示出了第一实施例的用于闪烁频率鉴别过程中的低幅度成分去除的校正处理。在图5A中,示出了通过获得先前和后续帧的图像信号的差异而抽取的闪烁成分信号。虚线是荧光照明的闪烁成分F1;实线是白炽照明的闪烁成分F2。与荧光照明闪烁成分F1相比,白炽照明闪烁成分F2较微弱,其幅度极小。
闪烁成分的频率(50Hz、60Hz)或周期的识别是通过检测信号峰和谷的位置来执行的。可以想到用于检测信号峰和谷的各种方法;一般而言,亮度值相对于水平轴(垂直于图像)上的时间的导数值变为零的位置被检测为峰(极大点)或谷(极小点)。导数从正变到负的零交叉点被检测为峰(最大值),导数从负变到正的零交叉点被检测为谷(最小值)。或者,通过将该处亮度高于平均亮度Fa的从正到负的零交叉点鉴别为峰,并且将该处亮度低于平均亮度的从负到正的零交叉点鉴别为谷,可从闪烁峰谷判断结果中排除由于噪声引起的峰和谷。此平均亮度Fa可通过取最大亮度和最小亮度之间的中点来确定。
当利用此方法分析白炽照明闪烁成分F2时,用于检测“峰”、“谷”和“其他”的三值判决的结果随着峰谷之间的交易出现,如图5A所示。因此,检测到等于荧光照明闪烁成分的频率或周期,并且分析结果指示闪烁的存在以及闪烁频率或周期的规定值。
但是,与由于荧光照明引起的相比,由白炽照明引起的闪烁成分较微弱,因此在图像中不生成强到足以被识别出的水平条纹。因此希望忽略由白炽照明引起的闪烁成分,并且在没有由此成分施加的约束的情况下控制曝光时间。这是因为在检测闪烁成分时,必须控制曝光时间以使其为周期的整数倍,因此曝光时间不能被设置为适合于对象的曝光时间,或者操作者所希望的曝光时间。
在此实施例中,执行校正处理以便从差异信号中去除由白炽照明引起的闪烁成分F2。如图5B所示,确定闪烁成分的平均亮度线
Figure C20051011453500111
,并且从平均亮度线Fa中去除小于参考低幅度Ya的信号成分。或者为小于参考低幅度Ya的信号成分设置除峰和谷之外的值,以便在下述三值判断中,不检测峰和谷。因此,即使差异信号中包含白炽照明闪烁成分,也通过去除低幅度成分的校正处理去除了这种微弱信号,从而不会不必要地判断存在闪烁。从而在此实施例,用于切除低幅度噪声的滤波器处理作为校正处理的一部分被执行。
图6A和6B示出了第二实施例的用于闪烁频率鉴别过程中的高幅度成分去除的校正处理。图6A示出作为差异信号而被抽取的荧光照明闪烁成分F3。在此示例中,高亮度图像信号只存在于两个连续帧图像中的一个帧图像中的某些地方中。此情形被认为发生在对象处于快速运动中时或者当照相机方向快速移动时。因此,连续帧的图像信号的差异信号在某些地方是高幅度信号。在图6A的闪烁成分F3中,从左开始的第三个峰的幅度比其他峰幅度伸出得高。因此,平均亮度线Fa高于所有其他峰的幅度。
当对这种闪烁成分F3执行上述三值判断时,如果幅度小于平均亮度线Fa,则即使导数从正变到负的零交叉点也不被判断为峰;因此,检测到四个谷以及仅仅一个峰,并且无法精确判断由于荧光照明引起的荧光成分。
图6B中示出包括差异信号的单独的荧光照明闪烁成分F4。同样,在此示例中,高亮度图像只存在于两个连续帧图像中的一个帧图像中的某些地方中。在图中,高亮度图像信号存在于部分100中,并且高亮度成分被包含在闪烁成分F4中。另外,在部分100中,通常将会是谷的部分高于平均亮度线Fa。此外,在部分100中波形失真。
当利用导数值的零交叉执行这种闪烁成分F4的三值判断时,图6B中的判断结果(1)为“峰、谷、峰、谷、峰、谷、峰、谷、峰、谷、峰、谷”;当只有高于平均亮度线Fa的亮度被视为“峰”并且只有低于该线的亮度被视为“谷”时,图6B中的判断结果(2)为“峰、峰、谷、峰、谷、峰、峰、峰、谷”。
图7A和7B示出了图6B中的闪烁成分在峰/谷判断之后的闪烁成分。虚线是峰/谷判断后的闪烁成分信号。图7A示出峰/谷判断后的闪烁成分F5(虚线)以及作为差异信号而抽取的闪烁成分F4。在图6B的判断结果中,对于连续检测到的峰,通过判断具有最大亮度的点为“峰”,可抽取图7A的闪烁成分F5。
图7B对比以这种方式抽取的闪烁成分F5和实际荧光照明闪烁成分F1。如图所示,鉴别后的闪烁成分F5的三值判断结果由(1)表示,而实际闪烁成分F1的三值判断结果由(2)表示。即,通过获得差异而抽取的闪烁成分在部分100中包含高亮度信号,以使得在此部分中三值闪烁成分F5的波形被干扰,并且应该被检测的峰和谷未被检测。因此在闪烁检测过程中,具有期望频率的闪烁未被检测,并且预期到可能导致不存在闪烁的错误判断。
因此在第二实施例中,除了第一实施例的去除低幅度成分的校正处理外,还对从连续帧的图像信号之间的差异抽取的闪烁成分F4执行去除高幅度成分的校正处理。即执行图4中的S21和S22的校正处理。
图8A和8B示出了第二实施例的校正处理。在图8A中,示出作为与图6B相同的差异信号的闪烁成分F5。在第二实施例中,在此闪烁成分的信号F5中,去除低于来自亮度平均值Fa的参考低幅度值Ya的成分,并且去除高于来自亮度平均值Fa的参考高亮度值Yb的成分。前者是去除低幅度成分的校正处理,后者是去除高幅度成分的校正处理。因此,去除了图8B中的低幅度110和高幅度112。或者,对于闪烁成分F5,低幅度110和高幅度112可被分类成“其他”,与“峰”和“谷”区别开来。图中的虚线示出用于去除这些低幅度110和高幅度112的校正处理后的闪烁成分F6。
希望上述参考低幅度值Ya被设置为对应于白炽照明的固定值,;但是因为高亮度信号的幅度值不同,因此不同帧的参考高幅度值Yb可以不同。
在由图8B中的虚线表示的校正后的闪烁成分F6中,高幅度成分112已被去除,并且峰114、谷116和峰18存在。峰和谷可通过导数值的零交叉点来检测。这里,如果将亮度高于平均亮度线Fa的点指定为峰,并将亮度较低的点指定为峰,则未鉴别出谷116。从而未将实际闪烁成分的谷116鉴别为峰,因此无法适当检测闪烁成分的存在性及其频率(或周期)。
图9A和9B说明了第三实施例中的闪烁判断过程。此闪烁判断过程主要涉及三值判断处理的改进。图9A中示出图8A和8B的校正处理后的闪烁成分F6。在第三实施例中,基于校正后的闪烁成分F6的导数值的零交叉点检测“峰”和“谷”,并且临时检测闪烁成分F6的周期。然后确定临时检测到的周期内的平均亮度值Fa1至Fa4。平均亮度值例如被计算为每个周期内的最大和最小值的平均。然后对于大于相应周期的平均亮度值Fa1至Fa4的极大点,从导数值的零交叉点检测到的“峰”和“谷”被检测为“峰”,并且对于小于相应周期的平均亮度值Fa1至Fa4的极小点,从导数值的零交叉点检测到的“峰”和“谷”被检测为“谷”。按上述方式执行的三值判断的结果出现在图9A中。
在图9B中,重叠示出按上述方式鉴别的闪烁成分F7(虚线)和实际闪烁成分F1(实线)。正如从图中清楚可见的,甚至级别高于平均亮度线Fa时,也鉴别出“谷”,从而虽然波形失真,鉴别出的闪烁成分F7也可用于检测等于实际闪烁成分的频率(或周期)的“峰”和“谷”。
参见图4,在基于每个周期的亮度平均值执行三值判断S23后,基于鉴别出的“峰”和“谷”的间隔和数目判断闪烁成分频率(或周期)。并且,正如图3的过程S14中那样,将多次被判断的闪烁频率值视为最终确定值的标准,并且确定对应于图2的闪烁频率的曝光时间。当未检测到闪烁时,在没有由闪烁频率所施加的约束的情况下确定曝光时间(S5)。
如上所述,在此实施例中,确定连续帧中的图像信号之间的差异以抽取闪烁成分,执行闪烁成分信号的校正处理,包括低幅度去除和高幅度去除,并且在三值判断中确定每个周期的平均亮度值,并且基于平均亮度值,将校正后的信号鉴别为“峰”或“谷”。通过参考平均亮度值鉴别“峰”和“谷”,可从“峰”和“谷”中排除由于噪声引起的导数与零相交的点。此外,通过使用每个周期上的平均亮度值而不是总的平均亮度值,即使由于包含高亮度图像信号而发生信号失真,也能可靠地鉴别闪烁成分。
在上文中,给出了对于CMOS图像传感器或其他MOS型图像捕捉元件的实施例的说明,但是除了其他MOS型图像捕捉元件外,本发明当然也可应用到CCD和其他图像捕捉元件,只要使用了XY地址方法。

Claims (9)

1.一种具有XY地址型图像捕捉元件的图像捕捉设备,其具有图像捕捉元件,所述设备包括:
闪烁检测部分,其从由图像捕捉元件提供的每个帧的图像信号中抽取对应于图像捕捉环境中的亮度的周期性变化的闪烁成分信号,执行校正以从所述闪烁成分信号中去除等于或低于规定的参考低幅度值的信号,并且根据校正后的闪烁成分信号的峰和谷来检测所述闪烁成分的频率或周期。
2.如权利要求1所述的图像捕捉设备,其中所述闪烁检测部分除了执行用于去除等于或低于所述规定的参考低幅度值的校正处理外,还执行校正处理以从所述闪烁成分信号中去除等于或高于规定的参考高幅度值的信号。
3.如权利要求1所述的图像捕捉设备,其中所述闪烁检测部分参考所述校正后的闪烁成分信号的每个周期中的平均值来鉴别所述闪烁成分信号的峰和谷,并根据鉴别出的峰和谷来检测所述闪烁成分的频率或周期。
4.如权利要求3所述的图像捕捉设备,其中所述闪烁检测部分通过确定连续帧中的图像信号之间的差异成分而执行所述闪烁成分信号的抽取。
5.如权利要求1所述的图像捕捉设备,其中所述闪烁检测部分对所抽取的闪烁成分信号执行平滑处理,然后执行所述校正处理。
6.如权利要求1所述的图像捕捉设备,还包括曝光时间控制部分,其根据由所述闪烁检测部分所检测到的闪烁成分的频率或周期来控制曝光时间。
7.一种具有XY地址型图像捕捉元件的图像捕捉设备,其具有图像捕捉元件,所述设备包括:
闪烁检测部分,其从由图像捕捉元件提供的每个帧的图像信号中抽取对应于图像捕捉环境中的亮度的周期性变化的闪烁成分信号,执行校正以从所述闪烁成分信号中去除等于或高于规定的参考高幅度值的信号,并且根据校正后的闪烁成分信号的峰和谷来检测所述闪烁成分的频率或周期。
8.如权利要求7所述的图像捕捉设备,其中所述闪烁检测部分参考所述校正后的闪烁成分信号的每个周期中的平均值来鉴别所述闪烁成分信号的峰和谷,并根据鉴别出的峰和谷来检测所述闪烁成分的频率或周期。
9.一种具有XY地址型图像捕捉元件的图像捕捉设备,其具有图像捕捉元件,所述设备包括:
闪烁检测部分,其从由图像捕捉元件提供的每个帧的图像信号中抽取对应于图像捕捉环境中的亮度的周期性变化的闪烁成分信号,参考每个周期中所述闪烁成分信号的平均值来鉴别所述闪烁成分信号的峰和谷,并根据鉴别出的峰和谷来检测所述闪烁成分的频率或周期。
CNB2005101145352A 2005-06-13 2005-10-24 能够进行闪烁检测的图像捕捉设备 Expired - Fee Related CN100429928C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005172347A JP4335849B2 (ja) 2005-06-13 2005-06-13 フリッカ検出可能な撮像装置
JP2005172347 2005-06-13
JP2005-172347 2005-06-13

Publications (2)

Publication Number Publication Date
CN1882041A CN1882041A (zh) 2006-12-20
CN100429928C true CN100429928C (zh) 2008-10-29

Family

ID=37519995

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101145352A Expired - Fee Related CN100429928C (zh) 2005-06-13 2005-10-24 能够进行闪烁检测的图像捕捉设备

Country Status (5)

Country Link
US (1) US7471316B2 (zh)
JP (1) JP4335849B2 (zh)
KR (1) KR100709543B1 (zh)
CN (1) CN100429928C (zh)
TW (1) TWI285049B (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920175B2 (en) * 2005-01-13 2011-04-05 Canon Kabushiki Kaisha Electronic still camera performing composition of images and image capturing method therefor
KR100721664B1 (ko) 2005-12-22 2007-05-23 매그나칩 반도체 유한회사 이미지 센서의 플리커 검출 회로 및 방법
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device
JP2008209900A (ja) * 2007-02-02 2008-09-11 Canon Inc カメラシステム及びレンズ装置
KR100820840B1 (ko) * 2007-02-12 2008-04-11 엘지전자 주식회사 프로젝터 및 프로젝터의 플리커 제거 방법
KR20080098864A (ko) * 2007-05-07 2008-11-12 삼성전자주식회사 이미지 센서의 플리커 감소 방법 및 장치
KR100891434B1 (ko) * 2007-05-16 2009-04-03 주식회사 코아로직 플리커 노이즈 검출 장치, 방법 및 그 기록매체
JP2009017214A (ja) * 2007-07-04 2009-01-22 Canon Inc フリッカ検出装置及びフリッカ検出方法
JP2009017213A (ja) * 2007-07-04 2009-01-22 Canon Inc 撮像装置
JP4836896B2 (ja) * 2007-08-27 2011-12-14 三洋電機株式会社 ビデオカメラ
MY142600A (en) * 2007-12-03 2010-12-15 Mimos Berhad System and method for authenticating image liveness
CN101459779B (zh) * 2007-12-14 2010-09-08 凌阳多媒体股份有限公司 于视频采集装置中的自动闪烁探测与修正的装置及方法
US8266168B2 (en) * 2008-04-24 2012-09-11 Lexisnexis Risk & Information Analytics Group Inc. Database systems and methods for linking records and entity representations with sufficiently high confidence
US8149093B2 (en) * 2008-06-06 2012-04-03 Lyngsoe Systems System and method for wireless communications
JP5099701B2 (ja) * 2008-06-19 2012-12-19 シャープ株式会社 信号処理装置、信号処理方法、制御プログラム、可読記録媒体、固体撮像装置および電子情報機器
JP4626689B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 撮像装置、補正回路および補正方法
JP2010098416A (ja) * 2008-10-15 2010-04-30 Nikon Corp 撮像装置
JP5396862B2 (ja) * 2009-01-07 2014-01-22 リコーイメージング株式会社 撮像装置
JP5644451B2 (ja) * 2010-05-25 2014-12-24 株式会社リコー 画像処理装置および画像処理方法、ならびに、撮像装置
US8462229B2 (en) 2010-09-30 2013-06-11 Hewlett-Packard Development Company, L.P. Detection of flicker within captured imaged frames
US8804003B2 (en) 2011-01-28 2014-08-12 Aptina Imaging Corporation Flicker detection for imaging devices with high frame rates
US8711245B2 (en) 2011-03-18 2014-04-29 Digitaloptics Corporation Europe Ltd. Methods and systems for flicker correction
US9088727B2 (en) 2011-04-06 2015-07-21 Pelco, Inc. Spatially-varying flicker detection
CN102256062A (zh) * 2011-05-06 2011-11-23 钰创科技股份有限公司 自动侦测影像闪烁的电路及其方法
JP5899707B2 (ja) * 2011-08-26 2016-04-06 株式会社ニコン 撮像装置
TWI469632B (zh) * 2011-11-09 2015-01-11 Silicon Motion Inc 抗閃爍攝錄裝置與攝錄方法
WO2013165377A1 (en) * 2012-04-30 2013-11-07 Hewlett-Packard Development Company, L. P. A system and method of modifying the dynamic range
JP6296697B2 (ja) 2013-05-10 2018-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP6108946B2 (ja) * 2013-05-10 2017-04-05 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
CN104541499B (zh) * 2013-06-14 2018-05-18 松下电器(美国)知识产权公司 摄像装置、集成电路以及闪烁减少方法
CN104125401B (zh) * 2014-07-22 2017-08-25 广州三星通信技术研究有限公司 控制图像传感器工作的方法和拍摄装置
KR102523301B1 (ko) * 2015-12-15 2023-04-19 삼성전자주식회사 플리커를 제거하는 이미지 센서 회로 및 이를 포함하는 카메라 장치
JP6763147B2 (ja) * 2016-02-04 2020-09-30 リコーイメージング株式会社 ライブビュー機能を有する撮影装置
CN107111882B (zh) 2016-03-22 2021-01-05 广东虚拟现实科技有限公司 条纹集合查找方法、装置以及系统
US10795456B2 (en) * 2016-03-22 2020-10-06 Guangdong Virtual Reality Technology Co., Ltd. Method, device and terminal for determining effectiveness of stripe set
CN106131445A (zh) * 2016-07-08 2016-11-16 深圳天珑无线科技有限公司 一种拍摄方法和装置
CN110325872B (zh) * 2016-07-14 2023-04-28 广东虚拟现实科技有限公司 闪烁光源的识别方法以及装置
CN108462837B (zh) * 2018-03-13 2022-06-21 中兴通讯股份有限公司 拍摄方法及装置
CN109151255B (zh) * 2018-08-31 2021-05-25 惠州华阳通用电子有限公司 一种基于光电检测的摄像头闪烁消除方法及装置
JP7222745B2 (ja) * 2019-02-08 2023-02-15 ローム株式会社 フリッカ検出装置
CN110381276B (zh) * 2019-05-06 2021-08-13 华为技术有限公司 一种视频拍摄方法及电子设备
CN110248110B (zh) * 2019-06-28 2021-03-26 Oppo广东移动通信有限公司 拍摄参数设置方法、设置装置、终端设备及可读存储介质
WO2021195861A1 (zh) * 2020-03-30 2021-10-07 深圳市大疆创新科技有限公司 一种抗频闪方法、装置、系统及计算机可读存储介质
CN112351216B (zh) * 2020-10-10 2022-04-05 深圳开阳电子股份有限公司 检测和消除视频闪烁的方法及图像处理设备
CN113301220B (zh) * 2021-04-27 2024-01-05 上海欧菲智能车联科技有限公司 一种车载摄像头与车灯的同步方法及fpga芯片
CN116718267B (zh) * 2023-08-08 2023-10-31 四川京炜交通工程技术有限公司 一种移动式交通技术监控成像频闪补光灯照度测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023257A (en) * 1994-12-22 2000-02-08 Semiconductor Energy Laboratory Co., Ltd. Driver circuit for active matrix display
CN1250314A (zh) * 1998-07-24 2000-04-12 松下电器产业株式会社 成像装置
JP2001119708A (ja) * 1999-10-19 2001-04-27 Matsushita Electric Ind Co Ltd フリッカ検出・補正装置およびフリッカ検出・補正方法
CN1383321A (zh) * 2001-04-26 2002-12-04 富士通株式会社 Xy地址型固体摄像装置的闪烁噪声降低方法
JP2003189129A (ja) * 2001-12-18 2003-07-04 Sony Corp 撮像信号処理装置及びフリッカ検出方法
CN1477862A (zh) * 2002-07-25 2004-02-25 ��ʿͨ��ʽ���� 固态图像传感器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62289735A (ja) * 1986-06-10 1987-12-16 Matsushita Electric Ind Co Ltd 不規則フリツカの測定装置
JPH06276415A (ja) * 1993-03-17 1994-09-30 Nippon Hoso Kyokai <Nhk> フリッカー防止方法および装置
JP2000156822A (ja) 1998-11-19 2000-06-06 Sony Corp クランプ回路
DE10033420A1 (de) * 2000-07-08 2002-01-17 Philips Corp Intellectual Pty Vorrichtung zur Reduktion von Flackerstörungen
JP3370979B2 (ja) * 2000-09-08 2003-01-27 三菱電機株式会社 撮像装置および自動レベル調整方法
US7298401B2 (en) * 2001-08-10 2007-11-20 Micron Technology, Inc. Method and apparatus for removing flicker from images
US7187405B2 (en) * 2001-10-02 2007-03-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Automatic flicker frequency detection device and method
US7142234B2 (en) * 2002-12-10 2006-11-28 Micron Technology, Inc. Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter
JP2004260574A (ja) * 2003-02-26 2004-09-16 Matsushita Electric Ind Co Ltd フリッカ検出方法およびフリッカ検出装置
KR100557660B1 (ko) * 2004-07-29 2006-03-10 매그나칩 반도체 유한회사 영상 신호에서의 플리커 검출 방법
US7502054B2 (en) * 2004-12-20 2009-03-10 Pixim, Inc. Automatic detection of fluorescent flicker in video images
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023257A (en) * 1994-12-22 2000-02-08 Semiconductor Energy Laboratory Co., Ltd. Driver circuit for active matrix display
CN1250314A (zh) * 1998-07-24 2000-04-12 松下电器产业株式会社 成像装置
JP2001119708A (ja) * 1999-10-19 2001-04-27 Matsushita Electric Ind Co Ltd フリッカ検出・補正装置およびフリッカ検出・補正方法
CN1383321A (zh) * 2001-04-26 2002-12-04 富士通株式会社 Xy地址型固体摄像装置的闪烁噪声降低方法
JP2003189129A (ja) * 2001-12-18 2003-07-04 Sony Corp 撮像信号処理装置及びフリッカ検出方法
CN1477862A (zh) * 2002-07-25 2004-02-25 ��ʿͨ��ʽ���� 固态图像传感器

Also Published As

Publication number Publication date
US7471316B2 (en) 2008-12-30
KR100709543B1 (ko) 2007-04-20
CN1882041A (zh) 2006-12-20
KR20060129926A (ko) 2006-12-18
TWI285049B (en) 2007-08-01
JP2006352242A (ja) 2006-12-28
JP4335849B2 (ja) 2009-09-30
TW200644623A (en) 2006-12-16
US20060279641A1 (en) 2006-12-14

Similar Documents

Publication Publication Date Title
CN100429928C (zh) 能够进行闪烁检测的图像捕捉设备
JP5595493B2 (ja) 目標検出方法及び機器並びに画像収集装置
KR101950396B1 (ko) 촬상장치 및 촬상방법
US8026956B2 (en) Image sensor, image taking apparatus, and state inspection system
EP1868374A3 (en) Image processing apparatus, image capture apparatus, image output apparatus, and method and program for these apparatus
US8736711B2 (en) Camera with anti-flicker capability and image capturing method with anti-flicker capability
US20040165084A1 (en) Flicker detecting method and flicker detecting apparatus
MY188165A (en) System and method for inspecting a wafer
CN101931749A (zh) 用于人脸检测的拍摄参数调整方法与影像撷取装置
CN104135660A (zh) 一种摄像模组脏污检测方法及检测系统
CN102387321B (zh) 摄像装置
JP2003304548A5 (zh)
JP4253527B2 (ja) 自動判別装置
CN102374994A (zh) 自动光学检测系统以及自动光学检测方法
CN101414357B (zh) 一种检测画面闪烁的方法和装置
JP4850920B2 (ja) フリッカ検出可能な撮像装置
CN101459779B (zh) 于视频采集装置中的自动闪烁探测与修正的装置及方法
CN106254786B (zh) 检测发光二极管的方法及系统
JP2008113237A (ja) 撮像装置におけるフリッカ検出方法と装置
JP2003179949A (ja) 輝度レベル検査装置
JP2010273147A (ja) 撮像信号特定状態検出装置、撮像装置、撮像信号特定状態検出方法、プログラムおよび集積回路
JP2010271604A (ja) 撮像装置
JP4811289B2 (ja) 画像処理装置
JP2009150847A (ja) 検査装置、検査システム、検査装置の制御方法、検査装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008164926A (ja) フォーカス制御装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: FUJITSU MICROELECTRONICS CO., LTD.

Free format text: FORMER OWNER: FUJITSU LIMITED

Effective date: 20081031

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20081031

Address after: Tokyo, Japan, Japan

Patentee after: Fujitsu Microelectronics Ltd.

Address before: Kanagawa

Patentee before: Fujitsu Ltd.

C56 Change in the name or address of the patentee

Owner name: FUJITSU SEMICONDUCTORS CO., LTD

Free format text: FORMER NAME: FUJITSU MICROELECTRON CO., LTD.

CP03 Change of name, title or address

Address after: Kanagawa

Patentee after: Fujitsu Semiconductor Co., Ltd.

Address before: Tokyo, Japan, Japan

Patentee before: Fujitsu Microelectronics Ltd.

ASS Succession or assignment of patent right

Owner name: SUOSI FUTURE CO., LTD.

Free format text: FORMER OWNER: FUJITSU SEMICONDUCTOR CO., LTD.

Effective date: 20150514

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150514

Address after: Kanagawa

Patentee after: Co., Ltd. Suo Si future

Address before: Kanagawa

Patentee before: Fujitsu Semiconductor Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081029

Termination date: 20191024