JP2005184413A - フリッカ検出装置及び撮像装置 - Google Patents

フリッカ検出装置及び撮像装置 Download PDF

Info

Publication number
JP2005184413A
JP2005184413A JP2003421901A JP2003421901A JP2005184413A JP 2005184413 A JP2005184413 A JP 2005184413A JP 2003421901 A JP2003421901 A JP 2003421901A JP 2003421901 A JP2003421901 A JP 2003421901A JP 2005184413 A JP2005184413 A JP 2005184413A
Authority
JP
Japan
Prior art keywords
flicker
synchronization
level
image
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003421901A
Other languages
English (en)
Other versions
JP4259998B2 (ja
Inventor
Toshiaki Nakakuki
俊朗 中莖
Ritsuya Iida
律也 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2003421901A priority Critical patent/JP4259998B2/ja
Priority to CNB2004100980928A priority patent/CN100338945C/zh
Priority to US11/011,447 priority patent/US20050157203A1/en
Priority to TW093139097A priority patent/TWI256838B/zh
Priority to KR1020040107650A priority patent/KR100643830B1/ko
Publication of JP2005184413A publication Critical patent/JP2005184413A/ja
Application granted granted Critical
Publication of JP4259998B2 publication Critical patent/JP4259998B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/32Details specially adapted for motion-picture projection
    • G03B21/40Eliminating or reducing effect of flicker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】 蛍光灯による照明下での動画撮影にて生じるフリッカを精度良く検出する。
【解決手段】 東日本での発光周期1/100secと、西日本での発光周期1/120secと、フレームレートfpに応じた1/fpとの公倍数を同期周期と定める。露光条件決定部22は同期周期毎の画像信号レベルに基づいて露光条件を定め、当該露光条件を同期周期後のフレームの露光制御にフィードバックさせる。同期時レベル抽出部24は、同期周期毎の複数フレームについて画像信号レベルを取り出し、同期時レベル判定部26は当該レベルの安定状態を判定する。一方、フリッカ判定部28は、同期周期内にて隣接フレーム間の画像信号レベルの変動が大きい箇所があることを検出する。フリッカ判定部28は、同期時レベル判定部26によって露光安定状態にあることが確認された場合に、同期周期内の変動に基づくフリッカ判定結果を有効とする。
【選択図】 図2

Description

蛍光灯などの明るさが周期的に変化する光源の下で動画像を撮影する際に生じるフリッカを検出するフリッカ検出装置及び撮像装置に関する。
近年の携帯電話には、CCDイメージセンサ等の固体撮像素子を搭載し、カメラ機能を併せ持つものが多く見られるようになった。撮影した画像は無線伝送路を介して、他の携帯電話等の端末へ送ることができるが、伝送系の技術向上に伴い、静止画のみならず動画の配信も可能となってきている。
周期発光する光源の下で動画像の撮影を行う場合、光源の発光周期と撮像周期との相違によって、画像信号のレベルが画像毎にばらつくフリッカが発生する場合がある。図4は、フレームトランスファ型CCDイメージセンサを用いた撮像装置において、50Hzの交流電源で発光する蛍光灯によって照明された被写体を、15fpsのフレームレートで撮像する場合について説明する模式的なタイミング図である。図には、光源の発光強度L、垂直同期信号VD、電子シャッタのタイミングパルスSTが示されている。露光期間Eは、電子シャッタ動作によりCCDイメージセンサの撮像部に蓄積された情報電荷を一旦排出したタイミングから、VDに連動したフレーム転送の開始タイミングまでの期間である。この例において、光源の発光強度Lの変動周期T1は1/100secとなるのに対して撮像周期T2は1/15secとなる。これら発光と撮像動作との位相はそれらの公倍数である1/5sec周期でしか一致しない。すなわち1/5sec周期中での3フレームの撮影における露光は、発光周期中の異なるタイミングで行われることになる。画像信号のレベルは各撮像動作の露光期間Eでの光源の発光強度Lの積分値に比例するため、光源の発光周期中での露光期間Eの位置の相違によりフリッカが生じ得る。このようなフリッカは、露光期間Eが短いほど目立ちやすくなる。
撮像時に生じるフリッカの検出は、従来、画像毎の輝度信号の積算値のピーク位置を検出し、そのピーク位置の周期性の有無やその周波数に基づいて行われている。また、フリッカが検出された場合には、それを生じないようにする技術が従来より提案されており、例えば、下記特許文献1は、上述の例のようにフレームレートが光源の発光周期と一致していない場合でも、フリッカを発生させることなく固体撮像素子を連続動作させる技術を開示している。
世界的にみて商用交流電源の周波数が50Hzの地域と60Hzの地域とがあり、また日本では東日本が50Hz地域、西日本が60Hz地域となっている。そこで、従来技術によれば、例えば、撮像装置は、一方の地域でフリッカが生じないように駆動されている状態において画像信号レベルの周期的なピーク発生を検知すると、他方地域でフリッカを生じない駆動に切り換えることができる。また、画像信号レベルの変動周波数に基づいてフリッカを検出する方法では、撮像装置は、その変動周波数とそのときの撮像周期とから、当該地域が50Hz、60Hzのいずれの地域であるかを推定することができ、その推定結果に応じて、フリッカを生じないように駆動の仕方を変更することができる。
特開2000−224491号公報
従来は、画像信号レベルの周期的変動に基づいてフリッカを検出しているが、画像信号レベルは光源の周期的発光以外の要因によっても変動する。当該他の要因の変動は、フリッカとして誤検出されたり、フリッカに擾乱を及ぼしてフリッカ周波数の誤検出やフリッカの検出漏れを生じる場合がある。例えば、通常、撮像装置で行われている自動露光制御(オートアイリス制御)がそのような他の要因の一つとなり得る。自動露光制御では画像信号レベルを所定の目標レベルに保つことを目的として、例えば、あるフレームの画像信号レベルが目標レベルを上回った場合には、後続フレームの露光期間Eを現状より短縮し(これを「アイリスを絞る」と表現する)、一方、目標レベルを下回った場合には、露光期間Eを現状より延長する(これを「アイリスを開く」と表現する)といった、露光条件に関するフィードバック制御が行われる。フィードバックの時定数は、被写体の明るさの変化に迅速に追随できるように短く設定される。ここで、一般にCCDイメージセンサでは、あるフレームの露光期間にて蓄積された情報電荷は一旦、蓄積部等に移され、当該情報電荷の読み出し動作は、次のフレームの情報電荷の蓄積動作と並行して行われる。そのため、あるフレームでの撮像に基づいて得られた露光条件は、2フレーム後の露光にフィードバックされる。
図5、図6はそれぞれ、50Hz電源により発光する蛍光灯下にて時間的に一定の被写体を15fpsで撮影した場合の画像毎の信号レベルの一例を示す模式図である。図5は、露光制御を行わなかった場合を表し、図6は、2フレーム周期での自動露光制御を行った場合を表す。図において右向きが時間軸に対応し、各矩形の上に記した記号“a”,“b”,“c”等は対応するフレームがそれぞれ図4のA,B,Cフレームであることを意味し、矩形内のα,β,γ等の記号は当該フレームの画像信号レベルを意味する。図5に示すように露光制御を行わなかった場合、すなわち露光時間Eを一定に固定した場合は、基本的に、画像信号レベルはα,β,γ,…の繰り返しとなる。すなわち、画像信号レベルは3フレーム周期で変動し、これに基づいてフリッカを検知でき、また発光周期を推定することが可能となる。次に図6の場合を説明する。この例では、βが適正露光レベルであり、またα>β>γとし、さらに説明を簡単にするため露光制御によるレベル変化を単純化している。露光時間Eを初期値eとして撮影されたフレーム“a”の画像信号レベルαは適正露光レベルより高い、すなわち明るいため、露光制御回路は2フレーム後のフレーム“c”では露光時間をeより短いeに設定する(アイリスを絞る)。その結果、フレーム“c”,“a”の画像信号レベルはそれぞれγ,αより低いγ,αとなる。露光制御回路は、フレーム“c”の画像信号レベルγが適正露光レベルより低い、すなわち暗いことを検知し、2フレーム後のフレーム“b”では露光時間をeからeに戻す(アイリスを開く)。その結果、フレーム“b”,“c”の画像信号レベルはそれぞれβ,γとなる。続いて、露光制御回路は、フレーム“b”の画像信号レベルが適正露光レベルβであることを検知し、2フレーム後のフレーム“a”では露光時間をeの状態に維持する。その結果、フレーム“a”,“b”の画像信号レベルはそれぞれα,βとなる。フレーム“a”以降は、上述のフレーム“a”〜“c”の露光状態が繰り返される。その結果、画像信号レベルの変動はフレーム“a”,“a”,“a”,…でピークを生じる。
このように、単純に自動露光制御を行うと、画像信号レベルのピーク位置や変動周期はフリッカ本来のそれらと異なるものとなり得る。そのため、既に述べたように、フリッカ周波数を誤って検出したり、画像信号レベルの変動がフリッカによるものでないとして検出漏れを生じるという問題が生じる。
また、画像信号レベルは、光源の明るさが一定であっても被写体に応じて変化する。画像信号レベルが被写体に起因して変動し得る状況下では、画像信号レベルの変動がフリッカによるものか否かの判断が容易ではない。また、明るさが周期的に変動する光源下での撮影であっても、被写体の変化の影響により、画像信号レベルのピーク位置や変動周期がフリッカ本来のそれらと異なるものとなり得るため、上述の自動露光制御の場合と同様、フリッカの検出精度が低下するという問題が生じる。
本発明は上記問題点を解決するためになされたものであり、蛍光灯などの明るさが周期的に変化する光源の下で動画像を撮影する際に生じるフリッカを、精度良く検出するフリッカ検出装置及び撮像装置を提供することを目的とする。
本発明に係るフリッカ検出装置は、フレームレートfpで撮影する撮像装置に用いられ、周期1/fで明るさが周期的に変化する光源に起因する画像のフリッカを検出するものであって、1/fと1/fpとの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、前記同期時画像信号レベルに基づいて、前記撮像装置による撮影を所定の露光状態に維持する露光制御を行う露光制御手段と、前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、を有する。
本発明によれば、光源の変化周期の一定の位相にて、画像信号レベルの抽出及び当該画像信号レベルに基づいた露光状態のフィードバック制御が行われる。この露光制御は、光源の周期的変化の影響を受けず、かつ被写体に応じた画像信号レベルの変動を除去することが可能である。その結果、光源の明るさが周期1/fで周期的に変化する状況下では、基本的に、露光状態の抽出が行われる同期周期毎のタイミングでの画像信号レベルは露光制御の目標レベル近傍に維持され、その間のタイミングで得られる画像信号レベルは当該目標レベルから比較的離れた値となる。すなわち、画像信号レベルに、光源の周期1/fに対応した同期周期毎の変動が好適に現れることとなり、そのレベル変動に基づいて当該光源に起因するフリッカの有無を検知することができる。
別の本発明に係るフリッカ検出装置は、フレームレートfpで撮影する撮像装置に用いられ、周期1/f1で明るさが周期的に変化する第1光源に起因する画像のフリッカ及び周期1/f2で明るさが周期的に変化する第2光源に起因する画像のフリッカを検出するものであって、1/f1、1/f2及び1/fpの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、前記同期時画像信号レベルに基づいて、前記撮像装置による撮影を所定の露光状態に維持する露光制御を行う露光制御手段と、前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、を有する。
本発明においては、同期周期が発光周期の異なる2つの光源の当該周期の公倍数となるように定められる。よって、その同期周期に基づいて行われる露光制御は、それらいずれの光源下でも、光源の周期的変化の影響を受けず、かつ被写体に応じた画像信号レベルの変動を除去することが可能である。よって、いずれの光源下でも画像信号レベルの同期周期毎の変動に基づくフリッカ検出を精度良く行うことができる。
更に別の本発明に係るフリッカ検出装置は、前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段を有し、前記フリッカ判定手段は、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無の判定結果を有効とする。
露光制御を同期周期に連動して行えば、基本的に同期時画像信号レベルが露光制御の目標レベル近傍に維持される露光安定状態となることが期待されるが、露光制御が追随できない急激な被写体の変化が起こり、露光安定状態ではなくなる可能性もある。そこで、本発明では、同期時画像信号レベルに基づいて露光安定状態であるかを念のため確認し、露光安定状態でない場合には、同期周期内での画像信号レベルの変動に基づくフリッカの有無の判定結果は無効として、誤った判定がなされることを回避する。
他の本発明に係るフリッカ検出装置は、フレームレートfpで撮影する撮像装置に用いられ、周期1/fで明るさが周期的に変化する光源に起因する画像のフリッカを検出するものであって、1/fと1/fpとの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段と、前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、を有し、前記フリッカ判定手段は、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無の判定結果を有効とする。
露光制御を行わない場合であっても、被写体が変化しない場合には露光安定状態が実現され得る。本発明は、同期時画像信号レベルに基づいて露光安定状態であることを確認した上で、同期周期内での画像信号レベルの変動に基づくフリッカの有無の判定結果を有効とすることとして、露光安定状態でない場合に起こり得る誤ったフリッカ判定を回避する。
別の本発明に係るフリッカ検出装置は、フレームレートfpで撮影する撮像装置に用いられ、周期1/f1で明るさが周期的に変化する第1光源に起因する画像のフリッカ及び周期1/f2で明るさが周期的に変化する第2光源に起因する画像のフリッカを検出するものであって、1/f1、1/f2及び1/fpの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段と、前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、を有し、前記フリッカ判定手段は、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無の判定結果を有効とする。
本発明においては、同期周期が発光周期の異なる2つの光源の当該周期の公倍数となるように定められ、その同期周期での露光安定状態が確認される。よって、それらいずれの光源下でも、露光安定状態でない場合に起こり得る誤ったフリッカ判定が回避される。
本発明の好適な態様は、前記フリッカ判定手段が、前記変動度合いが所定基準値より大きい場合に、前記フリッカが生じていると判定するフリッカ検出装置である。
他の本発明に係るフリッカ検出装置においては、前記フリッカ判定手段が、所定数の連続する前記同期周期のそれぞれにて前記変動度合いが所定基準値より大きい場合に、前記フリッカが生じていると判定する。
本発明によれば、連続する複数の同期周期での画像信号レベルの変動のコインシデンスに基づいてフリッカを判定する。これにより、撮像範囲を何らかの物体が偶発的に通過するといった一時的な原因による画像信号レベルの変動を誤ってフリッカとして検知することが回避される。
本発明に係る撮像装置は、フレームレートfpで撮影する装置であって、少なくとも周期1/f1で明るさが周期的に変化する第1光源の下で画像のフリッカを生じない駆動状態と周期1/f2で明るさが周期的に変化する第2光源の下で画像のフリッカを生じない駆動状態とを切り替え可能であり、1/f1、1/f2及び1/fpの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、前記同期時画像信号レベルに基づいて、前記撮像装置による撮影を所定の露光状態に維持する露光制御を行う露光制御手段と、前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、前記フリッカ判定手段の判定結果に応じて、前記駆動状態を切り替える切替手段と、を有する。
別の本発明に係る撮像装置は、前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段を有し、前記フリッカ判定手段が、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無を判定結果を有効とする。
他の本発明に係る撮像装置は、フレームレートfpで撮影する装置であって、少なくとも周期1/f1で明るさが周期的に変化する第1光源の下で画像のフリッカを生じない駆動状態と周期1/f2で明るさが周期的に変化する第2光源の下で画像のフリッカを生じない駆動状態とを切り替え可能であり、1/f1、1/f2及び1/fpの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段と、前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、前記フリッカ判定手段の判定結果に応じて、前記駆動状態を切り替える切替手段と、を有し、前記フリッカ判定手段は、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無の判定結果を有効とする。
本発明の好適な態様は、前記切替手段が、前記フリッカが検出された場合に、現在の駆動状態を前記フリッカを生じない他の駆動状態に切り替える撮像装置である。
以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。
図1は、本発明に係る撮像装置の概略のブロック構成図である。本撮像装置2は、CCDイメージセンサ4、イメージセンサ制御回路6、アナログ信号処理回路8、ADC(analog-to-digital converter)10、デジタル信号処理回路12を含んで構成され、動画撮影を行うことができる。
イメージセンサ制御回路6は、例えばCCDイメージセンサ4がフレームトランスファ型である場合には、その撮像部、蓄積部、水平転送部、出力部及び基板電位の駆動を行うドライバとそのドライバの出力パルスのタイミング制御を行うタイミング制御回路とを含んでいる。具体的にはイメージセンサ制御回路6は、例えば、撮像部から蓄積部へ高速に情報電荷を転送するフレーム転送、蓄積部から水平転送部へ1水平ラインずつ転送するライン送り転送、水平転送部に転送された情報電荷を出力部へ順次転送する水平転送を行う。
ここで、イメージセンサ制御回路6は、交流電源の周波数が50Hzの地域か60Hzの地域かに応じて、動画撮影のフレーム間隔を調整し、蛍光灯のように電源周期に応じて周期的に明るさが変化する光源の下でのフリッカを抑制することができる。例えば、フレーム間隔を50Hzと60Hzとのいずれの地域に適したものとするかの切り換えは、後述するデジタル信号処理回路12でのフリッカの有無の判定結果に基づいて自動的に行うように構成することができる。このフリッカ抑制については後にさらに説明する。
またイメージセンサ制御回路6は、デジタル信号処理回路12にて生成される露光情報に基づいて撮像部における電子シャッタ動作を制御して露光時間を調節するオートアイリス制御を行う。例えば、イメージセンサ制御回路6は、垂直同期パルスVDのタイミングから電子シャッタのトリガパルスのタイミングまでの時間に応じた数値を格納するシャッタタイミングレジスタ(STレジスタ)を有し、当該数値は、CCDイメージセンサ4から出力される画像信号の信号レベルに応じて、デジタル信号処理回路12により変更される。イメージセンサ制御回路6は、VDのタイミングからの時間をカウンタを用いて計測し、当該カウンタの値がSTレジスタの設定値に一致すると、シャッタトリガパルスを生成して、撮像部に蓄積された情報電荷を排出させる。例えば、画像信号レベルが適正な露光レベルである目標レンジを上回った場合には、STレジスタの値を増加させることにより、後の撮影でのシャッタトリガを遅らせて情報電荷の蓄積時間を短くし、逆に、目標レンジを下回った場合にはSTレジスタの値を減少させることにより、シャッタトリガを早めて蓄積時間を長くする。これにより、被写体の輝度によらず画像信号レベルが適正レベルに保たれるように蓄積時間がフィードバック制御される。
アナログ信号処理回路8は、CCDイメージセンサ4から出力される画像信号Y0(t)に対して相関二重サンプリング(CDS)、自動利得制御(AGC)等の処理を施し、波形整形された画像信号Y1(t)を出力する。ADC10はこの画像信号Y1(t)を1画素ずつデジタル信号に変換して画像データD(n)を生成する。
デジタル信号処理回路12は、画像データD(n)に対し、色分離、マトリクス演算、ホワイトバランス調整等の処理を施し、輝度データY(n)及び色差データU(n),V(n)を生成する。デジタル信号処理回路12はデータY(n),U(n),V(n)をさらに処理してもよい。またこれら生成されたデータを表示部や記録部へ出力し、画面表示に利用したり、記録媒体に格納することもできる。また、デジタル信号処理回路12は、CCDイメージセンサ4から出力される画像信号を1画面分、或いは、1画面内の任意の領域分、積分して画像信号レベルを求める。この画像信号レベルは上述したようにイメージセンサ制御回路6でのオートアイリス制御に用いられる。また、デジタル信号処理回路12は、フリッカ検出回路20を備えている。フリッカ検出回路20は、画像信号レベルの変動に基づいてフリッカの有無を判定し、判定結果は上述したようにイメージセンサ制御回路6にて利用される。
さて、イメージセンサ制御回路6によるフリッカを抑制する撮影動作として、例えば特許文献1にて提案するものがある。その特許文献1のフリッカレス駆動を、ここでは本撮像装置がフレームレート15fpsでの動画撮影を行う場合を例に簡単に説明する。50Hz地域では蛍光灯は1/100sec周期で明滅し、60Hz地域では1/120sec周期で明滅する。蛍光灯の発光と撮影タイミングとは互いの公倍数周期で同期する。ここで複数の周期τξ(ξ=1,2,…,m)の公倍数周期Tとは、任意のξについてT=cξτξとなる自然数cξが存在する時間長を意味する。すなわち、50Hz地域及び60Hz地域それぞれでの蛍光灯の発光と撮影とは1/100sec、1/120sec及び1/15secとの公倍数である1/5sec周期で同期し、この同期周期内でいずれの地域においても3フレームの撮影が行われる。
50Hz地域では1/5secの間に20サイクルの発光が行われる。よって、この20サイクルのうち、互いに同一位相であり、かつ近似的に等間隔となるタイミングを3フレームの撮影タイミングに設定すれば、50Hz地域にてフリッカを抑制することができる。例えば、イメージセンサ制御回路6は、50Hz地域の蛍光灯発光下での撮影にてフリッカを生じない動作モード(50Hz地域動作モード)として、20サイクルを7サイクル、7サイクル、6サイクルに分割し、これら周期で3フレームの撮影を行うようにCCDイメージセンサ4を制御する。
一方、60Hz地域では、当該地域での発光と15fpsの撮影との周期の公倍数は1/15secとなる。これは、60Hz地域では各フレームの撮影タイミングを等間隔周期に設定すれば、発光の周期の一定の位相にて撮影が行われ、よってフリッカを抑制することができることを意味する。すなわち、イメージセンサ制御回路6は、60Hz地域の蛍光灯発光下での撮影にてフリッカを生じない動作モード(60Hz地域動作モード)として、1/5secの同期周期内にて等間隔で3フレームの撮影を行うようにCCDイメージセンサ4を制御する。
次に、フリッカ検出回路20の主要部分の構成及び動作を説明する。図2は、フリッカ検出回路20の概略の回路構成を示すブロック図である。図3は、フリッカ検出回路20の動作を説明するためのタイミング図である。図2に示すフリッカ検出回路20を説明の便宜上、露光条件決定部22、同期時レベル抽出部24、同期時レベル判定部26、フリッカ判定部28に区画する。デジタル信号処理回路12は、イメージセンサ制御回路6が生成する1V周期の垂直同期信号VDに基づいて、それに同期したクロックCK1を生成し、またそれを分周してクロックCK2を生成する。CK2はオートアイリス制御のフィードバック周期を規定する。具体的には、オートアイリス制御において迅速なフィードバックを行う場合には、従来技術で述べたように、フィードバック周期は2フレームとされ、その場合、CK2の周期は2フレームとされる。一方、本発明の特徴的動作であるフリッカ検出動作では、50Hz地域での発光周期1/100sec、60Hz地域での発光周期1/120sec、及びフレームレート15fpsから定まる上述の同期周期(1/5sec)をフィードバック周期とする。すなわち、フリッカ検出動作では、CK2の周期は3フレームとされる。
デジタル信号処理回路12はADC10から出力された画像信号データD(n)に基づいて各フレームの1画面分の画像信号の積分値Iを求め、これをフリッカ検出回路20に入力する。この積分値Iは露光条件決定部22、同期時レベル判定部26及びフリッカ判定部28で利用される。
露光条件決定部22は、1フレーム周期で入力される積分値Iを所定フレーム数置きの値を画像信号レベルEXとして抽出し、当該画像信号レベルEXに基づいて新たな露光条件を求める。例えば、露光条件決定部22は露光条件として、STレジスタに設定する新たな制御値AIを求め、イメージセンサ制御回路6に与える。この動作の流れを図3を用いて説明する。図3において、“VD”は垂直同期信号VDのパルス発生タイミングを示し、“F”にはVDに同期して定義されるフレームを、図5,図6と同じ記号a,b,c,a,…を用いて表している。また、画像データDを表す記号“D(f)”は、当該データがフレームfで撮影されたものであること、画像信号レベルEXの抽出タイミングを表す記号“I(f)”は、抽出される画像信号レベルがデータD(f)に基づく積分値I(f)であること、制御値AIのデジタル信号処理回路12への出力タイミングを表す記号“AI(f)”は、その制御値によりフレームfの露光条件が更新されること、をそれぞれ意味する。
フリッカ検出動作では、同期周期(3フレーム)毎のフレーム、例えばフレームa(i=1、2,3,…)の積分値Iを画像信号レベルEXとして抽出する。そのために、画像データD(a)とD(b)との間のタイミングで発生されるクロックCK1に同期してクロックCK2が生成される。露光条件決定部22は、当該CK2に同期して積分値Iに対する抽出動作を行うことにより、画像データD(a)に基づく積分値I(a)を画像信号レベルEXとして取得することができる。露光条件決定部22は、取得したI(a)に基づいて、同期周期だけ後のフレームai+1でのシャッタトリガSTのタイミングを定める露光条件である制御値AI(ai+1)を決定する。フレームai+1の1つ前のフレームcの露光期間が終了後にデジタル信号処理回路12にて制御値が更新されるように、露光条件決定部22は、クロックCK1に基づいて、クロックCK2より1フレーム遅れたタイミングを取得し、当該タイミングで制御値AI(ai+1)をデジタル信号処理回路12へ出力する。
ちなみに、図3に示すCK2’,EX’及びAI’はそれぞれ、2フレーム周期でフィードバックを行う通常の露光制御でのクロックCK2、画像信号レベルEXの抽出タイミング、及び制御値AIの出力タイミングを表している。
次に同期時レベル抽出部24を説明する。同期時レベル抽出部24は、同期周期毎の画像信号レベルEXを取得して出力する。同期時レベル抽出部24は、遅延フリップフロップ(Delay Flip Flop:DFF)を直列に接続して構成される。例えば、ここでは4段のDFF30(DFF30−1〜30−4)で構成され、各DFF30はクロックCK2に同期して入力端のデータを出力端へ出力する。直列接続構成により、k段の出力端に出力されたデータは(k+1)段の入力データとなり、CK2の1周期毎に順次、データが後段に伝達される。初段のDFF30−1には積分値Iが入力される。クロックCK2は、フリッカ検出動作では上述のように周期が3フレームであり、また、ここでは、図3に示すようにフレームaの積分値I(a)の入力タイミングに同期している。よって、DFF30−1はCK2に連動して、3フレーム置きの積分値I(a)を画像信号レベルEXとして順次取り込み、DFF30−1〜30−4の出力端にはそれぞれ、I(ai+3),I(ai+2),I(ai+1),I(a)が出力される。同期時レベル抽出部24は、これら3フレームずつずれた4タイミングでの画像信号レベルEXを同期時レベル判定部26へ出力する。
同期時レベル判定部26は、同期周期毎の画像信号レベルEXの変動幅に基づいて、露光状態が安定しているか否かを判定する回路であり、変動幅算出器40と比較器42とを含んで構成される。同期時レベル抽出部24からの4タイミングでの画像信号レベルEXは変動幅算出器40に入力される。変動幅算出器40は、それら4つのデータの中での最大値と最小値との差を、演算して出力する。比較器42は変動幅算出器40の出力を基準値LVAと比較し、同期周期毎の画像信号レベルEXの変動幅が基準値LVAより小さい場合、すなわち露光安定状態(同期時レベル安定状態)にあると判定される場合には、論理レベル“H”(High)に相当する電圧信号を出力し、一方、変動幅が基準値LVA以上である場合には、論理レベル“L”(Low)に相当する電圧信号を出力する。基準値LVAは固定値とすることもできるし、ユーザ又は外部回路から設定できるように構成することもできる。
同期時レベル抽出部24及び同期時レベル判定部26は、複数サイクルの同期周期に亘る画像信号レベルの安定性を判定することができる。同期時レベル抽出部24のDFF30の段数はより多く構成することができ、その段数を増やすことで、より長期間に亘る画像信号レベルの安定性が判断されることとなる。なお、この判定は、AGC等の画像信号処理系でのゲイン制御が行われていない状態で行うのが好適である。
一方、次に述べるフリッカ判定部28は基本的に同期周期内での画像信号レベルの変動を検知するものである。フリッカ判定部28は、その変動に基づいてフリッカの有無を判定する。フリッカ判定部28はDFF50、減算器52、絶対値算出器54(ABS)、比較器56、複数のDFF58、複数のAND回路60、OR回路62、AND回路64及びDFF66を含んで構成される。入力に設けられるDFF50は、積分値Iを入力データとして与えられ、クロックCK1に連動して動作する。減算器52は、直接入力される積分値Iと、DFF50にて1フレーム周期だけ遅延された積分値Iとを入力され、その一方から他方を減算して絶対値算出器54へ出力する。絶対値算出器54は減算器52にて得られた差の絶対値を求め比較器56へ出力する。比較器56は、絶対値算出器54から入力された隣接フレーム間での画像信号レベルの差を基準値LVBと比較し、差が基準値LVBより大きい場合、論理レベル“H”を出力し、一方、差が基準値LVB以下である場合には、論理レベル“L”を出力する。なお、基準値LVBは固定値とすることもできるし、ユーザ又は外部回路から設定できるように構成することもできる。
比較器56の出力側には9段に直列接続されたDFF58(DFF58−1〜58−9)が設けられる。このDFF58の段数は、同期時レベル抽出部24が画像信号レベルEXを抽出する区間長に対応しており、DFF30の段数に応じてDFF58の段数も変えることができる。各DFF58はクロックCK1に連動して駆動され、比較器56から出力された“H”又は“L”の1ビットの論理データをそれぞれ1フレーム周期ずつ遅延させながら後段へ伝達する。これにより、各DFF58の出力端には1フレームずつずれたタイミングで比較器56から出力されたデータが得られる。具体的には、DFF30−1〜30−4の出力端からI(ai+3),I(ai+2),I(ai+1),I(a)が出力されるタイミングにて、DFF58−1〜58−9の出力端からはそれぞれ、|I(ai+3)−I(ci+2)|,|I(ci+2)−I(bi+2)|,|I(bi+2)−I(ai+2)|,…,|I(c)−I(b)|,|I(b)−I(a)|に対する比較器56の比較結果が出力される。
このように9段の各DFF58の出力端に得られた“H”又は“L”は3つのAND回路60(AND回路60−1〜60−3)に振り分けられ入力される。AND回路60は、連続する複数の同期周期での画像信号レベルの変動の様子が一致しているかを判定する、すなわちコインシデンスを取るために設けられている。このAND回路60の数は以下に述べる構成から理解されるように、同期周期中のフレーム数が3であることに対応している。コインシデンスを取るために、各AND回路60の入力端には、3段ずつ(すなわち同期周期1サイクルずつ)ずれたDFF58の出力端が接続される。具体的には、AND回路60−1には、DFF58−1,58−4,58−7の出力、つまり|I(ai+3)−I(ci+2)|,|I(ai+2)−I(ci+1)|,|I(ai+1)−I(c)|に対する比較器56の比較結果が入力される。同様に、AND回路60−2には、DFF58−2,58−5,58−8の出力、つまり|I(ci+2)−I(bi+2)|,|I(ci+1)−I(bi+1)|,|I(c)−I(b)|に対する比較器56の比較結果が入力される。また、AND回路60−3には、DFF58−3,58−6,58−9の出力、つまり|I(bi+2)−I(ai+2)|,|I(bi+1)−I(ai+1)|,|I(b)−I(a)|に対する比較器56の比較結果が入力される。
同期周期は3フレームで構成され、これに対応して、隣接するフレームの差も3つの異なるタイミング(位相)で定義される。各AND回路60は上述の具体例から理解されるように、連続する3回の同期周期における同一位相での隣接フレームの差に対応する比較結果データを入力され、3つのAND回路60は互いに異なる位相でのコインシデンスを判定している。各AND回路60の出力は、対応する位相での隣接フレームの画像信号レベルの変動が3回の同期周期共に基準値LVBより大きい場合に“H”レベルとなり、いずれかの同期周期において、隣接フレームの画像信号レベルの変動が基準値LVB以下であった場合には“L”レベルとなる。これら3つのAND回路60の出力は、OR回路62に入力され、OR回路62は論理和演算の結果をAND回路64へ出力する。
同期周期内におけるいずれかのタイミングにて、隣接フレーム間の画像信号レベルの変動が大きい場合は、フリッカが生じている可能性があり、さらにその変動が複数の同期周期に跨って共通して起きる場合には、偶発的な被写体の変化によるものである可能性が低くなる。よって、OR回路62の出力が“H”レベルである場合は、同期周期内においておいてフリッカによる画像信号レベルの変動が起きている可能性が高いと考えられる。
AND回路64には、OR回路62の出力と共に同期時レベル判定部26の比較器42の出力が入力される。AND回路64の出力はDFF66の入力データとされ、DFF66はクロックCK3に連動したタイミングでの入力データを出力する。このDFF66の出力がフリッカ検出回路20によるフリッカ判定結果となり、“H”レベルであればフリッカの発生を検知したことを意味し、一方、“L”レベルであればフリッカは発生していないことを意味する。すなわち、フリッカ検出回路20は、同期周期内にて画像信号レベルが変動していたとしても、同期時レベル抽出部24及び同期時レベル判定部26にて同期周期毎の画像信号レベルEXが所定範囲内に維持される露光安定状態であると判定された場合でなければ、フリッカが発生したとは判定しない。これは、露光安定状態が達成されない状況は、被写体の動き等による輝度変化が起きている場合などであり、そのような状況で同期周期内の画像信号レベルが変動していることを以て、フリッカと判定することは誤検出になる可能性が高いからである。その観点から、比較器42の出力をOR回路62の出力とは独立して出力し、比較器42の出力が“L”の場合は「フリッカ判定不能」、比較器42の出力が“H”かつOR回路62の出力が“H”の場合は「フリッカ発生」、比較器42の出力が“H”かつOR回路62の出力が“L”の場合は「フリッカなし」とする3種類の判定結果を提供可能とするようにフリッカ検出回路20を構成することもできる。
なお、クロックCK3はAND回路64の2つの入力を与える各回路系統、すなわち同期時レベル抽出部24及び同期時レベル判定部26と、フリッカ判定部28のDFF50からOR回路62までの回路とでの処理時間差を是正するためのものである。すなわち、これら2つの系統は、上に説明したように同一のフレーム区間を対象として演算を行い、AND回路64ではそれらの結果を突き合わせるのであるが、両系統間に処理時間差が存在すると、AND回路64に入力される2系統の判定結果が異なるフレーム区間に基づくものとなり得る。そこで、AND回路64への2系統の判定結果が同一のフレーム区間に基づくものとなるまで、DFF66及びCK3によってフリッカ検出回路20からの最終判定結果の出力を留保させている。
フリッカ検出回路20がフリッカを検出した場合には、CCDイメージセンサ4の駆動を切り換える制御が行われる。例えば、デジタル信号処理回路12は、イメージセンサ制御回路6が現在、50Hz地域動作モード、60Hz地域動作モードのいずれでCCDイメージセンサ4を駆動しているかの状態をフラグ等に保持し、フリッカ検出回路20がフリッカを検出した場合には、現在の動作モードとは異なる他方の動作モードでCCDイメージセンサ4を駆動するようにイメージセンサ制御回路6に指示を与える。
フリッカ検出回路20による判定動作は、例えば、撮像装置2の起動時に自動的に行うようにしてもよいし、ユーザの操作に基づいて行うようにしてもよい。また、判定結果に基づいて一旦設定された動作モードは、撮像装置2の電源をオフしても保持されるように構成することができる。
上述の構成では、フリッカ判定部28は、隣接フレーム間での画像信号レベルの差を求め、その絶対値に基づいて当該フレーム間での画像信号レベルの変動を判定する。この構成に代えて、隣接フレーム相互の画像信号レベルの比を求め、その比が、1を中心とした所定範囲内か否かに基づいて、画像信号レベルの変動を判定する構成とすることもできる。
また、上述の構成では、同期周期毎に露光状態を測定し、その測定結果に基づいて、一つには、露光条件をフィードバック制御し、もう一つには、当該露光状態が安定か否かを判定している。そして、露光安定状態である場合にだけ、フリッカの判定結果を有効とすることとして、フリッカ検出の信頼性を向上させている。しかし、この信頼性の向上の効果は、必ずしも同期周期での露光制御と、露光安定状態の判定との双方を行わなくても得られる場合もある。
そのような場合の一例として、基本的に変化しない被写体に撮像装置を向けて、フリッカ検出動作を行う場合が挙げられる。そのような状況下では、同期周期毎での露光制御は好適に行われることが期待でき、同期周期毎に測定される露光状態は所定範囲内に収まっており安定状態にあると推定しても不当ではない。よって、露光制御のみを行って、露光安定状態の判定を省略する構成、すなわち、上述の同期時レベル抽出部24及び同期時レベル判定部26を省略したフリッカ検出装置を撮像装置に搭載してもよい。また、同じ状況下では、露光制御を行わなくても露光安定状態となり得る。よって、露光制御は停止させ、露光安定状態の判定のみを行っても、フリッカ検出の信頼性が向上し得る。
また、上述の構成では、露光安定状態は、各フレーム毎に測定された積分値Iから、同期時レベル抽出部24にてI(ai+3),I(ai+2),I(ai+1),I(a)を抽出し、それらの変動幅に基づいて判定した。しかし、各フレーム毎に測定された積分値Iからの同期周期毎の画像信号レベルEXの抽出を位相を変えて行い、複数の位相について露光安定状態を判定するように構成してもよい。例えば、同期時レベル抽出部24及び同期時レベル判定部26と同じ回路をさらに2つ並列に設ける。その1つの同期時レベル抽出部24ではCK2に対し1フレーム遅延した位相のクロック(周期はCK2と同様3フレームである)で画像信号レベルの抽出を行い、もう1つの同期時レベル抽出部24ではCK2に対し2フレーム遅延した位相のクロック(周期はCK2と同様3フレームである)で画像信号レベルの抽出を行う。これらの回路により、I(bi+3),I(bi+2),I(bi+1),I(b)の変動幅に基づく露光安定状態、及びI(ci+3),I(ci+2),I(ci+1),I(c)の変動幅に基づく露光安定状態を判定することができる。そして、例えば、全ての位相で露光安定状態である場合にのみ、フリッカ判定部28の判定結果を有効としたり、2つ以上の位相で露光安定状態である場合にフリッカ判定部28の判定結果を有効とするように構成してもよい。
また、上述の構成は、2種類の交流電源周波数f1,f2(ここでは50Hzと60Hz)の地域のいずれでもフレームレートfp(ここでは15fps)の撮影に対するフリッカを精度良く検出可能とするために、同期周期は1/f1,1/f2及び1/fpの公倍数(ここでは1/5sec)に設定した。しかし、本発明は、交流電源周波数の種類数に関係なく用いることができる。例えば、撮像装置の使用地域としてもし3種類の周波数f1,f2,f3があり得るのであれば、同期周波数は1/f1,1/f2,1/f3及び1/fpの公倍数に設定すればよい。また、使用地域が1種類の周波数f1の地域に限られるのであれば、同期周波数は1/f1及び1/fpの公倍数に設定すればよい。
本発明に係る撮像装置の概略のブロック構成図である。 実施形態であるフリッカ検出回路の概略の回路構成を示すブロック図である。 実施形態であるフリッカ検出回路の動作を説明するためのタイミング図である。 CCDイメージセンサを用いた撮像装置において、50Hzの交流電源で発光する蛍光灯によって照明された被写体を、15fpsのフレームレートで撮像する場合について説明する模式的なタイミング図である。 50Hz電源により発光する蛍光灯下にて、露光制御を行わずに15fpsで撮影した場合の画像毎の信号レベルの一例を示す模式図である。 50Hz電源により発光する蛍光灯下にて、2フレーム周期での自動露光制御を行って15fpsで撮影した場合の画像毎の信号レベルの一例を示す模式図である。
符号の説明
2 撮像装置、4 CCDイメージセンサ、6 イメージセンサ制御回路、8 アナログ信号処理回路、10 ADC、12 デジタル信号処理回路、20 フリッカ検出回路、22 露光条件決定部、24 同期時レベル抽出部、26 同期時レベル判定部、28 フリッカ判定部、30,50,58,66 DFF、40 変動幅算出器、42,56 比較器、52 減算器、54 絶対値算出器、60,64 AND回路、62 OR回路。

Claims (11)

  1. フレームレートfpで撮影する撮像装置に用いられ、周期1/fで明るさが周期的に変化する光源に起因する画像のフリッカを検出するフリッカ検出装置であって、
    1/fと1/fpとの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、
    前記同期時画像信号レベルに基づいて、前記撮像装置による撮影を所定の露光状態に維持する露光制御を行う露光制御手段と、
    前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、
    を有することを特徴とするフリッカ検出装置。
  2. フレームレートfpで撮影する撮像装置に用いられ、周期1/f1で明るさが周期的に変化する第1光源に起因する画像のフリッカ及び周期1/f2で明るさが周期的に変化する第2光源に起因する画像のフリッカを検出するフリッカ検出装置であって、
    1/f1、1/f2及び1/fpの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、
    前記同期時画像信号レベルに基づいて、前記撮像装置による撮影を所定の露光状態に維持する露光制御を行う露光制御手段と、
    前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、
    を有することを特徴とするフリッカ検出装置。
  3. 請求項1又は請求項2に記載のフリッカ検出装置において、
    前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段を有し、
    前記フリッカ判定手段は、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無の判定結果を有効とすること、
    を特徴とするフリッカ検出装置。
  4. フレームレートfpで撮影する撮像装置に用いられ、周期1/fで明るさが周期的に変化する光源に起因する画像のフリッカを検出するフリッカ検出装置であって、
    1/fと1/fpとの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、
    前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段と、
    前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、
    を有し、
    前記フリッカ判定手段は、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無の判定結果を有効とすること、
    を特徴とするフリッカ検出装置。
  5. フレームレートfpで撮影する撮像装置に用いられ、周期1/f1で明るさが周期的に変化する第1光源に起因する画像のフリッカ及び周期1/f2で明るさが周期的に変化する第2光源に起因する画像のフリッカを検出するフリッカ検出装置であって、
    1/f1、1/f2及び1/fpの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、
    前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段と、
    前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、
    を有し、
    前記フリッカ判定手段は、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無の判定結果を有効とすること、
    を特徴とするフリッカ検出装置。
  6. 請求項1から請求項5のいずれか1つに記載のフリッカ検出装置において、
    前記フリッカ判定手段は、前記変動度合いが所定基準値より大きい場合に、前記フリッカが生じていると判定すること、
    を特徴とするフリッカ検出装置。
  7. 請求項1から請求項5のいずれか1つに記載のフリッカ検出装置において、
    前記フリッカ判定手段は、所定数の連続する前記同期周期のそれぞれにて前記変動度合いが所定基準値より大きい場合に、前記フリッカが生じていると判定すること、
    を特徴とするフリッカ検出装置。
  8. フレームレートfpで撮影する装置であって、少なくとも周期1/f1で明るさが周期的に変化する第1光源の下で画像のフリッカを生じない駆動状態と周期1/f2で明るさが周期的に変化する第2光源の下で画像のフリッカを生じない駆動状態とを切り替え可能な撮像装置において、
    1/f1、1/f2及び1/fpの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、
    前記同期時画像信号レベルに基づいて、前記撮像装置による撮影を所定の露光状態に維持する露光制御を行う露光制御手段と、
    前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、
    前記フリッカ判定手段の判定結果に応じて、前記駆動状態を切り替える切替手段と、
    を有することを特徴とする撮像装置。
  9. 請求項8に記載の撮像装置において、
    前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段を有し、
    前記フリッカ判定手段は、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無の判定結果を有効とすること、
    を特徴とする撮像装置。
  10. フレームレートfpで撮影する装置であって、少なくとも周期1/f1で明るさが周期的に変化する第1光源の下で画像のフリッカを生じない駆動状態と周期1/f2で明るさが周期的に変化する第2光源の下で画像のフリッカを生じない駆動状態とを切り替え可能な撮像装置において、
    1/f1、1/f2及び1/fpの公倍数である同期周期毎に撮影される前記画像に基づいて同期時画像信号レベルを抽出する同期時レベル抽出手段と、
    前記同期時画像信号レベルが所定範囲内に維持される同期時レベル安定状態か否かを判定する同期時レベル判定手段と、
    前記画像の前記同期周期内での画像信号レベルの変動を検知し、当該レベル変動に基づいて前記フリッカの有無を判定するフリッカ判定手段と、
    前記フリッカ判定手段の判定結果に応じて、前記駆動状態を切り替える切替手段と、
    を有し、
    前記フリッカ判定手段は、前記同期時レベル安定状態が実現されている場合に、前記フリッカの有無の判定結果を有効とすること、
    を特徴とする撮像装置。
  11. 請求項8から請求項10のいずれか1つに記載の撮像装置において、
    前記切替手段は、前記フリッカが検出された場合に、現在の駆動状態を前記フリッカを生じない他の駆動状態に切り替えること、
    を特徴とする撮像装置。
JP2003421901A 2003-12-19 2003-12-19 フリッカ検出装置及び撮像装置 Expired - Lifetime JP4259998B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003421901A JP4259998B2 (ja) 2003-12-19 2003-12-19 フリッカ検出装置及び撮像装置
CNB2004100980928A CN100338945C (zh) 2003-12-19 2004-12-08 闪烁检测装置和摄像装置
US11/011,447 US20050157203A1 (en) 2003-12-19 2004-12-15 Flicker detecting device and image pickup apparatus
TW093139097A TWI256838B (en) 2003-12-19 2004-12-16 Flicker detection device and imaging apparatus
KR1020040107650A KR100643830B1 (ko) 2003-12-19 2004-12-17 플리커 검출 장치 및 촬상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003421901A JP4259998B2 (ja) 2003-12-19 2003-12-19 フリッカ検出装置及び撮像装置

Publications (2)

Publication Number Publication Date
JP2005184413A true JP2005184413A (ja) 2005-07-07
JP4259998B2 JP4259998B2 (ja) 2009-04-30

Family

ID=34746813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003421901A Expired - Lifetime JP4259998B2 (ja) 2003-12-19 2003-12-19 フリッカ検出装置及び撮像装置

Country Status (5)

Country Link
US (1) US20050157203A1 (ja)
JP (1) JP4259998B2 (ja)
KR (1) KR100643830B1 (ja)
CN (1) CN100338945C (ja)
TW (1) TWI256838B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100337471C (zh) * 2005-10-21 2007-09-12 北京中星微电子有限公司 一种行曝光模式下闪烁的简单判断和消除方法
JP2007235808A (ja) * 2006-03-03 2007-09-13 Nec Saitama Ltd 撮影装置及び方法並びにプログラム
JP2008109253A (ja) * 2006-10-24 2008-05-08 Sanyo Electric Co Ltd 光源状態検出装置及び方法並びに撮像装置
JP2009111613A (ja) * 2007-10-29 2009-05-21 Canon Inc フリッカ補正装置
JP2012094937A (ja) * 2010-10-22 2012-05-17 Olympus Imaging Corp カメラの制御方法およびカメラ
CN101610350B (zh) * 2008-06-19 2012-09-05 夏普株式会社 信号处理装置、信号处理方法、固态图像捕获装置以及电子信息设备

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3370979B2 (ja) * 2000-09-08 2003-01-27 三菱電機株式会社 撮像装置および自動レベル調整方法
JP4207923B2 (ja) * 2005-04-19 2009-01-14 ソニー株式会社 フリッカ補正方法、フリッカ補正装置及び撮像装置
JP4904749B2 (ja) * 2005-09-08 2012-03-28 ソニー株式会社 フリッカ低減方法、フリッカ低減回路及び撮像装置
KR100715932B1 (ko) * 2005-10-24 2007-05-08 (주) 픽셀플러스 플리커 검출장치
US8649848B2 (en) * 2006-03-28 2014-02-11 The United States Of America, As Represented By The Secretary Of The Air Force Synchronization of illumination source and sensor for improved visualization of subcutaneous structures
CN2915259Y (zh) 2006-07-14 2007-06-27 上海震旦办公设备有限公司 碎纸机触碰安全装置
US8008812B2 (en) 2006-07-14 2011-08-30 Aurora Office Equipment Co., Ltd. Paper shredder control system responsive to touch-sensitive element
JP4836896B2 (ja) * 2007-08-27 2011-12-14 三洋電機株式会社 ビデオカメラ
US7605359B2 (en) * 2007-09-14 2009-10-20 Omnivision Technologies, Inc. Light source frequency detection circuit for image sensor
CN101459779B (zh) * 2007-12-14 2010-09-08 凌阳多媒体股份有限公司 于视频采集装置中的自动闪烁探测与修正的装置及方法
JP5035025B2 (ja) * 2008-03-03 2012-09-26 ソニー株式会社 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
CN101582992B (zh) * 2008-05-15 2012-12-19 鸿富锦精密工业(深圳)有限公司 闪烁消除系统及消除闪烁的方法
CN201239643Y (zh) 2008-08-06 2009-05-20 上海震旦办公设备有限公司 不择纸的全自动碎纸机
CN201244502Y (zh) 2008-08-19 2009-05-27 上海震旦办公设备有限公司 自动碎纸机可剃钉结构
CN101543800A (zh) 2009-05-07 2009-09-30 上海震旦办公设备有限公司 碎纸机防卡纸保护装置
JP2011097141A (ja) * 2009-10-27 2011-05-12 Renesas Electronics Corp 撮像装置、撮像装置の制御方法、及びプログラム
CN102118549B (zh) * 2009-12-31 2013-02-27 敦南科技股份有限公司 影像感测装置检测闪频光的方法及其影像感测装置
CN102025920B (zh) * 2010-11-17 2012-08-29 无锡中星微电子有限公司 曝光时间调整方法和装置以及应用此装置的摄像头
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
US8723468B2 (en) 2011-04-28 2014-05-13 Aurora Office Equipment Co., Ltd. Cooled motor
US8708260B2 (en) 2011-08-08 2014-04-29 Aurora Office Equipment Co., Ltd. Depowered standby paper shredder and method
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
JP6257245B2 (ja) 2013-09-27 2018-01-10 キヤノン株式会社 撮像装置及びその制御方法
JP6539015B2 (ja) 2013-12-05 2019-07-03 キヤノン株式会社 撮像装置及びその制御方法
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
US9584704B2 (en) * 2015-01-08 2017-02-28 Gean Technology Co. Limited Method for detecting electronic lighting flickering
CN107431769B (zh) * 2015-03-02 2018-07-10 富士胶片株式会社 摄像装置、闪烁检测方法及闪烁检测程序
MX360623B (es) * 2015-04-08 2018-11-09 Nissan Motor Dispositivo de detección de semáforo y método de detección de semáforo.
JP6300118B2 (ja) * 2015-09-24 2018-03-28 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
CN105657288A (zh) * 2015-10-28 2016-06-08 乐视移动智能信息技术(北京)有限公司 摄像曝光处理方法和终端
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
US10438987B2 (en) 2016-09-23 2019-10-08 Apple Inc. Stacked backside illuminated SPAD array
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
CN110235024B (zh) 2017-01-25 2022-10-28 苹果公司 具有调制灵敏度的spad检测器
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
CN110035234A (zh) * 2019-04-16 2019-07-19 深圳市道通智能航空技术有限公司 一种飞行器的拍摄控制方法、飞行器及飞行系统
CN110018510B (zh) * 2019-04-28 2024-04-09 核工业北京地质研究院 一种铀矿岩心β-γ自动编录与图像扫描装置
US10944912B2 (en) * 2019-06-04 2021-03-09 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
CN110248110B (zh) * 2019-06-28 2021-03-26 Oppo广东移动通信有限公司 拍摄参数设置方法、设置装置、终端设备及可读存储介质
JP2021034743A (ja) * 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
CN112887629B (zh) * 2021-01-27 2022-08-23 维沃移动通信有限公司 频率检测方法、装置、电子设备及存储介质
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
CN114268744B (zh) * 2021-12-16 2024-03-29 上海研鼎信息技术有限公司 摄像头闪烁测试系统及测试方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3857626A (en) * 1971-12-10 1974-12-31 Bausch & Lomb Microscope coaxial illumination apparatus
US5847756A (en) * 1994-04-08 1998-12-08 Hitachi, Ltd. Image pickup apparatus and method of controlling the same
JPH08294058A (ja) * 1995-04-24 1996-11-05 Sony Corp 固体撮像装置及びこれを搭載したビデオカメラ
US5585616A (en) * 1995-05-05 1996-12-17 Rockwell International Corporation Camera for capturing and decoding machine-readable matrix symbol images applied to reflective surfaces
US6601768B2 (en) * 2001-03-08 2003-08-05 Welch Allyn Data Collection, Inc. Imaging module for optical reader comprising refractive diffuser
JP3375557B2 (ja) * 1999-01-29 2003-02-10 松下電器産業株式会社 映像信号処理装置
JP2000224491A (ja) * 1999-01-29 2000-08-11 Sanyo Electric Co Ltd 固体撮像装置
JP3476400B2 (ja) * 1999-10-19 2003-12-10 松下電器産業株式会社 フリッカ検出・補正装置およびフリッカ検出・補正方法
US20020012063A1 (en) * 2000-03-10 2002-01-31 Olympus Optical Co., Ltd. Apparatus for automatically detecting focus and camera equipped with automatic focus detecting apparatus
JP2002044684A (ja) * 2000-07-19 2002-02-08 Junichi Takeno コンピュータ通信に適した上下分割・フレームシーケンシャルによるフリッカーフリーな立体視画像を実現するための画像コンバータ装置
JP3370979B2 (ja) * 2000-09-08 2003-01-27 三菱電機株式会社 撮像装置および自動レベル調整方法
US7298401B2 (en) * 2001-08-10 2007-11-20 Micron Technology, Inc. Method and apparatus for removing flicker from images
JP3823314B2 (ja) * 2001-12-18 2006-09-20 ソニー株式会社 撮像信号処理装置及びフリッカ検出方法
JP2003198932A (ja) * 2001-12-27 2003-07-11 Sharp Corp フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体
DE10210146A1 (de) * 2002-03-07 2003-09-25 Aurentum Innovationstechnologi Qualitätsdruckverfahren und Druckmaschine sowie Drucksbustanz hierfür
JP4337353B2 (ja) * 2002-03-25 2009-09-30 セイコーエプソン株式会社 フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
JP3778114B2 (ja) * 2002-03-27 2006-05-24 ソニー株式会社 露光制御方法、露光制御回路、撮像装置、プログラム、記憶媒体
US6854650B2 (en) * 2002-04-10 2005-02-15 Microscan Systems, Inc. Mirrored surface optical symbol scanner
JP4423889B2 (ja) * 2002-11-18 2010-03-03 ソニー株式会社 フリッカ低減方法、撮像装置およびフリッカ低減回路
JP2004260574A (ja) * 2003-02-26 2004-09-16 Matsushita Electric Ind Co Ltd フリッカ検出方法およびフリッカ検出装置
KR100721664B1 (ko) * 2005-12-22 2007-05-23 매그나칩 반도체 유한회사 이미지 센서의 플리커 검출 회로 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100337471C (zh) * 2005-10-21 2007-09-12 北京中星微电子有限公司 一种行曝光模式下闪烁的简单判断和消除方法
JP2007235808A (ja) * 2006-03-03 2007-09-13 Nec Saitama Ltd 撮影装置及び方法並びにプログラム
JP2008109253A (ja) * 2006-10-24 2008-05-08 Sanyo Electric Co Ltd 光源状態検出装置及び方法並びに撮像装置
JP2009111613A (ja) * 2007-10-29 2009-05-21 Canon Inc フリッカ補正装置
CN101610350B (zh) * 2008-06-19 2012-09-05 夏普株式会社 信号处理装置、信号处理方法、固态图像捕获装置以及电子信息设备
JP2012094937A (ja) * 2010-10-22 2012-05-17 Olympus Imaging Corp カメラの制御方法およびカメラ

Also Published As

Publication number Publication date
US20050157203A1 (en) 2005-07-21
CN1630350A (zh) 2005-06-22
KR100643830B1 (ko) 2006-11-10
TWI256838B (en) 2006-06-11
TW200526031A (en) 2005-08-01
KR20050062413A (ko) 2005-06-23
CN100338945C (zh) 2007-09-19
JP4259998B2 (ja) 2009-04-30

Similar Documents

Publication Publication Date Title
JP4259998B2 (ja) フリッカ検出装置及び撮像装置
RU2627933C2 (ru) Устройство захвата изображения и способ управления им
US9794493B2 (en) Image capturing apparatus, image capturing method, and control method
CN108462837B (zh) 拍摄方法及装置
JP2011193065A (ja) 撮像装置
JP2002084466A (ja) 撮像装置および自動レベル調整方法
EP1024660A2 (en) Video signal processing apparatus for flicker reduction
JP2007174537A (ja) 撮像装置
US9338368B2 (en) Imaging apparatus, method of detecting flicker, and information processing unit
JP2008011226A (ja) 撮像装置のフリッカ検出方法と装置
JP2010098416A (ja) 撮像装置
JP5331766B2 (ja) 撮像装置
US9615031B2 (en) Imaging device and scene determination method
CN114697561B (zh) 通过环境切换对图像传感器自动曝光控制的方法和设备
US7133075B2 (en) Image capturing apparatus and method for reducing a flicker effect
JP2002152604A (ja) フリッカ除去装置
JP2006332917A (ja) 撮像装置
US11102423B2 (en) Image pickup apparatus that performs flicker detection, control method for image pickup apparatus, and storage medium
JP2008113237A (ja) 撮像装置におけるフリッカ検出方法と装置
JP2007329604A (ja) 蛍光灯フリッカ検出回路
JP4958732B2 (ja) フリッカ補正装置
JP2007243833A (ja) 複数カメラのフリッカ補正を行う装置、およびフリッカ補正方法
JP2007037103A (ja) 撮像装置
US11252340B1 (en) Motion detection system with flicker compensation
JP5067174B2 (ja) 動き検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4259998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term