JP2010056685A - 撮像装置、補正回路および補正方法 - Google Patents

撮像装置、補正回路および補正方法 Download PDF

Info

Publication number
JP2010056685A
JP2010056685A JP2008217256A JP2008217256A JP2010056685A JP 2010056685 A JP2010056685 A JP 2010056685A JP 2008217256 A JP2008217256 A JP 2008217256A JP 2008217256 A JP2008217256 A JP 2008217256A JP 2010056685 A JP2010056685 A JP 2010056685A
Authority
JP
Japan
Prior art keywords
video signal
correction
flicker
shutter speed
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008217256A
Other languages
English (en)
Other versions
JP4626689B2 (ja
Inventor
Takahiro Nagai
孝弘 長井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008217256A priority Critical patent/JP4626689B2/ja
Priority to US12/546,729 priority patent/US8218029B2/en
Priority to CN2009101684708A priority patent/CN101662591B/zh
Publication of JP2010056685A publication Critical patent/JP2010056685A/ja
Application granted granted Critical
Publication of JP4626689B2 publication Critical patent/JP4626689B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00Television
    • Y10S348/91Flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】映像に含まれる、動かないフリッカを除去する。
【解決手段】先にフリッカを含まない基準映像信号を生成しておき、当該基準映像信号とフリッカを含む映像信号との比較を行う。そして、この比較結果に基づいて、補正波形の位相と振幅を調整し、この補正波形を用いて映像信号からフリッカを除去する。
【選択図】図5

Description

本発明は、映像信号におけるフリッカの発生を防止する撮像装置、補正回路および補正方法に関する。
従来、CMOS(Complementary Metal Oxide Semiconductor)素子の画質性能はCCD(Charge Coupled Device Image Sensor)素子の画質性能よりも優れていなかった。しかしながら、近年CMOS素子の画質性能はCCD素子の画質性能に匹敵するようになっている。これに伴い、おもに映像の分野においてCMOS素子がよく使用されるようになった。
所定の条件下において、CMOS素子等の水平ライン毎に露光するタイミングの異なる撮像素子を用いた場合、撮像された画像の水平方向に明暗の動かない縞模様ができる。このような明暗の縞模様は光源の明滅周期に起因し、動かないフリッカと定義する。以下では、このような「動かないフリッカ」のことを単に「フリッカ」という。なお、水平方向の明暗の縞模様が垂直方向に移動するものは、動くフリッカと定義する。
フリッカが生じる条件を以下の(1)〜(3)に示す。
(1)蛍光灯等の明滅する光源下における撮像である。
(2)光源の明滅周期が毎秒撮像フレーム数の整数倍である。
(3)電子シャッタを使用している。
(1)〜(3)の条件をすべて満たした状態で、撮像を行った場合、フリッカが生じる。少なくとも(2)の条件だけが成立している場合には、フリッカを生じない。
ここで、フリッカ発生の原理について図1〜図3を参照して説明する。ここでは、条件(1)の光源を電源周波数60Hzの蛍光灯(以下「60Hz蛍光灯」)とする。また、CMOS素子の水平ラインの数は1125本とする。
図1は、60Hz蛍光灯の下におけるCMOS素子の各水平ラインの露光のタイミングを示す図である。
図1(a)は、60Hz蛍光灯の明るさの時系列変化を示すグラフである。
縦軸は、60Hz蛍光灯の明るさを示す。横軸は、時間軸を表す。波形102からわかるように蛍光灯の明滅周期は、120Hzである。
図1(b)は、露光開始時間を示す図である。
前述の条件(2)を満たすようにするため、撮像素子で撮像する映像のフレームレートは60frames/secとする。つまり、1フレーム分の画像を撮像するのに必要な時間(露光時間)は1/60secである。また、CMOS素子に設定される条件(3)の電子シャッタのシャッタ速度は、1/2000secとする。
以上のような条件で撮像すると、CMOS素子の各水平ライン(水平ライン1〜水平ライン1125)の1フレーム分の露光時間である1/60secの内、実際に使用する映像は有効露光時間103の1/2000secのみとなる。つまり、無効露光時間104の映像は使用されない。
また、CMOS素子の各水平ラインの露光は、水平ライン1〜水平ライン1125の順で行われていく。これが、1フレームの画像を撮像する手順に相当する。そして、1フレームの画像を撮像し終えると、また水平ライン1が露光される。1フレーム(1125本の水平ライン)分の画像を1/60secで撮像するために、隣接する各水平ライン間の露光開始のタイミングのずれは1/60÷1125secとなっている。
このように60Hz蛍光灯下において、電子シャッタのシャッタ速度を1/2000secと設定して撮像を行った場合、撮像素子の各水平ラインに入ってくる光量は、波形102を各水平ラインの有効露光時間103で積分することにより算出できる。この光量の各水平ラインの変動は、図2に示す波形202のようになり、蛍光灯の明滅周期と等しく120Hzとなる。
実際、60Hzの蛍光灯の下において、電子シャッタのシャッタ速度1/2000secで所定の撮像対象物を撮像した場合、CMOS素子の各水平ラインに入ってくる光は撮像対象物からの反射光である。そのため、図3に示す撮像される所定の1フレームの画像303は、動かない120Hz周期の明暗の縞模様が生じたものとなる。すなわち、画像303の水平ラインの輝度変動は、波形302のようにフリッカに起因する周期的な変動の上に撮像対象物に起因する変動が乗ったものとなる。このような動かないフリッカの場合、現在のフレームを構成する各画素の輝度と前フレームを構成する同一の各画素との間に、蛍光灯の明滅に起因する輝度の変動はあまり生じない。
ところで、フリッカの補正を行なう代表的な技術としては、フレームまたはフィールド周波数と放電等の明滅周波数によって決まるうなりにより発生した画面内の輝度及び色相変換の波形を用いて輝度および色信号の利得を制御する補正値を作成し、各信号の利得を制御することによりフリッカを制御する技術が開示されている(例えば、特許文献1を参照)。
特開平11−164192号公報
特許文献1に記載された技術は、動くフリッカの制御はできるものの、動かないフリッカに対してフリッカ補正が行なえないという問題があった。
本発明は斯かる点に鑑みてなされたものであり、動かないフリッカが発生した映像からフリッカを除去(抑圧)することを目的とする。
上記課題を解決するため、本発明による撮像装置は、所定のフレームレートおよび水平ライン総数に基づくタイミングで動作し、シャッタ速度を設定可能な電子シャッタを備え、該電子シャッタのシャッタ速度に応じた期間における入射光を、水平ライン毎に光電変換して所定の信号を生成する撮像素子と、撮像素子で生成された信号のゲインを調整して所定のレベルの信号を生成して映像信号を生成するゲイン調整回路と、入射光の明滅周期がフレームレートの整数倍であり、かつ電子シャッタに所定のシャッタ速度が設定されているときにゲイン調整回路で生成される映像信号と、入射光の明滅周期がフレームレートの整数倍であり、かつ電子シャッタに入射光の明滅周期の整数倍のシャッタ速度が設定されているときにゲイン調整回路で生成される、フリッカの発生しない基準映像信号を比較し、映像信号に含まれる、該映像信号で表される画像の垂直方向のフリッカ成分を算出し、該算出結果に応じて映像信号に含まれるフリッカを除去する補正回路とを有するものである。
上記構成によれば、先にフリッカを含まない基準映像信号を生成しておき、当該基準映像信号とフリッカを含む映像信号との比較を行う。そして、この比較結果に基づいて、映像信号に含まれるフリッカの特徴を示すフリッカ成分を生成するようにした。これにより、映像信号に含まれるフリッカの特徴を知ることができるようになり、当該映像信号に含まれるフリッカを除去(抑圧)することができる。
本発明によれば、映像信号に含まれるフリッカの特徴を知ることができる。これにより、容易に当該映像信号に含まれるフリッカの除去(抑圧)を行うことができる。
以下、本発明の一実施形態の例について図4〜図14を参照して説明する。
以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、下記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる各パラメータの数値的条件は好適例に過ぎず、説明に用いた各図における寸法、形状および配置関係も概略的なものである。
図4は、本例の撮像装置を示す機能ブロック図である。
図4に示す撮像装置401は図示しないレンズを有し、このレンズを介して撮像光が撮像素子404の図示しない撮像面に結像される。撮像素子404は、CMOS(complementary metal oxide silicon)素子であり、レンズ1を介して結像された撮像光を水平ライン毎に所定のタイミングで光電変換して所定のアナログ信号を生成する。そして、撮像素子404で生成されたアナログ信号はゲイン調整回路405に供給される。また、この撮像素子404は、電子シャッタ機能を有しており、後述するマイコン402からの指示に基づいて、電子シャッタのシャッタ速度を決定する。なお、本例では、撮像素子404で撮像された映像のフレームレートが60frames/secであるとし、撮像素子404の水平ラインの数が1125であるとする。
ゲイン調整回路405は、撮像素子404から供給されるアナログ信号のゲインを調節することにより所定のレベルのアナログ信号を生成し、生成したアナログ信号に対しA/D変換を行い、所定の映像信号を生成する回路である。ゲイン調整回路405で生成された映像信号は補正回路406に供給される。なお、本例では撮像素子404から供給されるアナログ信号のゲインを調整するとしたが、当該アナログ信号がA/D変換された後のデジタル信号のゲインを調整してもよい。
補正回路406は、ゲイン調整回路405から供給される映像信号に含まれるフリッカの除去(抑圧)を行う(以下、「フリッカ補正処理」という)回路である。
フリッカ補正処理された映像信号は、画像処理回路407に供給される。本発明の本質ではないが、補正回路406では、各々画像データの周辺光量落ちの補正処理、所定の補間処理、それに伴うフィルタ処理、シェーディング補正処理などの信号処理を行い、さらに画質の向上を図るような処理等も行われる。これら補正回路406でのフリッカ補正処理およびその他の補正処理は、マイコン402からの制御に基づいて行われる。なお、補正回路406の詳細については、図5〜図14にて後述する。
画像処理回路407は、補正回路406から供給される映像信号に対して、色調調整処理、輝度圧縮処理、ガンマ補正等の周知の画像処理を行う回路である。そして、このような画像処理のなされた映像信号は、液晶ディスプレイ等からなる表示部408に映像として映し出される他、例えばメモリ等で構成される記録部409に記録される。
マイクロコンピュータ402(以下、「マイコン402」という。)は、制御部の一例であり、撮像装置401を構成する各回路を制御する。より具体的には、マイコン402は、撮像素子404の電子シャッタに関するシャッタ速度の設定およびゲイン調整回路405に関するゲインの設定等を制御するとともに、設定したシャッタ速度およびゲインに応じて、図5にて後述する補正回路406の各ブロックを制御する。
また、マイコン402は、図示しないレンズ等の光学系、撮像素子404等の各部の動作を制御する。操作部403は、撮像装置401に配設されたボタンキーや当該撮像装置401に搭載された表示部408の画面に表示されるアイコンに割り当てられたソフトキー等からなり、操作に応じた操作信号が図示しないインターフェースを介して操作部403からマイコン402に入力される。マイコン402は、利用者が操作部403を操作して入力した操作信号、もしくは予め規定された設定等に基づいて、内蔵のROM(Read Only Memory)等の不揮発性記憶部に記録されているコンピュータプログラムに従い、所定の演算および各回路に対する制御を行う。
操作部403を通じてユーザからの基準値取り込み指示があった場合、マイコン402は、ゲイン調整回路405で生成される映像信号で表される画像の垂直方向にフリッカが出ないようなシャッタ速度およびゲインを撮像素子404の電子シャッタおよびゲイン調整回路にそれぞれ設定する。本例では、このようなシャッタ速度およびゲインを基準シャッタ速度および基準ゲインと定義する。また、電子シャッタに設定されたシャッタ速度が基準シャッタ速度であり、かつゲイン調整回路405に設定されたゲインが基準ゲインである場合に、ゲイン調整回路405で生成される映像信号を基準映像信号と呼ぶ。なお、基準映像信号の具体的な生成方法については、図9および図10にて後述する。
次に、補正回路406について詳細な説明を行う。
図5は、本例の撮像装置401の補正回路406を示すブロック図である。
図5に示す補正回路406の第一水平積分処理部502は、ゲイン調整回路405から供給される基準映像信号を利用して、当該基準信号で表される画像の各水平ラインを構成する画素の輝度の総和(以下、「基準値」という。)を算出するものである。算出した基準値はメモリ503に記憶される。
一方、第二水平積分処理部507は、ゲイン調整回路405を通じて振幅補正部506で補正された映像信号を利用して、当該映像信号で表される画像の各水平ラインを構成する各画素の輝度の総和(以下「撮像値」という。)を算出するものである。第二水平積分処理部507で算出された撮影値は相関検出部504に供給される。
相関検出部504は、基準値をメモリ503から読み出し、撮像値と読み出した基準値との相関関係を同一水平ライン毎に検出するものである。具体的には、各水平ラインの基準値と各水平ラインの撮像値との差分である値(以下、「相関値」という。)を計算する。なお、相関値は撮像素子404の水平ラインの本数だけ値をもつ。
さらに、相関検出部504は、計算した相関値がもつ各値の総和(以下、「差分和」)を算出する。また、相関検出部504は、メモリ508を有しており、差分和をこのメモリ508に記憶する。相関検出部504は、メモリ508に差分和が記憶されているならば、この差分和を利用して、補正回路406から第二水平積分処理部507を通じて供給される、補正された映像信号の撮像値に対して、適切にフリッカ補正処理がなされているか否かを判断する。そして、判断結果に基づいて、補正値生成部505を制御する。
補正値生成部505は、さまざまな、位相および振幅の正弦波形や半波整流波形などが記録されているROMテーブルを備えており、当該ROMテーブルを参照して所定の初期位相および初期振幅を持った初期波形(最初に生成される補正波形)を生成するものである。また、補正値生成部505は、相関検出部504の制御に基づいて、前回生成した補正波形の位相および振幅をそれぞれ所定の値だけ増減する。なお、この増減には、ROMテーブルが利用される。また、補正波形とは、映像信号からフリッカを除去(抑圧)するための「補正信号の波形」のことを指す。
振幅補正部506は、補正値生成部505にて生成される補正波形(補正信号)に基づいて、ゲイン調整回路405から供給される映像信号に対して所定の信号処理を行うものである。所定の信号処理とは、ゲイン調整回路405から供給される映像信号が、画像処理回路407を介して表示部408に供給された際に、この表示部408に映し出される映像にフリッカが生じないようにする処理のことである。より具体的には、フリッカを示す波形202(図2を参照)と逆相の波形である補正波形(補正信号)に基づいて、ゲイン調整回路405からの映像信号の振幅を調整することでフリッカを取り除き、光源からの明滅光の影響を排除した映像だけを取り出す処理のことである。振幅補正部506で補正された映像信号は、画像処理回路407および第二水平積分処理部507に供給される。
マイコン402からの基準値取り込み指示がある場合は、振幅補正部506はゲイン調整回路405から供給される映像信号に対して補正は行わず、当該映像信号がそのまま画像処理回路407へ供給される。さらに、この場合、マイコン402の制御により、振幅補正部506から第二水平積分処理部507への映像信号の供給は行われない。
[一実施形態に係る撮像装置の動作]
次に、図6を参照して、撮像装置401を構成する各機能ブロックにおける処理の流れについて説明を行う。
図6は、撮像装置401の動作を示すフローチャートである。
ビデオ装置による撮像中にシャッタ速度およびゲインを変更する場合、ユーザは操作部403に対し所定の操作を行う。すると、マイコン402を通じて、撮像素子404の電子シャッタおよびゲイン調整回路405に所定のシャッタ速度および基準ゲインがそれぞれ設定される。(ステップS601)。以下では、このステップS601の処理でユーザの設定したシャッタ速度およびゲインをそれぞれ「撮像用シャッタ速度」および「撮像用ゲイン」という。
ここで、ユーザは、現在撮影中の映像にフリッカがあるか否かを表示部408にて目視確認する(S602)。そして、ユーザはフリッカの補正を行うか否かを決定する(ステップS603)。フリッカの補正を行わないならば、ステップS602の処理に戻る(ステップS603のNO)。フリッカの補正を行うならば(ステップS603のYES)、ユーザは操作部403に対し所定の操作を行うと、マイコン402に前述の基準値取り込み指示が供給される。
そして、この基準値取り込み指示をトリガーにして、マイコン402により基準シャッタ速度および基準ゲインが撮像素子404の電子シャッタおよびゲイン調整回路405にそれぞれ設定される(ステップS604)。
ここで、基準シャッタ速度および基準ゲインの具体例について説明する。撮像した映像にフリッカが出ないシャッタ速度は、前述の条件(2)より蛍光灯の明滅周期の整数倍である。本例では、基準シャッタ速度を1/60secとする。また、基準ゲインは、マイコン402により、基準シャッタ速度×基準ゲインが撮像用シャッタ速度×撮像用ゲインと等しくなるように設定される。なお、電子シャッタのシャッタ速度1/60secとは、当該電子シャッタを使用しない状態に等しい。
図6の説明に戻る。
ステップS604の処理が完了後、撮像素子404およびゲイン調整回路405を通じて、基準シャッタ速度で撮像された、基準ゲインが反映された映像信号(以下、「基準映像信号」という。)が第一水平積分処理部502に供給される。そして、基準映像信号の水平ライン毎の輝度の積分値が算出され(以下、「水平積分」という。)、基準映像信号の水平積分結果が基準値としてメモリ503に記憶される(ステップS605)。
ここで、現在撮像素子404およびゲイン調整回路405に設定されている、基準シャッタ速度および基準ゲインが、マイコン402の制御により撮像用シャッタ速度および撮像用ゲインに変更される(ステップS606)。
すると、撮像素子404およびゲイン調整回路405を通じて、撮像用シャッタ速度で撮像された、撮像用ゲインに設定された映像信号(以下、「撮像用映像信号」という。)が振幅補正部506に供給される。そして、撮像用映像信号は、メモリ503に記憶された基準値に基づいて、フリッカ補正処理される(ステップS607)。なお、撮像用映像信号に対するフリッカ補正処理は、おもに第二水平積分処理部507、相関検出部504、補正値生成部505および振幅補正部506で行われるが、その詳細については図7および図8にて後述する。
ステップS607の処理が完了後、マイコン402は、ユーザによる操作部403からのフリッカ補正処理の停止指示があるか否かを確認する(ステップS608)。停止指示があるならば(ステップS608のNO)、ステップS602の処理に戻り、ステップS602以降の処理を繰り返す。停止指示がないならば(ステップS608のYES)、マイコン402はユーザによる操作部403からの基準値再取得の指示、すなわち基準値取り込み指示があるか否かを確認する(ステップS609)。基準値取り込み指示がないならば(ステップS609のNO)、撮像用映像信号は同じ基準値に基づいたフリッカ補正処理がなされる(ステップS607)。
基準値取り込み指示があるならば(ステップS609のYES)、ステップS604の処理に戻り、再度基準値を取得する。
[フリッカ補正処理]
図7および図8は、図6のステップS607の処理である、フリッカ補正処理の詳細な処理の流れを示すフローチャートである。以下、第二水平積分処理部507、相関検出部504、補正値生成部505および振幅補正部506が行うフリッカ補正処理について説明する。
まず、フリッカ補正処理を開始すると(ステップS701)、マイコン402はカウンタを構成する変数iを0に初期化する(ステップS702)。変数iは、映像信号で表される所定の1フレームの画像の水平ラインの番号を示すものである。
マイコン402は、ゲイン調整回路405から振幅補正部506へ供給されている撮像用映像信号で表される画像が、1フレーム目のものであるか否かを確認する(ステップS703)。1フレーム目の画像であるならば(ステップS703のYES)、振幅補正部506は初期波形で当該撮像用信号の振幅補正を行う(ステップS704)。なお、初期波形は、補正値生成部505によって生成される。ただし、本例では、初期波形は、所定の初期位相および初期振幅を持つ波形とする。
以上の処理が完了後、マイコン402は変数iをインクリメントする(ステップS705)。そして、第二水平積分処理部507は、映像信号で表される1フレーム目の画像のi番目の水平ラインを水平積分することでi番目の水平ラインの輝度の総和を算出する(ステップS706)。そして、相関検出部504は、i番目の水平ラインの水平積分結果(前述のi番目の水平ライン目の撮像値)と、当該水平積分結果を算出した水平ラインと同一の水平ラインの基準値とを比較し、差分(前述のi番目の水平ライン目の相関値)を算出する(ステップS707)。そして、相関検出部504は、差分を順次加算し、差分和を算出する(ステップS708)。つまり、1回目のループでは、1番目の水平ラインに対応する、撮像値と基準値との差分が差分和となる。2回目のループでは、1回目のループの差分和に2番目の水平ラインに対応する、撮像値と基準値との差分を加算したものが、差分和となる。3回目のループでは、2回目のループの差分和に3番目の水平ラインに対応する、撮像値と基準値との差分を加算したものが、差分和となる。
以上の処理が完了後、相関検出部504は、1フレーム分、すなわち1125本の各水平ラインの差分(相関値)の加算が終了したか否かを確認する(ステップS709)。終了していない、すなわち現在の変数iが1125よりも小さいならば(ステップS709のNO)、ステップS705の処理に戻る。
終了している、すなわち現在の変数iが1125以上であるならば(ステップS709のYES)、相関検出部504は、ステップS705〜ステップS708のループ処理で算出された差分和を自身に備えるメモリ508に記憶する(ステップS710)。
ここで、補正値生成部505は、相関検出部504の制御に基づいて、初期波形(補正波形)の補正を行なう(ステップS711)。ここでの相関制御部504の制御とは、補正値生成部505で補正する、初期波形の位相および振幅それぞれを増減させる方向(+/−)を適当な方向に決定することである。
そして、振幅補正部506は、補正値生成部505で補正された補正波形に基づいて、ゲイン調整回路405から供給される撮像用映像信号を補正し(ステップS712)、図6のステップS608の処理に戻る(ステップS713)。
一方、撮像用映像信号で表される画像が、2フレーム目以降のものであるならば(ステップS703のNO)、振幅補正部506は、前回補正値生成部505で生成された補正波形に基づいて、振幅補正を行う(ステップS801)。
そして、マイコン402は変数iをインクリメントする(ステップS802)。そして、第二水平積分処理部507は映像信号で表される所定番目(2番目以降)のフレームの画像のi番目の水平ラインを水平積分し、i番目の水平ラインの輝度の総和(i番目のラインの撮像値)を算出する(ステップS803)。そして、相関検出部504は、i番目の水平ラインの水平積分結果と、当該水平積分結果を算出した水平ラインと同一の水平ラインの基準値とを比較し、差分(i番目の水平ラインの相関値)を算出する(ステップS804)。そして、相関検出部504は、差分を順次加算し、差分和を算出する(ステップS805)。つまり、1回目のループでは、1番目の水平ラインに対応する、撮像値と基準値との差分が差分和となる。2回目のループでは、1回目のループの差分和に2番目の水平ラインに対応する、撮像値と基準値との差分を加算したものが、差分和となる。3回目のループでは、2回目のループの差分和に3番目の水平ラインに対応する、撮像値と基準値との差分を加算したものが、差分和となる。
以上の処理が完了後、相関検出部504は、1フレーム分、すなわち1125本の各水平ラインの差分(相関値)の加算が終了したか否かを確認する(ステップS806)。終了していない、すなわち現在の変数iが1125よりも小さいならば(ステップS806のNO)、ステップS802の処理に戻る。
1フレーム分の各水平ラインの差分(相関値)の加算が終了している、すなわち現在の変数iが1125以上であるならば(ステップS806のYES)、相関検出部504は、メモリ508に記憶された、1フレーム前の差分和と、今フレームの差分和とを比較する(ステップS807)。そして、今フレームの差分和が、1フレーム前の差分和よりも大きいか否かを確認する(ステップS808)。今フレームの差分和が1フレーム前の差分和よりも大きい場合は(ステップS808のYES)、相関検出部504は、1フレーム前に生成した補正波形の位相および振幅を変化させる指示を補正値生成部505へ出力する(ステップS809)。そして、相関検出部504は、メモリ508に記憶されている差分和を今フレームの差分和に更新する(ステップS810)。そして、補正値生成部505は、相関検出部504からの指示に基づいて、補正信号の位相および振幅を決定する(ステップS813)。
一方、今フレームの差分和が1フレーム前の差分和以下の場合は(ステップS808のNO)、相関検出部504は、1フレーム前の補正波形の位相変化方向および振幅増減方向をそのままに保つ指示を補正値生成部505へ出力する。ここで、メモリ508に記憶されている差分和を今フレームの差分和に更新する(ステップS812)。そして、ステップS813の処理に移行し、補正値生成部505は、相関検出部504からの指示に基づいて補正波形の位相および振幅を決定する(ステップS813)。
以上の処理が完了後、補正値生成部505は、相関検出部504で決定された、位相および振幅の補正波形を生成する(ステップS814)。そして、振幅補正部506は、補正値生成部505にて生成された補正波形に基づいて、ゲイン調整回路405から供給される撮像用映像信号を補正し(ステップS815)、図6のステップS608の処理に戻る(ステップS816)。
以上の、ステップS808〜ステップS813の処理で行われる補正波形の位相および振幅の補正についてさらに詳細に説明する。
相関検出部504では、補正後の映像が基準映像にどこまで近づいたかを見るための差分和を検出する。そして、相関検出部504はこの差分和から相関の強弱を判断し補正方針(位相の変化方向、振幅の増減方向)が間違っていないかを判断する。前回の補正がその前の補正よりも差分和が大きくなり相関が弱くなったと判断すれば、補正方針が間違っていたとして、今回の補正では補正対象である補正波形の位相変化の方向や振幅の増減方向を逆にする。逆に前回の補正がその前の補正よりも差分が小さくなっていれば、補正方針は合っていたものとして、今回の補正では補正対象の補正波形の位相、振幅の増減方向はそのままにする。その結果として、相関検出部504は、補正信号の位相と振幅それぞれの増減方向(+/−)を変化させる制御信号を生成し、生成した制御信号を補正値生成部505に出力することになる。
そして、補正値生成部505は、相関検出部504から入力された制御信号に基づいて生成する補正波形の位相、振幅を修正(変化)する。これにより、補正波形は、徐々に差分和の小さくなる方へ補正されていき、結果として映像信号に重畳されているフリッカ成分を反転(天地逆)したものに近づいていく。
図9は、マイコン402から撮像素子404に前述の基準値取り込み指示があった場合、撮像素子404の各水平ラインに入る撮像光を示す図である。
図9(a)は、60Hz蛍光灯の明るさの時系列変化を示すグラフである。
縦軸は、60Hz蛍光灯の明るさを示す。横軸は、時間軸を表す。波形902からわかるように蛍光灯の明滅周期は、120Hzである。
図9(b)は、前述の基準シャッタ速度と水平ラインとの時間的な関係を示す図である。
前述のように、撮像素子404で撮像する映像のフレームレートは60frames/secである。つまり、1フレーム目の画像を撮像するのに必要な時間は1/60secとなる。撮像素子404の電子シャッタを使用しない、すなわちシャッタ速度が1/60secの場合、撮像素子404の各水平ラインの露光時間903は1/60sec間隔となる。前述したが、この1/60secという露光時間903は、60Hzの蛍光灯下においては撮像する映像にフリッカが発生しない露光時間(前述の基準シャッタ速度)である。
撮像素子404の各水平ラインの露光開始のタイミングは異なっており、本例のように撮像する映像のフレームレートが60frames/secであり、かつ撮像素子404の水平ラインの数が1125ある場合、隣接する各水平ライン間の露光開始時間のずれは1/60÷1125secとなる。
以上のように電子シャッタのシャッタ速度を1/60secと設定して撮像を行った場合、撮像素子404の各水平ラインに入ってくる蛍光灯照明下での光量(以下、「蛍光灯下光量」という。)は、波形902を各水平ラインの露光時間903で積分することにより算出できる。この蛍光灯光下量は、図10に示すように水平ラインによらず一定値1002をとる。
つまり、60Hzの蛍光灯の下、シャッタ速度1/60secで所定の撮像対象物を撮像したならば、図11のような、フリッカの発生していない1フレームの画像1103を取得することとなる。この画像1103が、基準映像信号で表される画像である。
画像1103の各水平ラインの輝度は、蛍光灯下光量(図10の一定値1002)が撮像対象物に反射した反射光量で決定されるので、波形1102のようになる。この波形1102が、図6のステップS605の処理にて、生成される基準値に相当する。本例では、波形1102をbと定義する。なお、iはラインを示す変数である。
[フリッカ補正処理の概要]
次に、フリッカ補正処理のイメージについて図12〜図13を参照して説明する。
図3に示す、フリッカの発生している画像303に対しフリッカ補正処理を行う例について述べる。画像303は、60Hzの蛍光灯の下、電子シャッタのシャッタ速度1/2000secで撮像を行った場合、ゲイン調整回路405で生成される撮像用映像信号で表される画像である。このような画像303の各水平ラインの輝度は、蛍光灯下光量(図2の波形202)が撮像対象物に反射した反射光量で決定されるので、波形302のようになる。この波形302が、図8のステップS802〜ステップS805のループ処理で算出される撮像値に相当する。本例では、図3に示す波形302をaと定義する。なお、iはラインを示す変数である。
ところで本実施の形態において、相関検出部504では、図3に示す波形302(撮像値)と、図11に示す波形1102(基準値)との差分を計算、すなわち|a−b|を計算することで、相関値を生成している。この相関検出部で生成される相関値の絶対値をはずした波形を図12に示す。縦軸は輝度を示している。横軸は各水平ラインを表している。この波形1202が、表示部408に表示される画像のフリッカの形状を示す波形(以下、「フリッカ成分」という)である。すなわち、相関値は、広い意味で表示部に表示される画像のフリッカの形状を示す値である。
そして、相関検出部504は、相関値から前述の差分和を算出し、当該差分和をメモリ508に記憶する。ここで、メモリ508に記憶する差分和を計算する式を以下に示す。
(差分和)=Σ|a−b
例えば、現在メモリ508に記憶された差分和が、nフレーム目の画像に対応する撮像用映像信号(以下、「nフレーム目の撮像用映像信号」という。)の相関値から算出したものであるとする。その場合、メモリ508に記憶された差分和は、n+1フレーム目の撮像用映像信号の撮影値が相関検出部504に入力された際に、当該n+1フレーム目の撮像用映像信号に適切なフリッカ補正処理がなされているか否かの判断と、補正値生成部505に対して補正波形の位相および振幅の増減指示を行うのに利用される。この増減指示を行うことが、図8のステップS813の処理に相当する。
補正値生成部505は、相関検出部504から供給される位相および振幅の増減指示に基づいて、補正波形を補正する。ここで、フリッカを取り除くために理想的な補正波形を図13に示す。縦軸は振幅を示している。横軸は撮像素子404の各水平ラインを表している。図12の波形と逆相、すなわちフリッカに関係する光量の変動と逆相の波形が補正波形1302である。補正値生成部505は、相関検出部504からの指示に基づいてこのような補正波形1302に近づくように補正波形の位相および振幅を変化させる。このような処理が、図7のステップS711の処理および図8のステップS814の処理に相当する。
振幅補正部506では、補正値生成部505から供給される補正波形1302に基づいて、撮像用映像信号のフリッカ補正処理を行う。つまり、補正波形1302は、図3に示す画像302に発生しているフリッカによる輝度の変動とは逆相であるので、この補正波形1302を利用して撮像用映像信号に含まれるフリッカを取り除くことができる。このフリッカを取り除く処理が、図7のステップS712の処理および図8のステップS814の処理に相当する。
そして、フリッカ補正処理された撮像用映像信号が、画像処理回路407を通じて表示部408に入力される。すると、表示部408には、図14に示す、フリッカの除かれた画像1402が表示される。
以上のように、本実施形態では、フレーム毎に位相が動かないフリッカの位相の検出、当該フリッカの補正を容易に行うことができる。
また、本実施形態では、ゲイン×電子シャッタのシャッタ速度が一定値になるように、マイコン402がゲイン調整回路405および撮像素子404を制御している。これにより、フレーム間の信号レベル変化を一定にすることができる。このため、基準値取り込み時に表示部408に表示される映像と、フリッカ補正処理後に表示部408に表示される映像の明るさが等しくなる。これにより、ユーザにとって見苦しくない映像が表示部408に表示される。
[他の実施形態]
[他の実施形態の撮像装置の構成]
以下、本発明の他の実施の形態の例について、図15〜図17を参照して説明する。
図15は、本例の撮像装置を示すブロック図である。
図16は、本例の撮像装置の補正回路を示すブロック図である。
撮像装置1501は、映像の記録指示があるまで、基準値の取り込みと、当該取り込んだ基準値を利用したフリッカ補正処理を1フレーム毎に交互に行うものである。このため、他の実施形態のマイコン1502は、ユーザによる操作部403からの記録指示があるまで、垂直同期信号を利用して1フレーム飛ばしのタイミングで前述の基準値取り込み指示を撮像素子404に供給する。なお、マイコン1502の他の機能は一実施形態のマイコン402と同じである。
マイコン1502以外の撮像装置1501の構成は、図4および図5に示す一実施形態の撮像装置401の構成と同じなので、説明は省略する。
[他の実施形態の撮像装置の動作]
次に、図17を参照して撮像装置1501を構成する各機能ブロックにおける処理の流れを説明する。
図17は、撮像装置1501の動作を示すフローチャートである。
まず、ユーザは、撮像装置1501の電源を入れ、シャッタ速度およびゲインの設定を行う。具体的には、マイコン1502が、ユーザの操作部403に対する操作に基づいて、撮像素子404およびゲイン調整回路405に前述の、撮像用シャッタ速度および撮像用ゲインを設定する(ステップS1701)。
ここで、マイコン1502は、図示しない同期信号発生部から供給される垂直同期信号を待つ(ステップS1702)。そして、マイコン1502の垂直同期信号が供給されると、マイコンは前述の基準値取り込み指示があるものと認識する。そして、当該マイコン1502により撮像素子404およびゲイン調整回路405に基準シャッタ速度および基準ゲインがそれぞれ設定される(ステップS1703)。
そして、基準シャッタ速度で撮像された、基準ゲインに設定された、基準映像信号が第一水平積分処理部502に供給される。そして、基準映像信号で表される画像の各水平ラインの輝度の積分値が算出され、この積分値が基準値としてメモリ503に記憶される(ステップS1704)。
ここで、現在撮像素子404およびゲイン調整回路405に設定されている、基準シャッタ速度および基準ゲインが、マイコン1502の制御により撮像用シャッタ速度および撮像用ゲインに変更される(ステップS1705)。
ここで、マイコン1502は、撮像中の映像を記録するか否かを確認する。すなわち、マイコン1502は、ユーザからの指示部に対する記録開始指示があるか否かを確認する(ステップS1706)。記録開始指示がない場合は(ステップS1706のYES)、マイコン1502は図示しない同期信号発生部からの垂直同期信号を待つ(ステップS1707)。
そして、マイコン1502に垂直同期信号が供給されると、当該マイコン1502の制御により前述の撮像用映像信号が振幅補正部506に供給される。すると、撮像用映像信号は、メモリ503に記憶された基準値に基づいたフリッカ補正処理がなされる(ステップS1708)。
以上の処理が完了後、ステップS1702の処理に戻り、ステップS1702以降の処理を繰り返す。
一方、記録開始指示がある場合は(ステップS1706のNO)、マイコン1502は図示しない同期信号発生部からの垂直同期信号を待つ(ステップS1709)。そして、マイコン1502に垂直同期信号が供給されると、当該マイコン1502の制御により前述の撮像用映像信号が振幅補正部506に供給される。すると、撮像用映像信号は、メモリ508に記憶された基準値に基づいたフリッカ補正処理がなされる(ステップS1710)。そして、マイコン1502の制御により、フリッカ補正処理がなされた撮像用映像信号は画像処理回路407を通じて記録部409に記録されるとともに、表示部408に表示される。
以上の処理が完了後、マイコン1502は、今記録部409に記録中の撮像用映像信号の記録を継続するか否かを確認する、すなわちマイコン1502は、ユーザからの指示部に対する記録終了指示があるか否かを確認する(ステップS1712)。記録終了指示がない場合は(ステップS1712のNO)、ステップS1709の処理に戻り、ステップS1709以降の処理を繰り返す。記録終了指示がある場合は(ステップS1712のYES)、ステップS1702の処理に戻り、ステップS1702以降の処理を繰り返す。なお、ステップS1708およびステップS1710の処理は、図6のステップS607の処理、すなわちフリッカ補正処理であり、その詳細な処理の流れは図7および図8のフローチャートで示したものと同じである。
以上のように、本実施形態では、上記した一実施形態と同様に、フレーム毎に位相が動かないフリッカの位相の検出、当該フリッカの補正を容易に行うことができる。
さらに、本実施形態では、垂直同期信号を利用することで、基準値の生成と、当該基準値を利用したフリッカ補正処理とが、1フレーム毎に交互に行われる。そして、この1フレームおきのフリッカ補正処理は、撮像中の映像の記録が開始されるまで継続される。これにより、記録開始直前の補正波形の位相および振幅は補正に適切な状態に保たれることとなる。このような撮像中の映像の記録が開始された直後に算出した補正波形を利用して、記録部409に記憶する撮像用映像信号のフリッカ補正処理を行うことができる。これにより、より確実にフリッカを取り除くことができる。
なお、上記した各実施形態では、60Hzで明滅する光源(蛍光灯)下において、60frames/secで撮像する撮像装置401を1/2000secという電子シャッタのシャッタ速度で動作させる場合に生じるフリッカの補正について説明した。しかし、50Hzで明滅する光源下において、50frames/secで撮像する撮像装置401を任意のシャッタ速度で動作させた場合に生じるフリッカについても補正を行うことができる。すなわち、明滅周期とフレームレートが等しい場合に生じるフリッカの補正を確実に行うことができる。
なお、上記の各実施形態では、輝度を利用してフリッカを取り除くための補正波形を算出した。しかし、例えばR(赤)、G(緑)、B(青)といった色信号に対しフリッカ補正を行う場合においても、色信号の信号レベルを輝度の場合と同様に処理することで補正波形を算出することができる。蛍光灯の発光特性、残光特性が色によって異なる場合があるが、このような場合でも取り込んだ映像に含まれる動かないフリッカを取り除くことができる。
また、上記の各実施形態では、毎フレームについて補正波形の振幅および位相の増減方向を決定した。しかし、補正波形の位相の増減方向を毎フレーム決定し、補正波形の振幅の増減方向を例えば5フレーム毎に決定するようにしてもよい。このように、補正波形の位相の増減方向を決定する間隔と、補正波形の振幅の増減方向を決定する間隔を異なるようにすることで、位相と振幅の収束の優先度に差ができ、動作が安定する。
以上、本発明の各実施形態の例について説明したが、本発明は上記各実施形態例に限定されるものではなく、本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことはいうまでもない。
60Hz蛍光灯で電子シャッタを使用せずに撮像した際のCMOS素子の各水平ラインの露光のタイミングを示す図である。 CMOS素子の各水平ラインの光量を示す図である。 フリッカの発生した画像を示す図である。 本発明の一実施形態に係る撮像装置を示す機能ブロック図である。 本発明の一実施形態に係る撮像装置の補正回路を示す機能ブロック図である。 本発明の一実施形態に係る撮像装置の動作の流れを示すフローチャートである。 フリッカ補正処理の詳細な処理の流れを示すフローチャートである。 フリッカ補正処理の詳細な処理の流れを示すフローチャートである。 60Hz蛍光灯の下においてシャッタ速度1/2000secで撮像した際の撮像素子の各水平ラインの露光のタイミングを示す図である。 撮像素子の各水平ラインの光量を示す図である。 基準値を算出するために用いる、リファレンス用の画像を示す図である。 フリッカの形状を示す波形図である。 補正波形を示す図である。 フリッカ補正処理のなされた画像を示す図である。 本発明の他の実施形態に係る撮像装置を示す機能ブロック図である。 本発明の他の実施形態に係る撮像装置の補正回路を示す機能ブロック図である。 本発明の他の実施形態に係る撮像装置の動作の流れを示すフローチャートである。
符号の説明
102…波形、103…有効露光時間、104…無効露光時間、202…波形、
302…波形、303…画像、401…撮像装置401、402…マイコン402、403…操作部403、404…撮像素子404、405…ゲイン調整回路405、406…補正回路406、407…画像処理回路407、408…表示部408、409…記録部409、502…第一水平積分処理部502、503…メモリ、504…相関検出部504、505…補正値生成部505、506…振幅補正部506、507…第二水平積分処理部507、508…メモリ、902…波形、903…露光時間、1002…一定量、1102…波形、1103…画像、1202…波形、1302…補正波形、1402…画像

Claims (12)

  1. 所定のフレームレートおよび水平ライン総数に基づくタイミングで動作し、シャッタ速度を設定可能な電子シャッタを備え、該電子シャッタのシャッタ速度に応じた期間における入射光を、水平ライン毎に光電変換して所定の信号を生成する撮像素子と、
    前記撮像素子で生成された信号のゲインを調整して所定のレベルの信号を生成して映像信号を生成するゲイン調整回路と、
    前記入射光の明滅周期がフレームレートの整数倍であり、かつ前記電子シャッタに所定のシャッタ速度が設定されているときに前記ゲイン調整回路で生成される映像信号と、前記入射光の明滅周期がフレームレートの整数倍であり、かつ前記電子シャッタに入射光の明滅周期の整数倍のシャッタ速度が設定されているときに前記ゲイン調整回路で生成される、フリッカの発生しない基準映像信号を比較し、前記映像信号に含まれる、該映像信号で表される画像の垂直方向に現れるフリッカ成分を算出し、該算出結果に応じて前記映像信号で表される画像から前記フリッカを除去する補正回路と
    を有する撮像装置。
  2. さらに、
    前記基準映像信号の取り込み時は、前記入射光の明滅周期と、予めユーザにより指示されたシャッタ速度および該シャッタ速度に応じたゲインとに基づいて前記基準映像信号取り込み用のシャッタ速度およびゲインをそれぞれ算出し、前記算出したシャッタ速度およびゲインを前記電子シャッタおよび前記ゲイン調整回路にそれぞれ設定し、前記基準映像信号の取り込みが終われば、前記予めユーザにより指示されたシャッタ速度およびゲインを前記電子シャッタおよび前記ゲイン調整回路にそれぞれ設定する制御部を備える
    請求項1に記載の撮像装置。
  3. 前記補正回路は、算出した垂直方向に現れる前記フリッカ成分と少なくとも逆相の補正波形を算出し、該補正波形を前記映像信号で表される画像の各水平ラインに重畳することにより該映像信号で表される画像から前記フリッカを除去する
    請求項2に記載の撮像装置。
  4. 前記補正回路は、
    前記基準映像信号で表される画像の水平ライン方向に該基準映像信号を積分することにより、該基準映像信号の水平ライン毎の信号レベルの総和である基準値を算出し、
    また前記映像信号で表される画像の水平ライン方向に該映像信号を積分することにより、該映像信号の水平ライン毎の信号レベルの総和である撮像値を算出する水平積分処理部と、
    算出された前記基準値を記憶する第一メモリと、
    前記第一メモリから前記基準値を読み出し、読み出した前記基準値と、前記水平積分処理部で算出された前記撮像値との差分を検出する相関検出部と、
    前記相関検出部の検出結果に基づいて前記補正波形を補正/生成する補正値生成部と、
    生成された前記補正波形を前記映像信号で表される画像の各ラインに重畳することにより該映像信号で表される画像から前記フリッカを除去する振幅補正部と、
    を備える
    請求項3に記載の撮像装置。
  5. さらに、
    前記相関検出部で前回検出された差分の総和である差分和を記憶する第二メモリを備え、
    前記相関検出部は、今回生成した前記差分和と、前記第二メモリに記憶されている、前回生成された前記差分和とを比較し、
    前記補正値生成部は、該比較結果に基づいて今回の前記補正波形を生成する
    請求項4に記載の撮像装置。
  6. 前記相関検出部は、前記第二メモリに記憶された、前回生成された前記差分和と、今回生成した前記差分和との大小を比較し、
    前記補正値生成部は、前記相関検出部での比較結果に基づいて新たな補正波形を生成する
    請求項5に記載の撮像装置。
  7. 前記相関検出部は、前記第二メモリに記憶された、前回生成された前記差分和と、今回生成した前記差分和とを比較し、
    前記補正値生成部は、今回生成した前記差分和の方が大きいとき、前回生成した補正波形の位相および振幅の増減方向を反転し、位相および振幅を所定量変化させた、新たな補正波形を生成する
    請求項6に記載の撮像装置。
  8. 前記相関検出部は、前記第二メモリに記憶された、前回生成された前記差分和と、今回生成した前記差分和とを比較し、
    前記補正値生成部は、今回生成した前記差分和の方が小さいとき、前回生成した補正波形の位相および振幅の増減方向をそのままに、位相および振幅を所定量変化させた、新たな補正波形を生成する
    請求項7に記載の撮像装置。
  9. さらに、
    操作部を備え、
    前記制御部は、ユーザからの前記操作部に対する基準映像信号の取り込み指示を検出して前記入射光の明滅周期に対応するシャッタ速度を前記電子シャッタに設定するとともに、前記設定したシャッタ速度と、前記予めユーザが設定した、シャッタ速度およびゲインに基づいて所定のゲインを算出し、算出したゲインを前記ゲイン調整回路に設定する
    請求項5に記載の撮像装置。
  10. 前記制御部は、前記撮像素子および前記ゲイン調整回路を制御し、所定の間隔で基準映像信号を生成させる
    請求項5に記載の撮像装置。
  11. 撮像素子が備える電子シャッタのシャッタ速度が該撮像素子に入る入射光の明滅周期の整数倍のときに該撮像素子から入力される、該撮像素子の垂直方向にフリッカが生じない画像に対応する基準映像信号を、該基準映像信号で表される画像の水平ライン方向に積分することにより、前記基準映像信号の前記水平ライン毎の信号レベルの総和である基準値を算出し、また撮像素子が備える電子シャッタに所定のシャッタ速度が設定されているときに該撮像素子から入力される映像信号を、該映像信号で表される画像の水平ライン方向に積分することにより、前記映像信号の前記水平ライン毎の信号レベルの総和である撮像値を算出する水平積分処理部と、
    算出された前記基準値を記憶するメモリと、
    前記メモリから前記基準値を読み出し、読み出した前記基準値と、前記水平積分処理部で算出された前記撮像値との差分を計算することにより前記フリッカ成分を算出する相関検出部と、
    前記相関検出部で算出した前記フリッカ成分と少なくとも逆相の補正波形を生成する補正値生成部と、
    生成された前記補正波形を前記映像信号で表される画像の各ラインに重畳することにより該映像信号で表される画像から前記フリッカを除去する振幅補正部と、
    を備える補正回路。
  12. 所定のフレームレートおよび水平ライン総数に基づくタイミングで動作し、シャッタ速度を設定可能な電子シャッタのシャッタ速度を設定するシャッタ速度設定ステップと、
    設定された前記電子シャッタのシャッタ速度に応じた期間における入射光を、水平ライン毎に光電変換して所定の信号を生成する信号生成ステップと、
    前記信号生成ステップで生成された前記信号のゲインを調整して所定のレベルの前記信号を生成して映像信号を生成する映像信号生成ステップと、
    前記入射光の明滅周期がフレームレートの整数倍であり、かつ前記電子シャッタに所定のシャッタ速度が設定されているときに前記ゲイン調整回路で生成される映像信号と、前記入射光の明滅周期がフレームレートの整数倍であり、かつ前記電子シャッタに入射光の明滅周期の整数倍のシャッタ速度が設定されているときに前記ゲイン調整回路で生成される、フリッカの発生しない基準映像信号を比較し、前記映像信号に含まれる、該映像信号で表される画像の垂直方向に現れるフリッカ成分を算出し、該算出結果に応じて前記映像信号で表される画像から前記フリッカを除去するフリッカ除去ステップと
    を有する補正方法。
JP2008217256A 2008-08-26 2008-08-26 撮像装置、補正回路および補正方法 Expired - Fee Related JP4626689B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008217256A JP4626689B2 (ja) 2008-08-26 2008-08-26 撮像装置、補正回路および補正方法
US12/546,729 US8218029B2 (en) 2008-08-26 2009-08-25 Image taking apparatus, correction circuit and correction method
CN2009101684708A CN101662591B (zh) 2008-08-26 2009-08-26 图像摄取设备、校正电路和校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008217256A JP4626689B2 (ja) 2008-08-26 2008-08-26 撮像装置、補正回路および補正方法

Publications (2)

Publication Number Publication Date
JP2010056685A true JP2010056685A (ja) 2010-03-11
JP4626689B2 JP4626689B2 (ja) 2011-02-09

Family

ID=41724810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008217256A Expired - Fee Related JP4626689B2 (ja) 2008-08-26 2008-08-26 撮像装置、補正回路および補正方法

Country Status (3)

Country Link
US (1) US8218029B2 (ja)
JP (1) JP4626689B2 (ja)
CN (1) CN101662591B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018051615A1 (ja) * 2016-09-14 2018-03-22 ソニー株式会社 撮像制御装置および撮像制御方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091775A (ja) 2009-10-26 2011-05-06 Toshiba Corp 固体撮像装置
JP5625371B2 (ja) * 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
CN102025920B (zh) * 2010-11-17 2012-08-29 无锡中星微电子有限公司 曝光时间调整方法和装置以及应用此装置的摄像头
TWI469632B (zh) * 2011-11-09 2015-01-11 Silicon Motion Inc 抗閃爍攝錄裝置與攝錄方法
CN103108132B (zh) * 2011-11-15 2016-06-15 慧荣科技股份有限公司 抗闪烁摄录装置与摄录方法
EP2713608B1 (en) 2012-10-01 2015-04-29 Axis AB A device and a method for image acquisition
US9083887B2 (en) * 2013-04-08 2015-07-14 Samsung Electronics Co., Ltd. Image capture devices configured to generate compensation gains based on an optimum light model and electronic apparatus having the same
JP6170355B2 (ja) * 2013-06-26 2017-07-26 キヤノン株式会社 撮像装置及びその制御方法
JP2015192393A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
JP6381380B2 (ja) * 2014-09-08 2018-08-29 キヤノン株式会社 撮像装置、制御方法及びそのプログラム
JP6525757B2 (ja) * 2015-06-17 2019-06-05 キヤノン株式会社 撮像装置、光量変化特性の算出方法、プログラム及び記憶媒体
WO2017064829A1 (ja) * 2015-10-15 2017-04-20 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
JP2018026716A (ja) * 2016-08-10 2018-02-15 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
JP6863381B2 (ja) * 2016-08-16 2021-04-21 ソニーグループ株式会社 撮像制御装置、撮像制御方法および撮像システム
KR20220003129A (ko) * 2019-05-30 2022-01-07 벡톤 디킨슨 앤드 컴퍼니 무선 주파수 다중화 신호의 위상 보정
CN110868550B (zh) * 2019-11-25 2021-04-06 维沃移动通信(杭州)有限公司 一种拍照方法及终端设备电子设备
CN115529419B (zh) 2021-06-24 2024-04-16 荣耀终端有限公司 一种多人工光源下的拍摄方法及相关装置
CN115866421A (zh) * 2021-09-24 2023-03-28 北京小米移动软件有限公司 一种拍摄方法、拍摄装置及存储介质
EP4352947A4 (en) * 2021-12-16 2024-09-04 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR ELIMINATING FLICKER IN A VIDEO

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251611A (ja) * 2006-03-16 2007-09-27 Sanyo Electric Co Ltd 撮像装置
WO2007145168A1 (ja) * 2006-06-13 2007-12-21 Panasonic Corporation 階調補正装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164192A (ja) 1997-11-27 1999-06-18 Toshiba Corp 撮像方法及び装置
JP3749038B2 (ja) * 1999-06-30 2006-02-22 株式会社東芝 固体撮像装置
CN1156152C (zh) * 1999-10-08 2004-06-30 松下电器产业株式会社 照明闪烁检测、补偿装置和交流电源频率检测装置及其方法
JP4953498B2 (ja) * 2000-07-12 2012-06-13 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
JP4337353B2 (ja) * 2002-03-25 2009-09-30 セイコーエプソン株式会社 フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
JP3605099B2 (ja) 2002-07-15 2004-12-22 日本アビオニクス株式会社 液晶表示装置のフリッカ抑止回路
JP4423889B2 (ja) * 2002-11-18 2010-03-03 ソニー株式会社 フリッカ低減方法、撮像装置およびフリッカ低減回路
CN100589533C (zh) * 2002-11-18 2010-02-10 索尼株式会社 闪烁降低方法、图像拾取装置与闪烁降低电路
US7142234B2 (en) * 2002-12-10 2006-11-28 Micron Technology, Inc. Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter
JP4329677B2 (ja) 2004-11-09 2009-09-09 セイコーエプソン株式会社 動き検出装置
JP4539449B2 (ja) * 2005-06-10 2010-09-08 ソニー株式会社 画像処理装置および撮像装置
JP4335849B2 (ja) * 2005-06-13 2009-09-30 富士通マイクロエレクトロニクス株式会社 フリッカ検出可能な撮像装置
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device
CN101622859B (zh) * 2007-03-05 2011-06-15 瑞萨电子株式会社 成像装置和闪烁检测方法
JP5147302B2 (ja) * 2007-06-13 2013-02-20 株式会社エルモ社 ビデオカメラおよびビデオカメラにおけるフリッカ低減方法
JP2009004845A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路
JP4836896B2 (ja) * 2007-08-27 2011-12-14 三洋電機株式会社 ビデオカメラ
TW200926767A (en) * 2007-12-07 2009-06-16 Sunplus Mmedia Inc Automatic flicker detection and correction apparatus and method in a video capture device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251611A (ja) * 2006-03-16 2007-09-27 Sanyo Electric Co Ltd 撮像装置
WO2007145168A1 (ja) * 2006-06-13 2007-12-21 Panasonic Corporation 階調補正装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018051615A1 (ja) * 2016-09-14 2018-03-22 ソニー株式会社 撮像制御装置および撮像制御方法
JPWO2018051615A1 (ja) * 2016-09-14 2019-06-24 ソニー株式会社 撮像制御装置および撮像制御方法
US10972677B2 (en) 2016-09-14 2021-04-06 Sony Corporation Imaging control apparatus and imaging control method

Also Published As

Publication number Publication date
US8218029B2 (en) 2012-07-10
US20100053369A1 (en) 2010-03-04
CN101662591B (zh) 2011-12-07
JP4626689B2 (ja) 2011-02-09
CN101662591A (zh) 2010-03-03

Similar Documents

Publication Publication Date Title
JP4626689B2 (ja) 撮像装置、補正回路および補正方法
TWI508555B (zh) 用於進行影像合成的影像處理設備和影像處理方法
CN105323474B (zh) 摄像设备及其控制方法
JP4487640B2 (ja) 撮像装置
JP5035025B2 (ja) 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
US20060115297A1 (en) Imaging device and imaging method
US10986262B2 (en) Imaging apparatus, control method, and non-transitory storage medium
JP6355454B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US20090135276A1 (en) Flicker correction apparatus, flicker correction method, and image sensing apparatus
JP4501994B2 (ja) 撮像装置
JP4479845B2 (ja) 画像補正装置、画像補正方法、画像補正プログラム
JP2010147786A (ja) 撮像装置及び画像処理方法
JP5218239B2 (ja) 画像データ処理装置および撮像装置
JP2019201387A (ja) 追尾制御装置
JP2005223898A (ja) 画像処理方法及び撮像装置
US20220321743A1 (en) Image processing apparatus and method, and image capturing apparatus
JP2002290988A (ja) 撮像装置
WO2012147337A1 (ja) フリッカ検出装置、フリッカ検出方法およびフリッカ検出プログラム
US20140078326A1 (en) Focus control device, method for controlling focus and image pickup apparatus
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
JP5711005B2 (ja) フリッカ補正方法および画像処理装置
US11330192B2 (en) Acquisition method, computer readable recording medium and image apparatus
JP4613710B2 (ja) 画像処理装置及びプログラム
US20220272252A1 (en) Imaging apparatus, method for reducing color unevenness due to flicker, and computer readable recording medium
JP6322955B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101025

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees