JP2009004845A - 撮像装置、撮像方法、プログラム、および集積回路 - Google Patents
撮像装置、撮像方法、プログラム、および集積回路 Download PDFInfo
- Publication number
- JP2009004845A JP2009004845A JP2007161148A JP2007161148A JP2009004845A JP 2009004845 A JP2009004845 A JP 2009004845A JP 2007161148 A JP2007161148 A JP 2007161148A JP 2007161148 A JP2007161148 A JP 2007161148A JP 2009004845 A JP2009004845 A JP 2009004845A
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposure time
- pixel group
- signal
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 212
- 238000012937 correction Methods 0.000 claims abstract description 101
- 238000005286 illumination Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000009825 accumulation Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 230000001934 delay Effects 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像環境の照明と撮像装置に動きがある場合であっても、誤差の少ないフリッカ補正が可能な撮像装置を提供することを目的とする。
【解決手段】撮像装置100では、撮像部1で、各フレームにおいて、フリッカ成分を含まない画像A信号とフリッカ成分を含む画像B信号を取得し、画像Bゲイン算出部3で、画像A信号および画像B信号から画像B信号に含まれるフリッカ成分を除去するための補正係数を算出し、画像Bゲイン補正部5で、その補正係数により画像B信号からフリッカ成分を除去した後、画像A/B混合部6で、画像A信号と画像B信号を混合することで、フリッカ成分が除去された画像信号を生成する。
【選択図】図1
【解決手段】撮像装置100では、撮像部1で、各フレームにおいて、フリッカ成分を含まない画像A信号とフリッカ成分を含む画像B信号を取得し、画像Bゲイン算出部3で、画像A信号および画像B信号から画像B信号に含まれるフリッカ成分を除去するための補正係数を算出し、画像Bゲイン補正部5で、その補正係数により画像B信号からフリッカ成分を除去した後、画像A/B混合部6で、画像A信号と画像B信号を混合することで、フリッカ成分が除去された画像信号を生成する。
【選択図】図1
Description
本発明は、MOS型撮像素子のようなXYアドレス駆動方式の撮像素子を有する撮像装置を用いて、電源周波数で明るさが変動する照明下で撮像した場合に生ずるフリッカ現象を補正する技術に関するものである。
電源周波数で明るさが変動する照明のもとで撮像した場合に、フリッカを検出し補正する必要性がある。図5に、電源周波数が50[Hz]の電源照明下で、フレームレート60[fps]のMOS型撮像素子のようなXYアドレス駆動方式の撮像素子を有する撮像装置でフリッカが発生する理由を説明する図を示す。図5に示すように、撮像装置の撮像素子において、ラインごとに露光タイミングが違うため、任意の露光時間で撮像素子を駆動するとラインごとに電荷蓄積される光量に差が出て、3フレームごとに繰り返されるフリッカ横縞が撮像画像(映像)上に発生する。
一方、1/100秒で撮像素子を駆動すると、照明の電源周波数に相当する周期の半周期分の時間を露光するため、全ラインで蓄積される光量が同じになり、撮像装置により取得される撮像画像(映像)上にフリッカ横縞は発生しない。このことは一般に広く知られていて、電源周波数が50[Hz]の電源照明下でフリッカを検出すると1/100秒の露光時間で撮像素子を駆動して簡易的にフリッカ除去を行うことが多い。
一方、1/100秒で撮像素子を駆動すると、照明の電源周波数に相当する周期の半周期分の時間を露光するため、全ラインで蓄積される光量が同じになり、撮像装置により取得される撮像画像(映像)上にフリッカ横縞は発生しない。このことは一般に広く知られていて、電源周波数が50[Hz]の電源照明下でフリッカを検出すると1/100秒の露光時間で撮像素子を駆動して簡易的にフリッカ除去を行うことが多い。
しかし、撮像素子の露光時間が短い露光時間に固定されるため、撮像素子の露光時間が長い場合と比較すると、撮像素子により取得される映像信号の出力レベルが小さく、撮像素子で取得される映像信号の出力レベルを上げるために増幅器のゲインを大きくしなければならない。このように増幅器のゲインを大きくすることは、映像信号のS/N比を劣化させるため、あまり望ましくない。
そこで、従来の撮像装置では、第1フレームで2種類の異なる露光時間で撮像部を駆動してフリッカを検出する。そして、第2フレーム以降では、1種類の露光時間で撮像部を通常駆動し、撮像部の後段の増幅器のゲインを変えることによってフリッカ補正を行っている。以下では説明便宜のため、照明電源周波数が50[Hz]であるものとして説明する。
そこで、従来の撮像装置では、第1フレームで2種類の異なる露光時間で撮像部を駆動してフリッカを検出する。そして、第2フレーム以降では、1種類の露光時間で撮像部を通常駆動し、撮像部の後段の増幅器のゲインを変えることによってフリッカ補正を行っている。以下では説明便宜のため、照明電源周波数が50[Hz]であるものとして説明する。
図6に、撮像部を2種類の異なる露光時間で駆動した場合の第1フレームの画像と、撮像部を通常駆動した場合の第2フレーム以降の画像をゲイン補正する様子を説明する図を示す。
従来の撮像装置においてフリッカ補正する場合、2種類の異なる露光時間の画素(撮像素子の画素)が隣接していなければフリッカ補正誤差が大きく生じてしまう。第1フレームの撮像に関して、撮像素子の画素列毎に2種類の異なる露光時間(1/100秒と1/60秒)で駆動すると(例えば、奇数列の画素の露光時間を1/100秒とし、偶数列の画素の露光時間を1/60秒とする。)、1/100秒の露光時間の画像(画像A)にはフリッカは発生しないものの、1/60秒の露光時間の画像(画像B)にはフリッカが発生する。これらの画像Aと画像Bとを除算処理すると、被写体画像は打ち消されてフリッカ成分に対応した輝度パターンのみを持つ画像C(C=B/A)が得られる。また、演算によってこの画像Cの垂直投影による出力波形Vを取得し、さらに、出力波形Vの逆位相に比例するゲイン補正係数を取得することができる。
従来の撮像装置においてフリッカ補正する場合、2種類の異なる露光時間の画素(撮像素子の画素)が隣接していなければフリッカ補正誤差が大きく生じてしまう。第1フレームの撮像に関して、撮像素子の画素列毎に2種類の異なる露光時間(1/100秒と1/60秒)で駆動すると(例えば、奇数列の画素の露光時間を1/100秒とし、偶数列の画素の露光時間を1/60秒とする。)、1/100秒の露光時間の画像(画像A)にはフリッカは発生しないものの、1/60秒の露光時間の画像(画像B)にはフリッカが発生する。これらの画像Aと画像Bとを除算処理すると、被写体画像は打ち消されてフリッカ成分に対応した輝度パターンのみを持つ画像C(C=B/A)が得られる。また、演算によってこの画像Cの垂直投影による出力波形Vを取得し、さらに、出力波形Vの逆位相に比例するゲイン補正係数を取得することができる。
従来の撮像装置では、第2フレーム以降において、撮像部を通常駆動し、撮像部の後段の増幅器で第1フレームから得られたゲイン補正係数の垂直位相をずらしたものを取得された画像信号に掛け合わせることによって、フリッカ成分が相殺された補正後の画像信号を取得することができる。
図4に、従来の撮像装置400の全体構成図を示す。
撮像装置400は、被写体からの光を光電変換により映像信号(画像信号)として取得する撮像部401と、撮像部401の撮像素子の露光時間を制御するための露光時間制御信号を撮像部401に出力する露光時間制御回路402と、撮像部401から出力された画像信号よりフリッカ検出を行うフリッカ検出回路403と、フリッカ検出回路403からの出力に基づいてゲイン補正係数を決定させるゲイン制御回路404と、ゲイン補正係数に基づいて、撮像部401から出力される第2フレーム以降の画像信号に対するゲインを変化させるゲイン可変増幅器405と、を備える。その他、図示していないが、撮像装置400内の各部動作タイミング等の動作を制御する全体制御部も含まれる。
図4に、従来の撮像装置400の全体構成図を示す。
撮像装置400は、被写体からの光を光電変換により映像信号(画像信号)として取得する撮像部401と、撮像部401の撮像素子の露光時間を制御するための露光時間制御信号を撮像部401に出力する露光時間制御回路402と、撮像部401から出力された画像信号よりフリッカ検出を行うフリッカ検出回路403と、フリッカ検出回路403からの出力に基づいてゲイン補正係数を決定させるゲイン制御回路404と、ゲイン補正係数に基づいて、撮像部401から出力される第2フレーム以降の画像信号に対するゲインを変化させるゲイン可変増幅器405と、を備える。その他、図示していないが、撮像装置400内の各部動作タイミング等の動作を制御する全体制御部も含まれる。
撮像部401は、撮像画素部(撮像素子)と、撮像画素部の全列用に割り当てられる垂直シフトレジスタと、撮像画素部の奇数列用に割り当てられる第1水平シフトレジスタ及び第1ラインメモリと、撮像画素部の偶数列用に割り当てられる第2水平シフトレジスタ及び第2ラインメモリと、を有する。撮像画素部の奇数列の画素を電源周波数が50[Hz]の電源照明下でフリッカが発生しない1/100秒の露光時間で駆動させ、撮像画素部の偶数列の画素を電源周波数が60[Hz]の電源照明下でフリッカの発生しない1/60秒の露光時間で駆動させる。
露光時間制御回路402は、撮像部401の撮像画素部(撮像素子)の奇数列の画素と偶数列の画素とを2種類の異なる露光時間で駆動させるための露光時間制御信号を撮像部401に出力する。
露光時間制御回路402は、撮像部401の撮像画素部(撮像素子)の奇数列の画素と偶数列の画素とを2種類の異なる露光時間で駆動させるための露光時間制御信号を撮像部401に出力する。
フリッカ検出回路403は、撮像部401から出力される第1フレームの画像信号に基づきフリッカ成分を検出し、その検出信号をゲイン制御回路404に供給(出力)する。
ゲイン制御回路404は、フリッカ検出回路403により検出されたフリッカ成分の逆位相に比例する補正ゲインに対応するゲイン補正係数を算出し、そのゲイン補正係数をゲイン可変増幅器405に出力する。
ゲイン可変増幅器405は、フリッカ検出回路403にて第1フレームの画像信号からフリッカが検出された場合、撮像部401から出力される第2フレーム以降の画像信号に対し、ゲイン制御回路404からのゲイン補正係数をかけることにより、画像信号からフリッカ成分を除去する。ゲイン可変増幅器405は、フリッカ成分が相殺(除去)された画像信号を補正画像信号として出力する。一方、ゲイン可変増幅器405は、フリッカ検出回路403にて第1フレームの画像信号からフリッカが検出されなかった場合、フリッカ無しの画像信号として、撮像部401から出力された画像信号をそのまま出力する。
ゲイン制御回路404は、フリッカ検出回路403により検出されたフリッカ成分の逆位相に比例する補正ゲインに対応するゲイン補正係数を算出し、そのゲイン補正係数をゲイン可変増幅器405に出力する。
ゲイン可変増幅器405は、フリッカ検出回路403にて第1フレームの画像信号からフリッカが検出された場合、撮像部401から出力される第2フレーム以降の画像信号に対し、ゲイン制御回路404からのゲイン補正係数をかけることにより、画像信号からフリッカ成分を除去する。ゲイン可変増幅器405は、フリッカ成分が相殺(除去)された画像信号を補正画像信号として出力する。一方、ゲイン可変増幅器405は、フリッカ検出回路403にて第1フレームの画像信号からフリッカが検出されなかった場合、フリッカ無しの画像信号として、撮像部401から出力された画像信号をそのまま出力する。
図7に従来の撮像装置400の全体の動作を示す概略フローチャートを示す。
前述のように、撮像装置400は、第1フレームの画像Aと画像Bとを取得し(ステップ702、703)、画像B(画像Bの画像信号)を画像A(画像Aの画像信号)で除算することにより画像C(ステップ704)を生成する(ステップ704)。撮像装置400は、画像Cを基にフリッカを検出する(ステップ705)。フリッカが検出されなければ第2フレーム以降は通常動作を行い(ステップ707)、フリッカが検出されれば第2フレーム以降の取得画像に対してフリッカ補正を行う(ステップ708)。撮像期間中にフリッカの発生条件が変化することも考えられるので、撮像装置400において終了処理を行うように指示されたか否かを判定し(ステップ708)、終了処理の実行が指示されなければ、任意の期間毎(Xフレーム(Xは自然数)毎)にフリッカの再検出を行う(ステップ710、ステップ711)。
特開2006−245784号公報([0030〜0054])
前述のように、撮像装置400は、第1フレームの画像Aと画像Bとを取得し(ステップ702、703)、画像B(画像Bの画像信号)を画像A(画像Aの画像信号)で除算することにより画像C(ステップ704)を生成する(ステップ704)。撮像装置400は、画像Cを基にフリッカを検出する(ステップ705)。フリッカが検出されなければ第2フレーム以降は通常動作を行い(ステップ707)、フリッカが検出されれば第2フレーム以降の取得画像に対してフリッカ補正を行う(ステップ708)。撮像期間中にフリッカの発生条件が変化することも考えられるので、撮像装置400において終了処理を行うように指示されたか否かを判定し(ステップ708)、終了処理の実行が指示されなければ、任意の期間毎(Xフレーム(Xは自然数)毎)にフリッカの再検出を行う(ステップ710、ステップ711)。
しかしながら、上記の従来の撮像装置では、複数フレームに1回だけフリッカ成分を検出して、検出後のフレームにおいて、検出したフリッカ成分から位相情報を基にゲイン補正値を演算によって求めている。つまり、フリッカ成分の検出処理とフリッカ成分の補正補正とが別々のフレームで行われている。このため、撮像環境の照明が時間的に変化する場合や撮像装置を動かして屋内と屋外とを交互に撮像する場合、従来の撮像装置では、フリッカ補正に誤差が生じるという問題点がある。
本発明は、上記従来の問題点を解決するもので、撮像環境の照明が変化する場合や撮像装置が動かされる場合であっても、誤差の少ないフリッカ補正を可能とする撮像装置、撮像方法、プログラム、および集積回路を提供することを目的とする。
本発明は、上記従来の問題点を解決するもので、撮像環境の照明が変化する場合や撮像装置が動かされる場合であっても、誤差の少ないフリッカ補正を可能とする撮像装置、撮像方法、プログラム、および集積回路を提供することを目的とする。
第1の発明は、撮像部と、露光時間制御部と、画像Bゲイン算出部と、画像Bゲイン補正部と、画像A/B混合部と、を備える撮像装置である。撮像部は、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する。露光時間制御部は、第1画素群に含まれる画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、第2画素群に含まれる画素の露光時間を第2露光時間に設定し、第1画素群の露光時間が第1露光時間となるように制御し、かつ、第2画素群の露光時間が第2露光時間となるように制御する。画像Bゲイン算出部は、第1画素群により取得されたフリッカ成分を含まない画像A信号と第2画素群により取得された画像B信号とから画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Bゲイン補正部は、ゲイン補正係数に基づいて、画像B信号のフリッカ成分を補正する。画像A/B混合部は、画像Bゲイン補正部により補正された画像B信号と画像A信号とを、撮像素子上の第1画素群および第2画素群の配置に一致させるように混合する。
この撮像装置では、各フレームにおいて、フリッカ成分を含まない画像A信号とフリッカ成分を含む画像B信号を取得し、画像A信号および画像B信号から画像B信号に含まれるフリッカ成分を除去するためのゲイン補正係数を算出し、その補正係数により画像B信号からフリッカ成分を除去した後、画像A信号と画像B信号を混合することで、フリッカ成分が除去された画像信号を生成することができる。
これにより、撮像環境の照明が変化する場合や撮像装置が動かされる場合であっても、誤差の少ないフリッカ補正を可能とする撮像装置を実現することができる。
なお、ここで、「フリッカ成分」とは、撮像装置が置かれている環境下に存在する照明の電源周波数に起因して生じる、撮像装置による撮像画像上のフリッカ成分のことをいう。
これにより、撮像環境の照明が変化する場合や撮像装置が動かされる場合であっても、誤差の少ないフリッカ補正を可能とする撮像装置を実現することができる。
なお、ここで、「フリッカ成分」とは、撮像装置が置かれている環境下に存在する照明の電源周波数に起因して生じる、撮像装置による撮像画像上のフリッカ成分のことをいう。
第2の発明は、第1の発明であって、撮像部は、第1画素群に含まれる画素と第2画素群に含まれる画素とが、撮像素子の撮像面上の縦方向および横方向に、互いに隣接して配置されている撮像素子を有する。
この撮像装置では、撮像素子の撮像面上において、第1画素群に含まれる画素どうしが縦横方向に隣接することがなく、かつ、第2画素群に含まれる画素どうしが縦横方向に隣接することがない。つまり、この撮像装置では、撮像素子の撮像面上で縦横両方向に交互に配置されている画素に対して、2種類の異なる露光時間で画素を駆動することにより、露光時間の違いによる処理画像上のノイズの縦スジを目立たなくすることができる。
第3の発明は、第1又は第2の発明であって、露光時間制御部は、照明の電源周波数が50[Hz]である場合、第1露光時間をn/100秒(nは自然数)に設定し、照明の電源周波数が60[Hz]である場合、第1露光時間をn/120秒(nは自然数)に設定する。
この撮像装置では、撮像素子の撮像面上において、第1画素群に含まれる画素どうしが縦横方向に隣接することがなく、かつ、第2画素群に含まれる画素どうしが縦横方向に隣接することがない。つまり、この撮像装置では、撮像素子の撮像面上で縦横両方向に交互に配置されている画素に対して、2種類の異なる露光時間で画素を駆動することにより、露光時間の違いによる処理画像上のノイズの縦スジを目立たなくすることができる。
第3の発明は、第1又は第2の発明であって、露光時間制御部は、照明の電源周波数が50[Hz]である場合、第1露光時間をn/100秒(nは自然数)に設定し、照明の電源周波数が60[Hz]である場合、第1露光時間をn/120秒(nは自然数)に設定する。
これにより、簡単にフリッカ成分を含まない画像A信号を生成することができる。
なお、nは、第1露光時間が1フレーム期間を超えない最大となる整数とすることが好ましい。
第4の発明は、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法であって、露光時間制御ステップと、画像Bゲイン算出ステップと、画像Bゲイン補正ステップと、画像A/B混合ステップと、を備える。露光時間制御ステップでは、第1画素群に含まれる画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、第2画素群に含まれる画素の露光時間を第2露光時間に設定し、第1画素群の露光時間が第1露光時間となるように制御し、かつ、第2画素群の露光時間が第2露光時間となるように制御する。画像Bゲイン算出ステップでは、第1画素群により取得されたフリッカ成分を含まない画像A信号と第2画素群により取得された画像B信号とから画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Bゲイン補正ステップでは、ゲイン補正係数に基づいて、画像B信号のフリッカ成分を補正する。画像A/B混合ステップでは、画像Bゲイン補正部により補正された画像B信号と画像A信号とを、撮像素子上の第1画素群および第2画素群の配置に一致させるように混合する。
なお、nは、第1露光時間が1フレーム期間を超えない最大となる整数とすることが好ましい。
第4の発明は、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法であって、露光時間制御ステップと、画像Bゲイン算出ステップと、画像Bゲイン補正ステップと、画像A/B混合ステップと、を備える。露光時間制御ステップでは、第1画素群に含まれる画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、第2画素群に含まれる画素の露光時間を第2露光時間に設定し、第1画素群の露光時間が第1露光時間となるように制御し、かつ、第2画素群の露光時間が第2露光時間となるように制御する。画像Bゲイン算出ステップでは、第1画素群により取得されたフリッカ成分を含まない画像A信号と第2画素群により取得された画像B信号とから画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Bゲイン補正ステップでは、ゲイン補正係数に基づいて、画像B信号のフリッカ成分を補正する。画像A/B混合ステップでは、画像Bゲイン補正部により補正された画像B信号と画像A信号とを、撮像素子上の第1画素群および第2画素群の配置に一致させるように混合する。
これにより、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられることで、第1の発明と同様の効果を奏する撮像方法を実現することができる。
第5の発明は、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられるプログラムであって、コンピュータを、露光時間制御部、画像Bゲイン算出部、画像Bゲイン補正部、画像A/B混合部、として機能させるためのプログラムである。露光時間制御部は、第1画素群に含まれる画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、第2画素群に含まれる画素の露光時間を第2露光時間に設定し、第1画素群の露光時間が第1露光時間となるように制御し、かつ、第2画素群の露光時間が第2露光時間となるように制御する。画像Bゲイン算出部は、第1画素群により取得されたフリッカ成分を含まない画像A信号と第2画素群により取得された画像B信号とから画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Bゲイン補正部は、ゲイン補正係数に基づいて、画像B信号のフリッカ成分を補正する。画像A/B混合部は、画像Bゲイン補正部により補正された画像B信号と画像A信号とを、撮像素子上の第1画素群および第2画素群の配置に一致させるように混合する。
第5の発明は、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられるプログラムであって、コンピュータを、露光時間制御部、画像Bゲイン算出部、画像Bゲイン補正部、画像A/B混合部、として機能させるためのプログラムである。露光時間制御部は、第1画素群に含まれる画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、第2画素群に含まれる画素の露光時間を第2露光時間に設定し、第1画素群の露光時間が第1露光時間となるように制御し、かつ、第2画素群の露光時間が第2露光時間となるように制御する。画像Bゲイン算出部は、第1画素群により取得されたフリッカ成分を含まない画像A信号と第2画素群により取得された画像B信号とから画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Bゲイン補正部は、ゲイン補正係数に基づいて、画像B信号のフリッカ成分を補正する。画像A/B混合部は、画像Bゲイン補正部により補正された画像B信号と画像A信号とを、撮像素子上の第1画素群および第2画素群の配置に一致させるように混合する。
これにより、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられることで、第1の発明と同様の効果を奏するプログラムを実現することができる。
第6の発明は、撮像部と、露光時間制御部と、画像Bゲイン算出部と、画像Bゲイン補正部と、画像A/B混合部と、を備える集積回路である。撮像部は、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する。露光時間制御部は、第1画素群に含まれる画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、第2画素群に含まれる画素の露光時間を第2露光時間に設定し、第1画素群の露光時間が第1露光時間となるように制御し、かつ、第2画素群の露光時間が第2露光時間となるように制御する。画像Bゲイン算出部は、第1画素群により取得されたフリッカ成分を含まない画像A信号と第2画素群により取得された画像B信号とから画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Bゲイン補正部は、ゲイン補正係数に基づいて、画像B信号のフリッカ成分を補正する。画像A/B混合部は、画像Bゲイン補正部により補正された画像B信号と画像A信号とを、撮像素子上の第1画素群および第2画素群の配置に一致させるように混合する。
第6の発明は、撮像部と、露光時間制御部と、画像Bゲイン算出部と、画像Bゲイン補正部と、画像A/B混合部と、を備える集積回路である。撮像部は、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する。露光時間制御部は、第1画素群に含まれる画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、第2画素群に含まれる画素の露光時間を第2露光時間に設定し、第1画素群の露光時間が第1露光時間となるように制御し、かつ、第2画素群の露光時間が第2露光時間となるように制御する。画像Bゲイン算出部は、第1画素群により取得されたフリッカ成分を含まない画像A信号と第2画素群により取得された画像B信号とから画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Bゲイン補正部は、ゲイン補正係数に基づいて、画像B信号のフリッカ成分を補正する。画像A/B混合部は、画像Bゲイン補正部により補正された画像B信号と画像A信号とを、撮像素子上の第1画素群および第2画素群の配置に一致させるように混合する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
第7の発明は、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる集積回路であって、露光時間制御部と、画像Bゲイン算出部と、画像Bゲイン補正部と、画像A/B混合部と、を備える。露光時間制御部は、第1画素群に含まれる画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、第2画素群に含まれる画素の露光時間を第2露光時間に設定し、第1画素群の露光時間が第1露光時間となるように制御し、かつ、第2画素群の露光時間が第2露光時間となるように制御する。画像Bゲイン算出部は、第1画素群により取得されたフリッカ成分を含まない画像A信号と第2画素群により取得された画像B信号とから画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Bゲイン補正部は、ゲイン補正係数に基づいて、画像B信号のフリッカ成分を補正する。画像A/B混合部は、画像Bゲイン補正部により補正された画像B信号と画像A信号とを、撮像素子上の第1画素群および第2画素群の配置に一致させるように混合する。
第7の発明は、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる集積回路であって、露光時間制御部と、画像Bゲイン算出部と、画像Bゲイン補正部と、画像A/B混合部と、を備える。露光時間制御部は、第1画素群に含まれる画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、第2画素群に含まれる画素の露光時間を第2露光時間に設定し、第1画素群の露光時間が第1露光時間となるように制御し、かつ、第2画素群の露光時間が第2露光時間となるように制御する。画像Bゲイン算出部は、第1画素群により取得されたフリッカ成分を含まない画像A信号と第2画素群により取得された画像B信号とから画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する。画像Bゲイン補正部は、ゲイン補正係数に基づいて、画像B信号のフリッカ成分を補正する。画像A/B混合部は、画像Bゲイン補正部により補正された画像B信号と画像A信号とを、撮像素子上の第1画素群および第2画素群の配置に一致させるように混合する。
これにより、それぞれ複数の画素からなる第1画素群および第2画素群を含み画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられることで、第1の発明と同様の効果を奏するプログラムを実現することができる。
本発明によれば、撮像環境の照明が変化する場合や撮像装置が動かされる場合であっても、誤差の少ないフリッカ補正を可能とする撮像装置、撮像方法、プログラム、および集積回路を実現することができる。
以下、本発明の実施形態について、図面を参照しながら説明する。
[第1実施形態]
<1:撮像装置の構成>
図1に本発明の第1実施形態の撮像装置100の構成図を示す。
図2に、図1の撮像部1の有する同一撮像面上で縦横両方向に交互に2種類の異なる露光時間で駆動される画素を有する撮像素子の概念図を示す。
撮像装置100は、被写体からの光を光電変換により画像A信号および画像B信号として取得する撮像部1と、撮像部1の撮像素子の画素の電荷蓄積時間を制御する電荷蓄積時間制御信号を撮像部1に出力する露光時間制御部2と、撮像部空出力される画像A信号および画像B信号に基づいて画像Bゲイン補正係数を算出する画像Bゲイン算出部3と、を備える。また、撮像装置100は、撮像部1から出力される画像A信号および画像B信号をそれぞれ所望の時間だけ遅延させて、画像A遅延信号および画像B遅延信号として出力する遅延部4と、画像Bゲイン補正係数に基づいて画像B遅延信号に対してゲイン補正処理を行う画像Bゲイン補正部5と、画像A遅延信号および画像Bゲイン補正部5により補正された画像B遅延信号を混合し、補正画像信号として出力する画像A/B混合部6と、を備える。
[第1実施形態]
<1:撮像装置の構成>
図1に本発明の第1実施形態の撮像装置100の構成図を示す。
図2に、図1の撮像部1の有する同一撮像面上で縦横両方向に交互に2種類の異なる露光時間で駆動される画素を有する撮像素子の概念図を示す。
撮像装置100は、被写体からの光を光電変換により画像A信号および画像B信号として取得する撮像部1と、撮像部1の撮像素子の画素の電荷蓄積時間を制御する電荷蓄積時間制御信号を撮像部1に出力する露光時間制御部2と、撮像部空出力される画像A信号および画像B信号に基づいて画像Bゲイン補正係数を算出する画像Bゲイン算出部3と、を備える。また、撮像装置100は、撮像部1から出力される画像A信号および画像B信号をそれぞれ所望の時間だけ遅延させて、画像A遅延信号および画像B遅延信号として出力する遅延部4と、画像Bゲイン補正係数に基づいて画像B遅延信号に対してゲイン補正処理を行う画像Bゲイン補正部5と、画像A遅延信号および画像Bゲイン補正部5により補正された画像B遅延信号を混合し、補正画像信号として出力する画像A/B混合部6と、を備える。
撮像部1は、複数の画素からなる撮像画素部11(撮像素子)と、露光時間制御部2からの電荷蓄積時間制御信号に基づいて、撮像画素部11の全ての列の画素を駆動するための駆動信号を撮像画素部11に対して出力する垂直シフトレジスタ12と、図2において「A」と表示された画素(これらの画素を「画素A」という。そして、画素Aにより形成される画像を「画像A」という。)を駆動するための駆動信号を撮像画素部11に対して出力する第1水平シフトレジスタ13と、図2において「B」と表示された画素(これらの画素を「画素B」という。そして、画素Bにより形成される画像を「画像B」という。)を駆動するための駆動信号を撮像画素部11に対して出力する第2水平シフトレジスタ14と、を有する。また、撮像部1は、画像A用と画像B用の出力チャンネルを有する。
撮像部1は、被写体からの光を光電変換により画像信号として取得する。そして、撮像部1は、画素Aにより取得された画像信号を画像A信号として、画素Bにより取得された画像信号を画像B信号として、それぞれ、遅延部4および画像Bゲイン算出部3に出力する。
撮像部1は、被写体からの光を光電変換により画像信号として取得する。そして、撮像部1は、画素Aにより取得された画像信号を画像A信号として、画素Bにより取得された画像信号を画像B信号として、それぞれ、遅延部4および画像Bゲイン算出部3に出力する。
つまり、撮像部1は、図2に示すように、同一撮像面(撮像画素部11(撮像素子)の複数画素からなる撮像面)上で縦横両方向に交互に配置されている画素に対して、2種類の異なる露光時間で画素を駆動し、フリッカの発生しない第1の露光時間で駆動された画素から取得した画像(画像A)信号とフリッカの発生する第2の露光時間で駆動された画素から取得した画像(画像B)信号を別々に出力する。
なお、撮像画素部11における画素Aおよび画素Bの配置は、図2の配置に限定されるものではない。また、垂直シフトレジスタ12、第1水平シフトレジスタ13および第2水平シフトレジスタ14には、それぞれ、露光時間制御部2からの電荷蓄積時間制御信号が入力されており、各画素の露光時間(電荷蓄積時間)が所望の時間となるように、電荷蓄積時間制御信号に基づいて、垂直シフトレジスタ12、第1水平シフトレジスタ13および第2水平シフトレジスタ14において、撮像画素部11の画素を駆動させる駆動信号が生成される。図2においては、電荷蓄積時間制御信号が、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号(画素A用)および水平走査用電荷蓄積時間制御信号(画素B用)からなる場合の一例を示しており、図2に示すように、垂直走査用電荷蓄積時間制御信号は、垂直シフトレジスタ12に入力され、水平走査用電荷蓄積時間制御信号(画素A用)は第1水平シフトレジスタに入力され、水平走査用電荷蓄積時間制御信号(画素B用)は第2水平シフトレジスタに入力される。そして、垂直シフトレジスタ12は、垂直走査用電荷蓄積時間制御信号に基づいて撮像画素部11の画素を駆動させる駆動信号を生成する。第1水平シフトレジスタは、水平走査用電荷蓄積時間制御信号(画素A用)に基づいて撮像画素部11の画素Aを駆動させる駆動信号を生成する。第2水平シフトレジスタは、水平走査用電荷蓄積時間制御信号(画素B用)に基づいて撮像画素部11の画素Bを駆動させる駆動信号を生成する。そして、撮像画素部11の画素Aは、垂直シフトレジスタ12により生成された駆動信号および第1水平シフトレジスタ13により生成された駆動信号により駆動される。撮像画素部11の画素Bは、垂直シフトレジスタ12により生成された駆動信号および第2水平シフトレジスタ14により生成された駆動信号により駆動される。つまり、画素Aおよび画素Bの露光時間を、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号(画素A用)および水平走査用電荷蓄積時間制御信号(画素B用)により制御することができる。
なお、撮像画素部11における画素Aおよび画素Bの配置は、図2の配置に限定されるものではない。また、垂直シフトレジスタ12、第1水平シフトレジスタ13および第2水平シフトレジスタ14には、それぞれ、露光時間制御部2からの電荷蓄積時間制御信号が入力されており、各画素の露光時間(電荷蓄積時間)が所望の時間となるように、電荷蓄積時間制御信号に基づいて、垂直シフトレジスタ12、第1水平シフトレジスタ13および第2水平シフトレジスタ14において、撮像画素部11の画素を駆動させる駆動信号が生成される。図2においては、電荷蓄積時間制御信号が、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号(画素A用)および水平走査用電荷蓄積時間制御信号(画素B用)からなる場合の一例を示しており、図2に示すように、垂直走査用電荷蓄積時間制御信号は、垂直シフトレジスタ12に入力され、水平走査用電荷蓄積時間制御信号(画素A用)は第1水平シフトレジスタに入力され、水平走査用電荷蓄積時間制御信号(画素B用)は第2水平シフトレジスタに入力される。そして、垂直シフトレジスタ12は、垂直走査用電荷蓄積時間制御信号に基づいて撮像画素部11の画素を駆動させる駆動信号を生成する。第1水平シフトレジスタは、水平走査用電荷蓄積時間制御信号(画素A用)に基づいて撮像画素部11の画素Aを駆動させる駆動信号を生成する。第2水平シフトレジスタは、水平走査用電荷蓄積時間制御信号(画素B用)に基づいて撮像画素部11の画素Bを駆動させる駆動信号を生成する。そして、撮像画素部11の画素Aは、垂直シフトレジスタ12により生成された駆動信号および第1水平シフトレジスタ13により生成された駆動信号により駆動される。撮像画素部11の画素Bは、垂直シフトレジスタ12により生成された駆動信号および第2水平シフトレジスタ14により生成された駆動信号により駆動される。つまり、画素Aおよび画素Bの露光時間を、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号(画素A用)および水平走査用電荷蓄積時間制御信号(画素B用)により制御することができる。
なお、撮像部1として、CMOS型イメージセンサーを用いることが好ましい。
露光時間制御部2は、撮像部2の撮像画素部11の各画素の露光時間を所望の時間にするための電荷蓄積時間制御信号を撮像部1に出力する。ここで、図2に示すように、電荷蓄積時間制御信号は、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号(画素A用)および水平走査用電荷蓄積時間制御信号(画素B用)の3つの信号から構成されるものであってもよい。
露光時間制御部2により、電荷蓄積時間制御信号を設定することで、撮像部1の撮像画素部11の各画素の露光時間を所望の時間に設定することができる。
露光時間制御部2は、照明電源周波数が50[Hz]の場合、第1の露光時間(画素Aの露光時間)がn/100秒(nは露光時間が1フレーム期間を超えない最大となる整数)となるように電荷蓄積時間制御信号を設定し、第2の露光時間(画素Bの露光時間)が任意の時間になるように電荷蓄積時間制御信号を設定する。露光時間制御部2は、照明電源周波数が60[Hz]の場合、第1の露光時間(画素Aの露光時間)がn/120秒(nは露光時間が1フレーム期間を超えない最大となる整数)となるように電荷蓄積時間制御信号を設定し、第2の露光時間(画素Bの露光時間)が任意の時間になるように電荷蓄積時間制御信号を設定する。以下では説明便宜のため、照明の電源周波数が50[Hz]であるものとして説明する。
露光時間制御部2は、撮像部2の撮像画素部11の各画素の露光時間を所望の時間にするための電荷蓄積時間制御信号を撮像部1に出力する。ここで、図2に示すように、電荷蓄積時間制御信号は、垂直走査用電荷蓄積時間制御信号、水平走査用電荷蓄積時間制御信号(画素A用)および水平走査用電荷蓄積時間制御信号(画素B用)の3つの信号から構成されるものであってもよい。
露光時間制御部2により、電荷蓄積時間制御信号を設定することで、撮像部1の撮像画素部11の各画素の露光時間を所望の時間に設定することができる。
露光時間制御部2は、照明電源周波数が50[Hz]の場合、第1の露光時間(画素Aの露光時間)がn/100秒(nは露光時間が1フレーム期間を超えない最大となる整数)となるように電荷蓄積時間制御信号を設定し、第2の露光時間(画素Bの露光時間)が任意の時間になるように電荷蓄積時間制御信号を設定する。露光時間制御部2は、照明電源周波数が60[Hz]の場合、第1の露光時間(画素Aの露光時間)がn/120秒(nは露光時間が1フレーム期間を超えない最大となる整数)となるように電荷蓄積時間制御信号を設定し、第2の露光時間(画素Bの露光時間)が任意の時間になるように電荷蓄積時間制御信号を設定する。以下では説明便宜のため、照明の電源周波数が50[Hz]であるものとして説明する。
画像Bゲイン算出部3は、撮像部1から出力される画像A信号および画像B信号を入力とし、画像A信号および画像B信号からライン毎に画像Bゲイン補正係数を算出し(算出方法は後述。)、算出した画像Bゲイン補正係数を画像Bゲイン補正部5に出力する。なお、ここで、画像A信号は、フリッカ成分を含まない画像信号であり、画像B信号は、フリッカ成分を含んでいる画像信号であるものとする。以下、同様。
遅延部4は、撮像部1から出力される画像A信号を所定の時間だけ遅延させて、画像A遅延信号として画像A/B混合部に出力する。また、遅延部4は、撮像部1から出力される画像B信号を所定の時間だけ遅延させて、画像B遅延信号として画像Bゲイン補正部5に出力する。具体的には、遅延部4は、画像Bゲイン補正部5での処理タイミングが合うように、画像B信号を、画像Bゲイン算出部での処理時間分だけ遅延させる。そして、遅延部4は、画像A/B混合部6での処理タイミングが合うように、画像A信号を、画像Bゲイン算出部3および画像Bゲイン補正部5での処理時間分だけ遅延させる。
遅延部4は、撮像部1から出力される画像A信号を所定の時間だけ遅延させて、画像A遅延信号として画像A/B混合部に出力する。また、遅延部4は、撮像部1から出力される画像B信号を所定の時間だけ遅延させて、画像B遅延信号として画像Bゲイン補正部5に出力する。具体的には、遅延部4は、画像Bゲイン補正部5での処理タイミングが合うように、画像B信号を、画像Bゲイン算出部での処理時間分だけ遅延させる。そして、遅延部4は、画像A/B混合部6での処理タイミングが合うように、画像A信号を、画像Bゲイン算出部3および画像Bゲイン補正部5での処理時間分だけ遅延させる。
なお、遅延部4として、フレームメモリを用いるようにしてもよい。また、画像A信号用の遅延部と画像B信号用の遅延部とを別個に設けるようにしてもよい。
画像Bゲイン補正部5は、画像Bゲイン算出部3から出力される画像Bゲイン補正係数および遅延部4から出力される画像B遅延信号を入力とし、ライン毎に、画像Bゲイン補正係数を画像B遅延信号に乗算することで画像B遅延信号からフリッカ成分を除去(相殺)し、フリッカ成分を除去(相殺)した画像B遅延信号(補正後の画像B遅延信号)を画像A/B混合部6に出力する。
画像A/B混合部6は、遅延部4から出力される画像A遅延信号および画像Bゲイン補正部5から出力される補正後の画像B遅延信号を入力とし、画像A遅延信号および補正後の画像B遅延信号とを混合することで、補正画像信号を生成し、出力する。
画像Bゲイン補正部5は、画像Bゲイン算出部3から出力される画像Bゲイン補正係数および遅延部4から出力される画像B遅延信号を入力とし、ライン毎に、画像Bゲイン補正係数を画像B遅延信号に乗算することで画像B遅延信号からフリッカ成分を除去(相殺)し、フリッカ成分を除去(相殺)した画像B遅延信号(補正後の画像B遅延信号)を画像A/B混合部6に出力する。
画像A/B混合部6は、遅延部4から出力される画像A遅延信号および画像Bゲイン補正部5から出力される補正後の画像B遅延信号を入力とし、画像A遅延信号および補正後の画像B遅延信号とを混合することで、補正画像信号を生成し、出力する。
画像A/B混合部6は、画像A遅延信号と補正後の画像B遅延信号とを、撮像部1の撮像面と同配列(撮像画素部11の画素の画素配列と同配列)になるように混合することで、補正画像信号を生成し、生成した補正画像信号を出力する。
その他、図示していないが、撮像装置100には、撮像装置100内の各構成部の制御(各部の動作タイミング等の制御を含む。)を行う全体制御部も含まれる。
撮像装置100において、撮像画素部11の奇数列を第1の露光時間、偶数列を第2の露光時間で駆動した場合、列ごとに補正ゲインが違うことに起因してノイズの縦スジが発生する。そこで、撮像装置100では、これを目立たないようにするために、図2に示すように、縦横両方向に交互に配置されている画素について、2種類の異なる露光時間で駆動するようにしている(これにより、撮像画素部11の全ての画素において、縦方向および横方向のいずれの隣接画素とも露光時間が異なるようにすることができる)。
その他、図示していないが、撮像装置100には、撮像装置100内の各構成部の制御(各部の動作タイミング等の制御を含む。)を行う全体制御部も含まれる。
撮像装置100において、撮像画素部11の奇数列を第1の露光時間、偶数列を第2の露光時間で駆動した場合、列ごとに補正ゲインが違うことに起因してノイズの縦スジが発生する。そこで、撮像装置100では、これを目立たないようにするために、図2に示すように、縦横両方向に交互に配置されている画素について、2種類の異なる露光時間で駆動するようにしている(これにより、撮像画素部11の全ての画素において、縦方向および横方向のいずれの隣接画素とも露光時間が異なるようにすることができる)。
<2:撮像装置の動作>
以上のように構成された撮像装置100の動作について、以下、説明する。
また、図3に、撮像装置100の動作を説明するためのフローチャートを示す。
被写体からの光は、撮像部1により、光電変換され画像A信号および画像B信号として取得される。このとき、露光時間制御部2からの電荷蓄積時間制御信号により、撮像画素部11の画素Aの露光時間(電荷蓄積時間)をn/100秒に設定し、撮像画素部11の画素Bの露光時間(電荷蓄積時間)を任意の時間(n/100秒以外の任意の時間)に設定する。
図2に示すように、画像A信号は、撮像画素部11の画素Aで、露光時間制御部2から出力される電荷蓄積時間制御信号により設定された露光時間(n/100秒)だけ電荷蓄積されることで取得される(S301)。画像B信号は、撮像画素部11の画素Bで、露光時間制御部2から出力される電荷蓄積時間制御信号により設定された露光時間(任意の時間)だけ電荷蓄積されることで取得される(S302)。
以上のように構成された撮像装置100の動作について、以下、説明する。
また、図3に、撮像装置100の動作を説明するためのフローチャートを示す。
被写体からの光は、撮像部1により、光電変換され画像A信号および画像B信号として取得される。このとき、露光時間制御部2からの電荷蓄積時間制御信号により、撮像画素部11の画素Aの露光時間(電荷蓄積時間)をn/100秒に設定し、撮像画素部11の画素Bの露光時間(電荷蓄積時間)を任意の時間(n/100秒以外の任意の時間)に設定する。
図2に示すように、画像A信号は、撮像画素部11の画素Aで、露光時間制御部2から出力される電荷蓄積時間制御信号により設定された露光時間(n/100秒)だけ電荷蓄積されることで取得される(S301)。画像B信号は、撮像画素部11の画素Bで、露光時間制御部2から出力される電荷蓄積時間制御信号により設定された露光時間(任意の時間)だけ電荷蓄積されることで取得される(S302)。
ここで、照明の電源周波数が50[Hz]であるので、露光時間n/100秒で取得された画像A信号には、フリッカ成分が含まれていない。一方、画像B信号には、フリッカ成分が含まれている。
画像A信号および画像B信号は、画像Bゲイン算出部3に入力される。画像Bゲイン算出部3では、画像A信号により、画像A信号から形成される画像Aのライン(水平ライン)毎の平均値A’が算出される(S303)。また、画像Bゲイン算出部3では、画像B信号により、画像B信号から形成される画像Bのライン(水平ライン)毎の平均値B’が算出される(S304)。そして、画像Bゲイン算出部3により、ライン平均の比C’=A’/B’が算出される(S305)。算出されたライン平均の比C’=A’/B’は、画像Bゲイン補正係数として、画像Bゲイン算出部3から画像Bゲイン補正部5に出力される。
画像A信号および画像B信号は、画像Bゲイン算出部3に入力される。画像Bゲイン算出部3では、画像A信号により、画像A信号から形成される画像Aのライン(水平ライン)毎の平均値A’が算出される(S303)。また、画像Bゲイン算出部3では、画像B信号により、画像B信号から形成される画像Bのライン(水平ライン)毎の平均値B’が算出される(S304)。そして、画像Bゲイン算出部3により、ライン平均の比C’=A’/B’が算出される(S305)。算出されたライン平均の比C’=A’/B’は、画像Bゲイン補正係数として、画像Bゲイン算出部3から画像Bゲイン補正部5に出力される。
また、画像B信号は、遅延部4に入力され、遅延部4により、画像Bゲイン算出部3での処理時間だけ遅延されて、画像Bゲイン補正部5に画像B遅延信号として出力される。
画像B遅延信号は、画像Bゲイン補正部5により、画像Bゲイン補正係数(C’=A’/B’)をライン毎に乗算され、フリッカ成分が除去される(S306)。このフリッカ成分が除去された信号は、補正後の画像遅延信号として、画像Bゲイン補正部5から画像A/B混合部6に出力される。
画像A信号は、遅延部4に入力され、遅延部4により、画像Bゲイン算出部3および画像Bゲイン補正部5での処理時間だけ遅延されて、画像A/B混合部6に画像A遅延信号として出力される。
画像A遅延信号および補正後の画像B遅延信号は、画像A/B混合部6に入力され、画像A/B混合部6により、撮像部1の撮像面と同配列(撮像画素部11の画素の画素配列と同配列)になるように混合されることで、補正画像信号に変換される(S307)。
画像B遅延信号は、画像Bゲイン補正部5により、画像Bゲイン補正係数(C’=A’/B’)をライン毎に乗算され、フリッカ成分が除去される(S306)。このフリッカ成分が除去された信号は、補正後の画像遅延信号として、画像Bゲイン補正部5から画像A/B混合部6に出力される。
画像A信号は、遅延部4に入力され、遅延部4により、画像Bゲイン算出部3および画像Bゲイン補正部5での処理時間だけ遅延されて、画像A/B混合部6に画像A遅延信号として出力される。
画像A遅延信号および補正後の画像B遅延信号は、画像A/B混合部6に入力され、画像A/B混合部6により、撮像部1の撮像面と同配列(撮像画素部11の画素の画素配列と同配列)になるように混合されることで、補正画像信号に変換される(S307)。
そして、補正画像信号は、フリッカ成分が補正(除去)された画像信号として、画像A/B混合部6から出力される(S308)。
このように、この撮像装置100では、各フレームにおいて、フリッカ成分を含まない画像A信号とフリッカ成分を含む画像B信号を取得し、画像A信号および画像B信号から画像B信号に含まれるフリッカ成分を除去するための補正係数を算出し、その補正係数により画像B信号からフリッカ成分を除去した後、画像A信号と画像B信号を混合することで、フリッカ成分が除去された画像信号を生成することができる。
従来の方法では、複数フレームに1回だけフリッカ成分の検出を行い、フリッカ成分の検出を行ったフレームの後のフレームでは、過去に検出されたフリッカ成分から位相情報を基にゲイン補正値を演算によって求めているため、フリッカ成分の検出処理と補正処理とが別フレームで行われていた。
このように、この撮像装置100では、各フレームにおいて、フリッカ成分を含まない画像A信号とフリッカ成分を含む画像B信号を取得し、画像A信号および画像B信号から画像B信号に含まれるフリッカ成分を除去するための補正係数を算出し、その補正係数により画像B信号からフリッカ成分を除去した後、画像A信号と画像B信号を混合することで、フリッカ成分が除去された画像信号を生成することができる。
従来の方法では、複数フレームに1回だけフリッカ成分の検出を行い、フリッカ成分の検出を行ったフレームの後のフレームでは、過去に検出されたフリッカ成分から位相情報を基にゲイン補正値を演算によって求めているため、フリッカ成分の検出処理と補正処理とが別フレームで行われていた。
それに対して、本発明の撮像装置100では、フリッカ補正に使われるゲイン補正係数を補正されるフレーム画像自体の情報を基に求めているため、フリッカ成分の検出処理と補正処理とが同一フレームで行われる。
また、撮像装置100において、同一撮像面(撮像画素部11(撮像素子)の複数画素からなる撮像面)上の偶数列の画素と奇数列の画素とを、2種類の異なる露光時間で駆動した場合、補正ゲインが違うことに起因するノイズの縦スジが撮像装置100による処理画像上に発生するが、本発明の撮像装置100では、これを避けるために、同一撮像面(撮像画素部11(撮像素子)の複数画素からなる撮像面)上で縦横両方向に交互に配置されている画素に対して、2種類の異なる露光時間で画素を駆動することにより、露光時間の違いによる処理画像上のノイズの縦スジを目立たなくしている。
また、撮像装置100において、同一撮像面(撮像画素部11(撮像素子)の複数画素からなる撮像面)上の偶数列の画素と奇数列の画素とを、2種類の異なる露光時間で駆動した場合、補正ゲインが違うことに起因するノイズの縦スジが撮像装置100による処理画像上に発生するが、本発明の撮像装置100では、これを避けるために、同一撮像面(撮像画素部11(撮像素子)の複数画素からなる撮像面)上で縦横両方向に交互に配置されている画素に対して、2種類の異なる露光時間で画素を駆動することにより、露光時間の違いによる処理画像上のノイズの縦スジを目立たなくしている。
従って、本発明の撮像装置100によれば、撮像環境の照明が時間的に変化する場合や撮像装置が動かされて屋内と屋外とを交互に撮像するような場合であっても、誤差の少ない効果的なフリッカ補正を実現することができる。
[他の実施形態]
なお、上記実施形態で説明した撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
[他の実施形態]
なお、上記実施形態で説明した撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
本発明に係る撮像装置、撮像方法、プログラム、および集積回路は、照明の電源周波数に起因するフリッカ成分を効果的に補正(除去)することができるので、映像機器関連産業分野において、有用であり、本発明に係る撮像装置、撮像方法、プログラム、および集積回路は、当該分野において実施することができる。
100 撮像装置
1 撮像部
2 露光時間制御部
3 画像Bゲイン算出部
4 遅延部
5 画像Bゲイン補正部
6 画像A/B混合部
11 撮像画素部(撮像素子)
1 撮像部
2 露光時間制御部
3 画像Bゲイン算出部
4 遅延部
5 画像Bゲイン補正部
6 画像A/B混合部
11 撮像画素部(撮像素子)
Claims (7)
- それぞれ複数の画素からなる第1画素群および第2画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部と、
前記第1画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、前記第2画素群に含まれる前記画素の露光時間を第2露光時間に設定し、前記第1画素群の露光時間が前記第1露光時間となるように制御し、かつ、前記第2画素群の露光時間が前記第2露光時間となるように制御する露光時間制御部と、
前記第1画素群により取得されたフリッカ成分を含まない画像A信号と前記第2画素群により取得された画像B信号とから前記画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Bゲイン算出部と、
前記ゲイン補正係数に基づいて、前記画像B信号のフリッカ成分を補正する画像Bゲイン補正部と、
前記画像Bゲイン補正部により補正された前記画像B信号と前記画像A信号とを、前記撮像素子上の前記第1画素群および前記第2画素群の配置に一致させるように混合する画像A/B混合部と、
を備える撮像装置。 - 前記撮像部は、前記第1画素群に含まれる前記画素と前記第2画素群に含まれる前記画素とが、前記撮像素子の撮像面上の縦方向および横方向に、互いに隣接して配置されている前記撮像素子を有する、
請求項1に記載の撮像装置。 - 前記露光時間制御部は、照明の電源周波数が50[Hz]である場合、前記第1露光時間をn/100秒(nは自然数)に設定し、照明の電源周波数が60[Hz]である場合、前記第1露光時間をn/120秒(nは自然数)に設定する、
請求項1又は2に記載の撮像装置。 - それぞれ複数の画素からなる第1画素群および第2画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法であって、
前記第1画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、前記第2画素群に含まれる前記画素の露光時間を第2露光時間に設定し、前記第1画素群の露光時間が前記第1露光時間となるように制御し、かつ、前記第2画素群の露光時間が前記第2露光時間となるように制御する露光時間制御ステップと、
前記第1画素群により取得されたフリッカ成分を含まない画像A信号と前記第2画素群により取得された画像B信号とから前記画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Bゲイン算出ステップと、
前記ゲイン補正係数に基づいて、前記画像B信号のフリッカ成分を補正する画像Bゲイン補正ステップと、
前記画像Bゲイン補正ステップにより補正された前記画像B信号と前記画像A信号とを、前記撮像素子上の前記第1画素群および前記第2画素群の配置に一致させるように混合する画像A/B混合ステップと、
を備える撮像方法。 - それぞれ複数の画素からなる第1画素群および第2画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられるプログラムであって、
コンピュータを、
前記第1画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、前記第2画素群に含まれる前記画素の露光時間を第2露光時間に設定し、前記第1画素群の露光時間が前記第1露光時間となるように制御し、かつ、前記第2画素群の露光時間が前記第2露光時間となるように制御する露光時間制御部、
前記第1画素群により取得されたフリッカ成分を含まない画像A信号と前記第2画素群により取得された画像B信号とから前記画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Bゲイン算出部、
前記ゲイン補正係数に基づいて、前記画像B信号のフリッカ成分を補正する画像Bゲイン補正部、
前記画像Bゲイン補正部により補正された前記画像B信号と前記画像A信号とを、前記撮像素子上の前記第1画素群および前記第2画素群の配置に一致させるように混合する画像A/B混合部、
として機能させるためのプログラム。 - それぞれ複数の画素からなる第1画素群および第2画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部と、
前記第1画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、前記第2画素群に含まれる前記画素の露光時間を第2露光時間に設定し、前記第1画素群の露光時間が前記第1露光時間となるように制御し、かつ、前記第2画素群の露光時間が前記第2露光時間となるように制御する露光時間制御部と、
前記第1画素群により取得されたフリッカ成分を含まない画像A信号と前記第2画素群により取得された画像B信号とから前記画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Bゲイン算出部と、
前記ゲイン補正係数に基づいて、前記画像B信号のフリッカ成分を補正する画像Bゲイン補正部と、
前記画像Bゲイン補正部により補正された前記画像B信号と前記画像A信号とを、前記撮像素子上の前記第1画素群および前記第2画素群の配置に一致させるように混合する画像A/B混合部と、
を備える集積回路。 - それぞれ複数の画素からなる第1画素群および第2画素群を含み前記画素ごとの駆動が可能な撮像素子を有する撮像部を備える撮像装置に用いられる集積回路であって、
前記第1画素群に含まれる前記画素の露光時間をフリッカ成分が発生しない第1露光時間に設定し、前記第2画素群に含まれる前記画素の露光時間を第2露光時間に設定し、前記第1画素群の露光時間が前記第1露光時間となるように制御し、かつ、前記第2画素群の露光時間が前記第2露光時間となるように制御する露光時間制御部と、
前記第1画素群により取得されたフリッカ成分を含まない画像A信号と前記第2画素群により取得された画像B信号とから前記画像B信号のフリッカ成分を補正するためのゲイン補正係数を算出する画像Bゲイン算出部と、
前記ゲイン補正係数に基づいて、前記画像B信号のフリッカ成分を補正する画像Bゲイン補正部と、
前記画像Bゲイン補正部により補正された前記画像B信号と前記画像A信号とを、前記撮像素子上の前記第1画素群および前記第2画素群の配置に一致させるように混合する画像A/B混合部と、
を備える集積回路。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007161148A JP2009004845A (ja) | 2007-06-19 | 2007-06-19 | 撮像装置、撮像方法、プログラム、および集積回路 |
US12/141,540 US20080316333A1 (en) | 2007-06-19 | 2008-06-18 | Imaging apparatus, imaging method, program, and integrated circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007161148A JP2009004845A (ja) | 2007-06-19 | 2007-06-19 | 撮像装置、撮像方法、プログラム、および集積回路 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009004845A true JP2009004845A (ja) | 2009-01-08 |
Family
ID=40136060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007161148A Pending JP2009004845A (ja) | 2007-06-19 | 2007-06-19 | 撮像装置、撮像方法、プログラム、および集積回路 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20080316333A1 (ja) |
JP (1) | JP2009004845A (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4626689B2 (ja) * | 2008-08-26 | 2011-02-09 | ソニー株式会社 | 撮像装置、補正回路および補正方法 |
US20120120282A1 (en) * | 2009-08-14 | 2012-05-17 | Goris Andrew C | Reducing Temporal Aliasing |
JP2011049892A (ja) * | 2009-08-27 | 2011-03-10 | Eastman Kodak Co | 撮像装置 |
US20110255786A1 (en) * | 2010-04-20 | 2011-10-20 | Andrew Hunter | Method and apparatus for determining flicker in the illumination of a subject |
US20120154628A1 (en) * | 2010-12-20 | 2012-06-21 | Samsung Electronics Co., Ltd. | Imaging device and method |
US8749665B2 (en) * | 2011-01-31 | 2014-06-10 | SK Hynix Inc. | Dynamic range extension for CMOS image sensors for mobile applications |
JP2013066140A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 撮像装置、および信号処理方法、並びにプログラム |
KR20150109177A (ko) * | 2014-03-19 | 2015-10-01 | 삼성전자주식회사 | 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 |
GB2565590B (en) * | 2017-08-18 | 2021-06-02 | Apical Ltd | Method of flicker reduction |
KR102582631B1 (ko) * | 2018-01-11 | 2023-09-26 | 삼성디스플레이 주식회사 | 표시 패널 구동 방법 및 이를 채용한 유기 발광 표시 장치 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5625411A (en) * | 1992-12-22 | 1997-04-29 | Fuji Photo Film, Ltd. | Video camera printer apparatus and method of controlling same and apparatus and method for detecting print inhibit signal |
JP3583618B2 (ja) * | 1998-06-15 | 2004-11-04 | 富士通株式会社 | 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
CA2322593C (en) * | 1999-10-08 | 2004-02-03 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for detection and correction of illumination flicker |
EP1237363B1 (en) * | 1999-11-22 | 2006-01-18 | Matsushita Electric Industrial Co., Ltd. | Solid-state imaging device |
CN1234234C (zh) * | 2002-09-30 | 2005-12-28 | 松下电器产业株式会社 | 固体摄像器件及使用该固体摄像器件的设备 |
-
2007
- 2007-06-19 JP JP2007161148A patent/JP2009004845A/ja active Pending
-
2008
- 2008-06-18 US US12/141,540 patent/US20080316333A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20080316333A1 (en) | 2008-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009004845A (ja) | 撮像装置、撮像方法、プログラム、および集積回路 | |
JP2009010836A (ja) | 撮像装置、撮像方法、プログラム、および集積回路 | |
US9185308B2 (en) | Imaging apparatus and imaging method | |
US10270990B2 (en) | Imaging element, imaging apparatus, and imaging signal processing method | |
US10298843B2 (en) | Image processing device, image processing method, and electronic apparatus for motion detection in image | |
US20060103745A1 (en) | Image sensor and image sensor system | |
US7944482B2 (en) | Pixel information readout method and image pickup apparatus | |
JP2008067372A (ja) | 映像生成装置及び方法 | |
US20060262193A1 (en) | Image processing apparatus and method and program | |
JP4715853B2 (ja) | 固体撮像装置および撮像方法 | |
US20090002513A1 (en) | Imaging apparatus, imaging method and integrated circuit | |
WO2017199758A1 (ja) | 画像処理装置、画像処理方法、撮像装置、プログラム | |
JP2010062671A (ja) | 撮像装置およびその制御方法、プログラム | |
US7884856B2 (en) | Imaging apparatus and exposure control method thereof | |
KR20100047826A (ko) | 고체 촬상 장치 | |
JP5829122B2 (ja) | 撮像装置および評価値生成装置 | |
JP2001008109A (ja) | 固体撮像素子およびその駆動方法並びにカメラシステム | |
JP2017216649A (ja) | 撮像素子、撮像装置、および撮像信号処理方法 | |
JP4972569B2 (ja) | 固体撮像装置 | |
JP2008172330A (ja) | 固体撮像装置及び撮像装置 | |
JP2008277879A (ja) | 撮像装置、撮像方法および集積回路 | |
JP2004215249A (ja) | 固体撮像装置及びその駆動方法、並びにカメラ | |
JP2000165752A (ja) | 固体撮像装置の信号処理方法及び固体撮像装置 | |
JP2007274174A (ja) | 固体撮像装置および駆動方法 | |
JP2007243819A (ja) | 画像処理装置 |