JP2010021645A - 画像処理装置、撮像装置、および画像処理プログラム - Google Patents
画像処理装置、撮像装置、および画像処理プログラム Download PDFInfo
- Publication number
- JP2010021645A JP2010021645A JP2008178221A JP2008178221A JP2010021645A JP 2010021645 A JP2010021645 A JP 2010021645A JP 2008178221 A JP2008178221 A JP 2008178221A JP 2008178221 A JP2008178221 A JP 2008178221A JP 2010021645 A JP2010021645 A JP 2010021645A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- correction amount
- processing apparatus
- unevenness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 238000012937 correction Methods 0.000 claims abstract description 116
- 238000009826 distribution Methods 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000007906 compression Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
【課題】 簡単な構成で、フリッカに起因する帯状のムラを補正することができる。
【解決手段】 処理対象の画像において、画像の撮像時の撮像装置におけるシャッタ膜の走行方向と略垂直な方向に沿って発生する帯状ムラを検出する検出部と、帯状ムラを補正する補正量を算出する算出部と、補正量に基づいて、画像における帯状ムラを補正する補正部とを備える。
【選択図】 図1
【解決手段】 処理対象の画像において、画像の撮像時の撮像装置におけるシャッタ膜の走行方向と略垂直な方向に沿って発生する帯状ムラを検出する検出部と、帯状ムラを補正する補正量を算出する算出部と、補正量に基づいて、画像における帯状ムラを補正する補正部とを備える。
【選択図】 図1
Description
本発明は、処理対象の画像に画像処理を施す画像処理装置、その画像処理装置を備えた撮像装置、および処理対象の画像に画像処理を施す画像処理プログラムに関する。
近年、電子カメラなどの撮像装置において高感度化が進んでいる。この結果、シャッタ速度も高速化し、フォーカルシャッタやローリングシャッタにおいては、いわゆるスリット露光に近い状態で露光が行われることになる。スリット露光の際には、蛍光灯などによるフリッカに起因して帯状のムラが発生することが知られている。そこで、特許文献1の発明では、測光素子および撮像素子の両方の出力を用いて、帯状のムラを補正している。
特開2000−23040号公報
しかし、特許文献1の発明では、測光素子および撮像素子の2つのセンサを備える必要があるとともに、2つのセンサを同期して制御する必要がある。
本発明は、簡単な構成で、フリッカに起因する帯状のムラを補正することを目的とする。
本発明の画像処理装置は、処理対象の画像において、前記画像の撮像時の撮像装置におけるシャッタ膜の走行方向と略垂直な方向に沿って発生する帯状ムラを検出する検出部と、前記帯状ムラを補正する補正量を算出する算出部と、前記補正量に基づいて、前記画像における前記帯状ムラを補正する補正部とを備える。
なお、好ましくは、前記検出部は、前記画像において、前記走行方向の少なくとも1ラインの画素列における強度分布に基づいて前記帯状ムラを検出し、前記算出部は、前記強度分布に基づいて前記補正量を算出しても良い。
また、好ましくは、前記画像は、複数の色成分からなる画像であり、前記検出部は、前記複数の色成分ごとに、前記強度分布に基づいて前記帯状ムラを検出し、前記算出部は、前記複数の色成分ごとに、前記強度分布に基づいて前記補正量を算出しても良い。
また、好ましくは、前記算出部は、前記強度分布を点広がり関数またはガウス分布に近似し、近似後の前記強度分布に基づいて前記補正量を算出しても良い。
また、好ましくは、前記算出部は、前記補正量に所定の限界値を設けても良い。
また、好ましくは、前記算出部は、前記画像の撮像時の撮像装置におけるシャッタ速度とシャッタ膜の走行速度との少なくとも一方に基づいて、前記限界値を決定しても良い。
また、好ましくは、前記検出部は、前記画像において、前記走行方向の複数のラインの画素列ごとに、前記強度分布に基づいて前記帯状ムラを検出し、前記算出部は、前記走行方向と略垂直な方向に沿ったラインの画素列ごとに、前記強度分布に基づいて前記補正量を算出しても良い。
また、好ましくは、前記画像に関するホワイトバランス評価値を算出する第2の算出部をさらに備え、前記算出部は、前記ホワイトバランス評価値に基づいて、前記帯状ムラの強度と色情報との少なくとも一方を推測し、推測結果に基づいて前記補正量を算出しても良い。
また、好ましくは、前記画像に関するホワイトバランス評価値を算出する第2の算出部と、前記補正量と前記ホワイトバランス評価値とに基づいて、前記帯状ムラの補正と前記画像に対するホワイトバランス調整処理とを同時に行うための第2の補正量を算出する第3の算出部をさらに備え、前記補正部は、前記第2の補正量に基づいて、前記帯状ムラの補正と前記画像に対するホワイトバランス調整処理とを同時に行っても良い。
また、好ましくは、前記補正部による補正の度合いを指定するユーザ操作を受け付ける受付部をさらに備え、前記算出部は、前記補正の度合いに応じた前記補正量を算出しても良い。
なお、上記発明に関する構成を備えた撮像装置、および、上記発明に関する構成を、処理対象の画像データに対する画像処理を実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
本発明によれば、簡単な構成で、フリッカに起因する帯状のムラを補正することができる。
<第1実施形態>
以下、図面を用いて本発明の第1実施形態について説明する。なお、第1実施形態では、本発明の画像処理装置を備えた電子カメラを例に挙げて説明する。
以下、図面を用いて本発明の第1実施形態について説明する。なお、第1実施形態では、本発明の画像処理装置を備えた電子カメラを例に挙げて説明する。
図1は、第1実施形態の電子カメラ1の構成を示す図である。図1に示すように、電子カメラ1は、撮影レンズ2、絞り3、クイックリターンミラー4、サブミラー5、拡散スクリーン6、コンデンサレンズ7、ペンタプリズム8、ビームスプリッタ9、接眼レンズ10、結像レンズ11、測光センサ12、シャッタ13、撮像素子14、焦点検出部15の各部を備える。
測光センサ12は、例えば、5分割の測光センサである。また、シャッタ13は、撮像素子14の前面に配置されたフォーカルプレーンシャッタである。撮像素子14は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの半導体デバイスである。焦点検出部15は、例えば、位相差方式の焦点検出を行い、撮影レンズ2の焦点状態を検出する。また、電子カメラ1は、測光センサ12により検出される輝度に基づいて、コントラスト方式の焦点検出を行い、撮影レンズ2の焦点状態を検出する。
また、電子カメラ1は、撮像により生成された画像などを表示する液晶モニタなどのモニタ16、各部を制御する制御部17をさらに備える。制御部17は、内部に不図示のメモリを備え、各部を制御するためのプログラムを予め記録する。
非撮影時、すなわち撮影を行わない場合には、クイックリターンミラー4は、図1に示すように、45°の角度に配置される。そして、撮影レンズ2および絞り3を通過した光束は、クイックリターンミラー4で反射され、拡散スクリーン6、コンデンサレンズ7、ペンタプリズム8、ビームスプリッタ9を介して接眼レンズ10に導かれる。ユーザは、接眼レンズ10を介して被写体の像を目視することにより構図確認を行う。すなわち、接眼レンズ10は、ファインダとして機能する。一方、ビームスプリッタ9により、上方に分割された光束は、結像レンズ11を介して測光センサ12の撮像面上に再結像される。また、クイックリターンミラー4を透過した光束は、サブミラー5を介して焦点検出部15に導かれる。
一方、撮影時には、クイックリターンミラー4が、破線で示す位置に退避してシャッタ13が開放し、撮影レンズ2からの光束は撮像素子14に導かれる。すなわち、撮影レンズ2からの光束は、測光センサ12と撮像素子14とに同時に導かれることはなく、この2つのセンサを同期して駆動することにより、フリッカに起因する帯状のムラを補正することができない。
図2は、第1実施形態の電子カメラ1の機能ブロック図である。図2に示すように、電子カメラ1は、図1の構成に加えて、タイミングジェネレータ20、信号処理部21、A/D変換部22、バッファメモリ23、バス24、カードインターフェース25、圧縮伸長部26、画像表示部27、通信部30の各部を備える。タイミングジェネレータ20は、撮像素子14に出力パルスを供給する。また、撮像素子14で生成される画像データは、信号処理部21(撮像感度に対応するゲイン調整部を含む)およびA/D変換部22を介して、バッファメモリ23に一時記憶される。バッファメモリ23は、バス24に接続される。このバス24には、カードインターフェース25、図1で説明した制御部17、圧縮伸張部26、画像表示部27、および通信部30が接続される。カードインターフェース25は、着脱自在なメモリカード28と接続し、メモリカード28に画像を記録する。また、制御部17には、電子カメラ1のスイッチ群29(不図示のレリーズ釦などを含む)、タイミングジェネレータ20、および測光センサ12が接続される。さらに、画像表示部27は、電子カメラ1の背面に設けられたモニタ16に画像などを表示する。また、通信部30は、電子カメラ1の外部機器と相互に接続可能であり、無線または有線により各種情報の授受が可能である。
まず、フリッカに起因する帯状のムラについて簡単に説明する。図3は、輝度が均一な被写体を撮像して得られた画像について、シャッタ13のシャッタ膜の走行方向に断面を取った際のR,G,B各色の強度を示す。
図3に示すように、一部に強度(出力)の落ち込みが発生することがある。このような落ち込みは、画像全体において、図4に示すような帯状のムラとなる。この帯状ムラFは、シャッタ膜の走行方向(A方向)に略垂直な方向(B方向)に沿って発生する。なお、図4の例では、説明のために帯状ムラFを強調して表現している。
次に、撮影時の電子カメラ1の動作について、図5のフローチャートを参照して説明する。
ステップS1において、制御部17は、スイッチ群29を介してユーザにより撮像開始が指示されると、ステップS2に進む。
ステップS2において、制御部17は、各部を制御して本撮影を行い、画像を生成する。
ステップS3において、制御部17は、ステップS2で本撮影を行った際のシャッタ速度が1/100秒よりも高速であるか否かを判定する。シャッタ速度が1/100秒よりも高速である場合には、制御部17は、上述した帯状ムラが発生していると判断し、ステップS4に進む。一方、シャッタ速度が1/100秒よりも低速である場合には、制御部17は、上述した帯状ムラが発生していないと判断し、後述するステップS9に進む
ステップS4において、制御部17は、ステップS2で生成した画像から、図6に示すL1〜L5の5本のラインの画素列に対応する画素値の強度分布を、各色成分毎にそれぞれ求める。L1〜L5は、予め定められたラインであり、シャッタ膜の走行方向(A方向)に沿ったラインである。
ステップS4において、制御部17は、ステップS2で生成した画像から、図6に示すL1〜L5の5本のラインの画素列に対応する画素値の強度分布を、各色成分毎にそれぞれ求める。L1〜L5は、予め定められたラインであり、シャッタ膜の走行方向(A方向)に沿ったラインである。
なお、対象の画像が補間後の画像でない場合、撮像素子14の1ラインには、全ての色成分が含まれるとは限らない。例えば、一般的なベイア配列においては、1ラインには2色(RとG、または、BとG)の色成分しか含まれていない。したがって、5本のラインは、RおよびGが含まれるラインとBおよびGが含まれるラインとの両方が含まれることが好ましい。
次に、制御部17は、B成分について、5本のラインにおいてA方向の位置が同一である画素の画素値の平均値を求める。すなわち、ラインL1〜L5の平均値をA方向の位置毎に求める。制御部17は、G成分およびR成分についても同様に平均値を求める。図7に5本のラインに関する平均値からなる各色の強度分布の例を示す。
ステップS5において、制御部17は、ステップS4において求めた平均値の強度分布のうち、B成分の強度分布が所定の閾値Tを下回る部分(図7中Bt)を選択する。制御部17は、G成分およびR成分についても同様に閾値との比較を行って所定の閾値Tを下回る部分(図7中GtおよびRt)を選択する。
ステップS6において、制御部17は、ステップS5において選択した部分の強度分布の形状を点広がり関数(PSF:Point Spread Function)に近似する。制御部17は、この近似も、各色成分毎に行う。
ステップS7において、制御部17は、ステップS6において点広がり関数に近似した強度分布の形状に基づいて、補正量Bc,Gc,Rcをそれぞれ求める。各補正量は、ステップS5において選択した部分の強度分布の形状を、略フラットに近づけるために必要なゲインの形で求める。
なお、制御部17は、各補正量を、各色成分毎に求めるとともに、シャッタ膜の走行方向(A方向)に略垂直な方向(B方向)に沿ったラインの画素列毎に求める。これは、帯状ムラは、B方向に沿って略同様な振るまいをすると見なすことができるためである。
ステップS8において、制御部17は、ステップS7で算出した補正量に基づいて、帯状ムラを補正する。制御部17は、各色成分毎、かつ、B方向に沿ったラインの画素列毎に求めた補正量を、対応する画素の画素値に乗じることにより、帯状ムラを補正する。
ステップS9において、制御部17は、ステップS8で帯状ムラを補正した画像に対して、その他の画像処理を行う。その他の画像処理とは、公知の画像処理であり、補間処理、ホワイトバランス調整処理、色変換処理、階調変換処理などが含まれる。
ステップS10において、制御部17は、圧縮伸長部26を制御して、ステップS9で画像処理を行った画像に対する圧縮処理を行う。
ステップS11において、制御部17は、ステップS10で圧縮処理が行われた画像の画像データを、カードインターフェース25を介してメモリカード28に記録し、本撮影を終了する。
<変形例>
・手動設定について
図5のフローチャートで説明した処理の一部を、スイッチ群29を介したユーザ操作に基づいて行う構成としても良い。
・手動設定について
図5のフローチャートで説明した処理の一部を、スイッチ群29を介したユーザ操作に基づいて行う構成としても良い。
例えば、ステップS3では、帯状ムラの補正(ステップS4からステップS8に相当)を行うか否かの切り換えを自動で行う例を示したが、ユーザ操作に基づいて切り換える構成としても良い。
また、ステップS5では、補正量算出の対象となる部分の選択を自動で行う例を示したが、ユーザ操作に基づいて選択する構成としても良い。また、帯状ムラの強度(帯状ムラの幅)に関しても、ユーザ操作に基づいて指定可能な構成としても良い。
また、ステップS7において補正量を算出する際に、ユーザ操作に基づいて補正の度合いを指定可能な構成としても良い。
・ステップS3について
ステップS3では、ステップS2で本撮影を行った際のシャッタ速度が1/100秒よりも高速であるか否かを判定することにより、帯状ムラの補正(ステップS4からステップS8に相当)を行うか否かを切り換える例を示したが、このステップを省略し、帯状ムラの補正を常に行う構成としても良い。また、ホワイトバランス調整処理に関する情報などに基づいて、ステップS2で本撮影を行った際の光源を判定し、判定結果に基づいて、帯状ムラの補正を行うか否かを切り換える構成としても良い。
・ステップS4について
ステップS4では、図6に示したL1〜L5の5本のラインの画素列に対応する画素値の強度分布をそれぞれ求める例を示したが、少なくとも1本であれば本数はこの例に限定されない。また、図6の例では、複数本のラインが略等間隔に配置される例を示したが、本発明はこの例に限定されない。
・ステップS3について
ステップS3では、ステップS2で本撮影を行った際のシャッタ速度が1/100秒よりも高速であるか否かを判定することにより、帯状ムラの補正(ステップS4からステップS8に相当)を行うか否かを切り換える例を示したが、このステップを省略し、帯状ムラの補正を常に行う構成としても良い。また、ホワイトバランス調整処理に関する情報などに基づいて、ステップS2で本撮影を行った際の光源を判定し、判定結果に基づいて、帯状ムラの補正を行うか否かを切り換える構成としても良い。
・ステップS4について
ステップS4では、図6に示したL1〜L5の5本のラインの画素列に対応する画素値の強度分布をそれぞれ求める例を示したが、少なくとも1本であれば本数はこの例に限定されない。また、図6の例では、複数本のラインが略等間隔に配置される例を示したが、本発明はこの例に限定されない。
また、ステップS4では、平均値を求める例を示したが、中央値などその他の代表値を用いても良い。
また、ステップS4では、各色成分毎に画素値の平均値を求める例を示したが、各色成分の比毎に平均値を求める構成としても良い。例えば、R/GおよびB/Gについてそれぞれ平均値を求める構成としても良い。
図3に示したように、R成分は、強度(出力)の変動がほとんど無い。したがって、R成分に合わせて他の色成分を補正することにより、帯状ムラを補正することができる。すなわち、R成分に関しては、帯状ムラがほとんど発生していないと見なし、各色成分毎に画素値の平均値を求める代わりに、R/GおよびB/Gの平均値を算出する。そして、ステップS5以降は同様な処理を行う。すなわち、G成分およびB成分と、R成分との強度(出力)の比が、シャッタ13のシャッタ膜の走行方向に断面を取った際に一定になるような補正量を求めても良い。
・ステップS5について
ステップS5では、所定の閾値Tと比較することにより、補正量算出の対象となる部分を選択する例を示したが、この選択時に、ステップS2で本撮影を行った際のシャッタ速度や、シャッタ13のシャッタ膜の走行速度などを加味しても良い。
・ステップS5について
ステップS5では、所定の閾値Tと比較することにより、補正量算出の対象となる部分を選択する例を示したが、この選択時に、ステップS2で本撮影を行った際のシャッタ速度や、シャッタ13のシャッタ膜の走行速度などを加味しても良い。
また、ステップS5の処理を省略し、ステップS4において求めた平均値の強度分布全体を補正量算出の対象とする構成としても良い。
・ステップS6について
ステップS6では、ステップS5において選択した部分の強度分布の形状を点広がり関数に近似する例を示したが、ガウス分布など他の分布に近似する構成としても良い。
・ステップS6について
ステップS6では、ステップS5において選択した部分の強度分布の形状を点広がり関数に近似する例を示したが、ガウス分布など他の分布に近似する構成としても良い。
また、ステップS6の処理を省略し、ステップS5において選択した部分をそのまま補正量算出の対象とする構成としても良い。
・ステップS7について
ステップS7では、ステップS5において選択した部分の強度分布の形状が略フラットになるようなゲインを求めることにより補正量を算出する例を示したが、ステップS5において選択した部分の強度分布の形状を緩和するようなゲインを求める構成としても良い。
・ステップS7について
ステップS7では、ステップS5において選択した部分の強度分布の形状が略フラットになるようなゲインを求めることにより補正量を算出する例を示したが、ステップS5において選択した部分の強度分布の形状を緩和するようなゲインを求める構成としても良い。
また、ステップS7において補正量を算出する際に、補正の度合いを適宜変更可能な構成としても良い。例えば、ステップS2で本撮影を行った際のシャッタ速度や、シャッタ13のシャッタ膜の走行速度などに応じて、補正度合いを変更し、補正度合いに合わせた補正量を算出する構成としても良い。
また、ステップS7において補正量を算出する際に、ホワイトバランス調整処理に関する情報を加味しても良い。例えば、ステップS2で本撮影を行った際の光源を判定し、判定結果に基づいて、補正の度合いを変更しても良い。より具体的には、白色蛍光灯や水銀灯などフリッカが強い光源に関しては、補正の度合いを大きくすると良い。また、ホワイトバランス調整処理に関する情報に基づいて、帯状ムラの強度や色情報を推測し、補正量の算出に推測結果を反映させる構成としても良い。
また、ステップS7では、シャッタ膜の走行方向(A方向)に略垂直な方向(B方向)に沿ったラインの画素列毎に補正量を求める例を示したが、処理対象の画像を適宜ブロックに分割し、ブロック毎に補正量を求める構成としても良い。
さらに、ステップS7において補正量を算出する際に、補正量に限界値を設けても良い。図3に示したように、特にB成分は、強度(出力)の変動が大きく、強度が0になることもある。したがって、ステップS7において算出した補正量に基づく補正を行うことで、S/Nが悪化する場合もある。そこで、このような場合に対処するために補正量に限界値を設けても良い。この限界値は予め定められた値でも良いし、ステップS2で本撮影を行った際のシャッタ速度や、シャッタ13のシャッタ膜の走行速度などに応じて求めても良い。表1にシャッタ速度とシャッタ膜の走行速度とに応じた限界値の例を示す。
表1中の各数値は、シャッタ速度およびシャッタ膜の走行速度に応じた補正量の限界値の比率を示す。表1に示すように、シャッタ速度が高速であるほど補正量の限界値を大きくし、シャッタ速度が低速であるほど補正量の限界値を小さくする。また、シャッタ膜の走行速度が遅いほど補正量の限界値を小さくし、シャッタ膜の走行速度が速いほど補正量の限界値を大きくする。このような補正量の限界値を設けることにより、シャッタ速度およびシャッタ膜の走行速度に適した補正量を算出し、S/Nの悪化を抑えることができる。
・ステップS8について
ステップS8では、帯状ムラの補正を単独の処理として行う例を示したが、他の画像処理と組み合わせて同時に行う構成としても良い。例えば、ホワイトバランス調整処理と組み合わせて、帯状ムラの補正とホワイトバランス調整処理とを同時に行う構成としても良い。例えば、ホワイトバランス調整処理で適用するR成分のゲインをRgainとし、B成分のゲインをBgainとする。そして、ステップS7において、R成分とG成分との比であるR/G=1/Rgainとなり、かつ、B成分とR成分との比であるB/R=Rgain/Bgainとなるような補正量Bc,Gc,Rcをそれぞれ求める。そして、ステップS8においては、この補正量Bc,Gc,Rcに基づいて、帯状ムラの補正とホワイトバランス調整処理とを同時に行うことができる。
・ステップS8について
ステップS8では、帯状ムラの補正を単独の処理として行う例を示したが、他の画像処理と組み合わせて同時に行う構成としても良い。例えば、ホワイトバランス調整処理と組み合わせて、帯状ムラの補正とホワイトバランス調整処理とを同時に行う構成としても良い。例えば、ホワイトバランス調整処理で適用するR成分のゲインをRgainとし、B成分のゲインをBgainとする。そして、ステップS7において、R成分とG成分との比であるR/G=1/Rgainとなり、かつ、B成分とR成分との比であるB/R=Rgain/Bgainとなるような補正量Bc,Gc,Rcをそれぞれ求める。そして、ステップS8においては、この補正量Bc,Gc,Rcに基づいて、帯状ムラの補正とホワイトバランス調整処理とを同時に行うことができる。
以上説明したように、第1実施形態によれば、処理対象の画像において、画像の撮像時の撮像装置におけるシャッタ膜の走行方向と略垂直な方向に沿って発生する帯状ムラを検出し、検出した帯状ムラを補正する補正量を算出する。そして、算出した補正量に基づいて、画像における帯状ムラを補正する。したがって、複数のセンサを備えたり、それらを同期して制御することなく、簡単な構成でフリッカに起因する帯状のムラを補正することができる。
また、第1実施形態によれば、画像において、走行方向の少なくとも1ラインの画素列における強度分布に基づいて帯状ムラを検出するとともに、強度分布に基づいて補正量を算出する。したがって、簡単な演算で補正量を算出することができる。
また、第1実施形態によれば、処理対象の画像は、複数の色成分からなる画像であり、複数の色成分毎に、強度分布に基づいて帯状ムラを検出するとともに、複数の色成分毎に、強度分布に基づいて補正量を算出する。したがって、帯状ムラに関する特性の異なる複数の色成分毎に最適な補正量を算出することができる。
また、第1実施形態によれば、強度分布を点広がり関数またはガウス分布に近似し、近似後の強度分布に基づいて補正量を算出する。したがって、補正量算出の演算負荷を軽減することができる。
また、第1実施形態によれば、補正量に所定の限界値を設ける。したがって、S/Nの悪化を防止しつつ帯状ムラの補正を行うことができる。
また、第1実施形態によれば、画像の撮像時の撮像装置におけるシャッタ速度とシャッタ膜の走行速度との少なくとも一方に基づいて、上述した限界値を決定する。したがって、シャッタ速度やシャッタ膜の走行速度などに応じた最適な限界値を適用することができる。
また、第1実施形態によれば、画像において、走行方向の複数のラインの画素列毎に、強度分布に基づいて帯状ムラを検出するとともに、走行方向と略垂直な方向に沿ったラインの画素列毎に、強度分布に基づいて補正量を算出する。したがって、従来のように画像全面に対して一律で補正を適用する場合に比べて、より精度の高い補正を実現することができる。
また、第1実施形態によれば、画像に関するホワイトバランス評価値を算出し、算出したホワイトバランス評価値に基づいて、帯状ムラの強度と色情報との少なくとも一方を推測し、推測結果に基づいて補正量を算出する。したがって、被写体に応じた最適な補正量を算出することができる。
また、第1実施形態によれば、画像に関するホワイトバランス評価値を算出し、補正量とホワイトバランス評価値とに基づいて、帯状ムラの補正と画像に対するホワイトバランス調整処理とを同時に行うための第2の補正量を算出する。そして、第2の補正量に基づいて、帯状ムラの補正と画像に対するホワイトバランス調整処理とを同時に行う。したがって、ホワイトバランス調整処理と合わせて最適な帯状ムラの補正を実現することができる。
また、第1実施形態によれば、帯状ムラの補正の度合いを指定するユーザ操作を受け付け、受け付けた補正の度合いに応じた補正量を算出する。したがって、帯状ムラの過補正を防止することができる。
なお、第1実施形態では、シャッタ13は、撮像素子14の前面に配置されたフォーカルプレーンシャッタである例を示したが、ローリングシャッタについても本発明を同様に適用することができる。ただし、この場合には、撮像素子14はCMOSである。
また、第1実施形態では、一眼レフタイプの電子カメラを例に挙げて説明したが、光学ファインダや光路分岐のためのクイックリターンミラーなどを備えない、いわゆるコンパクトタイプの電子カメラにも本発明を同様に適用することができる。
また、第1実施形態では、本撮影により生成した画像の一部から帯状ムラに関する情報を取得して補正する例を示したが、撮像素子14中に帯状ムラに関する情報を取得するための特殊画素を設ける構成としても良い。例えば、撮像素子14において、シャッタ13のシャッタ膜の走行方向に沿って、数画素に入射光を拡散する部材(例えば、拡散板など)をとりつけた特殊画素を設ける。そして、この特殊画素の出力に基づいて帯状ムラに関する情報を取得して補正する構成としても良い。なお、この特殊画素は、撮像素子14の周辺部に設けるのが好ましい。
<第2実施形態>
以下、図面を用いて本発明の第2実施形態について説明する。なお、第2実施形態では、コンピュータを例に挙げて説明を行う。
以下、図面を用いて本発明の第2実施形態について説明する。なお、第2実施形態では、コンピュータを例に挙げて説明を行う。
図8は、第2実施形態のコンピュータ100の構成を示す図である。コンピュータ100は、図8に示すように、取得部101と記録部112と画像表示部113と操作部114と制御部115とを備える。取得部101は、有線、無線、記録媒体用のドライブなどを介して、電子カメラなどの外部機器や記録媒体から画像データを取得する。記録部112は、画像データなどを記録する。画像表示部113は、液晶表示素子などの画像表示素子を備える。操作部114は、電源釦、マウス、キーボードなどを含む。制御部115は、第1実施形態の制御部17と同様に、画像処理を行う他各部を統合的に制御する。また、制御部115は、各処理を実行するためのプログラムを予め記録している。
CPU119は、取得部101により取得した画像や、記録部115に記録された画像に対して、第1実施形態の図5のフローチャートのステップS4からステップS11で説明した処理を行うためのプログラムを記録している。
そして、制御部115は、第1実施形態の図5のフローチャートのステップS4からステップS11で説明した処理と同様の処理を行う。ただし、取得部101は、必要に応じて、処理対象の画像が生成された際のシャッタ速度、シャッタ膜の走行速度、ホワイトバランス調整処理に関する評価値などを処理対象の画像と対応づけて取得する。
また、第1実施形態の変形例で説明したように、処理の一部を、ユーザ操作に基づいて行う場合には、画像表示部113を活用すると良い。
例えば、ステップS5において、補正量算出の対象となる部分の選択をユーザ操作に基づいて行う場合には、例えば、図9に示すように、ユーザが領域A1に示すような領域を指定することにより、帯状ムラの強度(帯状ムラの幅)を指定することができる。同様に、図7に示した各色の強度分布に相当するグラフを画像表示部113に表示し、このグラフ上で帯状ムラの強度(帯状ムラの幅)、補正量算出の対象となる部分、補正の度合いなどを指定可能な構成としても良い。
上記のように、第2実施形態のコンピュータ100によれば、第1実施形態と同様の効果を得ることができる。
なお、上記各実施形態では、圧縮前のいわゆるRAWデータに相当する画像に対して帯状ムラを補正する例を示したが、JPEG圧縮などが施された画像に対しても同様に帯状ムラを補正する処理を行うことができる。
1…電子カメラ,2…撮影レンズ,4…クイックリターンミラー,13…シャッタ,14…撮像素子,17・115…制御部,29…スイッチ群,100…コンピュータ,113…画像表示部,114…操作部
Claims (13)
- 処理対象の画像において、前記画像の撮像時の撮像装置におけるシャッタ膜の走行方向と略垂直な方向に沿って発生する帯状ムラを検出する検出部と、
前記帯状ムラを補正する補正量を算出する算出部と、
前記補正量に基づいて、前記画像における前記帯状ムラを補正する補正部と
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記検出部は、前記画像において、前記走行方向の少なくとも1ラインの画素列における強度分布に基づいて前記帯状ムラを検出し、
前記算出部は、前記強度分布に基づいて前記補正量を算出する
ことを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置において、
前記画像は、複数の色成分からなる画像であり、
前記検出部は、前記複数の色成分ごとに、前記強度分布に基づいて前記帯状ムラを検出し、
前記算出部は、前記複数の色成分ごとに、前記強度分布に基づいて前記補正量を算出する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記算出部は、前記強度分布を点広がり関数またはガウス分布に近似し、近似後の前記強度分布に基づいて前記補正量を算出する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記算出部は、前記補正量に所定の限界値を設ける
ことを特徴とする画像処理装置。 - 請求項5に記載の画像処理装置において、
前記算出部は、前記画像の撮像時の撮像装置におけるシャッタ速度とシャッタ膜の走行速度との少なくとも一方に基づいて、前記限界値を決定する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記検出部は、前記画像において、前記走行方向の複数のラインの画素列ごとに、前記強度分布に基づいて前記帯状ムラを検出し、
前記算出部は、前記走行方向と略垂直な方向に沿ったラインの画素列ごとに、前記強度分布に基づいて前記補正量を算出する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記画像に関するホワイトバランス評価値を算出する第2の算出部をさらに備え、
前記算出部は、前記ホワイトバランス評価値に基づいて、前記帯状ムラの強度と色情報との少なくとも一方を推測し、推測結果に基づいて前記補正量を算出する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記画像に関するホワイトバランス評価値を算出する第2の算出部と、
前記補正量と前記ホワイトバランス評価値とに基づいて、前記帯状ムラの補正と前記画像に対するホワイトバランス調整処理とを同時に行うための第2の補正量を算出する第3の算出部をさらに備え、
前記補正部は、前記第2の補正量に基づいて、前記帯状ムラの補正と前記画像に対するホワイトバランス調整処理とを同時に行う
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記補正部による補正の度合いを指定するユーザ操作を受け付ける受付部をさらに備え、
前記算出部は、前記補正の度合いに応じた前記補正量を算出する
ことを特徴とする画像処理装置。 - 請求項1から請求項10の何れか1項に記載の画像処理装置と、
被写体像を撮像して画像を生成する撮像部とを備えた撮像装置であって、
前記検出部は、前記撮像部により生成した前記画像において、撮像時のシャッタ膜の走行方向と略垂直な方向に沿って発生する帯状ムラを検出し、
前記算出部は、前記補正量を算出し、
前記補正部は、前記補正量に基づいて、前記画像における前記帯状ムラを補正する
ことを特徴とする撮像装置。 - 処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、
前記画像において、前記画像の撮像時の撮像装置におけるシャッタ膜の走行方向と略垂直な方向に沿って発生する帯状ムラを検出する検出ステップと、
前記帯状ムラを補正する補正量を算出する算出ステップと、
前記補正量に基づいて、前記画像における前記帯状ムラを補正する補正ステップと
を備えることを特徴とする画像処理プログラム。 - 請求項12に記載の画像処理プログラムにおいて、
前記画像を表示する表示ステップと、
前記表示ステップにより表示された前記画像に対して、前記帯状ムラの強度と幅との少なくとも一方を指定するユーザ操作を受け付ける受付ステップとをさらに備え、
前記算出ステップでは、前記受付ステップにより受付けた内容に基づいて、前記補正量を算出する
ことを特徴とする画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008178221A JP2010021645A (ja) | 2008-07-08 | 2008-07-08 | 画像処理装置、撮像装置、および画像処理プログラム |
US12/457,632 US8502884B2 (en) | 2008-07-08 | 2009-06-17 | Image processing apparatus, image-capturing apparatus, and recording medium storing image processing program |
EP09008220A EP2146501B1 (en) | 2008-07-08 | 2009-06-23 | Image processing apparatus, image-capturing apparatus, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008178221A JP2010021645A (ja) | 2008-07-08 | 2008-07-08 | 画像処理装置、撮像装置、および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010021645A true JP2010021645A (ja) | 2010-01-28 |
Family
ID=41136741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008178221A Withdrawn JP2010021645A (ja) | 2008-07-08 | 2008-07-08 | 画像処理装置、撮像装置、および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8502884B2 (ja) |
EP (1) | EP2146501B1 (ja) |
JP (1) | JP2010021645A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012142853A (ja) * | 2011-01-05 | 2012-07-26 | Nikon Corp | 撮像装置および画像処理制御プログラム |
JP2013518474A (ja) * | 2010-01-22 | 2013-05-20 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105120133B (zh) * | 2015-09-14 | 2018-05-25 | 浙江大华技术股份有限公司 | 一种消除图像闪烁现象方法及装置 |
US11055832B2 (en) * | 2019-07-30 | 2021-07-06 | Qualcomm Incorporated | Image banding correction in high dynamic range imaging |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2284318B (en) | 1993-11-26 | 1997-11-05 | Sony Uk Ltd | Method and apparatus for electronic shutter speed control |
JP2000023040A (ja) | 1998-06-30 | 2000-01-21 | Toshiba Corp | 固体撮像装置及びシステムオンチップ型固体撮像素子 |
JP4423889B2 (ja) * | 2002-11-18 | 2010-03-03 | ソニー株式会社 | フリッカ低減方法、撮像装置およびフリッカ低減回路 |
JP4487640B2 (ja) * | 2004-06-01 | 2010-06-23 | ソニー株式会社 | 撮像装置 |
US7460782B2 (en) * | 2004-06-08 | 2008-12-02 | Canon Kabushiki Kaisha | Picture composition guide |
JP4207922B2 (ja) * | 2005-04-19 | 2009-01-14 | ソニー株式会社 | フリッカ補正方法、フリッカ補正装置及び撮像装置 |
US7508994B2 (en) | 2005-12-05 | 2009-03-24 | Eastman Kodak Company | Method for detecting streaks in digital images |
US8068148B2 (en) * | 2006-01-05 | 2011-11-29 | Qualcomm Incorporated | Automatic flicker correction in an image capture device |
JP2008109370A (ja) | 2006-10-25 | 2008-05-08 | Sanyo Electric Co Ltd | 画像補正装置及び方法並びに撮像装置 |
CN100473119C (zh) | 2006-11-07 | 2009-03-25 | 北京中星微电子有限公司 | 消除曝光闪烁的方法及装置 |
JP4971956B2 (ja) * | 2007-11-27 | 2012-07-11 | キヤノン株式会社 | フリッカ補正装置、フリッカ補正方法並びに撮像装置 |
-
2008
- 2008-07-08 JP JP2008178221A patent/JP2010021645A/ja not_active Withdrawn
-
2009
- 2009-06-17 US US12/457,632 patent/US8502884B2/en active Active
- 2009-06-23 EP EP09008220A patent/EP2146501B1/en not_active Not-in-force
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013518474A (ja) * | 2010-01-22 | 2013-05-20 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア |
JP2012142853A (ja) * | 2011-01-05 | 2012-07-26 | Nikon Corp | 撮像装置および画像処理制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2146501A1 (en) | 2010-01-20 |
US20100007900A1 (en) | 2010-01-14 |
US8502884B2 (en) | 2013-08-06 |
EP2146501B1 (en) | 2013-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10567722B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and recording medium | |
US7876367B2 (en) | Imaging apparatus | |
US8493458B2 (en) | Image capture apparatus and image capturing method | |
US9838625B2 (en) | Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal | |
US7990431B2 (en) | Calculation method for the correction of white balance | |
US8294795B2 (en) | Image capturing apparatus and medium storing image processing program | |
US9854178B2 (en) | Image pickup apparatus with flicker detection and having plurality of unit pixel areas, control method therefor, and storage medium | |
US8237811B2 (en) | Imaging apparatus, control method thereof, and program | |
US10986262B2 (en) | Imaging apparatus, control method, and non-transitory storage medium | |
US8913122B2 (en) | Image-acquisition device for microscope and microscope observation method | |
JP2012019397A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2002034053A (ja) | 電子カメラ | |
US8872963B2 (en) | Imaging apparatus and imaging method | |
JP2009219096A (ja) | 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム | |
JP2010072619A (ja) | 露出演算装置およびカメラ | |
JP2010021645A (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
US20110128404A1 (en) | Imaging apparatus, image processing program, image processing apparatus, and image processing method | |
JP4396225B2 (ja) | ホワイトバランス制御装置及び電子機器 | |
JP6752688B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2010172013A (ja) | 電子カメラおよび画像処理プログラム | |
US8121473B2 (en) | Imaging apparatus | |
JP2023090494A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2013040996A (ja) | 露出演算装置およびカメラ | |
JP5772096B2 (ja) | 撮像装置 | |
JP2013041059A (ja) | 露出演算装置およびカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111004 |