JP2020047223A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2020047223A JP2020047223A JP2018177664A JP2018177664A JP2020047223A JP 2020047223 A JP2020047223 A JP 2020047223A JP 2018177664 A JP2018177664 A JP 2018177664A JP 2018177664 A JP2018177664 A JP 2018177664A JP 2020047223 A JP2020047223 A JP 2020047223A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- region
- unit
- interest
- update rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000012937 correction Methods 0.000 claims abstract description 87
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 73
- 239000013589 supplement Substances 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 abstract description 18
- 239000000284 extract Substances 0.000 abstract description 4
- 238000004904 shortening Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000011946 reduction process Methods 0.000 description 8
- 238000007792 addition Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】画像データを補正するときの処理時間を短縮できるようにすることを目的とする。【解決手段】画像処理装置は、画像データの着目領域に類似する類似領域を抽出する抽出手段と、着目領域の位置を第1の更新法則にしたがって更新し、更新した着目領域の位置ごとに抽出手段により抽出される類似領域の画素の補正と、更新した位置における着目領域の画素の補正とを行う第1の補正手段と、第1の補正手段による補正が終了した後に第1の更新法則を、第1の補正手段による補正を補う第2の更新法則に変更する変更手段と、変更手段により変更された前記第2の更新法則にしたがって再度、第1の補正手段による補正を行う反復手段と、変更手段により更新法則が変更される前に行われた第1の補正手段による補正および反復手段における第1の補正手段による補正に基づいて、画像データの画素を補正する第2の補正手段と、を有する。【選択図】図5
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関するものである。特に、画像データを補正する技術に関するものである。
近年、デジタルカメラ等の画像処理装置において、ノイズ低減処理の高性能化が進んでいる。ある着目画素のノイズを十分に低減させるように補正するには、その着目画素周辺の広い範囲の画素情報も用いて処理を行う必要がある。また、ノイズを低減しつつテクスチャの情報を失わないようにする必要があり、これらに関して様々な手法が提案されている。
特許文献1は、画像領域を抽出した画像パッチの集合を生成し、その集合に属する全ての画像パッチに対して、画像パッチ毎に異なるパラメータのノイズ低減処理を行い、デノイズ後の画像パッチを合成することにより、デノイズされた画像を生成している。
しかしながら、特許文献1では、各画像パッチ集合に属する全ての画像パッチに対して平均ベクトルや分散共分散行列、分散共分散行列の固有ベクトル等の算出処理を行う必要があり、計算量が膨大になってしまい、処理時間を要してしまうという問題がある。
本発明は、上述したような問題点に鑑み、画像データを補正するときの処理時間を短縮できるようにすることを目的とする。
本発明は、上述したような問題点に鑑み、画像データを補正するときの処理時間を短縮できるようにすることを目的とする。
本発明の画像処理装置は、画像データの着目領域に類似する類似領域を抽出する抽出手段と、着目領域の位置を第1の更新法則にしたがって更新し、更新した着目領域の位置ごとに前記抽出手段により抽出される類似領域の画素の補正と、更新した位置における着目領域の画素の補正とを行う第1の補正手段と、前記第1の補正手段による補正が終了した後に前記第1の更新法則を、前記第1の補正手段による補正を補う第2の更新法則に変更する変更手段と、前記変更手段により変更された前記第2の更新法則にしたがって再度、前記第1の補正手段による補正を行う反復手段と、前記変更手段により更新法則が変更される前に行われた前記第1の補正手段による補正および前記反復手段における前記第1の補正手段による補正に基づいて、前記画像データの画素を補正する第2の補正手段と、を有する。
本発明によれば、画像データを補正するときの処理時間を短縮させることができる。
以下、図面を参照して本発明の好適な実施形態について説明する。
<第1の実施形態>
本実施形態では、画像処理装置がカメラ等の撮像装置である場合について説明する。
図1は、撮像装置100の構成の一例を示すブロック図である。
撮像装置100は、制御部101、ROM102、RAM103、光学系104、撮像部105、A/D変換部106、画像処理部107、記録部108、表示部109等により構成される。
<第1の実施形態>
本実施形態では、画像処理装置がカメラ等の撮像装置である場合について説明する。
図1は、撮像装置100の構成の一例を示すブロック図である。
撮像装置100は、制御部101、ROM102、RAM103、光学系104、撮像部105、A/D変換部106、画像処理部107、記録部108、表示部109等により構成される。
制御部101は、例えばCPUであり、撮像装置100全体を制御する。制御部101が、撮像装置100の上述した各構成部を動作させるプログラムをROM102から読み出し、RAM103に展開して実行することにより撮像装置100全体を制御する。ROM102は、電気的に消去・記録可能な不揮発性メモリである。ROM102は、撮像装置100の各構成部を動作させるプログラムに加えて、各構成部を動作させるのに必要なパラメータ等を記憶する。RAM103は、書き換え可能な揮発性メモリである。RAM103は、撮像装置100の各構成部が動作することで出力されたデータの一時的な記憶領域として用いられる。
光学系104は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を撮像部105に結像する。撮像部105は、例えば、CCDやCMOSセンサ等の撮像素子である。撮像部105は、光学系104によって結像された光学像を光電変換し、得られたアナログ画像信号をA/D変換部106に出力する。本実施形態の撮像素子は原色RGBのベイヤー配列であるものとする。A/D変換部106は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データをRAM103に出力する。
画像処理部107は、RAM103に記憶されている画像データに対して、ホワイトバランス調整、ノイズ低減、色補間(ディベイヤー)、ガンマ処理等の様々な画像処理を適用する。
記録部108は着脱可能なメモリカード等であり、画像処理部107で処理された画像がRAM103を介して記録画像として記録される。
表示部109は、LCD等の表示デバイスであり、RAM103および記録部108に記録した画像やユーザからの指示を受け付けるためのユーザインターフェイスを表示する。
記録部108は着脱可能なメモリカード等であり、画像処理部107で処理された画像がRAM103を介して記録画像として記録される。
表示部109は、LCD等の表示デバイスであり、RAM103および記録部108に記録した画像やユーザからの指示を受け付けるためのユーザインターフェイスを表示する。
図2は、画像処理部107の機能構成の一例を示すブロック図である。
画像処理部107は、ホワイトバランス処理部201、ノイズ低減処理部202、現像処理部203等を有する。画像処理部107の機能構成は、制御部101が例えばROMに記録されたプログラムを実行することにより構成される。
ホワイトバランス処理部201は、RAM103からベイヤー画像信号を受け取り、RGBそれぞれの色信号に対してホワイトバランスのゲインをかける。
ノイズ低減処理部202は、ホワイトバランス処理部201から出力されたベイヤー画像信号に対して、補正処理としてのノイズ低減処理を行う。ノイズ低減処理については後述する。
現像処理部203は、ノイズ低減処理部202から出力されたベイヤー画像信号に対して、色補間処理、ガンマ処理、マトリクス処理、圧縮処理等を行い、最終的な記録画像を生成する。生成された記録画像はRAM103を介して記録部108に記録される。
画像処理部107は、ホワイトバランス処理部201、ノイズ低減処理部202、現像処理部203等を有する。画像処理部107の機能構成は、制御部101が例えばROMに記録されたプログラムを実行することにより構成される。
ホワイトバランス処理部201は、RAM103からベイヤー画像信号を受け取り、RGBそれぞれの色信号に対してホワイトバランスのゲインをかける。
ノイズ低減処理部202は、ホワイトバランス処理部201から出力されたベイヤー画像信号に対して、補正処理としてのノイズ低減処理を行う。ノイズ低減処理については後述する。
現像処理部203は、ノイズ低減処理部202から出力されたベイヤー画像信号に対して、色補間処理、ガンマ処理、マトリクス処理、圧縮処理等を行い、最終的な記録画像を生成する。生成された記録画像はRAM103を介して記録部108に記録される。
次に、本実施形態のノイズ低減処理部202の動作について説明する。
図3は、ノイズ低減処理部202の動作の一例を示すフローチャートである。図3のフローチャートは、制御部101が例えばROM102に記録されたプログラムを実行することにより実現される。
S301では、ノイズ低減処理部202は入力されたベイヤー画像信号をR、Gr、Gb、Bの色ごとの画像信号に分離する。ここで、図4(a)は、ノイズ低減処理部202に入力されたベイヤー画像信号の一例を示す図である。図4(b)は、色ごとに分離した画像信号の一例を示す図である。
S302では、ノイズ低減処理部202は分離した4つの画像信号それぞれに対して、ノイズ低減処理を行う。
S303では、ノイズ低減処理部202はノイズ低減処理後の4つの画像信号をベイヤー配列の画像信号に戻して、ノイズ低減処理後のベイヤー画像信号を生成する。
図3は、ノイズ低減処理部202の動作の一例を示すフローチャートである。図3のフローチャートは、制御部101が例えばROM102に記録されたプログラムを実行することにより実現される。
S301では、ノイズ低減処理部202は入力されたベイヤー画像信号をR、Gr、Gb、Bの色ごとの画像信号に分離する。ここで、図4(a)は、ノイズ低減処理部202に入力されたベイヤー画像信号の一例を示す図である。図4(b)は、色ごとに分離した画像信号の一例を示す図である。
S302では、ノイズ低減処理部202は分離した4つの画像信号それぞれに対して、ノイズ低減処理を行う。
S303では、ノイズ低減処理部202はノイズ低減処理後の4つの画像信号をベイヤー配列の画像信号に戻して、ノイズ低減処理後のベイヤー画像信号を生成する。
次に、上述したS302でのノイズ低減処理について詳細に説明する。
図5は、S302でのノイズ低減処理の動作の一例を示すフローチャートである。
S501では、ノイズ低減処理部202は着目領域の位置を移動して更新するときの更新方法(更新規則)を決定する。本実施形態では、S501〜S507までの処理を周回(ループ)して繰り返す場合に、着目領域の更新方法を動的に変更することを特徴とする。最初(1周目)にS501に進む場合には、ノイズ低減処理部202は着目領域の更新方法として、水平、垂直にそれぞれ3画素おきに着目領域の位置を移動して更新する更新方法を決定する。
図5は、S302でのノイズ低減処理の動作の一例を示すフローチャートである。
S501では、ノイズ低減処理部202は着目領域の位置を移動して更新するときの更新方法(更新規則)を決定する。本実施形態では、S501〜S507までの処理を周回(ループ)して繰り返す場合に、着目領域の更新方法を動的に変更することを特徴とする。最初(1周目)にS501に進む場合には、ノイズ低減処理部202は着目領域の更新方法として、水平、垂直にそれぞれ3画素おきに着目領域の位置を移動して更新する更新方法を決定する。
S502では、ノイズ低減処理部202は着目領域の位置を更新する。なお、着目領域の初期位置は、例えば画像データの左上画素に設定する。初期位置以降、ノイズ低減処理部202はS502に進む度に着目領域の更新方法に基づいて、着目領域の位置を水平に3画素おきに右に移動して更新する。なお、着目領域の位置が画像の右端まで到ると、次にS502に進んだときにノイズ低減処理部202は着目領域の位置を垂直に3画素下に移動して更新し、次にS502に進む度に同様に着目領域の位置を水平に3画素おきに右に移動して更新する。
S503では、ノイズ低減処理部202は着目領域に類似する類似領域を抽出する。この処理は、抽出手段による処理の一例に対応する。ここで、S502において図6(a)に示す位置に着目領域を更新したとする。ノイズ低減処理部202は着目領域の基準画素を中心に、類似領域の探索範囲を設定する。図6(b)では着目領域の基準画素を中心として、9×9の範囲に類似領域の探索範囲が設定されている。
ノイズ低減処理部202は類似領域の探索範囲内で着目領域と類似度の高い領域を抽出する。具体的に、ノイズ低減処理部202は図6(c)に示すように、探索範囲内に着目領域と同じサイズの類似度判定領域を設定する。次に、ノイズ低減処理部202は例えば、下記の式(1)を用いて着目領域と類似度判定領域との差分絶対値和を算出する。ここで、式(1)のDは差分絶対値和であり、Nは着目領域および類似度判定領域の画素数であり、Yiは着目領域の画素値であり、Ysは類似度判定領域の画素値である。差分絶対値和が小さいほど着目領域と類似度判定領域との間の類似度が高いことになる。
ノイズ低減処理部202は類似領域の探索範囲内で着目領域と類似度の高い領域を抽出する。具体的に、ノイズ低減処理部202は図6(c)に示すように、探索範囲内に着目領域と同じサイズの類似度判定領域を設定する。次に、ノイズ低減処理部202は例えば、下記の式(1)を用いて着目領域と類似度判定領域との差分絶対値和を算出する。ここで、式(1)のDは差分絶対値和であり、Nは着目領域および類似度判定領域の画素数であり、Yiは着目領域の画素値であり、Ysは類似度判定領域の画素値である。差分絶対値和が小さいほど着目領域と類似度判定領域との間の類似度が高いことになる。
ここで、ノイズ低減処理部202は差分絶対値和Dの値が所定の閾値より小さい類似度判定領域を類似領域として抽出する。なお、本実施形態では、簡易的に差分絶対値和を用いて類似領域を判定しているが、領域間の類似度を評価できる他の手法を用いて類似領域を判定してもよい。
ノイズ低減処理部202は着目領域と類似度判定領域との類似度を判定した後、図6(d)に示す類似領域の探索範囲内で類似度判定領域を移動させながら、着目領域と類似度判定領域との類似度を判定していく。本実施形態のように、類似領域の探索範囲が9×9の画素サイズ、着目領域および類似度判定領域が3×3の画素サイズの場合には、類似度判定領域の基準画素が7×7の範囲で移動することになる。結果として、ノイズ低減処理部202は着目領域を除いた計48回(7×7−1)の類似度を判定することになる。
ノイズ低減処理部202は着目領域と類似度判定領域との類似度を判定した後、図6(d)に示す類似領域の探索範囲内で類似度判定領域を移動させながら、着目領域と類似度判定領域との類似度を判定していく。本実施形態のように、類似領域の探索範囲が9×9の画素サイズ、着目領域および類似度判定領域が3×3の画素サイズの場合には、類似度判定領域の基準画素が7×7の範囲で移動することになる。結果として、ノイズ低減処理部202は着目領域を除いた計48回(7×7−1)の類似度を判定することになる。
S504では、ノイズ低減処理部202は着目領域と類似領域に対してノイズ低減処理を行う。具体的に、ノイズ低減処理部202は例えば、下記の式(2)を用いて着目領域とS503において抽出した類似領域との画素の平均値を算出する。ここで、式(2)のYNRはノイズ低減処理後の画素値であり、Mは類似領域と判定された領域の個数であり、Yiは着目領域の画素値であり、Ysは類似領域の画素値である。平均値を算出する処理は、着目領域と類似領域との位置が対応する画素ごとに行われる。
なお、本実施形態では、平均値を算出する処理を用いて簡易的なノイズ低減処理を行っているが、着目領域と類似領域の画素値を用いた他の手法を用いて低減処理を行ってもよい。
S505では、ノイズ低減処理部202は着目領域と類似領域の画素値をノイズ低減処理後の画素値に置き換える。ノイズ低減処理部202は置き換えた画素値を入力画像とは別の蓄積画像として記憶する。ここで、図7(a)に示すように、着目領域に対して3つの類似領域1〜類似領域3が抽出され、類似領域1および類似領域2の画素の一部が着目領域に重なっている場合について説明する。ノイズ低減処理部202は着目領域と類似領域が重なっている画素では、重なっている枚数分の画素値を加算して蓄積画像を生成する。また、ノイズ低減処理部202は図7(b)に示すように、画素の位置ごとにノイズ低減処理後の画素値が加算された回数を記憶する。
S505では、ノイズ低減処理部202は着目領域と類似領域の画素値をノイズ低減処理後の画素値に置き換える。ノイズ低減処理部202は置き換えた画素値を入力画像とは別の蓄積画像として記憶する。ここで、図7(a)に示すように、着目領域に対して3つの類似領域1〜類似領域3が抽出され、類似領域1および類似領域2の画素の一部が着目領域に重なっている場合について説明する。ノイズ低減処理部202は着目領域と類似領域が重なっている画素では、重なっている枚数分の画素値を加算して蓄積画像を生成する。また、ノイズ低減処理部202は図7(b)に示すように、画素の位置ごとにノイズ低減処理後の画素値が加算された回数を記憶する。
S506では、ノイズ低減処理部202はS501で決定した更新方法による着目領域の位置の更新が、画像全体に亘って完了したか否かを判定する。完了していない場合にはS502に戻り、ノイズ低減処理部202は着目領域の位置を更新して、S503〜S505の処理を繰り返す。この処理は、第1の補正手段による処理の一例に対応する。
図7(c)は、S502に戻り着目領域の位置を水平方向に3画素右方向に移動して更新し、S503において2つの類似領域が抽出されている状態を示している。また、図7(d)は、抽出された類似領域および着目領域の画素の位置ごとにノイズ低減処理後の画素値が加算された回数を、図7(b)の回数に加算した結果を示している。
このように着目領域の位置を更新して、ノイズ低減処理を繰り返し行うことにより、各画素位置にノイズ低減処理後の画素値が加算されて蓄積画像が更新されると共に、画素値を加算した回数が更新される。
図7(c)は、S502に戻り着目領域の位置を水平方向に3画素右方向に移動して更新し、S503において2つの類似領域が抽出されている状態を示している。また、図7(d)は、抽出された類似領域および着目領域の画素の位置ごとにノイズ低減処理後の画素値が加算された回数を、図7(b)の回数に加算した結果を示している。
このように着目領域の位置を更新して、ノイズ低減処理を繰り返し行うことにより、各画素位置にノイズ低減処理後の画素値が加算されて蓄積画像が更新されると共に、画素値を加算した回数が更新される。
上述したS506においてノイズ低減処理部202はS501で決定した更新方法による着目領域の位置の更新が画像全体に亘って完了した場合にはS507に進む。
S507では、ノイズ低減処理部202はノイズ低減処理を行った度合いに基づいて、更新方法を変更するか否かを判定する。この処理は、判定手段による処理の一例に対応する。具体的には、ノイズ低減処理部202は画像内で着目領域の基準画素として選ばれていない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が閾値よりも少ない画素があるか否かを判定する。すなわち、S507ではノイズ低減処理の効果が小さい画素が残っているか否かが判定される。
S507では、ノイズ低減処理部202はノイズ低減処理を行った度合いに基づいて、更新方法を変更するか否かを判定する。この処理は、判定手段による処理の一例に対応する。具体的には、ノイズ低減処理部202は画像内で着目領域の基準画素として選ばれていない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が閾値よりも少ない画素があるか否かを判定する。すなわち、S507ではノイズ低減処理の効果が小さい画素が残っているか否かが判定される。
S507において着目領域の基準画素として選ばれていない画素で、かつ、画素値を加算した回数が閾値よりも少ない画素がない場合にはS508に進む。ここで、S508に進む場合とは、画像全体に亘ってノイズ低減処理が施され画像のノイズ低減の効果が図られたと想定される状態である。
S508では、ノイズ低減処理部202は加算した画素値を、加算した回数で除算することで最終的なノイズ低減処理後の画像信号を生成する。この処理は、第2の補正手段による処理の一例に対応する。
S508では、ノイズ低減処理部202は加算した画素値を、加算した回数で除算することで最終的なノイズ低減処理後の画像信号を生成する。この処理は、第2の補正手段による処理の一例に対応する。
一方、S507において着目領域の基準画素として選ばれていない画素で、かつ、画素値を加算した回数が閾値よりも少ない画素がある場合にはS501に戻る。ここで、S501に戻る場合には、画像全体に亘ってノイズ低減処理が施されずに、画像のノイズ低減の効果が十分ではないと想定される状態である。
2周目以降においてS501に進む場合、ノイズ低減処理部202は着目領域の更新方法をいままでのノイズ低減処理を補う更新方法に決定する。ここでは、2周目以降の着目領域の更新方法として、ノイズ低減処理部202はノイズ低減処理が施された度合いが低い画素を優先して、着目領域の位置を更新する更新方法に変更する。この処理は、変更手段による処理の一例に対応する。ノイズ低減処理部202は着目領域の更新方法を変更した後に再度、S502〜S506を経てノイズ低減処理を行う。この処理は、反復手段により処理の一例に対応する。
2周目以降においてS501に進む場合、ノイズ低減処理部202は着目領域の更新方法をいままでのノイズ低減処理を補う更新方法に決定する。ここでは、2周目以降の着目領域の更新方法として、ノイズ低減処理部202はノイズ低減処理が施された度合いが低い画素を優先して、着目領域の位置を更新する更新方法に変更する。この処理は、変更手段による処理の一例に対応する。ノイズ低減処理部202は着目領域の更新方法を変更した後に再度、S502〜S506を経てノイズ低減処理を行う。この処理は、反復手段により処理の一例に対応する。
図8は、S501からS507の処理を周回(ループ)するときの、周回ごとの更新方法の一例を示す図である。図8に示す更新方法は、予め例えばROM102に記憶されている。
1周目は、上述したように、水平、垂直にそれぞれ3画素おきに着目領域の位置を移動して更新する更新方法である。この更新方法は、第1の更新法則の一例に対応する。
2周目以降の更新方法は、いままでS501〜S507を経て行ったノイズ低減処理を補う更新方法である。
2周目は、1周目で着目領域の基準画素として選ばれていない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が1回よりも少ない、つまり0回の画素を着目領域の基準画素とするように、着目領域の位置を更新する更新方法である。この更新方法は、第2の更新方法の一例に対応する。その後、2周目のS505に進むと、ノイズ低減処理部202はノイズ低減処理を行った結果である、ノイズ低減処理後の画素値および加算した回数を、1周目のノイズ低減処理の結果にそれぞれ加算する。
1周目は、上述したように、水平、垂直にそれぞれ3画素おきに着目領域の位置を移動して更新する更新方法である。この更新方法は、第1の更新法則の一例に対応する。
2周目以降の更新方法は、いままでS501〜S507を経て行ったノイズ低減処理を補う更新方法である。
2周目は、1周目で着目領域の基準画素として選ばれていない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が1回よりも少ない、つまり0回の画素を着目領域の基準画素とするように、着目領域の位置を更新する更新方法である。この更新方法は、第2の更新方法の一例に対応する。その後、2周目のS505に進むと、ノイズ低減処理部202はノイズ低減処理を行った結果である、ノイズ低減処理後の画素値および加算した回数を、1周目のノイズ低減処理の結果にそれぞれ加算する。
3周目は、2周目までに着目領域の基準画素として選ばれていない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が2回よりも少ない、つまり1回の画素を着目領域の基準画素とするように、着目領域の位置を更新する更新方法である。この更新方法は、第3の更新方法の一例に対応する。その後、3周目のS505に進むと、ノイズ低減処理部202はノイズ低減処理を行った結果である、ノイズ低減処理後の画素値および加算した回数を、2周目までのノイズ低減処理の結果にそれぞれ加算する。
同様に、4回目以降の着目領域の更新方法についても、ノイズ低減処理部202は加算した回数を変えた更新方法に変更する。このように、着目領域の位置を更新するときの更新方法を変更することにより、ノイズ低減処理後の画素値を加算した回数が少なくノイズ低減の効果が低い画素が減少する。
同様に、4回目以降の着目領域の更新方法についても、ノイズ低減処理部202は加算した回数を変えた更新方法に変更する。このように、着目領域の位置を更新するときの更新方法を変更することにより、ノイズ低減処理後の画素値を加算した回数が少なくノイズ低減の効果が低い画素が減少する。
ノイズ低減処理部202は、着目領域の基準画素に選ばれたことがない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が閾値よりも少ない画素がなくなるまで、着目領域の位置を更新する更新方法を変更する。なお、ノイズ低減処理部202は入力された画像信号のノイズレベルによって閾値を設定することができる。この処理は、設定手段による処理の一例に対応する。例えば、ノイズ低減処理部202は入力された画像のノイズレベルが高い場合にはノイズレベルが低い場合に比べて閾値を大きな回数に設定する。
また、ユーザがノイズ低減処理の効果を大きくしたい場合や小さくしたい場合を選択できるように構成してもよい。この場合、ノイズ低減処理部202はユーザの選択に応じて閾値を設定することができる。ノイズ低減処理部202は、ユーザによりノイズ低減処理の効果を大きくしたいことが選択された場合にはノイズ低減処理の効果を小さくしたいことが選択された場合に比べて閾値を大きな回数に設定する。
ノイズ低減処理後の画素値を加算した回数が閾値よりも少ない画素がなくなることで、ノイズ低減処理部202は画素ごとに加算した画素値を、いままで加算した回数で除算して、画像データのノイズ低減処理が完了する。
ノイズ低減処理後の画素値を加算した回数が閾値よりも少ない画素がなくなることで、ノイズ低減処理部202は画素ごとに加算した画素値を、いままで加算した回数で除算して、画像データのノイズ低減処理が完了する。
以上のように、本実施形態によれば、1周目の補正処理であるノイズ低減処理が終了した後、着目領域の位置を更新する更新方法を、1周目の補正処理を補う第2の更新法則に変更し、2周目の補正処理であるノイズ低減処理を行う。したがって、1周目の補正処理を行うときに、着目領域の位置を画像データ全体に亘って大まかに更新するような更新方法を適用でき、その後に1周目の補正処理を補うような更新方法を適用して2周目の補正処理を行うことができる。このように、大まかに更新するような更新方法を適用できることで画像データを補正するときの処理時間を短縮させることができる。また、1周目の補正処理を補うような更新方法を適用して2周目の補正処理を行うことで補正処理の効果を高く保つことができる。
具体的には、図6および図7に示すように、1周目のノイズ低減処理において、水平、垂直3画素おきに着目領域の位置を更新する更新方法を適用することができ、1画素ずつ着目領域を動かした場合に対して1/9の計算量でノイズ低減処理を行うことができる。また、1周目のノイズ低減処理の結果でノイズ低減の効果が低い画素については、2周目以降の着目領域の位置を更新する更新方法において、優先的に着目領域の基準画素とされることでノイズ低減処理の効果を高くすることができる。
また、本実施形態によれば、1周目の補正処理であるノイズ低減処理が終了した後、1周目のノイズ低減処理による度合いに基づいた更新方法、具体的には各画素においてノイズ低減処理が行われた回数に基づいた更新方法に変更する。したがって、ノイズ低減処理による度合いが低い画素に、着目領域の位置を優先的に更新する更新方法を適用することができ、より補正処理の効果を図ることができる。なお、各画素においてノイズ低減処理が行われた回数は、ノイズ低減処理が行われた際の画素の情報の一例に相当する。
<他の実施形態>
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは記録媒体を介してシステムまたは装置に供給し、システムまたは装置のコンピュータ(CPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラムおよびそのプログラムを記憶した記録媒体は本発明を構成することになる。
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは記録媒体を介してシステムまたは装置に供給し、システムまたは装置のコンピュータ(CPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラムおよびそのプログラムを記憶した記録媒体は本発明を構成することになる。
以上のように、本発明を好適な実施形態に基づいて説明したが、本発明は上述した特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した実施形態は本発明の一実施形態を示すものにすぎず、適宜変更することが可能である。
上述した実施形態では、ベイヤー画像信号を図4に示すようにR、Gr、Gb、Bの色ごとの信号に分離して、それぞれの信号に対して独立にノイズ低減処理を行う場合について説明したが、この場合に限られない。例えば、ベイヤー画像信号の配列のまま着目領域を設定して、同様のノイズ低減処理を行ってもよい。
また、上述した実施形態では、着目領域を3×3の画素サイズ、探索範囲を9×9の画素サイズである場合について説明したが、この場合に限られず、異なる大きさに設定してノイズ低減処理を行ってもよい。また、着目領域の形状または探索範囲の形状は正方形である場合に限られず、異なる形状に設定してノイズ低減処理を行ってもよい。
上述した実施形態では、ベイヤー画像信号を図4に示すようにR、Gr、Gb、Bの色ごとの信号に分離して、それぞれの信号に対して独立にノイズ低減処理を行う場合について説明したが、この場合に限られない。例えば、ベイヤー画像信号の配列のまま着目領域を設定して、同様のノイズ低減処理を行ってもよい。
また、上述した実施形態では、着目領域を3×3の画素サイズ、探索範囲を9×9の画素サイズである場合について説明したが、この場合に限られず、異なる大きさに設定してノイズ低減処理を行ってもよい。また、着目領域の形状または探索範囲の形状は正方形である場合に限られず、異なる形状に設定してノイズ低減処理を行ってもよい。
また、上述した実施形態では、1周目の着目領域の位置を更新する更新方法として、水平、垂直3画素おきに着目領域を更新する場合について説明したが、3画素より大きい画素間隔で着目領域の位置を更新してもよい。
なお、ノイズ低減処理部202は第1の更新方法による画素間隔を、着目領域の大きさ、および、類似領域を抽出するときの範囲(類似領域の探索範囲)の大きさの少なくとも何れか一つに基づいて設定してもよい。例えば、着目領域が3×3の画素サイズの場合には上述したように水平、垂直3画素おきに着目領域の位置を更新すれば、必ず各画素が着目領域に含まれることになる。また、類似領域の探索範囲が9×9の画素サイズの場合、9画素おきに着目領域の位置を更新すれば、1周目のノイズ低減処理で各画素が必ず着目領域か類似度判定領域に含まれることになる。
なお、1周目のノイズ低減処理において処理時間をより短縮させたい場合には、ノイズ低減処理部202は大きい画素間隔で着目領域の更新を行うように第1の更新方法を設定する。この場合でも、画素間隔は類似領域を抽出するときの範囲の大きさよりも小さくすることが好ましい。一方、ノイズ低減の効果をより大きくしたい場合には、ノイズ低減処理部202は小さい画素間隔で着目領域の更新を行うように第1の更新方法を設定する。この場合、画素間隔は着目領域の大きさよりも小さくすることが好ましい。
なお、ノイズ低減処理部202は第1の更新方法による画素間隔を、着目領域の大きさ、および、類似領域を抽出するときの範囲(類似領域の探索範囲)の大きさの少なくとも何れか一つに基づいて設定してもよい。例えば、着目領域が3×3の画素サイズの場合には上述したように水平、垂直3画素おきに着目領域の位置を更新すれば、必ず各画素が着目領域に含まれることになる。また、類似領域の探索範囲が9×9の画素サイズの場合、9画素おきに着目領域の位置を更新すれば、1周目のノイズ低減処理で各画素が必ず着目領域か類似度判定領域に含まれることになる。
なお、1周目のノイズ低減処理において処理時間をより短縮させたい場合には、ノイズ低減処理部202は大きい画素間隔で着目領域の更新を行うように第1の更新方法を設定する。この場合でも、画素間隔は類似領域を抽出するときの範囲の大きさよりも小さくすることが好ましい。一方、ノイズ低減の効果をより大きくしたい場合には、ノイズ低減処理部202は小さい画素間隔で着目領域の更新を行うように第1の更新方法を設定する。この場合、画素間隔は着目領域の大きさよりも小さくすることが好ましい。
また、上述した実施形態では、1つの着目領域の更新方法で画像全体に対してノイズ低減処理を行った後に着目領域の更新方法を変更する場合について説明したが、この場合に限られない。例えば、ノイズ低減処理部202は画像を部分領域に分けて、その部分領域内で着目領域の位置の更新が完了したか否かを判定し、完了した場合に着目領域の更新方法を変更してもよい。
また、本実施形態では、本発明を撮像装置に適用する場合を例にして説明したが、この場合に限定されず画像処理できる装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータ、PDA、スマートフォン、タブレット端末、携帯電話端末、携帯型の画像ビューワ、デジタルフォトフレーム、ゲーム機、電子ブックリーダ等に適用可能である。
100:撮像装置(画像処理装置) 101:制御部 102:ROM 103:RAM 104:光学系 105:撮像部 106:A/D変換部 107:画像処理部 108:記録部 109:表示部 201:ホワイトバランス調整部 202:ノイズ低減処理部 203:現像処理部
Claims (15)
- 画像データの着目領域に類似する類似領域を抽出する抽出手段と、
着目領域の位置を第1の更新法則にしたがって更新し、更新した着目領域の位置ごとに前記抽出手段により抽出される類似領域の画素の補正と、更新した位置における着目領域の画素の補正とを行う第1の補正手段と、
前記第1の補正手段による補正が終了した後に前記第1の更新法則を、前記第1の補正手段による補正を補う第2の更新法則に変更する変更手段と、
前記変更手段により変更された前記第2の更新法則にしたがって再度、前記第1の補正手段による補正を行う反復手段と、
前記変更手段により更新法則が変更される前に行われた前記第1の補正手段による補正および前記反復手段における前記第1の補正手段による補正に基づいて、前記画像データの画素を補正する第2の補正手段と、を有することを特徴とする画像処理装置。 - 前記第2の更新法則は、
前記変更手段により更新法則が変更される前に行われた前記第1の補正手段による補正の度合いに基づいた更新法則であることを特徴とする請求項1に記載の画像処理装置。 - 前記第2の更新法則は、
前記変更手段により更新法則が変更される前に行われた前記第1の補正手段による補正において、補正の回数が閾値よりも少ない回数の画素に、着目領域の位置を更新する更新法則であることを特徴とする請求項1または2に記載の画像処理装置。 - 前記第2の更新法則は、
前記変更手段により更新法則が変更される前に行われた前記第1の補正手段による補正において、前記着目領域の基準となる画素として更新されなかった画素に、着目領域の位置を更新する更新法則であることを特徴とする請求項1ないし3の何れか1項に記載の画像処理装置。 - 前記第1の更新法則は、
所定の画素間隔ごとに、着目領域の位置を更新する更新法則であることを特徴とする請求項1ないし4の何れか1項に記載の画像処理装置。 - 前記所定の画素間隔は、着目領域の大きさ、および、類似領域を抽出するときの範囲の大きさの少なくとも何れか一つに基づいた間隔であることを特徴とする請求項5に記載の画像処理装置。
- 前記所定の画素間隔は、着目領域の大きさ、または、類似領域を抽出するときの範囲の大きさよりも小さいことを特徴とする請求項5または6に記載の画像処理装置。
- 前記変更手段は、
前記第2の更新法則にしたがって前記第1の補正手段による補正が終了した後に、前記第2の更新法則を、いままでに行った前記第1の補正手段による補正を補う第3の更新法則に変更し、
前記反復手段は、
前記変更手段により変更された前記第3の更新法則にしたがって再度、前記第1の補正手段による補正を行うことを特徴とする請求項1ないし7の何れか1項に記載の画像処理装置。 - 前記変更手段は、
前記第1の補正手段による補正が終了するごとに、更新法則を、いままでに行った前記第1の補正手段による補正を補う更新法則に変更し、
前記反復手段は、
前記変更手段により更新法則が変更されるごとに再度、前記第1の補正手段による補正を行うことを特徴とする請求項1ないし8の何れか1項に記載の画像処理装置。 - 前記変更手段は、
前記第1の補正手段による補正において、前記着目領域の基準となる画素として更新されなかった画素のうち、補正の回数が閾値よりも少ない回数の画素がなくなるまで更新法則を変更することを特徴とする請求項9に記載の画像処理装置。 - 画像データのノイズレベルに応じて前記閾値を設定する設定手段を有することを特徴とする請求項10に記載の画像処理装置。
- 前記第1の補正手段による補正の度合いに基づいて、更新法則を変更するか否かを判定する判定手段を有することを特徴とする請求項1ないし11の何れか1項に記載の画像処理装置。
- 前記第2の補正手段は、
前記判定手段により更新法則を変更しないことが判定された場合、いままでに行った前記第1の補正手段による補正に基づいて、前記画像データの画素を補正することを特徴とする請求項12に記載の画像処理装置。 - 画像データの着目領域に類似する類似領域を抽出する抽出ステップと、
着目領域の位置を第1の更新法則にしたがって更新し、更新した着目領域の位置ごとに前記抽出ステップにより抽出される類似領域の画素の補正と、更新した位置における着目領域の画素の補正とを行う第1の補正ステップと、
前記第1の補正ステップによる補正が終了した後に前記第1の更新法則を、前記第1の補正ステップによる補正を補う第2の更新法則に変更する変更ステップと、
前記変更ステップにより変更された前記第2の更新法則にしたがって再度、前記第1の補正ステップによる補正を行う反復ステップと、
前記変更ステップにより更新法則が変更される前に行われた前記第1の補正ステップによる補正および前記反復ステップにおける前記第1の補正ステップによる補正に基づいて、前記画像データの画素を補正する第2の補正ステップと、を有することを特徴とする画像処理方法。 - コンピュータを、請求項1ないし13の何れか1項に記載された画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018177664A JP2020047223A (ja) | 2018-09-21 | 2018-09-21 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018177664A JP2020047223A (ja) | 2018-09-21 | 2018-09-21 | 画像処理装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020047223A true JP2020047223A (ja) | 2020-03-26 |
Family
ID=69899800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018177664A Pending JP2020047223A (ja) | 2018-09-21 | 2018-09-21 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020047223A (ja) |
-
2018
- 2018-09-21 JP JP2018177664A patent/JP2020047223A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
CN108668093B (zh) | Hdr图像的生成方法及装置 | |
JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
JP5744614B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
US8472747B2 (en) | Image composition device, image composition method, and storage medium storing program | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP6362068B2 (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP2015148532A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP2018061130A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6564284B2 (ja) | 画像処理装置および画像処理方法 | |
JP4807623B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP5278483B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP6155349B2 (ja) | デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品 | |
CN105100587B (zh) | 摄像装置及其控制方法 | |
JP6218520B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015179968A (ja) | 装置、方法、及びプログラム | |
JP2020047223A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2014027580A (ja) | 撮像装置、及び画像処理方法 | |
JP2017229025A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113344832A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
KR101567668B1 (ko) | 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법 | |
JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 | |
JP2018137580A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2010079414A (ja) | プログラム、カメラおよび画像の輪郭抽出方法 | |
JP2020064456A (ja) | 画像処理装置、画像処理方法およびプログラム |