JP2016015685A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2016015685A JP2016015685A JP2014137844A JP2014137844A JP2016015685A JP 2016015685 A JP2016015685 A JP 2016015685A JP 2014137844 A JP2014137844 A JP 2014137844A JP 2014137844 A JP2014137844 A JP 2014137844A JP 2016015685 A JP2016015685 A JP 2016015685A
- Authority
- JP
- Japan
- Prior art keywords
- image
- noise reduction
- information
- reduction information
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 230000009467 reduction Effects 0.000 claims abstract description 148
- 230000003287 optical effect Effects 0.000 claims abstract description 87
- 238000003384 imaging method Methods 0.000 claims abstract description 72
- 238000012937 correction Methods 0.000 claims abstract description 38
- 238000003702 image correction Methods 0.000 claims abstract description 31
- 230000035945 sensitivity Effects 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 4
- 230000004075 alteration Effects 0.000 description 20
- 238000001914 filtration Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像光学系の特性に基づく画像補正に起因するノイズの変動の影響を抑制し、高画質な画像を生成する。
【解決手段】撮像光学系により結像された被写体の光学像を撮像して画像を取得する撮像装置に適用され、該撮像装置により取得された画像及び前記撮像光学系の特性に関する光学特性情報を入力する入力手段と、前記光学特性情報に基づいて前記画像の補正を行う画像補正手段と、輝度値に対するノイズ量を示す基本ノイズ低減情報を予め記憶した基本ノイズ低減情報記憶手段と、前記画像が取得された際の撮影条件と前記光学特性情報とに基づいて、前記画像補正手段による前記画像の補正によって生じるノイズ量の変動を抑制するように、前記基本ノイズ低減情報を更新するノイズ低減情報更新手段と、該ノイズ低減情報更新手段により更新されたノイズ低減情報に基づいて前記画像のノイズ低減処理を行うノイズ低減手段と、を備える画像処理装置を提供する。
【選択図】図1
【解決手段】撮像光学系により結像された被写体の光学像を撮像して画像を取得する撮像装置に適用され、該撮像装置により取得された画像及び前記撮像光学系の特性に関する光学特性情報を入力する入力手段と、前記光学特性情報に基づいて前記画像の補正を行う画像補正手段と、輝度値に対するノイズ量を示す基本ノイズ低減情報を予め記憶した基本ノイズ低減情報記憶手段と、前記画像が取得された際の撮影条件と前記光学特性情報とに基づいて、前記画像補正手段による前記画像の補正によって生じるノイズ量の変動を抑制するように、前記基本ノイズ低減情報を更新するノイズ低減情報更新手段と、該ノイズ低減情報更新手段により更新されたノイズ低減情報に基づいて前記画像のノイズ低減処理を行うノイズ低減手段と、を備える画像処理装置を提供する。
【選択図】図1
Description
本発明は、画像処理装置に係り、特に、処理対象の画像を撮像する撮像光学系に鑑みた画像処理を行う画像処理装置に関するものである。
従来、撮像した画像のノイズを低減する画像処理装置が知られている。例えば、特許文献1には、画像を撮像するレンズ(撮像光学系)の性能による収差補正量(光学歪み、周辺光量落ち等)に基づいてノイズを低減している。つまり、特許文献1では、収差補正量に基づいてノイズ低減の基礎となるノイズ抑圧レベルを決定し、注目画素が平坦領域である場合に、収差補正量を参照しながらノイズ抑圧レベルを強めるようにノイズ低減を行い、注目画素がエッジである場合にノイズ低減を行わないようにしている。
ところで、一般に、ノイズは画素の輝度値(明るさ)によって発生する量及びその要因が異なる特性を有している。
しかしながら、上述した特許文献1では、ノイズ低減の際に、各画素の輝度値を考慮していない。このため、同じノイズ抑圧数や平坦性を示す画素であっても輝度値によってノイズ低減効果に差異が生じ、例えば、暗く平坦な画素のノイズが低減されている一方で、明るく平坦な画素のノイズが残存してしまうことがある。また、特許文献1では、処理対象の画素がエッジである場合にはノイズ低減を行っていないが、画素によってはエッジ部のノイズが残ったまま収差補正によって却って強調される場合があり、エッジ部及びその周辺部分が不自然となり、結果的に画質が低下する虞がある。
しかしながら、上述した特許文献1では、ノイズ低減の際に、各画素の輝度値を考慮していない。このため、同じノイズ抑圧数や平坦性を示す画素であっても輝度値によってノイズ低減効果に差異が生じ、例えば、暗く平坦な画素のノイズが低減されている一方で、明るく平坦な画素のノイズが残存してしまうことがある。また、特許文献1では、処理対象の画素がエッジである場合にはノイズ低減を行っていないが、画素によってはエッジ部のノイズが残ったまま収差補正によって却って強調される場合があり、エッジ部及びその周辺部分が不自然となり、結果的に画質が低下する虞がある。
本発明は、上述した事情に鑑みてなされたものであって、撮像光学系や撮像素子等で構成される撮像系の特性に起因するノイズの変動の影響を抑制し、高画質な画像を生成することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、撮像光学系により結像された被写体の光学像を撮像して画像を取得する撮像装置に適用され、該撮像装置により取得された画像及び前記撮像光学系の特性に関する光学特性情報を入力する入力手段と、前記光学特性情報に基づいて前記画像の補正を行う画像補正手段と、輝度値に対するノイズ量を示す基本ノイズ低減情報を予め記憶した基本ノイズ低減情報記憶手段と、前記画像が取得された際の撮影条件と前記光学特性情報とに基づいて、前記画像補正手段による前記画像の補正によって生じるノイズ量の変動を抑制するように、前記基本ノイズ低減情報を更新するノイズ低減情報更新手段と、該ノイズ低減情報更新手段により更新されたノイズ低減情報に基づいて前記画像のノイズ低減処理を行うノイズ低減手段と、を備える画像処理装置を提供する。
本発明の一態様は、撮像光学系により結像された被写体の光学像を撮像して画像を取得する撮像装置に適用され、該撮像装置により取得された画像及び前記撮像光学系の特性に関する光学特性情報を入力する入力手段と、前記光学特性情報に基づいて前記画像の補正を行う画像補正手段と、輝度値に対するノイズ量を示す基本ノイズ低減情報を予め記憶した基本ノイズ低減情報記憶手段と、前記画像が取得された際の撮影条件と前記光学特性情報とに基づいて、前記画像補正手段による前記画像の補正によって生じるノイズ量の変動を抑制するように、前記基本ノイズ低減情報を更新するノイズ低減情報更新手段と、該ノイズ低減情報更新手段により更新されたノイズ低減情報に基づいて前記画像のノイズ低減処理を行うノイズ低減手段と、を備える画像処理装置を提供する。
本態様によれば、撮像装置から入力された画像に対して、ノイズ低減処理を行うと共に、撮像装置における撮像光学系の特性に関する光学特性情報に基づいて画像補正を行う。この場合において、基本ノイズ低減情報記憶手段に予め記憶されている輝度値に対するノイズ量を示す基本ノイズ低減情報が、撮像装置において画像を取得した際の撮影条件及び光学特性情報に基づいてノイズ低減情報更新手段によって更新され、更新されたノイズ低減情報を用いてノイズ低減手段によるノイズ低減処理が行われる。基本ノイズ低減情報を、撮影条件及び光学特性情報に基づいて、画像補正手段による画像の補正によって生じるノイズ量の変動を抑制するように更新するので、画像補正を行うことによってノイズ量が増加等変動した場合であっても、増加等の変動したノイズについても効果的にノイズ低減を行うことができる。すなわち、撮像光学系の特性に起因するノイズの変動の影響を抑制し、高画質な画像を生成することができる。
上記した態様においては、前記基本ノイズ低減情報記憶手段が、周波数成分毎に複数の基本ノイズ低減情報を記憶することが好ましい。
このようにすることで、周波数成分毎に異なるノイズの状態に応じてノイズ低減情報を適用することができるので、周波数成分に応じて最適なノイズ低減情報に基づいたノイズ低減処理を行うことができる。
このようにすることで、周波数成分毎に異なるノイズの状態に応じてノイズ低減情報を適用することができるので、周波数成分に応じて最適なノイズ低減情報に基づいたノイズ低減処理を行うことができる。
上記した態様においては、前記光学特性情報が、前記撮像光学系の光学性能を周波数特性で評価した光学伝達関数に基づいて生成されることが好ましい。
このようにすることで、撮像光学系の光学性能に基づく画像補正を適切に行うと共に、画像補正によるノイズ量の変動を効果的に抑制するようにノイズ低減情報を更新することができる。
このようにすることで、撮像光学系の光学性能に基づく画像補正を適切に行うと共に、画像補正によるノイズ量の変動を効果的に抑制するようにノイズ低減情報を更新することができる。
上記した態様においては、前記光学特性情報が、画像上の位置に応じて生成されることが好ましい。
このようにすることで、例えば歪曲収差(ディストーション)のような画像上の位置によって変動する収差についても、光学特性情報として歪曲収差に関する情報を保持することで適切に画像補正を行うと共に、画像補正によるノイズ量の変動を効果的に抑制するようにノイズ低減情報を更新することができる。
このようにすることで、例えば歪曲収差(ディストーション)のような画像上の位置によって変動する収差についても、光学特性情報として歪曲収差に関する情報を保持することで適切に画像補正を行うと共に、画像補正によるノイズ量の変動を効果的に抑制するようにノイズ低減情報を更新することができる。
上記した態様においては、前記撮影条件が、F値、焦点距離及びISO感度のうち少なくとも1以上の条件を含むことが好ましい。
このようにすることで、画像の画質に影響をもたらす撮影条件に鑑みて、ノイズ量の変動を効果的に抑制するようにノイズ低減情報を更新することができる。
このようにすることで、画像の画質に影響をもたらす撮影条件に鑑みて、ノイズ量の変動を効果的に抑制するようにノイズ低減情報を更新することができる。
上記した態様においては、前記画像補正手段が、前記画像のボケを補正することが好ましい。
このようにすることで、例えば球面収差のような収差起因のボケや回折起因によるボケを適切に補正すると共に、補正により増加するノイズ量を効果的に低減させるようにノイズ低減情報を更新することができる。
このようにすることで、例えば球面収差のような収差起因のボケや回折起因によるボケを適切に補正すると共に、補正により増加するノイズ量を効果的に低減させるようにノイズ低減情報を更新することができる。
本発明によれば、撮像系の特性に起因するノイズの変動の影響を抑制し、高画質な画像を生成することができるという効果を奏する。
(第1の実施形態)
以下に、本発明の第1の実施形態に係る画像処理装置について図面を参照して説明する。
本実施形態に係る画像処理装置1は、撮像光学系により結像された被写体の光学像を撮像して画像を取得する撮像部9に適用され、撮像部9により取得された画像に対して撮像部9が持ちうる(撮像光学系や撮像素子に依存する)光学特性に基づく画像補正やノイズ低減等の画像処理を行う装置である。
以下に、本発明の第1の実施形態に係る画像処理装置について図面を参照して説明する。
本実施形態に係る画像処理装置1は、撮像光学系により結像された被写体の光学像を撮像して画像を取得する撮像部9に適用され、撮像部9により取得された画像に対して撮像部9が持ちうる(撮像光学系や撮像素子に依存する)光学特性に基づく画像補正やノイズ低減等の画像処理を行う装置である。
図1に示すように、画像処理装置1は、撮像部9における画像の撮影条件を設定する撮影条件設定部11、入力部12、前処理部13、画像補正部14、基本ノイズ低減情報記憶部15、ノイズ低減情報更新部16、ノイズ低減処理部17、出力画像構成部18及びこれらの各部を制御する処理制御部19を備えている。
なお、図1における各部間を接続する矢印のうち、実線は画像情報の入出力を、破線は制御や設定に関する情報の入出力を示す。
なお、図1における各部間を接続する矢印のうち、実線は画像情報の入出力を、破線は制御や設定に関する情報の入出力を示す。
撮影条件設定部11は、撮像部9によって画像を取得する際の撮像条件を設定する。つまり、撮影条件設定部11は、撮影条件として、例えば、F値、焦点距離、ISO感度、シャッタスピード等を設定し、設定した撮影条件を後述する処理制御部19により入力部12を介して撮像部9に出力する。
入力部12は、撮像部9において取得された画像及び撮像部9の撮像光学系8に設けられる記憶部7に記憶された撮像光学系や撮像素子の特性に関する情報である光学特性情報を入力し、これらを一時的に記憶する。入力部12において一時的に記憶した画像は、前処理部13に出力される。
光学特性情報は撮像光学系が有する収差や光学性能を表す情報、撮像素子の画素サイズ等により構成されている。収差としては、例えば、倍率色収差や軸上色収差、歪曲収差、シェーディング等の画像の画質に影響を及ぼすもの等が挙げられる。収差に関する光学特性情報として収差を補正するための情報と位置づける。例えば、倍率色収差における色別の画素の色ずれ量、歪曲収差における像の位置ずれ量、シェーディングにおける画像上の位置(画面位置)毎の光量差、等である。また、光学性能を表す情報として光学伝達関数(OTF:Optical Transfer Function)の絶対値成分で表され被写体のコントラストの再現性を周波数特性で評価したMTF(Modulation Transfer Function)等が挙げられる。
本実施形態においては、画像補正の一例として撮像系で発生する光の回折に起因するボケを補正する場合について説明する。従って、光学特性情報として、ボケ補正に利用するMTFのゲイン特性(図2参照)が撮像光学系8に設けられる記憶部7に記憶されていることとして説明する(詳細は後述)。図2に示すゲイン特性は、ナイキスト周波数に近い空間周波数のコントラストを向上させるため、ナイキスト周波数に近い周波数ほど大きいゲインを示している。
前処理部13は、入力部12に入力された画像に対して、前処理としてOpticalBlack(OB)補正やホワイトバランス(WB)補正、撮像部9に設けられているカラーフィルタ(図示せず)が単板で構成されている場合には色情報補間(デモザイキング)、等の処理を行い、処理後の画像を画像補正部14に出力する。
画像補正部14は、入力部12を介して取得した撮像部9の光学特性情報に基づいて前処理部13で処理された画像に対して補正処理を行う。すなわち、前処理部13で処理された画像に対して、撮像部9の光学特性に起因して発生した収差を補正するように収差補正処理(歪曲収差であれば歪曲(ディストーション)補正、シェーディングであればシェーディング補正、等)、あるいは回折起因のボケを回復するためのボケ回復処理等を行い、補正後の画像をノイズ低減処理部17に出力する。
画像補正の一例として、回折に起因するボケを補正する場合について、ボケ補正の前後の様子を図3に、ボケ補正の前後におけるMTF特性の変化を図4に示した。図3(A)はボケ補正前、図3(B)はボケ補正後の様子を夫々示す。図4において、横軸は周波数(ナイキスト周波数を1に正規化)、縦軸はMTF値(MTF最大値を1に正規化)を示している。MTF値が大きいほど高コントラストとなる。ボケ補正前のMTF特性に比べボケ補正を行うことでコントラストが高くなる。
基本ノイズ低減情報記憶部15は、輝度値に対するノイズ量を示す、つまり、撮像素子から出力される光量(画像の輝度値)とノイズ量(輝度値の標準偏差)の関係を示す基本ノイズ低減情報を予め記憶している。基本ノイズ低減情報は、例えば、図5に示すように、ISO感度毎に複数記憶されている。また、基本ノイズ低減情報は周波数成分毎に記憶されている。
図5に示すように、基本ノイズ低減情報は、光量が増加する(輝度が高くなる)につれノイズ量が単調増加するようになっている。また、基本ノイズ低減情報はISO感度毎に異なる特性を持っており、ISO感度が高くなる(高感度になる)に従って同じ光量に対するノイズ量が多くなるという特性を持つ。ISO感度毎の基本ノイズ低減情報を保持することで、明るさ及び感度に応じてノイズ量が異なるという特性を利用し、ISO感度の変化に応じて様々な明るさのノイズを均等に低減することが可能となる。
ノイズ低減情報更新部16は、画像が取得された際の撮影条件と光学特性情報とに基づいて、画像補正を行うことによって生じるノイズ量の変動を抑制するように、基本ノイズ低減情報記憶部15に記憶された基本ノイズ低減情報を更新する。つまり、処理制御部19から取得した撮影条件及び光学特性情報に基づいて基本ノイズ低減情報記憶部15に記憶されている基本ノイズ低減情報を取得すると共に基本ノイズ低減情報を更新する。
すなわち、ノイズ低減情報更新部16は、基本ノイズ低減情報記憶部15に記憶されている複数の基本ノイズ低減情報のうち、処理制御部19から取得した撮影条件に合致する基本ノイズ低減情報を抽出し、抽出した基本ノイズ低減情報を、処理制御部19を介して取得した光学特性情報に基づいて更新する。
ノイズ低減情報更新部16における更新処理は、ノイズの変動特性を算出し、算出した変動特性に基づいて基本ノイズ低減情報を更新する構成とすることができる。また、光学特性情報として予めノイズの変動特性が記憶されている場合には、記憶された変動特性を適用して基本ノイズ低減情報を更新する。更新されたノイズ低減情報は画像補正後の画像情報とともにノイズ低減処理部17に送られる。
画像補正として回折に起因するボケ補正を行った場合、光学特性情報としての図2に示すゲイン特性(ナイキスト周波数に近い周波数ほど大きいゲイン)を補正前のMTF特性(図4の破線参照)に適用することでボケ補正後のMTF特性(図4の実線参照)を出すようにしている。
画像補正として回折に起因するボケ補正を行った場合、光学特性情報としての図2に示すゲイン特性(ナイキスト周波数に近い周波数ほど大きいゲイン)を補正前のMTF特性(図4の破線参照)に適用することでボケ補正後のMTF特性(図4の実線参照)を出すようにしている。
すなわち、光学特性情報としてのゲイン特性(図2)は、ナイキスト周波数に近い空間周波数のコントラストを向上させるため、図3(B)に示すように、ボケ補正後の細い線の周辺の解像感は図3(A)に比べて向上する一方、背景に存在する高周波成分からなるノイズが増加する。このような状況下でボケ補正により増加したノイズを低減するために、図2に示すゲイン特性を利用することで基本ノイズ低減情報を変更する。
図6に、光学特性情報としての図2のゲイン特性に基づいて、MTF特性の周波数ごとに基本ノイズ低減情報を変更したノイズ低減情報を示す。図6の更新後のノイズ低減情報は、周波数に対応したゲイン特性を基本ノイズ低減情報に乗じる形でノイズ低減情報として表している。図2のゲイン特性において、ナイキスト周波数に対する割合としての周波数成分が小さい領域(=低周波成分)はボケ補正の効果がわずかしか出ないことから、ゲインは1.0をわずかに超える程度であり、更新前の基本ノイズ低減情報との差があまりない。一方、周波数成分が大きい領域(=高周波成分)はボケ補正の効果が顕著に現れることから、ゲインは大きくなり、輝度とノイズの関係からなるノイズ低減情報も大きくなる。これは、同じ輝度でも周波数成分によってノイズの発生状態が異なり、周波数成分に応じて異なるノイズ低減処理を行う必要があるためである。
ノイズ低減処理部17は、更新されたノイズ低減情報に基づいて補正された画像に対してノイズ低減処理を行う。より詳細には、ノイズ低減処理部17は、例えば、図7に示すように、3段のフィルタリング部101,111,121を備え、前段のフィルタリング部により作成された縮小画像を後段のフィルタリング部に入力することで、入力画像から互いに異なる解像度の縮小画像を逐次的に作成すると共に、縮小画像に対して夫々ノイズ低減を行っていく構成となっている。つまり、周波数ごとのノイズ低減情報に基づき、画像を周波数帯域に分解して周波数帯域ごとにノイズ低減処理を行う。なお、フィルタリング部によるフィルタリングによって縮小画像が作成されることの他、縮小処理を行わずに、例えば、ローパスフィルタを用いた処理を行う構成とすることもできる。
各フィルタリング部101,111,121の後段には、各フィルタリング部に対応して夫々拡大処理部102,112,122及び減算部103,113,123が設けられている。また、減算部103,113,123の後段には、夫々ノイズ低減部104,114,124及び加算部106,116,126が設けられている。
ノイズ低減処理部17に入力された画像は、フィルタリング部101においてローパスフィルタ処理後に縮小される。縮小された画像は、次段のフィルタリング部111に出力されると共に、拡大処理部102に出力され、減算部103において処理前の画像との間で減算処理がなされ、減算処理後の画像に対してノイズ低減部104によりノイズ低減処理が行われる。
後段以降のフィルタリング部111,121、拡大処理部112,122、減算部113,123、ノイズ低減部114,124等においても同様の処理がなされ、各処理後の画像が加算部126,116,106において拡大処理部125,115,105により拡大された後段の画像と加算され、加算部106からの出力が最終的なノイズ低減処理後の画像として出力される。
なお、本実施形態においては、ノイズ低減処理に先立って光学特性に基づく画像補正をする構成としているが、必ずしもこれに限られず、ノイズ低減処理後に画像補正を行う構成としてもよい。
なお、本実施形態においては、ノイズ低減処理に先立って光学特性に基づく画像補正をする構成としているが、必ずしもこれに限られず、ノイズ低減処理後に画像補正を行う構成としてもよい。
出力画像構成部18は、ノイズ低減された画像に対して、後処理としてエッジ強調や色強調等のような画像強調処理を行い、出力画像にするための情報(例えばExifデータ等)の付加や出力フォーマットによる変換処理(例えばJPEG変換等)を行うことによって最終的な出力画像を生成し、出力する。
処理制御部19は、画像処理装置1を構成する各部の処理の管理、制御を行う。具体的には撮影条件設定部11、入力部12、画像補正部14、ノイズ低減情報更新部16、ノイズ低減処理部17及び出力画像構成部18に処理の指示や処理に必要な情報の送受信を行う。
以下、このように構成された画像処理装置1の作用、すなわち上記画像処理装置1によるノイズ低減処理について、図8のフローチャートを参照しつつ説明する。
ステップS101において、撮影条件設定部11により処理制御部19を介して撮像部9における撮影条件を設定する。また、画像の撮像に先立って、撮像部9の撮像光学系8に付随する記憶部7から光学特性情報を取得しておく。次のステップS102では、処理制御部19から撮像部9に対して撮像指示を行い、撮像部9において画像を取得し、得られた画像に関して入力部12を経由して前処理部13により前処理を行う。
ステップS101において、撮影条件設定部11により処理制御部19を介して撮像部9における撮影条件を設定する。また、画像の撮像に先立って、撮像部9の撮像光学系8に付随する記憶部7から光学特性情報を取得しておく。次のステップS102では、処理制御部19から撮像部9に対して撮像指示を行い、撮像部9において画像を取得し、得られた画像に関して入力部12を経由して前処理部13により前処理を行う。
ステップS103では、処理制御部19を介して取得した撮影条件及び光学特性情報に基づき、画像補正部14において前処理後の画像に対する補正を行う。本実施形態では画像補正として回折により発生するボケの補正を行っている。回折ボケは主に光学系のF値に起因することから、F値に応じて補正を制御する。ボケ補正前後のMTF特性は図4に示した通りである。
次のステップS104では、基本ノイズ低減情報を取得する。すなわち、ノイズ低減情報更新部16により、基本ノイズ低減情報記憶部15に記憶された複数の基本ノイズ低減情報(図5)から撮影条件に対応する基本ノイズ低減情報を抽出し取得する。上述のように、基本ノイズ低減情報はISO感度ごとに記憶されており、撮影条件のISO感度に該当する基本ノイズ低減情報を取得する。
ステップS105では、ノイズ低減情報更新部16において、取得した基本ノイズ低減情報に対して、光学特性情報としてのゲイン特性(図2)を適用してノイズ低減情報を更新し、新たなノイズ低減情報を生成する。ステップS106では、ノイズ低減処理部17において、更新された新たなノイズ低減情報を用いて光学特性に基づく補正後の画像に対してノイズ低減処理を行う。ここでは撮像系に依存したノイズ低減処理が行われるので撮像系に適したノイズ低減となる。ステップS107で出力画像構成部18において画像強調等の後処理を行い、画像を出力用のフォーマットに再構成することにより出力用の画像を生成し、生成された画像を出力する。
このように本実施形態によれば、ノイズ低減情報更新部により、基本ノイズ低減情報記憶部に予め記憶されている輝度値に対するノイズ量を示す基本ノイズ低減情報を更新する際に、画像を取得した際の撮影条件及び光学特性情報に基づいた更新を行うので、更新されたノイズ低減情報を用いたノイズ低減により、光学特性を考慮したノイズ低減を行うことができる。すなわち、基本ノイズ低減情報を、撮影条件及び光学特性情報に基づいて、画像の補正によって生じるノイズ量の変動を抑制するように更新するので、画像補正を行うことによってノイズ量が増加等変動した場合であっても効果的にノイズ低減を行うことができる。したがって、撮像光学系の特性に基づく補正に起因するノイズの変動の影響を抑制し、高画質な画像を生成することができる。
(変形例1)
図9に、画像補正前後の差分画像情報生成を示す。図9に示すように、補正前画像では歪曲収差(ディストーション)が発生している。これを画像補正部14によりで補正することで歪みのない画像となる。
図9に、画像補正前後の差分画像情報生成を示す。図9に示すように、補正前画像では歪曲収差(ディストーション)が発生している。これを画像補正部14によりで補正することで歪みのない画像となる。
そこで、本変形例では、画像補正前後における変化を調べ、画像の変化が生じている箇所の輝度、位置に基づき処理制御部19において光学特性情報を生成する。
つまり、光学特性情報は画像の歪曲収差補正前後で変化している位置とその輝度値による。歪曲収差補正の位置は主に撮像光学系に依存することから、撮像部9により取得する画像上の位置の情報を記憶部7で予め記憶しておく等、光学特性情報の生成前に処理制御部19が取得すればよい。
つまり、光学特性情報は画像の歪曲収差補正前後で変化している位置とその輝度値による。歪曲収差補正の位置は主に撮像光学系に依存することから、撮像部9により取得する画像上の位置の情報を記憶部7で予め記憶しておく等、光学特性情報の生成前に処理制御部19が取得すればよい。
本変形例においても、輝度値の変化により元の画像のノイズの状態も変化する(輝度が大きくなるとノイズも大きくなる、等)ので、輝度値に応じた基本ノイズ低減情報に対して、輝度が変化している位置についてのみ基本ノイズ低減情報を更新し、通常のノイズ低減処理とは異なるノイズ低減を行うようにノイズ低減情報を更新する。
このように画像上の位置に応じて生成された光学特性情報に基づいて基本ノイズ低減情報を更新することで、画像上の位置に応じたノイズ低減を行うことができ、歪曲収差(ディストーション)に鑑みたノイズ低減を行うことができる。
このように画像上の位置に応じて生成された光学特性情報に基づいて基本ノイズ低減情報を更新することで、画像上の位置に応じたノイズ低減を行うことができ、歪曲収差(ディストーション)に鑑みたノイズ低減を行うことができる。
(変形例2)
撮像部9の撮像光学系が焦点距離可変機構を持ち、焦点距離を変更可能である場合のノイズ低減情報の更新は以下のように行われる。
撮像光学系のMTF特性は焦点距離により変化するが、撮像光学系がカバーする全ての焦点距離に対してMTF特性に基づくノイズ低減情報を基本ノイズ低減情報記憶部15に記憶しておくことは現実的でない。このため、予め複数の焦点距離に関する基本ノイズ低減情報を記憶しておき、焦点距離に応じた実際の基本ノイズ低減情報として、記憶されている基本ノイズ低減情報を重み付け補間することで算出することができる。
撮像部9の撮像光学系が焦点距離可変機構を持ち、焦点距離を変更可能である場合のノイズ低減情報の更新は以下のように行われる。
撮像光学系のMTF特性は焦点距離により変化するが、撮像光学系がカバーする全ての焦点距離に対してMTF特性に基づくノイズ低減情報を基本ノイズ低減情報記憶部15に記憶しておくことは現実的でない。このため、予め複数の焦点距離に関する基本ノイズ低減情報を記憶しておき、焦点距離に応じた実際の基本ノイズ低減情報として、記憶されている基本ノイズ低減情報を重み付け補間することで算出することができる。
具体的には、焦点F0のときの基本ノイズ低減情報成分をP0、焦点距離F1のときの基本ノイズ低減情報成分をP1とする。基本ノイズ低減情報成分は図5の所定の輝度に対するノイズの関係を表すものとする。また焦点距離F0〜F1の間のMTF特性の変化は線形性を保つものとする。
焦点距離F(F0≦F≦F1)の基本ノイズ低減情報成分Pを次式のように定義することができる。
焦点距離F(F0≦F≦F1)の基本ノイズ低減情報成分Pを次式のように定義することができる。
これにより、焦点位置が変わることでMTF特性及び焦点位置に起因する補正に伴うノイズ特性が変化しても適切にノイズ低減情報を生成することができ、焦点距離に応じたノイズ低減情報の算出(及びノイズ低減)が可能になる。
1 画像処理装置
9 撮像部
11 撮影条件設定部
12 入力部
13 前処理部
14 画像補正部
15 基本ノイズ低減情報記憶部
16 ノイズ低減情報更新部
17 ノイズ低減処理部
18 出力画像構成部
19 処理制御部
9 撮像部
11 撮影条件設定部
12 入力部
13 前処理部
14 画像補正部
15 基本ノイズ低減情報記憶部
16 ノイズ低減情報更新部
17 ノイズ低減処理部
18 出力画像構成部
19 処理制御部
Claims (6)
- 撮像光学系により結像された被写体の光学像を撮像して画像を取得する撮像装置に適用され、
該撮像装置により取得された画像及び前記撮像光学系の特性に関する光学特性情報を入力する入力手段と、
前記光学特性情報に基づいて前記画像の補正を行う画像補正手段と、
輝度値に対するノイズ量を示す基本ノイズ低減情報を予め記憶した基本ノイズ低減情報記憶手段と、
前記画像が取得された際の撮影条件と前記光学特性情報とに基づいて、前記画像補正手段による前記画像の補正によって生じるノイズ量の変動を抑制するように、前記基本ノイズ低減情報を更新するノイズ低減情報更新手段と、
該ノイズ低減情報更新手段により更新されたノイズ低減情報に基づいて前記画像のノイズ低減処理を行うノイズ低減手段と、を備える画像処理装置。 - 前記基本ノイズ低減情報記憶手段が、周波数成分毎に複数の基本ノイズ低減情報を記憶する請求項1記載の画像処理装置。
- 前記光学特性情報が、前記撮像光学系の光学性能を周波数特性で評価した光学伝達関数に基づいて生成される請求項1又は請求項2記載の画像処理装置。
- 前記光学特性情報が、画像上の位置に応じて生成される請求項1乃至請求項3の何れか1項記載の画像処理装置。
- 前記撮影条件が、F値、焦点距離及びISO感度のうち少なくとも1以上の条件を含む請求項1乃至請求項4の何れか1項記載の画像処理装置。
- 前記画像補正手段が、前記画像のボケを補正する請求項1乃至請求項5の何れか1項記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014137844A JP2016015685A (ja) | 2014-07-03 | 2014-07-03 | 画像処理装置 |
PCT/JP2015/057495 WO2016002260A1 (ja) | 2014-07-03 | 2015-03-13 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014137844A JP2016015685A (ja) | 2014-07-03 | 2014-07-03 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016015685A true JP2016015685A (ja) | 2016-01-28 |
Family
ID=55018822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014137844A Pending JP2016015685A (ja) | 2014-07-03 | 2014-07-03 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2016015685A (ja) |
WO (1) | WO2016002260A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018093295A (ja) * | 2016-11-30 | 2018-06-14 | 日本放送協会 | コントラスト補正装置及びプログラム |
JP2019146117A (ja) * | 2018-02-23 | 2019-08-29 | オムロン株式会社 | 画像センサ |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005130297A (ja) * | 2003-10-24 | 2005-05-19 | Olympus Corp | 信号処理システム、信号処理方法、信号処理プログラム |
JP4895839B2 (ja) * | 2006-02-01 | 2012-03-14 | 富士フイルム株式会社 | 画像補正装置および方法 |
JP2010056817A (ja) * | 2008-08-28 | 2010-03-11 | Hitachi Ltd | 撮像装置 |
JP5374217B2 (ja) * | 2009-04-22 | 2013-12-25 | キヤノン株式会社 | 画像処理装置およびその方法 |
-
2014
- 2014-07-03 JP JP2014137844A patent/JP2016015685A/ja active Pending
-
2015
- 2015-03-13 WO PCT/JP2015/057495 patent/WO2016002260A1/ja active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018093295A (ja) * | 2016-11-30 | 2018-06-14 | 日本放送協会 | コントラスト補正装置及びプログラム |
JP2019146117A (ja) * | 2018-02-23 | 2019-08-29 | オムロン株式会社 | 画像センサ |
Also Published As
Publication number | Publication date |
---|---|
WO2016002260A1 (ja) | 2016-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8941762B2 (en) | Image processing apparatus and image pickup apparatus using the same | |
JP5132401B2 (ja) | 画像処理装置及び画像処理方法 | |
US8442347B2 (en) | Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope | |
JP5264968B2 (ja) | 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム | |
EP2536126B1 (en) | Image processing apparatus, image processing method, and program | |
JP5060447B2 (ja) | ノイズキャンセル処理回路および固体撮像装置 | |
JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP2010045534A (ja) | 固体撮像装置 | |
JP4944061B2 (ja) | 画像処理装置および方法並びにプログラム | |
CN107534728B (zh) | 图像处理装置、摄像装置、图像处理方法及存储介质 | |
WO2016002260A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6631161B2 (ja) | 画像処理装置、撮像装置、制御プログラム | |
JP7134666B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5520863B2 (ja) | 画像信号処理装置 | |
JP2017041764A (ja) | 画像処理装置、および画像処理方法 | |
JP2020201694A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2014236226A (ja) | 画像処理装置および画像処理方法 | |
JP5333163B2 (ja) | 撮像装置 | |
JP2011193276A (ja) | 撮像装置、その制御方法及びプログラム | |
US20240144536A1 (en) | Image processing device, image processing method, and storage medium | |
JP6627422B2 (ja) | 画像処理装置、撮像装置、制御プログラム | |
KR102589856B1 (ko) | 촬영 장치, 촬영 방법 및 컴퓨터 프로그램 제품 | |
JP2012134736A (ja) | 撮像装置 | |
JP5307572B2 (ja) | 撮像システム、映像信号処理プログラム、および撮像方法 | |
JP2017041763A (ja) | 画像処理装置、および画像処理方法 |