JP2015186200A - 画像処理装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2015186200A JP2015186200A JP2014063524A JP2014063524A JP2015186200A JP 2015186200 A JP2015186200 A JP 2015186200A JP 2014063524 A JP2014063524 A JP 2014063524A JP 2014063524 A JP2014063524 A JP 2014063524A JP 2015186200 A JP2015186200 A JP 2015186200A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- input image
- image
- noise removal
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 229
- 238000000034 method Methods 0.000 title claims description 102
- 238000002156 mixing Methods 0.000 claims abstract description 179
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims description 93
- 230000009467 reduction Effects 0.000 claims description 72
- 230000000694 effects Effects 0.000 claims description 52
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 abstract description 29
- 238000005516 engineering process Methods 0.000 abstract description 14
- 238000009499 grossing Methods 0.000 abstract description 13
- 238000006243 chemical reaction Methods 0.000 description 25
- 230000015556 catabolic process Effects 0.000 description 16
- 238000006731 degradation reaction Methods 0.000 description 16
- 230000006866 deterioration Effects 0.000 description 15
- 238000001914 filtration Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 8
- 102100033041 Carbonic anhydrase 13 Human genes 0.000 description 5
- 101000867860 Homo sapiens Carbonic anhydrase 13 Proteins 0.000 description 5
- 102100033029 Carbonic anhydrase-related protein 11 Human genes 0.000 description 4
- 101000867841 Homo sapiens Carbonic anhydrase-related protein 11 Proteins 0.000 description 4
- 101001075218 Homo sapiens Gastrokine-1 Proteins 0.000 description 4
- 101710114762 50S ribosomal protein L11, chloroplastic Proteins 0.000 description 3
- 101710082414 50S ribosomal protein L12, chloroplastic Proteins 0.000 description 3
- 101710156159 50S ribosomal protein L21, chloroplastic Proteins 0.000 description 3
- 101710115003 50S ribosomal protein L31, chloroplastic Proteins 0.000 description 3
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 3
- 102100033007 Carbonic anhydrase 14 Human genes 0.000 description 3
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 3
- 101000867862 Homo sapiens Carbonic anhydrase 14 Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100328077 Bos taurus CL43 gene Proteins 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
Abstract
【課題】より画質のよい画像を得ることができるようにする。【解決手段】色判別部51は、入力画像から特定色の領域を検出し、境界領域設定部52は特定色の領域の検出結果に基づいて、特定色の領域の境界を示す境界情報を生成する。エッジ識別部61は、入力画像から輝度に関する特徴量である輝度特徴量を算出する。混合率決定部62は、特定色の領域の検出結果と輝度特徴量に基づいて混合率を決定する。平均部63は、境界情報、輝度特徴量、および混合率に基づいて入力画像をに対してフィルタ処理を施し、その結果得られた平滑化画像を出力する。混合部64は、混合率に基づいて平滑化画像と入力画像とを混合する。本技術は、デジタルカメラに適用することができる。【選択図】図3
Description
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より画質のよい画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
従来、画像に対するノイズ除去処理を行うことで、より画質のよい画像を得ることができるようにする技術が知られている。ノイズ除去処理により画質のよい画像を得るためには、ノイズ除去処理において画質の劣化を抑制しつつ、効率的にノイズを除去することが必要となる。
例えば、ノイズ除去処理に関する技術として、画像上の解像劣化が生じやすい色領域の部分においてノイズ除去効果を弱める技術が提案されている(例えば、特許文献1参照)。
しかしながら、上述した技術ではノイズ除去効果を弱めているため、解像劣化、つまり画質の劣化を抑制することはできるが、十分にノイズを除去することが困難であった。例えば上述した技術では、画像上の大きな範囲のノイズ、すなわち低周波ノイズを除去することができないため、十分に画質のよい画像が得られるとはいえなかった。
本技術は、このような状況に鑑みてなされたものであり、より画質のよい画像を得ることができるようにするものである。
本技術の一側面の画像処理装置は、入力画像から特定色の領域を検出する色判別部と、前記入力画像の輝度に関する特徴量を算出する特徴量算出部と、前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行うノイズ除去部とを備える。
前記ノイズ除去部には、前記特定色の領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行わせることができる。
前記ノイズ除去部には、前記特定色の領域の境界部分に対して、他の領域における場合よりもノイズ除去効果を弱めて前記ノイズ除去を行わせることができる。
前記特定色を無彩色とすることができる。
前記特徴量算出部には、エッジ検波を行うことで前記特徴量を算出させることができる。
前記特徴量算出部には、輝度の平坦さの度合いを前記特徴量として算出させることができる。
前記ノイズ除去部には、前記輝度の平坦さの度合いが閾値以上である領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行わせることができる。
画像処理装置には、前記特定色の領域の検出結果に基づいて、前記特定色の領域の境界らしさを示す境界情報を算出する境界領域設定部をさらに設け、前記ノイズ除去部には、前記境界情報および前記特徴量に応じて、互いに異なる複数の処理のうちの少なくとも何れかを行うことで前記入力画像に対する前記ノイズ除去を行わせることができる。
前記互いに異なる複数の処理を、ノイズ除去に用いられる前記入力画像上の領域の範囲が異なる処理とすることができる。
前記ノイズ除去部には、前記入力画像を縮小する縮小部と、前記縮小部により縮小された前記入力画像に対してフィルタ処理を施す第1のフィルタ処理部と、前記第1のフィルタ処理部によりフィルタ処理された前記入力画像を、前記縮小部による縮小前の大きさに拡大する拡大部と、前記入力画像に対してフィルタ処理を施す第2のフィルタ処理部と、前記境界情報および前記特徴量に応じて、前記入力画像を、前記縮小部または前記第2のフィルタ処理部の少なくとも何れか一方に供給する接続部とを設けることができる。
前記ノイズ除去部には、前記拡大部による拡大により得られた画像と、前記第2のフィルタ処理部によるフィルタ処理により得られた画像とを、前記特定色の領域の検出結果および前記特徴量により定まる第1の混合係数により混合する第1の混合部をさらに設けることができる。
前記ノイズ除去部には、前記第1の混合部による混合で得られた画像と、前記入力画像とを前記特定色の領域の検出結果および前記特徴量により定まる第2の混合係数により混合する第2の混合部をさらに設けることができる。
本技術の一側面の画像処理方法またはプログラムは、入力画像から特定色の領域を検出し、前記入力画像の輝度に関する特徴量を算出し、前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行うステップを含む。
本技術の一側面においては、入力画像から特定色の領域が検出され、前記入力画像の輝度に関する特徴量が算出され、前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去が行われる。
本技術の一側面によれば、より画質のよい画像を得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈撮像装置の構成例〉
本技術は、画像から特定色の領域を検出するとともに、画像から輝度に関する特徴量を検出し、特定色の領域の検出結果と、特徴量の検出結果とに基づいて画像に対するノイズ除去処理を行うものである。これにより、解像劣化を抑制しつつ色ノイズを知覚しやすい領域のノイズ除去効果を強め、より画質のよい画像を得ることができるようになる。
〈撮像装置の構成例〉
本技術は、画像から特定色の領域を検出するとともに、画像から輝度に関する特徴量を検出し、特定色の領域の検出結果と、特徴量の検出結果とに基づいて画像に対するノイズ除去処理を行うものである。これにより、解像劣化を抑制しつつ色ノイズを知覚しやすい領域のノイズ除去効果を強め、より画質のよい画像を得ることができるようになる。
以下、本技術を適用した具体的な実施の形態について説明する。
図1は、本技術を適用した撮像装置の一実施の形態の構成例を示す図である。
図1の撮像装置11は、例えばデジタルカメラや、撮像機能を有する多機能型携帯電話機などとされ、撮像装置11はレンズ部21、撮像素子22、ガンマ変換部23、YCC変換部24、およびノイズリダクション部25を有している。
レンズ部21は、例えば1または複数のレンズ、絞り、シャッタなどからなり、被写体から入射した光を集光して撮像素子22へと導く。撮像素子22は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなり、レンズ部21から入射した光を受光して光電変換することにより被写体を撮像し、その結果得られた電気信号を画像信号のRAWデータとしてガンマ変換部23に供給する。
例えば撮像素子22の受光面にはR(赤)、G(緑)、B(青)の各色のカラーフィルタがいわゆるベイヤー配列で配置されている。したがって、この撮像素子22からはR、G、Bの各色情報を有するRAWデータが出力される。
より詳細には、撮像素子22では、得られたRAWデータに対してゲイン調整処理やA/D(Analog/Digital)変換処理が施され、それらの処理が施されたRAWデータがガンマ変換部23へと供給される。
ガンマ変換部23は、撮像素子22から供給されたRAWデータに対してガンマ変換処理を施してYCC変換部24に供給する。
YCC変換部24は、ガンマ変換部23から供給されたR、G、Bの各色情報からなるRAWデータをYCCデータに変換し、ノイズリダクション部25に供給する。
ここで、YCCデータとは、輝度信号(Y信号)と色差信号(Cr信号およびCb信号)からなるデータである。以下では、特に赤色差信号を色差信号Crとも称し、青色差信号を色差信号Cbとも称することとする。
ノイズリダクション部25は、YCC変換部24から供給されたYCCデータに対してノイズ除去処理を施し、その結果得られたYCCデータを、撮像された撮像画像の画像データとして出力する。
ここで、ノイズリダクション部25により行われるノイズ除去処理では、YCCデータを構成する輝度信号(Y信号)はノイズ除去処理の前後で同じであり、YCCデータを構成する色差信号がノイズ除去処理の前後で異なる。すなわち、ノイズリダクション部25では、色差信号に対してノイズ除去処理が行われる。
以下では、特にノイズ除去処理後の色差信号Crを色差信号Cr’とも称し、ノイズ除去処理後の色差信号Cbを色差信号Cb’とも称することとする。また、ノイズ除去処理後の輝度信号であるY信号をY’信号とも称する。さらに、以下では、YCC変換部24からノイズリダクション部25に供給されるYCCデータを、入力画像の入力画像データとも称することとする。
〈ノイズ除去処理の説明〉
次に、図2のフローチャートを参照して、ノイズリダクション部25により行われるノイズ除去処理について説明する。
次に、図2のフローチャートを参照して、ノイズリダクション部25により行われるノイズ除去処理について説明する。
ノイズリダクション部25は、YCC変換部24から入力画像が供給されると、入力画像からノイズを除去するノイズ除去処理を行う。このノイズ除去処理は入力画像の画素ごとに行われる。以下、入力画像の処理対象となっている画素を、適宜、処理対象画素とも称することとする。
ステップS11において、ノイズリダクション部25は、入力画像の処理対象画素が特定の色の領域の画素であるか否かを判定する。
具体的には、例えばステップS11では、処理対象画素が無彩色の画素である場合、特定の色の領域の画素であると判定される。ここで、処理対象画素が無彩色の画素であるか否かは入力画像データのクロマ信号、つまり色差信号Crおよび色差信号Cbの値により定まるCrCb空間における処理対象画素の位置によって特定される。
CrCb空間は、色差信号CrをCr軸とし、色差信号CbをCb軸とする色空間である。処理対象画素の色差信号Crおよび色差信号Cbの値により定まるCrCb空間上の位置が、そのCrCb空間上の所定範囲(領域)内の位置である場合、処理対象画素が無彩色の画素であるとされる。
ステップS11において、処理対象画素が特定の色の領域の画素であると判定された場合、ステップS12において、ノイズリダクション部25は入力画像の処理対象画素に対して、予め定められたノイズ除去処理NR(A)を施す。そして、ノイズリダクション部25は、ノイズ除去処理NR(A)の結果得られた画素の画素値を、撮像画像の画素の画素値とし、ノイズ除去処理は終了する。
ここで、ノイズ除去処理NR(A)は、入力画像の比較的広い範囲の画素を用いてノイズ除去を行うことで、高いノイズ除去効果が得られるフィルタ処理である。広い範囲の画素を用いてノイズ除去を行えば、画像に含まれている低周波ノイズも除去することができるので、より高いノイズ除去効果が得られる。
画像上の無彩色の領域は、ノイズが知覚されやすい領域であり、無彩色の領域のノイズが十分に除去されていないと、そのノイズによって画質が劣化して見えることになる。換言すれば、無彩色領域にあるノイズは目立つため、画像の画質の劣化がより顕著に感じられてしまう。
そこで、ノイズリダクション部25は、入力画像の無彩色の領域に対してはノイズ除去効果の高いノイズ除去処理NR(A)を施すことで十分にノイズを除去し、より画質のよい撮像画像を得ることができるようにする。つまり、入力画像の無彩色の領域に対して、他の領域における場合よりもノイズ除去効果が強められてノイズ除去が行われる。
また、ステップS11において、処理対象画素が特定の色の領域の画素でないと判定された場合、ステップS13において、ノイズリダクション部25は、入力画像の処理対象画素が、輝度が平坦な領域の画素であるか否かを判定する。
具体的には、例えば入力画像データを構成する輝度信号(Y信号)に基づいて算出される輝度の平坦さの度合いが所定の閾値以上である場合、輝度が平坦な領域の画素であると判定される。
ステップS13において、輝度が平坦な領域の画素であると判定された場合、ステップS14において、ノイズリダクション部25は入力画像の処理対象画素に対して、予め定められたノイズ除去処理NR(B)を施す。そして、ノイズリダクション部25は、ノイズ除去処理NR(B)の結果得られた画素の画素値を、撮像画像の画素の画素値とし、ノイズ除去処理は終了する。
ここで、ノイズ除去処理NR(B)は、入力画像の比較的広い範囲の画素を用いてノイズ除去を行うことで、高いノイズ除去効果が得られるフィルタ処理である。このノイズ除去処理NR(B)は、ノイズ除去処理NR(A)と同じ処理であってもよいし、ノイズ除去処理NR(A)とは異なる処理であってもよい。
画像上の輝度が平坦な領域は、上述した無彩色の領域と同様にノイズが知覚されやすい領域であり、輝度が平坦な領域のノイズが十分に除去されていないと、そのノイズが目立ってしまう。そこで、ノイズリダクション部25は、入力画像における輝度が平坦な領域に対してはノイズ除去効果の高いノイズ除去処理NR(B)を施すことで十分にノイズを除去し、より画質のよい撮像画像を得ることができるようにする。つまり、入力画像における輝度が平坦な領域に対して、他の領域における場合よりもノイズ除去効果が強められてノイズ除去が行われる。
一方、ステップS13において、輝度が平坦な領域の画素でないと判定された場合、ステップS15において、ノイズリダクション部25は入力画像の処理対象画素に対して、予め定められたノイズ除去処理NR(C)を施す。そして、ノイズリダクション部25は、ノイズ除去処理NR(C)の結果得られた画素の画素値を、撮像画像の画素の画素値とし、ノイズ除去処理は終了する。
ここで、ノイズ除去処理NR(C)は、入力画像の比較的狭い範囲の画素を用いてノイズ除去を行うフィルタ処理であり、上述したノイズ除去処理NR(A)やノイズ除去処理NR(B)と比べるとノイズ除去効果が低いフィルタ処理とされる。
すなわち、ノイズ除去処理NR(C)では、ノイズ除去処理NR(A)やノイズ除去処理NR(B)の場合よりも入力画像の狭い範囲の画素を用いてノイズ除去が行われる。そのため、ノイズ除去処理NR(C)は、ノイズ除去処理NR(A)やノイズ除去処理NR(B)よりもフィルタ強度、つまりノイズ除去効果が低い処理となる。
画像上の輝度が平坦でない領域、つまりエッジ成分が多く含まれている領域においてはノイズ除去により生じる解像劣化が知覚されやすい。そこで、ノイズリダクション部25は、入力画像上の輝度が平坦でない領域に対してはノイズ除去効果の低いノイズ除去処理NR(C)を施すことで画質の劣化を抑制し、より画質のよい撮像画像を得ることができるようにする。
特に、この例では輝度が平坦ではなく無彩色の領域と有彩色の領域との境界部分である領域に対してノイズ除去処理NR(C)が行われることになる。無彩色の領域と有彩色の領域の境界部分の領域は、解像劣化が知覚されやすいため、このような領域に対してノイズ除去効果を弱めることで、より画質のよい撮像画像を得ることができる。
以上のようにして、ノイズリダクション部25は、入力画像の処理対象の領域が特定の色の領域であるかや、輝度が平坦な領域であるかに基づいて、各領域に対して、その領域に適したノイズ除去処理を行う。例えばノイズが目立ちやすい、無彩色の領域や輝度の平坦な領域に対してはノイズ除去効果が強められ、解像劣化が知覚されやすい、輝度が平坦ではない無彩色の領域と有彩色の領域の境界部分の領域に対してはノイズ除去効果が弱められてノイズ除去が行われる。これにより、十分にノイズを除去しつつ画質の劣化を抑制し、より画質のよい撮像画像を得ることができる。
〈ノイズリダクション部の構成例〉
次に、図1に示したノイズリダクション部25のより詳細な構成について説明する。
次に、図1に示したノイズリダクション部25のより詳細な構成について説明する。
図3は、ノイズリダクション部25のより詳細な構成例を示す図である。
図3に示すノイズリダクション部25は、色判別部51、境界領域設定部52、およびフィルタ処理部53を有している。
色判別部51は、YCC変換部24から供給された入力画像に基づいて、入力画像上の特定の色領域を検出する。例えば検出対象となる特定の色領域は、色ノイズが知覚されやすい色、具体的には無彩色の領域などとされる。この場合、色判別部51は入力画像に基づいて、入力画像の各領域における無彩色の度合いCを算出し、境界領域設定部52およびフィルタ処理部53に供給する。
境界領域設定部52は、色判別部51から供給された無彩色の度合いCに基づいて、無彩色の領域と有彩色の領域との境界を示す境界情報Bを生成し、フィルタ処理部53に供給する。
フィルタ処理部53は、色判別部51から供給された無彩色の度合いCと、境界領域設定部52から供給された境界情報Bとに基づいて、YCC変換部24から供給された入力画像に対してフィルタ処理(ノイズ除去処理)を施し、その結果得られた撮像画像を出力する。ここで、フィルタ処理部53により行われるフィルタ処理が、上述したノイズ除去処理NR(A)、ノイズ除去処理NR(B)、およびノイズ除去処理NR(C)に対応する。
なお、フィルタ処理部53により行われるフィルタ処理は、ノイズ除去処理NR(A)、ノイズ除去処理NR(B)、およびノイズ除去処理NR(C)の一例であり、ノイズが目立ちやすい領域に対してノイズ除去効果が強められ、解像劣化が知覚されやすい領域に対してノイズ除去効果が弱められればよい。
また、フィルタ処理部53は、エッジ識別部61、混合率決定部62、平均部63、および混合部64を備えている。
エッジ識別部61は、YCC変換部24から供給された入力画像に基づいて、入力画像の輝度(明るさ)に関する特徴量である輝度特徴量Fを算出し、混合率決定部62および平均部63に供給する。
混合率決定部62は、色判別部51から供給された無彩色の度合いCと、エッジ識別部61から供給された輝度特徴量Fとに基づいて所定の混合率Dを算出し、平均部63および混合部64に供給する。
平均部63は、境界領域設定部52から供給された境界情報B、エッジ識別部61から供給された輝度特徴量F、および混合率決定部62から供給された混合率Dに基づいて、YCC変換部24から供給された入力画像に対してフィルタ処理を施し、得られた平滑化画像を混合部64に供給する。
例えば平均部63では、入力画像における無彩色の領域と有彩色の領域の境界部分の領域に対しては、他の領域よりもノイズ除去効果が弱められてノイズ除去が行われる。また、例えば平均部63では、入力画像における輝度特徴量Fが大きい領域、つまり輝度が平坦な領域に対しては、他の領域よりもノイズ除去効果が強められてノイズ除去が行われる。
さらに、例えば平均部63において、入力画像における無彩色の領域に対して、他の領域よりもノイズ除去効果が強められてノイズ除去が行われてもよい。
混合部64は、混合率決定部62から供給された混合率Dに基づいて、平均部63から供給された平滑化画像(以下、平滑化画像Lとも称する)と、YCC変換部24から供給された入力画像(以下、入力画像Hとも称する)とを混合し、得られた撮像画像を出力する。以下、混合部64から出力される撮像画像を撮像画像Mとも称することとする。
〈無彩色の度合いと境界情報について〉
次に、ノイズリダクション部25において行われるノイズ除去処理で用いられる各情報について、より詳細に説明する。
次に、ノイズリダクション部25において行われるノイズ除去処理で用いられる各情報について、より詳細に説明する。
まず、色判別部51で得られる無彩色の度合いCは、入力画像を構成する色差信号Crおよび色差信号Cbの値により定められる。例えば、CrCb空間の各領域(位置)に対して、予め無彩色らしさの度合いを示す値が対応付けられている。
色判別部51は、入力画像の各画素について、それらの画素の色差信号Crおよび色差信号Cbの値により定まる無彩色らしさの度合いを示す値を、それらの各画素の無彩色の度合いCとして決定する。無彩色の度合いCの値は、入力画像の対象となる領域が無彩色の領域らしいほど大きくなる。
境界領域設定部52は、例えば無彩色の度合いCに基づいて、入力画像における無彩色の領域と有彩色の領域とを分離させ、その境界部分を示す境界情報Bを生成する。ここで、境界情報Bの値は、無彩色の領域と有彩色の領域との境界位置らしいほど大きくなる。
このような無彩色の度合いCおよび境界情報Bとして、具体的には例えば図4に示す情報が得られる。
なお、図4において図中、横方向は入力画像における画素列方向を示している。
この例では、例えば入力画像IP11には大きく分けて5つの色領域CA11乃至色領域CA15が含まれている。ここで、図4中a、b、c、およびdは、それぞれ色領域CA11と色領域CA12、色領域CA12と色領域CA13、色領域CA13と色領域CA14、および色領域CA14と色領域CA15の境界位置を示している。
このような入力画像IP11について、色判別部51により無彩色の度合いCの計算が行われると、例えば矢印A11に示す結果が得られる。矢印A11に示す例では、入力画像IP11の各領域の濃淡が無彩色の度合いCを示しており、濃度が薄い領域ほど無彩色の度合いCが大きいことを示している。
この例では色領域CA11、色領域CA12、および色領域CA14の部分の濃度が濃くなっており、これらの色領域は有彩色らしい領域となっていることが分かる。これに対して、色領域CA13の部分の濃度は薄くなっており、色領域CA13は無彩色らしい領域となっていることが分かる。また、色領域CA15は、図中、右側の領域ほど濃度がより薄くなっており、色領域CA15の図中、右側の領域ほど無彩色らしい領域となっていることが分かる。
このような入力画像IP11の図中、横方向に並ぶ各画素からなる画素列について、矢印A11に示す無彩色の度合いCの計算結果をみると、例えば図中、右側の折れ線CL11に示すようになる。なお、折れ線CL11に示す無彩色の度合いCでは、横軸は入力画像IP11上の位置を示しており、縦軸は無彩色の度合いCの値を示している。
折れ線CL11に示す例では、色領域CA13の部分において無彩色の度合いCの値が一定の大きな値となっている。また、色領域CA15の部分においては、図中、右側の位置ほど無彩色の度合いCの値が大きくなっており、無彩色の度合いCの値が線形に変化している。
さらに、このような無彩色の度合いCからは、例えば矢印A12に示す境界情報Bが得られる。矢印A12に示す例では、入力画像IP11の各領域の濃淡が無彩色の境界らしさを示しており、濃度が薄い領域ほど境界らしさの度合い、すなわち境界情報Bの値が大きいことを示している。
この例では、境界b近傍の領域や、境界c近傍の領域、色領域CA15の図中、右側の端近傍の領域の部分の濃度が薄くなっており、それらの部分の領域が、無彩色の領域と有彩色の領域との境界部分の領域らしいことが分かる。
このような入力画像IP11の図中、横方向に並ぶ各画素からなる画素列について、矢印A12に示す境界情報Bの計算結果をみると、例えば図中、右側の折れ線CL12に示すようになる。なお、折れ線CL12に示す境界情報Bでは、横軸は入力画像IP11上の位置を示しており、縦軸は境界情報Bの値を示している。
折れ線CL12に示す例では、境界b近傍や、境界c近傍において境界情報Bの値が一定の大きな値となっている。また、色領域CA15の部分においては、図中、右側の位置ほど境界情報Bの値が大きくなっており、境界情報Bの値が線形に変化している。
〈輝度特徴量について〉
また、エッジ識別部61では、例えばYCC変換部24から供給された入力画像を構成する輝度信号に対してエッジ検波、すなわちラプラシアンフィルタやソーベルフィルタなどのフィルタを用いたフィルタ処理が行われる。そして、フィルタ処理により得られた各領域のエッジ強度の逆数が求められて輝度特徴量Fとされる。
また、エッジ識別部61では、例えばYCC変換部24から供給された入力画像を構成する輝度信号に対してエッジ検波、すなわちラプラシアンフィルタやソーベルフィルタなどのフィルタを用いたフィルタ処理が行われる。そして、フィルタ処理により得られた各領域のエッジ強度の逆数が求められて輝度特徴量Fとされる。
なお、より詳細には入力画像上のエッジ強度の強い領域、つまり輪郭部分等の異なる色領域同士の境界部分がより明確になるように、適度に各領域のエッジ強度が整形されてからエッジ強度の逆数が求められる。
このようにエッジ検波を行って輝度特徴量Fが求められる場合、例えば図5に示すように入力画像IP11に対して、矢印A21に示す輝度特徴量Fが得られる。なお、図5において図4における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図5の矢印A21に示す例では、入力画像IP11の各領域の濃淡がエッジ強度の逆数を示しており、濃度が濃い領域ほどエッジ強度が強い(エッジ強度の逆数が小さい)、すなわち輝度特徴量Fの値が小さいことを示している。
この例では、各境界a、b、c、dの近傍の領域や、色領域CA15の図中、中央の領域の部分の濃度が濃くなっており、それらの部分の領域のエッジ強度が強い、つまり輝度の変化が大きい領域であることが分かる。換言すれば、濃度の薄い領域ほど、輝度の変化が少ない平坦な領域であることが分かる。輝度特徴量Fはエッジ強度の逆数を示す値であるから、輝度特徴量Fの値は入力画像における輝度の平坦さの度合いを示しているということができる。また、各被写体(色領域)の境界部分ほどエッジ強度が強くなるはずであるから、輝度特徴量Fは被写体の境界位置を示しているともいうことができる。
このような入力画像IP11の図中、横方向に並ぶ各画素からなる画素列について、矢印A21に示す輝度特徴量Fの計算結果をみると、例えば図中、右側の折れ線CL21に示すようになる。なお、折れ線CL21に示す輝度特徴量Fでは、横軸は入力画像IP11上の位置を示しており、縦軸は輝度特徴量Fの値を示している。
折れ線CL21に示す例では、各境界a、b、c、dの近傍の領域で輝度特徴量Fの値が小さい値となっており、色領域CA11から色領域CA15の左端までの他の領域の部分では、輝度特徴量Fが一定の大きな値となっている。また、色領域CA15の部分においては、色領域CA15の図中、中央部分において、輝度特徴量Fの値がある程度小さくなる部分があり、この部分も無彩色と有彩色の領域の境界らしい部分であることが分かる。
〈混合率について〉
さらに、混合率決定部62では、図4に示した無彩色の度合いCと、図5に示した輝度特徴量Fとから、例えば図6に示す混合率Dが算出される。なお、図6において、図4または図5における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
さらに、混合率決定部62では、図4に示した無彩色の度合いCと、図5に示した輝度特徴量Fとから、例えば図6に示す混合率Dが算出される。なお、図6において、図4または図5における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
図6の例では、入力画像IP11に対して矢印A31に示す無彩色の度合いCの計算結果と、矢印A32に示す輝度特徴量Fの計算結果とが得られている。なお、矢印A31に示す無彩色の度合いCの計算結果は、図4の矢印A11に示した計算結果と同じであり、矢印A32に示す輝度特徴量Fの計算結果は、図5の矢印A21に示した計算結果と同じである。
混合率決定部62は、入力画像IP11の各画素位置について、それらの各画素位置における無彩色の度合いCの値と輝度特徴量Fの値とのうちの最大値を、それらの画素位置における混合率Dの値とする。なお、より詳細には、例えば無彩色の度合いCと輝度特徴量Fとは、それぞれ最大値が1となるように正規化される。
このように無彩色の度合いCと輝度特徴量Fのうちの大きい方の値を混合率Dとすることで混合率Dを算出し、入力画像IP11の図中、横方向に並ぶ各画素からなる画素列について混合率Dの計算結果をみると、例えば図中、下側の折れ線CL31に示すようになる。なお、折れ線CL31に示す混合率Dでは、横軸は入力画像IP11上の位置を示しており、縦軸は混合率Dの値を示している。
このようにして得られる混合率Dは、互いに異なるフィルタ処理が施された2つの入力画像を混合したり、平滑化画像Lと入力画像Hを混合したりするときに各画像の寄与率を定めるのに利用される。
なお、ここでは無彩色の度合いCと輝度特徴量Fのうちの最大値を混合率Dとする例について説明したが、混合率Dはどのようにして求められてもよい。例えば、無彩色の度合いCと輝度特徴量Fを加算したり、無彩色の度合いCと輝度特徴量Fを乗算したり、無彩色の度合いCと輝度特徴量Fのうちの一方の値を選択したりして混合率Dを算出するようにしてもよい。
〈平均部の構成例〉
続いて、図3に示した平均部63のより詳細な構成について説明する。平均部63は、より詳細には例えば図7に示すように構成される。
続いて、図3に示した平均部63のより詳細な構成について説明する。平均部63は、より詳細には例えば図7に示すように構成される。
図7に示す平均部63は、接続部91、縮小部92、フィルタ処理部93、拡大部94、フィルタ処理部95、および混合部96を有している。
接続部91は、YCC変換部24から供給された入力画像を、縮小部92またはフィルタ処理部95の少なくとも何れか一方へと供給する。
すなわち、接続部91は縮小部92に入力画像を供給するスイッチSW1と、フィルタ処理部95に入力画像を供給するスイッチSW2を有している。接続部91は、境界領域設定部52から供給された境界情報B、およびエッジ識別部61から供給された輝度特徴量Fに基づいて、スイッチSW1とスイッチSW2の接続を制御し、入力画像の供給を制御する。
縮小部92は、スイッチSW1から供給された入力画像を縮小させてフィルタ処理部93に供給する。例えば縮小部92では、入力画像が1/10のサイズに縮小される。
フィルタ処理部93は、縮小部92から供給された入力画像に対して平滑化フィルタを用いたフィルタ処理を施すことで入力画像からノイズを除去し、フィルタ処理が施された入力画像を拡大部94に供給する。
例えば平滑化フィルタは、入力画像上の処理対象画素を中心とする3画素×3画素の領域内にある画素の画素値をフィルタ係数により重み付き加算することで、フィルタ処理後の処理対象画素の画素値を求めるフィルタとされる。すなわち、3画素×3画素が用いられて処理対象画素の平滑化が行われる。
ここで、画素ごとのフィルタ係数が同じ値とされ、重み付き加算の計算が平均値計算とされるようにしてもよい。
この例では、入力画像が縮小部92で1/10のサイズに縮小されるので、平滑化フィルタの処理対象となる範囲、つまりフィルタ処理に用いられる領域の範囲は、実質的に30画素×30画素の領域となる。
したがって、この例では縮小部92で入力画像の縮小を行うことにより、より少ない演算でより強いフィルタ強度のフィルタ処理を入力画像に施すことができる。換言すれば少ない処理時間で、より大きい範囲のノイズ、つまり低周波ノイズを除去することができる。
拡大部94は、フィルタ処理部93から供給された入力画像をもとのサイズ、つまり縮小部92による縮小前の大きさに拡大し、混合部96に供給する。この例では、入力画像は縮小部92で1/10のサイズに縮小されるので、拡大部94は入力画像を10倍のサイズに拡大する。以下、拡大部94から出力される入力画像を入力画像Nとも称することとする。
フィルタ処理部95は、スイッチSW2から供給された入力画像に対して平滑化フィルタを用いたフィルタ処理を施すことで入力画像からノイズを除去し、フィルタ処理が施された入力画像を混合部96に供給する。以下、フィルタ処理部95から出力される入力画像を入力画像Oとも称することとする。
例えば、フィルタ処理部95で用いられる平滑化フィルタは、フィルタ処理部93で用いられる平滑化フィルタと同じものとされる。
この場合、フィルタ処理部95では、入力画像上の処理対象画素を中心とする3画素×3画素の領域内にある画素が用いられてフィルタ処理が行われる。そのため、フィルタ処理部93で行われるフィルタ処理は、フィルタ処理部95で行われるフィルタ処理と比べて、縮小部92で入力画像を縮小させている分だけ処理範囲が広い(処理単位が大きい)、つまりフィルタ強度が強くノイズ除去効果が高い処理となる。
混合部96は、混合率決定部62から供給された混合率Dに基づいて、拡大部94から供給された入力画像Nと、フィルタ処理部95から供給された入力画像Oとを混合し、その結果得られた平滑化画像Lを混合部64に供給する。
このように、平均部63では、実質的に縮小部92、フィルタ処理部93、および拡大部94により行われるフィルタ処理と、フィルタ処理部95により行われるフィルタ処理との少なくとも何れか一方の処理が入力画像に対して行われ、平滑化画像Lが生成される。
ここで、図8を参照して、接続部91におけるスイッチSW1とスイッチSW2の接続および切断について説明する。
例えば、接続部91は、輝度特徴量Fと予め定められた閾値Th1とを比較するとともに、境界情報Bと予め定められた閾値Th2とを比較し、それらの比較結果に応じて入力画像の供給先を決定する。
この例では、輝度特徴量Fが閾値Th1以上であり、かつ境界情報Bも閾値Th2以上である場合、スイッチSW1が切断された状態、つまりオフされた状態とされ、スイッチSW2が接続された状態、つまりオンされた状態とされる。
ここで、スイッチSW1が切断された状態では、縮小部92に入力画像が供給されない。また、スイッチSW2が接続された状態では、入力画像がフィルタ処理部95に供給される。
輝度特徴量Fが閾値Th1以上である場合、入力画像の処理対象の領域は、輝度がある程度平坦な領域となる。また、境界情報Bが閾値Th2以上である場合、入力画像の処理対象の領域は、無彩色の領域と有彩色の領域の境界部分らしい領域となる。
このように、輝度が平坦であるものの無彩色と有彩色の境界部分である領域が処理対象の領域となっている場合には、ノイズ除去効果を高く(強く)し過ぎると解像劣化による画質の劣化が目立ってしまう。
そこで、接続部91では輝度特徴量Fが閾値Th1以上であり、かつ境界情報Bも閾値Th2以上である場合には、入力画像がフィルタ処理部95のみに供給されるようにし、入力画像の画質が劣化しない程度に適度にノイズ除去が行われる。
また、輝度特徴量Fが閾値Th1以上であり、境界情報Bが閾値Th2未満である場合、スイッチSW1が接続された状態とされ、スイッチSW2が切断された状態とされる。
ここで、スイッチSW1が接続された状態では、縮小部92に入力画像が供給され、スイッチSW2が切断された状態では、入力画像はフィルタ処理部95には供給されない。
輝度特徴量Fが閾値Th1以上であり、境界情報Bが閾値Th2未満である場合、入力画像の処理対象の領域は、輝度がある程度平坦な領域であり、かつ有彩色の領域と無彩色の領域との境界部分でもない領域である。
このように輝度が平坦で、かつ有彩色の領域と無彩色の領域との境界部分でもない領域では、ある程度ノイズ除去効果を高め(強め)ても解像劣化による画質の劣化が目立つことはない。逆に、輝度が平坦な部分や無彩色の領域では、色ノイズが目立ちやすい。
そこで、接続部91では輝度特徴量Fが閾値Th1以上であり、かつ境界情報Bが閾値Th2未満である場合には、フィルタ処理部93でのみノイズ除去が行われるようにする。上述したようにフィルタ処理部93では、実質的に、入力画像に対して処理単位の大きな平滑化フィルタが適用される。
これにより、処理単位が大きく比較的強いフィルタ強度、つまり比較的高いノイズ除去効果を得ることができるフィルタ処理(ノイズ除去処理)により十分にノイズが除去され、より画質のよい撮像画像を得ることができる。すなわち、撮像画像の視覚特性を向上させることができる。
なお、この場合には、輝度が平坦な有彩色の領域についても比較的ノイズ除去効果の高いノイズ除去処理が行われることになるが、有彩色の領域であっても、境界部分ではなく輝度が平坦であれば解像劣化による画質の劣化はそれほど目立たつことはない。
また、輝度特徴量Fが閾値Th1未満であり、かつ境界情報Bが閾値Th2以上である場合、スイッチSW1が切断された状態とされ、スイッチSW2が接続された状態とされる。この場合、入力画像の処理対象の領域は、輝度が平坦な領域ではなく、かつ有彩色の領域と無彩色の領域との境界部分の領域である。
そのため、接続部91では、入力画像がフィルタ処理部95のみに供給されるようにし、入力画像の画質が劣化しない程度に適度にノイズ除去が行われる。すなわち、入力画像に対して処理単位の小さな平滑化フィルタが適用される。
さらに、輝度特徴量Fが閾値Th1未満であり、かつ境界情報Bも閾値Th2未満である場合、スイッチSW1およびスイッチSW2がともに接続された状態とされる。
この場合、入力画像の処理対象の領域は、輝度が平坦な領域ではないが、有彩色の領域と無彩色の領域との境界部分ではない領域であるので、ある程度ノイズ除去効果を高めても、それほど解像劣化による画質の劣化が目立つことはない。
そこで、接続部91では、フィルタ処理部93およびフィルタ処理部95の両方でノイズ除去が行われるようにし、大幅な解像劣化が生じることなく、かつある程度高いノイズ除去効果が得られるようにする。
このようにフィルタ処理部93とフィルタ処理部95の両方でノイズ除去が行われる場合、ノイズ除去効果、つまりフィルタ強度は、フィルタ処理部93のみでノイズ除去が行われる場合よりは弱く、かつフィルタ処理部95のみでノイズ除去が行われる場合よりは強いフィルタ強度となる。
以上のようにして入力画像の供給先が1つまたは2つ選択され、入力画像に対してフィルタ処理が行われる。特に、接続部91では境界情報Bと輝度特徴量Fという2つの情報に基づいてスイッチの接続を制御するので、フィルタの切り替え、つまりノイズ除去処理の切り替えをなだらかに行うことができる。
図8に示した例では、無彩色の領域と有彩色の領域の境界部分では最もノイズ除去効果が弱められ、無彩色の領域と有彩色の領域の境界部分ではない領域では、輝度が平坦な領域に対してよりノイズ除去効果が強められている。
ところで、入力画像の供給先が1つまたは2つ選択され、入力画像に対してフィルタ処理が行われると、混合部96には、入力画像Nと入力画像Oの少なくとも何れか一方が供給されることになる。
混合部96は、入力画像Nと入力画像Oの何れか一方が供給された場合には、供給された入力画像をそのまま平滑化画像Lとし、後段の混合部64に供給する。
これに対して混合部96は、入力画像Nと入力画像Oの両方が供給された場合、混合率Dにより定まる混合係数αおよびβを用いて、入力画像Nと入力画像Oを混合し、平滑化画像Lとする。
例えば混合率Dとして、図9の折れ線CL41に示すものが供給された場合、混合部96は、曲線CL42に示す混合係数αおよび曲線CL43に示す混合係数βを用いて混合処理を行う。
なお、図9において、横軸は入力画像における位置を示しており、縦軸は混合率D、混合係数α、または混合係数βを示している。また、折れ線CL41に示す混合率Dは、図6の折れ線CL31に示す混合率Dと同じものとなっており、図9におけるa、b、c、dも図6における場合と同様に各色領域の境界位置を示している。
図9の例では、入力画像の各位置に対する混合係数αの値は、同じ位置における混合率Dの値とほぼ同じ値となっている。但し、各色領域の境界部分では位置方向に対して混合係数αの値が線形に、つまり混合率Dの場合よりも値がなだらかに変化するようになされている。また、混合係数βの値は、同じ位置における混合係数αの値に対して、α+β=1となるように定められている。
そして、混合処理では入力画像Nに対して混合係数αが乗算され、入力画像Oに対して混合係数βが乗算されて、それらの混合係数が乗算された入力画像が加算(混合)され、平滑化画像Lとされる。すなわち、L=αN+βOとされる。
この場合、画質劣化が生じやすい無彩色と有彩色の境界部分や、輝度が平坦ではない部分において、平滑化画像Lの生成に対する入力画像Oの寄与率が高くなるようにされる。つまり、ノイズ除去効果が弱められる。逆に、画質劣化が生じにくく、色ノイズが目立ちやすい輝度平坦部や無彩色の領域などでは、平滑化画像Lの生成に対する入力画像Nの寄与率が高くなるようにされる。つまり、ノイズ除去効果が強められる。
このように、入力画像の領域の特性に応じて、平滑化画像Lの生成に対する入力画像Nや入力画像Oの寄与率を変化させることで、フィルタ処理部53全体で行われるノイズ除去処理、つまりフィルタ処理のフィルタ強度(ノイズ除去効果)を領域ごとに適切な強度とすることができる。これにより、十分にノイズが除去された画質のよい平滑化画像Lを得ることができるようになる。
また、無彩色の度合いCと輝度特徴量Fにより変化する混合率Dに応じて、入力画像Nと入力画像Oとを混合することで、入力画像上において隣接する、互いに異なるフィルタ強度で処理された領域同士を滑らかに接続することができる。
なお、ここでは図9に示す混合係数αと混合係数βが混合処理に用いられると説明した。しかし、輝度平坦部や無彩色の領域など、ノイズが目立つ領域で入力画像Nの寄与率が高くなり、有彩色と無彩色の領域の境界部分など、ノイズ除去により生じる画質劣化が目立ちやすい領域で入力画像Oの寄与率が高くなるように混合係数が定められればよい。
したがって例えば、図10に示す混合係数が用いられるようにしてもよい。なお、図10において、図9における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図10に示す例では、折れ線CL51は入力画像の各位置における混合係数αの値を示しており、この例では、入力画像の各位置に対する混合係数αの値は、同じ位置における混合率Dの値と同じ値となっている。
これに対して、折れ線CL52は入力画像の各位置における混合係数βの値を示しており、混合係数βの値は、同じ位置における混合係数αの値に対してα+β=1となるように定められている。
また、混合部96の後段にある混合部64においても、混合率Dに基づいて平滑化画像Lと入力画像Hの混合が行われる。
この場合においても、混合部96における場合と同様に混合率Dにより定まる混合係数α’および混合係数β’が用いられる。具体的には、混合処理では平滑化画像Lに対して混合係数α’が乗算され、入力画像Hに対して混合係数β’が乗算されて、それらの混合係数が乗算された画像が加算(混合)され、撮像画像Mとされる。すなわち、M=α’L+β’Hとされる。
例えば混合係数α’は、図9や図10に示した混合係数αと同じ値とされ、混合係数β’も、図9や図10に示した混合係数βと同じ値とされる。したがって、撮像画像Mの生成時には、ノイズ除去により生じる画質劣化が目立ちやすい領域では、もとの入力画像Hの寄与率が高くなり、逆にノイズが目立つ領域ではノイズ除去が行われた平滑化画像Lの寄与率が高くなる。これにより、十分にノイズが除去された画質のよい撮像画像Mを得ることができる。
なお、混合係数α’や混合係数β’の値は、混合係数αや混合係数βの値と同じ値であってもよいし、異なる値であってもよい。例えば、混合係数αおよび混合係数βの値が図9に示した値とされ、混合係数α’および混合係数β’の値が、図10に示した混合係数αおよび混合係数βと同じ値とされてもよい。
〈ノイズ除去処理の説明〉
次に、ノイズリダクション部25の動作について説明する。
次に、ノイズリダクション部25の動作について説明する。
ノイズリダクション部25は、YCC変換部24から入力画像が供給されるとノイズ除去処理を行って、入力画像からノイズを除去し、得られた撮像画像を出力する。
以下、図11のフローチャートを参照して、ノイズリダクション部25によるノイズ除去処理について説明する。なお、図11を参照して行うノイズ除去処理の説明は、図2を参照して説明したノイズ除去処理に対応するものである。
ステップS41において、色判別部51は、YCC変換部24から供給された入力画像に基づいて色判別処理を行って、入力画像の各領域における無彩色の度合いCを算出し、境界領域設定部52および混合率決定部62に供給する。これにより、例えば図4に示した無彩色の度合いCが算出される。
ステップS42において、境界領域設定部52は、色判別部51から供給された無彩色の度合いCに基づいて境界情報Bを生成し、接続部91に供給する。これにより、例えば図4に示した境界情報Bが得られる。
ステップS43において、エッジ識別部61は、YCC変換部24から供給された入力画像に基づいて輝度特徴量Fを算出し、接続部91および混合率決定部62に供給する。これにより、例えば図5に示した輝度特徴量Fが得られる。
ステップS44において、混合率決定部62は、色判別部51から供給された無彩色の度合いCと、エッジ識別部61から供給された輝度特徴量Fとに基づいて混合率Dを算出し、混合部96および混合部64に供給する。これにより、例えば図6に示した混合率Dが算出される。
ステップS45において、平均部63は平均化処理を行う。なお、平均化処理の詳細は後述するが、平均化処理では境界情報B、輝度特徴量F、および混合率Dに基づいて、YCC変換部24から供給された入力画像に対してフィルタ処理が施されて平均化(平滑化)が行われ、その結果得られた平滑化画像Lが混合部64に供給される。
ステップS46において、混合部64は、混合率決定部62から供給された混合率Dに基づいて、平均部63から供給された平滑化画像Lと、YCC変換部24から供給された入力画像Hとを混合し、その結果得られた撮像画像Mを出力する。
具体的には、混合部64は、混合率Dに基づいて混合係数α’および混合係数β’を決定し、それらの混合係数を用いて平滑化画像Lと入力画像Hとを混合し、撮像画像Mとする。撮像画像Mが得られると、ノイズ除去処理は終了する。
以上のようにしてノイズリダクション部25は、入力画像に対して色判別処理を行うとともに輝度特徴量を算出し、色判別処理の結果と輝度特徴量とに基づいて、適切なフィルタ強度のフィルタ処理を行う。これにより、画質の劣化を抑制しつつ十分にノイズを除去することができ、より画質のよい画像を得ることができる。
〈平均化処理の説明〉
続いて、図12のフローチャートを参照して、図11のステップS45の処理に対応する平均化処理について説明する。
続いて、図12のフローチャートを参照して、図11のステップS45の処理に対応する平均化処理について説明する。
ステップS71において、接続部91は、境界領域設定部52から供給された境界情報B、およびエッジ識別部61から供給された輝度特徴量Fに基づいて、入力画像の処理対象となる領域ごとにスイッチSW1およびスイッチSW2の接続制御を行う。
例えば、接続部91は輝度特徴量Fが閾値Th1以上であり、かつ境界情報Bも閾値Th2以上である場合、スイッチSW1が切断され、スイッチSW2が接続された状態とする。また、接続部91は輝度特徴量Fが閾値Th1以上であり、境界情報Bが閾値Th2未満である場合、スイッチSW1が接続され、スイッチSW2が切断された状態とする。
さらに接続部91は輝度特徴量Fが閾値Th1未満であり、境界情報Bが閾値Th2以上である場合、スイッチSW1が切断され、スイッチSW2が接続された状態とする。接続部91は輝度特徴量Fが閾値Th1未満であり、境界情報Bも閾値Th2未満である場合、スイッチSW1およびスイッチSW2がともに接続された状態とする。
これにより、YCC変換部24から接続部91に供給された入力画像が、スイッチSW1およびスイッチSW2の接続関係に応じて、適宜、縮小部92またはフィルタ処理部95の少なくとも何れか一方に供給される。
ステップS72において、縮小部92は、スイッチSW1から供給された入力画像を縮小させてフィルタ処理部93に供給する。
ステップS73において、フィルタ処理部93は、縮小部92から供給された入力画像に対して平滑化フィルタを用いたフィルタ処理を施して拡大部94に供給する。
ステップS74において、拡大部94はフィルタ処理部93から供給された入力画像をもとのサイズに拡大し、その結果得られた入力画像Nを混合部96に供給する。
なお、これらのステップS72乃至ステップS74の処理は、スイッチSW1が切断されている場合には行われない。また、ステップS72乃至ステップS74では、入力画像の入力画像データのうち、色差信号に対してのみ処理が行われ、輝度信号に対して処理は行われない。
ステップS75において、フィルタ処理部95は、スイッチSW2から供給された入力画像に対して平滑化フィルタを用いたフィルタ処理を施し、その結果得られた入力画像Oを混合部96に供給する。
なお、ステップS75では、入力画像の入力画像データのうち、色差信号に対してのみフィルタ処理が行われ、輝度信号に対してフィルタ処理は行われない。また、ステップS75の処理は、スイッチSW2が切断されている場合には行われない。
ステップS76において、混合部96は、混合率決定部62から供給された混合率Dに基づいて、拡大部94から供給された入力画像Nと、フィルタ処理部95から供給された入力画像Oとを混合し、その結果得られた平滑化画像Lを混合部64に供給する。
より詳細には、混合部96は、入力画像Nまたは入力画像Oの何れか一方のみが供給された場合、供給されたその入力画像を平滑化画像Lとして混合部64に供給する。
これに対して混合部96は、入力画像Nと入力画像Oの両方が供給された場合、混合率Dに基づいて混合係数αおよび混合係数βを決定する。そして混合部96は、決定した混合係数αおよび混合係数βに基づいて入力画像Nと入力画像Oを混合し、その結果得られた平滑化画像Lを混合部64に供給する。
このようにして平滑化画像Lが出力されると平均化処理は終了し、その後、処理は図11のステップS46へと進む。
以上のようにして平均部63は、境界情報Bや輝度特徴量Fに応じて入力画像に対して行われるフィルタ処理や混合比を変化させ、平滑化画像Lを生成する。すなわち、入力画像の処理対象の色の特定結果や輝度の平坦さの度合いに応じて、入力画像に対して異なるノイズ除去処理を行う。
これにより、画質の劣化を抑制しつつ十分にノイズを除去することができ、より画質のよい画像を得ることができる。
なお、例えば境界情報Bがフィルタ処理部93に供給され、フィルタ処理部93を構成する複数のフィルタのうち、どのフィルタが用いられて入力画像に対するフィルタ処理が行われるかが境界情報B等によって切り替えられるようにしてもよい。
そのような場合、例えばフィルタ処理部93には、ローパスフィルタ、イプシロンフィルタ、およびバイラテラルフィルタが設けられている。そして、フィルタ処理部93は、それらの3つのフィルタのうちの任意の個数のフィルタを境界情報B等に応じて組み合わせて用い、入力画像に対するフィルタ処理を行う。例えば、境界情報B等に応じて、ローパスフィルタとイプシロンフィルタとが用いられて、入力画像に対するフィルタ処理が行われるなどとされる。
このように境界情報B等に応じてフィルタの組み合わせを変化させることで、解像劣化が知覚されやすい領域など、入力画像の領域の特性に応じたフィルタ処理を行うことができ、十分にノイズが除去された、より画質のよい画像を得ることができるようになる。
〈第2の実施の形態〉
〈スイッチの接続制御について〉
なお、以上においては、接続部91におけるスイッチSW1およびスイッチSW2の接続制御が、境界情報Bおよび輝度特徴量Fに基づいて行われると説明したが、境界情報Bまたは輝度特徴量Fの何れか一方のみが用いられて接続制御が行われてもよい。
〈スイッチの接続制御について〉
なお、以上においては、接続部91におけるスイッチSW1およびスイッチSW2の接続制御が、境界情報Bおよび輝度特徴量Fに基づいて行われると説明したが、境界情報Bまたは輝度特徴量Fの何れか一方のみが用いられて接続制御が行われてもよい。
例えば、輝度特徴量Fのみが用いられて接続制御が行われる場合、平均部63の接続部91は、図13に示すように接続制御を行う。
すなわち、接続部91は輝度特徴量Fが閾値Th1以上である場合、スイッチSW1およびスイッチSW2がともに接続された状態とする。
上述したように輝度特徴量Fが閾値Th1以上である場合、入力画像の処理対象の領域は、輝度がある程度平坦な領域となるので、色ノイズが目立ちやすく、またある程度ノイズ除去効果を高めても解像劣化による画質の劣化が目立つことはない。
そこで、接続部91では輝度特徴量Fが閾値Th1以上である場合には、フィルタ処理部93およびフィルタ処理部95でノイズ除去が行われるようにする。これにより、比較的強いフィルタ強度、つまり比較的高いノイズ除去効果を得ることができるフィルタ処理(ノイズ除去処理)により十分にノイズが除去される。その結果、より画質のよい撮像画像を得ることができる。
これに対して、輝度特徴量Fが閾値Th1未満である場合、接続部91はスイッチSW1が切断され、スイッチSW2が接続された状態とする。この場合、入力画像の処理対象の領域は、輝度が平坦ではない領域であるので、接続部91では、入力画像がフィルタ処理部95のみに供給されるようにし、入力画像の画質が劣化しない程度に適度にノイズ除去が行われる。
〈平均化処理の説明〉
続いて、接続部91で図13に示した接続制御が行われる場合に行われる処理について説明する。この場合、ノイズリダクション部25では、図11を参照して説明したノイズ除去処理が行われる。但し、この場合、ステップS42の処理は行われない。
続いて、接続部91で図13に示した接続制御が行われる場合に行われる処理について説明する。この場合、ノイズリダクション部25では、図11を参照して説明したノイズ除去処理が行われる。但し、この場合、ステップS42の処理は行われない。
また、図11のステップS45の処理では、例えば図14に示す平均化処理が行われる。以下、図14のフローチャートを参照して、図11のステップS45の処理に対応する平均化処理について説明する。
ステップS101において、接続部91は、エッジ識別部61から供給された輝度特徴量Fに基づいて、スイッチSW1およびスイッチSW2の接続制御を行う。
例えば、接続部91は輝度特徴量Fが閾値Th1以上である場合、スイッチSW1およびスイッチSW2がともに接続された状態とし、輝度特徴量Fが閾値Th1未満である場合、スイッチSW1が切断され、スイッチSW2が接続された状態とする。
スイッチの接続制御が行われると、その後、ステップS102乃至ステップS105の処理が行われるが、これらの処理は図12のステップS72乃至ステップS75の処理と同様であるので、その説明は省略する。
但し、輝度特徴量Fが閾値Th1未満である場合にはスイッチSW1が切断されているので、ステップS102乃至ステップS104の処理は行われない。
ステップS106において、混合部96は、混合率決定部62から供給された混合率Dに基づいて、拡大部94から供給された入力画像Nと、フィルタ処理部95から供給された入力画像Oとを混合し、その結果得られた平滑化画像Lを混合部64に供給する。
より詳細には、混合部96は、入力画像Oのみが供給された場合には、供給されたその入力画像Oを平滑化画像Lとして混合部64に供給する。
これに対して混合部96は、入力画像Nと入力画像Oの両方が供給された場合、混合率Dに基づいて混合係数αおよび混合係数βを決定する。そして混合部96は、決定した混合係数αおよび混合係数βに基づいて入力画像Nと入力画像Oを混合し、その結果得られた平滑化画像Lを混合部64に供給する。
このようにして平滑化画像Lが出力されると平均化処理は終了し、その後、処理は図11のステップS46へと進む。
以上のようにして平均部63は、輝度特徴量F等に応じて入力画像に対して行われるフィルタ処理や混合比を変化させ、平滑化画像Lを生成する。すなわち、入力画像の処理対象の領域の色の特定結果や輝度の平坦さの度合いに応じて、入力画像に対して異なるノイズ除去処理を行う。
これにより、画質の劣化を抑制しつつ十分にノイズを除去することができ、より画質のよい画像を得ることができる。
〈第3の実施の形態〉
〈ノイズリダクション部の構成例〉
さらに、以上においては、フィルタ処理部53によりノイズ除去を行う例について説明したが、フィルタ処理部53に対して他のフィルタ処理部が直列に接続され、多段階のノイズ除去処理が行われるようにしてもよい。
〈ノイズリダクション部の構成例〉
さらに、以上においては、フィルタ処理部53によりノイズ除去を行う例について説明したが、フィルタ処理部53に対して他のフィルタ処理部が直列に接続され、多段階のノイズ除去処理が行われるようにしてもよい。
そのような場合、ノイズリダクション部25は、例えば図15に示すように構成される。なお、図15において図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図15に示すノイズリダクション部25は、色判別部51、境界領域設定部52、フィルタ処理部53、色判別部131、およびフィルタ処理部132を有している。
色判別部131は、YCC変換部24から供給された入力画像に基づいて、入力画像の各領域における特定の色の領域らしさの度合いを算出し、フィルタ処理部132に供給する。ここで、色判別部131で判別対象となる特定の色は、例えば特に他の色の領域との境界部分において、色滲みが知覚されやすい色や解像劣化が知覚されやすい色、具体的には赤色などとされる。
フィルタ処理部132は、色判別部131から供給された特定の色の領域らしさの度合いに基づいて、混合部64から供給された撮像画像に対してフィルタ処理を施し、その結果得られた画像を最終的な撮像画像として出力する。
例えば、フィルタ処理部132は、入力画像における特定の色の領域と他の色の領域との境界部分の領域に対しては、色滲みや解像劣化による画質の劣化を抑制するために比較的ノイズ除去効果の低いノイズ除去処理(フィルタ処理)が行われるようにする。つまり、特定の色の領域と他の色の領域との境界部分において、ノイズ除去効果が弱められるようにし、特定の色の領域における解像感が保持されるようにする。また、特定の色、例えば赤色の領域において、他の領域よりもノイズ除去効果が弱められるようにしてもよい。
これに対して、フィルタ処理部132は、入力画像における特定の色の領域と他の色の領域との境界部分ではない領域に対しては、比較的ノイズ除去効果の高いノイズ除去処理(フィルタ処理)が行われ、十分にノイズが除去されるようにする。なお、特定の色の領域であるか否かに応じてノイズ除去効果が調整されてもよい。
さらに、フィルタ処理部132は、入力画像における処理対象の領域が特定の色の領域であるか否かに応じた混合率で、撮像画像Mとフィルタ処理により得られた撮像画像とを混合し、最終的な撮像画像としてもよい。この場合、所定の色の領域において、最終的な撮像画像に対する撮像画像Mの寄与率を適切に定めることで、画質の劣化を抑制しつつ十分にノイズを除去することができるようになる。
このように、フィルタ処理部53とフィルタ処理部132とを直列に接続し、それぞれのフィルタ処理部において、入力画像の領域に応じたフィルタ処理を行うことで、より画質のよい画像を得ることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
図16は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は、以下の構成とすることも可能である。
(1)
入力画像から特定色の領域を検出する色判別部と、
前記入力画像の輝度に関する特徴量を算出する特徴量算出部と、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行うノイズ除去部と
を備える画像処理装置。
(2)
前記ノイズ除去部は、前記特定色の領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
(1)に記載の画像処理装置。
(3)
前記ノイズ除去部は、前記特定色の領域の境界部分に対して、他の領域における場合よりもノイズ除去効果を弱めて前記ノイズ除去を行う
(1)または(2)に記載の画像処理装置。
(4)
前記特定色は無彩色である
(1)乃至(3)の何れか一項に記載の画像処理装置。
(5)
前記特徴量算出部は、エッジ検波を行うことで前記特徴量を算出する
(1)乃至(4)の何れか一項に記載の画像処理装置。
(6)
前記特徴量算出部は、輝度の平坦さの度合いを前記特徴量として算出する
(1)乃至(5)の何れか一項に記載の画像処理装置。
(7)
前記ノイズ除去部は、前記輝度の平坦さの度合いが閾値以上である領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
(6)に記載の画像処理装置。
(8)
前記特定色の領域の検出結果に基づいて、前記特定色の領域の境界らしさを示す境界情報を算出する境界領域設定部をさらに備え、
前記ノイズ除去部は、前記境界情報および前記特徴量に応じて、互いに異なる複数の処理のうちの少なくとも何れかを行うことで前記入力画像に対する前記ノイズ除去を行う
(1)乃至(7)の何れか一項に記載の画像処理装置。
(9)
前記互いに異なる複数の処理は、ノイズ除去に用いられる前記入力画像上の領域の範囲が異なる処理である
(8)に記載の画像処理装置。
(10)
前記ノイズ除去部は、
前記入力画像を縮小する縮小部と、
前記縮小部により縮小された前記入力画像に対してフィルタ処理を施す第1のフィルタ処理部と、
前記第1のフィルタ処理部によりフィルタ処理された前記入力画像を、前記縮小部による縮小前の大きさに拡大する拡大部と、
前記入力画像に対してフィルタ処理を施す第2のフィルタ処理部と、
前記境界情報および前記特徴量に応じて、前記入力画像を、前記縮小部または前記第2のフィルタ処理部の少なくとも何れか一方に供給する接続部と
を備える
(8)に記載の画像処理装置。
(11)
前記ノイズ除去部は、前記拡大部による拡大により得られた画像と、前記第2のフィルタ処理部によるフィルタ処理により得られた画像とを、前記特定色の領域の検出結果および前記特徴量により定まる第1の混合係数により混合する第1の混合部をさらに備える
(10)に記載の画像処理装置。
(12)
前記ノイズ除去部は、前記第1の混合部による混合で得られた画像と、前記入力画像とを前記特定色の領域の検出結果および前記特徴量により定まる第2の混合係数により混合する第2の混合部をさらに備える
(11)に記載の画像処理装置。
(13)
入力画像から特定色の領域を検出し、
前記入力画像の輝度に関する特徴量を算出し、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
ステップを含む画像処理方法。
(14)
入力画像から特定色の領域を検出し、
前記入力画像の輝度に関する特徴量を算出し、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
ステップを含む処理をコンピュータに実行させるプログラム。
入力画像から特定色の領域を検出する色判別部と、
前記入力画像の輝度に関する特徴量を算出する特徴量算出部と、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行うノイズ除去部と
を備える画像処理装置。
(2)
前記ノイズ除去部は、前記特定色の領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
(1)に記載の画像処理装置。
(3)
前記ノイズ除去部は、前記特定色の領域の境界部分に対して、他の領域における場合よりもノイズ除去効果を弱めて前記ノイズ除去を行う
(1)または(2)に記載の画像処理装置。
(4)
前記特定色は無彩色である
(1)乃至(3)の何れか一項に記載の画像処理装置。
(5)
前記特徴量算出部は、エッジ検波を行うことで前記特徴量を算出する
(1)乃至(4)の何れか一項に記載の画像処理装置。
(6)
前記特徴量算出部は、輝度の平坦さの度合いを前記特徴量として算出する
(1)乃至(5)の何れか一項に記載の画像処理装置。
(7)
前記ノイズ除去部は、前記輝度の平坦さの度合いが閾値以上である領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
(6)に記載の画像処理装置。
(8)
前記特定色の領域の検出結果に基づいて、前記特定色の領域の境界らしさを示す境界情報を算出する境界領域設定部をさらに備え、
前記ノイズ除去部は、前記境界情報および前記特徴量に応じて、互いに異なる複数の処理のうちの少なくとも何れかを行うことで前記入力画像に対する前記ノイズ除去を行う
(1)乃至(7)の何れか一項に記載の画像処理装置。
(9)
前記互いに異なる複数の処理は、ノイズ除去に用いられる前記入力画像上の領域の範囲が異なる処理である
(8)に記載の画像処理装置。
(10)
前記ノイズ除去部は、
前記入力画像を縮小する縮小部と、
前記縮小部により縮小された前記入力画像に対してフィルタ処理を施す第1のフィルタ処理部と、
前記第1のフィルタ処理部によりフィルタ処理された前記入力画像を、前記縮小部による縮小前の大きさに拡大する拡大部と、
前記入力画像に対してフィルタ処理を施す第2のフィルタ処理部と、
前記境界情報および前記特徴量に応じて、前記入力画像を、前記縮小部または前記第2のフィルタ処理部の少なくとも何れか一方に供給する接続部と
を備える
(8)に記載の画像処理装置。
(11)
前記ノイズ除去部は、前記拡大部による拡大により得られた画像と、前記第2のフィルタ処理部によるフィルタ処理により得られた画像とを、前記特定色の領域の検出結果および前記特徴量により定まる第1の混合係数により混合する第1の混合部をさらに備える
(10)に記載の画像処理装置。
(12)
前記ノイズ除去部は、前記第1の混合部による混合で得られた画像と、前記入力画像とを前記特定色の領域の検出結果および前記特徴量により定まる第2の混合係数により混合する第2の混合部をさらに備える
(11)に記載の画像処理装置。
(13)
入力画像から特定色の領域を検出し、
前記入力画像の輝度に関する特徴量を算出し、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
ステップを含む画像処理方法。
(14)
入力画像から特定色の領域を検出し、
前記入力画像の輝度に関する特徴量を算出し、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
ステップを含む処理をコンピュータに実行させるプログラム。
25 ノイズリダクション部, 51 色判別部, 52 境界領域設定部, 53 フィルタ処理部, 61 エッジ識別部, 62 混合率決定部, 63 平均部, 64 混合部, 91 接続部, 92 縮小部, 93 フィルタ処理部, 94 拡大部, 95 フィルタ処理部, 96 混合部
Claims (14)
- 入力画像から特定色の領域を検出する色判別部と、
前記入力画像の輝度に関する特徴量を算出する特徴量算出部と、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行うノイズ除去部と
を備える画像処理装置。 - 前記ノイズ除去部は、前記特定色の領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
請求項1に記載の画像処理装置。 - 前記ノイズ除去部は、前記特定色の領域の境界部分に対して、他の領域における場合よりもノイズ除去効果を弱めて前記ノイズ除去を行う
請求項1に記載の画像処理装置。 - 前記特定色は無彩色である
請求項1に記載の画像処理装置。 - 前記特徴量算出部は、エッジ検波を行うことで前記特徴量を算出する
請求項1に記載の画像処理装置。 - 前記特徴量算出部は、輝度の平坦さの度合いを前記特徴量として算出する
請求項5に記載の画像処理装置。 - 前記ノイズ除去部は、前記輝度の平坦さの度合いが閾値以上である領域に対して、他の領域における場合よりもノイズ除去効果を強めて前記ノイズ除去を行う
請求項6に記載の画像処理装置。 - 前記特定色の領域の検出結果に基づいて、前記特定色の領域の境界らしさを示す境界情報を算出する境界領域設定部をさらに備え、
前記ノイズ除去部は、前記境界情報および前記特徴量に応じて、互いに異なる複数の処理のうちの少なくとも何れかを行うことで前記入力画像に対する前記ノイズ除去を行う
請求項1に記載の画像処理装置。 - 前記互いに異なる複数の処理は、ノイズ除去に用いられる前記入力画像上の領域の範囲が異なる処理である
請求項8に記載の画像処理装置。 - 前記ノイズ除去部は、
前記入力画像を縮小する縮小部と、
前記縮小部により縮小された前記入力画像に対してフィルタ処理を施す第1のフィルタ処理部と、
前記第1のフィルタ処理部によりフィルタ処理された前記入力画像を、前記縮小部による縮小前の大きさに拡大する拡大部と、
前記入力画像に対してフィルタ処理を施す第2のフィルタ処理部と、
前記境界情報および前記特徴量に応じて、前記入力画像を、前記縮小部または前記第2のフィルタ処理部の少なくとも何れか一方に供給する接続部と
を備える
請求項8に記載の画像処理装置。 - 前記ノイズ除去部は、前記拡大部による拡大により得られた画像と、前記第2のフィルタ処理部によるフィルタ処理により得られた画像とを、前記特定色の領域の検出結果および前記特徴量により定まる第1の混合係数により混合する第1の混合部をさらに備える
請求項10に記載の画像処理装置。 - 前記ノイズ除去部は、前記第1の混合部による混合で得られた画像と、前記入力画像とを前記特定色の領域の検出結果および前記特徴量により定まる第2の混合係数により混合する第2の混合部をさらに備える
請求項11に記載の画像処理装置。 - 入力画像から特定色の領域を検出し、
前記入力画像の輝度に関する特徴量を算出し、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
ステップを含む画像処理方法。 - 入力画像から特定色の領域を検出し、
前記入力画像の輝度に関する特徴量を算出し、
前記特定色の領域の検出結果、および前記特徴量に基づいて、前記入力画像に対するノイズ除去を行う
ステップを含む処理をコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014063524A JP2015186200A (ja) | 2014-03-26 | 2014-03-26 | 画像処理装置および方法、並びにプログラム |
US14/661,241 US9635330B2 (en) | 2014-03-26 | 2015-03-18 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014063524A JP2015186200A (ja) | 2014-03-26 | 2014-03-26 | 画像処理装置および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015186200A true JP2015186200A (ja) | 2015-10-22 |
Family
ID=54191096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014063524A Pending JP2015186200A (ja) | 2014-03-26 | 2014-03-26 | 画像処理装置および方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9635330B2 (ja) |
JP (1) | JP2015186200A (ja) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6885775B2 (en) * | 2000-01-21 | 2005-04-26 | Matsushita Electric Industrial Co., Ltd. | Image processing method and image processing apparatus |
CN1312939C (zh) * | 2001-01-25 | 2007-04-25 | 株式会社尼康 | 图像处理方法、图像处理程序、图像处理装置 |
US7433079B2 (en) * | 2003-06-13 | 2008-10-07 | Canon Kabushiki Kaisha | Image processing apparatus and method |
JP4356376B2 (ja) * | 2003-07-01 | 2009-11-04 | 株式会社ニコン | 信号処理装置、信号処理プログラム、および電子カメラ |
JP4381240B2 (ja) | 2004-06-28 | 2009-12-09 | シャープ株式会社 | 画像処理装置及びこれを用いた画像表示装置、並びに画像処理方法及びこれをコンピュータに実行させるためのプログラム |
KR100485594B1 (ko) * | 2004-08-26 | 2005-04-27 | (주) 넥스트칩 | 영상에서의 잡음을 제거하기 위한 잡음 처리 방법 및 그시스템 |
KR100667803B1 (ko) * | 2005-06-21 | 2007-01-11 | 삼성전자주식회사 | 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치 |
KR100647402B1 (ko) * | 2005-11-01 | 2006-11-23 | 매그나칩 반도체 유한회사 | 이미지 센서의 화질개선장치 및 그 방법 |
JP4943721B2 (ja) * | 2006-03-20 | 2012-05-30 | 株式会社リコー | 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置 |
US8493514B2 (en) * | 2007-07-16 | 2013-07-23 | Lg Electronics Inc. | Apparatus for controlling color temperature |
JP4727720B2 (ja) | 2008-12-31 | 2011-07-20 | 株式会社モルフォ | 画像処理方法および画像処理装置 |
JP5529424B2 (ja) * | 2009-03-11 | 2014-06-25 | ソニー株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP2013101484A (ja) * | 2011-11-08 | 2013-05-23 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
-
2014
- 2014-03-26 JP JP2014063524A patent/JP2015186200A/ja active Pending
-
2015
- 2015-03-18 US US14/661,241 patent/US9635330B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20150279007A1 (en) | 2015-10-01 |
US9635330B2 (en) | 2017-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
JP5349790B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101478669B1 (ko) | 적응성 픽셀-기반의 필터링을 위한 자동 파라미터 추정 | |
US8639050B2 (en) | Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images | |
US7697044B2 (en) | Image processing apparatus and image processing method | |
US7969480B2 (en) | Method of controlling auto white balance | |
US8625893B2 (en) | Image processing device and image processing method | |
US20080112639A1 (en) | Method and apparatus for removing noise in dark area of image | |
US8189066B2 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
JP5541205B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
WO2019146226A1 (ja) | 画像処理装置、および出力情報制御方法、並びにプログラム | |
JP5771677B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
US8532373B2 (en) | Joint color channel image noise filtering and edge enhancement in the Bayer domain | |
CN108702494B (zh) | 图像处理装置、成像装置、图像处理方法和存储介质 | |
US20100098334A1 (en) | Color-interpolation device and image processing system | |
JP2012257140A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20150312487A1 (en) | Image processor and method for controlling the same | |
JP4934839B2 (ja) | 画像処理装置及びその方法並びにプログラム | |
US9071803B2 (en) | Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program | |
JP2007266956A (ja) | 撮像装置、インパルス成分検出回路、インパルス成分除去回路、インパルス成分検出方法、インパルス成分除去方法及びコンピュータプログラム | |
JP2020198540A (ja) | 画像信号処理方法 | |
KR101874538B1 (ko) | 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치 | |
US9569817B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable storage medium | |
JP4702088B2 (ja) | 画像信号のノイズ低減方法、ノイズ低減装置及び撮像装置 | |
JP2015186200A (ja) | 画像処理装置および方法、並びにプログラム |