JP2011248479A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2011248479A
JP2011248479A JP2010118773A JP2010118773A JP2011248479A JP 2011248479 A JP2011248479 A JP 2011248479A JP 2010118773 A JP2010118773 A JP 2010118773A JP 2010118773 A JP2010118773 A JP 2010118773A JP 2011248479 A JP2011248479 A JP 2011248479A
Authority
JP
Japan
Prior art keywords
image
correction
low
filter
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010118773A
Other languages
English (en)
Other versions
JP2011248479A5 (ja
JP5595121B2 (ja
Inventor
Hiroyuki Sakai
洋行 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010118773A priority Critical patent/JP5595121B2/ja
Priority to US12/964,270 priority patent/US20110285871A1/en
Publication of JP2011248479A publication Critical patent/JP2011248479A/ja
Publication of JP2011248479A5 publication Critical patent/JP2011248479A5/ja
Application granted granted Critical
Publication of JP5595121B2 publication Critical patent/JP5595121B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】入力された画像データに対して、画像補正後に助長されたノイズを補正する画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】入力画像における露出が適正か否かを判定する判定手段と、前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量に基づいて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段とを有する。
【選択図】図7

Description

本発明は、入力されたデジタル画像データに対して、画像補正後に助長されたノイズを補正する画像処理装置、画像処理方法、およびプログラムに関する。
従来、デジタルカメラで撮影された写真画像データに対して様々な補正を行い、好適な写真画像をプリントする装置・方法が、数多く提案されている。このような画像補正方法は、大別すると、画像全体に均一な補正を行う均一補正と、画像の局所的な性質に応じて補正量が変化する局所補正の二つに分けて考えることができる。このうち後者の局所補正の代表的なものとして、露出の覆い焼き補正が挙げられる。覆い焼き補正とは、例えば、人物などの被写体が暗く背景が明るい場合に、暗い人物領域の明度は大きく上昇させ、明るい背景領域の輝度はさほど変化させないようにする。このことにより、背景の白トビを抑えて、人物領域の明るさを適正に補正するというものである。覆い焼き補正の一例として、入力画像に対してフィルタ処理を施して低周波画像、すなわち、ぼけ画像を生成し、該ぼけ画像を明るさの制御因子として用いることで、デジタル画像に対する覆い焼き補正を実現する手法がある。
覆い焼き手法は明るさを局所的に制御できるため、1つのトーンカーブよりも、暗部補正量を大きくすることが可能だが、その反面、暗部ノイズが大きく助長される。この課題に対して特許文献1では、ネットワークカメラで撮影したフレームを覆い焼き処理で局所的な明るさ補正を行う際に、助長されたノイズ成分の除去を行う方法である。
特開2006−65676号公報
以上説明したような覆い焼き補正後の助長されたノイズ除去方法には、以下のような課題が存在する。特許文献1では、画像の輝度成分を抽出し、輝度成分ぼけ画像を用いて覆い焼き処理を行い、局所的な明暗差の補正量に応じて、ローパスフィルタ等のぼけフィルタを使用し、暗部の高周波ノイズを除去している。しかしながら、ローパスフィルタ等のぼけフィルタのみ使用しているため、画像全体的には、ぼけた感じになってしまう課題がある。
特に、覆い焼き補正の制御量から、ノイズ除去処理の制御を行う場合、覆い焼き処理は、暗部の補正量が高く設定されているため、特に暗部がぼけてしまう。例えば、画像の暗部にノイズではないぼかしたくないエッジが存在していた場合にも、全体としてよりぼけた画像が生成されてしまう。また、ノイズ除去方法にメディアンフィルタまたはローパスフィルタを使用し、暗部の高周波ノイズを除去しているため、覆い焼き補正処理で助長される低周波ノイズに関しては、除去できない。
本発明の画像処理装置は、上記課題を解決するために、本発明の画像処理装置は以下の構成を有する。入力画像における露出が適正か否かを判定する判定手段と、前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量に基づいて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段とを備え、前記フィルタ処理手段は、前記補正手段による前記注目画素に対する明るさの補正量が大きいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、前記補正手段による前記注目画素に対する明るさの補正量が小さいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める。
本発明における別の構成として、画像処理装置は以下の構成を有する。入力画像における露出が適正か否かを判定する判定手段と、前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、前記入力画像または前記補正手段により画像の明るさを補正された画像のいずれかから、画像中のエッジの強度を示すエッジ判定量を検出するエッジ判定手段と、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段とを備え、前記フィルタ処理手段は、前記補正手段による前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が小さいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、前記補正手段による前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が大きいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める。
覆い焼き補正処理の制御量に従ってローパスフィルタ等のノイズ除去を行う際に起こる画像全体のぼけ感を緩和しつつ、覆い焼き補正によって補正されていない領域に影響を与えることなく助長されたノイズを除去することができる。また、特に画像の暗部に存在するぼかしたくないエッジ部をぼかさずにノイズを除去することができる。また、覆い焼き補正によって補正されていない領域に影響を与えることなく、助長された高周波ノイズと低周波ノイズを除去することができる。
本発明の基礎となる処理のブロック図。 本発明に係るハードウェア構成図。 本発明に係る低周波画像生成部102の処理フロー図。 本発明に係る低周波画像生成を説明するための図。 本発明に係る覆い焼き処理フロー図。 本発明の基礎となるノイズ除去フロー図。 第一実施形態に係る処理のブロック図。 第一実施形態に係るノイズ除去フロー図。 第一実施形態に係るフィルタ切り替え制御を説明するための図。 第二実施形態に係る処理のブロック図。 第二実施形態に係るエッジ判定を説明するための図。 第二実施形態に係るノイズ除去フロー図。 第二実施形態に係る強調係数Jの算出を説明するための図。 第二実施形態に係る平坦係数Mの算出を説明するための図。 第三実施形態に係る処理のブロック図。 第三実施形態に係るノイズ除去フロー図。 第三実施形態に係る画素置き換え処理を説明するための図。 本発明に係る露出適正度判定部101の処理フロー図。
<第一実施形態>
(ハードウェア構成の説明)
図2に、本発明の画像処理方法を実施可能なハードウェア構成を示す。なお、図2は、本実施形態における例であり、本発明は、図2の構成に限定されない。本実施形態のハードウェア構成は、コンピュータ200と、それに接続されたプリンタ210及び画像取得装置211(例えば、デジタルカメラやスキャナ等)を有している。コンピュータ200は、システムバス201に、CPU202,ROM203,RAM204、ハードディスク等の二次記憶装置205が接続されている。
また、ユーザインターフェースとして、表示部206、キーボード207、ポインティングデバイス208がCPU202等に接続されている。更に、コンピュータ200は、プリンタ210とI/Oインターフェース209を介して接続されている。更に、コンピュータ200は、画像取得装置211とI/Oインターフェース209を介して接続されている。CPU202は、アプリケーション(以下の説明する処理を実行する機能)の実行が指示されると二次記憶装置205等の記憶部にインストールされているプログラムを読み出してRAM204にロードする。その後、そのプログラムを起動することにより、その指示された処理を実行することができる。
(全体処理フローの説明)
図1に、本実施形態の基礎となる処理のブロック図を示している。本実施形態における処理の詳細な特徴については、図7を用いて後述するが、その前に本発明の実施形態の基礎となる全体処理フローについて述べておく。以下では図1を用いて処理の流れを説明する。また、必要に応じてフローチャートを用い、各処理部における処理の詳細説明を行う。
まず、画像取得装置211であるデジタルカメラで撮影を行い、メモリカード等の記録メディアに記憶されているデジタル画像データを取得する。そして、取得したデジタル画像データを入力画像として、露出適正度判定部101に入力する。なお、ここでは、デジタル画像データを取得する画像取得装置211としてデジタルカメラを挙げているが、デジタル画像データを取得可能な装置であれば、これに限定されない。
例えば、アナログカメラで撮影されたフィルムを読み取ることにより、デジタル画像データとして取得するスキャナ等を画像取得装置211としても良い。或いは、ネットワークで接続されたサーバの記憶媒体から、デジタル画像データを取得しても良い。本発明を適用するために、入力画像データのフォーマットについて特に限定しないが、ここでは説明を簡単にするために、画像データの各画素値がRGB成分値(各成分8bit)で構成されているものとする。
(露出適正度判定)
次に、露出適正度判定部101は、入力画像データから画像解析処理を行い、露出適正判定を行う。図18は、露出適正度判定部101における処理フローを示している。露出適正度判定フローでは、まず、S1801において、入力画像中から主要被写体(例えば人物の顔)を抽出する被写体抽出処理を行う。なお、主要被写体抽出処理については、様々な公知文献で開示されており、本発明に適用可能であればどの手法を用いてもよい。例えば本発明に適用可能な例として次のような技術がある。
特開2002−183731号公報によれば、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出する。算出した値が、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較した時に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。
さらに、特登録3557659によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算する。次に、マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。
その他、顔および器官位置を検出する方法としては、特開平8−77334号公報、特開2001−216515号公報、特登録2973676号、特開平11−53525号公報、特開2000−132688号公報、特開2000−235648号公報、特登録3549013号、特登録2541688号など、数多くの手法が提案されている。
次に、S1802において、抽出した主要被写体に対し、露出不足の状態を判定するために、入力画像データの主要被写体領域の特徴量解析を行う。例えば、露出不足画像を判定する基準となる輝度平均と彩度分布値を設定しておく。そして、輝度平均および彩度分散値が予め設定した輝度平均と彩度分布値が高い場合には適正露出の画像とし、平均輝度および彩度分散値が予め設定した値よりも低い場合には露出不足の画像とする。そのために、画像の特徴量として、主要被写体の平均輝度Yaと彩度分散値Saを算出する。
次にS1803において、算出した画像の特徴量と予め設定した特徴量とを比較し、露出不足の状態を判定する。例えば、予め主要被写体の基準平均輝度値Ybと基準彩度分散値Sbを定めておく。そして、算出した主要被写体の平均輝度値Yaが基準平均輝度値Ybより低く、算出した主要被写体の彩度分散値Saが基準彩度分散値Sbより低い場合に、露出不足と判定する。
露出適正度判定は、露出適正状態を判定できればいずれの方法を用いても構わない。例えば、逆光画像のように、画像全体が明るいが主要被写体は暗い画像を露出不足画像と設定することができる。この場合、特徴量として、入力された画像データ全体の平均輝度値Ycを算出する。更に、抽出した主要被写体領域の平均輝度値Yaを算出する。そして、画像データ全体の平均輝度値Ycより主要被写体領域の平均輝度値Ybが低い場合に、露出不足の状態であると判定することもできる。
また、例えば、露出不足の画像を判定する方法として、特願2009−098489の画像処理方法がある。特願2009−098489では、特徴量算出部で、色空間変換した画像データを解析し、明度成分および色のばらつき成分の特徴量を算出し、シーン判定部へ送信する。例えば、YCbCr色空間の画像データから、明度成分として輝度(Y)の平均値を算出する。また、色のばらつき成分として色差(Cb)の分散値を算出する。
以下の式を用いて、輝度(Y)の平均値を算出する。
[式1]
Figure 2011248479
以下の式2および式3を用いて、色差(Cb)の平均値を求めてから、色差の分散値を算出する。
[式2]
Figure 2011248479
[式3]
Figure 2011248479
次に、シーン判定部は、特徴量算出部で算出した特徴量の組み合わせた値と、予め設定してある各シーンを示す複数の特徴量の組み合わせた代表値との距離を算出する。そして、算出した代表値との距離の中で、最も距離の短い代表値を示すシーンを取得画像のシーンと判定する。例えば、特徴量は、明度成分の特徴量として輝度(Y)の平均値、色のばらつき成分の特徴量として色差(Cb)の分散値とする。
予め設定してある各シーンを示す複数の特徴量も同様に、明度成分の特徴量として輝度(Y)の平均値、色のばらつき成分の特徴量として色差(Cb)の分散値とする。予め設定してある各シーンを2つのシーンとし、夜景シーン及び露出不足シーンとする。夜景シーンには、3つの代表値を保持するとし、輝度(Y)の平均値、色差(Cb)の分散値の特徴量の組み合わせを3つ設定しておく。
露出不足シーンには、4つの代表値を保持するとし、輝度(Y)の平均値、色差(Cb)の分散値の特徴量の組み合わせを4つ設定しておく。取得画像から算出した特徴量の組み合わせの値と7つの代表値との差を計算し、7つの特徴量の中で最も差の小さい代表値を算出する。最も差の小さい代表値の予め設定したシーン設定を、取得画像のシーンと判定する。なお、上述したように、露出不足の状態を判定できればいずれの方法を用いて構わない。
次に、S1804において、上述したような露出判定により入力画像データが適正露出であると判定された場合(S1804にてNO)には、覆い焼き処理を行わず、本処理フローを終了する。なお、その後に通常の画像処理フロー(不図示)を経てプリント処理が実行される。入力画像データが露出不足であると判定された場合(S1804にてYES)には、S1805にて低周波画像生成部102で低周波画像を生成し、覆い焼き補正部103及びノイズ除去部104における処理(覆い焼き処理)を行う。
(低周波画像生成処理)
低周波画像生成部102は、入力画像データから、複数のぼけ度合いが異なるぼけ画像を生成し、生成した複数のぼけ画像を合成した低周波画像を生成する。図3は、低周波画像生成部102のフローを示している。
ぼけ画像生成フローでは、まずS301において、入力画像(例としてRGBカラー画像)を基準解像度となるように解像度変換する。基準解像度は予め定められたサイズであり、例えば面積が(800×1200画素)相当となるように、入力画像の幅と高さを変倍する。なお、解像度変換には最近隣補間や線形補間等の様々な補間方法が存在するが、ここではどの補間方法を用いてもよい。
次に、S302において、基準解像度に変倍後のRGBカラー画像を、公知の輝度色差変換式を用いて輝度画像に変換する。ここで用いられる輝度色差変換式については、本発明の本質ではないため、説明を省略する。次に、S303において、変倍後の画像データに対して予め定められたローパスフィルタを施し、その結果得られた低周波画像は、輝度画像とは別のRAM204の領域に、記憶・保持される。ローパスフィルタには様々な種類の方法があるが、ここでは例として以下に示す式4のような5×5の平滑化フィルタを用いる場合を想定する。
[式4]
Figure 2011248479
なお、本発明におけるぼけ画像生成方法は、式4として示した平滑化フィルタに限定されるものではない。例えば、平滑化フィルタの係数をガウスフィルタとしてもよいし、公知のIIR、FIRフィルタを用いても構わない。
上記のようなフィルタを用いて、ぼけ画像生成処理を適用した後、画像をRAM204等の記憶部に記憶する(S304)。その後、ぼけ画像生成処理が終了しているかを判定する(S305)。ぼけ画像の生成が終了していなければ(S305にてNO)、さらにぼけ度合いの異なるぼけ画像を生成するために、縮小処理を行う(S306)。ここではS306において、上述したローパスフィルタ後の画像データを予め定められた縮小率(例えば1/4)のサイズに縮小した後、S303に戻って同様にフィルタ処理を施す。上記縮小処理とローパスフィルタによるボケ画像生成を必要回数だけ繰り返し、サイズの異なる複数のぼけ画像を生成する。
ここでは説明を簡略化するため、図4に示すような2つのサイズのぼけ画像を生成し、記憶部に保存しているものとする。ぼけ画像Bはぼけ画像Aに比して縦横のサイズがそれぞれ1/4となっているが、フィルタはぼけ画像Aと同様のフィルタを施しているため、ぼけ画像Bをぼけ画像Aと同じサイズにリサイズすれば、Aよりもぼけ度合いが強い画像となっている。そして、2つのぼけ画像401、402を同じサイズで加重平均し、低周波画像を得る。ここでは、カットオフ周波数が異なる低周波画像を複数のぼけ画像として加重平均で合成し、低周波画像としている。しかし、入力画像から低周波画像を生成できれば、これに限られない。
(覆い焼き処理)
次に、覆い焼き補正部103は、低周波画像を用いて入力画像に対して局所的に明暗の補正処理を行う。図5は、本発明に適用可能な覆い焼き処理のフローを示している。
まずS501において、処理対象画像の座標を示す座標位置(X,Y)を初期化する。次に、S502において、座標位置(X,Y)に相当する低周波画像上の画素値を取得する。ここで、低周波画像の各画素の座標を(Xz,Yz)として示す。低周波画像における座標位置(Xz,Yz)の画素値を取得した後、S503おいて、覆い焼き処理を行うための強調係数Kを算出する。覆い焼き補正の手法は公知文献で既に開示されている手法のうちいずれを用いてもよいが、例として、以下の式5により強調係数Kを決定する。
[式5]
K=g×(1.0−(B(Xz,Yz)/255))
式5において、B(Xz,Yz)は、座標(Xz,Yz)における低周波画像の画素値(0〜255)であり、gは所定の定数である。式5は、低周波画像が暗い場合(画素値が小さい)に強調係数Kは大きくなり、逆に明るい場合(画素値が大きい)には強調係数Kが小さくなることを意味している。低周波画像における各画素の値により、入力画像における明るさの補正量を局所的に変化させることができる。
強調係数Kを用いて、S504では、出力画像の各画素値の各色成分に強調係数Kを乗じて覆い焼き補正を行う。強調係数Kは、出力画像がRGB成分を保持している場合には、RGB成分それぞれに対して乗じてもよいし、例えば、RGB成分を輝度色差成分(YCbCr)に変換し、Y成分にのみ乗じてもよい。
以上の処理を、処理対象画像における全ての画素に対して行うことで(S505〜S508)、低周波画像を用いた覆い焼き処理を行うことが可能となる。なお、強調係数を用いた方法の他、どのような覆い焼き方式を用いたとしても、本発明の範疇に含まれることは言うまでもない。
(ノイズ除去処理)
次に、ノイズ除去部104は、フィルタ処理を備え、上述した低周波画像及び強調係数に応じてノイズ除去処理の補正強度を変更し、覆い焼き補正後の画像にノイズ除去処理を行う。図6は、ノイズ除去処理のフローを示している。
まず、S601において、覆い焼き補正後の画像全体に、ローパスフィルタ処理を行い、記憶部に格納する。ここではノイズ除去方法としてローパスフィルタを行っているが、低周波画像に応じて、補正処理および補正強度の少なくとも一方を変更でき、高周波ノイズを除去できるいずれの種類のフィルタ処理を用いても良い。例えば、フィルタとしてメディアンフィルタを用いても良い。
次に、S602において、処理対象画像の座標を示す座標位置(X,Y)を初期化する。次に、S603において、座標(X,Y)に相当する低周波画像上の画素値を取得する。ここで、低周波画像の各画素の座標を(Xz,Yz)として示す。また、覆い焼き補正処理を適用した後の画像における各画素の座標を(Xw,Yw)として示す。次に、S604において、座標(X,Y)に相当する覆い焼き補正後の画像上の画素値を取得する。
次に、S605において、座標(X,Y)に相当する覆い焼き補正後の画像にローパスフィルタ処理を行った画像上の画素値を取得する。ここで、ローパスフィルタ処理を行った後の画像における各画素の座標を(Xv,Yv)として示す。次に、S606において、座標(X,Y)に相当する覆い焼き補正後の画素値とローパスフィルタ後の画素値との差分値Sを以下の式を用いて算出する。
[式6]
S(X,Y)=(C(Xw,Yw)−D(Xv,Yv))
上式において、C(Xw,Yw)は、座標(Xw,Yw)における覆い焼き補正後の画像の画素値(0〜255)を示す。D(Xv,Yv)は、座標(Xv,Yv)における覆い焼き補正後の画像にローパスフィルタ処理を行った画像の画素値(0〜255)を示す。差分値Sは、ここでは、RGBの色毎の差分値として説明するが、画素の濃度差を示す値であれば、いずれでも良い。例えば、RGBを輝度・色差成分に変換し、輝度成分のみの差分としても良い。
次に、S607において、上述した覆い焼き補正部103の処理と同様に、座標(X,Y)に相当する低周波画像上の座標(Xz,Yz)の画素値を取得し、強調係数Kを算出する。次に、S608において、座標(X,Y)に相当する覆い焼き補正後の画素値C(Xw,Yw)に対して、差分値Sに強調係数Kを乗じた値を減算することでノイズ除去を行う。ノイズ除去の算出式を以下に示す。
[式7]
N(X,Y)=C(Xw,Yw)−h×K×S(X,Y)
式7において、N(X,Y)は、座標(X,Y)におけるノイズ除去後の画素値(RGB各0〜255)であり、hは所定の定数である。定数hについては、経験的に定義しても良いし、強調係数Kに応じて定義しても良い。式7において、低周波画像が暗い場合にノイズ除去の補正強度は大きくなり、逆に明るい場合には補正強度が小さくなることを意味している。
ノイズ除去後の画素値を算出する際に、処理対象画像がRGB成分を保持している場合には、RGB成分それぞれに乗じてもよいし、例えば、RGB成分を輝度色差成分(YCbCr)に変換し、Y成分にのみ乗じてもよい。以上の処理を、処理対象画像上の全ての画素値に対して行うことで(S609〜S612)、低周波画像を用いたノイズ除去処理を行うことが可能となる。そして、プリンタ210は、補正済み画像データを印刷媒体に印字する。
上記で述べた処理により、覆い焼き補正の局所的な制御量を決定する際に用いる低周波画像を利用することで、暗部ノイズとは関係のない余計な領域に影響を与えることもなく、助長された暗部ノイズの除去を行うことができる。また、暗部ノイズ助長のために、覆い焼き補正処理の補正強度を抑制しなければならなかった処理に関しても、補正強度を強くすることができるので、覆い焼き補正の効果も上昇させることができる。
(本実施形態の特徴)
しかしながら上記の流れで処理を行うことにより、ノイズ除去処理として覆い焼き補正量に応じて、ノイズ除去の補正量を制御しても、ぼけた方向(低周波方向)にしか補正されないため、出力結果としての画像全体がぼけた感じになる。
そこで、本実施形態の特徴は上記処理の流れを基礎として、ノイズ除去及びエッジ強調処理の2つのフィルタ処理で、低周波画像を用いて2つのフィルタ処理を切り替えることにより、画像全体のぼけ感を緩和する。以下、本実施形態の特徴となる複数のフィルタを用いて、低周波画像を用いた覆い焼き補正量に応じてノイズ除去及びエッジ強調の処理について説明を行う。
図7に、本実施形態の特徴となる処理のブロック図を示している。図7は基礎とする構成を示した図1に対応しており、以下では図7を用いて処理の流れを説明し、各処理部に対し必要に応じてフローチャートを用いて、処理の詳細説明を行う。図7において、フィルタ処理部105が図1との差異であり、画像取得装置211、露出適正度判定部101、低周波画像生成部102、覆い焼き補正部103、プリンタ210は、第一実施形態と同様であるため詳細は省略する。
本実施形態の特徴となるフィルタ処理部105について、以下で、詳細な説明を行う。フィルタ処理部105は、複数のフィルタ処理を備え、上述した低周波画像を用いた覆い焼き補正量に応じて、フィルタ処理および補正強度を変更する。
ここで、複数のフィルタ処理の1つは、高周波成分を低減するためのローパスフィルタと、高周波成分を強調するためのハイパスフィルタとする。本実施形態において、ローパスフィルタは、平滑化することで細かい変動成分であるノイズの除去を行える5×5画素の平均値フィルタ処理とする。また、ハイパスフィルタは、原画像から平滑化した画像を減算して高周波成分を抽出し、これを原画像に加算して高周波成分を強調することでエッジ強調するアンシャープマスク処理とする。アンシャープマスク処理において、ローパスフィルタで利用した5×5画素の平均値フィルタ処理結果を利用する。
ローパスフィルタで利用した平均値フィルタ処理結果を利用することで、原画像と平均値フィルタ結果の差分を加減算だけでローパス、ハイパスフィルタを実現できるため、高速化が図れる。また、1つのローパスフィルタ後の画像を使いまわすことができ、効率的なメモリ使用量で処理を行うことができる。そして、覆い焼き補正処理後の画像を入力画像とし、上述した低周波画像を用いた覆い焼き補正量に応じて、ノイズ除去処理またはエッジ強調処理のフィルタ処理および補正強度を変更する。
(フィルタ処理)
図8は、本実施形態におけるフィルタ処理部105における処理を説明するためのフロー図である。本実施形態において、基礎とする処理フローとして示した図6に対応し、図8のS801〜S807の詳細は、図6のS601〜S607と同様であるため省略する。また、図8のS809〜S812の詳細は、図6のS609〜S612と同様であるため省略する。以下では、S808について詳細な説明を行う。
S808について、図9を用いて説明を行う。図9は、本実施形態におけるフィルタ処理の強調係数Lの算出方法を説明するための図である。図9において、横軸は上述した低周波画像を用いた覆い焼き補正量(0〜255)、縦軸はフィルタ処理の強調係数L(1.0〜−1.0)を示す。図9において、覆い焼き補正量によって、aとb及びaとcを結ぶ直線上で、フィルタ処理の強調係数が変化することを示している。
本実施形態では、aを閾値とし、覆い焼き補正量がa〜255の場合は、ノイズ除去処理を行い、0〜aの場合は、エッジ強調処理を行うようにフィルタ処理を切り替える。さらに、覆い焼き補正量がa〜255の場合は、255に近づくに従ってノイズ除去処理のためにローパスフィルタの寄与率(補正強度)が上昇する。これに対し、覆い焼き補正量が0〜aの場合は、0に近づくに従って、エッジ強調処理のためにハイパスフィルタの寄与率(補正強度)が上昇する。なお、閾値aは予め定義されているものとする。本実施形態におけるノイズ除去処理は、座標(X,Y)に相当する覆い焼き補正後の画素値C(Xw,Yw)に、差分値Sにフィルタ処理の強調係数Lを乗じた値を減算することで、ノイズ除去を行う。以下にノイズ除去処理にて用いる算出式を示す。
[式8]
F(X,Y)=C(Xw,Yw)−h×L×S(X,Y)
上式において、F(X,Y)は、座標(X,Y)におけるノイズ除去後またはエッジ強調後の画素値(RGB各0〜255)であり、hは所定の定数である。定数hは、経験的に定義しても良いし、強調係数Lに応じて定義しても良い。また、本実施形態におけるエッジ強調処理は、アンシャープマスク処理とするため、算出したフィルタ処理の強調係数Lを式8に適用することで、エッジ強調を行える。
アンシャープマスク処理は、入力画像の画素値とローパスフィルタ処理後の画素値の差分を入力画像の画素値に加算することで、実現させることができる。従って、ノイズ除去処理は、座標(X,Y)に相当する覆い焼き補正後の画素値C(Xw,Yw)に、差分値Sにフィルタ処理の強調係数Lを乗じた値を減算するところを加算すれば実現させることができる。そして、図9において、既に、エッジ強調を行う覆い焼き補正量がa〜255になる際には、強調係数Lをマイナス値の係数にしているため、式8をそのまま使用することでエッジ強調も行うことができる。従って、式8は、処理対象である低周波画像が暗い場合にはノイズ除去の補正強度は大きくなり、逆に明るい場合にはエッジ強調の補正強度が大きくなることを意味している。
以上の処理を、出力画像上の全ての画素値に対して行うことで(S809〜S812)、低周波画像を用いた覆い焼き補正量に応じてノイズ除去処理及びエッジ強調処理を行うことが可能となる。そして、プリンタ210は、補正済み画像データを印刷媒体に印刷する。以上、本実施形態における処理のブロック図の説明である。
(効果)
本実施形態では、覆い焼き補正処理により助長されたノイズを除去することができる。更に、低周波画像を用いて複数のフィルタ処理を切り替えて、ノイズ除去及びエッジ強調処理を加えることで、画像全体のぼけ感を緩和することができる。また、低周波画像を用いた覆い焼き補正量に応じて、ノイズ除去及びエッジ強調処理を行うので、覆い焼き補正によって補正されていない領域に影響を与えることなく処理が行うことができる。
具体的には、画像中の暗い領域には、覆い焼き処理で強調された暗部ノイズを除去することができる。また、画像中の明るい領域では、エッジ強調することにより、暗い領域をノイズ除去することによっての画像全体のぼけ感を緩和させることができる。また、従来、ノイズ除去処理とエッジ強調処理を行う場合に、まずノイズ除去処理のフィルタ処理を行う。また、ノイズ除去処理後の画像に対し、エッジ強調処理のフィルタ処理を行う必要があるが、本実施形態では、同時にノイズ除去とエッジ強調処理を切り替えることができるので、処理速度としても効率的に処理を行うことができる。
<第二実施形態>
以下より、本発明における第二実施形態について説明する。第一実施形態によれば、低周波画像を用いて覆い焼き補正の補正強度を局所的に変化させ、覆い焼き補正量に応じて、ノイズ除去の補正量を制御させることで、適正に暗部ノイズを除去することができる。しかしながら、低周波画像を用いた覆い焼き補正量に応じて、フィルタ処理および補正強度を変更するノイズ除去を行っても、覆い焼き補正量が高くなる暗い領域にぼかしたくないエッジ領域が存在する場合には、そのエッジ領域もぼけてしまうことになる。
(本実施形態の特徴)
上記課題を解決するために、本実施形態では、覆い焼き補正画像のエッジ判定を行い、低周波画像を用いた覆い焼き補正量だけではなく、エッジ判定結果も用いてノイズ除去の処理及び制御量を行う。以下、本実施形態に係る画像処理システムの概要について図を参照して説明する。
(ハードウェア構成の説明)
本発明の画像処理方法を実施可能なハードウェア構成は、第一実施形態にて示した図2と同様であるため、説明を省略する。
(全体処理フローの説明)
図10に、本実施形態における処理のブロック図を示している。以下では図10を用いて処理の流れを説明し、各処理部に対し必要に応じてフローチャートを用いて、処理の詳細説明を行う。図10において、画像取得装置211、露出適正度判定部101、低周波画像生成部102、覆い焼き補正部103、プリンタ210は、第一実施形態にて示した図7と同様であるため詳細な説明は省略する。
まず、画像取得装置211で、デジタルカメラで撮影し、メモリカード等の記録メディアに記憶されているデジタル画像データを取得する。そして、取得したデジタル画像データを入力画像として、露出適正度判定部101に入力する。次に、露出適正度判定部101は、入力画像データから画像解析処理を行い、露出適正判定を行う。入力画像データが適正露出であると判定された場合には、通常の画像処理フロー(不図示)を経てプリント処理が実行される。
露出適正度判定部101にて入力画像データが露出不足であると判定された場合には、まず、低周波画像生成部102で低周波画像を生成し、覆い焼き補正部103の処理を行う。更に、エッジ判定部106にて覆い焼き補正後の画像を用いてエッジ判定処理を行い、低周波画像とエッジ判定量を用いてフィルタ処理部105の処理を行う。次に、低周波画像生成部102は、入力画像データから、複数のぼけ度合いが異なるぼけ画像を生成し、生成した複数のぼけ画像を合成し、低周波画像を生成する。次に、覆い焼き補正部103は、低周波画像から入力画像に対して覆い焼き補正処理を行う。
本実施形態において、第一実施形態と異なるフィルタ処理部105及びエッジ判定部106について、以下で、詳細な説明を行う。エッジ判定部106は、覆い焼き補正後の画像で、エッジ判定処理を行い、画素毎にエッジ判定量を算出する。算出した画素毎のエッジ判定量をRAM204等の記憶部に格納する。なお、エッジ判定処理については、様々な公知文献で開示されており、ここではどの手法を用いてもよい(詳細説明省略)。
(エッジ判定処理)
本実施形態でのエッジ判定方法は、まず、覆い焼き補正後の画像から輝度成分を抽出する。次に、注目画素を含む3×3画素の平均値と、注目画素を含む7×7画素の平均値を算出する。次に、3×3画素の平均値と7×7画素の平均値の差分値(0〜255)を算出し、差分値をエッジ判定量とする。
図11は、エッジ判定部106の処理を説明するため図である。図11において、覆い焼き補正後の画像から輝度成分を抽出し、エッジ判定を行う注目画素1101を中心に9×9画素を示す。覆い焼き補正後の画像における注目画素1101のエッジ判定を行う場合、太枠3×3画素領域1102内の計9画素の平均値を算出する。また、太枠7×7画素領域1103内の計49画素の平均値を算出し。そして、太枠3×3画素領域1102内の計9画素の平均値と太枠7×7画素領域1103内の計49画素の平均値との差分値(0〜255)を算出する。算出した差分値を注目画素1101のエッジ判定量とする。
エッジ判定量は、0に近いほど平坦度合いが強く、255に近づくに従って平坦度合いが弱くなりエッジ強度が強いことを示す。本実施形態では、覆い焼き補正後の画像に対してエッジ判定処理を行っているが、入力画像に対してエッジ判定処理を行っても良いし、低周波画像に対してエッジ判定処理を行っても良い。
(ノイズ除去処理)
次に、フィルタ処理部105はフィルタ処理を備え、上述した低周波画像を用いた覆い焼き補正量及びエッジ判定量に応じて、フィルタ処理および補正強度を変更し、覆い焼き補正処理後の画像を入力画像とし、ノイズ除去処理を行う。
図12は、本実施形態におけるノイズ除去処理のフローを示している。本実施形態において、図12のS1201〜S1206の詳細は、第一実施形態で述べた図8のS801〜S806と同様である省略する。また、図12のS1211〜S1214の詳細は、第一実施形態で述べた図8のS809〜S812と同様である省略する。以下では、第一実施形態とは異なる、S1207〜S1210について詳細な説明を行う。
S1207において、上述した覆い焼き補正部103の処理と同様に、座標(X,Y)に相当する低周波画像上の座標(Xz,Yz)の画素値を取得し、強調係数Jを算出する。
図13は、本実施形態のフィルタ処理の強調係数Jの算出を説明するための図である。図13において、横軸は取得した覆い焼き補正量(0〜255)、縦軸は強調係数J(0〜1.0)を示す。図13において、覆い焼き補正量によって、a’とb’を結ぶ直線上で、強調係数Jが変化することを示している。本実施形態では、覆い焼き補正量は、255に近いほど覆い焼きによる補正量が大きく、0に近づくに従って覆い焼きによる補正量が小さくなることを示している。従って、覆い焼き補正量が大きくなれば、強調係数Jが上昇することを示している。また、覆い焼き補正量におけるa’、強調係数Jにおけるb’のそれぞれの値は、覆い焼き補正量、強調係数それぞれの範囲内において予め定義されているものとする。
次に、S1208において、エッジ判定部106で算出した座標(X,Y)に対応するエッジ判定量を取得する。次に、S1209において、取得したエッジ判定量から、平坦係数Mを算出する。
図14は、本実施形態の平坦係数Mの算出を説明するための図である。図14において、横軸は取得したエッジ判定量(0〜255)、縦軸は平坦係数M(1.0〜−1.0)を示す。図14において、エッジ判定量によって、pとq及びpとrを結ぶ直線上で、平坦係数Mが変化することを示している。本実施形態では、pを閾値とし、エッジ判定量が0〜pの場合は、ノイズ除去処理を行い、p〜255の場合は、エッジ強調処理を行うようにフィルタ処理を切り替える。さらに、エッジ判定量が0〜pの場合は、0に近づくに従ってノイズ除去処理のためにローパスフィルタの寄与率(補正強度)が上昇する。これに対し、エッジ判定量がp〜255の場合は、255に近づくに従って、エッジ強調処理のためにハイパスフィルタの寄与率(補正強度)が上昇する。また、エッジ判定量におけるp、平坦係数Mにおけるq及びrのそれぞれの値は、エッジ判定量、平坦係数それぞれの範囲内において予め定義されているものとする。
次に、S1210において、ノイズ除去処理は、座標(X,Y)に相当する覆い焼き補正後の画素値C(Xw,Yw)に、第一実施形態同様の差分値Sにフィルタ処理の強調係数Jと平坦係数Mを乗じた値を減算することで、ノイズ除去を行う。以下にノイズ除去に用いる算出式を示す。
[式9]
F(X,Y)=C(Xw,Yw)−h×L×S(X,Y)×M
式9において、F(X,Y)は、座標(X,Y)におけるノイズ除去後またはエッジ強調後の画素値(RGB各0〜255)であり、hは所定の定数である。定数hは、経験的に定義しても良いし、強調係数Jに応じて定義しても良い。
以上の処理を、出力画像上の全ての画素値に対して行うことで(S1211〜S1214)、低周波画像を用いた覆い焼き補正量とエッジ判定量に応じてノイズ除去処理及びエッジ強調処理を行うことが可能となる。そして、プリンタ210は、補正済み画像データを印刷媒体に印刷する。以上が、本実施形態における処理のブロック図の説明である。
(効果)
本実施形態では、低周波画像を用いた覆い焼き補正量に応じて、ノイズ除去を行う際に、暗い領域にエッジ部が存在する場合にも、覆い焼き補正量の他にエッジ判定量を用いることにより、そのエッジ部分をぼかさずノイズを除去することができる。また、ノイズ除去を行う際に、低周波画像を用いた覆い焼き補正量とエッジ判定量との影響に応じて処理を行うため、ノイズ及びエッジとは関係のない余計な領域に影響を与えることもなく、助長されたノイズの除去を行うことができる。
具体的には、暗い領域で平坦な部分に関しては、ノイズ除去を行うことで、覆い焼き処理で助長されたノイズを除去することができる。また、暗い領域でもエッジ部分に関しては、暗い領域で平坦な部分に比べノイズ除去を行う補正量を少なくし、エッジ強調することで、暗部に存在するぼかしたくないエッジ部をぼかさずにノイズを除去することができる。また、覆い焼き処理で助長されたノイズ以外の領域に関しては、ノイズ除去の強度が弱くなるので、明るい領域でも階調がゆるやかな平坦な領域に対しても、疑似輪郭などの別の弊害を起こすことなく処理を行うことができる。
<第三実施形態>
続いて、本発明における第三実施形態について説明する。第二実施形態によれば、低周波画像を用いた覆い焼き補正量及びエッジ判定量を用いることで、効果的なノイズ除去を行うことができる。しかしながら、第二実施形態で想定するノイズ除去方法は、ローパスフィルタ等の高周波ノイズをぼかすことによって除去するもので、覆い焼き補正処理で助長された低周波ノイズは除去できない。
(本実施形態の特徴)
上記課題を解決するために、本実施形態では、低周波画像を用いた覆い焼き補正量及びエッジ判定量に応じて、第二実施形態に示した処理の他に低周波ノイズを除去するフィルタ処理を行う。以下、本発明の実施形態に係る画像処理システムの概要について図を参照して説明する。
(ハードウェア構成の説明)
本発明の画像処理方法を実施可能なハードウェア構成は、第一実施形態にて述べた図2と同様であるため、説明を省略する。
(全体処理フローの説明)
図15に、本実施形態における処理のブロック図を示している。以下では図15を用いて処理の流れを説明し、必要に応じて各部におけるフローチャートを用いて、処理の詳細説明を行う。図15において、画像取得装置211、露出適正度判定部101、低周波画像生成部102、覆い焼き補正部103、フィルタ処理部105、エッジ判定部106、プリンタ210は、第二実施形態と同様であるため詳細は省略する。
まず、画像取得装置211で、デジタルカメラで撮影し、メモリカード等の記録メディアに記憶されているデジタル画像データを取得する。そして、取得したデジタル画像データを入力画像として、露出適正度判定部101に入力する。次に、露出適正度判定部101は、入力画像データから画像解析処理を行い、露出適正判定を行う。入力画像データが適正露出であると判定された場合には、通常の画像処理フロー(不図示)を経てプリント処理が実行される。
露出適正度判定部101にて入力画像データが露出不足であると判定された場合には、まず、低周波画像生成部102で低周波画像を生成し、覆い焼き補正部103の処理を行う。更に、エッジ判定部106にて覆い焼き補正後の画像を用いてエッジ判定処理を行い、低周波画像とエッジ判定量を用いてフィルタ処理部105の処理を行う。次に、低周波画像生成部102は、入力画像データから、ぼけ度合いが異なる複数のぼけ画像を生成し、生成した複数のぼけ画像を合成して低周波画像を生成する。次に、覆い焼き補正部103は、低周波画像から入力画像に対して覆い焼き補正処理を行う。
エッジ判定部106は、覆い焼き補正後の画像を用いてエッジ判定処理を行い、画素毎にエッジ判定量を算出する。算出した画素毎のエッジ判定量をRAM204等の記憶部に格納する。次に、フィルタ処理部105は、低周波画像を用いた覆い焼き補正量及びエッジ判定量に応じてフィルタ処理と、補正強度を変更し覆い焼き補正処理後の画像を入力画像としてノイズ除去処理とを行う。本実施形態の特徴である、第二実施形態における処理の流れと異なる第2フィルタ処理部107について、詳細な説明を行う。
(第2フィルタ処理)
第2フィルタ処理部107は、1以上のフィルタを備え、低周波画像を用いた覆い焼き補正量及びエッジ判定量に応じて、低周波ノイズ除去用の第2フィルタ処理を行う。本実施形態において、低周波ノイズ除去用の第2フィルタ処理は、注目画素と周辺画素との置き換え処理(シャッフリング処理)で説明する。低周波ノイズ除去用のフィルタ処理方法は、様々な公知文献で開示されており、ここでは特に手法を限定しない(詳細説明省略)。
図16は、本実施形態におけるノイズ除去処理のフローを示している。本実施形態において、図16のS1601〜S1605の詳細は、第二実施形態で述べた図12のS1202、S1203、S1207〜S1209と同様であるため省略する。また、図16のS1608〜S1611の詳細は、第二実施形態で述べた図12のS1211〜S1214と同様であるため省略する。以下では、第二実施形態とは異なる、S1606、S1607について詳細な説明を行う。
S1606において、覆い焼き処理を行うための強調係数Kとエッジ判定量による算出した平坦係数Mを用いて、閾値THを算出する。閾値THは、第2フィルタ処理のうちの低周波ノイズ用のノイズ除去処理で行うシャッフリング処理において、画素を置き換えるか否かを判定する際の閾値を示す。閾値THは、例えば、以下の式11に示す強調係数Kと平坦係数Mを乗じた値から算出することで、覆い焼き補正の補正強度とエッジの平坦強度を考慮して、低周波ノイズの除去処理を行うことができる。
[式11]
TH=t×K×M
式11において、tは定数であり、予め定義されているものとする。また、定数tは、強調係数Kや平坦係数Mに応じて変更しても良い。式11は、画像が暗く平坦な場合に閾値THが大きくなり、逆に明るくエッジ度合いが大きい場合には閾値THが小さくなることを意味している。
次に、S1607において、所定の領域内でランダムに周辺画素値を取得し、注目画素と周辺画素値との差分Tが閾値THを越えているか否かを判定する。そして、差分Tが閾値THを越えている場合には、置き換え処理を行わない。また、差分Tが閾値THを越えていない場合には、注目画素とランダムに取得した周辺画素値との置き換え処理を行う。
図17で、本実施形態の画素置き換え処理の説明を行う。図17において、注目画素1701に対し、注目画素と中心として所定の置き換え範囲を7×7画素の太枠1702に設定する。太枠1702内の注目画素以外の48画素からランダムに画素を選択する。ランダムに選択された画素を選択画素1703とすると、注目画素1701と選択画素1703との差分を算出する。
そして、注目画素の強調係数Kと平坦係数Mから算出した閾値THと、注目画素1701と選択画素1703との差分を比較し、当該差分が閾値THを越えている場合は画素の置き換えを行わない。また、当該差分が閾値THを越えていない場合は、選択画素1703の画素値を注目画素1701の画素値に設定し、逆に、注目画素1701の画素値を選択画素1703の画素値に設定し、画素を置き換える。
式11において、閾値THは、所定の定数であるtに、強調係数Kと平坦係数Mを乗算しているだけだが、閾値THを算出する際に用いられる式はこれに限られない。例えば、低周波ノイズは、青空の画像のような階調差の差が少ない画素の配列構造で起こりやすいので、明暗を示す強調係数Kに対しては、ある程度明るい領域まで強調係数が高い値に設定するようにしてもよい。逆に、エッジ部分に関しては、線のようなエッジの部分で、置き換え処理を行ってしまうと線が切れてしまう弊害が想定されるので、エッジである可能性が高い場合には、平坦係数をより低い値に設定するようにしてもよい。また、本実施形態では、置き換え処理で選択される画素は、ランダムで選択しているが、これに限られない。例えば、所定の領域の指定された位置との置き換えでもよい。また、図17に示した置き換え範囲は7×7画素に限定されるものではなく、画像の特性等に合わせて範囲を変更しても良い。
以上の処理を、出力画像上の全ての画素値に対して行うことで(S1608〜S1611)、低周波画像及びエッジ判定量を用いた低周波ノイズ対策用の第2フィルタ処理を行うことが可能となる。そして、プリンタ210は、補正済み画像データを印刷媒体に印刷する。以上が、本実施形態における処理のブロック図の説明である。
また、本実施形態では、ノイズ除去用の第2フィルタ処理に平均値フィルタを用いたローパスフィルタ、エッジ強調にアンシャープマスク処理を用いたハイパスフィルタ利用している。しかし、公知であるノイズ除去処理及びエッジ強調処理であれば、いずれの方法でも良い(詳細説明省略)。例えば、ノイズ除去処理のローパスフィルタをメディアンフィルタやガウシアンフィルタなど、平滑化処理を行うことで高周波成分を低減できるフィルタ処理であっても良い。また、エッジ強調処理のハイパスフィルタをグラディエントフィルタやラプラシアンフィルタなど、尖鋭化処理を行うことで高周波成分を強調できるフィルタ処理であっても構わない。
また、本実施形態では、覆い焼き補正処理後の画像に対し、ノイズ除去及びエッジ強調処理を行っているが、覆い焼き補正処理前の画像に対し、低周波画像を用いて、ノイズ除去及びエッジ強調処理を行っても構わない。
(効果)
本実施形態では、覆い焼き補正の局所的な制御量を決定する際に用いる低周波画像及びエッジ判定結果を利用することで、覆い焼きで助長された高周波ノイズと低周波ノイズを除去することができる。具体的には、撮影された暗部のノイズは、局所的に周辺画素と濃度差が出るスパイクノイズなどの高周波ノイズがあるので、ローパスフィルタ処理で除去することができる。そこで、高周波ノイズを除去できたことで、次に覆い焼き処理で助長された低周波ノイズが視覚的に目立つようになる。この場合でも、低周波ノイズ除去処理を行うことで改善させることができる。
また、覆い焼き補正の補正強度とエッジの平坦強度を考慮しているので、ノイズ及びエッジとは関係のない余計な領域に影響を与えることもなく、助長されたノイズの除去を行うことができる。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (12)

  1. 入力画像における露出が適正か否かを判定する判定手段と、
    前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、
    前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、
    少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、
    前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量に基づいて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段と
    を備え、
    前記フィルタ処理手段は、
    前記補正手段による前記注目画素に対する明るさの補正量が大きいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、
    前記補正手段による前記注目画素に対する明るさの補正量が小さいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める
    ことを特徴とする画像処理装置。
  2. 入力画像における露出が適正か否かを判定する判定手段と、
    前記判定手段により前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成手段と、
    前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正手段と、
    前記入力画像または前記補正手段により画像の明るさを補正された画像のいずれかから、画像中のエッジの強度を示すエッジ判定量を検出するエッジ判定手段と、
    少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタを保持する保持手段と、
    前記補正手段により補正された画像の注目画素に対し、前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて、前記複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理手段と
    を備え、
    前記フィルタ処理手段は、
    前記補正手段による前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が小さいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、
    前記補正手段による前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が大きいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める
    ことを特徴とする画像処理装置。
  3. 前記判定手段は、前記入力画像における顔領域を検出し、前記顔領域における画素の明るさに基づいて露出の適正を判定することを特徴とする請求項1に記載の画像処理装置。
  4. 前記低周波画像は、カットオフ周波数が異なる複数の低周波画像が合成されている画像であることを特徴とする請求項1に記載の画像処理装置。
  5. 前記ローパスフィルタよるフィルタ処理は、平均値フィルタ、メディアンフィルタ、ガウシアンフィルタのうち少なくとも一つによる高周波成分を低減させるフィルタ処理であることを特徴とする請求項1に記載の画像処理装置。
  6. 前記ハイパスフィルタによるフィルタ処理は、アンシャープマスク、グラディエントフィルタ、ラプラシアンフィルタのうち少なくとも一つによる高周波成分を強調させるフィルタ処理であることを特徴とする請求項1に記載の画像処理装置。
  7. 前記フィルタ処理手段によってフィルタ処理された画像の注目画素に対し、前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて、前記注目画素を該注目画素の周辺画素に置き換える処理を行う置き換え手段を更に有することを特徴とする請求項2に記載の画像処理装置。
  8. 前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて画素毎に閾値を算出し、前記注目画素と前記周辺画素の差分が前記閾値を越えていない場合、前記置き換え処理を行い、前記差分が前記閾値を越えている場合、前記置き換え処理を行わないことを特徴とする請求項7に記載の画像処理装置。
  9. 前記フィルタ処理を適用した後の画像を印刷媒体に印字する印刷手段を更に有することを特徴とする請求項1乃至6のいずれか一項に記載の画像処理装置。
  10. 判定手段が、入力画像における露出が適正か否かを判定する判定工程と、
    生成手段が、前記判定工程において前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成工程と、
    補正手段が、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正工程と、
    フィルタ処理手段が、前記補正工程において補正された画像の注目画素に対し、前記低周波画像による明るさの補正量に基づいて、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理工程と
    を有し、
    前記フィルタ処理工程において、
    前記補正工程における前記注目画素に対する明るさの補正量が大きいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、
    前記補正工程における前記注目画素に対する明るさの補正量が小さいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める
    ことを特徴とする画像処理方法。
  11. 判定手段が、入力画像における露出が適正か否かを判定する判定工程と、
    生成手段が、前記判定工程において前記入力画像の露出が適正でないと判定された場合に、前記入力画像に対する明るさの補正量を局所的に変化させるための低周波画像を生成する生成工程と、
    補正手段が、前記低周波画像を用いて、前記入力画像に対する明るさの補正を行う補正工程と、
    エッジ判定手段が、前記入力画像または前記補正工程において画像の明るさを補正された画像のいずれかから、画像中のエッジの強度を示すエッジ判定量を検出するエッジ判定工程と、
    フィルタ処理手段が、前記補正工程において補正された画像の注目画素に対し、前記低周波画像による明るさの補正量と前記エッジ判定量とを用いて、少なくともローパスフィルタとハイパスフィルタとを含む複数のフィルタの種類および補正強度のうち少なくとも一方を局所的に変更しながらフィルタ処理を行うフィルタ処理工程と
    を有し、
    前記フィルタ処理工程において、
    前記補正工程における前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が小さいほど、前記フィルタ処理において前記ローパスフィルタによる補正強度を高め、
    前記補正工程における前記注目画素に対する明るさの補正量が大きく、前記エッジ判定量が大きいほど、前記フィルタ処理において前記ハイパスフィルタによる補正強度を高める
    ことを特徴とする画像処理方法。
  12. コンピュータを、請求項1乃至9のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
JP2010118773A 2010-05-24 2010-05-24 画像処理装置、画像処理方法、およびプログラム Active JP5595121B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010118773A JP5595121B2 (ja) 2010-05-24 2010-05-24 画像処理装置、画像処理方法、およびプログラム
US12/964,270 US20110285871A1 (en) 2010-05-24 2010-12-09 Image processing apparatus, image processing method, and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010118773A JP5595121B2 (ja) 2010-05-24 2010-05-24 画像処理装置、画像処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2011248479A true JP2011248479A (ja) 2011-12-08
JP2011248479A5 JP2011248479A5 (ja) 2014-01-23
JP5595121B2 JP5595121B2 (ja) 2014-09-24

Family

ID=44972223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010118773A Active JP5595121B2 (ja) 2010-05-24 2010-05-24 画像処理装置、画像処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US20110285871A1 (ja)
JP (1) JP5595121B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014208681A1 (ja) * 2013-06-26 2014-12-31 オリンパス株式会社 画像処理装置
CN105303536A (zh) * 2015-11-26 2016-02-03 南京工程学院 一种基于加权均值滤波的中值滤波算法
CN106027851A (zh) * 2015-03-30 2016-10-12 想象技术有限公司 基于图像梯度的图像滤波
WO2018008009A1 (ja) * 2016-07-04 2018-01-11 Hoya株式会社 画像処理装置及び電子内視鏡システム
JP2018023602A (ja) * 2016-08-10 2018-02-15 大日本印刷株式会社 眼底画像処理装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5535053B2 (ja) * 2010-11-26 2014-07-02 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5370542B1 (ja) * 2012-06-28 2013-12-18 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6039942B2 (ja) 2012-07-09 2016-12-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP5956860B2 (ja) 2012-07-09 2016-07-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP6071289B2 (ja) 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6012310B2 (ja) 2012-07-09 2016-10-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN102801983A (zh) * 2012-08-29 2012-11-28 上海国茂数字技术有限公司 一种基于dct的去噪方法及装置
US9888240B2 (en) * 2013-04-29 2018-02-06 Apple Inc. Video processors for preserving detail in low-light scenes
JP6520919B2 (ja) * 2014-03-28 2019-05-29 日本電気株式会社 画像補正装置、画像補正方法およびプログラム
JP6472300B2 (ja) 2015-03-31 2019-02-20 キヤノン株式会社 画像処理装置および情報処理装置、並びに、それらの方法
WO2018016002A1 (ja) * 2016-07-19 2018-01-25 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP7552090B2 (ja) * 2020-06-19 2024-09-18 セイコーエプソン株式会社 印刷方法、印刷装置、印刷システム
JP2022061279A (ja) 2020-10-06 2022-04-18 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156871A (ja) * 1998-11-19 2000-06-06 Sony Corp 画像処理装置及び画像処理方法
JP2001005960A (ja) * 1999-06-22 2001-01-12 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2001298619A (ja) * 2000-04-17 2001-10-26 Fuji Photo Film Co Ltd 画像処理方法及び画像処理装置
JP2004007202A (ja) * 2002-05-31 2004-01-08 Fuji Photo Film Co Ltd 画像処理装置
JP2006065676A (ja) * 2004-08-27 2006-03-09 Canon Inc 画像処理装置およびその方法
JP2006087030A (ja) * 2004-09-17 2006-03-30 Olympus Corp ノイズ低減装置
JP2006343863A (ja) * 2005-06-07 2006-12-21 Canon Inc 画像処理装置及びその方法
JP2007228451A (ja) * 2006-02-27 2007-09-06 Konica Minolta Holdings Inc 撮像装置
JP2008171059A (ja) * 2007-01-09 2008-07-24 Rohm Co Ltd 画像処理回路、半導体装置、画像処理装置
JP2008177724A (ja) * 2007-01-17 2008-07-31 Sony Corp 画像入力装置、信号処理装置および信号処理方法
JP2009145991A (ja) * 2007-12-11 2009-07-02 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記憶媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8023559B2 (en) * 2005-10-06 2011-09-20 Vudu, Inc. Minimizing blocking artifacts in videos
US7843493B2 (en) * 2006-01-31 2010-11-30 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156871A (ja) * 1998-11-19 2000-06-06 Sony Corp 画像処理装置及び画像処理方法
JP2001005960A (ja) * 1999-06-22 2001-01-12 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2001298619A (ja) * 2000-04-17 2001-10-26 Fuji Photo Film Co Ltd 画像処理方法及び画像処理装置
JP2004007202A (ja) * 2002-05-31 2004-01-08 Fuji Photo Film Co Ltd 画像処理装置
JP2006065676A (ja) * 2004-08-27 2006-03-09 Canon Inc 画像処理装置およびその方法
JP2006087030A (ja) * 2004-09-17 2006-03-30 Olympus Corp ノイズ低減装置
JP2006343863A (ja) * 2005-06-07 2006-12-21 Canon Inc 画像処理装置及びその方法
JP2007228451A (ja) * 2006-02-27 2007-09-06 Konica Minolta Holdings Inc 撮像装置
JP2008171059A (ja) * 2007-01-09 2008-07-24 Rohm Co Ltd 画像処理回路、半導体装置、画像処理装置
JP2008177724A (ja) * 2007-01-17 2008-07-31 Sony Corp 画像入力装置、信号処理装置および信号処理方法
JP2009145991A (ja) * 2007-12-11 2009-07-02 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記憶媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014208681A1 (ja) * 2013-06-26 2014-12-31 オリンパス株式会社 画像処理装置
JP2015012318A (ja) * 2013-06-26 2015-01-19 オリンパス株式会社 画像処理装置
US9704222B2 (en) 2013-06-26 2017-07-11 Olympus Corporation Image processing apparatus
CN106027851A (zh) * 2015-03-30 2016-10-12 想象技术有限公司 基于图像梯度的图像滤波
CN106027851B (zh) * 2015-03-30 2021-02-02 想象技术有限公司 用于处理图像的方法和系统
US11244432B2 (en) 2015-03-30 2022-02-08 Imagination Technologies Limited Image filtering based on image gradients
CN105303536A (zh) * 2015-11-26 2016-02-03 南京工程学院 一种基于加权均值滤波的中值滤波算法
WO2018008009A1 (ja) * 2016-07-04 2018-01-11 Hoya株式会社 画像処理装置及び電子内視鏡システム
CN109564678A (zh) * 2016-07-04 2019-04-02 Hoya株式会社 图像处理装置及电子内窥镜系统
JP2018023602A (ja) * 2016-08-10 2018-02-15 大日本印刷株式会社 眼底画像処理装置

Also Published As

Publication number Publication date
US20110285871A1 (en) 2011-11-24
JP5595121B2 (ja) 2014-09-24

Similar Documents

Publication Publication Date Title
JP5595121B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4492704B2 (ja) エッジ強調処理装置、出力装置、エッジ強調処理方法およびコンピュータ読み取り可能な記録媒体
JP2010278708A (ja) 画像処理装置及び方法、及びコンピュータプログラム
JP2002044473A (ja) 画像処理方法、画像処理装置および画像処理方法を実行するプログラムを記録した記録媒体
JP2005332383A (ja) 画像処理方法および装置並びにプログラム
WO2016088406A1 (ja) 画像処理装置及び方法、並びに撮像装置、並びにプログラム及び記録媒体
JP2005309560A (ja) 画像処理方法および装置並びにプログラム
JP2009266233A (ja) 画像処理装置および画像処理方法
JP2007241424A (ja) 画像処理装置および画像処理方法
JP4137015B2 (ja) 画像処理装置及び方法
JP2006343863A (ja) 画像処理装置及びその方法
US10964041B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP4766702B2 (ja) 画像処理装置及び方法
EP3407252B1 (en) Image processing apparatus, image processing method, and storage medium
JP2009272983A (ja) 画像処理装置および方法並びにプログラム
JP4264051B2 (ja) 画像処理装置
JP2005269451A (ja) 画像処理装置、画像処理方法及びプログラム
JP4274426B2 (ja) 画像処理方法および装置並びにプログラム
JP2005275581A (ja) 画像処理方法および装置並びにプログラム
JP2006155572A (ja) 画像処理装置、画像形成装置、画像処理方法、及びコンピュータプログラム
CN112837230A (zh) 图像处理装置、图像处理方法和计算机可读介质
JP2006031682A (ja) ルックアップテーブル作成装置および方法,ならびにルックアップテーブル作成プログラム
JP2020149589A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2003209686A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP2010108161A (ja) 画像処理装置及び方法、並びにコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140805

R151 Written notification of patent or utility model registration

Ref document number: 5595121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151