JP2019016222A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】弊害が抑制された鮮鋭化処理を可能とする。【解決手段】画像処理装置は、入力画像に対して鮮鋭化処理を実行して補正画像を生成する画像処理手段と、補正画像を出力する出力装置の能力情報を取得する取得手段と、能力情報に基づいて鮮鋭化処理における補正強度を決定する決定手段と、を有する。能力情報は、出力装置が画像処理装置とは独立して出力サイズを変更可能であるか否かを示す可否情報を含み、決定手段は、可否情報に基づいて補正強度を決定する。【選択図】図２

Description

本発明は、画像の鮮鋭化処理に関するものである。

レンズ等の光学系により撮像素子の撮像面上に被写体像を結像すると、光学系の収差の影響によって画質が劣化する。このとき、被写体像の強度分布ｇは、元の物体の輝度分布ｆと光学系の結像性能を表す点像強度分布（ＰＳＦ：Point Spread Function）ｈとの畳み込みにノイズｎを加えたものとして表される。すなわちｇ＝ｆ＊ｈ＋ｎ（＊は畳み込み積分）として表される。したがって、被写体像の強度分布ｇ、点像強度分布ｈがわかれば、元の物体の輝度分布ｆを求めることができる。これを利用して光学系の収差の影響が軽減された画像を得る画像処理は、回復処理、鮮鋭化処理などと呼ばれている。

ただし、回復処理は、撮像素子によって生じるノイズｎも併せて増幅させるため、撮影条件によっては、ノイズが目立った画像となってしまう場合がある。特許文献１では、撮像装置の特性情報や撮影条件を利用して補正強度を決定することにより、ノイズ増幅が抑制された補正画像を得る技術を開示している。

特開２０１３−６１９２５号公報

一般的に、画像を拡大出力するとノイズなどの画像弊害が目立ちやすくなる。すなわち、出力サイズに依存して好適な回復設定は異なる。しかしながら、特許文献１に記載の技術では、撮像装置の特性情報や撮影条件を利用して補正強度を決定しているため、プリンタやディスプレイなどの出力装置に応じた回復処理は出来ない。そのため、出力サイズを変更可能な出力装置を利用する場合においては、画像弊害が抑制された適切な補正画像が得られない場合がある。

本発明はこのような問題を鑑みてなされたものであり、画像弊害が抑制された鮮鋭化処理を可能とする技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、入力画像に対して鮮鋭化処理を実行して補正画像を生成する画像処理手段と、前記補正画像を出力する出力装置の能力情報を取得する取得手段と、前記能力情報に基づいて前記鮮鋭化処理における補正強度を決定する決定手段と、を有し、前記能力情報は、前記出力装置が前記画像処理装置とは独立して出力サイズを変更可能であるか否かを示す可否情報を含み、前記決定手段は、前記可否情報に基づいて前記補正強度を決定する。

本発明によれば、画像弊害が抑制された鮮鋭化処理を可能とする技術を提供することができる。

第１実施形態における画像処理システムのシステム構成を示す図である。 第１実施形態における画像処理を説明するフローチャートである。 出力サイズを変更可能な出力装置に提供する画像に対する回復処理を説明する図である。 出力サイズを変更不能な出力装置に提供する画像に対する回復処理を説明する図である。 出力装置ごとに観察されるノイズ特性の例を示す図である。 ノイズを考慮した補正強度Ｒｎ（ｕ，ｖ）の算出を説明するフローチャートである。 ノイズ量算出チャートの一例を示す図である。 ノイズを考慮した補正強度ｒｎ（ｕ，ｖ）の算出を説明するフローチャートである。 リンギングを考慮した補正強度ｒｌ（ｕ，ｖ）の算出を説明するフローチャートである。 リンギング量算出チャートの一例を示す図である。 リンギング量の算出方法を説明する図である。 変形例２における画像処理を説明するフローチャートである。

以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、撮像装置により取得された撮像画像に対して鮮鋭化処理を施し出力装置（画像形成装置、画像表示装置）に補正画像を提供する画像処理システムを例に挙げて以下に説明する。

＜概要＞
第１実施形態では、出力装置の特性に応じて補正強度を変更することで、ノイズが好適に低減された画像（形成画像、表示画像）を出力可能とする形態について説明する。具体的には、画像処理装置が出力装置に補正画像を提供した後に、当該出力装置が回復画像の出力（表示・形成）サイズを変更可能か否かに基づいて補正強度を変える。サイズ変更不能な出力装置で出力する場合には、実出力サイズに応じた補正強度ｒ（ｕ，ｖ）で回復処理をおこなう。一方で、サイズ変更可能な出力装置で出力する場合には、最大出力サイズに応じた補正強度Ｒ（ｕ，ｖ）で補正をおこなう。

なお、以下の説明では、サイズ変更不能な出力装置の例として画像形成装置（プリンタ）、サイズ変更可能な出力装置の例として画像表示装置（ディスプレイ）を挙げているが、逆の形態もあり得る。

＜画像処理システムの構成＞
図１は、第１実施形態における画像処理システムのシステム構成を示す図である。撮像装置１と画像処理装置２はインターフェイスまたは回路によって接続されている。また、画像処理装置２は、画像表示装置３および画像形成装置４ともインターフェイスまたは回路によって接続されている。

撮像部１０１は、レンズ、光学ＬＰＦ、メカニカルシャッター、撮像素子（ＣＣＤ／ＣＭＯＳ）などから構成され、被写体を撮影し撮像データを生成する。また、撮像装置１は、撮像ＵＩ部１０２を備え、撮像装置１０１における撮像条件Ｓｃ（シャッタースピード、ＩＳＯ値、絞り値や焦点距離）について、ユーザの指示を受けることができる。撮像部１０１によって撮像された画像Ｉは、撮像画像処理部１０２によってホワイトバランス処理やγ処理された後、撮影条件Ｓｃとともに画像データｉとして、撮像データ記憶部に保存される。たとえば、撮像条件Ｓｃを含むＲａｗ形式もしくは、Ｔｉｆｆ形式で画像データは保存される。なお、撮影条件Ｓｃには、撮像装置１に対応する光学伝達関数ＯＴＦ（Optical Transfer Function）とノイズ、リンギングなどの弊害特性を一意に特定するのに十分な情報が含まれる。たとえば、前述のシャッタースピード等の条件に加え、レンズやカメラの種類を特定できるシリアル番号や型番などを含んでいればよい。

画像処理装置２は、データＩ／Ｏ部２０１、画像回復処理部２０２、回復処理パラメータ部２０３、処理データ記憶部２０４、ＵＩ部２０５を含む。画像処理装置２は、背景技術で説明した撮像装置１に起因する画質劣化を補償するための回復処理を実行する。具体的には、画像処理装置２は、ＵＩ部２０５を介したユーザの操作入力に基づき、入力画像である画像データｉに回復処理を実施し、回復後の画像（補正画像）である画像データｉ’を生成する。

画像処理装置２は、データＩ／Ｏ部２０１から、インターフェイスまたは回路によって撮像装置１にアクセスし、画像データｉと撮影条件Ｓｃの取得が可能である。同様に、画像表示装置３あるいは画像形成装置４に対して、ＵＩ部２０５を介したユーザの指示入力に基づき、出力条件Ｏｃと回復処理後の画像データｉ’の送信が可能である。なお、図１においては、画像処理装置２を独立した装置として記述しているが、撮像装置１、画像表示装置３あるいは画像形成装置４が、画像処理装置２を含む構成であってもよい。

画像回復処理部２０２では、画像データｉに対して、撮影条件Ｓｃ、出力条件Ｏｃに基づく回復処理をおこなう。Ｏｃについては後述する。また、回復処理パラメータ保持部２０３には、回復処理に必要なパラメータが格納される。回復処理の詳細な内容については後述する。また、処理データ記憶部２０４は、処理前の画像データｉの保持、および回復処理後の画像データｉ’の保持に用いられる。

ＵＩ部２０５では、タッチパネルやマウス、ダイヤルなどのユーザーインターフェイス（ＵＩ）により、出力条件Ｏｃについて、ユーザの指示を受け取ることができる。出力条件Ｏｃは、出力装置（画像表示装置３、画像形成装置４）の能力情報を含む。能力情報は、少なくとも出力画像のサイズ変更の可否情報Ｐを含む。さらに好ましくは、画像の出力サイズに関する情報Ｓも含む。出力サイズに関する情報Ｓは、サイズ変更の可否情報Ｐが、可である場合には、出力装置が出力に利用可能な「最大出力サイズ」を意味する。一方、サイズ変更の可否情報Ｓが、否である場合には、出力装置による画像の「実出力サイズ」を意味する。

ここで、出力装置の最大出力サイズは拡大倍率に相当するものであり、画像表示装置３の画面サイズあるいはプリント用紙の用紙サイズとは必ずしも一致しない。たとえば、最大３２倍（＝３２００％）で拡大表示可能な１００ｐｐｉの画像表示装置３で２５０［ｐｘ］×２５０［ｐｘ］の画像を表示する場合を考える。３２倍で画像全体を表示するには２０３２［ｍｍ］×２０３２［ｍｍ］の物理的な画面サイズが必要となる。すなわち、画像表示装置３の画面サイズが２０３２［ｍｍ］×２０３２［ｍｍ］に満たない場合、画像表示装置３には、画像の一部のみが切り抜かれて表示される。なお、出力サイズに関する情報Ｓが得られない場合には、サイズ変更の可否情報Ｐから、出力サイズに関する情報Ｓを推測して決定してもよい。

画像表示装置３は、表示データ記憶部３０１、画像表示部３０２を備える。画像表示装置３は、画像処理装置２から送信された回復処理後の画像データｉ’を、液晶パネルやＣＲＴ、有機ＥＬなどの画像表示部３０２に表示出力する。画像表示装置３には、たとえばディスプレイやプロジェクタなどの画像を一時的に表示する装置を用いることができる。表示データ記憶部３０１には、回復処理後の画像データｉ’および出力条件Ｏｃが一時的に保持される。

画像形成装置４は、形成データ記憶部４０１、画像形成部４０２を備える。画像形成装置４は、プリンタヘッドなどを含む画像形成部４０２により、印刷用紙などの記録媒体に画像を形成出力する。画像形成装置には、たとえばインクジェットプリンタやレーザプリンタなど、画像形成後にユーザが出力画像を変更できない装置を用いることができる。形成データ記憶部４０１には、回復処理後の画像データｉ’および出力条件Ｏｃが一時的に保持される。

なお、上述の説明では、出力条件Ｏｃは、画像処理装置２がＵＩ部２０５を介して取得する構成とした。しかし、画像表示装置３あるいは画像形成装置４がそれぞれＵＩを備え、出力条件Ｏｃの一部あるいは全てを記憶、取得してもよい。その場合、画像処理装置２は、インターフェイスあるいは回路を通じて、画像表示装置３あるいは、画像形成装置４にアクセスし、必要な出力条件Ｏｃを取得する。

＜装置の動作＞
図２は、第１実施形態における画像処理を説明するフローチャートである。具体的には、画像処理装置２における回復処理の制御動作のフローチャートである。

Ｓ２０１では、画像回復処理部２０２は、データＩ／Ｏ部２０１を通して撮像装置１にアクセスし、画像データｉ（ｘ，ｙ）および撮像条件Ｓｃを取得し、処理データ記憶部２０４へ格納する。

Ｓ２０２では、画像回復処理部２０２は、画像データｉ（ｘ，ｙ）にフーリエ変換を実施し、Ｉ（ｕ，ｖ）を算出し、処理データ記憶部２０４へ格納する。なお、ここでは、撮像画像をフーリエ変換し周波数空間で回復処理をおこなっているが、後述する補正強度を逆フーリエ変換することによって得られる空間フィルタを用いて回復処理をおこなってもよい。

Ｓ２０３では、画像回復処理部２０２は、回復処理パラメータ保持部２０３、処理データ記憶部２０４にアクセスし、撮像条件Ｓｃに対応する撮像装置１の光学伝達関数ＯＴＦ（ｕ，ｖ）を取得する。通常、ＯＴＦの値は、０≦ＯＴＦ≦１を満たす。

Ｓ２０４では、画像回復処理部２０２は、ＵＩ部２０５を介して出力条件Ｏｃを取得する。Ｓ２０５では、画像回復処理部２０２は、出力条件Ｏｃに含まれる出力サイズ変更の可否情報Ｐからサイズ変更の可否を判断する。画像サイズを変更できる出力装置（ここでは、画像表示装置３）であると判断した場合には、Ｓ２０６へと進む。画像サイズを変更できない出力装置（ここでは、画像形成装置４）であると判断した場合には、Ｓ２０８へと進む。

Ｓ２０６では、画像回復処理部２０２は、処理データ記憶部２０４から最大出力サイズの情報を取得する。さらに回復処理パラメータ保持部２０３から、最大出力サイズにおいても弊害が目立ちにくい補正強度Ｒ（ｕ，ｖ）を取得する。

Ｓ２０７では、画像回復処理部２０２は、補正強度Ｒ（ｕ，ｖ）、光学伝達関数ＯＴＦ（ｕ，ｖ）に従い、以下の数式（１）によって撮像画像Ｉ（ｕ，ｖ）から、回復後画像Ｉ’（ｕ，ｖ）を生成する。なお。補正強度Ｒ（ｕ，ｖ）は、１≦Ｒ（ｕ，ｖ）≦１／｜ＯＴＦ（ｕ，ｖ）｜を満たす。ｕ＝０，ｖ＝０に対しては適用しない。
Ｉ’（ｕ，ｖ）＝Ｉ（ｕ，ｖ）×Ｒ（ｕ，ｖ） ・・・（１）

Ｓ２０８では、画像回復処理部２０２は、実出力サイズＳに基づいて回復処理パラメータ保持部２０３から、実出力サイズにおいても弊害が目立たない補正強度ｒ（ｕ，ｖ）を取得する。

Ｓ２０９では、画像回復処理部２０２は、補正強度ｒ（ｕ，ｖ）、光学伝達関数ＯＴＦ（ｕ，ｖ）に従い、以下の数式（２）によって撮像画像Ｉ（ｕ，ｖ）から、回復後画像Ｉ’（ｕ，ｖ）を生成する。なお。補正強度ｒ（ｕ，ｖ）は、１≦ｒ（ｕ，ｖ）≦１／｜ＯＴＦ（ｕ，ｖ）｜を満たす。ｕ＝０，ｖ＝０に対しては適用しない。
Ｉ’（ｕ，ｖ）＝Ｉ（ｕ，ｖ）×ｒ（ｕ，ｖ） ・・・（２）

Ｓ２１０では、画像回復処理部２０２は、回復後画像Ｉ’（ｕ，ｖ）に対して逆フーリエ変換を実行し、実空間における回復処理後の画像データｉ’（ｘ，ｙ）を算出し、処理データ記憶部２０４へ格納する。

上述のように、画像サイズを変更できる出力装置に出力する場合は、最大出力サイズでも弊害が目立たない補正強度Ｒ（ｕ，ｖ）で回復処理をおこなう。一方、画像サイズを変更できない出力装置に出力する場合は、実出力サイズで弊害が目立たない補正強度ｒ（ｕ，ｖ）で補正処理をおこなう。

すなわち、一般に、拡大出力により高周波な画質弊害が視感度の高い低周波へとシフトする。そのため、出力サイズ（出力倍率）が大きいほど、画質弊害が視認されやすい。そこで、画像形成装置４と画像表示装置３のノイズ特性が等しく、かつ、画像形成装置４の実出力サイズが画像表示装置３の最大出力サイズ以下の場合には、補正強度ｒ（ｕ，ｖ），Ｒ（ｕ，ｖ）を用いる。ここで、ｒ（ｕ，ｖ）≧Ｒ（ｕ，ｖ）となるよう設定される。特に、Ｒ（ｕ，ｖ）は、少なくとも所定の周波数より高い周波数の領域についてｒ（ｕ，ｖ）より補正強度が弱く設定される。

＜効果＞
画像処理装置２における回復処理の効果について、図３〜図５を用いて説明する。なお、実際にはｕｖ空間上の２次元特性に対して処理が行われるが、簡潔な説明のため、図３〜図５にはｕ軸上の１次元の特性を示している。

図３は、出力サイズを変更可能な出力装置に提供する画像に対する回復処理を説明する図である。ここでは、画像表示装置に出力する場合（Ｓ２０７）における回復処理の特性を示している。具体的には、上述の数式（１）に従う回復処理を適用した場合の特性変化を例示的に示している。

図３（ａ）は、撮像装置の周波数特性に対して、補正強度Ｒ（ｕ，ｖ）を乗算し、高い周波数における劣化が補償された特性を示している。なお、補正対象となる全てのｕ、ｖに対して、補正強度Ｒ（ｕ，ｖ）＝１／｜ＯＴＦ（ｕ，ｖ）｜とすることで、回復特性は撮像装置の周波数特性の逆特性となり、回復処理後の周波数特性｜ＯＴＦ（ｕ，ｖ）｜’＝１へ回復することができる。

図３（ｂ）は、撮像装置のノイズ特性に対して、同様に補正強度Ｒ（ｕ，ｖ）を乗算した状態を示している。図３（ｂ）から理解されるように、回復処理により高い周波数成分のノイズが強調されてしまう。そこで、撮影条件に応じて補正強度Ｒ（ｕ，ｖ）を１／｜ＯＴＦ（ｕ，ｖ）｜より小さな値とするとよい。これにより、回復特性を抑制し、｜ＯＴＦ（ｕ，ｖ）｜’を１へ回復する処理に比べて、ノイズを目立ちにくくすることができる。なお、Ｒ（ｕ，ｖ）＝１とした場合には、補正は行われずノイズ強調も生じない。なお、ノイズ特性は撮像条件によって変化するため、撮像条件によって異なる補正強度Ｒ（ｕ，ｖ）を回復処理パラメータ保持部２０３は保持するのが好適である。

図４は、出力サイズを変更不能な出力装置に提供する画像に対する回復処理を説明する図である。ここでは、画像形成装置４に出力する場合（Ｓ２０９）における回復処理の特性を示している。図４（ａ）は、撮像装置の周波数特性に対して、補正強度ｒ（ｕ，ｖ）を乗算し、高い周波数における劣化が補償された特性を示している。図４（ｂ）は、撮像装置のノイズ特性に対して、同様に補正強度ｒ（ｕ，ｖ）を乗算した状態を示している。

ここで、画像処理装置２が、回復処理後の補正画像を、画像表示装置３と画像形成装置４に出力するとする。特に、画像表示装置３の最大出力サイズよりも小さなサイズで出力する状況を想定する。

画像表示装置３は、補正画像を拡大して出力可能であるため、図３（ｂ）に示すように、特に撮像装置１の周波数劣化が大きい高周波部分において逆特性１／｜ＯＴＦ（ｕ，ｖ）｜に比べて、Ｒの値を小さくする必要がある。一方、画像形成装置４は、補正画像の出力画像サイズを変更できない。そのため、図４（ｂ）に示すように、図３における回復特性に比較して高周波部分において補正強度を大きく設定した回復特性による回復処理をおこなう。

図５は、出力装置ごとに観察されるノイズ特性の例を示す図である。図５（ａ）は、画像表示装置３（ディスプレイ）に出力する場合のノイズ特性を示している。図５（ｂ）は、画像形成装置４（プリンタ）に出力する場合のノイズ特性を示している。

画像表示装置３が回復処理後の画像を最大出力倍率ａ倍（たとえば３２倍）で出力する場合、画像の周波数特性は低周波側にシフトする（周波数が１／３２倍になる）。その結果、視覚系の伝達関数（ＶＴＦ：Visual Transfer Function）を考慮すると、観察されるノイズ特性は図５（ａ）の最も右の図に示されるものとなる。画像表示装置３に出力する場合、最初の出力倍率がいくつであるかにかかわらず、ユーザが最大サイズまで拡大して確認することができる。そのため、ここでは、出力倍率にかかわらず、最大表示倍率で観察されるノイズ特性上で、ノイズを評価することを想定するが、他の評価方法を用いてもよい。

一方、画像形成装置４で出力する場合には、画像サイズの変更はできない。そのため、出力されるサイズでＶＴＦを考慮し、観察されるノイズが目立たなければよい。そこで、ここでは、回復処理後のノイズ特性ではなく、観察されるノイズ特性でノイズを評価することを想定するが、他の評価方法を用いてもよい。

＜補正強度Ｒ（ｕ，ｖ）の算出＞
第１実施形態では、Ｓ２０６で用いる補正強度Ｒ（ｕ，ｖ）を、回復後のノイズ量が所与の閾値ｔｎを超えない最大値とすることにより、ノイズ弊害が目立ちにくい回復処理を実現する。

図６は、ノイズを考慮した補正強度Ｒｎ（ｕ，ｖ）の算出を説明するフローチャートである。

Ｓ６０１では、撮像装置１は、ノイズ量算出チャートを撮影する。ノイズ量算出チャートには、たとえば図７に示す均一な濃度パッチを利用できる。図７には単一のパッチしか用意していないが、濃度のノイズ量算出チャートを用意し、その平均値を求めてもよい。また、平均濃度ごとに異なる補正強度Ｒ（ｕ，ｖ）を用意してもよい。

Ｓ６０２では、画像処理装置２は、撮影したノイズチャート画像ｉｎ（ｘ，ｙ）にフーリエ変換を実行し、フーリエ変換後のノイズチャート画像Ｉｎ（ｕ，ｖ）を算出する。

Ｓ６０３では、画像処理装置２は、Ｉｎ（ｕ，ｖ）を以下の数式（３）に従って画像表示装置３の最大出力サイズへと拡大した画像Ｉｎ’（ｕ，ｖ）を取得する。ただし、撮像画像から最大出力サイズへの拡大率をａ、撮像装置のナイキスト周波数をｆｑとする。
Ｉｎ’（ｕ，ｖ）＝Ｉｎ（ｕ／ａ，ｖ／ａ） ｕ／ａ≦ｆｑ，ｕ／ａ≦ｆｑ
Ｉｎ’（ｕ，ｖ）＝０ ｕ／ａ＞ｆｑ，ｕ／ａ＞ｆｑ ・・・（３）

Ｓ６０４では、画像処理装置２は、以下の数式（４）に従って、ＶＴＦを考慮したノイズ量Ｎ（ｕ，ｖ）を算出する。
Ｎ（ｕ，ｖ）＝｜Ｉｎ’（ｕ，ｖ）｜×ＶＴＦ（ｕ，ｖ） ・・・（４）

Ｓ６０５では、画像処理装置２は、数式（５）により、回復後のノイズ量が所与の閾値ｔｎを超えない最大の補正強度Ｒ（ｕ，ｖ）を算出する。ただし、Ｎ（ｕ，ｖ）＝０または、Ｒ（ｕ，ｖ）＜１の場合には、Ｒ（ｕ，ｖ）＝１とする。また、Ｒ（ｕ，ｖ）＞１／｜ＯＴＦ（ｕ，ｖ）｜である大きい場合、Ｒ（ｕ，ｖ）＝１／｜ＯＴＦ（ｕ，ｖ）｜とする。
Ｒ（ｕ，ｖ）＝ｔｎ／Ｎ（ｕ，ｖ） ・・・（５）

想定される全撮影条件について、Ｓ６０１〜Ｓ６０５に従って補正強度Ｒ（ｕ，ｖ）を算出し、回復処理パラメータ保持部２０３に格納しておくことで、Ｓ２０７における回復処理を実施する。

＜補正強度ｒ（ｕ，ｖ）の算出＞
図８に、第１実施形態における補正強度ｒ（ｕ，ｖ）の算出フローを示す。Ｓ８０１〜Ｓ８０２、Ｓ８０４〜Ｓ８０５の動作は、図６に示す補正強度Ｒ（ｕ，ｖ）の算出フローと同様である。

ただし、Ｓ８０３では、画像処理装置２は、複数の倍率で拡大・縮小処理（拡縮処理）をおこなう。前述の通り、画像形成装置４では画像サイズの変更はできない。そのため、出力先が画像形成装置４である場合には、Ｓ２０９において観察されるノイズが目立たない補正強度ｒ（ｕ，ｖ）を用いて回復処理をおこなう。したがって、Ｓ２０９における処理では、出力サイズに応じて異なる補正強度ｒ（ｕ，ｖ）が必要となる。

そこで、Ｓ８０３では、例えば、一定の拡大倍率の間隔（たとえば拡大率１０％から１０％刻み）で出力装置の最大出力サイズまで、拡大・縮小処理した複数の画像を生成する。そして、画像毎にＳ８０１〜Ｓ８０５を実施する。

また、Ｎ（ｕ，ｖ）は撮影条件Ｓｃによって変化する。そこで、想定される全撮影条件について、補正強度ｒ（ｕ，ｖ）を算出し、回復処理パラメータ保持部２０３に格納しておくことで、Ｓ２０９における回復処理を実施する。

以上説明したとおり第１実施形態によれば、出力装置が画像処理装置とは独立して出力サイズを変更可能であるか否かに基づいて、鮮鋭化処理における補正強度を決定する。特に、出力装置が出力サイズを変更可能である場合には第１のパラメータであるＲ（ｕ，ｖ）を補正強度として決定する。一方、出力装置が出力サイズを変更不能である場合には第２のパラメータであるｒ（ｕ，ｖ）を補正強度として決定する。この構成により、出力装置に応じて画像弊害が抑制された鮮鋭化処理を行うことが可能となる。

なお、上述の説明においては、撮像装置の周波数特性およびノイズ特性と、出力サイズから回復強度Ｒ（ｕ，ｖ），ｒ（ｕ，ｖ）を算出している。ただし、更に、出力装置のノイズ特性や周波数特性を考慮して回復強度Ｒ（ｕ，ｖ），ｒ（ｕ，ｖ）を算出してもよい。

（変形例１）
変形例１では、ノイズの量Ｎとリンギングの量Ｌの両方を弊害として考慮し、出力画像上で弊害の目立たない補正強度ｒ（ｕ，ｖ）または補正強度Ｒ（ｕ，ｖ）で処理する画像処理システムについて説明する。なお、リンギングとは、画像内の高コントラスト部分（エッジ部）において不自然な輪郭が発生する現象である。

すなわち、上述の第１実施形態では、回復処理によるノイズの発生（強調）のみを弊害として扱った。そして出力手段の種別に応じて、出力画像上で弊害の目立たない補正強度ｒ（ｕ，ｖ）または補正強度Ｒ（ｕ，ｖ）で処理した。

しかし、回復処理の弊害はノイズの強調だけではなく、他の評価値を用いてもよい。さらに、いくつかの評価項目を組み合わせて回復強度を決定してもよい。他の評価値とは、たとえば、リンギングの量、明るさの変動量、クリッピングによる黒つぶれや白飛びの量などを用いることができる。

なお、ノイズ量を考慮した補正強度ｒｎ（ｕ，ｖ）、および補正強度Ｒｎ（ｕ，ｖ）の算出については、第１実施形態における補正強度Ｒ（ｕ，ｖ）または補正強度ｒ（ｕ，ｖ）の算出法と同様であるため、説明を省略する。

図９は、リンギングを考慮した補正強度ｒｌ（ｕ，ｖ）の算出を説明するフローチャートである。

Ｓ９０１では、撮像装置１は、リンギング量算出チャートｌを撮像し、画像データｉｌ（ｘ，ｙ）を取得する。リンギング量算出チャートｌには、たとえば図１０に示す矩形波チャートを用いることができる。図１０に示す矩形波チャートでは、ｘ方向に周期的に濃度変動し、それと直交するｙ方向については、一定濃度である。図１０には単一パッチしか用意していないが、濃度変化の方向が異なるパッチや、変動周期の異なるパッチを用意し、それぞれについてリンギング量を算出し、平均値や代表値を用いてもよい。

Ｓ９０２では、画像処理装置２は、以下の数式（６）により、ｒｌの値を１〜１／｜ＯＴＦ｜の範囲で変化させる。
ｒｌ（ｕ，ｖ，ａ）＝（１／｜ＯＴＦ（ｕ，ｖ）｜−１）ａ＋１ ・・・（６）

たとえば、変化強度ａを０から１まで、０．１刻みで変化させることで、１〜１／｜ＯＴＦ｜の範囲で変化させた１０点のｒｌ（ｕ，ｖ，ａ）の値を取得できる。

Ｓ９０３では、画像処理装置２は、Ｓ９０２において取得したｒｌ（ｕ，ｖ，ａ）に対して、逆フーリエ変換を行い、実空間上のフィルタｆ（ｘ，ｙ，ａ）を算出する。

Ｓ９０４では、画像処理装置２は、画像データｉｌ（ｘ，ｙ）に対して、ｆ（ｘ，ｙ，ａ）を畳み込み処理することで、回復画像である画像データｉｌ’（ｘ，ｙ，ａ）を算出する。

Ｓ９０５では、画像処理装置２は、回復画像ｉｌ’（ｘ，ｙ，ａ）を出力装置２の出力サイズへ拡大、縮小処理し、画像データｉｌ’’（ｘ，ｙ，ａ）を算出する。拡大縮小には、公知の技術であるニアレストネイバー法や、バイキュービック法を用いることができる。

Ｓ９０６では、画像処理装置２は、画像データｉｌ’’（ｘ，ｙ，ａ）に対して、たとえば、１００ｍｍの距離で観察する場合のＶＴＦに相当するフィルタを畳み込み処理する。これにより、視感度を考慮した回復画像である画像データｉｖ（ｘ，ｙ，ａ）を算出する。

Ｓ９０７では、画像処理装置２は、画像データｉｖ（ｘ，ｙ，ａ）から、リンギング量Ｌ（ａ）を算出する。リンギング量は、以下の数式（７）にしたがって算出する。ここで、撮像画像上のチャートの横幅をｗ［ｐｘ］、高さをｈ［ｐｘ］とする。
数式（７）中、ｉｖ（ｘ，ａ）は、ｉｖ（ｘ，ｙ，ａ）から得られる１次元の画素値データである。たとえばｙ＝ｈ／２についての輝度断面でもよいし、２次元の輝度分布をｙ方向に平均処理した１次元の輝度分布であってもよい。また、ｉｓ（ｘ，ａ）は、ｉｖ（ｘ，ａ）から予想される矩形波パターンである。

Ｓ９０８では、画像処理装置２は、Ｓ９０７で算出されるリンギング量Ｌ（ａ）が、所与の閾値ｔｌを超えない最大の強度変数ａを求め、対応するｒｌ（ｕ，ｖ，ａ）をＳ４０１の撮影条件における補正強度ｒｌ（ｕ，ｖ）とする。

想定される全撮影条件について、補正強度ｒｌ（ｕ，ｖ）を算出し、同条件におけるノイズ量を考慮した補正強度ｒｎ（ｕ，ｖ）と比較をおこなう。ｒｌ（ｕ，ｖ）≦ｒｎ（ｕ，ｖ）であれば、ｒｌ（ｕ，ｖ）をｒ（ｕ，ｖ）として回復処理パラメータ保持部２０３に格納する。また、ｒｌ（ｕ，ｖ）≧ｒｎ（ｕ，ｖ）であれば、ｒｎ（ｕ，ｖ）をｒ（ｕ，ｖ）として回復処理パラメータ保持部２０３に格納する。

このようなｒ（ｕ，ｖ）をＳ２０９で用いることで、ノイズの量ｎとリンギングの量ｌの両方の弊害が低減された補正画像を生成することが可能となる。

また、補正強度Ｒ（ｕ，ｖ）については、Ｓ９０５における拡大を出力装置の最大出力サイズへ拡大し、Ｒｎ（ｕ，ｖ）およびＲｌ（ｕ，ｖ）を算出し、同様の比較を行う。Ｒｌ（ｕ，ｖ）≦Ｒｎ（ｕ，ｖ）であれば、Ｒｌ（ｕ，ｖ）をＲ（ｕ，ｖ）として回復処理パラメータ保持部２０３に格納する。また、Ｒｌ（ｕ，ｖ）≧Ｒｎ（ｕ，ｖ）であれば、Ｒｎ（ｕ，ｖ）をＲ（ｕ，ｖ）として回復処理パラメータ保持部２０３に格納する。

このようなＲ（ｕ，ｖ）をＳ２０９で用いることで、ノイズの量ｎとリンギングの量ｌの両方の弊害が低減された補正画像を生成することが可能となる。

図１１は、リンギング量の算出方法を説明する図である。図１１（ａ）は、リンギング量算出チャートｌ上のｘ方向の輝度分布ｌ（ｘ）の一部を示している。図１１（ｂ）は、Ｓ９０１において撮像されたリンギング量算出チャートの画素値ｉｌ（ｘ，ｙ）上のｘ方向の画素値分布ｉｌ（ｘ）の一部を示している。

図１１（ｃ１）は、ｉｌ（ｘ，ｙ）に対し、リンギングが発生する回復フィルタｆｙ（ｘ，ｙ，ａ）を用い、Ｓ９０４〜Ｓ９０６の処理を行った場合の、画素値ｉｖｙ（ｘ，ａ）の一部を示す。図１１（ｃ２）は、リンギングが発生しない回復フィルタｆｎ（ｘ，ｙ，ａ）で回復処理を行った場合の画素値ｉｖｎ（ｘ，ａ）の一部を示す。

図１１（ｄ１）の黒で塗りつぶされた部分が、数式（７）により算出されるｉｖｙ（ｘ，ａ）のリンギング量Ｌｙ（ａ）である。塗りつぶし部分は、ｉｖｙ（ｘ，ａ）と、ｉｖｙ（ｘ，ａ）から予想される矩形波ｉｓ（ｆｑ，Ａｖｅ，Ａｍ）に囲まれた領域である。ただし、矩形波ｉｓの空間周波数をｆｑ、平均値をＡｖｅ、振幅をＡｍとする。矩形波ｉｓの変数であるｆｑ、Ａｖｅ、Ａｍを最適化し、最も誤差が小さい矩形波ｉｓ（ｆｑ，Ａｖｅ，Ａｍ）をｉｖｙ（ｘ，ａ）から予想される矩形波ｉｓとする。最適化には、たとえば最小二乗法などの公知の手法を用いることができる。

図１１（ｃ２）（ｄ２）に示すように、ノイズの少ない好適な環境下で、リンギングが発生しない回復フィルタｆｎ（ｘ，ｙ，ａ）で回復処理を行った場合には、リンギング量は０に近くなる。

なお、リンギング、ノイズ量以外に、クリッピングによる黒潰れ白飛びの量を考慮して回復処理をおこなってもよい。その場合には、フィルタリング前後で最大画素値、最小画素値となった画素の面積率を黒潰れ白飛びの量として用いることができる。たとえば２５６階調（８ｂｉｔ）画像にフィルタリングする場合、フィルタリング後に画素値が０または２５５となる画素数Ｃａを取得する。さらに、Ｃａから、フィルタリング前から０または２５５であった画素数Ｃｂから、以下の数式（８）によって黒潰れ白飛び量Ｃを算出する。ただし、ｘ、ｙはそれぞれ画像の高さ［ｐｘ］と横幅［ｐｘ］とする。
Ｃ＝（Ｃａ−Ｃｂ）／（ｘ×ｙ） ・・・（８）

さらに、明るさの変動量を考慮して、回復処理を行ってもよい。明るさの変動量には、補正前の画像全体の画素平均値と、補正後の画素平均値の差の絶対値を用いることができる。

なお、黒潰れ及び白飛びの量、明るさの変動量の算出には、たとえば図１０に示したリンギング量算出チャートを用いることができる。画像回復処理には、ノイズ量、リンギング量、黒潰れ白飛び量、明るさ低下量、がそれぞれ所与の閾値以下となる補正強度ｒ（ｕ，ｖ）およびＲ（ｕ，ｖ）を用いることができる。

（変形例２）
変形例２では、出力装置から出力条件Ｏｃを不完全にしか取得できない場合の好適な処理について述べる。

第１実施形態におけるフローチャート（図２）では、出力条件Ｏｃを出力装置から取得可能であるとした。しかしながら、必ずしも出力条件Ｏｃを取得できるとは限らない。特に、補正後の画像をただちに出力せずに画像ファイルとして記憶媒体に保存する場合、出力条件Ｏｃを取得できない場合がある。また、通信障害や出力条件Ｏｃをやり取りできない出力機器をシステムに組み込む場合にも、出力条件Ｏｃを取得できない場合がある。

図１２は、変形例２における画像処理を説明するフローチャートである。第１実施形態（図２）と同様の処理については詳細な説明を省略する。Ｓ１２０１〜１２０４については、Ｓ２０１〜２０４と同様である。

Ｓ１２０５では、画像処理装置２は、出力条件Ｏｃとして出力後の画像サイズの変更可否に関する情報Ｐを取得できたかどうかを判断する。変更可否情報を取得可能である場合、Ｓ１２０６へ進み、Ｓ２０５と同様に変更可否情報Ｐに基づいて処理を変える。一方、取得不可能である場合、Ｓ１２０６をスキップし、Ｓ１２１０へと進む。

Ｓ１２０６では、画像処理装置２は、変更可否情報Ｐに基づき、サイズ変更不可能である場合にはＳ１２０７に進む。一方、サイズ変更可能である場合には、Ｓ１２１０へ進む。

Ｓ１２０７では、画像処理装置２は、Ｓ１２０４において出力条件Ｏｃとして画像の「実出力サイズ」の情報を取得できたかどうかを判断する。実出力サイズを取得できた場合、第１実施形態におけるＳ２０８およびＳ２０９と同様に、取得した実出力サイズで弊害が目立ちにくい補正強度ｒ（ｕ，ｖ）を取得し、補正処理を実行する。一方、実出力サイズを取得不可能と判断された場合、Ｓ１２１０に進む。

Ｓ１２１０では、画像処理装置２は、Ｓ１２０４において出力条件Ｏｃとして出力装置２における画像の「最大出力サイズ」の情報を取得できたかどうかを判断する。最大出力サイズを取得できた場合、Ｓ１２１１、Ｓ１２１２に進み、Ｓ２０６、Ｓ２０７と同様に、最大出力サイズで弊害が目立ちにくい補正強度Ｒ（ｕ，ｖ）を取得し、補正処理を実行する。一方、Ｓ１２１０において、最大出力サイズを取得できない場合には、Ｓ１２１３に進む。

Ｓ１２１３では、画像処理装置２は、弊害の評価値が最も大きい周波数帯が、ＶＴＦが最も高い周波数帯と一致する出力サイズで弊害が目立ちにくい補正強度Ｒ’（ｕ，ｖ）を取得し、Ｓ１０１４において補正強度Ｒ’（ｕ，ｖ）で補正処理を実行する。なお、Ｓ１２１３、１２１４は必ずしも実施する必要はなく、Ｓ１２１０において最大出力サイズを取得不可能である場合には、回復処理を行わない構成としてもよい。

Ｓ１２１５では、画像処理装置２は、Ｓ２１０と同様に逆フーリエ変換により、補正後の実画像ｉ’を取得する
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮像装置； ２ 画像処理装置； ３ 画像表示装置； ４ 画像形成装置； ２０２ 画像回復処理部

Claims (11)

1. 画像処理装置であって、
   入力画像に対して鮮鋭化処理を実行して補正画像を生成する画像処理手段と、
   前記補正画像を出力する出力装置の能力情報を取得する取得手段と、
   前記能力情報に基づいて前記鮮鋭化処理における補正強度を決定する決定手段と、
   を有し、
   前記能力情報は、前記出力装置が前記画像処理装置とは独立して出力サイズを変更可能であるか否かを示す可否情報を含み、
   前記決定手段は、前記可否情報に基づいて前記補正強度を決定する
   ことを特徴とする画像処理装置。
2. 前記決定手段は、前記可否情報が、前記出力装置が出力サイズを変更可能であることを示す場合には第１のパラメータを前記補正強度として決定し、前記可否情報が、前記出力装置が出力サイズを変更不能であることを示す場合には第２のパラメータを前記補正強度として決定し、
   前記第１のパラメータは、少なくとも所定の周波数より高い周波数の領域について前記第２のパラメータより補正強度が弱い
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記可否情報が利用できない場合、前記第１のパラメータを前記補正強度として決定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、前記能力情報として、前記出力装置が画像を出力する際の実出力サイズに関する情報を更に取得し、
   前記決定手段は、前記第２のパラメータを、前記実出力サイズで出力した場合における前記鮮鋭化処理による所定の弊害が所与の閾値を超えないように決定する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記取得手段は、前記能力情報として、前記出力装置が画像の出力に利用可能な最大出力サイズに関する情報を更に取得し、
   前記決定手段は、前記第１のパラメータを、前記最大出力サイズで出力した場合における前記鮮鋭化処理による所定の弊害が所与の閾値を超えないように決定する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
6. 前記所定の弊害は、前記補正画像におけるノイズ量、前記補正画像におけるリンギング量、前記補正画像における黒潰れ及び白飛びの量、前記補正画像における前記入力画像からの明るさ変動量、の１以上を含む
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記取得手段は、ユーザからの操作入力を介して前記能力情報を受け付ける
   ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記入力画像は、撮像装置により撮像された撮像画像であり、
   前記鮮鋭化処理は、前記撮像装置に起因する画質劣化を補償するための回復処理を含む
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記出力装置は、記録媒体に画像を形成出力する画像形成装置、又は、表示部に画像を表示出力する画像表示装置である
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 入力画像に対して鮮鋭化処理を実行して補正画像を生成する画像処理部を有する画像処理装置における制御方法であって、
    前記補正画像を出力する出力装置の能力情報を取得する取得工程と、
    前記能力情報に基づいて前記鮮鋭化処理における補正強度を決定する決定工程と、
    前記決定された補正強度に基づく前記画像処理部による鮮鋭化処理により得られた前記補正画像を前記出力装置に提供する提供工程と、
    を含み、
    前記能力情報は、前記出力装置が前記画像処理装置とは独立して出力サイズを変更可能であるか否かを示す可否情報を含み、
    前記決定工程では、前記可否情報に基づいて前記補正強度を決定する
    ことを特徴とする画像処理装置の制御方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。