JP2004200790A - 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 - Google Patents

Abstract

【課題】圧縮符号化処理後に復号化処理が施された画像の画像劣化に対する補正機能の向上を図る。
【解決手段】画像調整処理部７０４は、圧縮符号化処理後に復号化処理が施された画像信号を輝度信号と色差信号に変換し、輝度信号と色差信号の一方又は双方に対して、多重解像度変換（例えば、二項ウェーブレット変換）を施すことによって、圧縮符号化に起因する画像劣化の箇所を抽出し、抽出された画像劣化画素に隣接する非画像劣化画素の高周波帯域成分信号を用いて、その画像劣化画素の高周波帯域成分信号の信号値の１階微分値が連続するように、画像劣化を補正する処理をする。
【選択図】図１２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置に関する。
【０００２】
【従来の技術】
近年、デジタルスチルカメラや銀塩カメラで撮像したフィルム画像をデジタル画像データとして提供するフィルムデジタイズサービスが普及してきる。これに伴い、一般ユーザがデジタル画像データを扱う機会が増えてきており、例えば、ＣＤ−Ｒ等の記録媒体に記録、保存してある画像データを、ディスプレイモニタに表示して鑑賞したり、手持ちのプリンタで出力したり、銀塩プリントの出力を店舗に依頼したりと、複数の出力媒体を介して出力して鑑賞することが可能になっている。また、画像データをインターネット上のホームページに掲載したりすることも可能になっている。
【０００３】
このような背景から、画像の高画質化が要求されるようになり、デジタルカメラ等の撮影画像の画素数が増大してきている。このように画像データの画素数が大きくなると、画像データの容量は増大し、インターネット等を介して画像データのやりとりをする際の通信負荷が大きくなる。このため、画像データに対して圧縮符号化処理を施すことが一般化している。
【０００４】
一般に、画像データに対して高い圧縮率で圧縮符号化処理が施された後に復号化処理が施された画像には、ブロックノイズやモスキートノイズなど、圧縮符号化に起因する画像劣化が生じることが知られている。このため、従来から、このような画像劣化を抽出して補正する画像処理技術が提案されている（例えば、特許文献１及び特許文献２参照。）。
【０００５】
特許文献１には、圧縮符号化処理により画質劣化が生じた画像信号をフィルタリングによって処理することにより画質向上を図る技術が提案されている。この特許文献１では、画質劣化が生じた画像信号を複数の正方ブロックに分割し、分割された画像領域内の濃度変化がなだらかであるか急峻であるか否かを判定し、濃度変化がなだらかである場合をブロックノイズ、濃度変化が急峻である場合をモスキートノイズとして抽出し、抽出されたノイズに対して平滑化処理を施している。
【０００６】
また、特許文献２では、圧縮符号化処理により発生したブロックノイズを除去するために、劣化された画像にウェーブレット変換を施すことによってエッジ部を検出し、ブロックノイズを抽出する技術が提案されている。特許文献２では、"Characterization of signals from multiscale edges" by S.Mallat and S.Zhong, IEEE Trans. Pattern Anal. Machine Intel. 14 710 (1992)に記載されているウェーブレット変換を使用することによって、画像中のエッジを抽出し、抽出したノイズに補正処理を施している。
【０００７】
【特許文献１】
特開平９−１３０７９７号公報
【特許文献２】
米国特許第６３８９１７７号明細書
【０００８】
【発明が解決しようとする課題】
しかしながら、上述の技術にあっては、以下のような問題があった。
特許文献１に開示された技術では、抽出されたノイズに対し、正方ブロック内で平滑化処理を施しているために、画像劣化の補正処理後に、複数のブロックをまたぐ被写体や、広範囲にグラデーションをもって広がる青空等の被写体において、不連続性を誘発することが考慮されていなかった。従って、画像劣化が補正された画像に不自然さが残ってしまうという問題があった。
【０００９】
また、特許文献２に開示された技術では、圧縮符号化に起因するノイズやアーティファクトを抽出する際、ノイズの発生する振る舞いが、輝度と色差で異なることや、圧縮符号化処理の種類や圧縮率によって、発生するノイズの特性が異なることが考慮されていないため、画像劣化が十分に補正されているとは言えなかった。また、特許文献２の技術では、圧縮符号化処理の原理を利用して、数画素×数画素の大きさのブロック内で画像劣化の補正処理を行っているため、特許文献１と同様に、複数のブロックをまたぐ被写体や、広範囲にグラデーションをもって広がる青空等の被写体において、不連続性を誘発することが考慮されていなかった。
【００１０】
本発明の課題は、圧縮符号化処理後に復号化処理が施された画像の画像劣化に対する補正機能の向上を図ることである。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、圧縮符号化処理後に復号化処理が施された画像を示す画像信号を取得する画像信号取得工程と、前記画像信号取得工程において取得された画像信号を、輝度信号と色差信号に変換する変換工程と、前記画像信号取得工程において取得された画像信号から、画像劣化を抽出する抽出工程と、前記抽出工程における抽出結果に基づいて、前記変換工程において変換された輝度信号と色差信号の一方又は双方の信号値の１階微分値が連続するように、前記復号化処理が施された画像を補正する補正工程と、を含むことを特徴としている。
【００１２】
請求項８に記載の発明は、圧縮符号化処理後に復号化処理が施された画像を示す画像信号を取得する画像信号取得部と、前記画像信号取得部により取得された画像信号を、輝度信号と色差信号に変換する変換部と、前記画像信号取得部により取得された画像信号から、画像劣化を抽出する抽出部と、前記抽出部による抽出結果に基づいて、前記変換部により変換された輝度信号と色差信号の一方又は双方の信号値の１階微分値が連続するように、前記復号化処理が施された画像を補正する補正部と、を備えることを特徴としている。
【００１３】
請求項１５に記載の発明は、画像処理を実行するためのコンピュータに、圧縮符号化処理後に復号化処理が施された画像を示す画像信号を取得させる画像信号取得機能と、前記画像信号取得機能において取得された画像信号を、輝度信号と色差信号に変換させる変換機能と、前記画像信号取得機能において取得された画像信号から、画像劣化を抽出させる抽出機能と、前記抽出機能における抽出結果に基づいて、前記変換機能において変換された輝度信号と色差信号の一方又は双方の信号値の１階微分値が連続するように、前記復号化処理が施された画像を補正させる補正機能と、を実現させる。
【００１４】
請求項２２に記載の発明は、圧縮符号化処理後に復号化処理が施された画像を示す画像信号を取得する画像信号取得部と、前記画像信号取得部により取得された画像信号を、輝度信号と色差信号に変換する変換部と、前記画像信号取得部により取得された画像信号から、画像劣化を抽出する抽出部と、前記抽出部による抽出結果に基づいて、前記変換部により変換された輝度信号と色差信号の一方又は双方の信号値の１階微分値が連続するように、前記復号化処理が施された画像を補正する補正部と、前記補正部により補正された画像を表す画像信号を出力して出力媒体に記録する画像記録部と、を備えることを特徴としている。
【００１５】
請求項１、８、１５、２２に記載の発明によれば、圧縮符号化処理後に復号化処理が施された画像信号を輝度信号と色差信号に変換し、これらの一方又は双方の信号値の１階微分値が連続するように画像劣化を補正することにより、画像劣化の補正機能が向上し、違和感のない良好な補正画像を得ることができる。
【００１６】
請求項２に記載の発明は、請求項に１記載の画像処理方法において、前記抽出工程において、前記変換工程において変換された輝度信号と色差信号の一方又は双方に対して多重解像度変換を施すことにより、前記画像劣化が抽出されることを特徴としている。
【００１７】
請求項９に記載の発明は、請求項８に記載の画像処理装置において、前記変換部により変換された輝度信号と色差信号の一方又は双方に対して多重解像度変換を施すことにより、前記画像劣化を抽出することを特徴としている。
【００１８】
請求項１６に記載の発明は、請求項１５に記載の画像処理プログラムにおいて、前記抽出機能を実現させる際に、前記変換機能において変換された輝度信号と色差信号の一方又は双方に対して多重解像度変換を施すことにより、前記画像劣化を抽出させることを特徴としている。
【００１９】
請求項２３に記載の発明は、請求項２２に記載の画像記録装置において、前記変換部により変換された輝度信号と色差信号の一方又は双方に対して多重解像度変換を施すことにより、前記画像劣化を抽出することを特徴としている。
【００２０】
請求項２、９、１６、２３に記載の発明によれば、輝度信号と色差信号の一方又は双方に多重解像度変換を施すことによって画像劣化を抽出することにより、特性の異なる画像劣化（ブロックノイズ、モスキートノイズ、リンギング等）であっても十分に補正することができる。
【００２１】
請求項３に記載の発明は、請求項２に記載の画像処理方法において、前記多重解像度変換は、ウェーブレット変換であることを特徴としている。
【００２２】
請求項１０に記載の発明は、請求項９に記載の画像処理装置において、前記ウェーブレット変換は、二項ウェーブレット変換であることを特徴としている。
【００２３】
請求項１７に記載の発明は、請求項１６に記載の画像処理プログラムにおいて、前記多重解像度変換は、ウェーブレット変換であることを特徴としている。
【００２４】
請求項２４に記載の発明は、請求項２３に記載の画像記録装置において、前記多重解像度変換は、ウェーブレット変換であることを特徴としている。
【００２５】
請求項３、１０、１７、２４に記載の発明によれば、復号化処理が施された画像の輝度信号と色差信号の一方又は双方にウェーブレット変換を施すことにより、特性の異なる画像劣化を十分に補正することができる。また、自然な質感を有する補正画像を得ることができる。
【００２６】
請求項４に記載の発明は、請求項３に記載の画像処理方法において、前記ウェーブレット変換は、二項ウェーブレット変換であることを特徴としている。
【００２７】
請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、前記ウェーブレット変換は、二項ウェーブレット変換であることを特徴としている。
【００２８】
請求項１８に記載の発明は、請求項１７に記載の画像処理プログラムにおいて、前記ウェーブレット変換は、二項ウェーブレット変換であることを特徴としている。
【００２９】
請求項２５に記載の発明は、請求項２４に記載の画像記録装置において、前記ウェーブレット変換は、二項ウェーブレット変換であることを特徴としている。
【００３０】
請求項４、１１、１８、２５に記載の発明によれば、復号化処理が施された画像の輝度信号と色差信号の一方又は双方に、二項ウェーブレット変換を施すことにより、双直交ウェーブレット変換等の他のウェーブレット変換を適用した場合より、一層自然な質感を有する補正画像を得ることができる。特に、青空等の明るさの変化がなめらかである同系色の画像や、アップで撮影された人物の肌部の画像や、グラデーションが一方向に向いている画像の補正に効果的である。
【００３１】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理方法において、前記変換工程において、前記圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式が決定されることを特徴としている。
【００３２】
請求項１２に記載の発明は、請求項８〜１１の何れか一項に記載の画像処理装置において、前記変換部は、前記圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式を決定することを特徴としている。
【００３３】
請求項１９に記載の発明は、請求項１５〜１８の何れか一項に記載の画像処理プログラムにおいて、前記変換機能を実現させる際に、前記圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式を決定させることを特徴としている。
【００３４】
請求項２６に記載の発明は、請求項２２〜２５の何れか一項に記載の画像記録装置において、前記変換部は、前記圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式を決定することを特徴としている。
【００３５】
請求項５、１２、１９、２６に記載の発明によれば、圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式を決定することにより、画像劣化が生じた表色系と同一の表色系で補正処理を施すことが可能になり、補正効果が向上し、より自然な補正画像を得ることができる。
【００３６】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理方法において、前記圧縮符号化処理の内容に応じて補正処理の内容が決定されることを特徴としている。
【００３７】
請求項１３に記載の発明は、請求項８〜１２の何れか一項に記載の画像処理装置において、前記補正部は、前記圧縮符号化処理の内容に応じて補正処理の内容を決定することを特徴としている。
【００３８】
請求項２０に記載の発明は、請求項１５〜１９の何れか一項に記載の画像処理プログラムにおいて、前記補正機能を実現させる際に、前記圧縮符号化処理の内容に応じて補正処理の内容を決定させることを特徴としている。
【００３９】
請求項２７に記載の発明は、請求項２２〜２６の何れか一項に記載の画像記録装置において、前記補正部は、前記圧縮符号化処理の内容に応じて補正処理の内容を決定することを特徴としている。
【００４０】
請求項６、１３、２０、２７に記載の発明によれば、圧縮符号化処理の原理や圧縮符号化処理の条件によって、圧縮符号化処理に起因する画像劣化の発生強度や画像中の発生場所や特性が変化することから、圧縮符号化処理の内容に応じて画像劣化の補正処理の内容を変更することにより、良好な補正画像を得ることができる。
【００４１】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の画像処理方法において、前記補正工程において、補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて補正処理の内容が決定されることを特徴としている。
【００４２】
請求項１４に記載の発明は、請求項８〜１３の何れか一項に記載の画像処理装置において、前記補正部は、補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて補正処理の内容を決定することを特徴としている。
【００４３】
請求項２１に記載の発明は、請求項１５〜２０の何れか一項に記載の画像処理プログラムにおいて、前記補正機能を実現させる際に、前記補正機能における補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて補正処理の内容を決定させることを特徴としている。
【００４４】
請求項２８に記載の発明は、請求項２２〜２７の何れか一項に記載の画像記録装置において、前記補正部は、前記補正部による補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて補正処理の内容を決定することを特徴としている。
【００４５】
請求項７、１４、２１、２８に記載の発明によれば、補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて、画像劣化の補正処理の内容が決定されることにより、効率的に画像劣化を補正することができる。
【００４６】
次に、本発明において使用される語句について詳細に説明する。
【００４７】
本願明細書の記載において「圧縮符号化」とは、カラー画像を圧縮することを示し、例えば、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式、ＪＰＥＧ２０００方式等の圧縮技術を示す。
【００４８】
また、「画像劣化」とは、圧縮符号化処理後に復号化処理が施された画像に、圧縮符号化処理のアルゴリズムに起因する劣化が生じることを示す。例えば、ＪＰＥＧ方式等の圧縮符号化後に復号化処理が施された画像には、一般に、ブロックノイズと呼ばれる、画像一面に格子状にエッジ状の画像劣化が生じることが知られている。また、ＪＰＥＧ方式での圧縮率を高くしてファイル容量を小さくしたとき、高域成分を含んだ映像やエッジ部分に、モスキートノイズと呼ばれる画像劣化が生じる。
【００４９】
更に、「画像信号を、輝度信号と色差信号に変換する」操作とは、例えば、画像を表すＲＧＢの３色の強度信号を、当業者間で公知のＹＩＱ基底、ＨＳＶ基底、ＹＵＶ基底、ＹＣｒＣｂ基底等に変換するか、ｓＲＧＢやＮＴＳＣなどに規格に基づいて、ＣＩＥ1931表色系のＸＹＺ基底、ＣＩＥ1976の勧告するＬ*ａ*ｂ*基底、Ｌ*ｕ*ｖ*基底等に変換する操作を意味する。本発明における輝度信号と色差信号の分離は色彩学的に完全に緻密な変換でなくてもよく、例えば、特開昭６３−２６７８３号公報の実施例に見られるようなＲＧＢの平均値を輝度信号とし、これに直交する２軸を色差信号とするような変換も含まれる。
【００５０】
また、本願明細書の記載において「１階微分値が連続する」とは、画像信号（輝度信号、色差信号）の画素間における信号強度の変化（傾き）が、滑らかに連続的になる状態をいう。
【００５１】
ここで、「輝度信号と色差信号の一方又は双方の信号値の１階微分値が連続するように」復号化された画像を補正するのは、圧縮符号化に起因する画像劣化の発生状況が、輝度信号と色差信号で異なっていることによる。例えば、圧縮符号化処理の種類や条件、画像の構成（被写体）によって、ブロックノイズの発生の様子（例えば、格子の大きさ、更には１つの格子の中に更に小さい格子状のノイズが重畳する様子）は変化し、その変化の様子も輝度信号と色差信号で異なっている。
【００５２】
例えば、輝度信号では、８画素×８画素のブロックノイズが目立ち、色差信号では、１６画素×１６画素のブロックノイズが目立っていたものが、圧縮符号化処理の処理条件を変更することで、色差信号に生ずるブロックノイズのみ格子の大きさが８画素×８画素に変換するなど、輝度信号と色差信号で異なる。
【００５３】
輝度信号と色差信号の一方又は双方の信号値の１階微分値を連続させるには、以下の手法を採用する。例えば、ブロックノイズが抽出された場合、輝度信号、色差信号毎に、抽出された画像劣化画素の周辺の非画像劣化画素の信号値を用いて、画像劣化画素の信号値の１階微分値が連続するように、各画像劣化画素に対する補間処理をする。
【００５４】
モスキートノイズやリンギングが抽出された場合、これらの画像劣化が画像中の急峻な濃度変化を有するエッジの近傍に発生することから、画像劣化画素の信号値の１階微分値を、エッジの急峻さに応じて補正するようにしてもよい。特に、色差信号に関しては、画像劣化画素の周辺の非画像劣化画像の信号値を用いて、画像劣化画素の信号値の１階微分値が連続するように、各画像劣化画素に対する補間処理をする。輝度信号に関しては、画像劣化画素の信号値の１階微分値を０にするか、エッジの急峻さに応じて画像劣化画素の信号値の１階微分値を減衰させるようにすればよい。なお、エッジを検出する方法は、ソベール（Ｓｏｂｅｌ）フィルタやラプラシアンフィルタを用いるなど、当業界で広く知られている手法をとることが可能である。
【００５５】
なお、１階微分値を連続させる処理を、輝度信号と色差信号の一方に適用するか双方に適用するかは、補正を施す対象となる画像劣化の特性に応じて選択されることが好ましい。
【００５６】
請求項２、９、１６、２３に記載された「多重解像度変換」とは、ウェーブレット変換、完全再構成フィルタバンク、ラプラシアンピラミッド等に代表される手法の総称をいい、１回の変換操作により入力信号を低周波帯域成分信号と高周波帯域成分信号に分解し、得られた低周波帯域成分信号に対して同様の変換操作を行い、周波数帯域が異なる複数の信号からなる多重解像度信号を得るものである。得られた多重解像度信号を加工せずにそのまま逆多重解像度変換した場合、元の信号が再構成される。こうした手法については、例えば、“Wavelet and Filter Banks" by G. Strang & T. Nguyen, Wellesley-Cambridge Press（邦訳 「ウェーブレット解析とフィルタバンク」, G.ストラング・T.グエン共著, 培風館）に詳細な解説がなされている。
【００５７】
本発明において、多重解像度変換は、画像劣化の抽出及び補正のために用いられる。具体的には、輝度信号と色差信号の一方又は双方に対して多重解像度変換を施すことにより、信号中の高周波帯域成分を算出し、算出された高周波帯域成分から画像劣化を抽出する。そして、抽出された画像劣化画素の高周波帯域信号を、画像劣化画素に隣接する非画像劣化画素の高周波帯域成分を用いて補間する処理を行う。
【００５８】
次に、請求項３、１０、１７、２４に記載されたウェーブレット変換の概要を説明する。ウェーブレット変換とは、図１に例示されるような有限範囲で振動するウェーブレット関数（下記式（１））を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数〈ｆ、ψ_a,b〉を、下記式（２）のように求めることにより、下記式（３）で示されるウェーブレット関数の総和に分解する変換である。
【数１】

【数２】

【数３】

【００５９】
上記式（１）〜（３）において、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図１に例示するように、スケールａの値が大きいほどウェーブレット関数ψ_a,b（ｘ）の周波数は小さくなり、位置ｂの値に従ってウェーブレット関数ψ_a,b（ｘ）が振動する位置が移動する。従って、上記式（３）は、入力信号ｆ（ｘ）を、種々のスケールと位置を有するウェーブレット関数ψ_a,b（ｘ）の総和に分解することを意味している。
【００６０】
上述のような変換を可能にするウェーブレット関数は多くのものが知られているが、画像処理分野では計算が高速な直交ウェーブレット（orthogonal wavelet）変換、双直交ウェーブレット(biorthogonal wavelet)変換が広く用いられている。以下、直交ウェーブレット・双直交ウェーブレットの変換計算の概要を説明する。
【００６１】
直交ウェーブレット変換及び双直交ウェーブレット変換のウェーブレット関数は、下記式（４）のように定義される。
【数４】

但し、ｉは自然数である。
【００６２】
式（４）と式（１）を比べると、直交ウェーブレット変換、双直交ウェーブレット変換においては、スケールａの値が２のｉ乗で離散的に定義され、また位置ｂの最小移動単位が２ⁱで離散的に定義されていることがわかる。このｉの値はレベルと呼ばれる。
【００６３】
レベルｉを有限な上限Ｎまでに制限すると、入力信号ｆ（ｘ）は、下記式（５）〜（７）のように表される。
【数５】

【数６】

【数７】

【００６４】
式（５）の第２項は、レベル１のウェーブレット関数ψ_1,j（ｘ）の総和で表せない残差の低周波数帯域成分を、レベル１のスケーリング関数φ_1,j（ｘ）の総和で表したものである。スケーリング関数はウェーブレット関数に対応して適切なものが用いられる（段落番号００５６に記載の文献を参照）。式（５）に示すレベル１のウェーブレット変換によって、入力信号ｆ（ｘ）＝Ｓ₀は、レベル１の高周波数帯域成分Ｗ₁と低周波数帯域成分Ｓ₁に信号分解されたことになる。
【００６５】
ウェーブレット関数ψ_i,j（ｘ）の最小移動単位は２ⁱゆえ、入力信号Ｓ₀の信号量に対して、高周波数帯域成分Ｗ₁と低周波数帯域成分Ｓ₁の信号量は各々１／２となり、高周波数帯域成分Ｗ₁と低周波数帯域成分Ｓ₁の信号量の総和は、入力信号Ｓ₀の信号量と等しくなる。レベル１の低周波数帯域成分Ｓ₁は、式（６）でレベル２の高周波数帯域成分Ｗ₂と低周波数帯域成分Ｓ₂に分解され、以下同様にレベルＮ迄の変換を繰り返すことで、入力信号Ｓ₀は、式（７）に示すように、レベル１〜Ｎの高周波数帯域成分の総和と、レベルＮの低周波数帯域成分の和に分解される。
【００６６】
ここで、式（６）で示す１レベルのウェーブレット変換は、図２に示すようなフィルタ処理で計算できることが知られている。図２において、ＬＰＦはローパスフィルタ、ＨＰＦはハイパスフィルタを示している。ローパスフィルタＬＰＦとハイパスフィルタＨＰＦのフィルタ係数は、ウェーブレット関数に応じて適切に定められる（段落番号００５６に記載の文献を参照）。図２において、２↓は、信号を１つおきに間引くダウンサンプリングを示す。
【００６７】
図２に示すように、入力信号Ｓ_n-1を、ローパスフィルタＬＰＦとハイパスフィルタＨＰＦで処理して、信号を１つおきに間引くことにより、入力信号Ｓ_n-1を、高周波帯域成分Ｗ_nと低周波帯域成分Ｓ_nに分解することができる。
【００６８】
画像信号のような２次元信号における１レベルのウェーブレット変換は、図３に示すようなフィルタ処理で計算される。図３において、ＬＰＦx、ＨＰＦx、２↓xはｘ方向の処理を示し、ＬＰＦy、ＨＰＦy、２↓yは、y方向の処理を示す。まず、入力信号Ｓ_n-1をｘ方向のローパスフィルタＬＰＦx、ハイパスフィルタＨＰＦｘによりフィルタ処理を行い、ｘ方向にダウンサンプリングする。これにより、入力信号Ｓ_n-1は、低周波帯域成分ＳＸ_nと高周波帯域成分ＷＸ_nに分解される。低周波帯域成分ＳＸ_nと高周波帯域成分ＷＸ_nの各々に対して、ｙ方向のローパスフィルタＬＰＦy、ハイパスフィルタＨＰＦyによるフィルタ処理を行い、ｙ方向にダウンサンプリングする。
【００６９】
この１レベルのウェーブレット変換により、低周波数帯域成分Ｓ_n-1は、３つの高周波数帯域成分Ｗｖ_n、Ｗｈ_n、Ｗｄ_nと、１つの低周波数帯域成分Ｓ_nに分解される。分解で生成されるＷｖ_n、Ｗｈ_n、Ｗｄ_n、Ｓ_nの各々の信号量は、分解前のＳ_n-1に比べて縦横ともに１／２となるため、分解後の４成分の信号量の総和は、分解前のＳ_n-1の信号と等しくなる。
【００７０】
入力信号Ｓ₀が３レベルのウェーブレット変換で信号分解される過程を模式的に図４に示す。図４に示すように、レベル数が大きくなるにつれて、ダウンサンプリングにより画像信号が間引かれ、分解画像が小さくなっていくことがわかる。
【００７１】
また、図５に示すように、分解によって生成したＷｖ_n, Ｗｈ_n, Ｗｄ_n, Ｓ_nに対し、フィルタ処理で計算されるウェーブレット逆変換を施すことにより、分解前の信号Ｓ_n-1を完全再構成できることが知られている。図５において、ＬＰＦ'は、逆変換用のローパスフィルタ、ＨＰＦ'は、逆変換用のハイパスフィルタを示している。また、２↑は、信号に１つおきにゼロを挿入するアップサンプリング処理を示す。また、ＬＰＦ'x、ＨＰＦ'x、２↑xは、ｘ方向の処理を示し、ＬＰＦ'y、ＨＰＦ'y、２↑yはy方向の処理を示す。
【００７２】
図５に示すように、Ｓ_nをｙ方向にアップサンプリング処理及びローパスフィルタＬＰＦ'_yによるフィルタ処理を施すことにより得られる信号と、Ｗｈ_nをｙ方向におけるアップサンプリング処理及びハイパスフィルタＨＰＦ'_yによるフィルタ処理を施すことにより得られる信号とを加算してＳＸ_nを得る。これと同様にして、Ｗｖ_nとＷｄ_nからＷＸ_nを生成する。
【００７３】
さらに、ＳＸ_nをｘ方向においてアップサンプリング処理及びローパスフィルタＬＰＦ'_xによるフィルタ処理を施すことにより得られる信号と、ＷＸ_nをｘ方向においてアップサンプリング処理及びハイパスフィルタＨＰＦ'_xによるフィルタ処理を施すことにより得られる信号とを加算することにより、分解前の信号Ｓ_n-1を再構成することができる。
【００７４】
ウェーブレット逆変換の際に用いられるフィルタは、直交ウェーブレット変換の場合には変換する際に用いた係数と同じ係数のフィルタが使用される。双直交ウェーブレット変換の場合には、変換に用いた係数とは異なる係数のフィルタが逆変換の際に使用される（段落番号００５６に記載の文献を参照）。
【００７５】
ウェーブレット変換によって抽出された画像劣化を補正するには、以下の方法を用いることができる。例えば、ブロックノイズを補正するのであれば、輝度信号と色差信号の一方又は双方について、画像劣化画素に隣接する非画像劣化画素の高周波帯域成分信号を用いて画像劣化画素の補間処理をすればよい。
【００７６】
また、モスキートノイズやリンギングを補正する場合も、輝度信号と色差信号の一方又は双方について、画像劣化画素に隣接する非画像劣化画素の高周波帯域成分信号を用いて画像劣化画素を補間処理をすればよい。特に、輝度信号については、画像劣化画素の信号値の１階微分値を０にするか、エッジの急峻さに応じて画像劣化画素の信号値の１階微分値を減衰させるようにすればよい。
【００７７】
なお、このような１階微分値を連続させることを目的とする高周波帯域成分に関わる処理を、輝度信号と色差信号の一方に適用するか双方に適用するかは、補正を施す対象となる画像劣化の特性に応じて選択されることが好ましい。
【００７８】
次に、請求項４、１１、１８、２５に記載された二項ウェーブレット変換について説明する。二項ウェーブレット（Dyadic Wavelet）変換については、“Singularity detection and processing with wavelets" by S.Mallat and W.L.Hwang, IEEE Trans. Inform. Theory 38 617 (1992) や "Characterization of signals from multiscale edges" by S.Mallat and S.Zhong, IEEE Trans. Pattern Anal. Machine Intel. 14 710 (1992) や “A wavelet tour of signal processing 2ed." by S.Mallat, Academic Press に詳細な説明があるが、以下にその概要を説明する。
【００７９】
二項ウェーブレット変換で用いられるウェーブレット関数は下記式（８）のように定義される。
【数８】

但し、ｉは自然数である。
【００８０】
直交ウェーブレット変換、双直交ウェーブレット変換のウェーブレット関数は、上述のように、レベルｉにおける位置の最小移動単位が２ⁱで離散的に定義されていたのに対し、二項ウェーブレット変換は、レベルｉにかかわらず位置の最小移動単位が一定である。この相違により、二項ウェーブレット変換は、下記の特徴を有する。
【００８１】
第一の特徴として、下記式（９）に示す１レベルの二項ウェーブレット変換で生成する、高周波数帯域成分Ｗ_iと低周波数帯域成分Ｓ_iの各々の信号量は、変換前の信号Ｓ_i-1と同一である。
【数９】

【００８２】
二項ウェーブレット変換の第二の特徴として、スケーリング関数φ_i,j（ｘ）とウェーブレット関数ψ_i,j（ｘ）の間に、下記の関係式（１０）が成立する。
【数１０】

従って、二項ウェーブレット変換で生成する、高周波数帯域成分Ｗ_iは、低周波数帯域成分Ｓ_iの１階微分（勾配）で表される。
【００８３】
二項ウェーブレット変換の第三の特徴として、ウェーブレット変換のレベルiに応じて定められた係数γ_i(上述の二項ウェーブレットに関する参考文献を参照)を高周波数帯域成分に乗じたＷ_i・γ_i（以下、これを補正済高周波数帯域成分と称す）について、入力信号の信号変化の特異性（singularity）に応じて、該変換後の補正済高周波数帯域成分Ｗ_i・γ_iの信号強度のレベル間の関係が一定の法則に従う。
【００８４】
図６に、入力信号Ｓ₀の波形と、ウェーブレット変換により得られる各レベルの補正済高周波数帯域成分の波形を示す。図６において、（ａ）は入力信号Ｓ₀を示し、（ｂ）はレベル１の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ₁・γ₁を示し、（ｃ）はレベル２の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ₂・γ₂を示し、（ｄ）はレベル３の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ₃・γ₃を示し、（ｅ）はレベル４の二項ウェーブレット変換により得られる補正済高周波数帯域成分Ｗ・γ₄を示す。
【００８５】
各レベルにおける信号強度の変化を見ると、（ａ）において、“１”や“４”に示すなだらかな（微分可能な）信号変化に対応する補正済高周波数帯域成分Ｗ_i・γ_iは、（ｂ）→（ｅ）に示すようにレベル数ｉが増大するほど信号強度が増大する。
【００８６】
入力信号Ｓ₀において、“２”に示すステップ状の信号変化に対応する補正済高周波数帯域成分Ｗ_i・γ_iは、レベル数ｉに関わらず信号強度が一定となる。入力信号Ｓ₀において、“３”に示すδ関数状の信号変化に対応する補正済高周波数帯域成分Ｗ_i・γ_iは、（ｂ）→（ｅ）に示すように、レベル数ｉが増大するほど信号強度が減少する。
【００８７】
二項ウェーブレット変換における第四の特徴として、画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、上述の直交ウェーブレット変換や双直交ウェーブレット変換と異なり、図７に示す方法で行われる。
【００８８】
図７に示すように、１レベルの二項ウェーブレット変換により、入力信号Ｓ_n-1を、ｘ方向のローパスフィルタ及びｙ方向のローパスフィルタで処理することにより、低周波数帯域成分Ｓ_nが得られる。また、入力信号Ｓ_n-1を、ｘ方向のハイパスフィルタで処理することにより、高周波数帯域成分Ｗｘ_nが得られる。更に、入力信号Ｓ_n-1を、ｙ方向のハイパスフィルタで処理することにより、もう一つの高周波数帯域成分Ｗｙ_nが得られる。
【００８９】
このように、１レベルの二項ウェーブレット変換により、入力信号Ｓ_n-1は、２つの高周波数帯域成分Ｗｘ_n、Ｗｙ_nと、１つの低周波数帯域成分Ｓ_nに分解される。２つの高周波数帯域成分Ｗｘ_n、Ｗｙ_nは、低周波数帯域成分Ｓ_nの２次元における変化ベクトルＶ_nのｘ成分とｙ成分に相当する。変化ベクトルＶ_nの大きさＭ_nと偏角Ａ_nは下記式（１１）及び（１２）で与えられる。
【数１１】

【数１２】

【００９０】
また二項ウェーブレット変換で得られた２つの高周波数帯域成分Ｗｘ_n、Ｗｙ_nと１つの低周波数帯域成分Ｓ_nに、図８に示す二項ウェーブレット逆変換を施すことにより、変換前の信号Ｓ_n-1を再構成することができる。すなわち、Ｓ_nをｘ方向のローパスフィルタＬＰＦ_x及びｙ方向のローパスフィルタＬＰＦ_yで処理することにより得られる信号と、Ｗｘ_nをｘ方向のハイパスフィルタＨＰＦ_x及びｙ方向のローパスフィルタＬＰＦ_yで処理することにより得られる信号と、Ｗｙ_nをｘ方向のローパスフィルタＬＰＦ_x及びハイパスフィルタＨＰＦ_yで処理することにより得られる信号と、を加算することによって、二項ウェーブレット変換前の信号Ｓ_n-1を得ることができる。
【００９１】
次に、図９のブロック図に基づいて、入力信号Ｓ₀に対する二項ウェーブレット変換から、画像劣化が補正された信号Ｓ₀'を得るまでの方法について説明する。本発明において、入力信号Ｓ₀は、圧縮符号化後に復号化処理が施された画像信号の輝度信号又は色差信号を示すものとする。
【００９２】
入力信号Ｓ₀に対するレベル１の二項ウェーブレット変換によって、入力信号Ｓ₀は、２つの高周波数帯域成分Ｗｘ₁、Ｗｙ₁と低周波数帯域成分Ｓ₁に分解される。レベル２のウェーブレット変換によって、レベル１の二項ウェーブレット変換で得られた低周波数帯域成分Ｓ₁は、更に２つの高周波数帯域成分Ｗｘ₂、Ｗｙ₂と低周波数帯域成分Ｓ₂に分解される。この様な分解操作をレベルｎまで繰り返すことにより、入力信号Ｓ₀は、複数の高周波数帯域成分Ｗｘ₁、Ｗｘ₂、…、Ｗｘ_n、Ｗｙ₁、Ｗｙ₂、…、Ｗｙ_nと、１つの低周波数帯域成分Ｓ_nとに分解される。
【００９３】
このようにして得られた高周波数帯域成分Ｗｘ₁、Ｗｘ₂、…、Ｗｘ_n、Ｗｙ₁、Ｗｙ₂、…、Ｗｙ_n、低周波数帯域成分Ｓ_nから、画像劣化が抽出され、画像劣化に対する補正処理が行われ、補正された高周波数帯域成分Ｗｘ₁'、Ｗｘ₂'、…、Ｗｘ_n'、Ｗｙ₁'、Ｗｙ₂'、…、Ｗｙ_n'、低周波数帯域成分Ｓ_n'が得られる。
【００９４】
そして、これら高周波数帯域成分Ｗｘ₁'、Ｗｘ₂'、…、Ｗｘ_n'、Ｗｙ₁'、Ｗｙ₂'、…、Ｗｙ_n'、低周波数帯域成分Ｓ_n'に、二項ウェーブレット逆変換が施される。すなわち、補正後のレベルｎにおける２つの高周波数帯域成分Ｗｘ_n’、Ｗｙ_n’と低周波数帯域成分Ｓ_n’から、補正されたレベルｎ−１の低周波数帯域成分Ｓ_n-1’が構成される。このような操作を繰り返し、補正後のレベル２における２つの高周波数帯域成分Ｗｘ₂’、Ｗｙ₂’と低周波数帯域成分Ｓ₂’から、補正されたレベル１の低周波数帯域成分Ｓ₁’が構成される。この低周波数帯域成分Ｓ₁’と、レベル１における２つの高周波数帯域成分Ｗｘ₁’、Ｗｙ₁’から、補正後の画像信号Ｓ₀’が構成される。
【００９５】
なお、図９において用いられる各フィルタのフィルタ係数は二項ウェーブレット変換に応じて適切に定められる。また二項ウェーブレット変換においては、レベル毎に用いるフィルタのフィルタ係数が異なる。レベルｎにおいて使用するフィルタ係数は、レベル１のフィルタの各係数の間に２^n-1−１個のゼロを挿入したものが用いられる。
【００９６】
二項ウェーブレット変換によって抽出された画像劣化を補正するには、以下の方法を用いることができる。輝度信号や色差信号の１階微分値を連続させるように、二項ウェーブレット変換によって得られた高周波数帯域成分（Ｗｘ_n, Ｗｙ_n）から算出される変化ベクトルＶ_nの大きさＭ_n（式１１参照）と偏角Ａ_n（式１２参照）の一方又は双方を補正するのが好ましい。より詳細には、画像劣化画素の輝度信号と色差信号の一方又は双方について、変化ベクトルＶ_nの大きさＭ_nや偏角Ａ_nの値を、画像劣化画素に隣接する非画像劣化画素の変化ベクトルの大きさや偏角の値を用いて補間処理をすればよい。なお、補間処理の方法は、当業界で知られる手法が選択され、上述の方法に限定されるものではない。
【００９７】
請求項５、１２、１９、２６に記載の発明において、「圧縮符号化処理の内容」とは、圧縮符号化時に自動的に又はユーザが選択した圧縮符号化処理に含まれる各処理工程（例えばＪＰＥＧ方式の圧縮符号化処理の場合、ＲＧＢ信号を輝度信号及び色差信号に変換する変換処理、サンプリング処理、離散コサイン変換処理、符号化処理等）の内容及びそれら各処理工程の処理条件を意味する。この処理条件は、圧縮符号化処理時に自動的に又はユーザによって、圧縮率やサンプリング条件として選択された内容を反映し変更、決定される。
【００９８】
画像信号を輝度信号と色差信号に変換する方法は多種あるが、例えば、ＪＰＥＧ方式で圧縮符号化処理が施されていた場合、始めにＲＧＢで表されている画像信号をＹＣｂＣｒ表色系に変換し、その後、サンプリング、離散コサイン変換(ＤＣＴ:Discrete Cosine Transform)、量子化、符号化等の各処理を適用している。圧縮符号化処理に起因するノイズの抽出においては、圧縮符号化時に高周波成分が除去されたなど、ノイズが発生する起因となった処理が行われた表色系で行うのが有効である。
【００９９】
例えば、ＪＰＥＧ方式では、圧縮符号化処理時にＹＣｂＣｒ表色系を採用しているため、ＪＰＥＧ方式による圧縮符号化処理後に復号化処理が施された画像を輝度信号と色差信号に変換する際には、ＹＣｂＣｒ表色系に変換するのが好ましい。これは一例であり、他の圧縮符号化方式が採用されている場合には、その方式に見合った変換方式を選択するのが好ましい。
【０１００】
請求項６、１３、２０、２７に記載の発明においては、例えば、圧縮符号化処理の内容に応じて、画像劣化を補正する際に用いる多重解像度変換を適用するレベルを決定することが好ましい。例えば、圧縮符号化処理を実行する際、圧縮率を選択することができるが、圧縮率に応じて、種々の圧縮符号化処理が起因となって発生する画像劣化の特性が異なるため、高精度に画像劣化を補正できるレベルも異なる。よって、圧縮率や、サンプリング比に応じて多重解像度変換を適用するレベルを決定することが好ましい。また、多重解像度変換を適用するレベルの変更に応じて、各レベルの補正処理の内容を適宜変更することが好ましいことは言うまでもない。
【０１０１】
圧縮符号化処理の内容は、例えば、復号化処理がなされていない圧縮符号化画像を取得したのであれば、その画像ファイルの拡張子などから推定される。また、圧縮符号化の圧縮率は、復号化処理前後の画像ファイルの大きさを比較することで推定できるが、これに限定するものではなく、当業界で知られる種々の方法を採用して推定することができる。また、適宜、使用する頻度が高い圧縮符号化の方式や処理条件をデフォルトとして設定しておくことも可能である。
【０１０２】
請求項７、１４、２１、２８に記載の発明において、出力される画像の解像度と出力サイズの一方又は双方に基づいて決定される補正処理の内容としては、以下のものがある。▲１▼輝度信号と色差信号の一方に対して補正処理を行うか、双方に対して補正処理を行うかを選択する。▲２▼多重解像度変換を適用するレベルを選択する。▲３▼多重解像度変換として、双直交ウェーブレット変換を用いるか、二項ウェーブレット変換を用いるかを選択する。例えば、出力画像が低解像度であり、かつ出力サイズが小さければ、輝度信号に対してのみレベル１の双直交ウェーブレット変換を用いて補正処理を施せばよい。また、高解像度であり、かつ出力サイズが大きければ、輝度信号と色差信号の双方についてレベル２以上の二項ウェーブレット変換を適用して補正処理を施せばよい。
【０１０３】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。
【０１０４】
〈画像記録装置１の外観構成〉
まず、画像記録装置１の構成を説明する。
【０１０５】
図１０は、本実施の形態における画像記録装置１の外観構成を示す斜視図である。画像記録装置１は、図１０に示すように、筐体２の一側面に、感光材料を装填するためのマガジン装填部３が備えられている。筐体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するためのプリント作成部５が備えられている。筐体２の他側面には、プリント作成部５で作成されたプリントを排出するためのトレー６が備えられている。
【０１０６】
また、筐体２の上部には、表示装置としてのＣＲＴ（Cathode Ray Tube）８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が備えられている。このＣＲＴ８が、プリントを作成しようとする画像情報の画像を画面に表示する表示手段を構成している。更に、筐体２には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部１４、各種デジタル記録媒体に画像信号を書き込み（出力）可能な画像書込部１５が備えられている。また、筐体２の内部には、これらの各部を集中制御する制御部７が備えられている。
【０１０７】
画像読込部１４には、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂが備えられ、ＰＣカード１３ａやフロッピーディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａは、例えば、デジタルカメラで撮像された複数の駒画像の情報が記録されたメモリを有する。フロッピーディスク１３ｂには、例えば、デジタルカメラで撮像された複数の駒画像の情報が記録される。
【０１０８】
画像書込部１５には、フロッピーディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが備えられ、それぞれ、ＦＤ１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっている。光ディスク１６ｃとしては、ＣＤ−Ｒ、ＤＶＤ−Ｒ等がある。
【０１０９】
なお、図１０では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、筐体２に一体的に備えられた構造となっているが、これらの何れか１つ以上を別体として設けるようにしてもよい。
【０１１０】
なお、図１０に示した画像記録装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【０１１１】
〈画像記録装置１の内部構成〉
図１１は、画像記録装置１の内部構成を示すブロック図である。画像記録装置１は、図１１に示すように、制御部７、露光処理部４、プリント生成部５、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４、通信手段（入力）３２、画像書込部１５、データ蓄積手段７１、操作部１１、ＣＲＴ８、通信手段（出力）３３から構成される。
【０１１２】
制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Central Processing Unit）（図示略）との協働により、画像記録装置１を構成する各部の動作を制御する。
【０１１３】
制御部７は、本発明の画像処理装置に係る画像処理部７０を有し、操作部１２からの入力信号（指令情報）に基づいて、フィルムスキャナ部９や反射原稿入力装置１０により取得した画像データ、画像読込部１４から読み込まれた画像データ、外部機器から通信手段３２を介して入力された画像データに対して、本発明の画像処理を施して露光用画像情報を形成し、露光処理部４に出力する。また、画像処理部７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部７０の出力先としては、ＣＲＴ８、画像書込部１５、通信手段（出力）３３等がある。
【０１１４】
露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。
【０１１５】
フィルムスキャナ部９は、アナログカメラにより撮像されてネガフィルムを現像して得られる現像済みのネガフィルムＮからの駒画像データを読み込む。反射原稿入力装置１０は、駒画像を印画紙に焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０１１６】
フィルムスキャナ部９や反射原稿入力装置１０から読み込まれる原稿としては、写真感光材料があり、この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム等がある。この写真感光材料には、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部９のフィルムスキャナにより、画像読み取り信号を得ることができる。また、写真感光材料がカラーペーパーの場合、反射原稿入力装置１０のフラットベットスキャナにより、画像読み取り信号を得ることができる。
【０１１７】
画像読込部１４は、ＰＣカード１３ａやフロッピーディスク１３ｂに記録された駒画像情報を読み出して制御部７に転送する。この画像読込部１４は、画像転送手段３０として、ＰＣカード用アダプタ１４ａ、フロッピーディスク用アダプタ１４ｂ等を有する。画像読込部１４は、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、フロッピーディスク用アダプタ１４ｂに差し込まれたフロッピーディスク１３ｂに記録された駒画像情報を読み取り、制御部７に転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０１１８】
通信手段（入力）３２は、画像記録装置１が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像信号やプリント命令信号を受信する。
【０１１９】
画像書込部１５は、画像搬送部３１として、フロッピーディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備えている。画像書込部１５は、制御部７から入力される書込信号に従って、フロッピーディスク用アダプタ１５ａに差し込まれたフロッピーディスク１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに、本発明における画像処理方法によって生成されたデータを書き込む。
【０１２０】
データ蓄積手段７１は、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
【０１２１】
操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って、画像情報等を表示する。
【０１２２】
通信手段（出力）３３は、本発明の画像処理を施した後の撮影画像を表す画像信号と、それに付帯するオーダー情報を、画像記録装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【０１２３】
〈画像処理部７０の構成〉
図１２は、本発明の画像処理装置に係る画像処理部７０の機能的構成を示すブロック図である。画像処理部７０は、図１２に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリント固有処理部７０７、画像データ書式作成処理部７０８から構成される。
【０１２４】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像情報に対し、フィルムスキャナ部９固有の校正操作・ネガ原稿の場合のネガポジ反転・グレーバランス調整・コントラスト調整等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ・ネガポジ種別・フィルムに光学的或いは磁気的に記録されたＩＳＯ感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳの記載情報内容）なども併せて画像調整処理部７０４に出力する。
【０１２５】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像情報に対し、反射原稿入力装置１０固有の校正操作・ネガ原稿の場合のネガポジ反転・グレーバランス調整・コントラスト調整等を施し、画像調整処理部７０４に出力する。
【０１２６】
画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像データのデータ書式に従って、圧縮符号の復元、色データの表現方法の変換等を行い、画像調整処理部７０４に出力する。
【０１２７】
画像調整処理部７０４に、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３において処理された画像情報を出力するほかに、操作部１１の操作によって、主要被写体に関わる情報及び撮影条件に関する情報を出力することが可能である。
【０１２８】
画像調整処理部７０４は、操作部１１又は制御部７の指令に基づいて、圧縮符号化後に復号化された画像信号を輝度信号と色差信号に変換し、輝度信号、色差信号の一方又は双方に対して、多重解像度変換（双直交ウェーブレット変換又は二項ウェーブレット変換）を施すことによって、圧縮符号化に起因する画像劣化の箇所を抽出する。そして、画像調整処理部７０４は、抽出された画像劣化画素に隣接する非画像劣化画素の高周波帯域成分信号を用いて、その画像劣化画素の高周波帯域成分信号の信号値の１階微分値が連続するように、画像劣化を補正する処理を行い、補正処理が施された画像信号を、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリンタ固有処理部７０７、画像データ書式作成部７０８、データ蓄積手段７１に出力する。
【０１２９】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された補正処理済みの画像信号に対して、必要に応じて画素数変更・カラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の信号をＣＲＴ８に出力する。
【０１３０】
プリンタ固有処理部７０６は、画像調整処理部７０４から入力された補正処理済みの画像信号に対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。
【０１３１】
本実施の形態の画像記録装置１に、大判インクジェットプリンタ等の外部プリンタ３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部７０７が設けられている。このプリンタ固有処理部７０７は、画像調整処理部７０４から入力された補正処理済みの画像に対して、適正なプリンタ固有の校正処理・カラーマッチング・画素数変更等を行う。
【０１３２】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された補正処理済みの画像信号に対して、必要に応じてＪＰＥＧ、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。
【０１３３】
なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６及び７０７、画像データ書式作成処理部７０８という区分は、本実施の形態の画像処理部７０の機能の理解を助ける為に設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施の形態における画像記録装置１は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種種の形態に適用することができる。
【０１３４】
次に、本実施の形態において適用される多重解像度変換として、双直交ウェーブレット変換及び二項ウェーブレット変換について説明する。
【０１３５】
図１３は、画像調整処理部７０４において実行されるレベル１の双直交ウェーブレット変換、画像劣化抽出、画像劣化補正及びレベル１の双直交ウェーブレット逆変換に係るシステムブロック図の一例である。なお、レベル１の双直交ウェーブレット変換及び双直交ウェーブレット逆変換に用いられるフィルタのフィルタ係数は、表１に示すものを用いるものとする（Cohen,Daubechies,Feauveau5-3）。
【表１】

表１において、ｘ＝０のフィルタ係数は、現在処理している画素に対するフィルタ係数で、ｘ＝−１のフィルタ係数は、現在処理している画素の１つ前の画素のフィルタ係数で、ｘ＝＋１のフィルタ係数は、現在処理している画素の１つ後の画素に対するフィルタ係数である（以下同様）。
【０１３６】
画像調整処理部７０４は、圧縮符号化されて復号化された画像を表す画像信号を、輝度信号と色差信号に変換し、これらの信号の双方（又は一方）に対して、レベル１の双直交ウェーブレット変換を施す。輝度信号も色差信号も、双直交ウェーブレット変換処理の形態は同様であるため、図１３においては、輝度信号、色差信号の各信号をＳ₀と図示している。
【０１３７】
画像調整処理部７０４は、レベル１の双直交ウェーブレット変換により得られた高周波帯域成分信号Ｗｈ₁，Ｗｖ₁，Ｗｄ₁から、画像劣化を有する画素を抽出し、抽出された画素の各高周波帯域成分信号Ｗｈ₁，Ｗｖ₁，Ｗｄ₁に対して補正処理を施して、信号Ｗｈ^' ₁，Ｗｖ^' ₁，Ｗｄ^' ₁を生成する。その後、画像調整処理部７０４は、画像劣化が補正された高周波帯域成分信号Ｗｈ^' ₁，Ｗｖ^' ₁，Ｗｄ^' ₁に対して、ウェーブレット逆変換を施して、画像劣化が補正された信号Ｓ^' ₀を得る。そして、画像調整処理部７０４は、画像劣化が補正された輝度信号及び色差信号Ｓ^' ₀をＲＧＢ信号に変換し、画像劣化が補正された画像信号を得る。
【０１３８】
図１４は、画像調整処理部７０４において実行されるレベル１の二項ウェーブレット変換、画像劣化抽出、画像劣化補正及びレベル１の二項ウェーブレット逆変換に係るシステムブロック図の一例である。これら二項ウェーブレット変換及び二項ウェーブレット逆変換で用いられるフィルタの係数は、表２に示すものを用いるものとする。
【表２】

表２において、ｘ＝０のフィルタ係数は、現在処理している画素に対するフィルタ係数で、ｘ＝−１のフィルタ係数は、現在処理している画素の１つ前の画素のフィルタ係数で、ｘ＝＋１のフィルタ係数は、現在処理している画素の１つ後の画素に対するフィルタ係数である。
【０１３９】
図１４では、レベル１の二項ウェーブレット変換を示しているが、一般的な二項ウェーブレット変換においては、レベル毎にフィルタ係数が異なる。レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２^n-1−１個のゼロを挿入したものが用いられる。
【０１４０】
また二項ウェーブレット変換のレベルｉに応じて定められる補正係数γ_iは、下記の表３で示される。
【表３】

【０１４１】
画像調整処理部７０４は、圧縮符号化されて復号化された画像を表す画像信号を、輝度信号と色差信号に変換し、これらの信号の双方（又は一方）に対して、レベル１の二項ウェーブレット変換を施す。輝度信号も色差信号も、二項ウェーブレット変換処理の形態は同様であるため、図１４においては、輝度信号、色差信号の各信号をＳ₀と図示している。
【０１４２】
画像調整処理部７０４は、Ｓ₀にレベル１の二項ウェーブレット変換を行い、得られた低周波帯域成分信号Ｓ₁、高周波帯域成分信号Ｗｘ₁，Ｗｙ₁に基づいて変化ベクトルＶ₁を算出し、この算出された変化ベクトルＶ₁の大きさＭ₁と偏角Ａ₁に基づいて画像劣化を抽出する。画像調整処理部７０４は、画像劣化が抽出された画素の信号Ｓ₁、Ｗｘ₁，Ｗｙ₁に対して補正を施した後に、二項ウェーブレット逆変換を行い、画像劣化が補正された信号Ｓ^' ₀を得る。そして、画像調整処理部７０４は、画像劣化が補正された輝度信号及び色差信号をＲＧＢ信号に変換し、画像劣化が補正された画像信号を得る。
【０１４３】
なお、双直交ウェーブレット変換や二項ウェーブレット変換を施すレベルはレベル１に限定するものではない。例えば、圧縮符号化処理の内容に応じて、ウェーブレット変換に適用されるレベルを決定するのが好ましい。実際、単純に大きいレベルまで計算すれば抽出精度が高まるわけではなく、処理負荷を増大させないためにも、抽出したい画像劣化の特性や復号化画像の解像度などの諸条件に応じて、適宜適したレベルを適用することが好ましい。二項ウェーブレット変換を複数レベル適用する場合には、高周波成分を自分以外のレベルの高周波成分と比較して画像劣化を抽出することが好ましい。
【０１４４】
次に、本実施の形態における動作を説明する。
図１５は、画像処理部７０において実行される画像処理を示すフローチャートである。
【０１４５】
まず、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３の何れか１つから画像信号が取得されると（ステップＳ１）、この画像信号に対する復号化処理の必要の有無が判定される（ステップＳ２）。
【０１４６】
ステップＳ２において、ステップＳ１で取得した画像信号に圧縮符号化処理がなされており、復号化処理を施す必要があると判定された場合（ステップＳ２；ＹＥＳ）、当該画像信号に対して復号化処理が施され（ステップＳ３）、復号化された画像信号が取得される（ステップＳ４）。ステップＳ２において、ステップＳ１で取得した画像信号に復号化処理を施す必要がないと判定された場合（ステップＳ２；ＮＯ）、当該画像が復号化画像として認識される（ステップＳ４）。
【０１４７】
次いで、復号化画像を表す画像信号が、輝度信号と色差信号に変換される（ステップＳ５）。復号化画像は、昨今広く用いられているＪＰＥＧ方式によって圧縮符号化処理、復号化処理が施されている可能性が高いことから、変換方式は、以下の式（１３）〜（１５）に従って、ＲＧＢで表されている画像信号をＹＣｂＣｒ（Ｙ：輝度、Ｃｒ、Ｃｂ：色差）に変換する処理をデフォルトとする。但し、ＪＰＥＧ方式と異なる圧縮符号化方式であることが認識された場合、変換方式は適宜変更される（変更する工程は省略）ことが好ましい。
【数１３】
Y = 0.299R+0.587G+0.114B （１３）
【数１４】
Cr = 0.500R-0.419G-0.081B （１４）
【数１５】
Cb = -0.169R-0.332G+0.500B （１５）
【０１４８】
次いで、輝度信号と色差信号に対して多重解像度変換が施され、輝度信号及び色差信号の各々は、低周波帯域成分と高周波帯域成分に分解される（ステップＳ６及びＳ１１）。次いで、輝度信号の高周波帯域成分に基づいて、輝度信号に画像劣化を有する画素が抽出される（ステップＳ７）。また、色差信号の高周波帯域成分に基づいて、輝度信号に画像劣化を有する画素が抽出される（ステップＳ１２）。
【０１４９】
次いで、輝度信号に画像劣化を有する画素に対し、輝度信号の高周波帯域成分を用いて、画像劣化の補正処理が施される（ステップＳ８）。また、色差信号に画像劣化を有する画素に対し、色差信号の高周波帯域成分を用いて、画像劣化の補正処理が施される（ステップＳ１３）。
【０１５０】
輝度信号の低周波帯域成分及び補正処理が施された高周波帯域成分に対し、多重解像度逆変換が施され、画像劣化が補正された輝度信号が生成される（ステップＳ９）。また、色差信号の低周波帯域成分及び補正処理が施された高周波帯域成分に対し、多重解像度逆変換が施され、画像劣化が補正された色差信号が生成される（ステップＳ１４）。
【０１５１】
次いで、ステップＳ９において画像劣化が補正された輝度信号（Ｙ）と、ステップＳ１４において画像劣化が補正された色差信号（Ｃｒ、Ｃｂ）が、以下の式（１６）〜（１８）に従ってＲＧＢ信号に変換されることにより、輝度信号と色差信号が合成された画像が生成され（ステップＳ１０）、画像劣化が補正された画像が生成される。
【数１６】
R = Y+1.402Cr （１６）
【数１７】
G = Y-0.714Cr-0.344Cb （１７）
【数１８】
B = Y+1.772Cb （１８）
【０１５２】
なお、図１５に示したフローチャートでは、簡単のため、画像劣化の抽出と補正を各１工程として連続して作用するように記述したが、特性の異なる２種以上の画像劣化（例えば、画像劣化Ａ、画像劣化Ｂ、…）を抽出して補正する場合は、画像劣化Ａの抽出工程、画像劣化Ａの補正工程、画像劣化Ｂの抽出工程、画像劣化Ｂの補正工程、…のように、内容の異なる抽出処理の工程と補正処理の工程を設けることが可能であることはいうまでもない。また、抽出処理及び補正処理の工程の順番を適宜変更することができる。
【０１５３】
また、図１５に示したフローチャートでは、輝度信号、色差信号の双方に対して多重解像度変換を施す場合を示したが、処理時間や処理機能の制限がある場合や、画像劣化の特性に応じて、輝度信号、色差信号の一方に対して多重解像度変換を施すようにしてもよい。
【０１５４】
次に、図１６及び図１７のフローチャートを参照して、図１５における画像劣化の抽出及び補正の工程（ステップＳ７、Ｓ８、Ｓ１２、Ｓ１３）の詳細について説明する。以下のフローチャートでは、多重解像度変換として二項ウェーブレット変換が適用された場合を示す。
【０１５５】
図１６は、輝度信号における画像劣化（ブロックノイズ及びモスキートノイズ・リンギング）の抽出・補正処理を示すフローチャートである。なお、図１６に示すフローチャートは、色差信号における画像劣化の抽出及び補正についても適用される。
【０１５６】
まず、図１４に示すように、輝度信号Ｓ₀に対するレベル１の二項ウェーブレット変換により、高周波帯域成分信号Ｗｘ₁，Ｗｙ₁が取得される（ステップＳ２１）。次いで、ステップＳ２１において取得された高周波帯域成分信号Ｗｘ₁，Ｗｙ₁から、低周波数帯域成分Ｓ₁の変化ベクトルＶ₁の大きさＭ₁と偏角Ａ₁が算出される（ステップＳ２２）。
【０１５７】
次いで、ステップＳ２２において算出された変化ベクトルＶ₁の大きさＭ₁と偏角Ａ₁に基づいて、ブロックノイズの抽出及び補正が行われ、Ｍ₁とＡ₁が補正されたＭ₁'とＡ₁'が生成される（ステップＳ２３）。
【０１５８】
次いで、ステップＳ２３において生成されたＭ₁'とＡ₁'に基づいて、モスキートノイズ・リンギングの抽出及び補正が行われ、Ｍ₁'とＡ₁'が補正されたＭ₁"とＡ₁"が生成される（ステップＳ２４）。
【０１５９】
次いで、ステップＳ２４で生成されたＭ₁"と偏角Ａ₁"から、補正された高周波帯域成分信号Ｗｘ₁'、Ｗｙ₁'が算出される（ステップＳ２５）。
【０１６０】
なお、図１６に示したフローチャートでは、ブロックノイズの抽出、補正の後に、モスキートノイズ・リンギングの抽出、補正を施す手順をとっているが、この手順に限定されるものではない。
【０１６１】
次に、図１７のフローチャートを参照して、図１６のステップＳ２３におけるブロックノイズの抽出・補正処理について説明する。図１７では、輝度信号に対するブロックノイズの抽出・補正処理を示しているが、色差信号に対しても適用される。
【０１６２】
まず、図１６のステップＳ２２で算出されたＭ₁、Ａ₁が取得される（ステップＳ３１）。まず、復号化処理が施された画像が本来有する明らかなエッジを除外するために、Ｍ₁値が、予め設定された閾値Ｃ１以下である画素が抽出される（ステップＳ３２）。
【０１６３】
次いで、ステップＳ３２において抽出された画素の中から、水平方向または垂直方向にほぼ同値のＭ₁値を有する画素が、ブロックノイズ画素として抽出される（ステップＳ３３）。また、ステップＳ３３において抽出された水平方向の画素群の間隔が、８画素または８の倍数の画素数である条件を満たす画素が、ブロックノイズ画素群として決定される。ここで、ほぼ同値とは、隣り合う画素のＭ₁の値の差が、予め設定された閾値Ｃ２以下である条件を満たすことを意味する。また、８画素又は８の倍数の画素数である条件を満たす画素を、ブロックノイズ画素群としているのは、ＪＰＥＧ方式で圧縮符号化された画像を復号化した場合、８画素×８画素単位の格子状のブロックノイズが生じることによる。
【０１６４】
次いで、ステップＳ３３において抽出されたブロックノイズ画素の各々に対し、ブロックノイズ画素の周辺画素のうち、補正対象となるブロックノイズ画素と同じブロックノイズ画素群に属する画素を除く画素のＭ₁の値を用いて、ブロックノイズ画素の信号値の１階微分値が連続するように補間処理が行われることにより、ブロックノイズ画素位置のＭ₁の補正後の値Ｍ₁'が算出される（ステップＳ３４）。
【０１６５】
ステップＳ３１において取得されたＡ₁についても、Ｍ₁と同様の工程をもってブロックノイズの抽出及び補正処理が行われる。但し、Ａ₁はＭ₁と異なり、ある閾値以上が明確なエッジをさすといった特性をもたないため、ステップＳ３２における工程は削除される。以下、Ａ₁に対するブロックノイズの抽出及び補正処理について説明する。
【０１６６】
まず、水平方向または垂直方向にほぼ同値のＡ₁値を有する画素が、ブロックノイズ画素として抽出される（ステップＳ３５）。また、ステップＳ３５において抽出された水平方向の画素群の間隔が、８画素又は８の倍数の画素数である条件を満たす画素が、ブロックノイズ画素群として決定される。ここで、ほぼ同値とは、隣り合う画素のＡ₁の値の差が、予め設定された閾値Ｃ２以下である条件を満たすことを意味する。
【０１６７】
次いで、ステップＳ３５において抽出されたブロックノイズ画素に対し、補正対象となるブロックノイズ画素の周辺画素のうち、補正対象となるブロックノイズ画素と同じブロックノイズ画素群に属する画素を除く画素のＡ₁の値を用いて、ブロックノイズ画素の信号値の１階微分値が連続するように補間処理が行われることにより、ブロックノイズ画素位置のＡ₁の補正後の値Ａ₁'が算出される（ステップＳ３６）。
【０１６８】
なお、ブロックノイズの補正処理の方法は、ステップＳ３４及びＳ３６に示した方法に限定されず、当業界における公知公用の方法を採用することができる。また、色差信号について、ブロックノイズを抽出する際には、前述した圧縮符号化処理の際のサンプリング比が輝度信号とは異なる事情を考慮して、抽出条件（例えば、図１７のステップＳ３２、Ｓ３３、Ｓ３５に相当）を変更することが有効である。
【０１６９】
次に、図１８のフローチャートを参照して、図１６のステップＳ２４におけるモスキートノイズ・リンギングの抽出・補正処理について説明する。
【０１７０】
まず、図１７のブロックノイズの抽出・補正処理によってブロックノイズが補正された輝度信号におけるＭ₁'とＡ₁'が取得される（ステップＳ４１）。次いで、Ｍ₁'が予め設定された閾値Ｃ２以上である画素を抽出することにより、モスキートノイズやリンギングが発生しやすい濃度勾配が急峻な部分（エッジ部）が抽出される（ステップＳ４２）。
【０１７１】
次いで、ステップＳ４２で抽出されたエッジ部の近傍領域について、予め設定された閾値Ｃ３以下のＭ₁’値を有する画素がモスキートノイズ・リンギング画素として抽出される（ステップＳ４３）。
【０１７２】
次いで、モスキートノイズ・リンギング画素の周辺画素のうち、補正対象となるモスキートノイズ・リンギング画素を除く画素のＭ₁’の値を用いて補間処理が行われ、モスキートノイズ・リンギング画素のＭ₁’値が補正されたＭ₁"'が算出される（ステップＳ４４）。
【０１７３】
次いで、ステップＳ４２で抽出されたエッジに対応する画素の信号値の強度をＭ₁edgeとし、このＭ₁edgeと、所定の関数ｇ（Ｍ₁edge）を用いて、以下の式（１９）のように、Ｍ₁"'が補正されたＭ₁"が算出される（ステップＳ４５）。
【数１９】
Ｍ₁"= Ｍ₁"'+(Ｍ₁'-Ｍ₁"')・ｇ（Ｍ₁edge） （１９）
【０１７４】
ｇ（Ｍ₁edge）は、０から１までの値を有し、Ｍ₁edgeの値の増大とともに０に減衰する減衰関数であり、例えば、ｇ（Ｍ₁edge）=(1/Ｍ₁edge)・αのように表される。ここで、αは所定の係数である。
【０１７５】
ステップＳ４１で取得されたＡ₁’については、モスキートノイズ・リンギング画素のＡ₁’の値が、補正後の値Ａ₁"として決定される（ステップＳ４６）。なお、図１８では、モスキートノイズ、リンギングの特性と処理時間の制限から、Ａ₁についての補正処理を省略したが、圧縮符号化処理の条件や補正対象画像の構成等の諸条件を考慮して、より高い補正効果が得られると判断されれば、Ａ₁についても画像劣化の抽出処理及び補正処理を行い、変化ベクトルの偏角における画像劣化抽出処理及び補正処理を行うことが可能であるのは言うまでもない。
【０１７６】
このように、本実施の形態においては、圧縮符号化処理の条件や補正対象となる画像の構成、画像劣化の特性、処理環境等の種々の条件を考慮し、輝度信号と色差信号、変化ベクトルのＶ_nの大きさＭ_nと偏角Ａ_n（二項ウェーブレット変換の場合）から、補正対象となる信号や補正処理に利用するパラメータを適宜選択することが可能である。
【０１７７】
なお、モスキートノイズ・リンギングの抽出・補正処理の方法は、図１８に示した方法に限定されず、当業界における公知公用の方法を採用することができる。また、図１８では、輝度信号についてのみ、モスキートノイズ・リンギングの抽出・補正が施される場合を示したが、これは、モスキートノイズ・リンギングについては、輝度信号における劣化が、画像を観察するユーザにとって不快と感ずる主要因であることを考慮したためであり、計算負荷を低減させる観点から色差信号における画像劣化の抽出、補正処理を省略したものである。よって、用途、目的によっては、色差信号についても、図１８と同様の処理が施されることが可能であることはいうまでもない。
【０１７８】
更に、圧縮符号化処理の内容に応じて、ウェーブレット変換を適用するレベルを決定することができる。更に、ウェーブレットを適用するレベルの変更に応じて補正処理の内容を変更することができる。二項ウェーブレット変換を複数レベル適用する場合には、高周波成分を自分以外のレベルの高周波成分と比較して画像劣化を抽出することが好ましい。
【０１７９】
また、補正処理後に出力される画像の解像度及び／又は出力サイズに基づいて、補正処理の内容を決定することが可能である。例えば、補正処理の内容としては、▲１▼輝度信号と色差信号の一方に対して補正処理を行うか、双方に対して補正処理を行うかを選択する、▲２▼多重解像度変換を適用するレベルを選択する、▲３▼多重解像度変換として、双直交ウェーブレット変換を用いるか、二項ウェーブレット変換を用いるかを選択する等がある。例えば、出力画像が低解像度であり、かつ出力サイズが小さければ、輝度信号に対してのみレベル１の双直交ウェーブレット変換を用いて補正処理を施せばよい。また、高解像度であり、かつ出力サイズが大きければ、輝度信号と色差信号の双方についてレベル２以上の二項ウェーブレット変換を適用して補正処理を施せばよい。
【０１８０】
以上のように、本実施の形態の画像記録装置１によれば、圧縮符号化後に復号化された画像の画像信号を輝度信号と色差信号に変換して、輝度信号と色差信号の一方又は双方に対してウェーブレット変換を施すことによって、復号化画像中の画像劣化を抽出し、画像劣化画素の信号値の１階微分値が連続するように画像劣化を補正することにより、画像劣化の補正機能を向上させることができ、自然な質感を有する良好な補正画像を得ることができる。また、特性の異なる画像劣化（例えば、ブロックノイズ、モスキートノイズ等）であっても十分に補正することができる。
【０１８１】
特に、ウェーブレット変換として、二項ウェーブレット変換を用いることにより、直交ウェーブレット変換や双直交ウェーブレット変換を適用した場合より、一層自然な質感を有する補正画像を得ることができる。特に、青空等の明るさの変化がなめらかである同系色の画像や、アップで撮影された人物の肌部の画像や、グラデーションが一方向に向いている画像の補正に効果的である。
【０１８２】
更に、復号化された画像信号を、輝度信号と色差信号に変換する場合、圧縮符号化の方式がＪＰＥＧである場合には、ＹＣｂＣｒ表色系に変換する等、圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式を決定することにより、補正効果が向上し、より自然な補正画像を得ることができる。
【０１８３】
また、圧縮符号化処理の内容に応じて、ウェーブレット変換を適用するレベルを決定したり、ウェーブレットを適用するレベルの変更に応じて補正処理の内容を変更可能にしたりすることにより、補正効果が乏しい余分な計算を削除し、補正処理の処理負荷を低減させることができる。
【０１８４】
更に、補正後に出力される画像の解像度及び／又は出力サイズに基づいて画像劣化の補正処理の内容が決定されることにより、効率的に画像劣化を補正することができる。
【０１８５】
なお、本実施の形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【０１８６】
【発明の効果】
請求項１、８、１５、２２に記載の発明によれば、圧縮符号化処理後に復号化処理が施された画像信号を輝度信号と色差信号に変換し、これらの一方又は双方の信号値の１階微分値が連続するように画像劣化を補正することにより、画像劣化の補正機能が向上し、違和感のない良好な補正画像を得ることができる。
【０１８７】
請求項２、９、１６、２３に記載の発明によれば、輝度信号と色差信号の一方又は双方に多重解像度変換を施すことによって画像劣化を抽出することにより、特性の異なる画像劣化であっても十分に補正することができる。
【０１８８】
請求項３、１０、１７、２４記載の発明によれば、復号化処理が施された画像の輝度信号と色差信号の一方又は双方にウェーブレット変換を施すことにより、特性の異なる画像劣化を十分に補正することができる。また、自然な質感を有する補正画像を得ることができる。
【０１８９】
請求項４、１１、１８、２５に記載の発明によれば、復号化処理が施された画像の輝度信号と色差信号の一方又は双方に、二項ウェーブレット変換を施すことにより、双直交ウェーブレット変換等の他のウェーブレット変換を適用した場合より、一層自然な質感を有する補正画像を得ることができる。
【０１９０】
請求項５、１２、１９、２６記載の発明によれば、圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式を決定することにより、補正効果が向上し、より自然な補正画像を得ることができる。
【０１９１】
請求項６、１３、２０、２７に記載の発明によれば、圧縮符号化処理の内容に応じて、画像劣化の補正処理の内容を決定することにより、良好な補正画像を得ることができる。
【０１９２】
請求項７、１４、２１、２８に記載の発明によれば、補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて、画像劣化の補正処理の内容が決定されることにより、効率的に画像劣化を補正することができる。
【図面の簡単な説明】
【図１】本発明に係る多重解像度変換において用いられるウェーブレット関数を示す図である。
【図２】１レベルのウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図３】２次元信号における１レベルのウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図４】入力信号Ｓ₀が、レベル１〜３の直交ウェーブレット変換又は双直交ウェーブレット変換により信号分解される過程を示す模式図である。
【図５】レベル１のウェーブレット逆変換のフィルタ処理を示すシステムブロック図である。
【図６】入力信号Ｓ₀の波形と、ウェーブレット変換により得られる各レベルの補正済高周波数帯域成分Ｗ・γの波形を示す図である。
【図７】２次元信号における１レベルの二項ウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図８】２次元信号における１レベルの二項ウェーブレット逆変換のフィルタ処理を示すシステムブロック図である。
【図９】入力信号Ｓ₀に対する二項ウェーブレット変換から、画像劣化が補正された信号Ｓ₀'を得るまでの処理を示すシステムブロック図である。
【図１０】本実施の形態における画像記録装置１の外観構成を示す斜視図である。
【図１１】画像記録装置１の内部構成を示すブロック図である。
【図１２】図１１の画像処理部７０の機能的構成を示すブロック図である。
【図１３】レベル１の双直交ウェーブレット変換及び双直交ウェーブレット逆変換のフィルタ処理を示すシステムブロック図である。
【図１４】レベル１の二項ウェーブレット変換及び二項ウェーブレット逆変換のフィルタ処理を示すシステムブロック図である。
【図１５】画像処理部７０において実行される画像処理を示すフローチャートである。
【図１６】画像調整処理部７０４において実行される、輝度信号における画像劣化（ブロックノイズ及びモスキートノイズ・リンギング）の抽出・補正処理を示すフローチャートである。
【図１７】図１６のステップＳ２３におけるブロックノイズの抽出・補正処理を示すフローチャートである。
【図１８】図１６のステップＳ２４におけるモスキートノイズ・リンギングの抽出・補正処理を示すフローチャートである。
【符号の説明】
１ 画像記録装置
４ 露光処理部（画像記録部）
５ プリント作成部（画像記録部）
７ 制御部
８ ＣＲＴ
９ フィルムスキャナ部（画像信号取得部）
１０ 反射原稿入力装置（画像信号取得部）
１１ 操作部
１２ 情報入力手段
１４ 画像読込部（画像信号取得部）
１５ 画像書込部（画像記録部）
３０ 画像転送手段
３１ 画像搬送部
３２ 通信手段（入力）
３３ 通信手段（出力）
３４ 外部プリンタ
７０ 画像処理部（画像処理装置）
７０１ フィルムスキャンデータ処理部
７０２ 反射原稿スキャンデータ処理部
７０３ 画像データ書式解読処理部
７０４ 画像調整処理部（変換部、抽出部、補正部）
７０５ ＣＲＴ固有処理部
７０６、７０７ プリント固有処理部
７０８ 画像データ書式作成処理部
７１ データ蓄積手段

Claims (28)

1. 圧縮符号化処理後に復号化処理が施された画像を示す画像信号を取得する画像信号取得工程と、
   前記画像信号取得工程において取得された画像信号を、輝度信号と色差信号に変換する変換工程と、
   前記画像信号取得工程において取得された画像信号から、画像劣化を抽出する抽出工程と、
   前記抽出工程における抽出結果に基づいて、前記変換工程において変換された輝度信号と色差信号の一方又は双方の信号値の１階微分値が連続するように、前記復号化処理が施された画像を補正する補正工程と、
   を含むことを特徴とする画像処理方法。
2. 前記抽出工程において、前記変換工程において変換された輝度信号と色差信号の一方又は双方に対して多重解像度変換を施すことにより、前記画像劣化が抽出されることを特徴とする請求項１に記載の画像処理方法。
3. 前記多重解像度変換は、ウェーブレット変換であることを特徴とする請求項２に記載の画像処理方法。
4. 前記ウェーブレット変換は、二項ウェーブレット変換であることを特徴とする請求項３に記載の画像処理方法。
5. 前記変換工程において、前記圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式が決定されることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
6. 前記補正工程において、前記圧縮符号化処理の内容に応じて補正処理の内容が決定されることを特徴とする請求項１〜５の何れか一項に記載の画像処理方法。
7. 前記補正工程において、補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて補正処理の内容が決定されることを特徴とする請求項１〜６の何れか一項に記載の画像処理方法。
8. 圧縮符号化処理後に復号化処理が施された画像を示す画像信号を取得する画像信号取得部と、
   前記画像信号取得部により取得された画像信号を、輝度信号と色差信号に変換する変換部と、
   前記画像信号取得部により取得された画像信号から、画像劣化を抽出する抽出部と、
   前記抽出部による抽出結果に基づいて、前記変換部により変換された輝度信号と色差信号の一方又は双方の信号値の１階微分値が連続するように、前記復号化処理が施された画像を補正する補正部と、
   を備えることを特徴とする画像処理装置。
9. 前記抽出部は、前記変換部により変換された輝度信号と色差信号の一方又は双方に対して多重解像度変換を施すことにより、前記画像劣化を抽出することを特徴とする請求項８に記載の画像処理装置。
10. 前記多重解像度変換は、ウェーブレット変換であることを特徴とする請求項９に記載の画像処理装置。
11. 前記ウェーブレット変換は、二項ウェーブレット変換であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記変換部は、前記圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式を決定することを特徴とする請求項８〜１１の何れか一項に記載の画像処理装置。
13. 前記補正部は、前記圧縮符号化処理の内容に応じて補正処理の内容を決定することを特徴とする請求項８〜１２の何れか一項に記載の画像処理装置。
14. 前記補正部は、前記補正部による補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて補正処理の内容を決定することを特徴とする請求項８〜１３の何れか一項に記載の画像処理装置。
15. 画像処理を実行するためのコンピュータに、
    圧縮符号化処理後に復号化処理が施された画像を示す画像信号を取得させる画像信号取得機能と、
    前記画像信号取得機能において取得された画像信号を、輝度信号と色差信号に変換させる変換機能と、
    前記画像信号取得機能において取得された画像信号から、画像劣化を抽出させる抽出機能と、
    前記抽出機能における抽出結果に基づいて、前記変換機能において変換された輝度信号と色差信号の一方又は双方の信号値の１階微分値が連続するように、前記復号化処理が施された画像を補正させる補正機能と、
    を実現させるための画像処理プログラム。
16. 前記抽出機能を実現させる際に、前記変換機能において変換された輝度信号と色差信号の一方又は双方に対して多重解像度変換を施すことにより、前記画像劣化を抽出させることを特徴とする請求項１５に記載の画像処理プログラム。
17. 前記多重解像度変換は、ウェーブレット変換であることを特徴とする請求項１６に記載の画像処理プログラム。
18. 前記ウェーブレット変換は、二項ウェーブレット変換であることを特徴とする請求項１７に記載の画像処理プログラム。
19. 前記変換機能を実現させる際に、前記圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式を決定させることを特徴とする請求項１５〜１８の何れか一項に記載の画像処理プログラム。
20. 前記補正機能を実現させる際に、前記圧縮符号化処理の内容に応じて補正処理の内容を決定させることを特徴とする請求項１５〜１９の何れか一項に記載の画像処理プログラム。
21. 前記補正機能を実現させる際に、前記補正機能における補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて補正処理の内容を決定させることを特徴とする請求項１５〜２０の何れか一項に記載の画像処理プログラム。
22. 圧縮符号化処理後に復号化処理が施された画像を示す画像信号を取得する画像信号取得部と、
    前記画像信号取得部により取得された画像信号を、輝度信号と色差信号に変換する変換部と、
    前記画像信号取得部により取得された画像信号から、画像劣化を抽出する抽出部と、
    前記抽出部による抽出結果に基づいて、前記変換部により変換された輝度信号と色差信号の一方又は双方の信号値の１階微分値が連続するように、前記復号化処理が施された画像を補正する補正部と、
    前記補正部により補正された画像を表す画像信号を出力して出力媒体に記録する画像記録部と、
    を備えることを特徴とする画像記録装置。
23. 前記抽出部は、前記変換部により変換された輝度信号と色差信号の一方又は双方に対して多重解像度変換を施すことにより、前記画像劣化を抽出することを特徴とする請求項２２に記載の画像記録装置。
24. 前記多重解像度変換は、ウェーブレット変換であることを特徴とする請求項２３に記載の画像記録装置。
25. 前記ウェーブレット変換は、二項ウェーブレット変換であることを特徴とする請求項２４に記載の画像記録装置。
26. 前記変換部は、前記圧縮符号化処理の内容に応じて、輝度信号と色差信号に変換する方式を決定することを特徴とする請求項２２〜２５の何れか一項に記載の画像記録装置。
27. 前記補正部は、前記圧縮符号化処理の内容に応じて補正処理の内容を決定することを特徴とする請求項２２〜２６の何れか一項に記載の画像記録装置。
28. 前記補正部は、前記補正部による補正後に出力される画像の解像度と出力サイズの一方又は双方に基づいて補正処理の内容を決定することを特徴とする請求項２２〜２７の何れか一項に記載の画像記録装置。

Images