JP2003274140A

JP2003274140A - 画像処理装置および画像処理方法とそれらのプログラムを記憶した読み出し可能な記憶媒体

Info

Publication number: JP2003274140A
Application number: JP2002071060A
Authority: JP
Inventors: Koji Kobayashi; 幸二小林
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-03-14
Filing date: 2002-03-14
Publication date: 2003-09-26

Abstract

(57)【要約】【課題】画像劣化の少ない高画質な画像合成処理装置
および方法とそれらのプログラムを記憶した読み出し可
能な記憶媒体を提供する。【解決手段】実空間画像に対して、低周波成分と高周
波成分に周波数変換された複数の画像データを周波数変
換係数上で画像合成する画像処理装置において、前記周
波数変換を施した第１の画像データと第２の画像データ
を、低周波成分と少なくとも１つ以上の高周波成分を使
用して周波数変換係数上で画像を合成し、第３のデータ
の周波数変換係数を作成する合成手段を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成機能を有
する画像処理装置に関し、特に画像データの圧縮等を行
うに際してウェーブレット変換を使用し画像データを変
換する画像処理装置および画像合成方法とそれらのプロ
グラムを記憶した読み出し可能な記憶媒体に関する。

【０００２】

【従来の技術】近年、デジタルカメラやスキャナ等の普
及に加えて、インターネットによって高精細な画像を入
手する環境が整い、パソコン上などで画像を合成する一
般ユーザが増えてきている。

【０００３】また、デジタル複写機等においては、読み
取った原稿等に対してページ番号や日付、「Ｃｏｎｆｉ
ｄｅｎｔｉａｌ」等のスタンプ画像を画像合成して出力
する機能が付加されているものが発売されており、ファ
クシミリ等においては、日時や相手先を送信されてきた
データに合成して出力する機能が従来から付加されてい
た。

【０００４】一般的に、これらの入力データは、何らか
の方法によって圧縮処理が施されてる場合が多い。特開
平５−７５８３７号公報の「画像の合成方法」において
は、ＪＰＥＧ方式によってＤＣＴ（ディスクリートコサ
イン変換）された後圧縮された複数の圧縮画像データを
入力し、伸長してＤＣＴの係数上にて画像を合成するこ
とによって、周波数変換における変換／逆変換の誤差を
蓄積させずに画像合成処理を行う方法が開示されてい
る。

【０００５】複写機等で原画像にページ番号や丸秘等の
スタンプ画像を重ねるような画像合成処理においては、
スタンプ画像データが存在する画素のデータを原画像と
置換する方法（以下置換合成）が一般的な手法である。
このような手法は比較的簡単に実現できるため、スタン
プ画像のような文字画像と合成時のみではなく自然画同
士の合成の場合でも同様に応用可能であり、優先する画
像データを前記スタンプ画像と置き換えたものと等価で
ある。

【０００６】近年画像データを圧縮する場合等にウェー
ブレット変換を施した係数データに対して、圧縮を行う
手法が注目されており、ＪＰＥＧの後継であるＪＰＥＧ
２０００方式としても採用され標準化の作業も進められ
ている。これらウェーブレット変換を施した係数上で画
像合成を行うものとして、特開平１１−２８４８４０号
公報の「画像形成装置」、特開平１１−３１３１２０５
号公報の「画像処理装置及び画像処理方法」がある。

【０００７】特開平１１−２８４８４０号公報において
は、画像をウェーブレット変換して、高周波成分のみを
加算して画像合成する画像処理装置が開示され、特開平
１１−３１３２０５号公報においては、画像をウェーブ
レット変換し、高周波成分のみを加算して画像合成する
画像処理装置および画像処理方法が開示されている。

【０００８】

【発明が解決しようとする課題】しかしながら、デジタ
ル複写機やファクシミリ等の入力データは、何らかの方
法によって圧縮処理が施されてる場合が多い。特開平５
−７５８３７号公報においては具体的な画像合成の方法
は開示されていなかった。

【０００９】特開平５−７５８３７号公報のように、ブ
ロック単位でＤＣＴ等の周波数空間へ変換した係数空間
上で画像を合成する場合においては、ブロック単位で処
理を行う必要があり、上記のような置換合成をする場
合、原画像の画像情報がブロック単位で欠落したり、現
画像に画像データが存在する部分では、ブロック内での
スタンプ画像のデータの無い白地の部分が白抜けとなる
ため、合成後の画像で画質が劣化してしまうという問題
があった。特にＪＰＥＧ方式では、８×８画素サイズで
ＤＣＴを行うのでその劣化は非常に大きなものであっ
た。第７図に上記の例を示す。（ａ）が原画像であり、
（ｂ）がスタンプ画像である。なお、（ｂ）の格子は画
素の境界を表しており、（ｂ）は１画素の点を表す画像
を現している。（実画像上、１画素の点という画像はほ
とんど存在しないが、説明を簡単にするためにこのよう
な画像を例にとる。）これを置換合成すると、ＤＣＴの
８×８画素のブロック単位で合成されるため、（ｃ）の
画像のようになる。

【００１０】特開平１１−２８４８４０号公報の方法に
よると、高周波成分のみを置換する場合は、スタンプ画
像の非エッジ部分が欠落し、低周波成分のみ置換する場
合は、スタンプ画像のエッジ部分の先鋭性が得られない
という問題があった。

【００１１】一方、特開平１１−３１３２０５号公報の
方法によると、画像をウェーブレット変換し、高周波成
分のみを加算して画像合成するため、画像のエッジ部の
み合成されることになり、文字画像を合成する場合は判
読性や画像品質に問題があった。

【００１２】そこで、本発明の目的は、周波数変換後の
係数上で画像合成を行う画像処理装置において、画像劣
化の少ない高画質な画像合成処理装置および方法よそれ
らのプログラム等を格納した読み出し可能な記憶媒体を
提供することにある。

【００１３】また、本発明の目的は請求項２、３に示す
画像処理装置における合成後の画像の冗長を抑制するこ
とにある。

【００１４】また、本発明の目的は、ユーザの嗜好に合
わせて、画像合成処理が切換え可能な画像処理装置を提
供することにある。

【００１５】また、本発明の目的は、周波数変換後に圧
縮された原画像への本発明の画像合成方法を可能とする
ことによって、ネットワークやバス等の転送路を介した
機器やユニット間において本発明における画像合成処理
を適用可能とすることにある。

【００１６】また、本発明の目的は、請求項１５に示す
画像処理装置において、画像合成後の画像データを再
度、転送することを可能とすることにある。

【００１７】

【課題を解決するための手段】かかる目的を達成するた
めに、請求項１記載の発明は、実空間画像に対して、低
周波成分と高周波成分に周波数変換された複数の画像デ
ータを周波数変換係数上で画像合成する画像処理装置に
おいて、前記周波数変換を施した第１の画像データと第
２の画像データを、低周波成分と少なくとも１つ以上の
高周波成分を使用して周波数変換係数上で画像を合成
し、第３のデータの周波数変換係数を作成する合成手段
を有することを特徴としている。

【００１８】請求項２記載の発明は、請求項１記載の発
明において、画像合成は、前記第１の画像の周波数変換
係数と、前記第２の画像の周波数変換係数を加算して合
成する合成手段を有することを特徴としている。

【００１９】請求項３記載の発明は、請求項１または２
記載の発明において、加算は、重みつきで加算を行うこ
とを特徴としている。

【００２０】請求項４記載の発明は、請求項３記載の発
明において、重みは、前記第２の画像の周波数変換係数
の値に応じて変更する制御手段を有することを特徴とし
ている。

【００２１】請求項５記載の発明は、請求項４記載の発
明において、重みを変更するために参照される前記第２
の画像の周波数変換係数は、少なくとも低周波成分を含
むことを特徴としている。

【００２２】請求項６記載の発明は、請求項１から５の
いずれか１項に記載の発明において、前記第３のデータ
の周波数変換係数に関して、あらかじめ定められた所定
値によってデータの上限値と下限値の両方またはいずれ
かを制限する制御手段を有することを特徴としている。

【００２３】請求項７記載の発明は、請求項１記載の発
明において、画像合成は、前記第２の画像の周波数変換
係数の値に応じて、前記第１の画像の周波数変換係数を
前記第２の画像の周波数変換係数に置換して合成する合
成手段を有することを特徴としている。

【００２４】請求項８記載の発明は、請求項１記載の発
明において、画像合成は、前記第２の画像の周波数変換
係数の値に応じて、前記第１の画像の周波数変換係数と
前記第２の画像の周波数変換係数を加算して合成する合
成手段を有することを特徴としている。

【００２５】請求項９記載の発明は、請求項７または８
記載の発明において、置換して合成するために参照され
る前記第２の画像の周波数変換係数は、少なくとも低周
波成分を含むことを特徴としている。

【００２６】請求項１０記載の発明は、請求項１から９
のいずれか１項に記載の発明において、あらかじめ合成
モードを設定する設定手段と、前記合成モードに応じて
合成方法またはパラメータを変更する変更手段とを有す
ることを特徴としている。

【００２７】請求項１１記載の発明は、低周波成分と高
周波成分に周波数変換された後にデータ圧縮された圧縮
画像データを伸長する伸長手段と、伸長後の第１の画像
データと、周波数変換を施した第２の画像データを周波
数変換係数上で画像合成し、第３の画像データの周波数
変換係数を作成する合成手段とを有することを特徴とし
ている。

【００２８】請求項１２記載の発明は、請求項１１記載
の発明おいて、画像合成は、前記第１の画像の周波数変
換係数と、前記第２の画像の周波数変換係数を加算して
合成する合成手段を有することを特徴としている。

【００２９】請求項１３記載の発明は、請求項１１記載
の発明において、画像合成は、前記第２の画像の周波数
変換係数の値に応じて、前記第１の画像の周波数変換係
数を前記第２の画像の周波数変換係数に置換して合成す
る合成手段を有することを特徴としている。

【００３０】請求項１４記載の発明は、請求項１１記載
の発明において、画像合成は、前記第２の画像の周波数
変換係数の値に応じて、前記第１の画像の周波数変換係
数を前記第２の画像の周波数変換係数に置換、または前
記第１の画像の周波数変換係数と前記第２の画像の周波
数変換係数を加算して合成する合成手段を有することを
特徴としている。

【００３１】請求項１５記載の発明は、転送路を介し
て、第１の画像処理ユニットと第２の画像処理ユニット
に分割された画像処理装置（またはシステム）であり、
前記第１の画像処理ユニットにおいて、画像入力手段よ
り入力された第１の画像データに対して、低周波成分と
高周波成分に周波数変換を施し前記第１の画像データの
周波数変換係数を出力する周波数変換手段と、前記周波
数変換係数をデータ圧縮し、圧縮データを出力するデー
タ圧縮手段と、前記圧縮データを前記転送路を介してデ
ータ転送する転送手段と、前記第２の画像処理ユニット
において、第２の画像データを低周波成分と高周波成分
に周波数変換し、第２の周波数変換係数を出力する第２
の周波数変換手段と、前記転送路を介して転送されてき
た前記圧縮データを、伸長し第１の画像データの周波数
変換係数を復元する伸長手段と、前記第１の周波数変換
係数と前記第２の周波数変換係数を合成して第３の画像
データの周波数変換係数を作成する合成手段とを有する
ことを特徴としている。

【００３２】請求項１６記載の発明は、請求項１５記載
の発明において、第３の画像データの周波数変換係数
を、再度データ圧縮する第２の圧縮手段を有することを
特徴としている。

【００３３】請求項１７記載の発明は、請求項１から１
６のいずれか１項に記載の発明において、周波数変換
は、ウェーブレット変換であることを特徴としている。

【００３４】請求項１８記載の発明は、低周波成分と高
周波成分に周波数変換された複数の画像データを周波数
変換係数上で画像合成する画像処理方法において、周波
数変換を施した第２の画像データを、低周波成分と少な
くとも１つ以上の高周波成分を使用して周波数変換係数
上で画像を合成し、第３の画像データの周波数変換係数
を作成する合成手段を有することを特徴としている。

【００３５】請求項１９記載の発明は、低周波成分と高
周波成分に周波数変換後にデータ圧縮された圧縮画像デ
ータを、伸長する伸長工程を有し、伸長後の第１の画像
データと、周波数変換を施した第２の画像データを周波
数変換係数上で画像合成し、第３の画像データの周波数
変換係数を作成する合成手段を有することを特徴として
いる。

【００３６】請求項２０記載の発明は、請求項１８また
は１９記載の発明において、周波数変換は、ウェーブレ
ット変換であることを特徴としている。

【００３７】請求項２１記載の発明は、低周波成分と高
周波成分に周波数変換された複数の画像データを周波数
変換係数上で画像合成する画像処理方法であり、周波数
変換を施した第１の画像データと、周波数変換を施した
第２の画像データを、低周波成分と少なくとも１つ以上
の高周波成分を使用して周波数変換係数上で画像合成
し、第３の画像データの周波数変換係数を作成する合成
手段を有することを特徴としている。

【００３８】請求項２２記載の発明は、低周波成分と高
周波成分に周波数変換後にデータ圧縮された圧縮画像デ
ータを、伸長する伸長工程を備え、伸長後の第１の画像
データと、周波数変換を施した第２の画像データを周波
数変換係数上で画像合成し、第３の画像データの周波数
変換係数を作成する合成手段を有することを特徴として
いる。

【００３９】請求項２３記載の発明は、請求項２１また
は２２記載の発明において、周波数変換は、ウェーブレ
ット変換であることを特徴としている。

【００４０】

【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照しながら詳細に説明する。

【００４１】図１は、本発明の第１の実施形態における
画像処理装置の要部ブロック図である。図１に示すよう
に、本発明の第１の実施形態における画像処理装置は、
ウェーブレット変換器３、４と、合成器５を有して構成
される。入力された画像データ１および画像データ２は
ウェーブレット変換器３、ｙに各々入力されて、同様の
ウェーブレット変換が行われた、各々のウェーブレット
係数を合成器５に入力してウェーブレット係数上にて画
像合成が行われる。なお、本実施例においては、ウェー
ブレット係数にて画像が出力されるが、画像データを実
空間画像にて出力したい場合は、合成器５の後段に逆ウ
ェーブレット変換器を配置して逆ウェーブレット変換を
実施すればよい。

【００４２】図２は、ウェーブレット変換器のブロック
図を示したものである。ウェーブレット変換器２０は、
ローパスフィルタｓ（ｘ）２１と、ローパスフィルタｓ
（ｙ）２５、２７と、ハイパスフィルタｈ（ｘ）２２
と、ハイパスフィルタｈ（ｙ）２６、２８と、ダウンサ
ンプラー２３、２４、２９、３０、３１、３２とで構成
されている。

【００４３】このウェーブレット変換器２０では、下記
の式に示すＸ方向（主走査方向）とＹ方向（副操作方
向）の各々に対するローパスフィルタｓ（ｘ）、ｓ
（ｙ）とハイパスフィルタｈ（ｘ）、ｈ（ｙ）を用いて
周波数分解を行う。ローパスフィルタｓ（ｘ）、ｓ
（ｙ）とハイパスフィルタｈ（ｘ）、ｈ（ｙ）を下記の
式に示す。ｓ（ｘ）＝（ｘ_n＋ｘ_n+1）／２ｓ（ｙ）＝（ｙ_n＋ｙ_n+1）／２ｈ（ｘ）＝ｘ_n−ｘ_n+1 ｈ（ｙ）＝ｙ_n−ｙ_n+1 すなわち、実空間画像信号ｄ_ijは、ローパスフィルタｓ
（ｘ）２１とハイパスフィルタｈ（ｘ）２２により各々
主走査方向の低周波成分と高周波成分の係数信号に分解
された後、ダウンサンプラー２３、２４により１／２に
ダウンサンプリングされ、係数信号ｗ１、ｗ２を得る。
さらに、各々の係数信号ｗ１、ｗ２に大してローパスフ
ィルタｓ（ｙ）２５、２７とハイパスフィルタｈ（ｙ）
２６、２８により副走査方向の低周波成分と高周波成分
の係数信号に分解され、その後ダウンサンプラー２９、
３０、３１、３２により１／２にダウンサンプリングさ
れ、係数信号ＬＬ、ＬＨ、ＨＬ、ＨＨを得る。これで、
１階層のウェーブレット変換が行われたことになる。

【００４４】図３は、ブロック内の画素に対する上記の
式をまとめた図である。ウェーブレット変換は、算出さ
れた低周波成分（ＬＬ成分）を使用して、同様にフィル
タ演算を繰り返し階層構造をもたせることができる。係
数は階層ごとにダウンサンプリングされるため、上の階
層にいくに従って、解像度は１／２ずつ低くなってい
く。図４は、４階層のウェーブレット変換を施した場合
のモデル図である。本発明においては、１階層のみの係
数で画像合成を行ってもよいし、多数の階層の係数を使
用して画像合成を行ってもよい。ここでは、説明を簡単
にするため１階層の係数のみを使用して画像合成を行う
例を示す。

【００４５】前記のウェーブレット変換の方式をハール
ウェーブレットと呼び、最も簡単なウェーブレット変換
であり、２×２の画素で実現可能である。なお、上記の
ハイパスフィルタおよびローパスフィルタの係数を変
更すれば、別なウェーブレット変換を簡単に実現でき
る。なお、本発明においては、ウェーブレット変換の方
法（フィルタの係数）には依存せずに効果が期待でき
る。

【００４６】図５は、置換合成を行う合成器５のブロッ
ク図である。画像データ１からウェーブレット変換され
た係数をＬＬ、ＨＬ、ＬＨ、ＨＨで示し、画像
データ２からウェーブレット変換された係数をＬＬ、
ＨＬ、ＬＨ、ＨＨで示す。ＬＬの係数を判定器
１３に入力してあらかじめ設定されたしきい値と比較
し、セレクタ１４のセレクト信号を出力する。判定器１
３は、ＬＬの値が、しきい値以上である場合には、セ
レクタ１４によって画像データ２のデータ（ＬＬ、
ＨＬ、ＬＨ、ＨＨ）が選択されるようにセレクト信
号を発生し、しきい値未満の場合は、画像データ１のデ
ータが選択される。セレクタ１４によって選択されたウ
ェーブレット係数である画像データは、画像データ３と
して出力される。これを式で表すと図６のようになる。

【００４７】今、しきい値を１以上（０が白、データの
上限を２５５として２５５が黒とする）の適当な数値に
決めて、図７の（ａ）を画像データ１、（ｂ）を画像デ
ータ２として合成し、図５の合成器５を用いた図１の画
像処理装置を適用した場合、出力画像データは図８のよ
うになる。ブロック内のスタンプ画像に隣接する画素は
白抜けしてしまっているが、ブロックの最小単位が、２
×２画素となるので、ＤＣＴ方式のように大きく画像を
劣化させずに画像合成が可能となる。

【００４８】なお、しきい値は、スタンプ画像の白地の
部分の排除のみ使用しているが、例えばハールウェーブ
レット変換ではなく、もっと大きなフィルタサイズを有
するウェーブレット変換を使用した場合等で有効であ
る。例えば、下記の式に示すフィルタを使用した場合、ｓ（ｘ）＝−ｘ_n-2／８＋ｘ_n-1／４＋ｘ_n＋ｘ_n+1／
４−ｘ_n+2／８ｓ（ｙ）＝−ｙ_n-2／８＋ｙ_n-1／４＋ｙ_n＋ｙ_n+1／
４−ｙ_n+2／８ｈ（ｘ）＝ｘ_n−ｘ_n-1／２−ｘ_n+1／２ｈ（ｙ）＝ｙ_n−ｙ_n-1／２−ｙ_n+1／２フィルタサイズを大きくすることによって隣接するブロ
ックにもスタンプ画像の影響が現れることになる。ただ
し、ＬＬの値としては実際に画素が存在するブロック内
よりは小さな値となるため、適当なしきい値を選択して
周辺画素ブロックでの影響を排除すればよい。なお、多
数の階層構造を使用してその係数上で画像合成を行う場
合も同様である。

【００４９】また、しきい値の判定に対して、ＬＬ成分
のみで実施する構成としているが、このような構成は最
も簡易でありゆえに安価で高速に実現出来る構成であ
る。その他、例えばすべての係数を使用して最大値によ
って判定するような構成にしてもよい。その場合、高周
波成分は負の値もとりえるので絶対値化を行う必要があ
る。なお、高周波成分のみで判定する構成は、スタンプ
画像（画像データ２）のブロック内の画素がすべて同一
の値である場合に判定不可能となるのでとりえない。

【００５０】以上説明したように、周波数変換にウェー
ブレット変換を使用し、画像データ２のウェーブレット
係数の値に応じてデータを切り替えることによって、周
波数変換係数上での画像合成でかつ置換合成の場合にお
いても、ブロックでの画質劣化を最小限に抑制できる。
また、低周波成分と高周波成分を使用して画像合成を行
うので、合成後の画像品質を高く出来る。なお、画像処
理装置として説明を行っているが、例えば前記の構成を
ソフトウェアで記述してパソコン等を使用して実現させ
ることも可能である。また、説明を簡単にするために単
色での説明としているが、本発明のカラー画像へのＹＣ
ｂＣｒやＹＵＶ等の輝度／色差系信号を使用するのが一
般的であり、その信号数分の回路構成が必要となる。

【００５１】図９は、図１に示す合成器５が加算合成を
行う場合の要部ブロック図である。画像データ１からウ
ェーブレット変換された係数をＬＬ、ＨＬ、Ｌ
Ｈ、ＨＨで示し、画像データ２からウェーブレット変
換された係数をＬＬ、ＨＬ、ＬＨ、ＨＨで示
す。これらの係数を加算器１１−１〜１１−４にて、各
々の係数ごとに画像データ１および画像データ２の係数
を加算して合成し、出力画像データのウェーブレット係
数（ＬＬＨＬＬＨＨＨ）を出力する。これを式
で表すと図１０のようになる。また、図７の（ａ）を画
像データ１、（ｂ）を画像データ２として合成し、図９
の合成器５を用いた図１の画像処理装置を適用した場
合、出力画像データは図１１のようになる。

【００５２】図１２は、一次元で画像を合成した場合の
例をグラフで示している。（ａ）に原画像である画像１
とスタンプ画像である画像２を示している。グラフ上横
軸は、画素の座標を示しており、横軸は画像データを示
している。グラフ上の画像データは、実空間上の画像デ
ータであり、図１のブロック図の出力画像に逆ウェーブ
レット変換を施したものとなっている。

【００５３】図１２（ｂ）は置換合成の例と加算合成の
の例の出力画像を示した図である。同図からわかるよう
に、置換合成ではスタンプ合成の端部が１ドット白抜け
しており、加算合成では白抜けは見られない。また、置
換合成においては、合成部分の画像１の情報は完全に失
われるが、加算合成の場合では画像１の情報をある程度
残せる（図１２（ｂ）における加算合成のグラフでの合
成部分において画像１の曲線の情報を合成後の画像デー
タが有している）ことが可能になるのがわかる。

【００５４】以上説明したように、加算合成において
は、白抜き等の画質劣化を解消でき、原画像の情報を残
した画像合成が可能となるという効果を有する。なお、
前記の加算合成処理を行えば、ＪＰＥＧ方式で用いられ
ているＤＣＴ係数上での合成処理においても白抜け等の
画質劣化を生じないで高画質な画像合成が可能となる。

【００５５】図１３は、乗算係数を設定して加算合成を
行う図１に示す合成器５の要部ブロック図である。画像
データ１からウェーブレット変換された係数をＬＬ、
ＨＬ、ＬＨ、ＨＨで示し、画像データ２からウェ
ーブレット変換された係数をＬＬ、ＨＬ、ＬＨ、
ＨＨで示す。画像データ１を加算合成する前に乗算器
１５−１〜１５−４によってあらかじめ設定されている
係数αと乗算する。同時に画像データ２に関しても乗算
器１６−１〜１６−４によってあらかじめ設定されてい
る係数βと乗算する。各々の乗算器から出力された係数
同士を加算器１１−１〜１１−４によって図９の場合と
同様に加算合成し出力画像データのウェーブレット係数
（ＬＬ、ＨＬ、ＬＨ、ＨＨ）を出力する。これ
を式で表すと図１４のようになる。

【００５６】このように、画像データ１と画像データ２
の各ウェーブレット係数に対して、あらかじめ定められ
た係数α、β（以下乗算係数）を乗算して加算合成を行
い、加えて乗算係数を任意に設定することによって第１
の画像を重視したり第２の画像を重視したユーザの嗜好
やシステムの性格に合致した画像合成を行うことが可能
となる。

【００５７】図１５は、乗算係数を切り替えるようにし
た、加算合成を行う図１に示す合成器５の要部ブロック
図である。画像データ２のデータが無い部分（非合成
部）と画像データ２が存在する部分（合成部）にて前記
乗算係数を切り替えるようにしている。まず、判定器２
１によって、画像データ２のＬＬの値があらかじめ定
められたしきい値と比較され、ＬＬの値がしきい値以
上か（第２位の画像データが存在するか）どうかの判定
が行われる。この判定結果によって、セレクタ２２−
１、２２−２の出力を切り替える。セレクタによって選
択された係数が乗算器に入力され、図１３と同様の方法
によって画像合成が行われる。

【００５８】例えば、α₁＝１．０、α₂＝０．５、β
₁＝０．０、β₂＝１．０として、ＬＬの値がしきい
値以下（画像データ２が存在しない）場合、α₁、β₁
がセレクタ２２−１、２で各々選択され、しきい値以上
の場合、α₂β₂が選択されるとすると、画像データ２
が存在しない非画像合成部においては、画像データ１を
入力された状態と同じ状態で出力し、画像データ２が存
在する画像合成部においては、画像データ２を弱く（薄
く）して合成を行うことが可能となる。

【００５９】このように、図１５の合成器においては、
図１３の合成器ような画像合成が可能であるとともに、
画像データ２が存在しない非合成部においては、画像デ
ータ１に対して入力データをそのまま出力可能となる。

【００６０】図１６は、加算合成と置換合成を選択する
図１に示す合成器５の要部ブロック図である。まず、判
定器２３によって画像データ２のＬＬの値があらかじ
め定められたしきい値と比較され、ＬＬの値がしきい
値以上である場合、置換合成器２５−１〜２５−４の出
力値が選択されて出力画像データのウェーブレット係数
（ＬＬ、ＨＬ、ＬＨ、ＨＨ）を出力する。以上
を式で表すと図１７のようになる。これによると、画像
データ２の低周波部分が大きなブロックは、置換合成を
行い、小さなブロックは、加算合成を行うことによって
置換合成時に生じる白抜け等の画質劣化を抑制できる。

【００６１】図１８は、本発明の第２の実施形態におけ
る画像処理装置の要部ブロック図である。図１８に示す
ように、本発明の第２の実施形態における画像処理装置
は、色変換器１７−１、１７−２と、ウェーブレット変
換器３、４と、合成器５と、データ制限器１８とを有し
て構成される。第１、画像データ２はカラーの画像デー
タであり、ＲＧＢ信号で構成されている。これを色変換
器１７−１、１７−２によって輝度／色差信号であるＹ
ＵＶ信号へ各々変換する。ＹＵＶ信号への変換式は以下
のとおりである。Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４Ｕ＝Ｇ−ＲＶ＝Ｇ−Ｂこれらの信号は、ウェーブレット変換器３および４によ
って、ＹＵＶのコンポーネントごとにウェーブレット変
換が行われる。画像データ１および画像データ２の各々
のウェーブレット係数は、合成器５によって加算合成
が、ＹＵＶのコンポーネントごとに行われ、加算合成後
のウェーブレット係数が出力され、データ制限器１８に
入力される。データ制限器１８においては、加算合成に
よってあふれたデータをあらかじめ定められた最大値Ｍ
ＡＸ、最小値ＭＩＮにて制限を行う。これを式で表すと
図１９のようになる。ここでＸは、ＹＵＶ各コンポーネ
ントのＬＬ、ＨＬ、ＬＨ、ＨＨのいずれかであり、すべ
てのコンポーネントのすべての係数で同様の処理が行わ
れる。このようなデータ制限処理を行った場合の出力画
像は、図１２（ｂ）の加算合成結果にて、上限が設けら
れオーバーフローした部分を上限のデータとしたグラフ
になる。

【００６２】このようなデータの制限は、逆ウェーブレ
ット変換器を合成器５とデータ制限器１８の間に配置し
て実空間上で行ってもよい。ただし、画像合成処理の後
段で圧縮処理を行うような画像処理装置または方法にお
いては、画像データのビット数が増えればそれだけ冗長
度が増すことになるため、圧縮処理の前でこのようなデ
ータ制限を行うことが望ましい。なお、ウェーブレット
係数である出力画像データを入力画像データと同じＲＧ
Ｂ信号に戻すためには、逆ウェーブレット変換を実施
後、ＹＵＶ→ＲＧＢ変換の色補正を行えばよい。

【００６３】図２０は、本発明の第３の実施形態におけ
る画像処理装置の要部ブロック図である。図２０に示す
ように、本発明の第３の実施形態における画像処理装置
は、ウェーブレット変換器３、４と、合成器５−１、５
−２と、ＣＰＵ３１と、操作部３２と、命令デコーダ３
３と、バス３４と、セレクタ３５とを有して構成され
る。画像合成処理に先立ち操作部３２によってユーザが
好みの合成方法を設定する。設定された内容はバス３４
を介してＣＰＵ３１に通知され、ＣＰＵ３１は操作部３
２で設定された内容をもとに命令デコーダ３３へ合成処
理モードを設定する信号をバス３４を介して出力する。
命令デコーダ３３は、ＣＰＵ３１からの信号をデコード
し、セレクタ３５へ合成モード選択信号を出力する。こ
の信号によって合成器５−１または合成器５−２の出力
がセレクタ３５で選択される。その他の動作は、図１と
同様である。これによると、例えば合成器５−１に置換
合成処理、合成器５−２に加算合成処理を構成したとす
るとユーザが好みに応じて、置換合成処理と加算合成処
理を切り替えることが可能となる。また、前記しきい値
や、α、β等のパラメータも操作部からユーザが設定可
能のように構成すれば、より詳細にユーザの嗜好に合わ
せた画像合成が可能となる。

【００６４】図２１は、本発明の第４の実施形態におけ
る画像処理装置の要部ブロック図である。図２１に示す
ように、本発明の第４の実施形態における画像処理装置
は、装置１のウェーブレット変換器４１と、圧縮機４２
と、装置２の伸長器４３と、ウェーブレット変換器４４
と、合成器４５と、圧縮機４６と、記憶装置４７とから
構成される。まず、装置１において、画像データ１をウ
ェーブレット変換器４１にてウェーブレット変換を行
い、圧縮器４２でデータ圧縮処理を行った後、ＬＡＮな
どの転送路へ送出する。装置２では装置１より転送され
た画像データ１を受信し、伸長器４３にて伸長処理を行
い、画像データ１のウェーブレット係数を得る。また、
画像データ２をウェーブレット変換器４４にてウェーブ
レット変換して画像データ２のウェーブレット係数を得
て、合成器４５にて前述したウェーブレット係数上の画
像合成を実施する。画像合成後のデータ３は、圧縮器４
６にて再びデータ圧縮処理され記憶装置４７に記憶され
たり、再び転送路へ出力される。

【００６５】図２１の例を応用すれば、例えば、装置１
がネットワークスキャナ等の画像読み取り装置であるよ
うな場合、装置２上にて日付やページ数等のスタンプ画
像、もしくは、「すかし画像」等を合成してＨＤＤ等の
記憶装置に保存したり、ユーザのパソコンへ転送した
り、プリンタへ送出して画像を出力する等のネットワー
ク上の機器を使用した画像合成が簡易に実現出来る。

【００６６】近年、スキャナユニットとプリンタユニッ
トをコントローラユニットを介在させて接続し、複写機
能、スキャナ機能、プリンタ機能を有する多機能な画像
処理装置が脚光を浴びている。次にそのような画像処理
装置に本発明の画像号処理を適応可能とした例を示す。

【００６７】図２２は、本発明の第５の実施形態におけ
る画像処理装置の要部ブロック図である。図２２に示す
ように、本発明の第５の実施形態における画像処理装置
は、スキャナユニットのスキャナ５０と、ウェーブレッ
ト変換器５１と、圧縮器５２と、コントローラユニット
の伸長器５３と、ウェーブレット変換器５４と、合成器
５５と、圧縮器５６と、記憶装置５７と、プリンタユニ
ットの伸長器５８と、逆ウェーブレット変換器５９と、
画像処理器６０とプリンタ６１とから構成される。

【００６８】まず、スキャナユニットにおいて、スキャ
ナ５０によって原稿が読み取られ、画像データ１として
出力され、ウェーブレット変換器５１にてウェーブレッ
ト変換が行われ、圧縮器５２でデータ圧縮処理を行った
後、ＬＡＮなどの転送路を介してコントローラユニット
へ送出する。次にコントローラユニットではスキャナユ
ニットより転送された圧縮された画像データ１を受信
し、伸長器５３にて伸長処理を行い画像データ１のウェ
ーブレット係数を得る。また、図示しない記憶装置など
に格納されていた画像データ２のウェーブレット係数を
得て、合成器５５にて前述した実施例のようなウェーブ
レット係数上での画像合成を実施する。画像合成後の画
像データ３は、圧縮器５６にて再びデータ圧縮処理され
記憶装置５７に記憶されるとともに、再び転送路を介し
てプリンタユニットへ送出される。なお、記憶装置５７
に記憶されたデータは、用紙ミスフィード等が発生した
場合のバックアップや複数枚の出力時等の場合に読み出
されてプリンタユニットに送出される。プリンタユニッ
トでは、コントローラユニットから転送されたデータを
伸長器５８にて伸長し、逆ウェーブレット変換器にて逆
ウェーブレット変換されて実空間画像データにされた
後、公知技術であるフィルタ処理、γ処理、中間調処理
等の処理が画像処理器６０にして実施され、プリンタ６
１にて出力される。よって、スキャナユニットとプリン
タユニットをコントローラユニットを介在させて接続し
た画像処理装置に、本発明の画像合成処理が適応可能と
なる。

【００６９】

【発明の効果】以上の説明から明らかなように、本発明
によれば、周波数変換後の係数上で画像合成を行う画像
処理装置または画像処理方法において、低周波と高周波
成分を使用して画像合成を行っているので高画質な画像
合成処理装置および方法が実現出来る。

【００７０】また、本発明によれば、周波数変換係数の
加算により、画像合成を行っているので、白抜け等の画
像劣化を解消でき、かつ原画像の情報を残した高画質な
画像合成が可能となる。

【００７１】また、本発明によれば、加算合成時に画像
データの各周波数変換係数に対して、あらかじめ定めら
れた係数を乗算して加算合成を行っているのでユーザの
嗜好やシステムの性格に合致した画像合成を行うことが
可能となる。

【００７２】また、本発明によれば、合成画像データの
周波数変換係数の値に応じて画像合成を行っているの
で、非合成部分の画像は変化させずに入力データをその
まま出力可能となる。

【００７３】また、本発明によれば、周波数変換係数の
値に応じて合成処理を切り替える場合に低周波成分を用
いて判定しているので、正常な判定を行うことが可能と
なる。

【００７４】また、本発明によれば、合成後の周波数変
換係数に対して、オーバーフローしたデータを制限（切
り捨て）しているので、正常な判定を行うことが可能と
なる。

【００７５】また、本発明によれば、置換合成におい
て、合成画像データの周波数変換係数の値に応じてデー
タを切り替えることによって、周波数変換係数上での画
像合成でかつ置換合成の場合においても、ブロックでの
画質劣化を最小限に抑制できる。

【００７６】また、本発明によれば、合成画像データの
周波数変換係数の値に応じて合成方式を切り替えること
によって、置換合成時に生じる白抜け等の画質劣化を抑
制できる。

【００７７】また、本発明によれば、ユーザの設定に応
じて合成処理を選択可能としているので、ユーザの嗜好
に合わせた画像合成が可能となる。

【００７８】また、本発明によれば、周波数変換後に圧
縮された圧縮画像データを伸長する伸長手段と、周波数
変換を施した画像データを周波数変換係数上で画像合成
する手段を有しているので、ネットワーク上の機器等に
おいて、本発明の画像合成処理が適応可能となる。

【００７９】また、本発明によれば、第１の画像処理ユ
ニットにて入力された画像データ１を周波数変換後にデ
ータ圧縮を行い転送路を介して第２の画像処理ユニット
に転送し、圧縮データを伸長し、周波数変換された画像
データ２と合成する機能を有しているので、ネットワー
クやバス等の転送路を介した機器やユニット間において
本発明におけるが画像合成処理装置当に、本発明の画像
合成処理が適応可能となる。

【００８０】また、本発明によれば、周波数変換に変換
時のブロックサイズを小さく出来るウェーブレット変換
を用いることによって、白抜け等の画質劣化の少ない高
画質な画像合成処理装置および方法が実現出来る。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における画像処理装置
の要部ブロック図である。

【図２】ウェーブレット変換器のブロック図である。

【図３】ブロック内の画素に関する式をまとめた図であ
る。

【図４】４階層のウェーブレット変換を施した場合のモ
デル図である。

【図５】置換合成を行う合成器５のブロック図である。

【図６】置換合成を行う際のウェーブレット係数を選択
する式である。

【図７】合成する画像データの例である。

【図８】図７を置換合成した後の出力画像データであ
る。

【図９】加算合成を行う合成器５のブロック図である。

【図１０】加算合成を行う際のウェーブレット係数を計
算する式である。

【図１１】図７を加算合成した後の出力画像データであ
る。

【図１２】一次元で画像を合成した場合の例を示すグラ
フ図である。

【図１３】乗算係数を設定して加算合成を行う図１に示
す合成器５の要部ブロック図である。

【図１４】乗算係数を設定して加算合成を行う際のウェ
ーブレット係数を計算する式である。

【図１５】乗算係数を切り替えるようにした、加算合成
を行う図１に示す合成器５の要部ブロック図である。

【図１６】しきい値以上であれば置換合成、以下ならば
加算合成を行う図１に示す合成器５の要部ブロック図で
ある。

【図１７】しきい値以上であれば置換合成、以下ならば
加算合成を行う際のウェーブレット係数を計算する式で
ある。

【図１８】本発明の第２の実施形態における画像処理装
置の要部ブロック図である。

【図１９】加算合成によってあふれたデータをあらかじ
め定められた最大値、最小値にて制限を行う際の式であ
る。

【図２０】本発明の第３の実施形態における画像処理装
置の要部ブロック図である。

【図２１】本発明の第４の実施形態における画像処理装
置の要部ブロック図である。

【図２２】本発明の第５の実施形態における画像処理装
置の要部ブロック図である。

【符号の説明】３、４、４１、４４、５１、５４ウェーブレット変換
器５、４５、５５合成器１３、２１、２３判定器１４、２２、２６、３５セレクタ１１加算器１５、１６乗算器１７色変換器１８データ制限器２４加算合成器２５置換合成器４２、４６、５２、５６圧縮器４３、５３、５８伸長器

Claims

【特許請求の範囲】

【請求項１】実空間画像に対して、低周波成分と高周
波成分に周波数変換された複数の画像データを周波数変
換係数上で画像合成する画像処理装置において、前記周
波数変換を施した第１の画像データと第２の画像データ
を、低周波成分と少なくとも１つ以上の高周波成分を使
用して周波数変換係数上で画像を合成し、第３のデータ
の周波数変換係数を作成する合成手段を有することを特
徴とする画像処理装置。
【請求項２】前記画像合成は、前記第１の画像の周波
数変換係数と、前記第２の画像の周波数変換係数を加算
して合成する合成手段を有することを特徴とする請求項
１記載の画像処理装置。
【請求項３】前記加算は、重みつきで加算を行うこと
を特徴とする請求項１または２記載の画像処理装置。
【請求項４】前記重みは、前記第２の画像の周波数変
換係数の値に応じて変更する制御手段を有することを特
徴とする請求項３記載の画像処理装置。
【請求項５】前記重みを変更するために参照される前
記第２の画像の周波数変換係数は、少なくとも低周波成
分を含むことを特徴とする請求項４記載の画像処理装
置。
【請求項６】前記第３のデータの周波数変換係数に関
して、あらかじめ定められた所定値によってデータの上
限値と下限値の両方またはいずれかを制限する制御手段
を有することを特徴とする請求項１から５のいずれか１
項に記載の画像処理装置。
【請求項７】前記画像合成は、前記第２の画像の周波
数変換係数の値に応じて、前記第１の画像の周波数変換
係数を前記第２の画像の周波数変換係数に置換して合成
する合成手段を有することを特徴とする請求項１記載の
画像処理装置。
【請求項８】前記画像合成は、前記第２の画像の周波
数変換係数の値に応じて、前記第１の画像の周波数変換
係数と前記第２の画像の周波数変換係数を加算して合成
する合成手段を有することを特徴とする請求項１記載の
画像処理装置。
【請求項９】前記置換して合成するために参照される
前記第２の画像の周波数変換係数は、少なくとも低周波
成分を含むことを特徴とする請求項７または８記載の画
像処理装置。
【請求項１０】あらかじめ合成モードを設定する設定
手段と、前記合成モードに応じて合成方法またはパラメータを変
更する変更手段とを有することを特徴とする請求項１か
ら９のいずれか１項に記載の画像処理装置。
【請求項１１】低周波成分と高周波成分に周波数変換
された後にデータ圧縮された圧縮画像データを伸長する
伸長手段と、伸長後の第１の画像データと、周波数変換を施した第２
の画像データを周波数変換係数上で画像合成し、第３の
画像データの周波数変換係数を作成する合成手段とを有
することを特徴とする画像処理装置。
【請求項１２】前記画像合成は、前記第１の画像の周
波数変換係数と、前記第２の画像の周波数変換係数を加
算して合成する合成手段を有することを特徴とする請求
項１１記載の画像処理装置。
【請求項１３】前記画像合成は、前記第２の画像の周
波数変換係数の値に応じて、前記第１の画像の周波数変
換係数を前記第２の画像の周波数変換係数に置換して合
成する合成手段を有することを特徴とする請求項１１記
載の画像処理装置。
【請求項１４】前記画像合成は、前記第２の画像の周
波数変換係数の値に応じて、前記第１の画像の周波数変
換係数を前記第２の画像の周波数変換係数に置換、また
は前記第１の画像の周波数変換係数と前記第２の画像の
周波数変換係数を加算して合成する合成手段を有するこ
とを特徴とする請求項１１記載の画像処理装置。
【請求項１５】転送路を介して、第１の画像処理ユニ
ットと第２の画像処理ユニットに分割された画像処理装
置（またはシステム）であり、前記第１の画像処理ユニ
ットにおいて、画像入力手段より入力された第１の画像データに対し
て、低周波成分と高周波成分に周波数変換を施し前記第
１の画像データの周波数変換係数を出力する周波数変換
手段と、前記周波数変換係数をデータ圧縮し、圧縮データを出力
するデータ圧縮手段と、前記圧縮データを前記転送路を介してデータ転送する転
送手段と、前記第２の画像処理ユニットにおいて、第２の画像デー
タを低周波成分と高周波成分に周波数変換し、第２の周
波数変換係数を出力する第２の周波数変換手段と、前記転送路を介して転送されてきた前記圧縮データを、
伸長し第１の画像データの周波数変換係数を復元する伸
長手段と、前記第１の周波数変換係数と前記第２の周波数変換係数
を合成して第３の画像データの周波数変換係数を作成す
る合成手段とを有することを特徴とする画像処理装置。
【請求項１６】前記第３の画像データの周波数変換係
数を、再度データ圧縮する第２の圧縮手段を有すること
を特徴とする請求項１５記載の画像処理装置。
【請求項１７】前記周波数変換は、ウェーブレット変
換であることを特徴とする、請求項１から１６のいずれ
か１項に記載の画像処理装置。
【請求項１８】低周波成分と高周波成分に周波数変換
された複数の画像データを周波数変換係数上で画像合成
する画像処理方法において、周波数変換を施した第２の
画像データを、低周波成分と少なくとも１つ以上の高周
波成分を使用して周波数変換係数上で画像を合成し、第
３の画像データの周波数変換係数を作成する合成手段を
有することを特徴とする画像処理方法。
【請求項１９】低周波成分と高周波成分に周波数変換
後にデータ圧縮された圧縮画像データを、伸長する伸長
工程を有し、伸長後の第１の画像データと、周波数変換
を施した第２の画像データを周波数変換係数上で画像合
成し、第３の画像データの周波数変換係数を作成する合
成手段を有することを特徴とする画像処理方法。
【請求項２０】前記周波数変換は、ウェーブレット変
換であることを特徴とする請求項１８または１９記載の
画像処理方法。
【請求項２１】低周波成分と高周波成分に周波数変換
された複数の画像データを周波数変換係数上で画像合成
する画像処理方法であり、周波数変換を施した第１の画
像データと、周波数変換を施した第２の画像データを、
低周波成分と少なくとも１つ以上の高周波成分を使用し
て周波数変換係数上で画像合成し、第３の画像データの
周波数変換係数を作成する合成手段を有することを特徴
とするプログラムを記憶した読み出し可能な記憶媒体。
【請求項２２】低周波成分と高周波成分に周波数変換
後にデータ圧縮された圧縮画像データを、伸長する伸長
工程を備え、伸長後の第１の画像データと、周波数変換
を施した第２の画像データを周波数変換係数上で画像合
成し、第３の画像データの周波数変換係数を作成する合
成手段を有することを特徴とするプログラムを記憶した
読み出し可能な記憶媒体。
【請求項２３】前記周波数変換は、ウェーブレット変
換であることを特徴とする請求項２１または２２記載の
プログラムを記憶した読み出し可能な記憶媒体。