JP2006092204A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】 スキャナ画像とドキュメントに貼り付けるときなどにおいて、スキャナ画像とドキュメントの背景を簡単に一致させる。
【解決手段】 スキャン画像の背景を、ドキュメントの背景に用いるときには、背景の基本パターンに基づいて、スキャン画像の背景部から所定以上の明るさで、濃度変化が少ない最大領域をパターン画像として抽出し、このパターン画像の周辺が同じ濃度となるように画像処理を施す（ステップ１００〜１１６）。このように形成したパターン画像を、対象画像であるドキュメントに配列する（ステップ１１８）。これにより、背景がスキャン画像の背景と略一致するドキュメントを形成することができる。
【選択図】 図４

Description

本発明は、スキャナ等によって読み込んだ画像を、ドキュメント等に貼り付けたり合成する画像処理方法及び画像処理装置に関する。

パーソナルコンピュータ等は情報処理端末として用いることができると共に、各種のアプリケーションを用いることにより文書や図表などのドキュメントを作成する画像処理端末として用いることができる。この画像処理端末では、スキャナ等を接続することより各種原稿の画像を読み込むことができると共に、読み込んだ画像（スキャン画像）に対する各種の画像処理が可能となっている。

さらに、画像処理端末では、スキャナによって読み込んだスキャン画像等を、ドキュメントに貼り付けるなどの各種の画像合成処理が可能となっている。

一方、スキャン画像の一部をドキュメント等に貼り付けるためには、画像処理によってスキャン画像の一部を切り出す必要がある。スキャナは、原稿の全面を読み込むのではなく、読込み領域を指定することにより、指定された領域を切り出してスキャナ画像として出力可能となっており、これにより、原稿の一部をドキュメント等に貼り付けるときの画像処理が容易となっている。

また、複数の領域を指定することにより、指定されたそれぞれの領域をスキャンして、指定領域ごとのスキャン画像や、指定領域の画像を一面に配置したスキャン画像を出力するスキャナの提案がなされている（例えば、特許文献１参照。）。

ところで、過去に印刷出力した印刷物では、背景（下地）に色あせや汚れ（薄汚れ）などが生じていることがある。このような印刷物に記録されている文章などの文字をスキャナによって読み取って、新たに作成するドキュメントに貼り付けると、スキャナによって読み取った画像（スキャン画像）の背景と、ドキュメントの背景との間に違いが生じてしまうことがある。

このような背景の相違は、新たに作成したドキュメントに違和感を生じさせ、仕上がり品質の低下を招いてしまうことがある。このときの仕上がり品質の向上を図るためには、ドキュメントの背景とスキャン画像などの背景を合わせる必要がある。

ここから、スキャナと処理端末を接続するために処理端末にインストールされるドライバが、ドキュメントの背景の特徴情報に基づいて、スキャナによって読み込んだ画像の画像処理を行うことにより、スキャナによって読み込んだ画像の背景をドキュメントの背景に合わせる提案がなされている（例えば、特許文献２参照。）。

一方、ドキュメント又はスキャン画像の一方を背景として画像合成を行うときには、ドキュメントの背景にスキャン画像の背景を合わせる場合のほか、スキャン画像の背景にドキュメントの背景を合わせる場合や、別に作成した背景に、ドキュメント及びスキャン画像の背景を合わせる場合などがあり、このためには、ドキュメントを所望の背景に合わせる必要がある。

しかしながら、ワープロソフトや表作成ソフトなどのドキュメントを作成するアプリケーションでは、コード情報によって背景を設定しており、背景の色味や質感（素材感）を個別に設定することができるが、スキャン画像の背景に合わせることができないという問題がある。
特開２０００−３０６０７５号公報 特開２００３−１８９０８３号公報

本発明は上記事実に鑑みてなされたものであり、スキャン画像の背景をドキュメントの背景に合わせることができると共に、コード情報を基に作成されたドキュメントの背景（下地）をスキャナ画像の背景等に、簡単に一致させて高品質のドキュメントの作成を可能とする画像処理方法及び画像処理装置を提案することを目的とする。

上記目的を達成するために本発明は、対象画像の背景部を所定の背景画像に置換するための画像処理方法であって、背景抽出画像の背景部の所定領域を予め設定した形状で抽出して基本となるパターン画像を形成し、背景を置換する対象画像の背景部に、前記パターン画像を互いに重なることなく、かつ、隙間なく配置することにより、前記対象画像の背景部を前記パターン画像の配列によって形成することを特徴とする。

この発明によれば、背景を抽出する画像の背景部から、対象画像に用いる背景画像を抽出する。このとき、予め設定した形状で画像を抽出して、基本となるパターン画像を形成し、このパターン画像を対象画像の背景部に配列する。

これにより、対象画像が各種のアプリケーションによって作成されたドキュメントであっても、簡単に、対象画像の背景部を、任意の画像の背景によって形成することができる。

このような本発明においては、前記予め設定した形状を、互いに対向する二辺が平行な形状に設定することが好ましく、これにより、パターン画像の緊密な配列を簡単に行うことができる。

また、本発明においては、前記パターン画像を抽出する領域が所定以上の明度で、濃度変化幅が所定以内の領域であることが好ましい。

さらに、本発明では、前記パターン画像の周辺の画像濃度が同じになるように、前記対象画像の背景部に配列する前記パターン画像の周辺部に画像処理を施すことが好ましい。

これにより、パターン画像を配列したときに、隣接するパターン画像の間の境界を消すことができる。

このような本発明が適用される画像処理装置は、所定の背景抽出画像の画像データから背景部の所定領域を予め設定した形状で抽出してパターン画像の画像データを形成するパターン抽出手段と、前記パターン抽出手段によって抽出したパターン画像の画像データを、背景を置換する対象画像の背景部の画像データを、前記パターン画像を互いに密接させて配列させた画像データに置換する背景置換手段と、を含むものであればよい。

このときに、パターン抽出手段が予め設定した形状として互いに対向する二辺が平行な形状とすることができる。

また、本発明の画像処理装置は、前記パターン抽出手段が、所定以上の明度で、かつ、画像濃度の幅が所定値以内の領域をパターン画像として抽出するものであってよく、前記背景置換手段が、互いに隣接する前記パターン画像の周縁部の画像濃度を一致させる濃度変換手段を含むことができる。

以上説明したように本発明によれば、予め設定した形状（図形）で一つのパターン画像を形成し、このパターン画像を対象画像の背景部に配列して、パターン画像によって背景を形成する。これにより、例えば、スキャナ画像の背景にドキュメントの背景を簡単に一致させることができ、ドキュメントの仕上がり品質が低下してしまうのを抑えることができる。

以下に、図面を参照しながら本発明の実施の形態を説明する。図１には、本実施の形態に適応した画像処理装置１０の概略構成を示している。

この画像処理装置１０は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６がバス１８によって接続された一般的構成のパーソナルコンピュータ（ＰＣ）となっている。また、画像処理装置１０には、各種のアプリケーションと共に、アプリケーションによって作成されたデータ等を記憶するＨＤＤ２０、キーボード、マウスなどの入力デバイス２２、モニタなどの表示デバイス２４などが図示しないインターフェイスを介して、バス１８に接続している。

これにより、画像処理装置１０では、アプリケーションを用いた文書や図表などのドキュメントの作成、編集などが可能であると共に、表示デバイス２４に画像等を表示しながら、入力デバイス２２を用いて、この表示画像に対する各種の処理が可能となっている。

このような画像処理装置１０には、ＦＤ、ＣＤ、ＤＶＤ、ＭＯなどの各種の記憶媒体に対するドライバを設ける接続することにより、これらの記憶媒体からのドキュメントや画像の読込み及び書き込みを可能とすることができる。

一方、画像処理装置１０には、画像読取り手段として、スキャナ２６を接続することができる。このスキャナ２６の接続は、例えば、外部インターフェイス（外部Ｉ／Ｆ）２８を用い、この外部Ｉ／Ｆ２８を介してスキャナ２６をバス１８に接続することができる。

これにより、画像処理装置１０では、スキャナ２６に装着された原稿の画像（スキャン画像）を読み込むことができるようになっている。

なお、画像読取り手段となるスキャナ２６と画像処理装置１０との接続は、これに限らず、例えば、画像処理装置１０が図示しないネットワークに接続されるときには、該ネットワークを介してスキャナ２６が画像処理装置１０に接続されるなど、任意の接続方式をとりことができる。

また、スキャナ２６は、画像処理装置１０に原稿画像に応じた画像データを読込み可能であれば任意の構成を適用することができる。

このように構成されている画像処理装置１０では、アプリケーションを用いることにより各種のドキュメントの作成が可能となっている。また、画像処理装置１０では、スキャナ２６をを用いて原稿の画像を読み込むことができると共に、この画像（スキャン画像）を含む画像に対する各種の画像処理が可能となっている。

また、画像処理装置１０では、アプリケーションによって作成するドキュメントに、スキャン画像等の各種の画像を貼り付けるなどの画像合成処理が可能となっている。すなわち、図２（Ａ）に示すように、画像処理装置１０では、ワープロソフトや、図表作成ソフトなどのアプリケーションを用いて作成したドキュメント３０に、スキャナ画像３２を貼り付ける画像合成処理が可能となっている。

ところで、画像処理装置１０では、スキャン画像等の各種の画像を、ドキュメントに貼り付けるときに、スキャン画像の背景とドキュメント３０の背景を合わせるための画像処理が可能となっている。

すなわち、図３に示すように、画像処理装置１０には、背景設定部４０が形成されるようになっている。すなわち、画像処理部１０では、背景設定を行うプログラムがＨＤＤ２０にインストールされており、このプログラムを起動することにより、ドキュメント３０とスキャン画像３２のそれぞれの背景設定が可能となっている。

この背景設定部４０は、パターン設定手段４２、背景抽出手段４４及び背景置換手段４６によって形成されている。

背景設定部４０では、所定のパターンを合成して背景を設定するようにしており、パターン設定手段４２は、そのときのパターンを設定する。また、背景抽出手段４４は、パターン設定手段４２によって設定されたパターンと、背景として抽出するドキュメント３０又はスキャン画像３２の下地（背景）を抽出し、この下地とパターンからパターン画像を生成する。

背景置換手段４６は、生成されたパターン画像によって背景を置換する対象であるドキュメント３０及びスキャン画像３２の下地を、生成されたパターン画像を連結することによりパターン画像によって埋める。

これにより、スキャン画像３２とドキュメント３０の背景を同一のパターン画像によって形成する。このとき、パターン画像をスキャナ画像３２の背景に基づいて形成することにより、図２（Ｂ）に示すように、スキャン画像３２と、スキャン画像３２が貼り付けられるドキュメント３０の背景を、スキャン画像３２の背景に合わせたドキュメント３４が得られるようにしている。

ここで、画像処理装置１０に設けている背景設定部４０での処理を説明する。なお、以下では、一例としてスキャン画像３２の背景を用いて、ドキュメント３０の背景を設定することにより、スキャン画像３２の背景とドキュメント３０の背景を合わせたドキュメント３４を形成するようにしている。また、以下で用いる各画素のＲ、Ｇ、Ｂの各成分の濃度値Ｄを、最小値Ｄmin＝０（最も暗い）、最大値Ｄmax＝２５５（最も明るい）の２５６ステップとしている。さらに、以下では、ＲＧＢ画像を例に説明するが、ＣＭＹＫ画像であっても良く、このときには、各画素のＣ、Ｍ、Ｙ、Ｋ値（濃度）を用いればよい。

図４には、背景設定処理の概略を示している。このフローチャートでは、最初のステップ１００で背景を形成するときの基本図形とする基本パターンを読み込む。この基本パターンは、予め設定してＨＤＤ２０に記憶しておいてもよく、また、ＨＤＤ２０に基本パターンの候補を記憶させておいて、記憶している候補の中から選択するものであっても良く、さらに、入力デバイス２２を用いて入力するものであっても良い。

図５（Ａ）には、基本パターンの一例として正方形を適用した基本パターン５０を示している。本実施の形態で適用した基本パターン５０は、図５（Ｂ）に示すように、上下左右に並べて配置して隣接する辺を重ねあわせることにより、周縁部を隙間なく埋めることができる図形を適用することができる。このとき、正方形、長方形、菱形、並行四辺形などの矩形図形や、六角形、八角形など、対向する辺が平行する図形を用いることが好ましく、これにより、周辺を重ね合わせて配置する処理が容易となる。

図４のフローチャートでは、次のステップ１０２で、基本パターン５０を用いて背景のパターン画像５２を形成するときの最小サイズと最大サイズを設定する。すなわち、スキャン画像３２の背景から背景パターンとして抽出する画像領域の最小値（最小領域ＡＲmin）と最大値（最大領域ＡＲmax）を設定する。

図５（Ａ）に示すように、最小領域ＡＲmin、最大領域ＡＲmaxは、基本パターン５０に対して相似形状の領域として設定する。なお、基本パターン５０では、正方形を用いているので最小領域ＡＲmin及び最大領域ＡＲmaxとして１辺の長さの最小値（例えば１０mm）及び最大値（例えば１００mm）で設定してもよい。

このようにして基本パターン５０と最小領域ＡＲmin及び最大領域ＡＲmaxを設定すると、図４のフローチャートでは、ステップ１０４で背景の抽出対象であるスキャン画像３２の背景が、背景のパターン画像５２として適用可能であるか否かを判定するときの基準値を設定する。

背景としての適否は、例えば、最小領域ＡＲmin内の各画素の濃度値Ｄから、平均濃度Ｄ_AVと濃度範囲（レンジＤ_R）を算出し、それぞれが予め設定している範囲であるか否かから判断する。

このときに、画像の濃度Ｄが濃すぎると背景としては好ましくなく、また、濃度変化が大きいと適正な再現が困難となる。ここから、例えば、平均濃度Ｄ_AV≧２１０、レンジＤ_R≦２０とすることができる。なお、この濃度判定は、Ｒ、Ｇ、Ｂの各色について行う。また、基準値は、予め設定している値を使用しても良く、また、入力デバイス２２を用いて入力するようにしてもよい。

一方、背景のパターン画像５２を設定するときには、画像領域を最小領域ＡＲminから最大領域ＡＲmaxまで段階的に広げる。このとき、背景の連続性（同一性）が確保されている範囲を、背景として抽出する画像領域の候補とする。

ここで、ステップ１０６では、濃度Ｄの連続性が確保されているか否かを判定するための範囲を設定する。このときには、例えば、平均濃度Ｄm_AV及びレンジＤm_Rが、最小領域ＡＲminの平均濃度Ｄ_AV、レンジＤ_Rのそれぞれに対して、例えば０．９〜１．１の範囲を許容範囲に設定する。

このようにして、基本パターン５０、最小領域ＡＲmin、最大領域ＡＲmax及び、平均濃度Ｄ_AV、レンジＤ_Rの基準値、許容範囲を設定すると、背景の抽出を開始する。

背景の抽出は、ステップ１０８で、背景を抽出するスキャン画像３２の四隅のそれぞれに最小領域ＡＲminを確保し、この最小領域ＡＲminにおける画素ごとの濃度Ｄから平均濃度Ｄ_AV、レンジＤ_Rを演算する。

この後、ステップ１１０では、平均濃度Ｄ_AV及びレンジＤ_Rと先に設定した基準値から背景として好ましいか否かを確認する。なお、平均濃度Ｄ_AV、レンジＤ_Rは、各最小領域ＡＲminでＲ、Ｇ、Ｂの各色に対して演算して判定する。

ここで、すべての最小領域ＡＲminで、Ｒ、Ｇ、Ｂの各色が基準を満たしていれば、背景画像として適用可能であるとしてステップ１１０で肯定判定してステップ１１２へ移行する。また、スキャン画像の四隅のいずれかが基準を満たしていない場合、スキャン画像３２の背景全体としては、大きな濃度変化があると想定されるのでステップ１１０で否定判定して、背景設定を終了する。

なお、スキャン画像３２の四隅のいずれかで、平均濃度D_AVないしレンジＤ_Rが基準を満たしていないときには、背景設定処理を終了するようにしたが、これに限らず、例えば、少なくもと一隅、好ましくは二隅、より好ましくは三隅以上が基準を満たしているときに、背景設定処理を継続するようにしても良い。

一方、ステップ１１２では、スキャン画像３２の四隅のそれぞれについて背景として抽出可能な領域を設定する。すなわち、スキャン画像３２の四隅のそれぞれについて、背景として使用する画像（画像領域）の候補を設定する。

この抽出可能な領域の設定は、最小領域ＡＲminをスタート領域として、抽出領域を最大領域ＡＲmaxまで段階的（例えば縦横１mmステップ）に広げながら、広げたそれぞれの領域に対して、各画素の濃度Ｄから平均濃度Ｄｍ_AV、レンジＤｍ_Rを演算し、演算結果がスタート領域（最小領域ＡＲmin）の平均濃度Ｄ_AV、レンジＤ_Rに対して許容範囲であるか否かを確認し、許容範囲内で最大の領域を抽出領域として設定する。

すなわち、Ｒ、Ｇ、Ｂの各色について、
０．９×Ｄ_AV≦Ｄｍ_AV≦１．１×Ｄ_AV
０．９×Ｄ_R≦Ｄｍ_R≦１．１×Ｄ_R
である最大領域を抽出領域の候補として設定する。

このようにしてスキャン画像３２の四隅にについて抽出領域を設定すると、ステップ１１４では、設定された抽出領域から、背景として用いる画像（画像領域）を設定する。この画像領域の設定は、最も広い領域を用い、該当する領域が複数あるときには、平均濃度Ｄｍ_AVが最も高い値の領域を採用する。また、該当する領域が複数あるときには、次の条件としてレンジＤｍ_Rが最も狭い領域、すなわち、濃度変化が少ない領域を採用する。

このような条件によっても、一つの領域を選択することができなければ、それぞれの領域の上辺と下辺の平均濃度の濃度差の少ない方、それぞれの領域の左辺と右辺の平均濃度の濃度差の少ない方、を条件とし、それでも一つに選択できなければ、その中か任意に一つに設定するか、予め優先順位を設定しておいて、その優先順位に基づいて選択する。なお、これらの条件は、一例を示すものである。

このようにして、一つの領域を選択すると、選択した領域の画像をパターン画像５２として設定する。

この後、ステップ１１６では、設定したパターン画像５２に対して画像処理を施す。このときの画像処理は、図５（Ｃ）に示すようにパターン画像５２を並べて配置したときに、隣接するパターン画像５２との間の境界部分を消すように、周辺の画像濃度が略等しくなるように濃度補正を行う。

このようにしてパターン画像５２を形成すると、図４のステップ１１８では、このパターン画像５２を、ドキュメント３０及びスキャン画像３２の背景とするように、ドキュメント３０の背景及びスキャン画像３２の背景として流しこむ背景置換を行う。なお、このとき、パターン画像５２をスキャン画像３２の背景から形成しているので、ドキュメント３０の背景のみを置換するようにしてもよい。

背景を置換する画像を対象画像として、背景置換の一例の概略を説明する。なお、対象画像のサイズを（Wtgt）＊（Htgt）とし、各画素のアドレスが（ｘ、ｙ）の画素の値（濃度）をｐ（ｘ、ｙ）とする。また、パターン画像５２のサイズを（Wbgt）＊（Hbgt）とし、アドレスが（ｕ、ｖ）の画素の値をｂ（ｕ、ｖ）とする。

このとき、０≦ｘ≦Wtgt、０≦ｙ≦Htgt、０≦ｕ≦Wbgt、０≦ｖ≦Hbgtとなる。

また、対象画像の各画素について、背景部か否かの関数isBKG（ｐ）を予め設定しておく。なお、この関数isBKG（ｐ）としては、例えば、
（ｐ ＞ ｐ_ｔｈ）？：false
を適用することができる。このとき、「ｐ_ｔｈ」としては例えば２００などの適当な閾値を用いる。なお、関数isBKG（ｐ）は、これに限らず、背景部を特定可能であれば任意の関数を適用することができる。

ここで、対象画像の全画素について、次の規則でパターン画像５２への置き換えを行う。

If （isBKG（ｐ（ｘ、ｙ）） then ｐ’（ｘ、ｙ）＝ｂ（ｕ、ｖ）
else ｐ’（ｘ、ｙ）＝ｐ（ｘ、ｙ）
where Ｘ＝ｘ％Wbkg、Ｙ＝ｙ％Hbkg
（ただし、％は乗余演算記号を表す）
これにより、対象画像の背景をパターン画像５２によって置換することができる。なお、対象画像の背景をパターン画像５２に置換する方法は、これに限らず任意の方法を適用することができる。

このようにして、スキャン画像３２の背景から設定したパターン画像５２を用いて、ドキュメント３０の背景ないしスキャン画像３２の背景を置換することにより、ドキュメント３０にスキャン画像３２を貼り付けたときに、背景がスキャン画像３２の背景と一致したドキュメント３４（図２（Ｂ）参照）を得ることができる。

これにより、例えば、スキャン画像３２に黄ばみや色あせが生じているときには、この黄ばみや色あせに合わせた背景のドキュメント３４が得られる。このときに、ドキュメント３０の背景をパターン画像５２で形成するので、色味や質感の設定変更以上に変化が得られる。

また、スキャン画像３２から黄ばみや色あせを除去したドキュメント３４を得ることもでき、背景に違和感のない高品質のドキュメント３４が得られる。

なお、以上の説明では、スキャン画像３２の背景を用いて作成したパターン画像５２をドキュメント３４の背景にしたが、これに限らず、ドキュメント３０の背景からパターン画像を設定し、設定したパターン画像をスキャン画像３２の背景に置換してよく、また、ドキュメント３０、スキャン画像３２と異なる画像又は画像の背景からパターン画像を設定し、設定したパターン画像を、ドキュメント３０の背景及びスキャン画像３２の背景に置換することもできる。

すなわち、任意の画像から背景に用いるパターン画像を抽出することができると共に、抽出したパターン画像を、ドキュメント３０の背景及びスキャン画像３２の背景に置換して、背景をスキャン画像３２の背景と一致させたドキュメント３０を得ることもできる。

本実施の形態に適用した画像処理装置の概略構成図である。 （Ａ）及び（Ｂ）はスキャン画像を貼り付けたドキュメントを示す概略図であり、（Ａ）は、背景設定処理を行う前を示し、（Ｂ）は背景設定処理を行った状態を示している。 背景設定部の概略を示す機能ブロック図である。 背景設定の概略を示す流れ図である。 （Ａ）は基本パターンの一例を示す概略図、（Ｂ）は（Ａ）の基本パターンの配列を示す概略図であり、（Ｃ）は基本パターンに基づいたパターン画像の配列の概略を示している。

符号の説明

１０ 画像処理装置
１２ ＣＰＵ
２６ スキャナ
３０、３４ ドキュメント
３２ スキャン画像
４０ 背景設定部
４２ パターン設定手段
４４ 背景画像抽出手段
４６ 背景置換手段
５０ 基本パターン
５２ パターン画像

Claims (7)

1. 対象画像の背景部を所定の背景画像に置換するための画像処理方法であって、
   背景抽出画像の背景部の所定領域を予め設定した形状で抽出して基本となるパターン画像を形成し、
   背景を置換する対象画像の背景部に、前記パターン画像を互いに重なることなく、かつ、隙間なく配置することにより、前記対象画像の背景部を前記パターン画像の配列によって形成することを特徴とする画像処理方法。
2. 前記予め設定した形状を、互いに対向する二辺が平行な形状に設定することを特徴とする請求項１に記載の画像処理方法。
3. 前記パターン画像を抽出する領域が所定以上の明度で、濃度変化幅が所定以内の領域であることを特徴とする請求項１又は請求項２に記載の画像処理方法。
4. 前記パターン画像の周辺の画像濃度が同じになるように、前記対象画像の背景部に配列する前記パターン画像の周辺部に画像処理を施すことを特徴とする請求項１から請求項３の何れかに記載の画像処理方法。
5. 所定の背景抽出画像の画像データから背景部の所定領域を予め設定した形状で抽出してパターン画像の画像データを形成するパターン抽出手段と、
   前記パターン抽出手段によって抽出したパターン画像の画像データを、背景を置換する対象画像の背景部の画像データを、前記パターン画像を互いに密接させて配列させた画像データに置換する背景置換手段と、
   を含むことを特徴とする画像処理装置。
6. 前記パターン抽出手段が、所定以上の明度で、かつ、画像濃度の幅が所定値以内の領域をパターン画像として抽出することを特徴とする請求項５に記載の画像処理装置。
7. 前記背景置換手段が、互いに隣接する前記パターン画像の周縁部の画像濃度を一致させる濃度変換手段を含むことを特徴とする請求項５又は請求項６に記載の画像形成装置。

Images