JP2004187000A

JP2004187000A - Image processor and image processing method

Info

Publication number: JP2004187000A
Application number: JP2002351623A
Authority: JP
Inventors: Kunikazu Ueno; 邦和上野; Shinji Shishido; 信次宍戸; Yutaka Koshi; 裕越; Hideki Baba; 英樹馬場
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-12-03
Filing date: 2002-12-03
Publication date: 2004-07-02
Anticipated expiration: 2022-12-03
Also published as: JP4140362B2

Abstract

<P>PROBLEM TO BE SOLVED: To lessen degradation resulting from resolution conversion of colors of characters and line drawings in images in a transmission system wherein images have resolutions reduced and are transmitted and have original resolutions restored on the reception side. <P>SOLUTION: An original image 1000 is separated into a mask plane 1040 representing areas of characters and line drawings, a foreground plane 1042 bearing color information of characters and line drawings, and a background plane 1044 having image information other than characters and line drawings. When the resolution of the foreground 1042 is reduced, the mask plane 1040 is referred to discriminate whether each of pixels resulting from resolution reduction belongs to characters and line drawings or not, and pixels belonging to characters and line drawings are interpolated in accordance with only values of pixels belonging to characters and line drawings in the original foreground plane 1042. When the resolution of a reduction foreground plane 1052 resulting from resolution reduction is raised, a reduction mask 1053 is referred to perform similar interpolation. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、ビットマップ画像の処理に関し、例えば補間処理のように、出力画像の画素の値を入力画像の複数の参照画素から求める変換処理に関する。
【０００２】
【従来の技術】
近年、公衆回線を用いたファクシミリ通信に加え、公衆回線やＬＡＮなどのネットワークを用いた画像通信が盛んに行なわれている。画像データを送受する機器もファクシミリのほか、パーソナルコンピュータや複合ディジタル複写機、ネットワークプリンタなど、各種の機器が用いられている。また最近はこれらの機器のカラー化も進み、カラーＦＡＸやカラープリンタも主流になりつつある。
【０００３】
ネットワークを介して画像データをやりとりする場合、通常は入力した原稿画像のタイプを判別して、原稿に適した画像処理を画像全体に施して出力側の機器へ送信する。このように原稿画像全体を一括して扱った場合、原稿画像が文字のみ、あるいは写真のみといった１種類の属性の画像データだけで構成されるのであれば特に問題はない。しかし、文字と写真が混在しているような複数の属性の画像データから構成されている場合には不都合が生じる。例えば文字と写真が混在している画像データを圧縮しようとした場合、文字部分にも写真部分にも同様に圧縮処理を施すので、適用する圧縮手法によっては文字部あるいは写真部のいずれかの圧縮率が低下したり、あるいはいずれかの画質が劣化してしまう。
【０００４】
このような問題を解決するため、近年標準化されたＩＴＵ−Ｔ勧告Ｔ．４４に規定されるＭＲＣ（ＭｉｘｅｄＲａｓｔｅｒＣｏｎｔｅｎｔ）では、文字・線画と写真等の連続階調の絵柄とが混在する画像データを、背景プレーン、前景プレーン、及びそれら両者のどちらを選択するかを示すマスクプレーン、の合計３層のプレーンに分離し、それぞれのプレーンを個別に圧縮符号化する方式を規定している。このＩＴＵ−Ｔ勧告Ｔ．４４に従うと、文字・線画部分と絵柄部分とを、それぞれ別のプレーンに分離し、各プレーンを、各々に含まれる画像データの特徴に適合する圧縮符号化方式で圧縮符号化することができる。例えば絵柄部分のプレーンはＩＴＵ−Ｔ勧告Ｔ．８１に示されたＪＰＥＧ方式のような非可逆圧縮方式で圧縮符号化し、文字・線画部分のプレーンはＩＴＵ−Ｔ勧告Ｔ．６に示されたＭＭＲ方式のような可逆圧縮方式で圧縮符号化するなどである（特許文献１〜４参照）。特許文献３，４ではプレーン分離の具体的な手法を提案している。
【０００５】
このように、文字・線画と絵柄とが混在する画像データをその局所的な特性に応じて３層の画像データプレーンに分離し、プレーン毎に圧縮符号化方式を選択的に切り替える技術は、ＪＰＥＧ方式単独で文字写真混在画像データを圧縮する場合に比して圧縮効率を稼ぎつつ圧縮画像品質を高く保つことができるという利点がある。
【０００６】
また、そのようにして分離した各プレーンの解像度を落とすことで、データ圧縮率を更に高めることも行われ、更に特許文献１、２には、プレーンごとに、そのプレーンの特性に応じた解像度変換を行う点が開示されている。
【０００７】
すなわち、これら従来技術では、図１６に示すように、（ａ）送信側では、まず送信対象のオリジナル画像１０００を、マスク１０１０、前景１０１２，背景１０１４の３つのプレーンに分離する。ここでオリジナル画像１０１０は、色つきの文字部分１００２と連続階調カラーの絵柄部分１００４を含んでいる。これから生成されるマスク１０１０は、文字部分１００２の領域を１，その他の領域を０とする２値画像である。また、前景１０１２は、該文字部分１００２の色パレットとして用いられるものであり、その文字部分１００２を内包する領域がその文字部分の１００２の色に設定された画像として生成される。なお前景１０１２では、色パレットの領域以外の画素は、受信側での画像再生の際に参照しない（ドント・ケア（ｄｏｎ’ｔｃａｒｅ））ので、適当な画素値がセットされる。図示の例では、色パレットの領域として当該文字部分１００２の領域そのものが用いられている。背景１０１４は、絵柄部分１００４を保持するプレーンであり、背景１０１４中の文字部分１００２の画素は画像再生の際に参照しないので適当な値がセットされる。（ｂ）送信側は、これら３プレーンのうち前景１０１２及び背景１０１４を、最近傍法縮小や４点補間縮小、投影法縮小などの所定の縮小処理で低解像度化し、この結果できた縮小前景１０２２及び縮小背景１０２４と、解像度変換しないマスク１０１０をそれぞれ所定の圧縮方式で圧縮した上で受信側に送る。（ｃ）受信側では、それら各プレーンの圧縮データをそれぞれ対応する圧縮方式に従って伸長する。そして、縮小前景１０２２及び縮小背景１０２４はそれぞれ元の解像度になるまで拡大し、この結果できた前景１０３２と背景１０３４をマスク１０１０に従って合成することで、再生画像１０３０を生成している。
【０００８】
【特許文献１】
特開平１１−１２２４７９号公報
【特許文献２】
特開平１１−１５０６５４号公報
【特許文献３】
特開２０００−１０１３０２公報
【特許文献４】
特開２０００−１７５０５１公報
【０００９】
【発明が解決しようとする課題】
上述のようにＭＲＣの各プレーンの画像を低解像度に変換した上で伝送し、受信側で元の解像度に戻す方式を用いた場合、画像の特に前景や背景の輪郭近傍に濁りが生じてしまう場合があった。すなわち、送信時の縮小や受信時の拡大の際の補間処理では、文字部分や絵柄部分の輪郭部分の画素の値は、元画像（縮小前又は拡大前の画像）の文字部分や絵柄部分の画素だけでなく、その近傍のドント・ケア領域の画素も参照して計算されるため、元々の画素値とは異なる値となってしまう（具体的な補間手法については特許文献１の００２５〜００３０段落を参照）。特に、図１６のように前景１０１２の色パレット領域を文字部分１００２と全く同じ形状・サイズとして作成する処理系では、受信側で再生した前景１０３２の文字部分の輪郭近傍の画素は、その周囲のドント・ケア画素の値も反映した値となるため色が濁り、これを文字部分の形状を持つマスク１０１０でマスクしても、文字輪郭の色濁り部分が再生画像１０３０に現れる。文字・線画の場合、このような輪郭近傍の色濁りは、再生画像１０３０の見栄えを悪くする。特に細線部分を含む文字・線画の場合、細線部分が太線部分と異なった色になってしまい、一連の文字・線画が途中で分離したように見えるなどの問題が生じる。
【００１０】
この問題は、文字部分１００２より十分大きい領域を前景１０１２の色パレット領域として作成するシステムでは起こらないが、文字部分自体を切り出して前景１０１２を作成する方式は計算が容易（マスク１０１０を作成すれば、ほぼ即座に作成できる）なため、この方式を実装するシステムも少なくない。
【００１１】
以上、ＭＲＣの解像度変換による文字等の輪郭の色濁りの問題を説明したが、補間処理など、出力画像の画素の値を入力画像の複数の参照画素の値から計算する変換処理一般を行う場合にも、このような輪郭部分の色濁りの問題が生じる可能性がある。
【００１２】
【課題を解決するための手段】
本発明は、このような問題を解決するためになされたものであり、変換処理の際の輪郭部分の色濁りを防止又は低減できる画像処理装置を提供することを目的とする。
【００１３】
本発明に係る画像処理装置は、入力デジタル画像から出力デジタル画像を生成するために、入力デジタル画像の各画素が注目領域に属するか否かの情報を含む第１の領域分け情報を参照して、出力デジタル画像の出力画素ごとに、その出力画素が入力デジタル画像の所定の注目領域に対応するものであるか否かを判別する判別手段と、出力デジタル画像の出力画素の値を、その出力画素に対応する入力デジタル画像の１以上の参照画素の値から求める所定の計算処理により、入力デジタル画像から出力デジタル画像を生成する変換手段であって、前記出力画像のうち前記注目領域に対応する出力画素については、その出力画素に対応する参照画素のうち前記注目領域に属する参照画素の値が、その注目領域に属さない参照画素よりも強く出力画素の値に影響する計算処理を用いて、参照画素の値からその出力画素の値を算出する変換手段と、を備える。
【００１４】
この装置では、注目領域に対応する出力画素の値は、注目領域に属さない参照画素よりも注目領域に属する参照画素の方の影響をより強く受けた値となる。したがって、この装置では、対応する参照画素群の中に注目領域に属する画素と属さない画素とが混在するような出力画素の値を求める場合、出力画素の値は注目領域に属する参照画素の値に近くなるので、注目領域の輪郭部分の画素値の変換による変化を防止又は緩和できる。なお、例えばＭＲＣの前景プレーンを解像度変換する例を考えると、前景プレーンで意味ある値を持つ画素の集まりが「注目領域」に該当する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１６】
図１は、本発明に係る画像伝送システムの一例を示す機能ブロック図である。このシステムは、ＩＴＵ−Ｔ勧告Ｔ．４４に規定されるＭＲＣ（ＭｉｘｅｄＲａｓｔｅｒＣｏｎｔｅｎｔ）方式を用いたものである。
【００１７】
図１のシステムは、大きく分けて送信側装置１００と受信側装置１５０から構成される。送信側装置１００と受信側装置１５０とは、公衆回線やＬＡＮ（ローカルエリアネットワーク）などの通信回線を介し、所定のネットワークプロトコルに従って接続されている。送信側装置１００及び受信側装置１５０は、例えば、パーソナルコンピュータ、ファクシミリ装置、ディジタル複写機、デジタル複合機、ネットワークプリンタなど、画像データを送信したり、受信したりする機能を有する装置である。図１では、送信側装置１００については画像送信のための構成要素群を示し、受信側装置１５０についての画像受信のための構成要素群を示しているが、送信側装置１００及び受信側装置１５０は、図示した構成要素群以外にも各種の要素を含み得る。
【００１８】
まず送信側装置１００について説明する。送信側装置１００は、画像入力部１０２，マスク生成部１０４，前景背景分離部１０６，前景縮小部１０８，背景縮小部１１０，前景圧縮部１１２，背景圧縮部１１４，マスク圧縮部１１６，フォーマット部１１８，送信部１２０を備えている。
【００１９】
画像入力部１０２は、送信対象のビットマップ画像を入力する機能モジュールである。マスク生成部１０４は、入力されたビットマップ画像から、ＭＲＣのマスクプレーンを生成する機能モジュールである。生成されるマスク（Ｍａｓｋ）プレーンは、例えばビットマップ画像内の文字・線画部分に該当する画素を値“１”とし、その他の部分に該当する画素を値“０”とする２値画像である。前景背景分離部１０６は、入力されたビットマップ画像から、マスク生成部１０４で生成されたマスクプレーンに基づき、ＭＲＣの前景（Ｆｏｒｅｇｒｏｕｎｄ）プレーンと背景（Ｂａｃｋｇｒｏｕｎｄ）プレーンを生成する機能モジュールである。生成される前景プレーンは、元のビットマップ画像中の文字・線画部分に該当する画素が該ビットマップ画像中の当該画素自身の値を持ち、その他の部分の画素（ドント・ケア画素）が所定の画素値を持つカラー画像である。また生成される背景プレーンは、元のビットマップ画像における文字・線画部分以外の部分に該当する画素が該ビットマップ画像中の当該画素の値を持ち、他の部分（すなわち文字・線画部分）の画素（ドント・ケア画素）が所定の画素値を持つカラー画像である。マスクプレーンや前景プレーン、背景プレーンの生成処理自体は公知技術であり、特許文献１〜４にもいくつかの生成手法が開示されている。マスク生成部１０４、前景背景分離部１０６は、これら公知技術を用いてそれら各プレーンの画像を生成することができる。
【００２０】
このような層分離を用いた場合、受信側の層合成では、マスクプレーン１０４０の値“１”の画素については前景プレーン１０４２の画素値を採用し、マスクプレーン１０４０の値“０”の画素については背景プレーン１０４４の画素値を採用する）図５参照）。したがって、マスクプレーン１０４０の値“１”の画素は前景プレーン１０４２に属し、値“０”の画素は背景プレーン１０４４に属するととらえることができる。
【００２１】
前景縮小部１０８は前景プレーンの画像を縮小する機能モジュールであり、背景縮小部１１０は背景プレーンの画像を縮小する機能モジュールである。この縮小処理は、画像の解像度を低下させるためものである。前景縮小部１０８及び背景縮小部１１０でそれぞれ縮小された前景プレーン及び背景プレーンを、以下では縮小前景プレーン及び縮小背景プレーンとそれぞれ呼ぶこととする。本実施形態の前景縮小部１０８と背景縮小部１１０は、画像の縮小（すなわち低解像度化）の際に、マスク生成部１０４で生成されたマスクプレーンを参照する。この縮小処理の詳細については後で説明する。
【００２２】
前景圧縮部１１２は縮小前景プレーンの画像をデータ圧縮する機能モジュールである。この前景圧縮には、例えば２値画像や、カラー画像の非可逆圧縮に適したＪＢＩＧ（ＪｏｉｎｔＢｉ−ｌｅｖｅｌＩｍａｇｅＣｏｄｉｎｇＥｘｐｅｒｔＧｒｏｕｐ）などの符号化方式を用いることができる。また、背景圧縮部１１４は、縮小背景プレーンの画像をデータ圧縮する機能モジュールである。この背景圧縮には、連続調画像の圧縮に適したＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）などの符号化方式を用いることができる。マスク圧縮部１１６は、マスクプレーンの画像をデータ圧縮する機能モジュールである。このマスク圧縮には、２値画像の圧縮に適したＭＭＲ、ＪＢＩＧなどの圧縮方式を用いることができる。これら前景圧縮、背景圧縮、及びマスク圧縮の処理自体は公知技術であり、上に例示した以外にも様々な従来技術を利用することができる。
【００２３】
フォーマット部１１８は、縮小前景プレーン、縮小背景プレーン及びマスクプレーンの各々の圧縮データを、ＭＲＣのフォーマットに従ってパッケージ化する機能モジュールである。送信部１２０は、フォーマット部１１８で作成されたＭＲＣデータを、受信側装置１５０に対して送信する。
【００２４】
次に受信側装置１５０について説明する。受信側装置１５０は、受信部１５２，フォーマット解凍部１５４，マスク伸長部１５６，マスク縮小部１５８，前景伸長部１６０，背景伸長部１６２，前景拡大部１６４，背景拡大部１６６，一層合成部１６８，画像出力部１７０を備える。
【００２５】
受信部１５２は、送信側装置１００から送信されたＭＲＣデータを受信する機能モジュールである。フォーマット解凍部１５４は、そのＭＲＣデータをマスクプレーン、前景プレーン及び背景プレーン（全て圧縮データ）に分解する。マスク伸長部１５６は、フォーマット解凍部１５４から与えられるマスクプレーンの圧縮データを、対応する符号化方式に従ってデータ伸長し、元のマスクプレーンを再生する。前景伸長部１６０及び背景伸長部１６２は、フォーマット解凍部１５４から与えられる圧縮された前景プレーン及び背景プレーンを、それぞれ対応する符号化方式に従ってデータ伸長する。このデータ伸長により、縮小前景プレーン及び縮小背景プレーンが得られる。
【００２６】
マスク縮小部１５８は、マスク伸長部１５６で求められたマスクプレーン（高解像度）を縮小し、低解像度の縮小マスクプレーンを作成する。この縮小マスクプレーンは、縮小前景プレーン用と、縮小背景プレーン用とにそれぞれ作成する。縮小前景プレーン用の縮小マスクプレーンは、元のマスクプレーンに対して前景縮小部１０８と同じ縮小処理を施すことにより作成する。これにより、縮小前景プレーンと同じ解像度で、文字・線画部分が値“１”となり、他の部分が“０”となる縮小前景プレーン用の縮小マスクが作成される。縮小背景プレーン用の縮小マスクプレーンは、元のマスクプレーンに対して背景縮小部１１０と同じ縮小処理を施すことにより（縮小前景プレーン用縮小マスクの作成手順と同様に）、作成する。
【００２７】
前景拡大部１６４は、前景伸長部１６０で得られた縮小前景プレーンを、縮小前の前景プレーンと同じ解像度になるまで拡大することにより、前景プレーンを再生する。ここで、前景拡大部１６４は、マスク縮小部１５８で作成された縮小前景プレーン用の縮小マスクプレーンを参照しつつ、この拡大処理を実行する。
背景拡大部１６６は、背景伸長部１６２で得られた縮小背景プレーンを、縮小前の背景プレーンと同じ解像度になるまで拡大することにより、背景プレーンを再生する。ここで背景拡大部１６６は、マスク縮小部１５８で作成された縮小背景プレーン用の縮小マスクプレーンを参照しつつ、この拡大処理を実行する。なお、前景拡大部１６４及び背景拡大部１６６による拡大処理の詳細は、後で説明する。
【００２８】
一層合成部１６８は、各拡大部１６４及び１６６で求められた前景プレーン及び背景プレーンを、マスク伸長部１５６で求められたマスクプレーンを用いて合成することにより、元の画像を再生する。この合成では、マスクプレーン上で値が“１”の画素は前景プレーンの画素値を採用し、マスクプレーン上で値が“０”の画素は背景プレーンの画素値を採用することにより、画像を構成する。
【００２９】
画像出力部１７０は、このようにして再生された画像を、その画像を処理する所定の装置やアプリケーションソフトウエアに供給する。
【００３０】
以上、本実施形態のシステム構成の一例を説明した。次に、前景縮小部１０８，背景縮小部１１０，前景拡大部１６４，及び背景拡大部１６６で行われる、ビットマップ画像の縮小及び拡大処理について説明する。前述のように、この縮小及び拡大は解像度変換処理と言い換えることができる。解像度変換では、特許文献１の００２５〜００３０段落に例示されるように、画素値を補間により求めることが一般的である。図２は、解像度変換の考え方を説明するための図であり、入力画像２０００から、解像度変換処理によってより低解像度の出力画像２１００を生成する場合を示している。入力画像２０００内に整列した黒い丸印は、該画像２０００の個々の画素（入力画素２０１０と呼ぶ）の位置を示し、出力画像２１００内に整列した白抜きの丸印は、該画像２１００の画素（出力画素２１１０と呼ぶ）の位置を示している。出力画像２１００の方が同じ画像を入力画像２０００よりも少ない画素数で表現することになる。画素ピッチが固定の表示系では、このような低解像度化は画像縮小と等価である。この低解像度化で、出力画像２１００の各画素２１１０の値を求める場合、出力画像２１００を入力画像２０００に合わせて拡大することにより、各出力画素２１１０を入力画像２０００にマッピングする。これにより得られるマッピング結果２２００では、一般に出力画素２１１０は入力画素２０１０に重ならないので、出力画素２１００の値を周囲の入力画素２０１０の値から求めることとなり、この際に４点線形補間や投影法などの補間処理が用いられる。例えば４点線形補間の場合は、出力画素Ｔの値は、周囲の４つの入力画素Ｒ１〜Ｒ４の画素値から求められる。
【００３１】
図２では縮小（低解像度化）の場合を説明したが、拡大（高解像度化）の場合も同様に、出力画像（拡大結果）の各画素の位置を入力画像（拡大前）の座標系にマッピングし、そのマッピングした出力画素位置を基準に、利用する補間方式に応じた参照画素群が入力画像から選択されることになる。
【００３２】
図３は、前景縮小部１０８及び前景拡大部１６４で実行される補間処理の概略的な流れを示すフローチャートである。前景プレーンの縮小又は拡大処理では、補間処理で求めたい出力画像２１００を入力画像２０００の座標系にマッピングしたのち、図３の処理を実行する。
【００３３】
すなわち、まずマッピング結果から出力画素２１１０を１個取り出し（Ｓ１０）、この出力画素２１１０に対応する参照画素を入力画素２０１０群から特定する。参照画素の選び方は、補間方式による。例えば４点線形補間（バイリニア補間とも呼ばれる）の場合は、図２のマッピング結果２２００の領域２２５０に示したように注目する出力画素２１１０の周囲最近傍の４つ入力画素が参照画素に選択され、１６点補間の場合は、その４入力画素の１つ外側の１２個の入力画素も含んだ合計１６個が参照画素に選択される。そして、そのようにして特定した参照画素がそれぞれ前景又は背景のいずれに属するかをマスクプレーンに基づいて判定し、さらにその判定結果に基づき、参照画素すべてが前景に属するか、又は参照画素すべてが背景に属する、かのいずれかが満足されるか否かを判別する（Ｓ１２）。この判定結果が肯定（Ｙ）ならば、従来通りの通常の補間処理を実行する（Ｓ１４）。
【００３４】
ステップＳ１２の判定結果が否定（Ｎ）の場合、出力画素に対応する参照がその中に前景画素と背景画素が混在することになる。この場合、前景プレーンの縮小又は拡大を行う本プロセスでは、それら参照画素のうち前景に属する画素の値のみを用いて補間処理を行う（Ｓ１６）。
【００３５】
すなわち、図３の手順では、出力画素に対応する参照画素の中に１つでも前景プレーンの画素があれば、その出力画素が前景であるものとして取り扱い、それら参照画素のうち前景に属するもののみを用いて補間計算を行っている（逆に言えば背景に属するものは、補間計算の際に参照しない）。
【００３６】
このような補間処理（Ｓ１４又はＳ１６）により、注目する出力画素の値が決まる。以上のステップＳ１０〜Ｓ１６の処理を、マッピングした出力画素のすべてについて繰り返す（Ｓ１８）ことにより、出力画像（すなわち縮小結果又は拡大結果）が形成される。
【００３７】
図４は、背景縮小部１１０及び背景拡大部１６６で実行される補間処理の概略的な手順を示すフローチャートである。背景プレーンの縮小又は拡大処理では、補間処理で求めたい出力画像２１００を入力画像２０００の座標系にマッピングしたのち、図４の処理を実行する。
【００３８】
すなわち、まずマッピング結果から出力画素２１１０を１個取り出し（Ｓ２０）、この出力画素２１１０に対応する参照画素を入力画素２０１０群から特定する。参照画素の選び方は、補間方式による。そして、そのようにして特定した参照画素がそれぞれ前景又は背景のいずれに属するかをマスクプレーンに基づいて判定し、さらにその判定結果に基づき、参照画素すべてが前景に属するか、又は参照画素すべてが背景に属する、かのいずれかが満足されるか否かを判別する（Ｓ２２）。この判定結果が肯定（Ｙ）ならば、従来通りの通常の補間処理を実行する（Ｓ２４）。
【００３９】
ステップＳ２２の判定結果が否定（Ｎ）の場合、出力画素に対応する参照画素の中に前景画素と背景画素が混在することになる。この場合、背景プレーンの縮小又は拡大を行う本プロセスでは、それら参照画素のうち背景に属する画素の値のみを用いて補間処理を行う（Ｓ２６）。
【００４０】
すなわち、図４の手順では、出力画素に対応する参照画素の中に１つでも背景プレーンの画素があれば、その出力画素が背景であるものとして取り扱い、それら参照画素のうち背景に属するもののみを用いて補間計算を行っている（逆に言えば前景に属するものは、補間計算の際に参照しない）。
【００４１】
このような補間処理（Ｓ２４又はＳ２６）により、注目する出力画素の値が決まる。以上のステップＳ２０〜Ｓ２６の処理を、マッピングした出力画素のすべてについて繰り返す（Ｓ２８）ことにより、出力画像（すなわち縮小結果又は拡大結果）が形成される。
【００４２】
図５は、図１のシステム構成における処理の一例を、画像データの変遷により示した図である。以下、この図を参照して、この処理例について説明する。
【００４３】
（ａ）に示すように、送信側装置１００の画像入力部１０２から入力される処理対象の画像データ（オリジナル画像１０００）は、色つきの文字１００２及び１００６と連続調カラー画像１００４とを含んでいる。文字１００２と１００６とは異なる色であるが、図面では色が表現できないため同色で示した。また文字１００６はカラー画像１００４の上に重なっている。
【００４４】
このようなオリジナル画像１０００を、マスク生成部１０４及び前景背景分離部１０６によりＭＲＣの３層画像に分離すると、マスクプレーン１０４０，前景プレーン１０４２及び背景プレーン１０４４が生成される。
【００４５】
このうち前景プレーン１０４２の画像は、前景縮小部１０８により、例えば４点線形補間を用いて縮小（低解像度化）され、縮小前景プレーン１０５２となる。前景縮小部１０８は、この縮小の際、マスクプレーン１０４０を参照して補間処理を行う。
【００４６】
このマスクプレーン１０４０を参照した４点線形補間処理を図６を参照して説明する。
【００４７】
この補間処理では、マッピングされた出力画素Ｔに最も近い４つの入力画素を参照画素Ｒ１〜Ｒ４とし、まずそれら各参照画素が前景、背景のいずれに属するかをマスクプレーン１０４０に基づき判定する。参照画素の画素位置に対応するマスク１０４０の画素の値が“１”であれば、その参照画素は前景に属し、“０”であればその参照画素は背景に属する。
【００４８】
この判定の結果、（１）それら４つの参照画素Ｒ１〜Ｒ４がすべて前景であるか、又はすべて背景である場合は、出力画素Ｔの値は、それら４つの参照画素Ｒ１〜Ｒ４の値を周知の４点線形補間の計算式に代入することにより計算する。すなわち、この場合の補間演算は従来の４点線形補間と変わるところはない。
【００４９】
また、（２）参照画素Ｒ１〜Ｒ４のうち２つ又は３つの画素が前景の場合は、背景に属する１つ又は２つの参照画素の値を、出力画素Ｔに最も近い前景の参照画素の値に置換した上で、それら４つの参照画素の値を４点線形補間の計算式に代入することで、出力画素Ｔの値を求める。出力画素Ｔに最も近い前景の参照画素は、図示のように、参照画素Ｒ１〜Ｒ４を四隅とする矩形を、出力画素Ｔを通りその矩形の各辺に平行な直線で４分割した場合の各部分Ａ，Ｂ，Ｃ，Ｄのうち、前景の参照画素を含む最小面積の部分に対応する参照画素を選択する。図示の例では参照画素Ｒ１がこれに該当する。
【００５０】
そして、（３）参照画素Ｒ１〜Ｒ４のうち１つの画素のみが前景に属する場合は、その画素の値を残りの３つの背景参照画素に当てはめた上で、それら４つの参照画素の画素値を４点線形補間の計算式に代入し、出力画素Ｔの値を計算する。
【００５１】
このように、図６に示す方法では、出力画素Ｔに対応する参照画素群に前景の画素と背景の画素が混在している場合は、背景の画素の値を前景の画素の値に置き換えることで、前景の参照画素の値のみに基づいて出力画素Ｔの値を計算する。
【００５２】
図５の説明に戻り、オリジナル画像１０００から分離されてできた背景プレーン１０４４の画像は、背景縮小部１１０により、例えば投影法補間を用いて縮小（低解像度化）され、縮小背景プレーン１０５４となる。背景縮小部１１０は、この縮小の際、マスクプレーン１０４０を参照して補間処理を行う。
【００５３】
このマスクプレーン１０４０を参照した投影法補間処理を図７を参照して説明する。
【００５４】
投影法では、図７の（１）に示すように、投影法は画素を点ではなく面としてとらえ、入力画像にマッピングした出力画素Ｔが覆う入力画像の各参照画素Ｒ１〜Ｒ９の値を、その各々が覆われる部分の面積比率に応じて加重平均することにより、出力画素Ｔの値を計算する。投影法は、計算処理量が多いものの、高画質が得られる補間法として知られている。投影法自体は周知の手法なので、これ以上の詳細な説明は省略する。なお、図７の例は、出力画素Ｔが参照画素Ｒ１に比べて大きいため、同じ面積では出力画像の方が画素数が少なくなるので、縮小すなわち低解像度化に該当する。
【００５５】
背景縮小部１１０での補間処理では、出力画素Ｔに覆われる各参照画素がすべて前景であるか、すべて背景である場合は、それら各参照画素の値を投影法の計算式に代入することで出力画素Ｔの値を計算する。
【００５６】
一方、（２）に示すように出力画素Ｔに覆われる参照画素に前景の画素と背景の画素が混在する場合は、背景に属する参照画素のみで、投影法の計算を行うことで出力画素Ｔの値を求める。ここで、投影法計算における各画素の面積比率は、背景に属する各参照画素同士の間での比率を用いる。
【００５７】
このようにして作成された縮小前景プレーン１０５２及び縮小背景プレーン１０５４はそれぞれデータ圧縮され、同じく圧縮されたマスクプレーン１０４０と共に、伝送路を介して受信側装置１５０に送信される。
【００５８】
受信側装置１５０では、マスク縮小部１５８が、マスクプレーン１０４０を縮小して、縮小前景プレーン１０５２及び縮小背景プレーン１０５４の解像度に適合した縮小マスク１０５３及び１０５４をそれぞれ作成する。縮小マスク１０５３は、縮小前景プレーン１０５２を作成する場合と同様、マスクプレーン１０４０を参照した４点線形補間を用いて作成する。縮小マスク１０５５は、縮小背景プレーン１０５４を作成する場合と同様、マスクプレーン１０４０を参照した投影法補間を用いて作成する。
【００５９】
前景拡大部１６４は、縮小マスク１０５３を参照して４点線形補間を行うことにより、縮小前景プレーン１０５２を高解像度化し、前景プレーン１０６２を再生する。この処理では、まず、求めたい高解像度の前景プレーン１０６２の各画素（出力画素）を縮小前景プレーン１０５２の座標系にマッピングする。次に、出力画素ごとに、縮小前景プレーン１０５２から最近傍の４個の参照画素を求め、これら各参照画素が前景、背景のどちらであるかを、縮小マスク１０５３を参照して判定する。そして、前景プレーン１０４２の縮小の場合と同様、図６に示したように、出力画素Ｔに対応する縮小前景プレーン１０５２の参照画素すべてが前景又は背景の一方に属する場合は単に４点線形補間演算で出力画素Ｔの値を求め、参照画素に前景と背景の画素が混在する場合は、前景の参照画素の値を背景の参照画素に当てはめた上で４点線形補間演算を行い、出力画素Ｔの値を計算する。
【００６０】
背景拡大部１６６は、縮小マスク１０５５を参照して、１６点補間を行うことにより、縮小背景プレーン１０５４を高解像度化し、背景プレーン１０６４を再生する。この処理では、まず、求めたい高解像度の背景プレーン１０６４の各画素（出力画素）を縮小背景プレーン１０５４の座標系にマッピングする。次に、出力画素Ｔごとに、縮小背景プレーン１０５４からその画素Ｔの最近傍の１６個の参照画素を特定し、それら各参照画素が前景、背景の何れであるかを、縮小マスク１０５５を参照して判定する。そして、出力画素Ｔに対応する各参照画素すべてが前景又は背景の一方に属する場合は、単にそれら各参照画素の値を周知の１６点補間の計算式に代入することで出力画素Ｔの値を求める。一方、１６個の参照画素の中に前景と背景の画素が混在する場合は、前景の参照画素の値を背景の参照画素に当てはめた上で１６点線形補間の計算を行い、出力画素Ｔの値を計算する。
【００６１】
図８には、このマスク参照１６点補間において、参照画素に前景と背景の画素が混在する場合に、前景に属する参照画素に背景に属する参照画素の値を当てはめる方法を例示している。図において、ＦＧは前景に属する参照画素を、ＢＧは背景に属する参照画素を、Ｔはこれら参照画素に基づき値を求める出力画素を、それぞれ示している。（ａ）に示す方法は、４点線形補間と同様の考え方で、１６点の参照画素のうち、出力画素Ｔに最も近い前景の参照画素の値を、背景の参照画素に当てはめるという方法である。一方、（ｂ）に示す方法では、背景の参照画素に、出力画素Ｔを中心としてほぼ点対称の位置にある前景の参照画素の値を当てはめるというものである。（ｂ）の方法では、背景の参照画素の点対称位置の参照画素も背景の画素である可能性があるが、このような場合は、点対象位置の参照画素に最も近い前景の参照画素の値を当てはめるなどの処理を行えばよい。
【００６２】
このような拡大処理により、前景プレーン１０６２及び背景プレーン１０６４が再生されると、一層合成部１６８が、マスクプレーン１０４０の値が“１”である画素については前景プレーン１０６２の画素値を採用し、マスクプレーン１０４０の値が“０”の画素については背景プレーン１０６４の画素値を採用することで、オリジナル画像１０００に対応する再生画像１０７０を合成する。
【００６３】
以上、図１のシステムにおける画像伝送の流れを説明した。この画像伝送処理では、送信側での前景プレーン１０４２の低解像度化と、受信側での縮小前景プレーン１０５２の高解像度化の際、図６に示した処理により、前景と背景の境界部分にマッピングされた出力画素Ｔは、前景の参照画素のみの値を用いて計算されるので、前景すなわち文字・線画部分の画素値を持つことになる。従来の単純な補間方式では、前景と背景との境界部分は、文字・線画部分の色と前景プレーンのドントケア値との中間的な画素値になったのに対し、本実施形態の方式では前景の値を持つことになる。したがって、本実施形態によれば、前景の文字・線画部分の輪郭部分の色の濁りを防止できる。また、上述の処理では、前景と背景の境界に位置する出力画素は前景の画素値を持つことになるので、再生された前景プレーン１０６２では、前景の文字・線画部分の画素領域がオリジナル画像の前景プレーン１０４２よりも若干広がることになる。しかし、マスクプレーン１０４０は正しい文字・線画部分の形状情報を有しているので、このマスクプレーン１０４０で前景プレーン１０６２の文字・線画部分を切り出すことで、形状及び色が正しい文字・線画部分を持つ再生画像１０７０を得ることができる。
【００６４】
また同様に、本実施形態の画像伝送処理では、送信側での背景プレーン１０４４の低解像度化と、受信側での縮小背景プレーン１０５４の高解像度化の際、図７及び図８に示した処理により、前景と背景の境界部分にマッピングされた出力画素Ｔは、背景の参照画素のみの値を用いて計算され、背景部分すなわち「文字・線画以外の部分」の画素値を持つことになる。従来の単純な補間方式では、前景と背景との境界部分は、背景部分の画素値と背景プレーンのドントケア値との中間的な画素値になったのに対し、本実施形態の方式では背景の値を持つことになる。このように、本実施形態によれば、背景と前景の境界の色の濁りを防止できる。また、上述の処理では、前景と背景の境界に位置する出力画素は背景の画素値を持つことになるので、再生された背景プレーン１０６４では、背景部分の画素領域がオリジナル画像の背景プレーン１０４４の場合よりも若干広がることになる。しかし、マスクプレーン１０４０は背景部分の正しいの形状情報を有しているので、このマスクプレーン１０４０で背景プレーン１０６４の背景部分を切り出すことで、形状及び｀色が正しい背景部分を持つ再生画像１０７０を得ることができる。
【００６５】
以上説明したように、図１に示したシステムによれば、ＭＲＣの前景及び背景を低解像度化して伝送することにより伝送データ量を削減する場合に、受信側で再生した画像において、文字・線画部分とその背景との境界近傍の色が元の画像の対応部分の色からずれてしまうのを防止することができる。
【００６６】
以上の説明では、前景プレーンの低解像度化及び高解像度化には４点線形補間を用い、背景プレーンの低解像度化には投影法補間、高解像度化には１６点補間を用いた。しかし、これはあくまで一例にすぎない。本発明の手法は、各プレーンをどのような補間手法により解像度変換を行う場合にも適用可能である。
【００６７】
また以上の説明では、受信側装置１５０の前景拡大部１６４は、出力画素Ｔに対応する参照画素群の中に前景の画素が１つでもあれば、その出力画素Ｔが前景に属すると判別し、背景の参照画素に対して前景の参照画素の値を当てはめて補間演算を行った。しかし、図１のシステムでは、受信側装置１５０は、送信側装置１００からマスクプレーン１０４０を取得しているので、このマスクプレーン１４０上で出力画素Ｔに対応する画素の値を調べることで、その出力画素Ｔが前景か背景かを判別することもできる。
【００６８】
さらにいえば、本発明の手法は、最近傍法（ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒｍｅｔｈｏｄ）など、補間演算を伴わない解像度変換にも適用可能である。すなわち、補間を行わない解像度変換では、解像度変換後の画素Ｔに対応する画素Ｒを解像度変換前の画像から１つ選び、その画素Ｒの値を画素Ｔの値に当てはめるが、このような変換処理でも、例えば次のようにして本発明を適用することができる。
【００６９】
最近傍法の場合、変換前の画像の画素のうち変換後の画素Ｔにもっとも近い画素Ｒを選ぶ。このような解像度変換に本発明の手法を適用するには、変換後の画像の画素Ｔに対応する変換前の画像の画素Ｒを選択する際、変換対象が前景プレーンであるか背景プレーンであるかに応じて、画素Ｒを選択する際の選択範囲を制御すればよい。すなわち、この処理では、変換後の画像の各画素を図２で説明したごとく変換前の画像にマッピングした上で、変換前の画像からその変換後の画像の画素Ｔに近い順に４つの画素を参照画素として抽出する。そして、前景プレーンを解像度変換する場合は、変換後の画素Ｔに対応するそれら４つの参照画素の中に１つでも前景の画素があれば、参照画素のうちの前景の画素の中から、最も近い画素を画素Ｒとして選択する。参照画素がすべて背景の画素であれば、通常通りもっとも近い参照画素を画素Ｒとして選択する。背景プレーンの場合も同様に、参照画素の中に背景に属するものがあれば、それら背景に属する参照画素の中から最も近い画素を画素Ｒとして選択する。
【００７０】
以上、最近傍法の場合を説明したが、他の方法を用いる場合でも、同様の考え方で処理可能である。例えば、変換後の画素Ｔに対して複数の参照画素を選択する選択規則を規定しておき、その選択規則に従って選択した参照画素の中に、変換の際に色濁りしてほしくない領域（前景プレーンの変換の場合は、その中の文字・線画部分）に属するものがあれば、その中から画素Ｒを選択するという手順をとればよい。
【００７１】
また、以上の説明では、受信側装置１５０でマスクプレーン１０４０を縮小前景プレーンや縮小背景プレーンの解像度に合わせて縮小したが、このマスク縮小処理を送信側装置１００で行い、この結果生成された縮小マスクのデータを画像の符号化データとともに受信側装置１５０に送信してもよい。
【００７２】
また、以上の説明では、受信側装置１５０は低解像度化していないマスクプレーン１０４０を送信側装置１００から受け取ってプレーン合成に用いたが、送信側装置１００から受信側装置１５０に対しある程度低解像度化したマスクプレーンを提供し、受信側装置１５０がその低解像度のマスクプレーンから元の解像度のマスクプレーンを再生するようなシステムにも、本発明は本発明の手法は適用可能である。
【００７３】
また、以上の説明では、解像度変換の際、出力画素Ｔに対応する参照画素群の中に前景の画素と背景の画素が混在する場合は、それら参照画素群のうち変換対象のプレーンにおいて意味を持つ画素の値のみを用いて補間演算を行った。しかしながら、これはあくまで一例である。この代わりに、参照画素に前景画素と背景画素が混在する場合、それら参照画素のうち変換対象のプレーンにおいて意味を持つ画素の値が、そのプレーンで意味を持たない画素（ドント・ケア画素）の値よりも大きい重み付けとなる補間演算を行う方式も可能である。図９はこの方式による前景プレーンの解像度変換処理の概略手順を示す図である。図９において、図３の手順と同じ処理を行うステップについては、同じ符号を付して説明を省略する。図９の手順では、ステップＳ１２で参照画素群に前景と背景の画素が混在すると判定した場合、前景の参照画素の値が背景の参照画素よりも強く出力画素値に反映される補間演算アルゴリズムを用いて、補間を行う。背景プレーンの解像度変換も、これと同様の考え方で行えばよい。このような方式でも、前景と背景の境界部分の出力画素Ｔは、前景プレーンの場合は前景の参照画素に近い値になり、背景プレーンの場合は背景の参照画素に近い値となるため、解像度変換時の色濁りが緩和される。このような補間演算としては、例えば、参照画素群に前景と背景の画素が混在しない場合に用いるのと同じ補間計算式に対し、変換対象のプレーンで意味のある参照画素の値には大きい重みを乗じて代入し、意味のない参照画素の値にはそれよりも小さい重みを乗じて代入する、という演算処理を用いることができる。また、別の方法として、参照画素群に前景と背景の画素が混在しない場合には従来と同様の補間計算式を用い、混在する場合には、変換対象プレーンで意味のある画素の値が意味のない画素の値よりも、出力画素Ｔの値に強く反映する別の補間計算式を用いる、という方法も可能である。
【００７４】
次に、ＭＲＣを用いない一般的な画像の圧縮伝送に本発明を適用したシステムの例を、図１０〜図１２を参照して説明する。
【００７５】
このシステムは、画像を低解像度化して伝送する場合において、その画像に含まれる所定の特徴部分の色濁りを防止するためのものである。特徴部分としては、例えば画像のエッジ（輪郭）部分や、画像に含まれる文字・線画部分などをあげることができる。
【００７６】
このシステムの送信側装置２００は、画像入力部２０２，画像特徴抽出部２０４，縮小処理部２０６，画像特徴圧縮部２０８，画像圧縮部２１０，フォーマット部２１２，送信部２１４を備える。この装置２００において、画像特徴抽出部２０４は、画像入力部２０２から入力されたオリジナルのビットマップ画像から、所定の特徴部分を抽出する。所定の特徴部分として画像のエッジ部分を抽出する場合、画像特徴抽出部２０４は、例えば公知のエッジ検出オペレータを用いることで、エッジに該当する画素を求める（オペレータを用いる方式以外の公知のエッジ検出処理を用いてももちろんよい）。これにより、オリジナル画像の各画素が、エッジ上の画素（エッジ画素と呼ぶ）か、それ以外の画素（非エッジ画素と呼ぶ）かを示す情報が得られる。この情報は、例えばエッジ画素は値“１”を持ち、非エッジ画素は値“０”を持つ２値画像として表すことができる。また、特徴部分として文字・線画部分を抽出する場合は、ＭＲＣのマスク作成と同様の手法を用いればよい。
【００７７】
縮小処理部２０６は、オリジナル画像を指定された解像度まで縮小する手段であり、この縮小処理の際、画像特徴抽出部２０４で求められた特徴部分の情報を参照して縮小結果の画素値を計算する。この計算処理については後で説明する。
【００７８】
画像特徴圧縮部２０８は、画像特徴抽出部２０４で抽出された特徴部分の情報を所定の方式でデータ圧縮する。画像圧縮部２１０は、縮小処理部２０６で縮小された画像を圧縮する。圧縮された特徴部分の情報と、圧縮された縮小画像とは、フォーマット部２１２によって所定の伝送フォーマットにまとめられ、送信部２１４から出力される。
【００７９】
受信側装置２５０は、受信部２５２、フォーマット解凍部２５４、特徴部分伸長部２５６、画像特徴縮小部２５８、画像伸長部２６０、拡大処理部２６２，及び画像出力部２６４を備える。受信部２５２により送信側装置２００から受信された伝送情報から、特徴部分の情報と画像の圧縮データをそれぞれ取り出す。特徴部分伸長部２５６は、その特徴部分の情報の圧縮データを伸長する。画像特徴縮小部２５８は、伸長処理により復元された特徴部分の情報を、縮小画像の解像度に適合するように低解像度化する。すなわち、特徴部分の情報は縮小前の元の画像の各画素が所定の特徴部分であるか否かを示す情報であったが、画像特徴縮小部２５８は、この情報から、縮小画像の各画素が所定の特徴部分に該当するか否かを示す情報を作成する。この低解像度化は、縮小処理部２０６と同様の処理で実現できる。画像伸長部２６０は、圧縮された縮小画像をデータ伸長する。拡大処理部２６２は、復元された縮小画像を元の画像の解像度まで拡大する。この拡大処理の際、拡大処理部２６２は、画像特徴縮小部２５８で低解像度化された特徴部分の情報を参照する。この拡大の計算処理については、後で説明する。画像出力部２６４は、このようにして元の解像度まで拡大された画像を出力する。
【００８０】
次に図１１を参照して、送信側装置２００の縮小処理部２０６、及び受信側装置２５０の拡大処理部２６２が実行する補間処理の手順を説明する。図１１の手順は、画像の特徴部分としてエッジ部分を採用した場合の例である。図１１の手順も図３と同様、縮小または拡大の結果である出力画像を、縮小又は拡大の前の入力画像にマッピングした後の手順を示している。
【００８１】
この手順では、マッピングした出力画像から出力画素を１つ取りだし（Ｓ３０）、入力画像中でその出力画素に最も距離が小さい画素（最近傍画素と呼ぶ）を特定し、その最近傍画素がエッジ画素であるかどうかを、特徴部分の情報を参照して判定する（Ｓ３２）。この判定で、最近傍画素がエッジ画素と判定された場合は、その出力画素に対応する入力画像の参照画素のうち、エッジ画素である参照画素の値のみを用いて補間演算を行うことで、その出力画素の値を求める（Ｓ３４）。また、ステップＳ３２の判定で最近傍画素が非エッジ画素であると判定された場合では、参照画素のうち非エッジ画素である参照画素の値のみを用いて補間演算を行うことで、その出力画素の値を求める（Ｓ３６）。
【００８２】
これらステップＳ３４及びＳ３６では、参照画素がすべてエッジ画素か、すべて非エッジ画素である場合は、それら参照画素の値をそのまま補間計算式に代入して従来通りの計算を行う。また、参照画素の中にエッジ画素と非エッジ画素が混在する場合は、出力画素に最近傍の参照画素がエッジ画素である場合は、その出力画素がエッジ画素であると見なし、エッジ画素である参照画素のみに基づいて補間を行い、最近傍の参照画素が非エッジ画素である場合は、非エッジの参照画素のみに基づいて補間を行う。エッジ、非エッジが混在する場合の補間処理は、図６〜図８に例示した手法などを用いればよい。
【００８３】
以上の処理において、ステップＳ３２の判定は、出力画素がエッジ画素なのか非エッジ画素なのかを判定する処理と考えることができる。そして、図１１の手順では、出力画素がエッジ画素なら、ステップＳ３４でエッジ画素である参照画素のみを用いて出力画素値を計算し、出力画素が非エッジ画素なら、非エッジ画素である参照画素のみを用いて出力画素値を計算する。
【００８４】
このようなステップＳ３０〜Ｓ３６の処理を全出力画素について繰り返すことにより、縮小又は拡大結果の画像を求めることができる。
【００８５】
図１１の手順は、出力画素に最も近い参照画素がエッジ画素か否かに応じて出力画素がエッジ部分に属するか否かを判定したが、これは一例にすぎない。図１２に、参照画素におけるエッジ画素と非エッジ画素の比率を考慮した別の手順の例を示す。図１２の手順は、出力画素の周囲最近傍の４つの入力画素を参照画素に用いる補間演算を行う場合の例である。
【００８６】
図１２の手順では、画素値演算対象の出力画素を１つ選択し（Ｓ４０）、その出力画素に対応する４つの参照画素各がエッジ画素か否かを、特徴部分の情報を参照して判定する。次に、それら４つの参照画素のうちエッジ画素が３以上か否かを判定する（Ｓ４２）。エッジ画素が３以上であれば、出力画素がエッジ部分に属すると判断し、エッジ画素に該当する参照画素のみの値を用いて補間演算を行うことで出力画素の画素値を計算する（Ｓ４４）。ステップＳ４２で参照画素のうちのエッジ画素が３未満と判定された場合、それら参照画素のうち非エッジ画素が３以上か否かを判定する（Ｓ４６）。この判定で参照画素のうちの３以上が非エッジ画素と判定された場合は、出力画素がエッジ部分に属さないと判断し、非エッジ画素の参照画素のみの値を用いて補間演算を行い、出力画素の画素値を計算する（Ｓ４８）。ステップＳ４６で参照画素のうち非エッジ画素が３未満と判定された場合、４つの参照画素のうち２つがエッジ画素で残りの２つが非エッジ画素である。この場合は、出力画素に最も近い参照画素がエッジ画素か非エッジ画素かを判定する（Ｓ５０）。そして、この判定で最も近い参照画素がエッジ画素であると判定された場合は、出力画素がエッジに属すると判断してステップＳ４４の補間処理を行う。また、ステップＳ５０で出力画素に最も近い参照画素が非エッジ画素と判定された場合は、出力画素がエッジに属さないと判断してステップＳ４８の補間処理を行う。以上のステップＳ４０〜Ｓ５０の処理をすべての出力画素に対して繰り返すことで（Ｓ５２）、画像の解像度変換が行われる。
【００８７】
図１１及び図１２では、画像の特徴部分としてエッジを用いた場合の処理手順を示したが、他の特徴部分（例えば文字・線画部分）を用いる場合も同様の手順でよい。
【００８８】
以上説明したように、図１０のシステム構成によれば、画像を縮小すなわち低解像度化する際に画像の特徴部分の情報を参照し、出力画素がその特徴部分に属するか否かを判定する。そして、特徴部分に属すると判定した場合は、その特徴部分に属する参照画素の値のみを用いて（すなわち特徴部分に属さない参照画素は用いずに）補間演算を行う。この処理によれば、補間の際、特徴部分に属する出力画素に対して、特徴部分に属さない参照画素の値が影響しない。したがって、解像度変換を行っても特徴部分の色を元の色に近い色に保つことができる。また、図１０のシステムでは、出力画素が特徴部分に属さないと判定した場合、参照画素のうち特徴部分に属さないもののみの値を用いて補間処理を行うので、画像の非特徴部分に特徴部分の色が影響することを防止できる。
【００８９】
以上では、出力画素が画像の特徴部分に属する場合には、同じく特徴部分に属する参照画素のみを用いて補間を行ったが、この代わりに、特徴部分に属する参照画素が、特徴部分に属さない参照画素よりも大きい重み付けとなる補間演算を行う方式も好適である。
【００９０】
以上、画像の解像度変換を伴う画像伝送システムに本発明を適用したシステム構成例を説明した。しかし、本発明の適用はこのような場合に限られず、変換後の画像の画素の値を、その画素に対応する変換前の画像の１以上の参照画素の値から計算する変換処理一般に適用可能である。
【００９１】
例えば図１３は、画像の幾何学的変換処理に本発明を適用した装置構成例を示している。幾何学的変換には、例えば画像の回転や平行移動、拡大、縮小、あるいはより一般的なアフィン変換などが含まれる。前述の解像度変換（縮小及び拡大）も幾何学的変換の一種である。このような幾何学的変換の場合も、前述の解像度変換の場合と同様、変換後の画像の画素（出力画素と呼ぶ）を、その変換に応じて変換前の画像にマッピングし、変換前の画像においてその出力画素の近傍にある参照画素群から、その出力画素の値を補間する。したがって、幾何学的変換処理に対しても、本発明の手法を適用することで、画像の特徴部分と非特徴部分の境界に位置する出力画素の色濁りを防止又は緩和できる。
【００９２】
図１３の画像処理装置３００の画像特徴抽出部３０４は、画像入力部３０２から入力されたビットマップ画像から、図１０の送信側装置２００の画像特徴抽出部２０４と同様にして、所定の特徴部分を抽出する。幾何学的変換部３０６は、そのビットマップ画像に対し、所定の幾何学変換を施す。この変換の際、幾何学的変換部３０６は、画像特徴抽出部３０４で生成された特徴部分の情報を参照することで出力画素がその特徴部分に属するか否かを判定し、特徴部分に属すると判定した場合は、入力画像においてその出力画素に対応する参照画素のうち、その特徴部分に属する参照画素の値のみを用いて補間演算を行う。また、非特徴部分に属する出力画素の値を、非特徴部分に属する参照画素のみから求めるようにすることも好適である。この補間処理の詳細は、図１０のシステムにおける縮小処理部２０６や拡大処理部２６２で行われる補間処理と同様でよい。この補間演算により、幾何学的変換後の画像が求められると、これが画像出力部３０８から出力される。
【００９３】
この図１３の装置でも、画像の特徴部分の画素の値は、その特徴部分に属する参照画素の値のみから求められるので、特徴部分の色が非特徴部分の色と混ざって濁ってしまうことを防止できる。
【００９４】
なお、幾何学的変換部３０６の処理の別の例としては、特徴部分に属する参照画素が、特徴部分に属さない参照画素よりも大きい重み付けとなる補間演算を行う方式があり、この方式でも特徴部分の色濁りを緩和できる。
【００９５】
図１４に示す画像処理装置２５０は、局所オペレータを用いた画像のフィルタ処理に対して本発明の手法を適用した装置構成である。局所オペレータを用いたフィルタ処理では、画像の注目画素に対して複数の参照画素（一般に注目画素の近傍の画素群）が規定され、それら参照画素の値をそのオペレータに代入することで注目画素の画素値を決定する。これは、これまで説明してきた補間演算と似ており、本発明の手法が適用可能である。フィルタ処理の好適な例としては、例えば平均値フィルタやメディアンフィルタなどによる平滑化処理が挙げられる。
【００９６】
図１４の画像処理装置３５０の画像特徴抽出部３５４は、画像入力部３５２から入力されたビットマップ画像から、図１０の送信側装置２００の画像特徴抽出部２０４と同様にして、所定の特徴部分を抽出する。フィルタ処理部３５６は、そのビットマップ画像に対し、所定のフィルタ処理を施す。このフィルタ処理の際、フィルタ処理部３５６は、画像特徴抽出部３５４で生成された特徴部分の情報を参照することで、出力画素がその特徴部分に属するか否かを判定し、特徴部分に属すると判定した場合は、入力画像においてその出力画素に対応する参照画素のうちその特徴部分に属する参照画素の値のみを用いてフィルタ演算を行う。この演算において、参照画素群の中に特徴部分の画素と非特徴部分の画素が混在する場合、出力画素が特徴部分の画素であれば、例えば、特徴部分に属する参照画素の値を、図６に示したのと同様の方法で非特徴部分に属する参照画素の値にコピーしたあと、これら各参照画素の値を当該フィルタ処理を表すオペレータに入力すればよい。また同様に、非特徴部分に属する出力画素の値を、非特徴部分に属する参照画素のみから求めるようにすることも好適である。フィルタ処理部３５６により処理された画像は、画像出力部３５８から出力される。
【００９７】
このように図１４の装置によれば、画像の特徴部分の画素は、対応する参照画素のうち特徴部分に属するもののみに基づき処理されるので、特徴部分の色濁りを防止できる。例えば文字・線画部分を含む画像を平滑化する場合、従来の一般的な平滑化処理では、文字・線画部分の輪郭の画素の値が背景の画素の値の影響を受けるため、輪郭のぼけを引き起こしていた。これに対し、図１４の装置では、文字・線画部分を特徴部分とすれば、その文字・線画部分の画素のフィルタ結果の値は、文字・線画以外の部分に属する参照画素の値の影響を受けないので、文字・線画部分のぼけを防止できる。
【００９８】
なお、フィルタ処理部３５６の処理の別の例として、特徴部分に属する参照画素が、特徴部分に属さない参照画素よりも大きい重み付けとなるフィルタ演算を行う方式があり、この方式でも特徴部分の輪郭の色濁りやぼけを緩和できる。
【００９９】
図１５は、ＪＰＥＧを用いた画像伝送システムに本発明の手法を適用したシステム構成例を示す。
【０１００】
周知のように、ＪＰＥＧ画像圧縮では、画像を輝度成分と色差成分に分離し、色の変化に鈍感な人間の視覚の特徴を利用して、輝度成分を色差成分よりも低い割合でサブサンプリングする。このサブサンプリングでは、例えば、隣接する２画素や２×２＝４画素で色差成分の値を平均化することで、色差成分のデータ量を１／２又は１／４に低減している。このサブサンプリングは、上述の実施例における低解像度化に近い処理といえる。図１５のシステムでは、この色差成分のサブサンプリングに本発明の手法を適用している。
【０１０１】
このシステムの送信側装置４００では、画像入力部４０２に入力されたビットマップ画像は、画像特徴抽出部４０４に供給される。画像特徴抽出部４０４は、この入力画像から、図１０のシステムにおける画像特徴抽出部２０４と同様の処理にて、所定の特徴部分を抽出し、その特徴部分を示す情報を生成する。また、入力されたビットマップ画像は、輝度データＬ＊と２つの色差データａ＊、ｂ＊とに分離され、輝度データＬ＊はＪＰＥＧ圧縮部４１０へ、色差データａ＊、ｂ＊は色差サブサンプリング部４０６及び４０８をそれぞれ介してＪＰＥＧ圧縮部４１０へ入力される。
【０１０２】
色差サブサンプリング部４０６及び４０８では、色差データａ＊、ｂ＊の画素の値を、あらかじめ設定されたサンプリングレートでサブサンプリングする。ここで各サブサンプリング部４０６及び４０８は、画像特徴抽出部４０４で求められた特徴部分の情報を参照し、例えば、平均化する隣接２画素又は隣接４画素の中に１つでも特徴部分に属する画素があれば、それら特徴部分の画素のみの平均値をそれら隣接画素群に対応するサブサンプリング結果とする。
【０１０３】
この処理では、平均化する隣接画素群に１つでも特徴部分の画素があれば、サブサンプリング結果の画素を特徴部分として取り扱っているが、これはあくまで一例である。このほかにも、例えば、平均化する隣接画素群の中での特徴部分の画素の割合に基づき、サブサンプリング結果の画素が特徴部分に属するか否かを判定することもできる。すなわち例えば、平均化対象の隣接画素のうち、半数以上が特徴部分に属する場合にはサブサンプリング結果の画素が特徴部分に属すると判定するなどである。
【０１０４】
また、サンプリング結果の画素が特徴部分に属すると判定した場合、上述の処理では平均化対象の画素のうち特徴部分の画素のみを平均したが、この代わりに、特徴部分の画素に非特徴部分よりも大きい重み付けを行って加重平均してもよい。
【０１０５】
ＪＰＥＧ圧縮部４１０は、このようにして生成された色差データａ＊、ｂ＊のサブサンプリング結果と、輝度データＬ＊とをＪＰＥＧの圧縮アルゴリズムにしたがって圧縮する。このようにして圧縮されたＪＰＥＧファイルが、送信部４１２から受信側装置４５０へと送信される。
【０１０６】
このＪＰＥＧファイルは受信側装置４５０の受信部４５２で受信される。ＪＰＥＧ解凍部４５４は、そのＪＰＥＧファイルをデータ伸長し、色差データａ＊、ｂ＊及び輝度データＬ＊に分離する。このうち、色差データａ＊、ｂ＊は、色差アップサンプリング部４５６及び４５８により、元の画像の解像度までアップサンプリングされる。画像出力部４６０は、このようにアップサンプリングされた色差データａ＊、ｂ＊と、輝度データＬ＊とから、カラー画像を構成して出力する。
【０１０７】
このシステムによれば、色差成分のサブサンプリングの際に、特徴部分の色が特徴部分以外の色と混じって濁ってしまうことを防止できる。
【０１０８】
なお、このシステムにおいて、画像特徴抽出部４０４で抽出された画像の特徴部分の情報を送信部４１２によりＪＰＥＧファイルと対応づけて受信側装置４５０に送信することも好適である。この場合、受信側装置４５０では、アップサンプリング部４５６及び４５８がこの特徴部分の情報を参照してアップサンプリングを行うことで、アップサンプリング時の色濁りを低減できる。
【０１０９】
以上に説明した例は、いずれも画像を二分するものであった（文字・線画部分とそれ以外、又は特徴部分とそれ以外）。しかしながら、本発明は、画像を３以上の領域に分割する場合にも適用可能である。すなわち、３つ以上の領域に分割した場合でも、出力画素がどの領域に属するかを領域分けの情報から判別し、その出力画素が属する領域の参照画素がその領域以外の参照画素よりも強く影響する変換演算を用いて出力画素の値を計算することで、領域同士の境界部分の画素の色濁りを低減できる。
【０１１０】
以上に説明した送信側装置、受信側装置、及び画像処理装置は、例えば上記各機能モジュールの機能を示すプログラムをコンピュータに実行させることによって実現することができるし、１つのハードウエアロジック回路、または複数のハードウエアロジック回路の組み合わせにより実現することもできる。また、それら機能モジュールうちの一部をハードウエア回路で実現し、残りをソフトウエアにより実現する装置構成も考えられる。
【図面の簡単な説明】
【図１】ＭＲＣを用いる画像伝送システムに本発明を適用したシステム構成の一例を示す図である。
【図２】解像度変換を説明するための図である。
【図３】前景縮小部及び前景拡大部で実行される補間処理の概略的な流れを示すフローチャートである。
【図４】背景縮小部及び背景拡大部で実行される補間処理の概略的な流れを示すフローチャートである。
【図５】図１のシステム構成における処理内容を、画像データの変遷により示した図である。
【図６】マスクプレーンを参照する４点線形補間処理を説明するための図である。
【図７】マスクプレーンを参照する投影法補間処理を説明するための図である。
【図８】マスクプレーンを参照する１６点補間処理を説明するための図である。
【図９】前景縮小部及び前景拡大部で実行される補間処理の別の例を示すフローチャートである。
【図１０】ＭＲＣを用いない画像の圧縮伝送に本発明を適用したシステムの構成例を示す図である。
【図１１】図１０のシステムの縮小処理部及び拡大処理部で行われる補間処理の概略的な流れを示すフローチャートである。
【図１２】図１０のシステムの縮小処理部及び拡大処理部で行われる補間処理の別の例を示すフローチャートである。
【図１３】本発明に係る画像処理装置の一例を示す図である。
【図１４】本発明に係る画像処理装置の別の例を示す図である。
【図１５】ＪＰＥＧ画像伝送システムに本発明を適用したシステム構成例を示す図である。
【図１６】ＭＲＣを用いた画像伝送を説明するための図である。
【符号の説明】
１００送信側装置、１０２画像入力部、１０４マスク生成部、１０６前景背景分離部、１０８前景縮小部、１１０背景縮小部、１１２前景圧縮部、１１４背景圧縮部、１１６マスク圧縮部、１１８フォーマット部、１２０送信部、１５０受信側装置、１５２受信部、１５４フォーマット解凍部、１５６マスク伸長部、１５８マスク縮小部、１６０前景伸長部、１６２背景伸長部、１６４前景拡大部、１６６背景拡大部、１６８一層合成部、１７０画像出力部、１０００オリジナル画像、１００２，１００６色つき文字、１００４連続調カラー画像、１０４０マスクプレーン、１０４２（縮小前の）前景プレーン、１０４４（縮小後の）背景プレーン、１０５２縮小前景プレーン、１０５３，１０５５縮小マスク、１０５４縮小背景プレーン、１０６２（再生した）前景プレーン、１０６４（再生した）背景プレーン、１０７０再生画像。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to processing of a bitmap image, and more particularly to conversion processing of obtaining pixel values of an output image from a plurality of reference pixels of an input image, such as interpolation processing.
[0002]
[Prior art]
2. Description of the Related Art In recent years, in addition to facsimile communication using a public line, image communication using a network such as a public line and a LAN has been actively performed. Devices for transmitting and receiving image data include not only facsimile devices but also various devices such as personal computers, multifunction digital copiers, and network printers. In recent years, the colorization of these devices has progressed, and color faxes and color printers are becoming mainstream.
[0003]
When exchanging image data via a network, usually, the type of an input document image is determined, image processing suitable for the document is performed on the entire image, and the image is transmitted to an output device. When the entire original image is handled as described above, there is no particular problem as long as the original image is composed of only one type of image data such as only characters or only photographs. However, inconvenience occurs when the image data is composed of image data having a plurality of attributes such as a mixture of characters and photographs. For example, if you try to compress image data that contains both text and photos, the same process is applied to both the text and photos, so depending on the compression method applied, either the text or the photo may be compressed. The rate is reduced, or any image quality is degraded.
[0004]
In order to solve such a problem, ITU-T Recommendation T. In an MRC (Mixed Raster Content) defined in 44, image data in which a character / line drawing and a continuous tone pattern such as a photograph are mixed is indicated by a background plane, a foreground plane, or both of them. A method is defined in which a plane is divided into a total of three layers, that is, a mask plane, and each plane is individually compression-encoded. This ITU-T Recommendation T. According to 44, the character / line drawing portion and the picture portion can be separated into separate planes, and each plane can be compression-encoded by a compression encoding method suitable for the characteristics of the image data included in each plane. For example, the plane of the picture portion is in accordance with ITU-T Recommendation T. 81, compression encoding is performed by a lossy compression method such as the JPEG method, and the plane of the character / line drawing portion is in accordance with ITU-T Recommendation T.81. And compression encoding by a reversible compression method such as the MMR method shown in Japanese Patent Application Laid-Open No. H10-106 (see Patent Documents 1 to 4). Patent Documents 3 and 4 propose specific methods of plane separation.
[0005]
As described above, the technique of separating image data in which characters / line drawings and pictures are mixed into three layers of image data planes according to the local characteristics and selectively switching the compression encoding method for each plane is disclosed in JPEG. There is an advantage that the compression image quality can be kept high while the compression efficiency is improved as compared with the case where the text / photo mixed image data is compressed by the method alone.
[0006]
Further, by lowering the resolution of each of the separated planes, the data compression ratio is further increased. Further, Patent Documents 1 and 2 disclose, for each plane, a resolution conversion according to the characteristics of the plane. Is disclosed.
[0007]
That is, in these conventional techniques, as shown in FIG. 16, (a) the transmitting side first separates the original image 1000 to be transmitted into three planes of a mask 1010, a foreground 1012, and a background 1014. Here, the original image 1010 includes a colored character portion 1002 and a continuous tone color pattern portion 1004. The mask 1010 generated from this is a binary image in which the area of the character portion 1002 is 1 and the other areas are 0. The foreground 1012 is used as a color palette of the character portion 1002, and an area including the character portion 1002 is generated as an image set to the color of the character portion 1002. In the foreground 1012, pixels other than the color pallet area are not referred to when the image is reproduced on the receiving side (don't care), so that an appropriate pixel value is set. In the illustrated example, the area of the character portion 1002 itself is used as the area of the color palette. The background 1014 is a plane that holds the picture portion 1004. Since the pixels of the character portion 1002 in the background 1014 are not referred to at the time of image reproduction, an appropriate value is set. (B) The transmitting side reduces the resolution of the foreground 1012 and the background 1014 among these three planes by predetermined reduction processing such as nearest neighbor reduction, four-point interpolation reduction, projection reduction, and the like. Then, the reduced background 1024 and the mask 1010 that is not subjected to resolution conversion are each compressed by a predetermined compression method and then sent to the receiving side. (C) On the receiving side, the compressed data of each plane is decompressed according to the corresponding compression method. Then, the reduced foreground 1022 and the reduced background 1024 are each expanded to the original resolution, and the resulting foreground 1032 and background 1034 are combined according to the mask 1010 to generate a reproduced image 1030.
[0008]
[Patent Document 1]
JP-A-11-122479
[Patent Document 2]
JP-A-11-150654
[Patent Document 3]
JP 2000-101302 A
[Patent Document 4]
JP 2000-175051 A
[0009]
[Problems to be solved by the invention]
As described above, when the image of each plane of the MRC is converted to a low resolution and transmitted, and the receiving side returns to the original resolution, the image becomes turbid, particularly in the vicinity of the foreground and background contours. There was a case. That is, in the interpolation processing at the time of reduction at the time of transmission or enlargement at the time of reception, the pixel value of the contour part of the character part or the picture part is changed to the value of the character part or the picture part of the original image (the image before reduction or before enlargement). Since the calculation is performed with reference to not only the pixels but also the pixels in the vicinity of the don't care area, the pixel values are different from the original pixel values. See paragraph). In particular, in a processing system that creates the color pallet area of the foreground 1012 as the same shape and size as the character part 1002 as shown in FIG. 16, pixels near the contour of the character part of the foreground 1032 reproduced on the receiving side are surrounded by surrounding pixels. Since the value also reflects the value of the don't care pixel, the color becomes turbid, and even if this is masked by the mask 1010 having the shape of the character portion, the turbid color portion of the character outline appears in the reproduced image 1030. In the case of characters and line drawings, such color turbidity near the contour deteriorates the appearance of the reproduced image 1030. In particular, in the case of a character / line drawing including a thin line portion, the thin line portion has a different color from that of the thick line portion, and a problem such as a series of characters / line drawings appearing to be separated in the middle occurs.
[0010]
This problem does not occur in a system that creates a region sufficiently larger than the character portion 1002 as the color pallet region of the foreground 1012, but the method of cutting out the character portion itself and creating the foreground 1012 is easy to calculate (if the mask 1010 is created, , Which can be created almost immediately), so many systems implement this method.
[0011]
The problem of the color turbidity of the outline of a character or the like due to the resolution conversion of the MRC has been described above. In the case of performing a general conversion process such as an interpolation process for calculating the pixel values of the output image from the values of a plurality of reference pixels of the input image. In addition, there is a possibility that such a problem of color turbidity of the outline portion occurs.
[0012]
[Means for Solving the Problems]
The present invention has been made in order to solve such a problem, and an object of the present invention is to provide an image processing apparatus capable of preventing or reducing color turbidity of a contour portion during conversion processing.
[0013]
The image processing apparatus according to the present invention refers to first area division information including information on whether each pixel of the input digital image belongs to the attention area in order to generate an output digital image from the input digital image. Determining means for each output pixel of the output digital image to determine whether or not the output pixel corresponds to a predetermined region of interest of the input digital image, and outputting the value of the output pixel of the output digital image to its output. A conversion unit that generates an output digital image from an input digital image by a predetermined calculation process obtained from a value of one or more reference pixels of the input digital image corresponding to the pixel, the conversion unit corresponding to the attention area in the output image. For the output pixel, the value of the reference pixel belonging to the region of interest among the reference pixels corresponding to the output pixel is output stronger than the reference pixel not belonging to the region of interest. Using a calculation process that affect the value of the element, including the value of the reference pixel conversion means for calculating the value of the output pixel, the.
[0014]
In this device, the value of the output pixel corresponding to the attention area is a value that is more strongly affected by the reference pixels belonging to the attention area than the reference pixels not belonging to the attention area. Therefore, in this device, when calculating the value of the output pixel in which the pixel belonging to the attention area and the pixel not belonging to the corresponding reference pixel group are mixed, the value of the output pixel is the value of the reference pixel belonging to the attention area. , The change due to the conversion of the pixel value of the contour portion of the attention area can be prevented or reduced. For example, considering an example in which the resolution conversion is performed on the foreground plane of the MRC, a group of pixels having a meaningful value in the foreground plane corresponds to the “attention area”.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention (hereinafter, referred to as embodiments) will be described with reference to the drawings.
[0016]
FIG. 1 is a functional block diagram showing an example of the image transmission system according to the present invention. This system is based on ITU-T Recommendation T.30. This is based on the MRC (Mixed Raster Content) method specified in G.44.
[0017]
The system shown in FIG. 1 is roughly composed of a transmitting device 100 and a receiving device 150. The transmitting device 100 and the receiving device 150 are connected according to a predetermined network protocol via a communication line such as a public line or a LAN (local area network). The transmitting device 100 and the receiving device 150 are devices having a function of transmitting and receiving image data, such as a personal computer, a facsimile device, a digital copying machine, a digital multifunction peripheral, and a network printer. FIG. 1 shows a component group for image transmission with respect to the transmitting device 100 and a component group for image reception with respect to the receiving device 150. However, the transmitting device 100 and the receiving device 150 May include various elements other than the illustrated component group.
[0018]
First, the transmitting device 100 will be described. The transmitting apparatus 100 includes an image input unit 102, a mask generation unit 104, a foreground / background separation unit 106, a foreground reduction unit 108, a background reduction unit 110, a foreground compression unit 112, a background compression unit 114, a mask compression unit 116, and a format unit 118. , A transmission unit 120.
[0019]
The image input unit 102 is a functional module that inputs a bitmap image to be transmitted. The mask generation unit 104 is a functional module that generates an MRC mask plane from an input bitmap image. The generated mask (Mask) plane is, for example, a binary image in which a pixel corresponding to a character / line drawing portion in a bitmap image has a value “1” and a pixel corresponding to other portions has a value “0”. . The foreground / background separation unit 106 is a functional module that generates a foreground (Foreground) plane and a background (Background) plane of the MRC from the input bitmap image based on the mask plane generated by the mask generation unit 104. In the generated foreground plane, the pixel corresponding to the character / line drawing portion in the original bitmap image has the value of the pixel itself in the bitmap image, and the pixels (don't care pixels) in the other portions are predetermined. Is a color image having a pixel value of. In the generated background plane, a pixel corresponding to a portion other than the character / line drawing portion in the original bitmap image has the value of the pixel in the bitmap image, and a pixel corresponding to a portion other than the character / line drawing portion (ie, the character / line drawing portion). A pixel (don't care pixel) is a color image having a predetermined pixel value. The generation processing itself of a mask plane, a foreground plane, and a background plane is a known technique, and Patent Documents 1 to 4 disclose several generation methods. The mask generation unit 104 and the foreground / background separation unit 106 can generate an image of each plane by using these known techniques.
[0020]
When such layer separation is used, in the layer combining on the receiving side, the pixel value of the foreground plane 1042 is adopted for the pixel of the value “1” of the mask plane 1040, and the pixel of the value “0” of the mask plane 1040 is adopted for the pixel of the value “1”. Adopts the pixel value of the background plane 1044) (see FIG. 5). Therefore, it can be considered that a pixel having a value “1” of the mask plane 1040 belongs to the foreground plane 1042 and a pixel having a value “0” belongs to the background plane 1044.
[0021]
The foreground reduction unit 108 is a function module for reducing the image of the foreground plane, and the background reduction unit 110 is a function module for reducing the image of the background plane. This reduction processing is for reducing the resolution of the image. Hereinafter, the foreground plane and the background plane reduced by the foreground reduction unit 108 and the background reduction unit 110 are referred to as a reduced foreground plane and a reduced background plane, respectively. The foreground reduction unit 108 and the background reduction unit 110 of the present embodiment refer to the mask plane generated by the mask generation unit 104 when reducing the image (that is, reducing the resolution). The details of this reduction processing will be described later.
[0022]
The foreground compression unit 112 is a functional module that compresses an image of a reduced foreground plane. For the foreground compression, for example, an encoding method such as JBIG (Joint Bi-level Image Coding Expert Group) suitable for lossy compression of a binary image or a color image can be used. The background compression unit 114 is a functional module that compresses an image of a reduced background plane. For this background compression, an encoding method such as JPEG (Joint Photographic Experts Group) suitable for compression of a continuous tone image can be used. The mask compression unit 116 is a functional module that compresses data of a mask plane image. For the mask compression, a compression method suitable for compressing a binary image, such as MMR or JBIG, can be used. The processing itself of the foreground compression, the background compression, and the mask compression is a known technique, and various conventional techniques other than those exemplified above can be used.
[0023]
The format unit 118 is a functional module that packages the compressed data of each of the reduced foreground plane, the reduced background plane, and the mask plane according to the MRC format. The transmitting unit 120 transmits the MRC data created by the formatting unit 118 to the receiving device 150.
[0024]
Next, the receiving device 150 will be described. The receiving device 150 includes a receiving unit 152, a format decompression unit 154, a mask expansion unit 156, a mask reduction unit 158, a foreground expansion unit 160, a background expansion unit 162, a foreground expansion unit 164, a background expansion unit 166, a one-layer synthesis unit 168, An image output unit 170 is provided.
[0025]
The receiving unit 152 is a functional module that receives the MRC data transmitted from the transmitting device 100. The format decompression unit 154 decomposes the MRC data into a mask plane, a foreground plane, and a background plane (all compressed data). The mask decompression unit 156 decompresses the compressed data of the mask plane supplied from the format decompression unit 154 according to the corresponding encoding method, and reproduces the original mask plane. The foreground decompression unit 160 and the background decompression unit 162 decompress the data of the compressed foreground plane and the background plane supplied from the format decompression unit 154 according to the corresponding encoding scheme. By this data expansion, a reduced foreground plane and a reduced background plane are obtained.
[0026]
The mask reduction section 158 reduces the mask plane (high resolution) obtained by the mask expansion section 156 to create a reduced resolution reduced mask plane. The reduced mask plane is created for each of the reduced foreground plane and the reduced background plane. The reduced mask plane for the reduced foreground plane is created by performing the same reduction processing as the foreground reduction unit 108 on the original mask plane. As a result, a reduced mask for the reduced foreground plane having the same resolution as that of the reduced foreground plane, the value of the character / line image portion being “1”, and the other portions being “0” is created. The reduced mask plane for the reduced background plane is created by performing the same reduction processing as that of the background reducing unit 110 on the original mask plane (similar to the procedure for creating the reduced foreground plane reduced mask).
[0027]
The foreground enlargement unit 164 reproduces the foreground plane by enlarging the reduced foreground plane obtained by the foreground expansion unit 160 until it has the same resolution as the foreground plane before reduction. Here, the foreground enlargement unit 164 executes this enlargement processing while referring to the reduced mask plane for the reduced foreground plane created by the mask reduction unit 158.
The background enlargement unit 166 reproduces the background plane by enlarging the reduced background plane obtained by the background extension unit 162 to the same resolution as the background plane before reduction. Here, the background enlargement unit 166 executes this enlargement processing while referring to the reduced mask plane for the reduced background plane created by the mask reduction unit 158. The details of the enlargement processing by the foreground enlargement unit 164 and the background enlargement unit 166 will be described later.
[0028]
The one-layer synthesizing unit 168 reproduces the original image by synthesizing the foreground plane and the background plane obtained by the enlargement units 164 and 166 using the mask plane obtained by the mask decompression unit 156. In this synthesis, the pixel whose value is “1” on the mask plane adopts the pixel value of the foreground plane, and the pixel whose value is “0” on the mask plane adopts the pixel value of the background plane. Constitute.
[0029]
The image output unit 170 supplies the image reproduced in this way to a predetermined device or application software that processes the image.
[0030]
The example of the system configuration of the present embodiment has been described above. Next, the reduction and enlargement processing of the bitmap image performed by the foreground reduction unit 108, the background reduction unit 110, the foreground expansion unit 164, and the background expansion unit 166 will be described. As described above, this reduction and enlargement can be translated into a resolution conversion process. In resolution conversion, pixel values are generally obtained by interpolation, as exemplified in paragraphs 0025 to 0030 of Patent Document 1. FIG. 2 is a diagram for explaining the concept of resolution conversion, and shows a case in which a lower resolution output image 2100 is generated from an input image 2000 by resolution conversion processing. Black circles aligned in the input image 2000 indicate the positions of individual pixels (referred to as input pixels 2010) of the image 2000, and white circles aligned in the output image 2100 indicate the pixels of the image 2100. (Referred to as an output pixel 2110). The output image 2100 represents the same image with a smaller number of pixels than the input image 2000. In a display system with a fixed pixel pitch, such a reduction in resolution is equivalent to image reduction. When obtaining the value of each pixel 2110 of the output image 2100 by reducing the resolution, the output image 2110 is mapped to the input image 2000 by enlarging the output image 2100 in accordance with the input image 2000. In the mapping result 2200 obtained by this, the output pixel 2110 generally does not overlap the input pixel 2010, so the value of the output pixel 2100 is obtained from the value of the surrounding input pixel 2010. Interpolation processing such as is used. For example, in the case of four-point linear interpolation, the value of the output pixel T is obtained from the pixel values of four surrounding input pixels R1 to R4.
[0031]
Although the case of reduction (reduction in resolution) has been described in FIG. 2, the position of each pixel of the output image (enlargement result) is similarly set in the coordinate system of the input image (before enlargement) in the case of enlargement (resolution increase). Mapping is performed, and a reference pixel group corresponding to the interpolation method to be used is selected from the input image based on the mapped output pixel position.
[0032]
FIG. 3 is a flowchart showing a schematic flow of the interpolation processing executed by the foreground reduction unit 108 and the foreground expansion unit 164. In the reduction or enlargement processing of the foreground plane, the output image 2100 desired to be obtained by the interpolation processing is mapped to the coordinate system of the input image 2000, and then the processing of FIG. 3 is executed.
[0033]
That is, first, one output pixel 2110 is extracted from the mapping result (S10), and a reference pixel corresponding to the output pixel 2110 is specified from the input pixel 2010 group. How to select the reference pixel depends on the interpolation method. For example, in the case of four-point linear interpolation (also referred to as bilinear interpolation), as shown in the area 2250 of the mapping result 2200 in FIG. 2, the four nearest input pixels around the output pixel 2110 of interest are selected as reference pixels, In the case of 16-point interpolation, a total of 16 pixels including the 12 input pixels outside the 4 input pixels are selected as reference pixels. Then, it is determined based on the mask plane whether each of the reference pixels specified in this way belongs to the foreground or the background, and based on the determination result, all the reference pixels belong to the foreground or all the reference pixels It is determined whether any one of the items belonging to the background is satisfied (S12). If the result of this determination is affirmative (Y), normal interpolation processing as in the past is performed (S14).
[0034]
If the determination result in step S12 is negative (N), the reference corresponding to the output pixel includes the foreground pixel and the background pixel in the reference. In this case, in this process of reducing or enlarging the foreground plane, the interpolation process is performed using only the values of the pixels belonging to the foreground among the reference pixels (S16).
[0035]
That is, in the procedure of FIG. 3, if at least one pixel of the foreground plane is included in the reference pixels corresponding to the output pixel, the output pixel is treated as the foreground, and only the pixels belonging to the foreground among the reference pixels are output. (In other words, those belonging to the background are not referred to at the time of the interpolation calculation).
[0036]
By such interpolation processing (S14 or S16), the value of the output pixel of interest is determined. By repeating the above steps S10 to S16 for all the mapped output pixels (S18), an output image (that is, a reduction result or an enlargement result) is formed.
[0037]
FIG. 4 is a flowchart illustrating a schematic procedure of the interpolation processing executed by the background reduction unit 110 and the background enlargement unit 166. In the background plane reduction or enlargement processing, after the output image 2100 desired to be obtained by the interpolation processing is mapped to the coordinate system of the input image 2000, the processing in FIG. 4 is executed.
[0038]
That is, first, one output pixel 2110 is extracted from the mapping result (S20), and a reference pixel corresponding to the output pixel 2110 is specified from the input pixel 2010 group. How to select the reference pixel depends on the interpolation method. Then, it is determined based on the mask plane whether each of the reference pixels specified in this way belongs to the foreground or the background, and based on the determination result, all the reference pixels belong to the foreground or all the reference pixels It is determined whether one of the items belonging to the background is satisfied (S22). If the result of this determination is affirmative (Y), normal interpolation processing as in the past is performed (S24).
[0039]
If the determination result of step S22 is negative (N), foreground pixels and background pixels are mixed in the reference pixels corresponding to the output pixels. In this case, in this process of reducing or enlarging the background plane, the interpolation process is performed using only the values of the pixels belonging to the background among the reference pixels (S26).
[0040]
That is, in the procedure of FIG. 4, if at least one background pixel is included in the reference pixels corresponding to the output pixel, the output pixel is treated as the background, and only the reference pixels belonging to the background belong to the background. (Conversely speaking, those belonging to the foreground are not referred to in the interpolation calculation).
[0041]
By such interpolation processing (S24 or S26), the value of the output pixel of interest is determined. By repeating the above steps S20 to S26 for all the mapped output pixels (S28), an output image (that is, a reduced result or an enlarged result) is formed.
[0042]
FIG. 5 is a diagram showing an example of processing in the system configuration of FIG. 1 by transition of image data. Hereinafter, this processing example will be described with reference to FIG.
[0043]
As shown in (a), the image data to be processed (original image 1000) input from the image input unit 102 of the transmitting apparatus 100 includes colored characters 1002 and 1006 and a continuous tone color image 1004. . Although the characters 1002 and 1006 have different colors, they are shown in the same color because the colors cannot be expressed in the drawings. The character 1006 overlaps the color image 1004.
[0044]
When such an original image 1000 is separated into an MRC three-layer image by the mask generation unit 104 and the foreground / background separation unit 106, a mask plane 1040, a foreground plane 1042, and a background plane 1044 are generated.
[0045]
Among them, the image of the foreground plane 1042 is reduced (resolution reduced) by, for example, four-point linear interpolation by the foreground reduction unit 108 to become the reduced foreground plane 1052. At the time of this reduction, the foreground reduction unit 108 performs an interpolation process with reference to the mask plane 1040.
[0046]
The four-point linear interpolation processing with reference to the mask plane 1040 will be described with reference to FIG.
[0047]
In this interpolation processing, the four input pixels closest to the mapped output pixel T are referred to as reference pixels R1 to R4, and it is first determined based on the mask plane 1040 whether each of the reference pixels belongs to the foreground or the background. If the value of the pixel of the mask 1040 corresponding to the pixel position of the reference pixel is "1", the reference pixel belongs to the foreground, and if "0", the reference pixel belongs to the background.
[0048]
As a result of this determination, (1) when the four reference pixels R1 to R4 are all foreground or all background, the value of the output pixel T is known from the values of the four reference pixels R1 to R4. Is calculated by substituting into the calculation formula of four-point linear interpolation. That is, the interpolation calculation in this case is not different from the conventional four-point linear interpolation.
[0049]
Also, (2) when two or three of the reference pixels R1 to R4 are foreground, the value of one or two reference pixels belonging to the background is changed to the value of the foreground reference pixel closest to the output pixel T. Then, the value of the output pixel T is obtained by substituting the values of the four reference pixels into the calculation formula of the four-point linear interpolation. The foreground reference pixel closest to the output pixel T is obtained by dividing a rectangle having the reference pixels R1 to R4 into four corners by a straight line passing through the output pixel T and parallel to each side of the rectangle as shown in FIG. A reference pixel corresponding to a portion having the minimum area including the foreground reference pixel is selected from the portions A, B, C, and D. In the illustrated example, the reference pixel R1 corresponds to this.
[0050]
(3) When only one pixel among the reference pixels R1 to R4 belongs to the foreground, the value of the pixel is applied to the remaining three background reference pixels, and the pixel values of the four reference pixels are changed. The value of the output pixel T is calculated by substituting into the calculation formula of four-point linear interpolation.
[0051]
As described above, in the method illustrated in FIG. 6, when the foreground pixel and the background pixel are mixed in the reference pixel group corresponding to the output pixel T, the value of the background pixel is replaced with the value of the foreground pixel. Then, the value of the output pixel T is calculated based only on the value of the foreground reference pixel.
[0052]
Returning to the description of FIG. 5, the image of the background plane 1044 formed by being separated from the original image 1000 is reduced (reduced in resolution) by the background reduction unit 110 using, for example, projection interpolation, and becomes a reduced background plane 1054. . At the time of this reduction, the background reduction unit 110 performs an interpolation process with reference to the mask plane 1040.
[0053]
The projection method interpolation processing with reference to the mask plane 1040 will be described with reference to FIG.
[0054]
In the projection method, as shown in (1) of FIG. 7, the projection method regards pixels as surfaces rather than points, and calculates the values of reference pixels R1 to R9 of the input image covered by the output pixels T mapped to the input image. The value of the output pixel T is calculated by performing weighted averaging in accordance with the area ratio of the portion covered by each of them. The projection method is known as an interpolation method capable of obtaining high image quality, although the amount of calculation processing is large. Since the projection method itself is a well-known method, further detailed description will be omitted. In the example of FIG. 7, the output pixel T is larger than the reference pixel R1, and the output image has a smaller number of pixels for the same area, and thus corresponds to reduction, that is, lower resolution.
[0055]
In the interpolation processing in the background reduction unit 110, when all the reference pixels covered by the output pixel T are all foregrounds or are all backgrounds, the values of these reference pixels are substituted into the calculation formula of the projection method. The value of the output pixel T is calculated.
[0056]
On the other hand, if the foreground pixel and the background pixel are mixed in the reference pixel covered by the output pixel T as shown in (2), the projection pixel calculation is performed only with the reference pixel belonging to the background to obtain the output pixel T. Find the value of. Here, as the area ratio of each pixel in the projection method calculation, the ratio between the reference pixels belonging to the background is used.
[0057]
The reduced foreground plane 1052 and the reduced background plane 1054 created in this way are each data-compressed, and transmitted together with the similarly compressed mask plane 1040 to the reception-side apparatus 150 via a transmission path.
[0058]
In the receiving-side apparatus 150, the mask reduction unit 158 reduces the mask plane 1040 and creates reduced masks 1053 and 1054 that are adapted to the resolution of the reduced foreground plane 1052 and the reduced background plane 1054, respectively. The reduced mask 1053 is created using four-point linear interpolation with reference to the mask plane 1040, as in the case of creating the reduced foreground plane 1052. The reduced mask 1055 is created using projection interpolation with reference to the mask plane 1040, as in the case of creating the reduced background plane 1054.
[0059]
The foreground enlargement unit 164 performs four-point linear interpolation with reference to the reduction mask 1053, thereby increasing the resolution of the reduced foreground plane 1052 and reproducing the foreground plane 1062. In this process, first, each pixel (output pixel) of the desired high-resolution foreground plane 1062 is mapped to the coordinate system of the reduced foreground plane 1052. Next, for each output pixel, four nearest reference pixels are obtained from the reduced foreground plane 1052, and it is determined whether each of these reference pixels is the foreground or the background by referring to the reduction mask 1053. Then, as in the case of the reduction of the foreground plane 1042, as shown in FIG. 6, when all the reference pixels of the reduced foreground plane 1052 corresponding to the output pixel T belong to one of the foreground and the background, a simple four-point linear interpolation operation is performed. In the case where the foreground and background pixels are mixed in the reference pixel, the value of the foreground reference pixel is applied to the background reference pixel, and a four-point linear interpolation operation is performed. Calculate the value of
[0060]
The background enlargement unit 166 performs 16-point interpolation with reference to the reduction mask 1055 to increase the resolution of the reduced background plane 1054 and reproduce the background plane 1064. In this process, first, each pixel (output pixel) of the desired high-resolution background plane 1064 is mapped to the coordinate system of the reduced background plane 1054. Next, for each output pixel T, the 16 nearest reference pixels of the pixel T are specified from the reduced background plane 1054, and whether the reference pixel is the foreground or the background is referred to the reduced mask 1055. Is determined. Then, when all the reference pixels corresponding to the output pixel T belong to one of the foreground and the background, the value of the output pixel T is calculated by simply substituting the value of each reference pixel into a well-known 16-point interpolation formula. Ask. On the other hand, when the foreground and background pixels are mixed in the 16 reference pixels, the value of the foreground reference pixel is applied to the background reference pixel, and a 16-point linear interpolation calculation is performed. Calculate the value.
[0061]
FIG. 8 illustrates a method of applying the value of the reference pixel belonging to the background to the reference pixel belonging to the foreground when the reference pixel includes both foreground and background pixels in the mask reference 16-point interpolation. In the figure, FG indicates a reference pixel belonging to the foreground, BG indicates a reference pixel belonging to the background, and T indicates an output pixel whose value is to be obtained based on these reference pixels. The method shown in (a) is a method of applying the value of the foreground reference pixel closest to the output pixel T among the 16 reference pixels to the background reference pixel in the same way as the 4-point linear interpolation. . On the other hand, in the method shown in (b), the value of the reference pixel of the foreground, which is substantially point-symmetric with respect to the output pixel T, is applied to the reference pixel of the background. In the method (b), the reference pixel at the point symmetric position of the background reference pixel may also be the background pixel. In such a case, the foreground reference pixel closest to the point target position reference pixel is used. Processing such as applying a value may be performed.
[0062]
When the foreground plane 1062 and the background plane 1064 are reproduced by such enlargement processing, the one-layer combining unit 168 adopts the pixel value of the foreground plane 1062 for the pixel whose value of the mask plane 1040 is “1”, By using the pixel value of the background plane 1064 for the pixel whose value of the mask plane 1040 is “0”, a reproduced image 1070 corresponding to the original image 1000 is synthesized.
[0063]
The flow of image transmission in the system of FIG. 1 has been described above. In this image transmission processing, when the resolution of the foreground plane 1042 is reduced on the transmission side and the resolution of the reduced foreground plane 1052 is increased on the reception side, the image is mapped to the boundary between the foreground and the background by the processing shown in FIG. The calculated output pixel T is calculated using only the value of the foreground reference pixel, and thus has the pixel value of the foreground, that is, the character / line drawing portion. In the conventional simple interpolation method, the boundary portion between the foreground and the background has an intermediate pixel value between the color of the character / line drawing portion and the don't care value of the foreground plane. Will have the value of Therefore, according to the present embodiment, it is possible to prevent the color of the outline portion of the foreground character / line drawing portion from being clouded. In the above-described processing, the output pixel located at the boundary between the foreground and the background has the pixel value of the foreground. Therefore, in the reproduced foreground plane 1062, the pixel area of the character / line drawing part of the foreground is the original image. It will be slightly wider than the foreground plane 1042. However, since the mask plane 1040 has the correct shape information of the character / line drawing portion, the character / line drawing portion of the foreground plane 1062 is cut out by the mask plane 1040 to have the correct character / line drawing portion. A reproduced image 1070 can be obtained.
[0064]
Similarly, in the image transmission processing of this embodiment, when the resolution of the background plane 1044 is reduced on the transmission side and the resolution of the reduced background plane 1054 is increased on the reception side, the processing illustrated in FIGS. Accordingly, the output pixel T mapped to the boundary between the foreground and the background is calculated using only the value of the reference pixel of the background, and has the pixel value of the background, that is, the “part other than the character / line drawing”. In the conventional simple interpolation method, the boundary portion between the foreground and the background has an intermediate pixel value between the pixel value of the background portion and the don't care value of the background plane. Will have a value. As described above, according to the present embodiment, it is possible to prevent the color at the boundary between the background and the foreground from becoming cloudy. In the above-described processing, the output pixel located at the boundary between the foreground and the background has the pixel value of the background. Therefore, in the reproduced background plane 1064, the pixel region of the background portion is the same as the background plane 1044 of the original image. It will be slightly wider than the case. However, since the mask plane 1040 has the correct shape information of the background portion, by cutting out the background portion of the background plane 1064 with the mask plane 1040, the reproduced image 1070 having the background portion having the correct shape and the color Δ is obtained. Obtainable.
[0065]
As described above, according to the system shown in FIG. 1, when the amount of transmission data is reduced by reducing the resolution of the foreground and background of the MRC and reducing the amount of data to be transmitted, characters and line drawings It is possible to prevent the color near the boundary between the part and its background from being shifted from the color of the corresponding part of the original image.
[0066]
In the above description, four-point linear interpolation is used to lower the resolution and higher resolution of the foreground plane, projection method interpolation is used to lower the resolution of the background plane, and 16-point interpolation is used to increase the resolution. However, this is only an example. The method of the present invention is applicable to the case where resolution conversion is performed on each plane by any interpolation method.
[0067]
In the above description, the foreground enlargement unit 164 of the reception-side apparatus 150 determines that the output pixel T belongs to the foreground if there is at least one foreground pixel in the reference pixel group corresponding to the output pixel T. The interpolation calculation was performed by applying the value of the foreground reference pixel to the background reference pixel. However, in the system of FIG. 1, since the receiving-side device 150 has acquired the mask plane 1040 from the transmitting-side device 100, by examining the value of the pixel corresponding to the output pixel T on this mask plane 140, It is also possible to determine whether the output pixel T is foreground or background.
[0068]
Furthermore, the method of the present invention is also applicable to resolution conversion that does not involve an interpolation operation, such as the nearest neighbor method. That is, in the resolution conversion without interpolation, one pixel R corresponding to the pixel T after the resolution conversion is selected from the image before the resolution conversion, and the value of the pixel R is applied to the value of the pixel T. In the processing, for example, the present invention can be applied as follows.
[0069]
In the case of the nearest neighbor method, a pixel R closest to the pixel T after conversion is selected from the pixels of the image before conversion. In order to apply the method of the present invention to such resolution conversion, when selecting a pixel R of an image before conversion corresponding to a pixel T of the image after conversion, the conversion target is a foreground plane or a background plane. The selection range when selecting the pixel R may be controlled according to the above. That is, in this processing, each pixel of the converted image is mapped to the image before conversion as described with reference to FIG. 2, and then four pixels are arranged in the order from the image before conversion to the pixel T of the image after conversion. Extract as a reference pixel. When the foreground plane is subjected to resolution conversion, if at least one of the four reference pixels corresponding to the pixel T after the conversion has any foreground pixel, the foreground pixel among the reference pixels is the most foreground pixel. A close pixel is selected as the pixel R. If all the reference pixels are background pixels, the closest reference pixel is selected as the pixel R as usual. Similarly, in the case of the background plane, if any of the reference pixels belongs to the background, the closest pixel is selected as the pixel R from the reference pixels belonging to the background.
[0070]
In the above, the case of the nearest neighbor method has been described. However, even when another method is used, processing can be performed in the same way. For example, a selection rule for selecting a plurality of reference pixels for the pixel T after conversion is defined, and an area (foreground, foreground) in which the reference pixels selected according to the selection rule do not want to be turbid at the time of conversion. In the case of plane conversion, if there is a pixel belonging to a character / line drawing part in the plane, a procedure of selecting a pixel R from the plane may be adopted.
[0071]
In the above description, the mask plane 1040 is reduced by the receiving apparatus 150 according to the resolution of the reduced foreground plane and the reduced background plane. However, this mask reduction processing is performed by the transmitting apparatus 100, and the reduced image generated as a result is generated. The data of the mask may be transmitted to the receiving device 150 together with the encoded data of the image.
[0072]
Also, in the above description, the receiving-side device 150 receives the mask plane 1040 that has not been reduced in resolution from the transmitting-side device 100 and uses it for plane synthesis. The present invention is also applicable to a system in which a mask plane is provided and the receiving apparatus 150 reproduces the original resolution mask plane from the low resolution mask plane.
[0073]
In the above description, when resolution conversion is performed, if a foreground pixel and a background pixel are mixed in the reference pixel group corresponding to the output pixel T, the meaning of the foreground pixel and the background pixel in the conversion target plane in the reference pixel group is considered. The interpolation calculation was performed using only the values of the pixels. However, this is only an example. Alternatively, when the foreground pixel and the background pixel are mixed in the reference pixel, the value of the pixel having the meaning in the plane to be converted among the reference pixels is the value of the pixel (don't care pixel) having no meaning in the plane. A method of performing an interpolation operation with a weight greater than the value is also possible. FIG. 9 is a diagram showing a schematic procedure of a foreground plane resolution conversion process according to this method. In FIG. 9, steps for performing the same processing as the procedure in FIG. 3 are denoted by the same reference numerals and description thereof will be omitted. In the procedure of FIG. 9, when it is determined in step S12 that foreground and background pixels are mixed in the reference pixel group, an interpolation operation algorithm in which the value of the foreground reference pixel is more strongly reflected in the output pixel value than the background reference pixel is used. To perform interpolation. The resolution conversion of the background plane may be performed in the same way. Even in such a method, the output pixel T at the boundary between the foreground and the background has a value close to the reference pixel of the foreground in the case of the foreground plane, and has a value close to the reference pixel of the background in the case of the background plane. Color turbidity during conversion is reduced. As such an interpolation operation, for example, for the same interpolation calculation formula used when the foreground and background pixels are not mixed in the reference pixel group, a large weight is applied to the value of the significant reference pixel in the conversion target plane. , And substitute the value of the meaningless reference pixel by a smaller weight. As another method, when the foreground and background pixels are not mixed in the reference pixel group, the same interpolation calculation formula as in the past is used. When the pixels are mixed, the meaningful pixel value in the conversion target plane is significant. It is also possible to use another interpolation formula that reflects more strongly on the value of the output pixel T than on the value of the pixel without.
[0074]
Next, an example of a system to which the present invention is applied to compressed image transmission without using MRC will be described with reference to FIGS.
[0075]
This system is for preventing color turbidity of a predetermined characteristic portion included in an image when transmitting the image at a reduced resolution. Examples of the characteristic portion include an edge (contour) portion of an image and a character / line drawing portion included in the image.
[0076]
The transmission-side device 200 of this system includes an image input unit 202, an image feature extraction unit 204, a reduction processing unit 206, an image feature compression unit 208, an image compression unit 210, a format unit 212, and a transmission unit 214. In this device 200, an image feature extraction unit 204 extracts a predetermined feature portion from an original bitmap image input from the image input unit 202. When extracting an edge portion of an image as a predetermined feature portion, the image feature extraction unit 204 obtains a pixel corresponding to an edge by using, for example, a known edge detection operator (a known edge detection method other than a method using an operator). Processing may of course be used). As a result, information indicating whether each pixel of the original image is a pixel on an edge (called an edge pixel) or another pixel (called a non-edge pixel) is obtained. This information can be represented as a binary image having, for example, an edge pixel having a value “1” and a non-edge pixel having a value “0”. To extract a character / line drawing portion as a characteristic portion, a method similar to that for creating an MRC mask may be used.
[0077]
The reduction processing unit 206 is a means for reducing the original image to a specified resolution. In this reduction processing, the reduction processing unit 206 calculates the pixel value of the reduction result by referring to the information of the characteristic part obtained by the image characteristic extraction unit 204. I do. This calculation processing will be described later.
[0078]
The image feature compression unit 208 performs data compression on the information of the feature portion extracted by the image feature extraction unit 204 by a predetermined method. The image compression unit 210 compresses the image reduced by the reduction processing unit 206. The compressed characteristic information and the compressed reduced image are combined into a predetermined transmission format by the format unit 212 and output from the transmission unit 214.
[0079]
The receiving-side device 250 includes a receiving unit 252, a format decompressing unit 254, a characteristic part expanding unit 256, an image characteristic reducing unit 258, an image expanding unit 260, an enlargement processing unit 262, and an image output unit 264. The information of the characteristic portion and the compressed data of the image are respectively extracted from the transmission information received from the transmitting device 200 by the receiving unit 252. The characteristic part decompression unit 256 decompresses the compressed data of the information of the characteristic part. The image feature reduction unit 258 reduces the resolution of the information of the feature portion restored by the decompression process so as to match the resolution of the reduced image. That is, the information of the characteristic portion is information indicating whether or not each pixel of the original image before the reduction is a predetermined characteristic portion. Creates information indicating whether or not corresponds to a predetermined characteristic portion. This reduction in resolution can be realized by the same processing as the reduction processing unit 206. The image decompression unit 260 decompresses the compressed reduced image. The enlargement processing unit 262 enlarges the restored reduced image to the resolution of the original image. At the time of this enlargement processing, the enlargement processing unit 262 refers to the information of the feature part whose resolution has been reduced by the image feature reduction unit 258. This enlargement calculation process will be described later. The image output unit 264 outputs the image enlarged to the original resolution in this way.
[0080]
Next, with reference to FIG. 11, the procedure of the interpolation processing executed by the reduction processing unit 206 of the transmitting device 200 and the enlargement processing unit 262 of the receiving device 250 will be described. The procedure in FIG. 11 is an example of a case where an edge portion is adopted as a characteristic portion of an image. Similar to FIG. 3, the procedure of FIG. 11 shows the procedure after mapping the output image resulting from the reduction or enlargement to the input image before the reduction or enlargement.
[0081]
In this procedure, one output pixel is extracted from the mapped output image (S30), a pixel having the shortest distance to the output pixel (referred to as a nearest pixel) in the input image is specified, and the nearest pixel is determined to be an edge pixel. Is determined with reference to the information of the characteristic portion (S32). In this determination, if the nearest pixel is determined to be an edge pixel, by performing interpolation using only the value of the reference pixel that is an edge pixel among the reference pixels of the input image corresponding to the output pixel, The value of the output pixel is obtained (S34). If it is determined in step S32 that the nearest pixel is a non-edge pixel, an interpolation operation is performed using only the value of the reference pixel that is a non-edge pixel among the reference pixels, so that the output pixel Is obtained (S36).
[0082]
In steps S34 and S36, if the reference pixels are all edge pixels or all non-edge pixels, the values of those reference pixels are directly substituted into the interpolation formula to perform the conventional calculation. Further, when an edge pixel and a non-edge pixel are mixed in the reference pixel, when the reference pixel closest to the output pixel is an edge pixel, the output pixel is regarded as an edge pixel and is an edge pixel. Interpolation is performed based only on the reference pixels. If the nearest reference pixel is a non-edge pixel, the interpolation is performed based only on the non-edge reference pixels. Interpolation processing when edges and non-edges coexist may be performed by using the method illustrated in FIGS.
[0083]
In the above process, the determination in step S32 can be considered as a process of determining whether the output pixel is an edge pixel or a non-edge pixel. In the procedure of FIG. 11, if the output pixel is an edge pixel, the output pixel value is calculated using only the reference pixel which is an edge pixel in step S34. If the output pixel is a non-edge pixel, the reference pixel which is a non-edge pixel is calculated. The output pixel value is calculated using only
[0084]
By repeating the processing of steps S30 to S36 for all output pixels, it is possible to obtain a reduced or enlarged image.
[0085]
Although the procedure of FIG. 11 determines whether an output pixel belongs to an edge portion based on whether a reference pixel closest to the output pixel is an edge pixel, this is only an example. FIG. 12 shows an example of another procedure in which the ratio of the edge pixel to the non-edge pixel in the reference pixel is considered. The procedure of FIG. 12 is an example of a case where an interpolation operation is performed using the four nearest input pixels around the output pixel as reference pixels.
[0086]
In the procedure of FIG. 12, one output pixel to be subjected to pixel value calculation is selected (S40), and it is determined whether or not each of the four reference pixels corresponding to the output pixel is an edge pixel by referring to information on the characteristic portion. I do. Next, it is determined whether or not the number of edge pixels among the four reference pixels is 3 or more (S42). If the number of edge pixels is 3 or more, it is determined that the output pixel belongs to the edge portion, and the pixel value of the output pixel is calculated by performing an interpolation operation using only the value of the reference pixel corresponding to the edge pixel (S44). . If it is determined in step S42 that the number of edge pixels among the reference pixels is less than 3, it is determined whether the number of non-edge pixels among those reference pixels is 3 or more (S46). When three or more of the reference pixels are determined to be non-edge pixels in this determination, it is determined that the output pixel does not belong to the edge portion, and an interpolation operation is performed using only the value of the reference pixel of the non-edge pixel. The pixel value of the output pixel is calculated (S48). If it is determined in step S46 that the number of non-edge pixels among the reference pixels is less than 3, two of the four reference pixels are edge pixels and the remaining two are non-edge pixels. In this case, it is determined whether the reference pixel closest to the output pixel is an edge pixel or a non-edge pixel (S50). If it is determined in this determination that the closest reference pixel is an edge pixel, it is determined that the output pixel belongs to the edge, and the interpolation processing in step S44 is performed. If it is determined in step S50 that the reference pixel closest to the output pixel is a non-edge pixel, it is determined that the output pixel does not belong to an edge, and interpolation processing in step S48 is performed. By repeating the above steps S40 to S50 for all output pixels (S52), the resolution of the image is converted.
[0087]
FIGS. 11 and 12 show the processing procedure when an edge is used as a characteristic part of an image, but the same procedure may be used when another characteristic part (for example, a character / line drawing part) is used.
[0088]
As described above, according to the system configuration of FIG. 10, when reducing the image, that is, reducing the resolution, the information of the characteristic portion of the image is referred to, and it is determined whether the output pixel belongs to the characteristic portion. When it is determined that the pixel belongs to the characteristic portion, the interpolation operation is performed using only the value of the reference pixel belonging to the characteristic portion (that is, without using the reference pixel not belonging to the characteristic portion). According to this processing, the value of the reference pixel that does not belong to the characteristic portion does not affect the output pixel belonging to the characteristic portion during interpolation. Therefore, even if the resolution conversion is performed, the color of the characteristic portion can be kept close to the original color. Further, in the system of FIG. 10, when it is determined that the output pixel does not belong to the characteristic portion, the interpolation process is performed using only the value of the reference pixel that does not belong to the characteristic portion. The influence of the color of the part can be prevented.
[0089]
In the above description, when the output pixel belongs to the characteristic portion of the image, the interpolation is performed using only the reference pixel which also belongs to the characteristic portion. However, the reference pixel belonging to the characteristic portion does not belong to the characteristic portion. A method of performing an interpolation operation that gives a larger weight than the reference pixel is also preferable.
[0090]
The example of the system configuration in which the present invention is applied to the image transmission system with the resolution conversion of the image has been described above. However, the application of the present invention is not limited to such a case, and is generally applicable to a conversion process in which a pixel value of a converted image is calculated from a value of one or more reference pixels of an image before conversion corresponding to the pixel. It is.
[0091]
For example, FIG. 13 shows an example of a device configuration in which the present invention is applied to a geometric transformation process of an image. The geometric transformation includes, for example, rotation and translation of the image, enlargement and reduction, or more general affine transformation. The above-described resolution conversion (reduction and enlargement) is also a kind of geometric conversion. In the case of such a geometric conversion, as in the case of the above-described resolution conversion, pixels of the converted image (referred to as output pixels) are mapped to an image before the conversion in accordance with the conversion, and the image before the conversion is converted. The value of the output pixel is interpolated from a group of reference pixels near the output pixel in the image. Therefore, by applying the method of the present invention also to the geometric conversion processing, it is possible to prevent or reduce the color turbidity of the output pixels located at the boundary between the characteristic part and the non-characteristic part of the image.
[0092]
The image feature extraction unit 304 of the image processing apparatus 300 shown in FIG. 13 extracts a predetermined feature portion from the bitmap image input from the image input unit 302 in the same manner as the image feature extraction unit 204 of the transmission-side device 200 shown in FIG. Is extracted. The geometric transformation unit 306 performs a predetermined geometric transformation on the bitmap image. At the time of this conversion, the geometric conversion unit 306 determines whether or not the output pixel belongs to the feature portion by referring to the information of the feature portion generated by the image feature extraction unit 304, and belongs to the feature portion. When it is determined that, in the input image, among the reference pixels corresponding to the output pixel, the interpolation calculation is performed using only the value of the reference pixel belonging to the characteristic portion. It is also preferable that the value of the output pixel belonging to the non-characteristic part is obtained only from the reference pixel belonging to the non-characteristic part. The details of the interpolation processing may be the same as the interpolation processing performed by the reduction processing unit 206 and the enlargement processing unit 262 in the system of FIG. When an image after geometric transformation is obtained by this interpolation operation, this is output from the image output unit 308.
[0093]
In the apparatus of FIG. 13 as well, the value of the pixel of the characteristic portion of the image is obtained only from the value of the reference pixel belonging to the characteristic portion, so that the color of the characteristic portion is mixed with the color of the non-characteristic portion and becomes cloudy. Can be prevented.
[0094]
As another example of the processing of the geometric conversion unit 306, there is a method of performing an interpolation operation in which reference pixels belonging to a characteristic portion are weighted higher than reference pixels not belonging to the characteristic portion. Partial color turbidity can be reduced.
[0095]
The image processing device 250 shown in FIG. 14 has a device configuration in which the method of the present invention is applied to image filtering using a local operator. In the filter processing using the local operator, a plurality of reference pixels (generally, a group of pixels near the target pixel) are defined for the target pixel of the image, and the values of the reference pixels are substituted into the operator by substituting the values of the reference pixels into the operator. Determine the pixel value. This is similar to the interpolation operation described so far, and the method of the present invention is applicable. Preferable examples of the filtering process include, for example, a smoothing process using an average filter or a median filter.
[0096]
The image feature extraction unit 354 of the image processing device 350 in FIG. 14 converts a predetermined feature portion from the bitmap image input from the image input unit 352 in the same manner as the image feature extraction unit 204 of the transmission-side device 200 in FIG. Is extracted. Filtering section 356 performs a predetermined filtering process on the bitmap image. At the time of this filter processing, the filter processing unit 356 determines whether or not the output pixel belongs to the characteristic part by referring to the information of the characteristic part generated by the image characteristic extraction unit 354, and belongs to the characteristic part. If it is determined that, in the input image, the filter operation is performed using only the value of the reference pixel belonging to the characteristic portion among the reference pixels corresponding to the output pixel. In this calculation, when the pixel of the characteristic portion and the pixel of the non-characteristic portion are mixed in the reference pixel group, if the output pixel is the pixel of the characteristic portion, for example, the value of the reference pixel belonging to the characteristic portion is calculated by After the values of the reference pixels belonging to the non-characteristic portion are copied in the same manner as described above, the values of these reference pixels may be input to the operator representing the filter processing. Similarly, it is also preferable that the value of the output pixel belonging to the non-characteristic part is obtained only from the reference pixel belonging to the non-characteristic part. The image processed by the filter processing unit 356 is output from the image output unit 358.
[0097]
As described above, according to the apparatus shown in FIG. 14, the pixels of the characteristic portion of the image are processed based on only the reference pixels belonging to the characteristic portion, so that the color turbidity of the characteristic portion can be prevented. For example, in the case of smoothing an image including a character / line drawing part, in the conventional general smoothing processing, the value of the pixel of the outline of the character / line drawing part is affected by the value of the pixel of the background. Was causing. On the other hand, in the apparatus of FIG. 14, if the character / line drawing part is a characteristic part, the value of the filter result of the pixel in the character / line drawing part is affected by the value of the reference pixel belonging to the part other than the character / line drawing. Since it is not received, it is possible to prevent blurring of characters and line drawings.
[0098]
As another example of the processing of the filter processing unit 356, there is a method of performing a filter operation in which reference pixels belonging to a characteristic portion are weighted more heavily than reference pixels not belonging to the characteristic portion. Color blur and blur can be reduced.
[0099]
FIG. 15 shows a system configuration example in which the method of the present invention is applied to an image transmission system using JPEG.
[0100]
As is well known, in JPEG image compression, an image is separated into a luminance component and a chrominance component, and the luminance component is sub-sampled at a lower rate than the chrominance component by using a feature of human vision insensitive to color change. . In this sub-sampling, for example, the data amount of the chrominance component is reduced to 又は or ４ by averaging the values of the chrominance components at two adjacent pixels or 2 × 2 = 4 pixels. This sub-sampling can be said to be a process similar to the resolution reduction in the above-described embodiment. In the system shown in FIG. 15, the method of the present invention is applied to the sub-sampling of the color difference components.
[0101]
In the transmission device 400 of this system, the bitmap image input to the image input unit 402 is supplied to the image feature extraction unit 404. The image feature extraction unit 404 extracts a predetermined feature portion from the input image by the same processing as the image feature extraction unit 204 in the system of FIG. 10 and generates information indicating the feature portion. The input bitmap image is separated into luminance data L * and two color difference data a * and b *. The luminance data L * is sent to the JPEG compression unit 410, and the color difference data a * and b * are The data is input to the JPEG compression unit 410 via the sampling units 406 and 408, respectively.
[0102]
The color difference sub-sampling units 406 and 408 sub-sample the pixel values of the color difference data a * and b * at a preset sampling rate. Here, each of the sub-sampling units 406 and 408 refers to the information of the characteristic part obtained by the image characteristic extraction unit 404, and for example, belongs to any one of two adjacent pixels or four adjacent pixels to be averaged. If there are pixels, the average value of only those pixels of the characteristic portion is set as a sub-sampling result corresponding to those adjacent pixel groups.
[0103]
In this processing, if at least one pixel of the characteristic portion exists in the adjacent pixel group to be averaged, the pixel of the sub-sampling result is treated as the characteristic portion, but this is only an example. In addition, for example, it is also possible to determine whether or not the pixel of the sub-sampling result belongs to the characteristic portion based on the ratio of the pixel of the characteristic portion in the adjacent pixel group to be averaged. That is, for example, when half or more of the adjacent pixels to be averaged belong to the characteristic portion, it is determined that the pixels of the sub-sampling result belong to the characteristic portion.
[0104]
When it is determined that the pixel of the sampling result belongs to the characteristic portion, in the above-described processing, only the pixel of the characteristic portion among the pixels to be averaged is averaged. May be weighted and weighted averaged.
[0105]
The JPEG compression section 410 compresses the sub-sampling results of the color difference data a * and b * thus generated and the luminance data L * according to a JPEG compression algorithm. The JPEG file thus compressed is transmitted from the transmission unit 412 to the receiving device 450.
[0106]
The JPEG file is received by the receiving unit 452 of the receiving device 450. The JPEG decompression unit 454 decompresses the JPEG file and separates the JPEG file into color difference data a *, b * and luminance data L *. Among them, the color difference data a * and b * are up-sampled by the color difference up-sampling units 456 and 458 to the resolution of the original image. The image output unit 460 forms and outputs a color image from the up-sampled color difference data a * and b * and the luminance data L *.
[0107]
According to this system, at the time of sub-sampling of the color difference component, it is possible to prevent the color of the characteristic portion from being mixed with the color other than the characteristic portion and becoming cloudy.
[0108]
In this system, it is also preferable that the information of the characteristic portion of the image extracted by the image characteristic extracting unit 404 is transmitted to the receiving device 450 by the transmitting unit 412 in association with the JPEG file. In this case, in the receiving-side apparatus 450, the up-sampling units 456 and 458 perform up-sampling with reference to the information of the characteristic portion, so that the color turbidity during the up-sampling can be reduced.
[0109]
In each of the examples described above, the image is bisected (the character / line drawing part and the other part, or the characteristic part and the other part). However, the present invention is also applicable to a case where an image is divided into three or more regions. That is, even when the image is divided into three or more regions, it is determined to which region the output pixel belongs from the region division information, and the reference pixel of the region to which the output pixel belongs is more strongly affected than the reference pixels other than the region. By calculating the value of the output pixel using the conversion operation, the color turbidity of the pixel at the boundary between the regions can be reduced.
[0110]
The transmitting device, the receiving device, and the image processing device described above can be realized by, for example, causing a computer to execute a program indicating the function of each of the above functional modules, and a single hardware logic circuit, or It can also be realized by a combination of a plurality of hardware logic circuits. In addition, an apparatus configuration in which a part of the functional modules is realized by a hardware circuit and the rest is realized by software is also conceivable.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a system configuration in which the present invention is applied to an image transmission system using MRC.
FIG. 2 is a diagram for explaining resolution conversion.
FIG. 3 is a flowchart illustrating a schematic flow of an interpolation process performed by a foreground reduction unit and a foreground expansion unit;
FIG. 4 is a flowchart illustrating a schematic flow of an interpolation process performed by a background reduction unit and a background enlargement unit;
5 is a diagram showing processing contents in the system configuration of FIG. 1 by transition of image data.
FIG. 6 is a diagram illustrating a four-point linear interpolation process that refers to a mask plane.
FIG. 7 is a diagram illustrating a projection interpolation process that refers to a mask plane.
FIG. 8 is a diagram illustrating a 16-point interpolation process that refers to a mask plane.
FIG. 9 is a flowchart illustrating another example of the interpolation processing performed by the foreground reduction unit and the foreground expansion unit.
FIG. 10 is a diagram illustrating a configuration example of a system to which the present invention is applied to compressed transmission of an image without using MRC.
11 is a flowchart illustrating a schematic flow of an interpolation process performed by a reduction processing unit and an enlargement processing unit of the system of FIG. 10;
12 is a flowchart illustrating another example of the interpolation processing performed by the reduction processing unit and the enlargement processing unit of the system in FIG. 10;
FIG. 13 is a diagram illustrating an example of an image processing apparatus according to the present invention.
FIG. 14 is a diagram showing another example of the image processing apparatus according to the present invention.
FIG. 15 is a diagram showing a system configuration example in which the present invention is applied to a JPEG image transmission system.
FIG. 16 is a diagram for explaining image transmission using MRC.
[Explanation of symbols]
100 transmitting device, 102 image input unit, 104 mask generation unit, 106 foreground / background separation unit, 108 foreground reduction unit, 110 background reduction unit, 112 foreground compression unit, 114 background compression unit, 116 mask compression unit, 118 format unit, 120 transmitting unit, 150 receiving side device, 152 receiving unit, 154 format decompressing unit, 156 mask expanding unit, 158 mask reducing unit, 160 foreground expanding unit, 162 background expanding unit, 164 foreground expanding unit, 166 background expanding unit, 168 layer Synthesis unit, 170 image output unit, 1000 original images, 1002, 1006 colored characters, 1004 continuous tone color image, 1040 mask plane, 1042 (before reduction) foreground plane, 1044 (after reduction) background plane, 1052 reduced foreground Plane, 1053, 1055 reduction mask, 105 Reduced background plane, 1062 (reproduced) foreground plane, 1064 (reproduced) background plane, 1070 reproduced image.

Claims

An image processing apparatus that generates an output digital image from an input digital image,
For each output pixel of the output digital image, the output pixel is set to a predetermined area of interest of the input digital image with reference to the first area classification information including information indicating whether each pixel of the input digital image belongs to the area of interest. Determining means for determining whether or not it corresponds to
A conversion unit that generates an output digital image from an input digital image by performing a predetermined calculation process that calculates a value of an output pixel of the output digital image from a value of one or more reference pixels of the input digital image corresponding to the output pixel. For the output pixel corresponding to the attention area in the output image, the value of the reference pixel belonging to the attention area among the reference pixels corresponding to the output pixel is output stronger than the reference pixel not belonging to the attention area. A conversion unit that calculates the value of the output pixel from the value of the reference pixel using a calculation process that affects the value of the pixel;
An image processing apparatus comprising:

The image processing apparatus according to claim 1,
The image processing device according to claim 1, wherein the calculation process used by the conversion unit is a calculation process that ignores a value of a reference pixel that does not belong to the region of interest and uses only a value of a reference pixel that belongs to the region of interest.

The image processing apparatus according to claim 1,
For the output pixel that does not correspond to the region of interest in the output image, the value of the reference pixel that does not belong to the region of interest among the reference pixels corresponding to the output pixel is a reference pixel that belongs to the region of interest. Calculating the value of the output pixel from the value of the reference pixel using a second calculation process that more strongly affects the value of the output pixel,
Image processing apparatus characterized by the above-mentioned.

The image processing apparatus according to claim 3, wherein
The image, wherein the second calculation process used by the conversion unit is a calculation process that ignores the value of a reference pixel that does not belong to the region of interest and uses only the value of a reference pixel that belongs to the region of interest. Processing equipment.

The image processing apparatus according to claim 1,
The determination means is configured such that, when there is a reference pixel belonging to the region of interest, among the reference pixels referred to when calculating the value of the output pixel in the calculation processing of the conversion means, the output pixel An image processing apparatus comprising: determining that an output pixel does not correspond to an area of interest; and determining that the output pixel does not correspond to the area of interest when there is no reference pixel belonging to the area of interest.

The image processing apparatus according to claim 1,
Area dividing means for calculating a predetermined image feature amount for each pixel of the input digital image, and dividing each pixel into a plurality of regions based on the image feature amount, thereby creating the first area division information An image processing apparatus further comprising:

The image processing apparatus according to claim 1,
An image processing apparatus further comprising an output unit that outputs the first area division information in association with the output digital image.

The image processing apparatus according to claim 1,
Means for creating second area division information indicating whether each pixel of the output digital image corresponds to a target area, based on a result of the determination by the determination means;
Means for outputting the second area division information in association with the output digital image;
An image processing apparatus further comprising:

The image processing apparatus according to claim 1,
Means for acquiring second area division information indicating whether each pixel of the output digital image corresponds to the attention area,
Means for creating the first area division information indicating whether each pixel of the input digital image belongs to the attention area, based on the second area division information;
The conversion unit determines whether the reference pixel belongs to the attention area based on the created first area division information,
An image processing apparatus comprising:

The image processing apparatus according to claim 1,
The image processing apparatus according to claim 1, wherein the first area division information is an MRC (mixed raster content) mask image.

The image processing apparatus according to claim 1,
The image processing apparatus according to claim 1, wherein the predetermined conversion process executed by the conversion unit is resolution conversion.

The image processing apparatus according to claim 1,
The image processing apparatus according to claim 1, wherein the predetermined conversion process performed by the conversion unit is a geometric conversion of a bitmap image.

A segmenter for generating an MRC (mixed raster content) mask image from the input digital image;
Foreground / background generating means for generating an MRC foreground image and a background image from the input digital image based on the mask image generated by the segmenter;
Means for generating a low-resolution foreground image by lowering the resolution of the foreground image, wherein each of the reference pixels of the foreground image referred to when calculating the pixel value of the low-resolution foreground image is a pixel having a meaningful value in the foreground image Whether or not a pixel having a meaningful value in the foreground image and a pixel having a meaningless value in the foreground image are mixed among the reference pixels as a result of this determination, a reference having a meaningful value in the foreground image is determined. A foreground in which the pixel value of the low-resolution foreground image is calculated from the values of the reference pixels by using a calculation process in which the value of the pixel has a stronger effect on the value of the pixel of the low-resolution foreground image to be obtained than the reference pixel that does not. Means for lowering the resolution,
Means for generating a low-resolution background image by lowering the resolution of the background image, wherein each reference pixel of the background image referred to when calculating the pixel value of the low-resolution background image has a meaningful value in the background image Is determined based on the mask image, and as a result of this determination, when those reference pixels include both pixels having a meaningful value in the background image and pixels not having such a value, the reference image has a meaningful value in the background image. The pixel value of the low-resolution background image is calculated from the values of the reference pixels by using a calculation process in which the value of the reference pixel has a greater effect on the value of the pixel of the low-resolution background image to be obtained than the value of the other reference pixels. Background low resolution means,
Formatting means for combining the mask image, the low-resolution foreground image, and the low-resolution background image into a file according to the MRC file format;
An image processing apparatus comprising:

Means for extracting a mask image, a low-resolution foreground image, and a low-resolution background image from an MRC format file;
Means for increasing the resolution of a low-resolution foreground image to a predetermined resolution to generate a foreground image, wherein each reference pixel of the low-resolution foreground image referred to when calculating the pixel value of the foreground image has a meaning in the low-resolution foreground image A pixel having a certain value is determined based on the mask image, and as a result of this determination, if a pixel having a meaningful value in the low-resolution foreground image and a pixel not having such a value are mixed in the reference pixels, the low Using a calculation process in which the value of the reference pixel having a meaningful value in the resolution foreground image has a greater effect on the value of the pixel of the foreground image to be obtained than the reference pixel that is not, the values of the reference pixels are used to calculate the value of the foreground image. Foreground high resolution means for calculating a pixel value;
Means for generating a background image by increasing the resolution of a low-resolution background image to a predetermined resolution, wherein each reference pixel of the low-resolution background image referred to when calculating the value of the pixel of the background image has a meaning in the low-resolution background image. It is determined based on the mask image whether or not the pixel has a certain value. If the result of this determination is that both pixels having a meaningful value in the low-resolution background image and pixels not having such a value exist in the low-resolution background image, the low Using a calculation process in which the value of a reference pixel having a meaningful value in a resolution background image has a greater effect on the value of a pixel of the background image to be determined than that of the other reference pixel, the value of the background pixel is calculated from the values of those reference pixels. Background high resolution means for calculating pixel values,
Image synthesizing means for synthesizing a foreground image generated by the foreground high resolution means and a background image generated by the background high resolution means into a one-layer image with reference to a mask image;
An image processing apparatus comprising:

An image processing method for generating an output digital image from an input digital image,
For each output pixel of the output digital image, the output pixel is set to a predetermined area of interest of the input digital image with reference to the first area classification information including information indicating whether each pixel of the input digital image belongs to the area of interest. A determining step of determining whether or not it corresponds to
Generating an output digital image from the input digital image by performing a predetermined calculation process of determining a value of an output pixel of the output digital image from a value of one or more reference pixels of the input digital image corresponding to the output pixel; For the output pixel corresponding to the attention area in the output image, the value of the reference pixel belonging to the attention area among the reference pixels corresponding to the output pixel is stronger than the reference pixel not belonging to the attention area. A conversion step of calculating the value of the output pixel from the value of the reference pixel using a calculation process that affects the value of
An image processing method including: