JP2015088989A

JP2015088989A - 画像処理装置

Info

Publication number: JP2015088989A
Application number: JP2013226864A
Authority: JP
Inventors: 紀秀宮村; Norihide Miyamura; 哲明桑野; Tetsuaki Kuwano; 俊洋土井; Toshihiro Doi
Original assignee: Oki Data Corp
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2013-10-31
Filing date: 2013-10-31
Publication date: 2015-05-07
Anticipated expiration: 2033-10-31
Also published as: JP6261950B2

Abstract

【課題】解像度変換した読み取り画像を再現する場合に、再現された文字の濃度が不安定となることを抑制することが可能な画像処理装置を提供する。
【解決手段】読み取った画像を前景画像に属する画素と背景画像に属する画素とに分離し、前景画像、背景画像、及び分離した画素が前景画像又は背景画像の何れかに属するのかを示す属性画像からなる多層データフォーマットの画像データを生成する画像処理装置２００は、読み取った画像と属性画像とに基き、前景分離画像及び／又は背景分離画像を生成する分離部と、前景分離画像及び／又は背景分離画像を画素ブロックに区分し、各画素ブロック内に属する画素のブロック代表値を算出し、前景縮小画像及び／又は背景縮小画像を生成する解像度変換部と、前景縮小画像及び／又は背景縮小画像の画素を解像度変換前の画素情報に基いて置換することで、前景画像及び／又は背景画像を生成する画素置換部と、を備える。
【選択図】図１

Description

本発明は、画像処理装置に関するものである。

近年、スキャナ等で取り込んだ画像を電子化してサーバに保持させたり、電子メールにて送信することが多くなっている。例えば、Ａ４サイズ、３００ｄｐｉの解像度でフルカラー画像を画像データとして記憶する場合、容量として約２４メガバイトの情報が必要となる。したがって、これをサーバに保持させたり、電子メールにて送信する場合には、装置に大きな負荷がかかってしまうことがあった。

装置への負担を考慮した場合、このような大容量の画像データに対しては、適当な圧縮手段による圧縮処理を施すことにより、データ容量を軽減させるのが好ましい。しかしながら、例えば、撮像装置を介して撮影された写真等の自然画像であれば、ＪＰＥＧ（joint Photographic Experts Group）等の圧縮方法によって劣化が少なく高圧縮な画像が得られるのに対し、文字列の入ったオフィス文書等では、圧縮率を高くすると、文字がぼやけて文字列の視認性が損なわれたり、逆に文字列の視認性を維持しようとすると、圧縮率が低くなり、圧縮効果が殆ど得られないといった問題があった。

これを解決する方法として、例えば、特許文献１には、入力画像データを、領域分離処理によって、文字列等の前景画像に属する画素からなる画像データと、文字列以外の背景画像に属する画素からなる画像データとに分離し、それぞれの画像データに対して圧縮処理を施し、これらの２つの画像データと、分離した各画素が前景画像又は背景画像の何れかの画像データに属するかを表す属性画像データとを併せた多層データ構造によって、表現する技術が開示されている。なお、このような技術は、ＭＲＣ（Mixed Raster Content）と呼ばれている。

特開２００８−１９３７４２号公報

しかしながら、解像度変換された画像データのみを利用して、解像度変換された画像データの各画素値を置換してしまうと、例えば、解像度変換時に不安定な濃度である文字輪郭部分（前景画像と背景画像との境界部分）の影響を受けた画素値が画素値置換時に伝播してしまうため、再現される文字の濃度が不安定になってしまうといった問題が発生していた。

図１３は、従来技術での処理例を説明する図である。図１３（ａ）は、処理対象となる読み取り画像の例である。なお、文字の輪郭部分は、スキャナの特性上、文字の色と下地の色とが混ざった中間色となる。図１３（ｂ）は、図１３（ａ）で示した読み取り画像の各画素が前景画像又は背景画像の何れかに属するかを示す属性画像の例である。ここでは、値"１"と記載されている画素が前景画像に属する画素を表し、値"０"と記載されている画素が背景画像に属する画素を表しており、文字の端部分における文字と下地との中間色の画素が一部前景画像として分離されていることを示している。

図１３（ｃ）は、図１３（ｂ）で示した属性画像に基いて、前景画像に属する画素のみを読取り画像から分離した例である。なお、図中×印で示した画素は前景画像に属さない（背景の）画素で、分離した前景画像においては、不定値をとるものとする。図１３（ｄ）は、分離した前景画像に解像度変換を施した例である。ここでは、分離した前景画像を３＊３画素のブロック毎に画素値の代表値を抽出することで、解像度を１／３に変換した例を示している。なお、ここで示した例における代表値は、例えば、特開２０１０−２７８５３４号公報に開示されているように、前景画像に属する画素の平均値としている。そのため、文字の端部分と下地との中間色の画素が含まれる３＊３画素ブロックの代表値の値は、文字（端部分）を構成する画素のみからなる３＊３画素ブロックの代表値の値よりも低くなり、濃度が低下していることがわかる。また、図中×印で示したブロックには前景画像に属する画素がひとつも無いブロック（不定値ブロック）を表している。

図１３（ｅ）は、図１３（ｄ）で示した解像度変換後の前景画像に対して、画素置換処理を施した例である。ここでは、置換対象の画素と当該置換対象の画素に縦横で隣接する画素とにおいて、不定値ブロックを除いた画素の平均値で置換した処理の結果を表している。図１３（ｅ）に示されるように、解像度変換時に濃度が低下した画素の影響が伝播することにより、本来濃度低下を生じないブロックにおいても濃度低下が発生していることがわかる。図１３（ｆ）は、図１３（ｅ）で示した画像を用いて、図１３（ａ）で示した読み取り画像を再生した例である。図１３（ｆ）に示されるように、画像処理によって濃度が低下した画素が影響し、文字の濃度が低下していることがわかる（なお、実際の処理においては、図１３（ｅ）の画像に対してＪＰＥＧ等の非可逆圧縮が施されるため、図１３（ｆ）に表れる色むらに関しては軽減される）。

本発明はこのような実状に鑑みてなされたものであり、本発明の課題は、解像度変換した読み取り画像を再現する場合においても、再現された文字の濃度が不安定となることを抑制することが可能な画像処理装置を提供することである。

上記課題を解決するために、本発明に係る画像処理装置は、読み取った画像を前景画像に属する画素と背景画像に属する画素とに分離し、前景画像、背景画像、及び分離した画素が前景画像又は背景画像の何れかに属するのかを示す属性画像からなる多層データフォーマットの画像データを生成する画像処理装置であって、読み取った画像と前記属性画像とに基き、前景分離画像又は背景分離画像の何れか一方、若しくは両方を生成する分離部と、生成された前記前景分離画像又は前記背景分離画像の何れか一方、若しくは両方に対し、解像度変換率に基いて所定の画素ブロックに区分し、前記属性画像に基いて各画素ブロック内の前記前景分離画像又は前記背景分離画像に属する画素の画素値を参照することでブロック代表値を算出し、当該ブロック代表値を画素値として有する画素を構成画素とする、前景縮小画像又は背景縮小画像の何れか一方、若しくは両方を生成する解像度変換部と、前記前景縮小画像又は前記背景縮小画像の何れか一方、若しくは両方に対して前記構成画素を解像度変換前の前記画素ブロックを構成する画素の情報に基いて置換することで、前記前景画像又は前記背景画像の何れか一方、若しくは両方を生成する画素置換部とを備えることを特徴としている。

また、本発明に係る画像処理装置は、読み取った画像を前景画像に属する画素と背景画像に属する画素とに分離し、前景画像、背景画像、及び分離した画素が前景画像又は背景画像の何れかに属するのかを示す属性画像からなる多層データフォーマットの画像データを生成する画像処理装置であって、読み取った画像と前記属性画像とに基き、前景分離画像又は背景分離画像の何れか一方、若しくは両方を生成する分離部と、
生成された前記前景分離画像又は前記背景分離画像の何れか一方、若しくは両方に対し、解像度変換率に基いて所定の画素ブロックに区分し、前記属性画像に基いて各画素ブロック内の前記前景分離画像又は前記背景分離画像に属する画素の画素値を参照することでブロック代表値を算出し、当該ブロック代表値を画素値として有する画素を構成画素とする、前景縮小画像又は背景縮小画像の何れか一方、若しくは両方を生成する解像度変換部と、前記前景縮小画像の前記構成画素を、解像度変換前の前記画素ブロックを構成する画素の情報に基いて置換することで、前記前景画像を生成する前景用画素置換部と、前記背景縮小画像の前記構成画素を、解像度変換前の前記画素ブロックを構成する画素の情報に基いて置換することで、前記背景画像を生成する背景用画素置換部とを備え、前記前景用画素置換部での画素置換方法と前記背景用画素置換部での画素置換方法とは異なることを特徴としている。

本発明によれば、解像度変換した読み取り画像を再現する場合においても、再現された文字の濃度が不安定となることを抑制することが可能な画像処理装置を提供することができる。

第１の実施形態に係る画像処理装置のハードウェア構成を説明するブロック図である。画像処理装置の内部構成を説明するブロック図である。前景背景生成部の内部構成を説明するブロック図である。画像処理装置の動作全般を説明するフローチャートである。前景画像及び背景画像の生成処理を説明するフローチャートである。画素置換部による前景縮小画像又は背景縮小画像の置換処理を説明するフローチャートである。第１の実施形態に係る処理例を説明する図である。第２の実施形態に係る前景背景生成部の内部構成を説明するブロック図である。前景画像及び背景画像の生成処理を説明するフローチャートである。前景縮小画像の各画素に対する画素置換処理を説明するフローチャートである。背景縮小画像の各画素に対する画素置換処理を説明するフローチャートである。第２の実施形態に係る処理例を説明する図である。従来技術に係る処理例を説明する図である。

以下、本発明の実施形態について図面を参照して説明する。なお、本発明は以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

[第１の実施形態]
図１は、本実施形態に係る画像処理装置２００のハードウェア構成を説明するブロック図である。画像処理装置２００は、原稿上の画像を読み取ることでビットマップデータを生成するスキャナ２０１と、画像処理装置２００を統括的に制御する制御部２０２とを備える。

スキャナ２０１は、少なくとも、原稿に光を照射する光源と、原稿により反射された光を集光するレンズと、レンズで集光された光を受光し、受光した光を電気信号に変換するＣＣＤ（Charge Coupled Device）等の光電変換素子とを備え、読み取り画像に基くビットマップデータを生成する。

制御部２０２は、図示せぬＣＰＵ（Central Processing Unit）や、ＲＡＭ（Random Access
Memory）といったメモリ等を備え、スキャナ２０１における原稿の読み取り処理、生成したビットマップデータをＭＲＣ形式データに変換する変換処理等を統括的に制御する。制御部２０２としては、ＣＰＵによって動作するプログラムでもよく、ＡＳＩＣ（Application Specific Integrated Circuit）等のデジタル回路、又はこれらの組み合わせによって構成してもよい。

図２は、画像処理装置２００の内部構成を説明するブロック図である。画像処理装置２００は、スキャナ２０１に相当する画像読み取り部３０１と、制御部２０２が実行する機能である属性画像生成部３０２、前景背景生成部３０３、及び画像符号化部３０４とを備える。

画像読み取り部３０１は、原稿上の画像を読み取り、読み取り画像に基くビットマップデータを生成する。なお、生成したビットマップデータを以降、入力画像と称する。

属性画像生成部３０２は、画像読取り部３０１において生成した入力画像に対し、像域分離処理を施し、ビットマップデータ化された各画素が、前景画像又は背景画像の何れかに属するのかを示す２値（例えば、ビットマップデータ化された画素が前景画像に属する場合には、値を"１"とし、背景画像に属する場合には、値を"０"とする）のビットマップデータ（以降、属性画像と称する）を生成する。属性画像生成部３０２は、例えば、読み取り画像に含まれるテキスト等は前景画像に、前景画像以外のイメージ画像等は背景画像にそれぞれ属するように、像域分離処理を行う。

前景背景生成部３０３は、入力画像と属性画像とに基いて前景画像及び背景画像を生成する。ここで、前景背景生成部３０３の構成について図３のブロック図を用いて説明する。前景背景生成部３０３は、分離部１０１と、解像度変換部１０２と、画素置換部１０３とを備える。

分離部１０１は、属性情報に基き、入力画像中の前景に属する画素の画素値だけを抜き出した(前景に属する画素以外は不定値とする)ビットマップデータ（以降、前景分離画像と称する）を生成するとともに、入力画像中の背景に属する画素の画素値だけを抜き出した（背景に属する画素以外は不定値とする）ビットマップデータ（以降、背景分離画像と称する）を生成する。

解像度変換部１０２は、分離部１０１により生成された前景分離画像を所定の解像度変換率に応じてブロック分割し、ブロック毎に画素値の代表値（以降、ブロック代表値と称する）を算出し、本ブロック代表値を画素値として有する画素を構成画素とする前景縮小画像を生成するとともに、ブロック毎の情報（以降、前景解像度変換前情報）を抽出する。例えば、３００ｄｐｉの解像度を示す前景分離画像を１００ｄｐｉの解像度に変換する場合、解像度変換部１０２は、３＊３画素単位でブロック分割を行い、ブロック代表値を算出する。なお、本実施形態においては、解像度変換部１０２は、前景解像度変換前情報として、各ブロックに含まれる前景に属する画素の画素数を利用するものとする。同様に、解像度変換部１０２は、分離部１０１により生成された背景分離画像を、所定の解像度変換率に応じてブロック分割し、ブロック毎にブロック代表値を算出し、本ブロック代表値を画素値として有する画素を構成画素とする背景縮小画像を生成するとともに、ブロック毎の情報（以降、背景解像度変換前情報）を抽出する。なお、本実施形態においては、解像度変換部１０２は、背景解像度変換前情報として、各ブロックに含まれる背景に属する画素の画素数を利用するものとする。ところで、本実施形態においては、前景解像度変換前情報又は背景解像度変換前情報として、各ブロックに含まれる前景又は背景に属する画素の画素数を利用する形態としたが、これに限らず、例えば、文字輪郭画素を含むか否か、ブロック内が一様な画素で構成されているかといった情報を利用してもよい。

画素置換部１０３は、前景解像度変換前情報に基き、前景縮小画像の構成画素を置換することにより前景画像を生成する。また、画素置換部１０３は、背景解像度変換前情報に基き、背景縮小画像の構成画素を置換することにより背景画像を生成する。

図２に示す画像符号化部３０４は前景画像、背景画像、及び属性画像に対してそれぞれ圧縮処理を施し、これらの圧縮データをまとめてＭＲＣ形式の画像データとして出力する。

次に、本実施形態に係る画像処理装置２００の動作について説明する。図４は、画像処理装置２００の動作全般を説明するフローチャートである。

まず、ステップＳ４０１において、図示せぬ操作部又は外部端末を介し、ユーザからの読み取り開始指示を受け付けると、画像読み取り部３０１は、原稿を読み取り、読み取り画像に基づく入力画像を生成する。

次に、属性画像生成部３０２は、画像読み取り部３０１において生成された入力画像に対し、像域分離処理を施し、ビットマップ化された各画素が、前景画像又は背景画像の何れかに属するかを示す属性画像を生成する（ステップＳ４０２）。属性画像生成部３０２は、例えば、読み取り画像に含まれるテキスト等は前景に、前景画像以外のイメージ画像等は背景にそれぞれ属するように、像域分離処理を行う。

次に、ステップＳ４０３において、前景背景生成部３０３は、入力画像と属性画像とに基いて前景画像及び背景画像を生成する。

最後に、画像符号化部３０４は前景画像、背景画像、及び属性画像に対してそれぞれ圧縮処理を施し、これらの圧縮データをまとめて多層画像データフォーマットであるＭＲＣ形式の画像データを生成し、保存する（ステップＳ４０４）。

図５は、図４のステップＳ４０３での前景背景生成部３０３による前景画像及び背景画像の生成処理を説明するフローチャートである。

まず、ステップＳ５０１において、分離部１０１は、属性情報に基き、入力画像中の前景に属する画素の画素値だけを抜き出した前景分離画像を生成するとともに、入力画像中の背景に属する画素の画素値だけを抜き出した背景分離画像を生成する。

次に、解像度変換部１０２は、ステップＳ５０１において、分離部１０１により生成された前景分離画像を所定の解像度変換率に応じてブロック分割する（ステップＳ５０２）。例えば、３００ｄｐｉの解像度を示す前景分離画像を１００ｄｐｉの解像度に変換する場合、解像度変換部１０２は、３＊３画素単位でブロック分割を行う。

続いて、解像度変換部１０２は、ブロック毎にブロック代表値を算出し、解像度変換後の前景縮小画像の画素値として設定する。そして、解像度変換部１０２は、ブロック代表値を画素値として有する画素を構成画素とする前景縮小画像を生成する（ステップＳ５０３）。なお、本実施形態においては、解像度変換部１０２は、各ブロック内の前景画像に属する画素の画素値の平均値をブロック代表値として算出する。

さらに、解像度変換部１０２は、各ブロック内の前景に属する画素の画素数（以降、前景所属画素数と称する）を前景解像度変換前情報として抽出し、前景縮小画像の各画素に対応付けて図示せぬメモリに記憶させる（ステップＳ５０４）。

そして、ステップＳ５０５において、画素置換部１０３は、前景解像度変換前情報に基き前景縮小画像の各画素を置換することにより、前景画像を生成する。

次に、解像度変換部１０２は、ステップＳ５０１において、分離部１０１により生成された背景分離画像を所定の解像度変換率に応じてブロック分割する（ステップＳ５０６）。例えば、３００ｄｐｉの解像度を示す背景分離画像を１００ｄｐｉの解像度に変換する場合、解像度変換部１０２は、３＊３画素単位でブロック分割を行う。

続いて、解像度変換部１０２は、ブロック毎にブロック代表値を算出し、解像度変換後の背景縮小画像の画素値として設定する。そして、解像度変換部１０２は、ブロック代表値を画素値として有する画素を構成画素とする背景縮小画像を生成する（ステップＳ５０７）。なお、本実施形態においては、解像度変換部１０２は、各ブロック内の背景に属する画素の画素値の平均値をブロック代表値として算出する。

さらに、解像度変換部１０２は、各ブロック内の背景に属する画素の画素数（以降、背景所属画素数と称する）を背景解像度変換前情報として抽出し、背景縮小画像の各画素に対応付けて図示せぬメモリに記憶させる（ステップＳ５０８）。

そして、ステップＳ５０９において、画素置換部１０３は、背景解像度変換前情報に基き背景縮小画像の各画素を置換することにより、背景画像を生成する。

最後に、前景背景生成部３０３は生成した前景画像及び背景画像を画像符号化部３０４に出力する（ステップＳ５１０）。

図６は、図５のステップＳ５０５又はステップＳ５０９での画素置換部１０３による前景縮小画像又は背景縮小画像の置換処理を説明するフローチャートである。画素置換部１０３は、前景縮小画像又は背景縮小画像の構成画素に対し、ステップＳ７０１に係る処理を行う。

ステップＳ７０１において、画素置換部１０３は、対象画素を含めた一定範囲内（本実施形態においては、対象画素と縦横に隣接する画素を画素範囲とする形態について説明するが、これに限らず、対象画素を中心としたＮ＊Ｎ画素（Ｎ＝３，４，５，・・・）を画素範囲とする形態としてもよい）の画素の中で、解像度変換前情報として最大の前景所属画素数又は背景所属画素数を示す画素を検出し、その画素が有する画素値で対象画素の画素値を置換する。画素値が置換された前景縮小画像を前景画像、同様に画素値が置換された背景縮小画像を背景画像として、前景背景生成部３０３は当該前景画像及び背景画像を画像符号化部３０４に出力する。

図７は、本実施形態に係る処理例を説明する図である。図７（ａ）は、図１３（ｃ）で説明した、属性情報に基いて、前景画像に属する画素のみを読み取り画像から分離した例において、解像度変換が行われる各ブロックの前景解像度前情報を示した例である。図中の各数値が、各ブロックの前景所属画素数を表している。図７（ａ）に示されるように、前景所属画素数は、文字輪郭部分を含むブロックよりも文字内部のブロックの方が多くなる傾向にある。

図７（ｂ）は、図１３（ｄ）で説明した、分離した前景画像に解像度変換を施した例に対し、本実施形態に係る画素置換を行うことで得られた前景縮小画像の例である。図７（ｂ）に示されるように、前景所属画素数は、文字輪郭部分を含むブロックよりも文字内部のブロックの方が多くなる傾向にあり、文字内部のブロックを優先的に利用して置換することにより、前景画像の文字濃度を維持することが可能となる。図７（ｃ）は、図７（ｂ）で示した前景縮小画像を用いて、読み取り画像を再生した例である。図７（ｃ）に示された例は、図１３（ｆ）で示し例と比較して、文字の濃度が高く安定していることがわかる。

なお、本実施形態の説明においては、前景分離画像、背景分離画像の何れに対しても、解像度変換処理、画素置換処理を施した形態について説明したが、何れか一方の画像に対してこれらの処理を施す形態であってもかまわない。

以上のように、第１の実施形態によれば、解像度変換前のブロックを構成する各画素に輪郭部分が含まれているか否かを判定可能な所属画素数を用い、解像度変換処理後の画像に対して画素置換処理を施すことによって、読み取り画像の文字濃度を安定化させることができる。また、所属画素数が最大を示す画素の画素値を用いて対象画素の画素値を置換することにより、従来技術のように平均値を利用して置換する場合に比べ、同じ画素値で置換されやすくなるため、前景画像の一様性を高めることができる。これにより、例えば、ＪＰＥＧ不可逆圧縮時に生じる画質の劣化を軽減することが可能であるとともに、圧縮率を向上させることができる。

[第２の実施形態]
第２の実施形態に係る画像処理装置は、第１の実施形態で説明した画像処理装置２００と略同一の構成である。本実施形態の説明においては、第１の実施形態と同一な構成については同一の符号を付してその説明は省略する。

図８は、本実施形態に係る前景背景生成部３０３'の構成を説明するブロック図である。前景背景生成部３０３'は、分離部１０１と、解像度変換部１０２と、前景用画素置換部１０４と、背景用画素置換部１０５とを備える。

前景用画素置換部１０４は、前景解像度変換前情報に基いて、前景縮小画像の各画素を置換することにより前景画像を生成する。背景用画素置換部１０５は、背景解像度変換前情報に基いて、背景縮小画像の各画素を置換することにより背景画像を生成する。なお、本実施形態においては、前景用画素置換部１０４と背景用画素置換部１０５とは異なる方法により各画素の画素置換処理を行う。

次に、本実施形態に係る前景背景生成部３０３'による前景画像及び背景画像の生成処理について図９、図１０、及び図１１のフローチャートを用いて説明する。なお、図９で説明する本実施形態に係る前景背景生成部３０３'による処理は、第１の実施形態の図５のフローチャートで説明した処理と略同一であるため、同一な処理については同一の符号を付してその説明は省略する。

ステップＳ９０１において、前景用画素置換部１０４は、前景解像度変換前情報に基いて、前景縮小画像の各画素を置換することにより前景画像を生成する。また、ステップＳ９０２において、背景用画素置換部１０５は、背景解像度変換前情報に基いて、背景縮小画像の各画素を置換することにより背景画像を生成する。

ここで、図９のステップＳ９０１に係る前景縮小画像の各画素に対する画素置換処理について図１０のフローチャートを用いて説明する。前景用画素置換部１０４は、前景縮小画像の各画素において、当該各画素の前景解像度変換前情報（ここでは、前景所属画素数）及び各画素の画素値に応じて図１０のステップＳ１００１〜ステップＳ１００６に係る処理を行う。

まず、前景用画素置換部１０４は、処理対象の画素の前景所属画素数（前景解像度変換前情報）が所定の閾値Ｔｈ１（例えば、ブロック分割単位を３＊３とした場合、閾値Ｔｈ１の値を"８"とする）未満であるか否かを判断する。ここで、処理対象の画素の前景所属画素数が、閾値Ｔｈ１以上である場合（ステップＳ１００１Ｎｏ）、前景用画素置換部１０４は画素置換処理を行わず、処理を終了する。

一方、処理対象の画素の前景所属画素数が閾値Ｔｈ１未満である場合（ステップＳ１００１Ｙｅｓ）、前景用画素置換部１０４は、処理対象の画素が無彩色であるか否か判断する。ここで、処理対象の画素が無彩色である場合（ステップＳ１００２Ｙｅｓ）、前景用画素置換部１０４は、処理対象の画素の前景所属画素数が所定の閾値Ｔｈ２（閾値Ｔｈ２と閾値Ｔｈ１とは、Ｔｈ２＜Ｔｈ１の関係を満たし、例えば、閾値Ｔｈ２の値を"４"とする）未満であるか否かを判断する。そして、処理対象の画素の前景所属画素数が、閾値Ｔｈ２未満である場合（ステップＳ１００３Ｙｅｓ）、前景用画素置換部１０４は、一定範囲内(例えば、対象画素を中心とした１５＊１５画素単位)の画素の中で、前景所属画素数が閾値Ｔｈ２以上の関係を満たす最近傍の画素の画素値で対象画素の画素値を置換する（ステップＳ１００４）。これにより、前景所属画素数が少なく、すなわち、文字輪郭部分の縮小画素から、前景所属画素数が多い文字内部（一様な部分）の縮小画素の画素値に置換することができる。

ところで、処理対象の画素が無彩色でない場合（有彩色、ステップＳ１００２Ｎｏ）、前景用画素置換部１０４は、一定範囲内（例えば、対象画素を中心とした７＊７画素単位）の画素の中で、前景所属画素数が閾値Ｔｈ２以上の関係を満たし、且つ、有彩色であり、最大彩度をもつ画素の画素値で対象画素の画素値を置換する。もし、このような画素が見つからない場合、前景用画素置換部１０４は、一定範囲内（例えば、対象画素を中心とした１５＊１５画素単位）の画素の中で、前景所属画素数が閾値Ｔｈ２以上の関係を満たす最近傍の画素の画素値で対象画素の画素値を置換する（ステップＳ１００５）。この場合、最大彩度をもつ画素を検出する代わりに、最小輝度(最大の濃度値)をもつ画素を検出する形態としてもよく、これにより、色文字内部の縮小画像を、彩度の高い同一の画素値に置換することが可能となる。また、前景所属画素数が少なく、すなわち、エッジ部分の縮小画素から、前景所属画素数の多い文字内部の縮小画素の画素値に置換することができる。

また、処理対象の画素が無彩色であり（ステップＳ１００２Ｙｅｓ）、処理対象の画素の前景所属画素数が、閾値Ｔｈ２以上である場合（ステップＳ１００３Ｎｏ）、前景用画素置換部１０４は、一定範囲内（例えば、対象画素を中心とした７＊７画素単位）の画素の中で、前景所属画素数が閾値Ｔｈ２以上の関係を満たし、且つ、最小の輝度値をもつ画素の画素値で対象画素の画素値を置換する（ステップＳ１００６）。これにより、黒文字内部の縮小画素を、黒に近い同一の画素値に置換することが可能となる。

なお、ステップＳ１００２における、処理対象の画素が無彩色であるか否かの判断は、各画素値を表現している色空間がＲＧＢ色空間であるならば、Ｒ，Ｇ，Ｂ各値の差分の小ささを評価することで行うことができる。また、各画素値を表現している色空間がＬａｂ色空間等の輝度、色差の色空間であるならば、色差の絶対値の小ささを評価することで処理対象の画素が無彩色であるか否かの判断を行うことができる。

ところで、ステップＳ１００４〜ステップＳ１００６において、置換対象画素が見つからない場合、前景用画素置換部１０４は、対象画素の置換処理を行わないものとする。

次に、図９のステップＳ９０２に係る背景縮小画像の各画素に対する画素置換処理について図１１のフローチャートを用いて説明する。背景用画素置換部１０５は、背景縮小画像の各画素において、当該各画素の背景解像度変換前情報（ここでは、背景所属画素数）及び各画素の画素値に応じて図１１のステップＳ１１０１〜ステップＳ１１０５に係る処理を行う。

まず、背景用画素置換部１０５は、処理対象の画素の背景所属画素数（背景解像度変換前情報）が所定の閾値Ｔｈ１未満であるか否かを判断する。ここで、処理対象の画素の背景所属画素数が閾値Ｔｈ１未満である場合（ステップＳ１１０１Ｙｅｓ）、背景用画素置換部１０５は、処理対象の画素の背景所属画素数が所定の閾値Ｔｈ２未満であるか否かを判断する。そして、処理対象の画素の背景所属画素数が、閾値Ｔｈ２未満である場合（ステップＳ１１０２Ｙｅｓ）、背景用画素置換部１０５は、一定範囲内(例えば、対象画素を中心とした１５＊１５画素単位)の画素の中で、背景所属画素数が閾値Ｔｈ２以上の関係を満たす最近傍の画素の画素値で対象画素の画素値を置換する（ステップＳ１１０３）。但し、背景用画素置換部１０５は、同じ距離で背景所属画素数が閾値Ｔｈ２以上の画素が複数存在した場合、それらの中で最も輝度の高い画素の画素値で置換する。これにより、背景所属画素数が少なく、すなわち、文字輪郭部分の近くの縮小画素から、背景所属画素数が多い、すなわち、文字から遠く離れた縮小画素の画素値に置換することができる。

一方、処理対象の画素の背景所属画素数が閾値Ｔｈ１以上である場合（ステップＳ１１０１Ｎｏ）、背景用画素置換部１０５は、隣接する画素の中で、背景所属画素数が閾値Ｔｈ１以上の関係を満たし、且つ、白画素の画素値で対象画素の画素値を置換する（ステップＳ１１０４）。これにより、文字の影響で白地に若干の濃度差が生じた部分を白画素に置換することができる。

なお、白画素であるか否かの判断は、その画素の輝度値がある一定の値以上であるか否かによって判断することができる。また、各画素値を表現している色空間がＲＧＢ色空間であるならば、ＲＧＢ＝（２５５，２５５，２５５）となる画素、各画素値を表現している色空間がＬａｂ色空間等の輝度、色差の色空間であるならば、Ｌａｂ＝（１００，０，０）となる画素を白画素と判断してもよい。

ところで、処理対象の画素の背景所属画素数が、閾値Ｔｈ２以上である場合（ステップＳ１１０２Ｎｏ）、背景用画素置換部１０５は、隣接する画素の中で、背景所蔵画素数が閾値ＴＨ１以上の関係を満たし、且つ、白画素の画素値で対象画素の画素値を置換する。もし、このような画素が見つからない場合、背景用画素置換部１０５は、一定範囲内（例えば、対象画素を中心とした３＊３画素単位）の画素の中で、背景所属画素数が閾値Ｔｈ２以上の関係を満たす最も輝度の高い画素の画素値で置換する（ステップＳ１１０５）。これにより、背景の縮小画素を、より輝度の高い同一の画素値に置換することが可能となる。

図１２は、本実施形態に係る処理例を説明する図である。図１２（ａ）は、図１３（ｄ）で説明した、分離した前景画像に解像度変換を施した例に対し、本実施形態に係る画素置換処理を施すことで得られた前景縮小画像の例である。図１２（ａ）に示されるように、本実施形態によれば、処理対象の画素の画素値は、同一の画素値で置換されやすくなっていることがわかる。

図１２（ｂ）は、図１３（ａ）で示した処理対象となる読み取り画像に対して、本実施形態に基き生成される背景解像度変換前情報の例である。図１２（ｂ）中の各数値は、各ブロックの背景所属画素数を表している。図１２（ｂ）に示されるように、背景所属画素数は、文字輪郭部分（前景画像との境界部分）を含むブロックより文字より遠い部分のブロックの方が多くなる傾向にあることがわかる。

図１２（ｃ）は、分離した背景画像に解像度変換を施した例である。ここでは、分離した背景画像を３＊３画素のブロック毎に画素値の代表値を抽出することで、解像度を１／３に変換した例を示している。なお、ここで示した例における代表値は、背景画像に属する画素の平均値としている。そのため、文字輪郭部分の文字と下地との中間色が含まれる３＊３画素ブロックの代表値の値は高くなり、濃度が若干高くなっていることがわかる。また、図中（白）は白画像であることを表している。

図１２（ｄ）は、図１２（ｃ）において解像度変換された背景画像を本実施形態に係る画素置換処理を施すことで得られた背景縮小画像の例であり、図１２（ｅ）は、図１２（ａ）で示した前景縮小画像と、図１２（ｄ）で示した背景縮小画像とを利用して、読み取り画像を再生した例である。図１２（ｅ）で示されるように、前景画像の文字濃度が安定するとともに、背景画像の下地濃度も安定し、文字と下地とのコントラストが高まり、視認性が向上していることがわかる。

以上のように、第２の実施形態によれば、前景画像において、解像度変換前のブロックを構成する各画素に輪郭部分が含まれているか否かを判定可能な所属画素数を用い、解像度変換処理後の画像に対する画素置換処理を施すことによって、読み取り画像の文字濃度を安定化させることができる。また、背景画像において、解像度変換前のブロックを構成する各画素に輪郭部分が含まれているか否かを判定可能な所属画素数を用い、解像度変換後の画像に対する画素置換処理を施すことによって、読み取り画像の下地濃度を安定化させることができる。

また、解像度変換後の一定範囲内の最小輝度値、最大輝度値を利用して置換処理を行うことによって、同じ画素値での置換が可能となるので、前景画像、背景画像の一様性を高めることができる。これにより、例えば、ＪＰＥＧ不可逆圧縮時に生じる画質の劣化を軽減することが可能であるとともに、圧縮率を向上させることができる。

さらに、本実施形態では、前景画像においては最小輝度値を用いて置換処理を行い、背景画像においては最大輝度値を用いて置換処理を行うといった、前景画像と背景画像とで異なる置換処理を行うことによって、文字と下地とのコントラストを高めることができ、視認性を向上させることができるといった効果も得ることができる。

さらにまた、本実施形態では、前景画像においては処理対象の画素が有彩色である場合に有彩色を用いて置換処理を行うため、色文字の彩度が下がることにより、再生した読み取り画像がくすんでしまうことを防ぐことができる。そして、背景画像においては処理対象の画素を隣接する白画素と置換するため、再生した読み取り画像の文字周辺の白地に濃度差が生じることを防ぐことができる。

また、本実施形態では、所属画素数が多い画素に比べ、所属画素数が少ない（輪郭部分）画素において、置換する画素の検索範囲を狭めるとともに、最近傍の画素を用いて置換処理を行うことによって、周辺にある明らかに色の異なる画素（例えば、前景画像で言えば、色の異なる隣の文字）で置換処理がなされることを避けることができる。

本発明は、多層データフォーマットの画像データを生成する、スキャナや複合機等の画像処理装置に対して適用可能である。

１０１分離部
１０２解像度変換部
１０３画素置換部
１０４前景用画素置換部
１０５背景用画素置換部
２００画像処理装置
２０１スキャナ
２０２制御部
３０１画像読み取り部
３０２属性画像生成部
３０３，３０３' 前景背景生成部
３０４画像符号化部

Claims

読み取った画像を前景画像に属する画素と背景画像に属する画素とに分離し、前景画像、背景画像、及び分離した画素が前景画像又は背景画像の何れかに属するのかを示す属性画像からなる多層データフォーマットの画像データを生成する画像処理装置であって、
読み取った画像と前記属性画像とに基き、前記前景分離画像又は前記背景分離画像の何れか一方、若しくは両方を生成する分離部と、
生成された前記前景分離画像又は前記背景分離画像の何れか一方、若しくは両方に対し、解像度変換率に基いて所定の画素ブロックに区分し、前記属性画像に基いて各画素ブロック内の前記前景分離画像又は前記背景分離画像に属する画素の画素値を参照することでブロック代表値を算出し、当該ブロック代表値を画素値として有する画素を構成画素とする、前景縮小画像又は背景縮小画像の何れか一方、若しくは両方を生成する解像度変換部と、
前記前景縮小画像又は前記背景縮小画像の何れか一方、若しくは両方に対して前記構成画素を解像度変換前の前記画素ブロックを構成する画素の情報に基いて置換することで、前記前景画像又は前記背景画像の何れか一方、若しくは両方を生成する画素置換部とを備えること
を特徴とする画像処理装置。
解像度変換前の前記画素ブロックを構成する画素の情報は、前記前景画像と前記背景画像との境界部分が含まれるか否かを示す情報であること
を特徴とする請求項１に記載の画像処理装置。
解像度変換前の前記画素ブロックを構成する画素の情報は、前記画素ブロックを構成する画素のうち、前記前景画像に属する画素の数又は前記背景画像に属する画素の数であること
を特徴とする請求項１又は請求項２に記載の画像処理装置。
前記画素置換部は、置換対象の画素を中心とした周辺の画素の中で、前記前景画像に属する画素の数又は前記背景画像に属する画素の数が最大となる画素によって置換すること
を特徴とする請求項３に記載の画像処理装置。
読み取った画像を前景画像に属する画素と背景画像に属する画素とに分離し、前景画像、背景画像、及び分離した画素が前景画像又は背景画像の何れかに属するのかを示す属性画像からなる多層データフォーマットの画像データを生成する画像処理装置であって、
読み取った画像と前記属性画像とに基き、前景分離画像又は背景分離画像の何れか一方、若しくは両方を生成する分離部と、
生成された前記前景分離画像又は前記背景分離画像の何れか一方、若しくは両方に対し、解像度変換率に基いて所定の画素ブロックに区分し、前記属性画像に基いて各画素ブロック内の前記前景分離画像又は前記背景分離画像に属する画素の画素値を参照することでブロック代表値を算出し、当該ブロック代表値を画素値として有する画素を構成画素とする、前景縮小画像又は背景縮小画像の何れか一方、若しくは両方を生成する解像度変換部と、
前記前景縮小画像の前記構成画素を、解像度変換前の前記画素ブロックを構成する画素の情報に基いて置換することで、前記前景画像を生成する前景用画素置換部と、
前記背景縮小画像の前記構成画素を、解像度変換前の前記画素ブロックを構成する画素の情報に基いて置換することで、前記背景画像を生成する背景用画素置換部とを備え、
前記前景用画素置換部での画素置換方法と前記背景用画素置換部での画素置換方法とは異なること
を特徴とする画像処理装置。
解像度変換前の前記画素ブロックを構成する画素の情報は、前記前景画像と前記背景画像との境界部分が含まれるか否かを示す情報であること
を特徴とする請求項５に記載の画像処理装置。
解像度変換前の前記画素ブロックを構成する画素の情報は、前記画素ブロックを構成する画素のうち、前記前景画像に属する画素の数又は前記背景画像に属する画素の数であること
を特徴とする請求項５又は請求項６に記載の画像処理装置。
前記前景用画素置換部は、置換対象の画素を中心とした周辺の画素の中で、前記前景画像に属する画素の数がある一定値以上で、且つ、最小輝度値を有する画素によって置換対象の画素を置換し、
前記背景用画素置換部は、置換対象の画素を中心とした周辺の画素の中で、前記背景画像に属する画素の数がある一定値以上で、且つ、最大輝度値を有する画素によって置換対象の画素を置換すること
を特徴とする請求項７に記載の画像処理装置。
前記背景用画素置換部は、置換対象の画素を中心とした周辺の画素の中で、前記背景画像に属する画素の数がある一定値以上で、且つ、白画素である画素によって置換対象の画素を置換すること
を特徴とする請求項７又は請求項８に記載の画像処理装置。
前記前景用画素置換部は、前景縮小画像の各画素を、当該画素が有彩色である場合は、当該画素を中心とした周辺の画素の中で、前記前景画像に属する画素の数がある一定値以上で、且つ、有彩色であるという条件を満たし、最大彩度値又は最小輝度値の何れかを有する画素によって、置換すること
を特徴とする請求項７乃至請求項９の何れか１項記載の画像処理装置。
前記前景用画素置換部は、前景縮小画像の各画素の中で前記前景画像に属する画素の数がある一定値以上で、且つ、最近傍の画素によって置換すること
を特徴とする請求項７乃至請求項１０の何れか１項記載の画像処理装置。
前記背景画素置換部は、背景縮小画像の各画素の中で前記背景画像に属する画素の数がある一定値以上で、且つ、最近傍の画素によって置換すること
を特徴とする請求項７乃至請求項１１の何れか１項記載の画像処理装置。
前記前景用画素置換部は、前景縮小画像の各画素の中で前記前景画像に属する画素の数がある一定値未満の画素と前記前景画像に属する画素の数がある一定値以上の画素とで、置換対象を検出する周辺の画素の範囲が異なり、属する画素の数がある一定値未満の画素の方が置換対象を検出する周辺の画素の範囲が狭いこと
を特徴とする請求項７乃至請求項１２の何れか１項記載の画像処理装置。
前記背景用画素置換部は、背景縮小画像の各画素の中で前記背景画像に属する画素の数がある一定値未満の画素と前記背景画像に属する画素の数がある一定値以上の画素とで、置換対象を検出する周辺の画素の範囲が異なり、属する画素の数がある一定値未満の画素の方が置換対象を検出する周辺の画素の範囲が狭いこと
を特徴とする請求項７乃至請求項１３の何れか１項記載の画像処理装置。