JP2008028717A - 画像処理装置および方法、プログラム - Google Patents

Abstract

【課題】 従来技術では背景をＪＰＥＧ圧縮を行っているためスキャナの読み取り誤差や文字以外の高周波成分の影響により、本来ならば同一色の背景であるにかかわらず、ＪＰＥＧの圧縮単位のブロックごとに微妙に色が変わってしまい、背景がモザイク状になり高品位な出力を得ることができなかった。また、文字以外の高周波部分（ラインアート、イラスト、写真と背景との境界など）などの影響でモスキートノイズによる画像の劣化があった。
【解決手段】 従来の画像の高圧縮処理に加えて高周波部分を取り除いた背景画像に対して再評価を行い、その結果を元に背景画像の処理方法を変更する。
【選択図】 図２

Description

本発明は、光学的に文書原稿を読み取って得られた画像データを処理する情報処理装置及び方法に関し、特に読み取った画像データの再利用を前提とした処理に好適な情報処理装置及び方法に関する。

近年、スキャナなどで取り込んだ画像の電子化してサーバーに保持や、メールで送信する傾向が進んでいる。

従来の技術では、Ａ４サイズ、３００ｄｐｉでフルカラー画像を記憶する場合、約２４メガバイトの情報が必要になるため、２４ＭＢの情報をメールなどで送信することはネットワークのリソースを大きく損なうことになり、画像を圧縮して送るのが一般的となる。このようなフルカラーの画像の圧縮には一般的にＪＰＥＧが知られている。ＪＰＥＧは自然画の圧縮などでは少ない画質の劣化で高い圧縮効果が得られることで知られているが、文字列の入った一般的なオフィス文書などでは、文字部の周囲などの高周波部分でモスキートノイズと呼ばれる劣化が発生し、画像の圧縮率も悪くなる。

そこで、入力画像にたいして領域認識を行い、背景部分と文字部分に画像を分割し、色情報つきの文字画像に対しては色毎にニ値化してＭＭＲ圧縮を行い、文字の高周波部分を抜き取った背景画像にはＪＰＥＧにより圧縮することで、背景画像と文字画像のレイヤ構造によって表現する方法があった。

従来例としては、例えば特許文献１をあげることが出来る。
特開２００１−２９７３０３号公報

前記説明したように、背景から文字等の高周波部分を除くことでＪＰＥＧによる圧縮効率を向上させ、画像品位を向上することが可能となった。しかしながら、従来技術では高周波成分を文字として、背景画像には高周波成分は含まれないことを前提としている。ＪＰＥＧ圧縮はＭＣＵと呼ばれる画像ブロックを圧縮単位としているため、同一色の背景を読み込んだ場合においても、スキャナの読み取り誤差や、文字以外の画像の影響などにより、画像ブロックごとに微妙に色が異なるという現象が発生する。ブロックごとに微妙に異なる色が並んでいる場合、見た目ではモザイク上となり綺麗な画像であるとはいえない。

また、文字部と認識できなかった高周波部分（ラインアートやイラスト、写真と背景との境界など）においてはやはりモスキートノイズによる画像の劣化があった。

入力された原画像に対して、少なくとも文字領域と非文字領域を認識し、画像内の位置を特定する画像領域識別手段と、
前記、画像領域識別装置で指定された情報をもとに、文字領域に対しては文字画像を生成する文字画像生成手段と、
前記文字画像に対して文字画像に適した圧縮方法によって圧縮する文字画像圧縮手段と、
非文字領域に対しては、文字部分を周辺色で塗りつぶした背景画像を生成する背景画像生成手段と、
背景となった画像に対して背景画像の特徴を判定する背景画像判定手段と、
前記、背景画像の判定結果によって、それぞれに適した圧縮方法を使用して画像を圧縮する背景画像圧縮手段と、
圧縮したそれぞれの画像に対して、文字画像を前景、背景画像を背景とした階層構造によってひとつのファイルとする構造化文書生成手段と、
を有する。

上記説明したように、本発明では文字領域と背景領域に画像を分離した後の背景画像にたいして再評価を行い、背景の特徴に応じて背景画像の圧縮方法あるいは記述方法を替えることにより、より高品位で高圧縮な画像を生成することが可能となる。

（実施形態１）
本発明の実施形態を説明する。

図１を用いて本発明を動作するための情報処理装置の構成を説明する。

スキャナなどの入力装置（３）から読み込まれた画像データや、ハードディスクなどの外部記憶装置（４）などに記憶されている入力画像データ（４−１）から読み込まれた入力画像データは、ＲＡＭ（２）などのメモリ領域の入力画像データ領域（２−１）に展開される。同様にＨＤＤやＲＯＭなどの外部記憶装置（４）に記憶されている画像処理プログラム（４−２）も同様にＲＡＭ（２）などの処理プログラム展開領域（２−２）に展開される。

メモリ上に展開された処理プログラムはＣＰＵ（１）によって実行され、同じくメモリ上の入力画像データ領域に展開されている入力画像データを処理する。処理された結果はＲＡＭ（２）上に出力画像データ領域（２−２）に出力され出力画像データを生成する。ＲＡＭ上に生成された出力画像データはＣＲＴやプリンタなどの出力装置（５）あるいは外部記憶装置（４）あるいはネットワーク上の外部記憶装置（４）に出力画像データ(４−３)として出力される。

本発明の実行環境はスタンドアロンのＰＣ上に限らず、ネットワークやインターネット上といった分散環境においても動作可能である。

図２は本発明の処理フローチャートである。フローチャートを元に本発明の処理の詳細を説明する。

Ｓ２０１では領域判別を行って文字領域と非文字領域を判別する処理である。入力画像を入力して、領域ごとのラベル付の２値画像を出力する。

領域判別処理では入力された画像原稿に対して、原稿の特徴を抽出して文字領域を認識する。図３は領域判別の処理を説明するための図である。入力されたフルカラーの入力原稿（２０１−１）から輝度値によるヒストグラム（２０１−２）を生成して、ニ値化の閾値ｙ（２０１−３）を決定する。ニ値化の閾値よりも輝度値が低い場合は黒画素、高い場合は白画素としてカラー画像からニ値画像（２１０−４）を生成する。

ニ値化した画像を元に、画像のサイズ（画素数）や画素塊のループ数などの文字的な特徴をもつ画素塊を文字として認識する。最終的に文字として認識されたある程度のまとまりをテキスト領域と認識して、領域判別結果（２０１−５）として領域ごとにラベルや位置情報などを属性として出力する。実施例では入力画像からＴＥＸＴ１からＴＥＸＴ７まで７個のテキスト領域が認識された。

図２のＳ２０２では文字画像を生成する。Ｓ２０１の出力結果であるラベル付のニ値画像と入力画像を入力として、各色毎の２値画像を生成し出力する。

領域判別の出力結果であるニ値画像についているラベル情報がテキスト領域であればその領域に含まれる画素は文字であるので、入力画像の色を調べて入力画像の色でニ値化した画像を生成する。

非文字のラベルがついていた場合、その領域に含まれる画素は文字ではないのですべて削除する。

図４は文字画像生成処理を説明するための図である。実施例では、領域判別でついたラベルの情報はすべてテキストであるので、すべて文字画像（２０２−１）として残す。

次に文字色を決定するために、文字画像の位置に対応するから入力画像（２０２−２）の色を見て文字色を決定する。比較の結果、実施例ではＴｅｘｔ１，２，３，５，６に含まれる文字はすべて文字色黒であるとし、Ｔｅｘｔ４，７に含まれる文字はすべて文字色赤であることがわかり、色毎のニ値画像（２０３−３と２０３−４）を生成する。

図２のＳ２０３は文字画像の圧縮処理である。色毎のニ値画像を入力として色毎の圧縮を行い圧縮データを出力とする。

実施例では、文字色ごとのニ値画像が生成されているのでニ値画像の圧縮に適している圧縮方法であるＭＭＲ圧縮処理を使用して色毎のＭＭＲ圧縮データを生成する。実施例では黒のＭＭＲ圧縮データと赤色のＭＭＲ圧縮データが生成される。

図２のＳ２０４では背景画像を生成する。入力原稿と文字画像を入力として、背景画像を出力する。

図５は背景画像生成処理を説明するための図である。入力画像（２０４−１）と文字画像（２０４−２）を参照して文字画像に対応する画像を入力画像から消去することで背景画像（２０４−３）を生成する。次に消去された画素を周辺色で穴埋め処理を行って背景画像（２０４−４）を出力する。周辺色の決定には隣接する背景色の平均色を求めて、逐次穴埋めを実行する。

図２のＳ２０５では、Ｓ２０４で生成した背景画像の特徴を判別する。

実施例では背景画像の各色成分毎にヒストグラムを生成して、その分散値が一定範囲以内であるかどうか判定する。背景画像の色空間がＹＣｂＣｒならばＹ値、Ｃｂ値、Ｃｒ値のヒストグラムを生成し、ＲＧＢならばＲ値、Ｇ値、Ｂ値のヒストグラムを生成する。

図６は実施例での背景画像判別処理である。実施例ではＳ２０４で生成した背景画像（２０５−１）が色空間ＹＣｂＣｒであった場合、Ｙ、Ｃｂ、Ｃｒに対してヒストグラムを生成する。（ここで、ＲＧＢに変換してもかまわない）
この分散値（σ）が閾値以下ならば同一色であるとして、ヒストグラムの平均値を単一の背景色として決定する。

図２のＳ２０６では背景画像をＳ２０５の判定結果にしたがって圧縮処理を行う。背景画像と背景画像識別結果をもとに同一色で判定された場合、出力がＰＤＦなどの構造化文書である場合はページ全面を指定して平均値から求めた背景色で塗りつぶし指定することで濃度ムラのない背景を生成することができる。また、分散値が大きなために単一色としては認められなかった場合には従来の処理どおり背景画像に対してＪＰＥＧなどの圧縮方法を用いて背景を圧縮する。

図２のＳ２０７では、図７に示すようにＳ２０６の背景画像圧縮処理で圧縮した画像を背景とし、Ｓ２０３の文字画像圧縮方法で生成した各色毎の文字画像圧縮データを前景とした構造化ファイルの形式で画像データを生成する。

（実施形態２）
実施形態１では背景画像が単一色であった場合の処理について記述したが、背景画像が単一色ではなかった場合でも本処理によって高品位で高圧縮な画像データを生成することができる。

図８は実施形態２における領域判別の例である。

実施形態１と同様に入力された入力原稿（８−０１）のヒストグラムを生成し、閾値ｙを求め、求めた閾値を元にニ値化処理を行い２値画像（８−０２）を生成する。２値画像に対して領域判別処理を行い、ＴＥＸＴ領域１から４と非テキスト領域を得ることができる。

図９は実施形態２における文字画像生成処理の説明図である。テキスト部分に関しては実施形態１で説明した時と同様、テキスト部分に関しては入力原稿の対応する文字色を参照して色毎の文字画像を生成し、色毎にＭＭＲ圧縮処理を実行する。非テキスト領域に関してはニ値画像から削除する。

図１０は実施形態２における背景画像生成処理の説明図である。背景画像についても実施形態１で説明したように、入力画像（１０−０１）と文字画像を比較して、文字画像部分を周辺色で穴埋めして背景画像（１０−０２）を生成する。

背景画像判別処理では、背景画像のラインごとに色成分ごとのヒストグラムを生成して分散値が閾値以上であるか否かを判定する。分散値が低ければ同一色の背景とする。図１１では背景画像判定処理を説明するための図である。

ラインごとのヒストグラムを生成し、行単位で同一色かどうかを判定する。図ではライン１からラインｉとラインｉ＋ｋ＋１からラインｎまでが分散値は小さくなり同一色を持つ行であることがわかり、ラインｉ＋１からラインｉ＋ｋの分散値が大きくなり、同一色であると認めることができないことがわかる。

次に同一色であると認められたラインの分散値を同様に求め、分散値が小さければライン１からラインｉとラインｉ＋ｋ＋１からラインｎまでは同一色であると判定できる。上記処理により、背景画像１１−１は同一背景色領域１１−２と異なる背景色領域１１−３に分離することができる。異なる背景色領域には更に列方向に同一色かどうかを判定し最終的に図１２の同一色背景領域と非同一色背景領域を得る。

図１３は画像データ生成処理を説明するための図である。

このように求めた同一色の画像領域が一定以上の面積（本実施例では、５０％よりも大きい値とする）であれば、同一色背景領域は背景として塗りつぶし指定をする。非同一色背景領域は背景から外し中景として処理する。

最終的に塗りつぶし指定の背景画像と、中景画像である非文字領域と、前景である文字領域をまとめて一つの画像データを生成することができる。

本発明の情報処理装置の構成図。 本発明のフローチャート。 実施例１での領域判別処理。 実施例１での文字画像生成処理。 実施例１での背景画像生成処理。 実施例１での背景画像。 実施例１での画像データの生成処理。 実施例２の領域判別処理。 実施例２の文字画像生成処理。 実施例２の背景画像生成処理。 実施例２の背景画像判定処理。 実施例２の背景画像判定処理２。 実施例２の画像データ生成処理。

符号の説明

１ ＣＰＵ
２ ＲＡＭ
２−１ 入力データ領域
２−２ 出力データ領域
２−３ 処理プログラム展開領域
３ 入力装置
４ 外部記憶装置
４−１ 入力画像データファイル
４−２ 処理プログラム
４−３ 出力画像データファイル
５ 出力装置

Claims (5)

1. 入力された原画像に対して、少なくとも文字領域と非文字領域を認識し、画像内の位置を特定する画像領域識別装置と、
   前記、画像領域識別装置で指定された情報をもとに、文字領域に対しては文字画像を生成する文字画像生成装置と、
   前記文字画像に対して文字画像に適した圧縮方法によって圧縮する文字画像圧縮装置と、
   非文字領域に対しては、文字部分を周辺色で塗りつぶした背景画像を生成する背景画像生成装置と、
   背景となった画像に対して背景画像の特徴を判定する背景画像判定装置と、
   前記、背景画像の判定結果によって、それぞれに適した圧縮方法を使用して画像を圧縮する背景画像圧縮装置と、
   圧縮したそれぞれの画像に対して、文字画像を前景、背景画像を背景とした階層構造によってひとつのファイルとする構造化文書生成装置と、
   を有することを特徴とする画像処理装置。
2. 請求項１の画像処理装置において、
   背景画像判定装置は単一色であるかどうか判定し単一色であった場合、背景画像圧縮装置は背景画像を塗りつぶし指定によって記述することを特徴とする画像処理装置。
3. 請求項１の画像処理装置において、
   背景画像判定装置は単一色であるかどうか判定し、一定以上の領域が同一色であると判定した場合には、背景画像圧縮装置は同一色と判定した色を背景として塗りつぶし指定によって記述する背景画像圧縮装置と、それ以外の部分を中景画像として異なる圧縮方法によって画像を圧縮することを特徴とする画像処理装置。
4. 入力された原画像に対して、少なくとも文字領域と非文字領域を認識し、画像内の位置を特定する画像領域識別方法と、
   前記、画像領域識別装置で指定された情報をもとに、文字領域に対しては文字画像を生成する文字画像生成方法と、
   前記文字画像に対して文字画像に適した圧縮方法によって圧縮する文字画像圧縮方法と、
   非文字領域に対しては、文字部分を周辺色で塗りつぶした背景画像を生成する背景画像生成方法と、
   背景となった画像に対して背景画像の特徴を判定する背景画像判定方法と、
   前記、背景画像の判定結果によって、それぞれに適した圧縮方法を使用して画像を圧縮する背景画像圧縮方法と、
   圧縮したそれぞれの画像に対して、文字画像を前景、背景画像を背景とした階層構造によってひとつのファイルとする構造化文書生成方法と、
   を有することを特徴とする画像処理方法。
5. 入力された原画像に対して、少なくとも文字領域と非文字領域を認識し、画像内の位置を特定する画像領域識別処理プログラムと、
   前記、画像領域識別装置で指定された情報をもとに、文字領域に対しては文字画像を生成する文字画像生成処理プログラムと、
   前記文字画像に対して文字画像に適した圧縮方法によって圧縮する文字画像圧縮処理プログラムと、
   非文字領域に対しては、文字部分を周辺色で塗りつぶした背景画像を生成する背景画像生成処理プログラムと、
   背景となった画像に対して背景画像の特徴を判定する背景画像判定処理プログラムと、
   前記、背景画像の判定結果によって、それぞれに適した圧縮方法を使用して画像を圧縮する背景画像圧縮処理プログラムと、
   圧縮したそれぞれの画像に対して、文字画像を前景、背景画像を背景とした階層構造によってひとつのファイルとする構造化文書生成処理プログラムと、
   を有することを特徴とする画像処理処理プログラム。

Images