JP2010062740A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】色覚健常者と色覚異常者との間で円滑なコミュニケーションを実現することが可能な画像処理装置および画像処理方法を提供する。
【解決手段】たとえば４色（赤色、青色、黄色、緑色）に区分された円グラフを考える。この円グラフは、各領域の面積に応じて対応する色が示す情報（たとえば、各色に対応する項目が全体に占める割合など）を示している。さらに、各色に対応する項目が凡例として円グラフとは独立して記述されている。たとえば第１／２色覚障害者には「赤色」と「緑色」とは同じ色に見えるため、これらを識別することができない。第１実施形態に従う画像処理では、図１（ａ）に示すようなグラフに対して、色が示す情報を付加し、図１（ｃ）に示すような画像を生成する。
【選択図】図１

Description

この発明は、カラー画像を処理可能な画像処理装置および画像処理方法に関し、特に色覚障害者のためのカラーユニバーサルデザインを提供する技術に関する。

近年、画像形成技術の発達により、印刷物もモノクロからフルカラーへ移行しつつある。

一方、先天的に色覚障害をもつ人は、日本において３００万人以上（男性の約５％、女性の約０．２％）いると言われている。カラーのドキュメントが増加し、色による情報伝達が重要になるほど、色覚障害者にとってみれば、当該ドキュメントに記述された情報が読み取りにくくなったり、読み違えたりしまう場合が多くなっていると考えられる。その結果、色覚障害者から見れば、以前より不便な社会になっているとも考えられる。

たとえば、会議やプレゼンテーションといった複数人の間でコミュニケーションをとる際には、色別に区別したグラフが日常的に使用されている。このような場合に、ＣＵＤ（Color Universal Design：カラーユニバーサルデザイン）を考慮することなく作成されたカラーグラフなどに基づいて、参加者の間で議論が進められると、色覚障害者は正しくコミュニケーションをとることができな場合がある。

より具体的な一例として、色別に区分した円グラフと各色が示す情報（凡例）とが互いに独立して記述されているような場合には、参加者の間では、「グラフ中の赤色の部分については、…を示し、緑色の部分については、…を示し、」といった説明をしながら、コミュニケーションがとられる。しかしながら、たとえば第１／２色覚障害者にとってみれば、「赤色」と「緑色」とは同じ色に見えるため、情報を正しく理解できない場合がある。その結果、色覚異常者は、色覚健常者にその説明内容を確認しながら、コミュニケーションを行なわざるを得ない場合も多いと考えられる。

このような課題を解決する１つのアプローチとして、特開２００５-５１４０５号公報（特許文献１）には、カラーによる情報量の多さや視覚的効果を損なうことなく、色覚障害者に対してもカラー画像と同等の情報量を伝達することのできる画像処理装置が開示されている。この画像処理装置は、グラフの色つき箇所にパターンを挿入し、色覚障害者にとって見分けにくい色の違いをパターンによって認識可能とするものである。
特開２００５-５１４０５号公報

しかしながら、特開２００５-５１４０５号公報（特許文献１）に開示される画像処理装置を用いて得られたグラフは、各要素をパターンで区別するものであり、各パターンに対して各要素の領域が十分大きくないと、十分に区別できないという課題があった。また、パターンが付加されるため、当該グラフを作成した健常者の意図とは異なる表現となる場合もあった。

そこで、この発明は、かかる問題を解決するためになされたものであり、その目的は、色覚健常者と色覚異常者との間で円滑なコミュニケーションを実現することが可能な画像処理装置および画像処理方法を提供することである。

この発明のある局面に従う画像処理装置は、入力画像データからグラフ領域を抽出する第１抽出手段と、入力画像データのうちグラフ領域を除いた領域から色と当該色が示す情報とのセットを抽出する第２抽出手段と、グラフ領域に含まれるグラフ要素のうち抽出されたセットに含まれる色と同じ色をもつものを特定する第１特定手段と、グラフ要素のもつ色に対応する色が示す情報をグラフ領域のいずれの位置に付加すべき位置を決定する決定手段と、決定された位置に基づいて、入力画像データに色が示す情報を付加することで出力画像データを出力する出力手段とを含む。

好ましくは、第２抽出手段は、入力画像データにおいて、グラフ領域から所定範囲内に存在する文字領域を探索し、探索された文字領域に含まれる色と対応する文字画像とを抽出する。

好ましくは、セットは、凡例色と当該凡例色に対応する文字画像とを含む。
好ましくは、出力手段は、入力画像データに付加すべき付加画像データを生成する生成手段と、入力画像データと付加画像データとを出力画像データに合成する合成手段とを含む。生成手段は、文字画像を対応するグラフ要素の位置に配置することで、付加画像データを生成する。

さらに好ましくは、生成手段は、グラフ領域に円グラフを含む場合に、文字画像を対応するグラフ要素の領域内に配置できるか否かを判断し、文字画像を対応するグラフ要素の領域内に配置できないときに、当該文字画像を対応するグラフ要素の領域外に配置する。

さらに好ましくは、生成手段は、文字画像を対応するグラフ要素の領域内に配置できるときに、配置する当該文字画像の色を配置先のグラフ要素の色に応じて変化させる。

好ましくは、決定手段は、グラフ領域に線グラフを含む場合に、各グラフ要素の開始点および終了点、ならびにグラフ要素間のクロス点を探索し、開始点、終了点、クロス点の少なくとも１つを対応する文字画像の配置位置として決定する。

この発明の別の局面に従う画像処理方法は、入力画像データからグラフ領域を抽出するステップと、入力画像データのうちグラフ領域を除いた領域から色と当該色が示す情報とのセットを抽出するステップと、グラフ領域に含まれるグラフ要素のうち抽出されたセットに含まれる色と同じ色をもつものを特定するステップと、グラフ要素のもつ色に対応する色が示す情報をグラフ領域のいずれの位置に付加すべき位置を決定するステップと、決定された位置に基づいて、入力画像データに色が示す情報を付加することで出力画像データを出力するステップとを含む。

この発明によれば、色覚健常者と色覚異常者との間で円滑なコミュニケーションを実現することができる。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

この発明に係る画像処理装置の代表例として、プリント機能やコピー機能といったカラープリント機能（画像形成機能）に加えて、スキャン機能を搭載した複合機（Multi Function Peripheral：以下「ＭＦＰ」とも称す。）について、以下説明する。

＜概要＞
本発明に係る画像処理は、カラーグラフを含む画像に対して、オリジナルの情報を維持したまま、色が示す情報（代表的に、凡例の内容）を付加する。図１および図２を参照して、本発明に係る画像処理の一例について例示する。

図１（ａ）を参照して、たとえば４色（赤色、青色、黄色、緑色）に区分された円グラフを考える。この円グラフは、各領域の面積に応じて対応する色が示す情報（たとえば、各色に対応する項目が全体に占める割合など）を示している。さらに、各色に対応する項目が凡例として円グラフとは独立して記述されている。

たとえば第１／２色覚障害者には「赤色」と「緑色」とは同じ色に見えるため、第１／２色覚障害者にとってみれば、図１（ａ）に示すグラフは、図１（ｂ）のように見える。すなわち、第１／２色覚障害者にとってみれば、「赤色」の領域と「緑色」の領域とを識別することができない。このとき、凡例中の「Ａさん」に対応する「赤色」と、「Ｂさん」に対応する「緑色」とについても、識別することができないので、第１／２色覚障害者は、図１（ａ）に示すグラフに記述された情報を十分に読み取ることができない。

そこで、第１実施形態に従う画像処理では、図１（ａ）に示すようなグラフに対して、色が示す情報を付加し、図１（ｃ）に示すような画像を生成する。

また、図２（ａ）を参照して、たとえば４色（赤色、青色、黄色、緑色）の線で区分された線グラフを考える。この線グラフでは、各色の線の位置に応じて対応する色が示す情報（たとえば、各色に対応する項目の変化など）を示している。さらに、各色に対応する項目が凡例として線グラフとは独立して記述されている。

上述したように、第１／２色覚障害者には「赤色」と「緑色」とは同じ色に見えるため、第１／２色覚障害者にとってみれば、図２（ａ）に示すグラフは図２（ｂ）のように見えるため、その中に記述された情報を十分に読み取ることができない。

そこで、第２実施形態に従う画像処理では、図２（ａ）に示すようなグラフに対して、各色の線の開始点、終了点、交差（クロス）点などに文字情報などを付加し、図２（ｃ）に示すような画像を生成する。

このように、本発明に係る画像処理によれば、オリジナルの情報を維持したまま、色が示す情報を付加することで、色覚健常者と色覚異常者との間で円滑なコミュニケーションを実現することが可能な画像が得られる。

［第１実施形態］
＜装置構成＞
図３は、この発明の第１実施形態に従うＭＦＰ１００の装置構成を示すブロック図である。図３を参照して、ＭＦＰ１００は、カラーグラフなどが記載された原稿を読み取り、上述したような本実施の形態に従う画像処理を行った上で、図１（ｃ）や図２（ｃ）に示すような画像（合成画像データ）を出力（プリント出力またはデータ出力）する。

具体的には、ＭＦＰ１００は、スキャナ１０と、入力画像処理部１２と、ＣＰＵ（Central Processing Unit）１４と、記憶部１６と、ネットワークＩ／Ｆ（Interface）１８と、モデム２０と、操作パネル２２と、出力画像処理部２４と、プリントエンジン２６とを含み、これらの各部は、バス２８を介して互いに接続されている。

スキャナ１０は、原稿から画像情報を読み取って入力画像データを生成する。この入力画像データは、入力画像処理部１２へ送られる。より具体的には、スキャナ１０は、プラテンガラスに載置された原稿に向けて光源から光を照射するとともに、原稿から反射した光を主走査方向に配列された撮像素子などによって受光することで、原稿の画像情報を読み取る。あるいは、連続的な原稿読み取りができるように、原稿給紙台、送出ローラ、レジストローラ、搬送ドラム、および排紙台などを含むようにスキャナ１０を構成してもよい。

入力画像処理部１２は、スキャナ１０から受けた入力画像データに対して、色変換処理、色補正処理、解像度変換処理、領域判別処理といった入力画像処理を実行する。入力画像処理部１２は、入力画像処理後のデータを記憶部１６へ出力する。

ＣＰＵ１４は、ＭＦＰ１００の全体処理を司る演算装置であり、代表的に、予め格納されたプログラムを実行することで後述する各種処理を実行する。より具体的には、ＣＰＵ１４は、操作パネル２２に対してなされた操作キーの検出、操作パネル２２における表示制御、入力画像データの画像形式（ＪＰＥＧ，ＰＤＦ，ＴＩＦＦ（Tagged Image File Format）など）の変換処理、ネットワークや電話回線を介した通信の制御などを実行する。

記憶部１６は、ＣＰＵ１４で実行されるプログラムや入力画像処理部１２から出力される入力画像データなどを格納する。代表的に、記憶部１６は、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリと、ハードディスク（ＨＤＤ：Hard Disk Drive）やフラッシュメモリなどの不揮発性メモリとを含む。また、記憶部１６は、本実施の形態に従う画像処理によって生成される画像データを格納する。

ネットワークＩ／Ｆ１８は、ＬＡＮ（Local Area Network）などのネットワークを介して、図示しないサーバ装置などとの間でデータ通信を行なう。

モデム２０は、電話回線と接続され、他のＭＦＰなどとの間でＦＡＸデータの送受信を行なう。代表的に、モデム２０は、ＮＣＵ（Network Control Unit）を含んで構成される。

操作パネル２２は、操作メニューやジョブ実行状態などの操作情報をユーザに提示するとともに、ユーザによる押下に応じてユーザ指示を受付けるユーザインターフェイスである。より具体的には、操作パネル２２は、入力部としてのキー入力部と、表示部と一体的に構成された入力部としてのタッチパネルとを含む。キー入力部は、テンキーや各機能が割当てられたキーを含んで構成され、ユーザによって押下されたキーに対応する指示をＣＰＵ１４へ出力する。タッチパネルは、液晶パネルと、当該液晶パネルの上に設けられたタッチ操作検出部とからなり、ユーザに対して各種の情報を視覚的に表示するとともに、ユーザによるタッチ操作を検出すると、当該タッチ操作に対応する指示をＣＰＵ１４へ出力する。

出力画像処理部２４は、後述する合成画像データをプリント出力する場合に、当該合成画像データに対して、スクリーン制御、スムージング処理、ＰＷＭ（Pulse Width Modulation）制御といった出力画像処理を実行する。出力画像処理部２４は、出力画像処理後の画像データをプリントエンジン２６へ出力する。

プリントエンジン２６は、出力画像処理部２４から受信した画像データに基づいて、用紙上に当該画像をカラープリント（画像形成）する。代表的に、プリントエンジン２６は、電子写真方式の画像形成ユニットを含む。より具体的には、プリントエンジン２６は、イエロー（Ｙ），マゼンタ（Ｍ），シアン（Ｃ），ブラック（Ｋ）の４色のイメージングユニット、転写ベルト、定着装置、給紙部、排紙部などを含んで構成される。各イメージングユニットは、感光体、露光器、現像器などからなる。

なお、スキャナ１０が原稿から画像情報を読み取って生成した入力画像データに代えて、他の画像処理装置やパーソナルコンピュータなどの情報処理装置から受信した入力画像データに対して、本実施の形態に従う画像処理が適用されるようにしてもよい。

＜機能構成＞
図４は、この発明の第１実施形態に従うＭＦＰ１００における画像処理に係る機能構成を示すブロック図である。

図４を参照して、ＭＦＰ１００は、入力画像処理部１２と、グラフ領域抽出部１０２と、凡例情報抽出部１０４と、グラフ領域色特定部１０６と、情報結合処理部１１０と、付加画像生成部１１２と、画像合成部１１４と、画像記憶部１２０と、付加情報記憶部１２２とをその機能として含む。これらの機能のうち、グラフ領域抽出部１０２と、凡例情報抽出部１０４と、グラフ領域色特定部１０６と、情報結合処理部１１０と、付加画像生成部１１２と、画像合成部１１４とについては、ＣＰＵ１４（図３）によって提供される。また、画像記憶部１２０および付加情報記憶部１２２については、記憶部１６（図３）によって提供される。

図４を参照して、入力画像処理部１２は、スキャナ１０（図３）によって生成された入力画像データからラスターデータを生成する。そして、入力画像処理部１２は、生成したラスターデータをグラフ領域抽出部１０２へ出力するとともに、画像記憶部１２０へも格納する。

グラフ領域抽出部１０２は、入力画像データ（ラスターデータ）に含まれるグラフ領域を特定するとともに、当該特定したグラフ領域を抽出し、当該抽出したグラフ領域の画像データをグラフ領域色特定部１０６へ出力する。

凡例情報抽出部１０４は、入力画像データ（ラスターデータ）に含まれるグラフ領域以外の領域から凡例情報を抽出する。より具体的には、凡例情報抽出部１０４は、凡例の各項目に対応付けられた凡例色を特定するとともに、各凡例色に対応付けられた凡例の各項目の文字画像を抽出する。そして、凡例情報抽出部１０４は、特定した各凡例色の色情報をグラフ領域色特定部１０６へ出力するとともに、特定した各凡例色の色情報および抽出した各項目の文字画像を付加情報記憶部１２２へ格納する。

グラフ領域色特定部１０６は、凡例情報抽出部１０４で特定された各凡例色と同じ色をもつ領域（画素）を抽出し、抽出した各領域（グラフ要素）を示す位置情報（代表的に、座標位置）を特定する。そして、グラフ領域色特定部１０６は、特定した各領域の位置情報を付加情報記憶部１２２へ格納する。

情報結合処理部１１０は、付加情報記憶部１２２に格納されている、各凡例色の色情報および対応する文字画像、ならびに各凡例色と同じ色をもつ領域の位置情報に基づいて、各文字画像と当該文字画像を付加すべきグラフ領域上の位置情報との対応関係を構成する。すなわち、情報結合処理部１１０は、各文字画像について、グラフ領域上のいずれの位置に付加すべきかを決定する。

付加画像生成部１１２は、情報結合処理部１１０で構成された対応関係に基づいて、入力画像データに付加すべき画像を生成する。すなわち、付加画像生成部１１２は、凡例情報抽出部１０４によって抽出された各文字画像を対応する位置に配置した付加画像データを生成する。

画像合成部１１４は、スキャナ１０（図３）によって生成された入力画像データと、付加画像生成部１１２で生成された付加画像データとを合成し、合成画像データを生成する。この合成画像データが上述した図１（ｃ）や図２（ｃ）に示すようなグラフを表わす。

＜全体処理手順＞
図５は、この発明の第１実施形態に従う画像処理の全体処理手順を示すフローチャートである。

図５を参照して、まず、入力画像データが取得される（ステップＳ２）。具体的には、スキャナ１０（図３）が原稿から画像情報を読み取って入力画像データを生成する。あるいは、ＭＦＰ１００が他の画像処理装置やパーソナルコンピュータなどの情報処理装置から入力画像データを受信する。

続いて、入力画像データからグラフ領域が抽出される（ステップＳ４）。そして、入力画像データに含まれる凡例領域から凡例色および文字画像が抽出される（ステップＳ６）。さらに、グラフ領域から各凡例色と同じ色をもつ領域（グラフ要素）が抽出される（ステップＳ８）。

その後、凡例の文字画像とグラフ領域上の位置情報との対応関係が構成される（ステップＳ１０）。そして、ステップＳ１０において構成された対応関係に基づいて、ステップＳ６で抽出された文字画像から付加画像データが生成される（ステップＳ１２）。

最終的に、ステップＳ１２で生成された付加画像データが元の入力画像データと合成されることで、合成画像データが生成される（ステップＳ１４）。さらに、必要に応じて、生成された合成画像データがプリント出力される（ステップＳ１６）。あるいは、プリント出力に代えて、他の画像処理装置やパーソナルコンピュータなどの情報処理装置へ当該合成画像データを送信してもよい。

以下、主要な処理の詳細について説明する。
＜（１）入力画像データに含まれるグラフ領域の抽出（ステップＳ４）＞
図６は、図５のステップＳ４に係る処理の概念図である。

図６を参照して、図５のステップＳ４（図４のグラフ領域抽出部１０２）では、入力画像データ２００に含まれるグラフ領域とそれ以外の領域（文字領域）とが分離される。すなわち、入力画像データ２００からグラフ領域に対応するグラフ領域２００ａと、文字領域に対応する画像データ２００ｂとが抽出される。さらに、抽出されたグラフ領域２００ａについては、その範囲を示す位置情報（Ｘ_１，Ｙ_１）〜（Ｘ_４，Ｙ_４）が特定される。

一般的に、グラフ領域は、相対的に濃度の高い部分の集合であるので、入力画像データのうち、濃度の高いかたまりの部分をグラフ領域と判断する。

図７は、図６に示すグラフ領域を抽出するためのより詳細な処理を説明するための図である。図７（ａ）に示すような入力画像データに対して、二値化処理が実行される。すなわち、各画素の濃度を所定のしきい値と比較し、濃度が当該しきい値より大きな画素と、濃度が当該しきい値より小さな画素とに区分する。このような二値化処理によって、図７（ａ）に示すような入力画像データは、図７（ｂ）のように変換される。この結果、図７（ｂ）に示す二値化処理によって得られる画像データのうち、濃度の高いかたまりの部分２１０がグラフ領域として抽出される。同時に、抽出されたグラフ領域の範囲を示す位置情報が特定される。

また、文字は、輪郭がはっきりしているという特徴があるため、二値化処理によって得られる画像データに対してエッジ検出処理を行ない、文字領域を抽出する。この結果、図７（ｂ）に示す画像データのうち、領域２２２，２２４，２２６がそれぞれ文字領域として抽出される。

なお、後述する凡例領域の抽出の前処理として、抽出された文字領域に対して、膨張処理が実行される。すなわち、エッジとして検出された画素に、予め定められた数の画素を付加することで文字を膨張させ、その膨張した文字の状態を記憶部１６（図３）に格納しておく。図７（ｂ）に示す画像データに対して、膨張処理がなされた結果の一例を図７（ｃ）に示す。

図８は、膨張処理のより詳細な内容を説明するための図である。
図８を参照して、各文字に対してエッジ検出処理が実行されることで、文字の外形を示す白抜きの形状が得られる。この白抜きの形状に対して、予め定められた数の画素を付加することで元の文字を膨張させることができる。

＜（２）凡例領域からの凡例色および文字画像の抽出（ステップＳ６）＞
一般的に、凡例はグラフに近接して配置されているので、入力画像データ２００において、グラフ領域に近接する文字領域を凡例領域として抽出する。そして、この凡例領域に含まれる凡例色および対応する文字画像が凡例情報として取得される。より具体的には、グラフ領域から所定範囲内に存在する文字領域を探索し、探索された文字領域を凡例領域として取り扱う。

図９は、図５に示すフローチャートのステップＳ６に係るより詳細な処理手順を示すフローチャートである。

図９を参照して、まず、図５におけるステップＳ４において抽出されたグラフ領域の範囲を示す位置情報（Ｘ_１，Ｙ_１）〜（Ｘ_４，Ｙ_４）を取得する（ステップＳ６０１）。続いて、グラフ領域の位置情報に基づいて、グラフ領域のある外形位置から所定範囲内に文字領域が存在するか否かを判断する（ステップＳ６０２）。この所定範囲は、任意に定めることができるが、たとえばスキャナ１０の読み取り精度が３００ｄｐｉである場合には、縦横１０００×２００画素の範囲とすることができる。

ある外形位置から所定範囲内に文字領域が存在すると判断された場合（ステップＳ６０２においてＹＥＳの場合）には、その文字領域の位置情報を取得する（ステップＳ６０３）。

ある外形位置から所定範囲内に文字領域が存在しないと判断された場合（ステップＳ６０２においてＮＯの場合）、もしくは文字領域の位置情報の取得後（ステップＳ６０３の実行後）、グラフ領域のすべての外形位置について文字領域が存在するか否かの判断が完了したか否かを判断する（ステップＳ６０４）。文字領域が存在するか否かの判断が完了していないと判断された場合（ステップＳ６０４においてＮＯの場合）には、グラフ領域の次の外形位置が選択され（ステップＳ６０５）、ステップＳ６０２以下の処理が繰返される。

文字領域が存在するか否かの判断が完了したと判断された場合（ステップＳ６０４においてＹＥＳの場合）には、ステップＳ６０３において取得された位置情報に基づいて、各文字領域に対して、凡例色および文字画像を抽出する（ステップＳ６０６）。より具体的には、各文字領域に含まれる図形部分（すなわち、所定の面積をもって塗り潰されている領域）が抽出され、その図形部分の色情報（代表的に、ＲＧＢ値）が取得されるとともに、各文字領域のうち図形部分を除いた部分が文字画像として抽出される。なお、各図形部分は複数の画素を含んでおり、これらの画素がもつ色情報が全く同一であるとは限らない。そのため、各図形部分を構成する画素のもつ色情報の代表値（たとえば、平均値もしくは最頻値）が格納される。そして、処理はリターンする。

図７（ｃ）に示すように、グラフ領域２１０の外形から所定距離だけ離れた検索範囲２１２内に文字領域が存在するか否かが判断される。図７（ｃ）に示す例では、４つの文字領域２２６ａ〜２２６ｄが抽出され、これらの文字領域２２６ａ〜２２６ｄの各々について、凡例色および文字画像が抽出される。

＜（３）グラフ領域から各凡例色と同じ色をもつグラフ要素の抽出（ステップＳ８）＞
上述の処理によって、凡例の各項目に対応付けられた凡例色が抽出されると、各凡例色と同じ色をもつ色をもつグラフ要素が画素単位で抽出される。

図１０は、グラフ要素の抽出処理の概念図である。
図１０（ａ）に示すようなグラフ領域２００ａを構成する各画素に対して、凡例領域から抽出された凡例色と同じ色をもつ画素が抽出される。たとえば、図１０（ｃ）に示すように、凡例色と同じ色をもつ画素が特定されることで、グラフ領域２００ａに含まれるグラフ要素２１６が抽出される（図１０（ｂ））。

図１１は、図５に示すフローチャートのステップＳ８に係るより詳細な処理手順を示すフローチャートである。

図１１を参照して、まず、図５におけるステップＳ６において抽出された各凡例色の色情報（代表的に、ＲＧＢ値）を取得する（ステップＳ８０１）。続いて、グラフ領域に含まれる対象画素が対象の凡例色と同じ色情報を有しているか否かを判断する（ステップＳ８０２）。対象の画素が対象の凡例色と同じ色情報を有している場合（ステップＳ８０２においてＹＥＳの場合）には、当該対象画素の位置情報を取得する（ステップＳ８０３）。

対象の画素が対象の凡例色と同じ色情報を有していない場合（ステップＳ８０２においてＮＯの場合）、もしくは対象画素の位置情報の取得後（ステップＳ８０３の実行後）、グラフ領域に含まれるすべての画素についての判断が完了したか否かを判断する（ステップＳ８０４）。グラフ領域に含まれるすべての画素についての判断が完了していないと判断された場合（ステップＳ８０４においてＮＯの場合）には、グラフ領域に含まれる次の画素が対象画素として選択され（ステップＳ８０５）、ステップＳ８０２以下の処理が繰返される。

グラフ領域に含まれるすべての画素についての判断が完了したと判断された場合（ステップＳ８０４においてＹＥＳの場合）には、抽出されたすべての凡例色についての判断が完了したか否かを判断する（ステップＳ８０６）。すべての凡例色についての判断が完了していないと判断された場合（ステップＳ８０６においてＮＯの場合）には、次の凡例色が対象の凡例色として選択され（ステップＳ８０７）、ステップＳ８０２以下の処理が繰返される。

すべての凡例色についての判断が完了したと判断された場合（ステップＳ８０６においてＹＥＳの場合）には、処理はリターンする。

＜（４）文字画像とグラフ領域上の位置情報との対応関係の構成（ステップＳ１０）＞
図１２は、図５に示すフローチャートのステップＳ１０の処理によって生成される対応関係の一例を示す構造図である。

図１２を参照して、抽出されたそれぞれの凡例色に対応付けて、各凡例の項目を示す文字画像および各凡例色と同じ色をもつグラフ要素の位置情報を記述した対応関係が構成される。ここで、グラフ要素の位置情報としては、少なくとも各グラフ要素の外延を示すものであればよく、各グラフ要素を構成するすべての画素の位置情報を含む必要はない。なお、実際のデータ構造として、図１２に示すようなテーブルを生成する必要はなく、互いの対応関係が明確化されるようなデータ構造であれば、どのような構成を採用してもよい。

＜（５）付加画像データの生成（ステップＳ１２）＞
次に、図１２に示すような対応関係に基づいて、入力画像データに付加すべき付加画像データが生成される。この付加画像の生成処理では、各グラフ要素内に対応する凡例の項目を付加できるか否かが判断される。そして、グラフ要素内に付加できない項目については、グラフ要素外に付加される。一方、グラフ要素内に付加できる項目については、適切な色でグラフ要素内に付加される。以下、これらの処理の詳細について説明する。

（ｉ）グラフ要素内に項目を付加できるか否かの判断処理
まず、各グラフ要素について、予め文字が記述されているか否かを判断する。

図１３は、グラフ要素に予め文字が記述されているか否かを判断するための処理の概念図である。図１３（ａ）に示すように、グラフ要素に予め文字（たとえば、そのグラフ要素の値を示す「１００」）が記述されているような場合を考える。

このグラフ要素に予め文字が記述されているか否かを判断するために、まず各グラフ要素に対してエッジ検出処理が行なわれる。具体的には、図１３（ｂ）に示すように、グラフ要素を構成する画素のうち対応する凡例色と同じ色情報をもつ画素が取り除かれ、残った画素に対してエッジ検出処理が行われる。このようなエッジ検出処理を行なうことで、グラフ要素中に「０」といった文字が存在する場合には、文字の外形を示す白抜きの形状が得られる。

一方、グラフ要素中に何らの文字も存在しない、すなわちグラフ要素を構成するほぼすべての画素が対応する凡例色と同じ色情報をもつ場合には、このような文字の外形を示す形状は得られない。

このような処理によって、各グラフ要素内に文字が記述されているか否かが判断される。グラフ要素内に文字が記述されている場合には、当該グラフ要素に対応する文字画像は、後述するようにグラフ要素外に付加される。

次に、グラフ要素内に文字が記述されていない場合には、グラフ要素の領域の大きさが所定のしきい値より大きいか否かが判断される。グラフ要素の領域の大きさが所定のしきい値以下であれば、当該グラフ要素に対応する文字画像は、後述するようにグラフ要素外に付加される。一方、グラフ要素の領域の大きさが所定のしきい値より大きければ、付加すべき文字画像の大きさと当該グラフ要素の領域の大きさとが比較され、文字画像をグラフ要素内に付加できるか否かが判断される。

図１４は、付加すべき文字画像の大きさと当該グラフ要素の領域の大きさとを比較するための処理の概念図である。

まず、図１４（ａ）に示すように、各グラフ要素に付加すべき文字画像の領域の大きさ（たとえば、ａ画素×ｂ画素）が抽出される。そして、当該文字画像を対象とするグラフ要素内に配置できるか否か、すなわち文字画像の領域の大きさに対して、対象とするグラフ要素の領域が十分に大きいか否かが判断される。図１４（ｂ）に示すように、対象とするグラフ要素の領域が付加すべき文字画像に対して十分に大きい場合には、当該文字画像はグラフ要素内に付加される。一方、図１４（ｃ）に示すように、対象とするグラフ要素の領域が付加すべき文字画像に対して小さい場合には、当該文字画像はグラフ要素外に付加される。

（ｉｉ）グラフ要素外に項目を付加する場合の処理
上述したように、グラフ要素内に文字が記述されている場合、および対象とするグラフ要素の領域が付加すべき文字画像に対して小さい場合には、グラフ領域に近接した余白領域が探索される。そして、その探索して得られた余白領域に対応する文字画像が配置されるとともに、グラフ要素と当該配置された文字画像との間を結ぶ引き出し線２１８（図１４（ｃ）参照）が付加される。

（ｉｉｉ）グラフ要素内に項目を付加する場合の処理
上述したように、対象とするグラフ要素の領域が付加すべき文字画像に対して十分に大きい場合には、当該グラフ要素内に対応する文字画像が付加される。このとき、付加される文字画像の色を必要に応じて変化（反転）させる。

図１５は、付加すべき文字画像の色を決定するための処理の概念図である。この処理では、図１５（ａ）に示すように、グラフ要素の濃度が比較的高い場合には、「白」の文字画像を付加すべきであると判断され、一方、図１５（ｂ）に示すように、グラフ要素の濃度が比較的低い場合には、「黒」の文字画像を付加すべきであると判断される。すなわち、各グラフ要素の色情報に基づいて、「白」文字および「黒」文字のいずれを用いるべきかが判断される。

そして、この判断結果と抽出された文字画像の色情報とに基づいて、グラフ要素内に付加される文字画像は、必要に応じて色変換（ネガポジ反転）される。

（ｉｖ）付加画像の生成
以上のように、各グラフ要素について、付加すべき文字画像の位置および色、ならびに必要な引き出し線などが定まるので、これらの情報に基づいて、付加画像が生成される。なお、本実施の形態では、スキャナ１０（図３）によって生成された入力画像データに対して付加画像が付加されることで合成画像データが生成されるので、付加画像としては、文字画像および引き出し線を含むものであればよい。

上述の（ｉ）〜（ｉｖ）の処理手順をまとめると、図１６に示すフローチャートのようになる。

図１６は、図５に示すフローチャートのステップＳ１２に係るより詳細な処理手順を示すフローチャートである。

図１６を参照して、まず、図５におけるステップＳ１０において構成された対応関係を参照して、対象のグラフ要素の位置情報を取得する（ステップＳ１２０１）。続いて、対象のグラフ要素に対して、エッジ検出処理を実行する（ステップＳ１２０２）。さらに、このエッジ検出処理の結果に基づいて、対象のグラフ要素内に文字が記述されているか否かを判断する（ステップＳ１２０３）。対象のグラフ要素内に文字が記述されている場合（ステップＳ１２０３においてＹＥＳの場合）には、処理はステップＳ１２０４へ進み、対象のグラフ要素内に文字が記述されていない場合（ステップＳ１２０３においてＮＯの場合）には、処理はステップＳ１２１０へ進む。

ステップＳ１２０４では、グラフ領域に近傍画素の色情報に基づいて、余白領域を探索する。探索によって得られた余白領域の位置情報を、対象のグラフ要素に対応する文字画像の配置位置として決定し（ステップＳ１２０５）、さらに対象のグラフ要素と当該文字画像の配置位置との間を結ぶ引き出し線の位置情報を算出する（ステップＳ１２０６）。そして、処理はステップＳ１２２０へ進む。

ステップＳ１２１０では、対象のグラフ要素の領域の大きさが所定のしきい値より大きいか否かが判断される。対象のグラフ要素の領域の大きさが所定のしきい値以下である場合（ステップＳ１２１０においてＮＯの場合）には、処理はステップＳ１２０４へ進む。

対象のグラフ要素の領域の大きさが所定のしきい値より大きい場合（ステップＳ１２１０においてＹＥＳの場合）には、付加すべき文字画像の大きさと対象のグラフ要素の領域の大きさとが比較され、文字画像を対象のグラフ要素内に付加できるか否かが判断される（ステップＳ１２１１）。文字画像を対象のグラフ要素内に付加できない場合（ステップＳ１２１１においてＮＯの場合）には、処理はステップＳ１２０４へ進む。

文字画像を対象のグラフ要素内に付加できる場合（ステップＳ１２１１においてＹＥＳの場合）には、グラフ要素の大きさに基づいて、文字画像を配置すべき位置を決定する（ステップＳ１２１２）。

さらに、対象のグラフ要素の色情報に基づいて、凡例の項目として「白」文字および「黒」文字のいずれを用いるべきかを決定する（ステップＳ１２１３）。さらに、ステップＳ１２１３における判断結果と付加すべき文字画像の色情報とに基づいて、文字画像を色変換する必要があるか否かを判断する（ステップＳ１２１４）。文字画像を色変換する必要がないと判断された場合（ステップＳ１２１４においてＮＯの場合）には、処理はステップＳ１２２０へ進む。

文字画像を色変換する必要があると判断された場合（ステップＳ１２１４においてＹＥＳの場合）には、文字画像に対してネガポジ変換が実行される（ステップＳ１２１５）。そして、処理はステップＳ１２２０へ進む。

ステップＳ１２２０では、グラフ領域に含まれるすべてのグラフ要素に対する処理が完了したか否かを判断する。すべてのグラフ要素に対する処理が完了していないと判断された場合（ステップＳ１２２０においてＮＯの場合）には、次のグラフ要素が対象のグラフ要素として選択され（ステップＳ１２２１）、ステップＳ１２０２以下の処理が繰返される。

一方、すべてのグラフ要素に対する処理が完了したと判断された場合（ステップＳ１２２０においてＹＥＳの場合）には、ステップＳ１２０４またはＳ１２１２において決定された文字画像の配置位置、およびステップＳ１２０５において算出された引き出し線の位置情報に基づいて、付加画像を生成する（ステップＳ１２２２）。そして、処理はリターンする。

＜本実施の形態の効果＞
この本実施の形態によれば、色別に区別したグラフに対して、オリジナルの色を維持しつつ、色が示す情報（色そのものの情報や凡例情報）を付加することで、出力画像データを生成する。そのため、色覚健常者と色覚異常者との間で円滑なコミュニケーションを実現することができる。

［第１実施形態の第１変形例］
上述の第１実施形態では、グラフ領域に含まれるグラフ要素内に何らかの文字が記述されていれば、凡例の項目を示す文字画像を対応のグラフ要素外に配置する構成について例示した。しかしながら、グラフ要素が十分に大きな領域を有している場合には、たとえ文字が記述されていたとしても、グラフ要素内に文字画像を配置してもよい。この場合には、図１６に示すフローチャートに代えて、図１７に示すフローチャートに記述された処理手順を実行すればよい。

図１７は、図５に示すフローチャートのステップＳ１２に係るより詳細な処理手順（第１変形例）を示すフローチャートである。なお、図１７に示すフローチャートは、図１６に示すフローチャートに比較して、ステップＳ１２０７の処理を追加したものであるので、主として、相違点について説明する。

図１７を参照して、ステップＳ１２０３において、対象のグラフ要素内に文字が記述されている場合（ステップＳ１２０３においてＹＥＳの場合）には、処理はステップＳ１２０７へ進む。

ステップＳ１２０７では、対象のグラフ要素内においてエッジ検出処理によって取得された文字を除いた領域と付加すべき文字画像の大きさとが比較され、対象のグラフ要素内の予め記述された文字と重なることなく文字画像を付加できるか否かが判断される。文字画像を予め記述された文字と重なることなく付加できない場合（ステップＳ１２０７においてＮＯの場合）には、処理はステップＳ１２０４へ進む。

一方、文字画像を予め記述された文字と重なることなく付加できる場合（ステップＳ１２０７においてＹＥＳの場合）には、処理はステップＳ１２１２へ進む。

その他の処理については、図１６において同一符号を付したステップの処理と同様であるので、詳細な説明は繰返さない。

本変形例によれば、文字画像がグラフ要素内に可能な限り配置されるので、より多くの情報を１つの画像データに付加することができる。

［第１実施形態の第２変形例］
上述の第１実施形態では、凡例情報として取得された凡例色（色情報）と同じ色情報をもつ領域が、グラフ領域として抽出される構成について例示したが、凡例情報とは独立して、グラフ領域に含まれるグラフ要素を抽出してもよい。これは、グラフ領域に含まれるグラフ要素のすべてが凡例として記述されていない可能性もあるからである。

ここで、凡例情報を用いない場合には、予めどの色がグラフ要素として用いられているのかを判断することができないので、一例として、グラフ領域に含まれる各画素の色情報をグルーピングすることで、各グラフ要素の色情報を抽出する。

図１８は、グラフ領域に含まれるグラフ要素を抽出するための処理の概念図である。
図１８を参照して、グラフ領域に含まれる各画素の色情報（ＲＧＢ情報）をＲＧＢの３次元色空間にプロットすると、それぞれのグラフ領域を構成する画素は集合体として現れる。そこで、公知のグルーピング方法を用いて、これらの画素をいくつかのグループに区分し、各グループについての代表値を各グラフ要素の色情報として取得する。このような方法によれば、区分されたグループの数がグラフ領域に含まれるグラフ要素の数に相当することになる。さらに、取得された各グループの色情報と凡例色とを比較し、類似するもの同士を対応付けることで、各グラフ要素と凡例情報との対応関係を構成できる。さらに、グラフ要素のうち凡例情報が存在しないものについては、対応する色情報に基づいて、色を示す「赤」や「青」といった文字画像のみを付加してもよい。

本変形例によれば、凡例情報とグラフ要素とが一対一に対応していなくとも、各グラフ要素の示す情報をより詳細に把握することができる。

［第１実施形態の第３変形例］
上述の第１実施形態では、凡例情報として抽出した文字画像をそのまま対応するグラフ要素に付加する構成について例示したが、抽出した文字画像をテキスト化した上で、グラフ要素に付加してもよい。

すなわち、抽出した文字画像に対して文字認識処理を実行することで、凡例の項目を示すテキストデータを取得し、このテキストデータに基づいて文字画像を再生成してもよい。このような処理を実行することで、抽出した文字画像のままではグラフ要素内に付加できない場合であっても、フォントサイズやフォント種類などを適宜設定することで、同じ情報をグラフ要素内に付加できるようになる。

本変形例によれば、色が示す情報をより自在にグラフ要素に付加することができる。
［第１実施形態の第４変形例］
上述の第１実施形態では、凡例情報として抽出した文字画像のみをグラフ要素に付加する構成について例示したが、文字画像に加えて、対応するグラフ要素の凡例色を示す情報を付加してもよい。

すなわち、図１２に示される対応関係において、各凡例色の色情報（ＲＧＢ情報）に基づいて、各凡例色を示す文字、たとえば「赤」や「青」といったテキストデータを判断し、このテキストデータを対応する文字画像とともに、各グラフ要素に付加してもよい。

本変形例によれば、色覚障害者が各グラフ要素の示す情報をより詳細に把握することができる。

［第１実施形態の第５変形例］
上述の第１実施形態では、凡例色として抽出されたグラフ要素のすべてに対して色が示す情報を付加する構成について例示したが、色覚障害者にとって識別できない色、すなわち色覚健常者と色覚障害者との間で見え方の異なる色について色が示す情報を付加するようにしてもよい。

この場合、たとえば第１／２色覚障害者または第３色覚障害者の選択を受付ける手段（画面上に表示されるボタンなど）を設け、この選択に応じて、色が示す情報を付加すべき色を判断してもよい。なお、この付加すべき色を判断する方法としては、予めそれぞれの色覚障害者に応じたカラーパレットを格納しておき、このカラーパレットを参照することで、色が示す情報を付加すべき色を特定する。

本変形例によれば、オリジナルの原稿に対する変更範囲を色覚健常者と色覚障害者との間で適切なコミュニケーションを実現することができる範囲に限定することができる。

［第２実施形態］
上述の第１実施形態では、主として円グラフを含むカラー画像に対して凡例情報を付加する構成について例示したが、線グラフに対しても凡例情報を付加することができる。

この発明の第２実施形態に従うＭＦＰ１００の装置構成および機能構成は、上述した図３および図４とそれぞれ同様であるので、詳細な説明は繰返さない。また、第２実施形態に従う画像処理の全体処理手順についても、図５とほぼ同様であるので詳細な説明は繰返さない。

第２実施形態に従う画像処理は、図５におけるステップＳ１２の処理内容が異なる点を除いて、上述した第１実施形態に従う画像処理と基本的に同一であるので、共通する処理についての詳細な説明は繰返さない。以下、第１実施形態に従う画像処理と異なる処理内容について説明する。

＜付加画像データの生成（ステップＳ１２）＞
上述の図２（ｃ）に示すように、本実施の形態に従う画像処理によれば、線グラフに含まれる各色の線（グラフ要素）について、その開始点および終了点、ならびに他色の線（他のグラフ要素）とのクロス点から所定距離だけ離れた方向指示点の少なくとも１つに、色が示す情報（凡例情報）を付加する。なお、クロス点にそのまま凡例情報を付加すると、交差する複数の線のいずれを指示するのかがわかりづらいので、クロス点から所定距離だけ離れた方向指示点に凡例情報を付加する。

図１９は、線グラフを含むグラフ領域に対する探索処理の概念図である。
図１９を参照して、本実施の形態に従う付加画像データの生成処理では、グラフ要素である各色の線について、開始点および終了点、ならびにクロス点および方向指示点を探索する。なお、図１９には、１つの線について探索された開始点および終了点、ならびにクロス点および方向指示点を例示的に示すが、線グラフに含まれるすべての線に対して、同様の探索が実行される。このような探索処理に係る処理手順を図２０を参照して説明する。

図２０は、図５に示すフローチャートのステップＳ１２に係るより詳細な処理手順（第２実施形態）を示すフローチャートである。また、図２１は、クロス点の探索処理の概念図である。

図２０を参照して、まず、グラフ要素のデータ配置方向を判断する（ステップＳ１２５１）。具体的には、グラフ要素に含まれる文字の向きや目盛りの配置位置などに基づいて、いずれの軸方向（Ｘ方向またはＹ方向）に沿ってデータが配置されているのかを判断する。

続いて、ステップＳ８において抽出された各凡例色と同じ色をもつ画素の位置情報（座標位置）を取得する（ステップＳ１２５２）。続いて、対象の凡例色について、当該凡例色と同じ色をもつ画素の位置情報のうち、データ配置方向において最も小さい座標値をもつものを開始点の位置情報として決定し（ステップＳ１２５３）、さらにデータ配置方向において最も大きい座標値をもつものを終了点の位置情報として決定する（ステップＳ１２５４）。

すなわち、たとえばＸ方向にデータが配置されていると判断された場合には、対象の凡例色と同じ色をもつ画素のうち、Ｘ方向における座標値が最も小さいものと最も大きいものがそれぞれ開始点および終了点として選択される。

そして、すべての凡例色についての開始点および終了点の決定処理が完了したか否かを判断する（ステップＳ１２５５）。すべての凡例色についての決定処理が完了していないと判断された場合（ステップＳ１２５５においてＮＯの場合）には、次の凡例色が対象の凡例色として選択され（ステップＳ１２５６）、ステップＳ１２５３以下の処理が繰返される。

一方、すべての凡例色についての決定処理が完了したと判断された場合（ステップＳ１２５５においてＹＥＳの場合）には、ステップＳ１２５７以下のクロス点の探索処理が実行される。

ステップＳ１２５７では、探索ブロック（たとえば、２画素×２画素）をステップＳ１２５３において決定された対象の凡例色についての開始点（もしくは、ステップＳ１２５４において決定された対象の凡例色についての終了点）を含む位置に設定する。すなわち、図２１に示すように、探索ブロックＳＢを開始点を含む位置に設定する。

そして、当該探索ブロックＳＢに含まれる画素のうち、対象の凡例色と同じ色をもつ画素を抽出する（ステップＳ１２５８）。さらに、当該探索ブロックＳＢに他の凡例色、もしくは対象凡例色と他の凡例色とを混合した色と同じ色をもつ画素が含まれているか否かを判断する（ステップＳ１２５９）。当該探索ブロックＳＢに他の凡例色、もしくは対象凡例色と他の凡例色とを混合した色と同じ色をもつ画素が含まれていない場合（ステップＳ１２５９においてＮＯの場合）には、処理はステップＳ１２６２へ進む。

当該探索ブロックＳＢに、他の凡例色と同じ色、もしくは対象凡例色と他の凡例色とを混合した色をもつ画素が含まれている場合（ステップＳ１２５９においてＹＥＳの場合）には、当該探索ブロックの現在位置をクロス点として決定する（ステップＳ１２６０）。さらに、このクロス点から所定画素数（たとえば、１０画素）だけ離れた位置を方向指示点として決定する（ステップＳ１２６１）。そして、処理はステップＳ１２６２へ進む。

具体的な一例として、図２１に示すように、緑色で記述された線（Ｒ：０，Ｒ：２５５，Ｒ：０）について探索中に、赤色で記述された線（Ｒ：２５５，Ｒ：０，Ｒ：０）との交差点に到達すると、探索ブロックＳＢには、緑色と赤色との混合色（Ｒ：１２８，Ｒ：１２８，Ｒ：０）をもつ画素が含まれる。このような場合には、探索ブロックの現在位置がクロス点であると判断される。

ステップＳ１２６２では、探索ブロックが終了点（もしくは、ステップＳ１２５３において決定された対象の凡例色についての開始点）を含む位置に設定されているか否かを判断する。探索ブロックが終了点を含む位置に設定されていない場合（ステップＳ１２６２においてＮＯの場合）には、探索ブロックに含まれる対象の凡例色と同じ色をもつ画素を含むように、探索ブロックを探索方向に移動し（ステップＳ１２６３）、ステップＳ１２５８以下の処理が再度実行される。

一方、探索ブロックが終了点を含む位置に設定されている場合（ステップＳ１２６２においてＹＥＳの場合）には、すべての凡例色についての探索処理が完了したか否かを判断する（ステップＳ１２６４）。すべての凡例色についての探索処理が完了していないと判断された場合（ステップＳ１２６４においてＮＯの場合）には、次の凡例色が対象の凡例色として選択され（ステップＳ１２６５）、ステップＳ１２５７以下の処理が繰返される。

一方、すべての凡例色についての探索処理が完了したと判断された場合（ステップＳ１２６４においてＹＥＳの場合）には、ステップＳ１２５３において決定された開始点、ステップＳ１２５４において決定された終了点、ステップＳ１２６１において決定された方向指示点のそれぞれの位置情報に基づいて、付加画像を生成する（ステップＳ１２６６）。そして、処理はリターンする。

＜本実施の形態の効果＞
この本実施の形態によれば、色別に区別したグラフに対して、オリジナルの色を維持しつつ、色が示す情報（色そのものの情報や凡例情報）を付加することで、出力画像データを生成する。そのため、色覚健常者と色覚異常者との間で円滑なコミュニケーションを実現することができる。

［第２実施形態の変形例］
上述した第１実施形態の第２変形例〜第５変形例については、第２実施形態についても同様に適用可能である。

［その他の実施形態］
上述の実施の形態では、本発明に係る画像処理装置の代表例として、ＭＦＰ１００について例示したが、本発明に係る画像処理装置をスキャナと接続されたパーソナルコンピュータを用いて実現してもよい。この場合には、パーソナルコンピュータに本発明に係る画像処理プログラムをインストールすることで、当該パーソナルコンピュータを本発明に係る画像処理装置として機能させることができる。

また、本発明に係る画像処理プログラムは、オペレーティングシステムの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列およびタイミングで呼出して処理を実行させるものであってもよい。その場合には、プログラム自体には上記モジュールが含まれずオペレーティングシステムと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明に係るプログラムに含まれ得る。

また、本発明に係る画像処理プログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記憶された記憶媒体とを含む。

さらに、本発明に係る画像処理プログラムによって実現される機能の一部または全部を専用のハードウェアによって構成してもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明に係る画像処理の一例を示す図である。 本発明に係る画像処理の別の一例を示す図である。 この発明の第１実施形態に従うＭＦＰの装置構成を示すブロック図である。 この発明の第１実施形態に従うＭＦＰにおける画像処理に係る機能構成を示すブロック図である。 この発明の第１実施形態に従う画像処理の全体処理手順を示すフローチャートである。 図５のステップＳ４に係る処理の概念図である。 図６に示すグラフ領域を抽出するためのより詳細な処理を説明するための図である。 膨張処理のより詳細な内容を説明するための図である。 図５に示すフローチャートのステップＳ６に係るより詳細な処理手順を示すフローチャートである。 グラフ要素の抽出処理の概念図である。 図５に示すフローチャートのステップＳ８に係るより詳細な処理手順を示すフローチャートである。 図５に示すフローチャートのステップＳ１０の処理によって生成される対応関係の一例を示す構造図である。 グラフ要素に予め文字が記述されているか否かを判断するための処理の概念図である。 付加すべき文字画像の大きさと当該グラフ要素の領域の大きさとを比較するための処理の概念図である。 付加すべき文字画像の色を決定するための処理の概念図である。 図５に示すフローチャートのステップＳ１２に係るより詳細な処理手順を示すフローチャートである。 図５に示すフローチャートのステップＳ１２に係るより詳細な処理手順（第１変形例）を示すフローチャートである。 グラフ領域に含まれるグラフ要素を抽出するための処理の概念図である。 線グラフを含むグラフ領域に対する探索処理の概念図である。 図５に示すフローチャートのステップＳ１２に係るより詳細な処理手順（第２実施形態）を示すフローチャートである。 クロス点の探索処理の概念図である。

符号の説明

１０ スキャナ、１２ 入力画像処理部、１４ ＣＰＵ、１６ 記憶部、１８ ネットワークＩ／Ｆ、２０ モデム、２２ 操作パネル、２４ 出力画像処理部、２６ プリントエンジン、２８ バス、１００ ＭＦＰ、１０２ グラフ領域抽出部、１０４ 凡例情報抽出部、１０６ グラフ領域色特定部、１１０ 情報結合処理部、１１２ 付加画像生成部、１１４ 画像合成部、１２０ 画像記憶部、１２２ 付加情報記憶部。

Claims (8)

1. 入力画像データからグラフ領域を抽出する第１抽出手段と、
   前記入力画像データのうち前記グラフ領域を除いた領域から色と当該色が示す情報とのセットを抽出する第２抽出手段と、
   前記グラフ領域に含まれるグラフ要素のうち前記抽出されたセットに含まれる色と同じ色をもつものを特定する第１特定手段と、
   前記グラフ要素のもつ色に対応する前記色が示す情報を前記グラフ領域のいずれの位置に付加すべき位置を決定する決定手段と、
   前記決定された位置に基づいて、前記入力画像データに前記色が示す情報を付加することで出力画像データを出力する出力手段とを備える、画像処理装置。
2. 前記第２抽出手段は、前記入力画像データにおいて、前記グラフ領域から所定範囲内に存在する文字領域を探索し、探索された文字領域に含まれる色と対応する文字画像とを抽出する、請求項１に記載の画像処理装置。
3. 前記セットは、凡例色と当該凡例色に対応する文字画像とを含む、請求項１または２に記載の画像処理装置。
4. 前記出力手段は、
   前記入力画像データに付加すべき付加画像データを生成する生成手段と、
   前記入力画像データと前記付加画像データとを前記出力画像データに合成する合成手段とを含み、
   前記生成手段は、前記文字画像を対応するグラフ要素の位置に配置することで、前記付加画像データを生成する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記グラフ領域に円グラフを含む場合に、前記文字画像を対応するグラフ要素の領域内に配置できるか否かを判断し、前記文字画像を対応するグラフ要素の領域内に配置できないときに、当該文字画像を対応するグラフ要素の領域外に配置する、請求項４に記載の画像処理装置。
6. 前記生成手段は、前記文字画像を対応するグラフ要素の領域内に配置できるときに、配置する当該文字画像の色を配置先のグラフ要素の色に応じて変化させる、請求項５に記載の画像処理装置。
7. 前記決定手段は、前記グラフ領域に線グラフを含む場合に、各グラフ要素の開始点および終了点、ならびにグラフ要素間のクロス点を探索し、開始点、終了点、クロス点の少なくとも１つを対応する文字画像の配置位置として決定する、請求項１に記載の画像処理装置。
8. 入力画像データからグラフ領域を抽出するステップと、
   前記入力画像データのうち前記グラフ領域を除いた領域から色と当該色が示す情報とのセットを抽出するステップと、
   前記グラフ領域に含まれるグラフ要素のうち前記抽出されたセットに含まれる色と同じ色をもつものを特定するステップと、
   前記グラフ要素のもつ色に対応する前記色が示す情報を前記グラフ領域のいずれの位置に付加すべき位置を決定するステップと、
   前記決定された位置に基づいて、前記入力画像データに前記色が示す情報を付加することで出力画像データを出力するステップとを備える、画像処理方法。