JP2012078958A - 画像処理装置、画像形成装置、画像処理装置の制御方法、および画像処理装置の制御プログラム - Google Patents

Abstract

【課題】グラフの視認性を向上することのできる画像処理装置、画像形成装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供する。
【解決手段】画像処理装置は、原稿の画像を取得し（Ｓ１）、取得した原稿の画像から、グラフと、グラフの成分を説明する凡例とを検出する（Ｓ３）。画像処理装置は、検出したグラフの成分と凡例との濃度または線幅を検出し（Ｓ９、Ｓ１１）、検出した濃度または線幅に基づいて、グラフの成分の濃度または線幅と、凡例の濃度または線幅との差を算出する（Ｓ１３）。画像処理装置は、算出した濃度差または線幅差を用いて、グラフの成分と凡例とを関連付ける（Ｓ１５）。
【選択図】図１８

Description

本発明は、画像処理装置、画像形成装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関し、より特定的には、モノクロ原稿に含まれるグラフに色彩を指定する画像処理装置、画像形成装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関する。

電子写真式の画像形成装置には、スキャナ機能、ファクシミリ機能、複写機能、プリンタとしての機能、データ通信機能、およびサーバ機能を備えたＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）、ファクシミリ装置、複写機、プリンタなどがある。これらの画像形成装置のうち特にＭＦＰやプリンタなどが行う印刷形式は、画像に施される色彩の観点から、モノクロ印刷とカラー印刷とに分類される。

モノクロ印刷はブラックトナーのみを必要とする一方で、カラー印刷は、ブラックトナー以外にも、イエロートナー、マゼンダトナー、シアントナーなどを必要とする。またカラー印刷の際のトナーの定着温度はモノクロ印刷の際の定着温度よりも高いため、カラー印刷時の消費電力量はモノクロ印刷時の消費電力量よりも大きい。したがって、カラー印刷はモノクロ印刷に比べてコストが高い。

コスト削減の観点から、企業においては、会議資料などはできる限りモノクロ印刷により作成されることが多い。たとえば、プレゼンテーション用の会議資料として、カラーグラフを含んだ会議資料がプレゼンテーションソフトで作成された場合には、会議参加者への配付用の会議資料として、プレゼンテーション用の会議資料がモノクロ印刷されたものが使用される。

しかし、そのモノクロ印刷された会議資料をさらに別の会議で使用する場合などに、モノクロ印刷された会議資料に記載されていたグラフに色を付けて、視認性を高めたいという要望がある。このような要望に応えうる技術が、たとえば下記特許文献１および２に開示されている。

下記特許文献１では、原稿の画像を読み取り、記憶部に記憶される複数種のパターンの画像データと同じパターンのエリアがそれぞれ種類別に検出される。検出された各パターンのエリアにある画像データは、その種類に応じて所定の色のデータに変換され、変換後の画像データに基づいて用紙上に画像が形成される。これにより、原稿内のグラフや図形に色が付される。

下記特許文献２では、色彩指定情報および領域指定情報が付加されている原稿が読み取られ、読み取った原稿から、当該原稿に係る画像、並びに、色彩指定情報および領域指定情報が取得される。取得した原稿に係る画像のうち当該取得した領域指定情報に基づく指定領域に対して、取得した色彩指定情報に基づく色彩が施される。これにより、カラー原稿をモノクロ印刷した出力物のみが手元にあり、その原稿は手元にない場合であっても、元のカラー画像原稿を復元可能となっている。

特開平１０−０５１６２１号公報 特開２００９―２５３６６６号公報

カラーのグラフを含む文書においては、グラフの各成分を説明する凡例がグラフに付される場合が多い。しかし、カラーグラフとその凡例とを含む文書をモノクロ印刷すると、モノクロ化によりグラフの各成分の濃度差が小さくなり、グラフの各成分と凡例とを関連付けることが困難であった。このため、特許文献１または２の技術を用いて、グラフと凡例とを含むモノクロ印刷された文書のグラフに色を付けようとすると、グラフの各成分と凡例とを関連付けることが困難であった。

このため従来においては、グラフの各成分と凡例とを関連付けできないまま文書がコピーされていた。また、コピーした文書を原稿としてスキャンで電子化する結果、グラフの各成分と凡例とを関連付けできないまま文書が電子化されていた。さらに、モノクロ印刷された文書のグラフに色を付けた場合には、誤った関連付けのまま各凡例とグラフの各成分とに色彩が指定される結果、凡例とグラフの成分との対応関係が分からなくなり、視認性を落とすことがあった。

したがって、本発明の目的は、グラフの視認性を向上することのできる画像処理装置、画像形成装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することである。

本発明の一の局面に従う画像処理装置は、原稿の画像を取得する画像取得手段と、画像取得手段にて取得した原稿の画像から、グラフと、グラフの成分を説明する凡例とを検出するグラフ検出手段と、グラフ検出手段にて検出したグラフの成分と凡例との濃度または線幅を検出する濃度または線幅検出手段と、濃度または線幅検出手段にて検出した濃度または線幅に基づいて、グラフの成分の濃度または線幅と、凡例の濃度または線幅との差を算出する濃度差または線幅差算出手段と、濃度差または線幅差算出手段にて算出した濃度差または線幅差を用いて、グラフの成分と凡例とを関連付ける関連付け手段とを備える。

上記画像処理装置において好ましくは、関連付け手段は、濃度差または線幅差算出手段にて算出した濃度差または線幅差が第１の閾値以下であるグラフの成分と凡例とを関連付けて、グラフの成分と凡例との複数の組合せを決定する第１の関連付け手段と、第１の関連付け手段により決定された複数の組合せに含まれるグラフの成分の位置関係に基づいて、第１の関連付け手段により決定された複数の組合せに含まれていないグラフの成分と凡例とを関連付ける第２の関連付け手段とを含む。

上記画像処理装置において好ましくは、第２の関連付け手段は、第１の関連付け手段により決定された複数の組合せに含まれていない一のグラフの成分に対して複数の凡例を関連付け可能な場合には、関連付け可能な複数の凡例のうち、一のグラフの成分との濃度差または線幅差が、第１の閾値よりも大きい第２の閾値以下である凡例を、一のグラフの成分と関連付ける。

上記画像処理装置において好ましくは、グラフ検出手段は、画像取得手段にて取得した原稿の画像から線グラフを検出する線グラフ検出手段と、線グラフ検出手段にて線グラフを検出した場合に、画像取得手段にて取得した原稿の画像から、線グラフに付されたマーカを検出するマーカ検出手段と、マーカ検出手段にて検出したマーカのうち、形状に同一性のあるマーカ同士を結んだ連続線によって、グラフの成分となる線グラフを特定する線グラフ特定手段とを含む。

上記画像処理装置において好ましくは、グラフ検出手段が、画像取得手段にて取得した原稿の画像から、第１のグラフの成分を説明する第１の凡例と、第１のグラフとは異なる第２のグラフの成分を説明する第２の凡例とを検出した場合に、関連付け手段は、第１の凡例の文字と第２の凡例の文字との同一性に基づいて、第１の凡例と第２の凡例とをさらに関連付ける。

上記画像処理装置において好ましくは、関連付け手段によって関連付けられた凡例とグラフの成分とに同一色の色彩を指定する色彩指定手段をさらに備える。

上記画像処理装置において好ましくは、色彩指定手段は、互いに隣接するグラフの成分のうち一方の成分の色彩と他方の成分の色彩との色相角が、一方の成分の色彩と一方の成分とは隣接しないグラフの成分の色彩との色相角よりも大きくなるように、色彩を指定する。

本発明の他の局面に従う画像形成装置は、上述のいずれかの画像処理装置と、関連付け手段にて関連付けられたグラフの成分と凡例とに同一色の色彩を付すように、画像取得手段にて取得した原稿の画像に関するカラー画像を形成する画像形成手段とを備える。

本発明のさらに他の局面に従う画像処理装置の制御方法は、原稿の画像を取得する画像取得ステップと、画像取得ステップにて取得した原稿の画像から、グラフと、グラフの成分を説明する凡例とを検出するグラフ検出ステップと、グラフ検出ステップにて検出したグラフの成分と凡例との濃度または線幅を検出する濃度または線幅検出ステップと、濃度または線幅検出ステップにて検出した濃度または線幅に基づいて、グラフの成分の濃度または線幅と、凡例の濃度または線幅との差を算出する濃度差または線幅差算出ステップと、濃度差または線幅差算出ステップにて算出した濃度差または線幅差を用いて、グラフの成分と凡例とを関連付ける関連付けステップとを備える。

本発明のさらに他の局面に従う画像処理装置の制御プログラムは、原稿の画像を取得する画像取得ステップと、画像取得ステップにて取得した原稿の画像から、グラフと、グラフの成分を説明する凡例とを検出するグラフ検出ステップと、グラフ検出ステップにて検出したグラフの成分と凡例との濃度または線幅を検出する濃度または線幅検出ステップと、濃度または線幅検出ステップにて検出した濃度または線幅に基づいて、グラフの成分の濃度または線幅と、凡例の濃度または線幅との差を算出する濃度差または線幅差算出ステップと、濃度差または線幅差算出ステップにて算出した濃度差または線幅差を用いて、グラフの成分と凡例とを関連付ける関連付けステップとをコンピュータに実行させる。

本発明の画像処理装置、画像形成装置、画像処理装置の制御方法、および画像処理装置の制御プログラムによれば、グラフの視認性を向上することができる。

本発明の一実施の形態における画像形成装置の構成を示すブロック図である。 本発明の一実施の形態における画像形成装置の機能的構成を示すブロック図である。 画像形成装置による処理の対象となる画像データの基となる、円グラフを含む原稿の一例を示す図である。 図３の原稿２００の画像データにおいて、凡例検出部１０７によって検出された各凡例Ｘ１〜Ｘ６の濃度と、閉領域検出部１１１によって検出された円グラフの各成分Ｙ１〜Ｙ６の濃度とを模式的に示す表である。 図４の表から算出された、各凡例Ｘ１〜Ｘ６の濃度と、グラフの各成分Ｙ１〜Ｙ６との濃度との差を示す表である。 図５の表から凡例とグラフの成分との組合せを確定する方法を説明する第１の図である。 図５の表から凡例とグラフの成分との組合せを確定する方法を説明する第２の図である。 画像形成装置による処理の対象となる画像データの基となる、円グラフを含む原稿の他の例を示す図である。 図８の原稿２００の画像データにおいて、凡例検出部１０７によって検出された各凡例Ｘ１〜Ｘ６の濃度と、閉領域検出部１１１によって検出された円グラフの各成分Ｙ１〜Ｙ５の濃度とを模式的に示す表である。 図９の表から算出された、各凡例Ｘ１〜Ｘ６の濃度と、グラフの各成分Ｙ１〜Ｙ５との濃度との差を示す表である。 図１０の表から凡例とグラフの成分との組合せを確定する方法を説明する図である。 画像形成装置による処理の対象となる画像データの基となる、棒グラフを含む原稿の一例を示す図である。 画像形成装置による処理の対象となる画像データの基となる、折れ線グラフを含む原稿の一例を示す図である。 図１３の原稿２００の画像データにおいて、凡例検出部１０７によって検出された各凡例Ｘ１〜Ｘ３の線幅と、線幅検出部１１０によって検出された折れ線グラフＬ１〜Ｌ３の線幅とを模式的に示す表である。 図１４の表から算出された、各凡例Ｘ１〜Ｘ３の線幅と、折れ線グラフＹ１〜Ｙ３との線幅との差を示す表である。 画像形成装置による処理の対象となる画像データの基となる、複数の凡例部分を含む原稿の一例を示す図である。 画像変換部１２３によって色彩が指定された、円グラフを含む画像データである。 本発明の一実施の形態における画像形成装置の動作を示すメインルーチンを示す図である。 図１８のステップＳ１５のサブルーチンを示す図である。 円グラフにおいて、閉領域内の濃度にグラデーションが付けられている場合を模式的に示す図である。 円グラフにおいて、互いに隣接する２つの閉領域内が同一濃度で表されている場合を示す図である。

以下、本発明の一実施の形態について、図面を用いて説明する。

［画像形成装置の構成］

図１は、本発明の一実施の形態における画像形成装置の構成を示すブロック図である。

図１を参照して、画像形成装置１００は、画像処理装置を備えたＭＦＰであり、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置であるＨＤＤ（Ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）１４と、通信Ｉ／Ｆ１５と、操作パネル１６と、エンジン部１７と、スキャナ１８とを含んでいる。

ＣＰＵ１１は、スキャンジョブ、コピージョブ、メール送信ジョブ、およびプリントジョブなどの各種ジョブについて、画像形成装置１００全体の制御を行なう。またＣＰＵ１１は、ＲＯＭ１３に記憶された画像形成装置の制御プログラムを実行する。ＣＰＵ１１は、所定の処理を行なうことにより、ＲＡＭ１２、ＲＯＭ１３のデータの読み込みや、ＲＡＭ１２、ＲＯＭ１３へのデータの書き込みを行なう。

ＲＡＭ１２は、ＣＰＵ１１のメインメモリである。ＲＡＭ１２は、ＣＰＵ１１が制御プログラムを実行するときに必要なデータを記憶するためなどに用いられる。

ＲＯＭ１３は、たとえばフラッシュＲＯＭ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）である。ＲＯＭ１３には、画像形成装置１００の動作を行なうための各種プログラムと、後述する濃度差に関する閾値などの各種固定データとが格納されている。ＲＯＭ１３は、書換え不可能なものであってもよい。

ＨＤＤ１４は、通信Ｉ／Ｆ１５を介して外部から送られたプリントデータなどのデータや、原稿読み取り部（図示無し）で読み取った画像データなどを記憶する記憶装置である。

通信Ｉ／Ｆ１５は、ＣＰＵ１１からの指示に従って、ＴＣＰ／ＩＰなどの通信プロトコルによって、ＬＡＮなどを介して他のＭＦＰやクライアントＰＣなどの外部機器との通信を行なう。

操作パネル１６は、テンキーやスタートキーなどからなるキー入力部（図示無し）と、液晶タッチパネルなどからなる表示部（図示無し）とを有しており、ユーザによる各種ジョブの実行や、ログアウトなど、各種入力操作などに使用される。

エンジン部１７は、おおまかに、トナー像形成部、定着装置、および用紙搬送部などで構成される。エンジン部１７は、たとえば電子写真方式で用紙に画像を形成する。エンジン部１７は、いわゆるタンデム方式で４色の画像を合成し、用紙（記録媒体）にカラー画像を形成可能に構成される。トナー像形成部は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｋ（ブラック）の各色について設けられた感光体と、感光体からトナー像が転写（１次転写）される中間転写ベルトと、中間転写ベルトから用紙に画像を転写（２次転写）する転写部などで構成される。定着装置は、加熱ローラおよび加圧ローラを有する。定着装置は、加熱ローラと加圧ローラとでトナー像が形成された用紙を挟みながら搬送し、その用紙に加熱および加圧を行なう。これにより、定着装置は、用紙に付着したトナーを溶融させて用紙に定着させ、用紙に画像を形成する。用紙搬送部は、給紙ローラ、搬送ローラ、およびそれらを駆動するモータなどで構成されている。用紙搬送部は、用紙を給紙カセットから給紙して、画像形成装置１００の筐体の内部で搬送する。また、用紙搬送部は、画像が形成された用紙を画像形成装置１００の筐体から排紙トレイなどに排出する。

スキャナ１８は、原稿の画像を読み取って電子データである画像データに変換する。

画像形成装置１００は、グラフと凡例とを含むモノクロ原稿から画像データを得て、画像データのグラフと凡例とを検出し、この検出結果によって画像データのグラフの各成分と各凡例とを関連付けて、関連付けたグラフの成分と凡例とに同一の色彩を指定する処理を行なう。処理の対象となる画像データは、スキャナ１８で読み取ったものの他、ＨＤＤ１４に保存されたものや、クライアントＰＣなどから送信されたものであってもよい。

本願明細書において「グラフ」とは、数量の変化や大小関係、割合などを、視覚的に表現した図を意味している。「グラフ」は、グラフが円グラフや棒グラフなどの、グラフを構成する各成分の数量が閉領域の面積で構成されているグラフと、折れ線グラフ、直線のグラフ、および曲線のグラフなどの、数量が線を用いて表された線グラフとに分類される。また「凡例」とは、グラフの成分を説明するものを意味しており、「マーカ」とは、目印・標識として利用可能なものを意味している。

図２は、本発明の一実施の形態における画像形成装置の機能的構成を示すブロック図である。

図２を参照して、画像形成装置１００は、画像入力部１０１と、図形分離部１０３と、グラフ要素分離部１０５と、凡例検出部１０７と、線分抽出部１０９と、線幅検出部１１０と、閉領域検出部１１１と、文字分離部１１３と、文字認識部１１５と、濃度差算出部１１７と、濃度差比較部１１９と、順序検出部１２１と、画像変換部１２３と、画像出力部１２５とを備えている。

画像入力部１０１は、スキャナ１８を用いて原稿を読み取る。図形分離部１０３は、画像入力部１０１で読み取った画像データの中から、グラフ部分（グラフ全体）および凡例部分（凡例全体）を、図形として画像データから分離して検出する。グラフ要素分離部１０５は、図形分離部１０３で検出したグラフ部分に示されたグラフが、円グラフ、棒グラフ、または線グラフなどのグラフの種類のうちいずれに該当するかを判別する。凡例検出部１０７は、凡例部分に記載された各凡例のマーカの濃度を検出する。線分抽出部１０９は、グラフが折れ線グラフ、曲線のグラフ、または直線のグラフなどの線グラフである場合に、各線グラフを連続線として特定し、各線グラフのマーカを検出する。線幅検出部１１０は、グラフが線グラフである場合に、各線グラフの線幅を検出する。閉領域検出部１１１は、グラフが円グラフや棒グラフなどの、各成分が閉領域で構成されているグラフである場合に、グラフを構成する各閉領域（各成分）の濃度を検出する。

文字分離部１１３は、画像入力部１０１で読み取った画像データの中から、凡例以外の文字部分を分離する。文字認識部１１５は、たとえばＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）を用いて、凡例部分に記載された各凡例の文字部分を文字として認識する。濃度差算出部１１７は、各凡例のマーカと、グラフの各成分との濃度差または線幅差を算出する。濃度差比較部１１９は、濃度差算出部１１７で算出された濃度差または線幅差を比較し、算出された濃度差または線幅差のうち最も濃度差または線幅差の小さい組合せや、ある閾値以下の濃度差または線幅差である組合せを検出する。順序検出部１２１は、濃度差比較部１１９によって検出されたグラフの成分と凡例との組合せに基づいて、組合せが検出されていない残りのグラフの成分と凡例との組合せ（グラフ全体の成分に対応する凡例の順序）を検出する。画像変換部１２３は、画像入力部１０１で読み取った画像データを変換することにより、グラフおよび凡例に色彩を指定したり、パターンや識別符号などを指定したりする。画像出力部１２５は画像変換部１２３で指定した色彩に従って、画像入力部１０１にて読み取った原稿のカラー画像を用紙（記録媒体）に形成する。

［円グラフを含むモノクロ原稿の画像処理の第１の方法］

続いて、円グラフを含むモノクロ原稿の画像を処理して、カラーの画像を作成する第１の方法について説明する。

図３は、画像形成装置による処理の対象となる画像データの基となる、円グラフを含む原稿の一例を示す図である。なお図３においては説明の便宜のため、文字部分、グラフ部分、凡例部分、および凡例の各々が点線で囲まれている。

図３を参照して、原稿２００は、たとえばカラーの円グラフを含む文書をモノクロ印刷した原稿であり、典型的には文字部分２０１（本文）と、グラフ部分２０３（円グラフ全体）と、凡例部分２０５（凡例全体）とを主に含んでいる。文字部分２０１には、たとえばグラフのタイトルや、グラフから読み取れる事項を説明する文章などが記載されている。グラフ部分２０３は、たとえば円グラフや、棒グラフや、線グラフなどが示されている部分である。図３では、グラフ部分２０３として６つの成分（閉領域）Ｙ１〜Ｙ６で構成された円グラフが示されている。凡例部分２０５は、グラフを構成する各成分の説明が記載されている部分である。図３では、凡例部分２０５として６つの凡例Ｘ１〜Ｘ６が示されている。凡例Ｘ１を例に挙げて説明すると、一つの凡例Ｘ１は、グラフの成分の色彩を示すマーカ２１０と、マーカ２１０の色彩が付されたグラフの成分を説明する文字部分２１１とで構成されている。

図３に示す原稿２００の画像データが画像入力部１０１によって取得されると、図形分離部１０３によって、取得した画像データからグラフ部分２０３と凡例部分２０５とが検出される。続いて、グラフ要素分離部１０５によって、グラフ部分２０３に含まれる図形の形状から、グラフ部分２０３に１つの円グラフが含まれていることが検出される。次に、凡例検出部１０７によって、凡例部分２０５に含まれる各凡例Ｘ１〜Ｘ６のマーカ２１０の濃度（以下、凡例のマーカの濃度を凡例の濃度と記すことがある）が検出され、閉領域検出部１１１によって、各成分Ｙ１〜Ｙ６の濃度が検出される。

図４は、図３の原稿２００の画像データにおいて、凡例検出部１０７によって検出された各凡例Ｘ１〜Ｘ６の濃度と、閉領域検出部１１１によって検出された各成分Ｙ１〜Ｙ６の濃度とを模式的に示す表である。（ａ）は各凡例Ｘ１〜Ｘ６の濃度を示しており、（ｂ）は各成分Ｙ１〜Ｙ６の濃度を示している。なお、図４および図９では、０に近い方（濃度が薄い方）を白、２５５に近い方（濃度が濃い方）を黒として、０〜２５５の２５６段階の数値で濃度が示されている。

図４を参照して、凡例Ｘ１〜Ｘ６はそれぞれ、２４２、１８５、１３０、５２、９８、および１０という濃度（画像濃度）になっており、成分Ｙ１〜Ｙ６はそれぞれ、５、２４４、１６５、１５５、４３、および８４という濃度（画像濃度）になっている。図４に示す凡例Ｘ１〜Ｘ６および成分Ｙ１〜Ｙ６の濃度が検出されると、濃度差算出部１１７によって、各凡例Ｘ１〜Ｘ６と各成分Ｙ１〜Ｙ６との濃度差が算出され、図５の表が作成される。

図５を参照して、各凡例Ｘ１〜Ｘ６と各成分Ｙ１〜Ｙ６との濃度差の表が作成されると、濃度差比較部１１９によって、濃度差が小さい順にグラフの成分と凡例とを関連付けた組合せが確定される。具体的には、図５の表に記載されている組合せのうち、濃度差が最も小さい組合せである凡例Ｘ１と成分Ｙ２との組合せ（濃度差２）が確定される（図５並びに以降の図６、図７、図１０、図１１、および図１５においては、確定された組合せにアンダーラインが引かれている）。続いて、凡例Ｘ１の行および成分Ｙ２の列が表から除外され、残りの表の中で濃度差が最も小さい組合せである凡例Ｘ６と成分Ｙ１との組合せ（濃度差５）が確定される。続いて、凡例Ｘ６の行および成分Ｙ１の列が表から除外され、図６の表が得られる（図６並びに以降の図７および図１１においては、除外された行および列がハッチングで示されている）。

続いて、図６に示す残りの表の中で、濃度差が最も小さい組合せである凡例Ｘ４と成分Ｙ５との組合せ（濃度差９）が確定される。続いて、凡例Ｘ４の行および成分Ｙ５の列が表から除外され、残りの表の中で濃度差が最も小さい組合せである凡例Ｘ５と成分Ｙ６との組合せ（濃度差１４）が確定される。続いて、凡例Ｘ５の行および成分Ｙ６の列が表から除外され、図７の表が得られる。

続いて、図７に示す残りの表の中で、濃度差が最も小さい組合せである凡例Ｘ２と成分Ｙ３との組合せ（濃度差２０）が確定される。続いて、凡例Ｘ２の行および成分Ｙ３の列が表から除外され、残りの組合せである凡例Ｘ３と成分Ｙ４との組合せ（濃度差２５）が最後に確定される。

全てのグラフの成分が凡例と関連付けられると、画像変換部１２３によって、関連付けられた凡例と成分との組合せ毎に同一色の色彩が指定される。これにより、円グラフと凡例とに色彩が指定されたカラーの画像データが得られる。その後ユーザの指示があった場合には、画像出力部１２５によって、円グラフおよび凡例を含むカラーの画像が用紙に形成される。

上述の第１の方法は、凡例とグラフの成分との関連付けが容易である場合（関連付けられた凡例とグラフの成分との濃度差が小さい場合）に、特に有効である。

［円グラフを含むモノクロ原稿の画像処理の第２の方法］

ところで、カラーのグラフを含む文書をモノクロ印刷した原稿においては、グラフの成分同士の濃度差が僅かである場合や、グラフの成分の総数が凡例の総数よりも少ない場合（グラフの成分のうち値が０のものが存在する場合）がある。このような場合には、上述の第１の方法に代わって以下の第２の方法が用いることにより、グラフの成分と凡例との関連付けが容易になる。

図８は、画像形成装置による処理の対象となる画像データの基となる、円グラフを含む原稿の他の例を示す図である。

図８を参照して、原稿２００は、グラフ部分２０３と、凡例部分２０５とを含んでいる。凡例部分２０５には、６つの凡例Ｘ１〜Ｘ６が示されており、グラフ部分２０３には、５つの成分Ｙ１〜Ｙ５で構成された円グラフが示されている。つまり図８の原稿においては、凡例の数に比べてグラフの成分の数が少なくなっている。

図８に示す原稿２００の画像データが画像入力部１０１によって取得されると、上述の第１の方法と同様の方法で、取得した画像データの凡例部分２０５に含まれる各凡例Ｘ１〜Ｘ６の濃度が検出され、円グラフを構成する各成分Ｙ１〜Ｙ５の濃度が検出される。

図９は、図８の原稿２００の画像データにおいて、凡例検出部１０７によって検出された各凡例Ｘ１〜Ｘ６の濃度と、閉領域検出部１１１によって検出された円グラフの各成分Ｙ１〜Ｙ５の濃度とを模式的に示す表である。（ａ）は各凡例Ｘ１〜Ｘ６の濃度を示しており、（ｂ）は円グラフの各成分Ｙ１〜Ｙ５の濃度を示している。

図９を参照して、凡例Ｘ１〜Ｘ６はそれぞれ、２４２、１８５、１３０、５２、９８、および１０という濃度（画像濃度）になっており、円グラフの成分Ｙ１〜Ｙ５はそれぞれ、５、２４４、１６５、４３、および８４という濃度（画像濃度）になっている。図９に示す凡例Ｘ１〜Ｘ６および成分Ｙ１〜Ｙ５の濃度が検出されると、濃度差算出部１１７によって、各凡例Ｘ１〜Ｘ６と各成分Ｙ１〜Ｙ５との濃度差が算出され、図１０の表が作成される。

図１０を参照して、各凡例Ｘ１〜Ｘ６と各成分Ｙ１〜Ｙ５との濃度差の表が作成されると、濃度差比較部１１９によって閾値Ｔ１（本実施の形態では閾値Ｔ１＝１０）が設定される。そして濃度差比較部１１９によって、濃度差が閾値Ｔ１以下となる範囲で、濃度差が小さい順にグラフの成分と凡例とを関連付けた組合せが確定される。具体的には、図１０に示す表の中で濃度差が最も小さい組合せである凡例Ｘ１と成分Ｙ２との組合せ（濃度差２）が確定され、２番目に濃度差が最も小さい組合せである凡例Ｘ６と成分Ｙ１との組合せ（濃度差５）が確定され、３番目に濃度差が最も小さい組合せである凡例Ｘ４と成分Ｙ４との組合せ（濃度差９）が確定される。

続いて、決定された３つの組合せにおける成分Ｙ２、Ｙ１、およびＹ４の位置関係に基づいて、順序検出部１２１によって、残りの成分Ｙ３およびＹ５が、凡例Ｘ２、Ｘ３、またはＸ５と関連付けられる。

具体的には、図８を参照して、決定された組合せにおける凡例を、図８において上部に配置されている順にＸ１→Ｘ４→Ｘ６と並べた場合に、それぞれの凡例に対応付けられているグラフの成分は、Ｙ２→Ｙ４→Ｙ１という順序になる。このグラフの成分の並び順序から、図８の円グラフでは、上部から下部へ向かって配置された凡例に対して、グラフの各成分は時計回りに配置されていることが検出される。これにより、凡例Ｘ４に関連付けられた成分Ｙ４と、凡例Ｘ６に関連付けられた成分Ｙ１との間にある成分Ｙ５は、凡例Ｘ５に関連付けられ、凡例Ｘ５と成分Ｙ５との組合せが確定される。また、凡例Ｘ１に関連付けられた成分Ｙ２と、凡例Ｘ４に関連付けられた成分Ｙ４との間にある成分Ｙ３については、関連付けられる可能性のある凡例が凡例Ｘ２または凡例Ｘ３に絞られる（どちらに関連付けられるかは未だ不明である）。

続いて図１１を参照して、成分Ｙ３に対して凡例Ｘ２および凡例Ｘ３のどちらが関連付けられるかを決定するために、濃度差比較部１１９によって、閾値が閾値Ｔ２（閾値Ｔ２＞閾値Ｔ１、本実施の形態では閾値Ｔ２＝２０）に変更される。そして濃度差比較部１１９によって、濃度差が閾値Ｔ２以下となる凡例Ｘ２と成分Ｙ３とが関連付けられ、凡例Ｘ２と成分Ｙ３との組合せ（濃度差２０）が確定される。この場合には、グラフに占める凡例Ｘ３の割合はゼロであったと推測される。なお、濃度差が閾値Ｔ２以下となる組合せが存在しない場合には、閾値Ｔ２よりも大きい値に閾値がさらに変更されてもよい。

その後、画像変換部１２３によって、関連付けられた凡例とグラフの成分との組合せに同一色の色彩が指定され、ユーザの指示があった場合には、画像出力部１２５によって、円グラフおよび凡例を含むカラーの画像が用紙に形成される。

［棒グラフを含むモノクロ原稿の画像処理の方法］

図１２は、画像形成装置による処理の対象となる画像データの基となる、棒グラフを含む原稿の一例を示す図である。

図１２を参照して、原稿２００には、１月の状態を示す棒グラフ（積み重ね棒グラフ）であるグラフ部分２０３ａと、２月の状態を示す棒グラフ（積み重ね棒グラフ）であるグラフ部分２０３ｂと、凡例部分２０５とが含まれている。ここでは、凡例の数に比べてグラフの成分の数が少なくなっているグラフ部分２０３ｂについて、上述の第２の方法と同様の方法を用いて、グラフの各成分Ｙ１〜Ｙ５と各凡例Ｘ１〜Ｘ６とを関連付けて組合せを確定させる方法について説明する。なお、グラフ部分２０３ａについても、上述の第１の方法または第２の方法と同様の方法を用いて、グラフの各成分Ｙ１〜Ｙ６と各凡例Ｘ１〜Ｘ６とが関連付けられて組合せが確定される。

図１２に示す原稿２００の画像データが画像入力部１０１によって取得されると、第２の方法と同様の方法を用いて、各凡例Ｘ１〜Ｘ６と棒グラフの各成分Ｙ１〜Ｙ５の濃度との濃度差が算出される。そして、濃度差が閾値Ｔ１以下となる範囲で、濃度差が小さい順にグラフの成分と凡例とを関連付けた組合せが確定される。図１２では、たとえば凡例Ｘ１と成分Ｙ１との組合せと、凡例Ｘ２と成分Ｙ２との組合せと、凡例Ｘ５と成分Ｙ４との組合せとが確定される。

続いて、決定された組合せにおける凡例を、図１２において上部に配置されているものから順にＸ１→Ｘ２→Ｘ５と並べた場合に、それぞれの凡例に対応付けられているグラフの成分は、Ｙ１→Ｙ２→Ｙ４という順序になる。このグラフの成分の並び順序から、図１２の棒グラフでは、上から下へ向かって配置された凡例に対して、グラフの各成分は下から上へ向かって配置されていることが検出される。これにより、凡例Ｘ６とグラフの成分Ｙ５との組合せが確定され、グラフの成分Ｙ３については、関連付けられる可能性のある凡例が凡例Ｘ３または凡例Ｘ４に絞られる（どちらに関連付けられるかは未だ不明である）。

続いて、閾値Ｔ１よりも大きい閾値Ｔ２が設定され、凡例Ｘ３および凡例Ｘ４のうちグラフの成分Ｙ３との濃度差が閾値Ｔ２以下となるたとえば凡例Ｘ４が、グラフの成分Ｙ３に関連付けられ、凡例Ｘ４とグラフの成分Ｙ３との組合せが確定される。

その後、画像変換部１２３によって、関連付けられた棒グラフの成分と凡例との組合せに同一色の色彩が指定され、ユーザの指示があった場合には、画像出力部１２５によって、棒グラフおよび凡例を含むカラーの画像が用紙に形成される。

［線グラフを含むモノクロ原稿の画像処理の方法］

図１３は、画像形成装置による処理の対象となる画像データの基となる、折れ線グラフを含む原稿の一例を示す図である。ここでは線グラフが折れ線グラフの場合について説明する。

図１３を参照して、原稿２００は、たとえばカラーの折れ線グラフを含む文書をモノクロ印刷した原稿であり、グラフ部分２０３と、凡例部分２０５とを含んでいる。グラフ部分２０３には、マーカＰ１〜Ｐ１１で構成された複数の折れ線グラフが示されている。凡例部分２０５には、折れ線グラフを構成する各成分の説明が記載されており、３つの凡例Ｘ１〜Ｘ３が示されている。

図１３に示す原稿２００の画像データが画像入力部１０１によって取得されると、図形分離部１０３によって、取得した画像データからグラフ部分２０３と凡例部分２０５とが検出される。続いて、グラフ要素分離部１０５によって、グラフ部分２０３が折れ線グラフであることが検出される。次に、線分抽出部１０９によって、マーカＰ１〜Ｐ１１が検出（抽出）され、検出したマーカのうち、形状に同一性のある（同じ形状の）マーカ同士を結んだ連続線によって、複数の折れ線グラフの各々が特定される（同じマーカ形状間の線分を連続線とする）。具体的には、正方形のマーカＰ１〜Ｐ４を結んだ連続線によって折れ線グラフＬ１が特定され、大きな丸のマーカＰ５〜Ｐ８を結んだ連続線によって折れ線グラフＬ２が特定され、小さな丸のマーカＰ９〜Ｐ１１を結んだ連続線によって折れ線グラフＬ３が特定される。これにより、折れ線グラフに交差部分Ｃが存在していても、折れ線グラフＬ１〜Ｌ３の各々を正しく認識することができる。次に、凡例検出部１０７によって、凡例部分２０５に含まれる各凡例Ｘ１〜Ｘ３の線幅Ｗ１が検出され、線幅検出部１１０によって、折れ線グラフＬ１〜Ｌ３の各々の線幅Ｗ２が検出される。

図１４は、図１３の原稿２００の画像データにおいて、凡例検出部１０７によって検出された各凡例Ｘ１〜Ｘ３の線幅と、線幅検出部１１０によって検出された折れ線グラフＬ１〜Ｌ３の線幅とを模式的に示す表である。（ａ）は各凡例Ｘ１〜Ｘ３の線幅（ｍｍ）を示しており、（ｂ）は折れ線グラフＬ１〜Ｌ３の線幅（ｍｍ）を示している。

図１４を参照して、凡例Ｘ１〜Ｘ３はそれぞれ、２．４２ｍｍ、１．３１ｍｍ、および０．５２ｍｍという線幅になっており、折れ線グラフＬ１〜Ｌ３はそれぞれ、２．４４ｍｍ、１．６５ｍｍ、および０．４３ｍｍという線幅になっている。図１４に示す凡例Ｘ１〜Ｘ３および折れ線グラフＬ１〜Ｌ３の線幅が検出されると、濃度差算出部１１７によって、各凡例Ｘ１〜Ｘ３と折れ線グラフＬ１〜Ｌ３との線幅差が算出され、図１５の表が作成される。

図１５を参照して、各凡例Ｘ１〜Ｘ３と折れ線グラフＬ１〜Ｌ３との線幅差の表が作成されると、濃度差比較部１１９によって、線幅差が小さい順にグラフの成分と凡例とを関連付けた組合せが確定される。具体的には、濃度差の表に記載されている濃度差のうち、濃度差が最も小さい組合せである凡例Ｘ１と折れ線グラフＬ１との組合せ（線幅差０．０２ｍｍ）が確定される。続いて、凡例Ｘ１の行および折れ線グラフＬ１の列が表から除外され、残りの表の中で濃度差が最も小さい組合せである凡例Ｘ３と折れ線グラフＬ３との組合せ（線幅差０．０９）が確定される。続いて、凡例Ｘ３の行および折れ線グラフＬ３の列が表から除外され、残りの組合せである凡例Ｘ２と折れ線グラフＬ２との組合せ（濃度差０．３４ｍｍ）が最後に確定される。このようにして同じ線幅の凡例と折れ線グラフとが関連付けられる。

なお、折れ線グラフを含むモノクロ原稿の画像処理の方法としては、上述の円グラフに関する第１の方法と同様の方法を用いる場合に付いて示したが、上述の円グラフに関する第２の方法と同様の方法が用いられてもよい。

また、上述の折れ線グラフを含むモノクロ原稿の画像処理の方法は、折れ線グラフの他、直線のグラフや曲線のグラフなどであっても適用可能である。さらに、凡例と折れ線グラフとの線幅差に加えて、凡例に付されたマーカと折れ線グラフに付されたマーカとをパターン認証し、それらの形状の同一性に基づいて凡例と折れ線グラフとを関連付けてもよい。

［複数の凡例部分を含むモノクロ原稿の画像処理の方法］

図１６は、画像形成装置による処理の対象となる画像データの基となる、複数の凡例部分を含む原稿の一例を示す図である。

図１６を参照して、原稿２００は、たとえばカラーの円グラフと棒グラフとを含む文書をモノクロ印刷した原稿であり、グラフ部分２０３ａと、凡例部分２０５ａと、グラフ部分２０３ｂと、凡例部分２０５ｂとを含んでいる。グラフ部分２０３ａには、成分Ｙ１〜Ｙ３で構成された円グラフが記載されており、凡例部分２０５ａには、グラフ部分２０３ａの円グラフを構成する各成分の凡例Ｘ１〜Ｘ３が記載されている。グラフ部分２０３ｂには、成分Ｙ４〜Ｙ６で構成された２つの棒グラフが記載されており、凡例部分２０５ｂには、グラフ部分２０３ｂの棒グラフを構成する各成分の凡例Ｘ４〜Ｘ６が記載されている。

図１６に示す原稿２００の画像データが画像入力部１０１によって取得されると、たとえば上述の第１の方法を用いて、各凡例Ｘ１〜Ｘ３が円グラフの各成分Ｙ２、Ｙ３、およびＹ１に関連付けられ、上述の棒グラフに関する方法を用いて、各凡例Ｘ４〜Ｘ６が円グラフの各成分Ｙ６〜Ｙ４の各々に関連付けられる。

続いて、文字認識部１１５によって、凡例部分２０５ａおよび２０５ｂに記載された各凡例Ｘ１〜Ｘ６の文字部分２１１が、文字として認識される。そして順序検出部１２１によって、凡例部分２０５ａに含まれる凡例Ｘ１〜Ｘ３の文字と、凡例部分２０５ｂに含まれる凡例Ｘ４〜Ｘ６の文字との同一性に基づいて、凡例部分２０５ａの各凡例と凡例部分２０５ｂの各凡例とが関連付けられる。具体的には、凡例Ｘ３と凡例Ｘ４とが、「Ａ社」という文字の同一性により関連付けられ、凡例Ｘ１と凡例Ｘ５とが、「Ｂ社」という文字の同一性により関連付けられ、凡例Ｘ２と凡例Ｘ６とが、「Ｃ社」という文字の同一性により関連付けられる。その結果、既に完了しているグラフの各成分と各凡例との関連付けに基づいて、凡例Ｘ３、凡例Ｘ４、グラフの成分Ｙ１、および成分Ｙ６の４つが互いに関連付けられ、凡例Ｘ１、凡例Ｘ５、グラフの成分Ｙ２、および成分Ｙ５の４つが互いに関連付けられ、凡例Ｘ２、凡例Ｘ６、グラフの成分Ｙ３、および成分Ｙ４の４つが互いに関連付けられる。

その後、画像変換部１２３によって、関連付けられた組合せに同一色の色彩が指定され、ユーザの指示があった場合には、画像出力部１２５によって、円グラフおよび凡例を含むカラーの画像が用紙に形成される。

上述の方法によれば、複数のグラフがある場合にも、互いに関連するグラフの成分にグラフごとに異なる色が設定されることを防止することができ、互いに関連するグラフの成分に同じ凡例を関連付けることができる。

［色彩の指定方法］

続いて、画像変換部１２３による色彩の指定方法について説明する。

図１７は、画像変換部１２３によって色彩が指定された、円グラフを含む画像データである。

図１７を参照して、凡例およびグラフの成分に指定される色彩は、たとえばＲＧＢ値などの識別符号で表されてもよい。図１７では、各凡例および円グラフの各成分にＲＧＢそれぞれの輝度を０から２５５までの２５６段階で示したＲＧＢ値（Ｒ，Ｇ，Ｂ）で表された色彩が指定されている。具体的には、濃度差比較部１１９や順序検出部１２１によって関連付けられた凡例Ｘ１とグラフの成分Ｙ２との組合せには、（０，２５５，０）の色彩が指定されており、凡例Ｘ２とグラフの成分Ｙ３との組合せには、（０，０，２５５）の色彩が指定されており、凡例Ｘ４とグラフの成分Ｙ４との組合せには、（２５５，０，２５５）の色彩が指定されている。凡例Ｘ５とグラフの成分Ｙ５との組合せには、（２５５，２５５，０）の色彩が指定されており、凡例Ｘ６とグラフの成分Ｙ１との組合せには、（２５５，０，０）の色彩が指定されている。

また、凡例およびグラフの成分に指定される色彩は、ハッチングなどで表されてもよい。図１７では、凡例Ｘ１とグラフの成分Ｙ２との組合せ、凡例Ｘ２とグラフの成分Ｙ３との組合せ、凡例Ｘ４とグラフの成分Ｙ４との組合せ、凡例Ｘ５とグラフの成分Ｙ５との組合せ、および凡例Ｘ６とグラフの成分Ｙ１との組合せの各々に、同一のハッチングが指定されており、同一のハッチングが指定された部分にはカラー画像の形成の際、同一の色彩が付される。また、色彩を付すかわりに、ハッチングを付して画像を出力してもよい。

さらに、色彩を指定する際には、隣り合うグラフの成分同士の色彩の色相角は、隣り合わないグラフ同士の色彩の色相角よりも大きいことが好ましい。たとえばグラフの成分Ｙ１に指定される色彩と、グラフの成分Ｙ１と隣接するグラフの成分Ｙ２またはＹ５に指定される色彩との色相角が、グラフの成分Ｙ１に指定される色彩と、グラフの成分Ｙ１と隣接しないグラフの成分Ｙ３およびＹ４に指定される色彩との色相角よりも大きいことが好ましい。このように色彩を指定することにより、グラフの成分Ｙ１と成分Ｙ２およびＹ５とを外見上区別しやすくなる。画像変換部１２３は、このように、隣接する各成分（連続する閉領域）に色相角の大きな（色相環で離れた）色彩を優先的に指定することが好ましい。

［画像形成装置の動作のフローチャート］

続いて、本実施の形態における画像形成装置の動作の流れについて説明する。

図１８は、本発明の一実施の形態における画像形成装置の動作を示すメインルーチンを示す図である。なお、各動作を実現するためのプログラムは、ＲＯＭ１３またはＨＤＤ１４などに記憶されており、そのプログラムに従ってＣＰＵ１１が画像形成装置１００の各部を制御することによって、フローチャートの各動作が実行される。

図１８を参照して、画像形成装置１００のＣＰＵ１１は、スキャナ１８を用いてモノクロの凡例およびグラフを含む原稿を読み取って画像データを取得し（Ｓ１）、取得した画像データの中から、グラフ部分および凡例部分を分離して検出する（Ｓ３）。そしてＣＰＵ１１は、検出したグラフ部分に含まれるグラフの種類（円グラフ、棒グラフ、または線グラフなど）を検出する（Ｓ５）。ステップＳ５において、検出したグラフ部分の中に複数のグラフが含まれている場合には、凡例との関連付けが済んでいない一のグラフについて、その種類が検出される。

次にＣＰＵ１１は、検出したグラフの種類が線グラフか否かを判別する（Ｓ７）。ステップＳ７において、検出したグラフが線グラフである場合（Ｓ７でＹＥＳ）、ＣＰＵ１１は、線グラフに付されたマーカを検出し（Ｓ３１）、検出したマーカのうち、同じ形状のマーカ同士を結んだ連続線を１本の線グラフとして認識（特定）する（Ｓ３３）。認識された１本の線グラフは、以降のステップにおいてグラフの一成分として取り扱われる。続いてＣＰＵ１１は、ステップＳ９以降の処理を行なう。一方、ステップＳ７において、検出したグラフが線グラフでない場合（Ｓ７でＮＯ）、ＣＰＵ１１は、ステップＳ９以降の処理を行なう。

ステップＳ９においてＣＰＵ１１は、凡例部分に含まれる各凡例の濃度（線グラフの場合には各凡例の線幅）を検出し（Ｓ９）、グラフの各成分の濃度（線グラフの場合には各線グラフの線幅）を検出する（Ｓ１１）。続いてＣＰＵ１１は、検出したグラフの各成分と各凡例との濃度差（線グラフの場合には各線グラフと各凡例との線幅差）を算出し（Ｓ１３）、算出された濃度差または線幅差に基づいて、グラフの各成分と各凡例とを関連付ける（Ｓ１５）。ステップＳ１５のサブルーチンについては後述する。

ステップＳ１５に続いて、ＣＰＵ１１は、ステップＳ３において検出したグラフ部分の中に複数のグラフが含まれている場合において、凡例との関連付けが済んでいないグラフが残っているか否かを判別する（Ｓ１７）。ステップＳ１７において、凡例との関連付けが済んでいないグラフが残っている場合（Ｓ１７でＹＥＳ）、ＣＰＵ１１はステップＳ５に進み、凡例との関連付けが済んでいないグラフについての関連付けを行なう。ステップＳ１７において、凡例との関連付けが済んでいないグラフが残っていない場合（Ｓ１７でＮＯ）、ＣＰＵ１１は、検出した凡例部分の中に互いに異なるグラフを説明する複数の凡例部分が含まれているか否かを判別する（Ｓ１９）。

ステップＳ１９において、互いに異なるグラフを説明する複数の凡例部分が含まれている場合（Ｓ１９でＹＥＳ）、モノクロ原稿が複数のグラフと、それぞれのグラフを説明する凡例部分とを含んでいることを意味している。この場合ＣＰＵ１１は、複数のグラフおよび凡例部分を互いに関連付けるために、グラフ部分と凡例部分との組合せのうち一の組合せに含まれる凡例の文字と、他の組合せに含まれる凡例の文字との同一性に基づいて、一の組合せに含まれる凡例の文字と、他の組合せに含まれる凡例の文字とを関連付ける（Ｓ２１）。続いてＣＰＵ１１は、ステップＳ２３以降の処理を行なう。一方、ステップＳ１９において、検出した凡例部分の中に複数の凡例部分が含まれていない場合（Ｓ１９でＮＯ）、ＣＰＵ１１は、ステップＳ２３以降の処理を行なう。

ステップＳ２３において、ＣＰＵ１１は、取得した画像データを変更し、グラフの各成分と各凡例とに色彩を指定する（Ｓ２３）。このとき、関連付けられたグラフの成分と凡例との各々の組合せには同一色の色彩が指定される。続いてＣＰＵ１１は、エンジン部１７を用いて、指定された色彩に従って画像データのカラー画像を形成し（Ｓ２５）、処理を終了する。

図１９は、図１８のステップＳ１５のサブルーチンを示す図である。

図１９を参照して、算出された濃度差または線幅差に基づいて、グラフの各成分と各凡例とを関連付ける処理（Ｓ１５）において、ＣＰＵ１１は、濃度差（線グラフの場合には線幅差）が最も小さいグラフの成分と凡例とを関連付け、これらの組み合わせを確定させる（Ｓ５１）。次にＣＰＵ１１は、組合せが未確定のグラフの成分および凡例の中で、濃度差（線グラフの場合には線幅差）が閾値Ｔ１以下であるグラフの成分と凡例との組み合わせを関連付け、これらの組合せを確定させる（Ｓ５３）。次にＣＰＵ１１は、確定した凡例とグラフとの組み合わせの位置関係に基づいて、未確定のグラフの成分と凡例と組み合わせを仮決定し（Ｓ５５）、一のグラフの成分に対して複数の凡例を関連付け可能な組合せがあったか否かを判別する（Ｓ５７）。ステップＳ５７で、一のグラフの成分に対して複数の凡例を関連付け可能な組合せがある場合（Ｓ５７でＹＥＳ）、ＣＰＵ１１は、その複数の凡例のうち、一のグラフの成分との濃度差（線グラフの場合には線幅差）が閾値Ｔ２（＞閾値Ｔ１）以下である凡例を一のグラフの成分と関連付け、これらの組合せを確定し（Ｓ５９）、リターンする。ステップＳ５７で、一のグラフの成分に対して複数の凡例を関連付け可能な組合せが無い場合（Ｓ５７でＮＯ）、ＣＰＵ１１は、ステップＳ５５で仮決定したグラフの成分と凡例と組み合わせを確定し、リターンする。

［実施の形態の効果］

本実施の形態における画像形成装置は、原稿の画像を取得し、取得した原稿の画像から、グラフと、グラフの成分を説明する凡例とを検出する。画像形成装置は、検出したグラフの成分と凡例との濃度または線幅を検出し、検出した濃度または線幅に基づいて、グラフの成分の濃度または線幅と、凡例の濃度または線幅との差を算出する。画像形成装置は、算出した濃度または線幅差を用いて、グラフの成分と凡例とを関連付ける。

本実施の形態における画像形成装置によれば、グラフの成分と凡例との濃度差または線幅差に基づいてグラフの成分と凡例とが関連付けられる。これにより、モノクロのグラフと凡例とを関連付けることができ、ユーザのグラフの視認性を向上させることができる。

特に凡例と線グラフとを関連付ける場合には、線グラフの線が細くて線グラフの濃度を抽出できない場合や、線グラフの線のエッジが強調されており、濃度が濃くなっている場合がある。このような場合であっても、凡例と線グラフとの線幅差に基づいてグラフの成分と凡例とを関連付けることができる。

また、濃度差または線幅差が閾値Ｔ１以下であるグラフの成分と凡例とを関連付けて、グラフの成分と凡例との複数の組合せを決定し、閾値Ｔ１により決定された複数の組合せに含まれるグラフの成分の位置関係に基づいて、残りのグラフの成分と凡例とを関連付ける。これにより、濃度差または線幅差のみでは分離が困難な場合であっても、濃度差または線幅差が小さい組み合わせのグラフの成分の位置関係を基点として、他の凡例とグラフの成分とを関連付けることができる。その結果、グラフの成分と凡例との個数が一致しない場合や、かつグラフの成分と凡例との濃度差または線幅差が小さい場合であっても、グラフの成分と凡例とを関連付けることができる。

また、グラフの成分の位置関係を基点として他の凡例とグラフの成分とを関連付ける場合において、一のグラフの成分に対して複数の凡例を関連付け可能なときは、関連付け可能な複数の凡例のうち、一のグラフとの濃度差または線幅差が閾値Ｔ２以下である凡例を、一のグラフの成分と関連付ける。これにより、グラフの成分の位置関係と濃度差または線幅差とに基づいて凡例とグラフの成分とを関連付けることができる。

また、線グラフを関連付ける場合に、原稿の画像データから線グラフに付されたマーカを検出し、検出したマーカのうち、形状に同一性のあるマーカ同士を結んだ連続線によって、グラフの各成分となる複数の線グラフの各々を特定するので、線グラフ同士が交差している場合でも、交差した各線グラフの連続性を正確に判断することができる。

さらに、原稿の画像にグラフと各凡例との複数の組合せが含まれている場合に、複数の組合せのうち一の組合せに含まれる凡例の文字と、複数の組合せのうち他の組合せに含まれる凡例の文字との同一性に基づいて、一の組合せに含まれる凡例と、他の組合せに含まれる凡例とを関連付けるので、同一の凡例が付されたグラフの各成分に同一の色彩を設定することができる。

［その他］

画像処理装置が、円グラフや棒グラフなどの、数量の割合などを閉領域の大きさで規定したグラフを検出した場合には、閉領域の輪郭線に基づいてグラフの各成分（各閉領域）を検出することが好ましい。これにより、たとえば図２０に示すように、閉領域Ｙ１０内の濃度にグラデーションが付けられている場合など、閉領域内の濃度が変化している場合には、グラフの成分Ｙ１０を１つの領域として検出し、閉領域Ｙ１０内を均一な濃度に補正した上で、濃度差比較部１１９で濃度差を比較することができる。また図２１に示すように、互いに隣接する２つの閉領域Ｙ１１およびＹ１２内が同一濃度で表されている場合であっても、閉領域Ｙ１１と閉領域Ｙ１２とを別々の閉領域として検出し、閉領域Ｙ１１と閉領域Ｙ１２とを独立して、濃度差比較部１１９で濃度差を比較することができる。

また、原稿の画像データに含まれる円グラフや棒グラフにおいて、一部のグラフの成分のみに色彩を指定してもよいし、モノクロ原稿の画像データに含まれる複数の線グラフにおける一部の線グラフのみに色彩を指定してもよい。

さらに原稿は、少なくともモノクロのグラフと、モノクロの凡例とを含むものであればよく、原稿におけるグラフと凡例以外の部分に色彩が施されているものであってもよい。

本実施の形態における処理は、ソフトウェアにより行なっても、ハードウェア回路を用いて行なってもよい。また、本実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。プログラムは、ＣＰＵなどのコンピュータにより実行される。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

上述の実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ ＨＤＤ
１５ 通信Ｉ／Ｆ
１６ 操作パネル
１７ エンジン部
１８ スキャナ
１００ 画像形成装置
１０１ 画像入力部
１０３ 図形分離部
１０５ グラフ要素分離部
１０７ 凡例検出部
１０９ 線分抽出部
１１０ 線幅検出部
１１１ 閉領域検出部
１１３ 文字分離部
１１５ 文字認識部
１１７ 濃度差算出部
１１９ 濃度差比較部
１２１ 順序検出部
１２３ 画像変換部
１２５ 画像出力部
２００ 原稿
２０１ 文字部分
２０３，２０３ａ，２０３ｂ グラフ部分
２０５，２０５ａ，２０５ｂ 凡例部分
２１０ マーカ
２１１ 文字部分
Ｌ１〜Ｌ３ 折れ線グラフ
Ｐ１〜Ｐ１１ マーカ
Ｘ１〜Ｘ６ 凡例
Ｙ１〜Ｙ６，Ｙ１０〜Ｙ１２ グラフの成分（閉領域）

Claims (10)

1. 原稿の画像を取得する画像取得手段と、
   前記画像取得手段にて取得した原稿の画像から、グラフと、前記グラフの成分を説明する凡例とを検出するグラフ検出手段と、
   前記グラフ検出手段にて検出したグラフの成分と凡例との濃度または線幅を検出する濃度または線幅検出手段と、
   前記濃度または線幅検出手段にて検出した濃度または線幅に基づいて、グラフの成分の濃度または線幅と、凡例の濃度または線幅との差を算出する濃度差または線幅差算出手段と、
   前記濃度差または線幅差算出手段にて算出した濃度差または線幅差を用いて、グラフの成分と凡例とを関連付ける関連付け手段とを備えた、画像処理装置。
2. 前記関連付け手段は、
   前記濃度差または線幅差算出手段にて算出した濃度差または線幅差が第１の閾値以下であるグラフの成分と凡例とを関連付けて、グラフの成分と凡例との複数の組合せを決定する第１の関連付け手段と、
   前記第１の関連付け手段により決定された複数の組合せに含まれるグラフの成分の位置関係に基づいて、前記第１の関連付け手段により決定された複数の組合せに含まれていないグラフの成分と凡例とを関連付ける第２の関連付け手段とを含む、請求項１に記載の画像処理装置。
3. 前記第２の関連付け手段は、前記第１の関連付け手段により決定された複数の組合せに含まれていない一のグラフの成分に対して複数の凡例を関連付け可能な場合には、前記関連付け可能な複数の凡例のうち、前記一のグラフの成分との濃度差または線幅差が、前記第１の閾値よりも大きい第２の閾値以下である凡例を、前記一のグラフの成分と関連付ける、請求項２に記載の画像処理装置。
4. 前記グラフ検出手段は、
   前記画像取得手段にて取得した原稿の画像から線グラフを検出する線グラフ検出手段と、
   前記線グラフ検出手段にて線グラフを検出した場合に、前記画像取得手段にて取得した原稿の画像から、線グラフに付されたマーカを検出するマーカ検出手段と、
   前記マーカ検出手段にて検出したマーカのうち、形状に同一性のあるマーカ同士を結んだ連続線によって、グラフの成分となる線グラフを特定する線グラフ特定手段とを含む、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記グラフ検出手段が、前記画像取得手段にて取得した原稿の画像から、第１のグラフの成分を説明する第１の凡例と、前記第１のグラフとは異なる第２のグラフの成分を説明する第２の凡例とを検出した場合に、前記関連付け手段は、前記第１の凡例の文字と前記第２の凡例の文字との同一性に基づいて、前記第１の凡例と前記第２の凡例とをさらに関連付ける、請求項１〜４のいずれかに記載の画像処理装置。
6. 前記関連付け手段によって関連付けられた凡例とグラフの成分とに同一色の色彩を指定する色彩指定手段をさらに備えた、請求項１〜５のいずれかに記載の画像処理装置。
7. 前記色彩指定手段は、互いに隣接するグラフの成分のうち一方の成分の色彩と他方の成分の色彩との色相角が、前記一方の成分の色彩と前記一方の成分とは隣接しないグラフの成分の色彩との色相角よりも大きくなるように、色彩を指定する、請求項６に記載の画像処理装置。
8. 請求項１〜７のいずれかに記載の画像処理装置と、
   前記関連付け手段にて関連付けられたグラフの成分と凡例とに同一色の色彩を付すように、前記画像取得手段にて取得した原稿の画像に関するカラー画像を形成する画像形成手段とを備えた、画像形成装置。
9. 原稿の画像を取得する画像取得ステップと、
   前記画像取得ステップにて取得した原稿の画像から、グラフと、前記グラフの成分を説明する凡例とを検出するグラフ検出ステップと、
   前記グラフ検出ステップにて検出したグラフの成分と凡例との濃度または線幅を検出する濃度または線幅検出ステップと、
   前記濃度または線幅検出ステップにて検出した濃度または線幅に基づいて、グラフの成分の濃度または線幅と、凡例の濃度または線幅との差を算出する濃度差または線幅差算出ステップと、
   前記濃度差または線幅差算出ステップにて算出した濃度差または線幅差を用いて、グラフの成分と凡例とを関連付ける関連付けステップとを備えた、画像処理装置の制御方法。
10. 原稿の画像を取得する画像取得ステップと、
    前記画像取得ステップにて取得した原稿の画像から、グラフと、前記グラフの成分を説明する凡例とを検出するグラフ検出ステップと、
    前記グラフ検出ステップにて検出したグラフの成分と凡例との濃度または線幅を検出する濃度または線幅検出ステップと、
    前記濃度または線幅検出ステップにて検出した濃度または線幅に基づいて、グラフの成分の濃度または線幅と、凡例の濃度または線幅との差を算出する濃度差または線幅差算出ステップと、
    前記濃度差または線幅差算出ステップにて算出した濃度差または線幅差を用いて、グラフの成分と凡例とを関連付ける関連付けステップとをコンピュータに実行させる、画像処理装置の制御プログラム。