JP2005301341A - 画像処理装置、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 画像中にあるグラフを認識し、グラフ中でユーザの注目している項目が容易に認識し易くなるように、グラフの構成を変更する。
【解決手段】 画像処理装置は、画像データが表す画像中のグラフ領域を認識し、このグラフ領域内で、グラフの項目量を表している項目領域を認識すると共に、認識された項目領域の項目名を表す文字列を該グラフ領域に存在する文字列の中から抽出する。画像処理装置は、データ入力手段に入力された文字列と同じ文字列が、グラフ領域から抽出された場合、この文字列で特定される項目領域を、グラフ領域内において項目量の基準点を表している基準線に接するように移動させる。
【選択図】 図１

Description

本発明は、文書中のグラフを加工する技術に関する。

近年の表計算ソフトウェアは、任意の並びの数値データを、数値データのデータ名と共に降順または昇順で並び替え、並べ替えられたデータに基づいてグラフを作成することが可能となっている。しかしながら、グラフにおいて、項目が降順または昇順など、ある規則にしたがって並んでいると、グラフを利用しにくい場合もある。例えば、複数の項目のうち、ある項目にのみ注目しようとした場合、数値データの大小によって項目が並べ替えられていると、グラフの利用者は、注目すべき項目がどの位置にあるのか探さなければならない。

特定の項目を抽出し、抽出した項目以外の項目について並べ替えを行う技術としては、例えば、特許文献１に記載されている技術がある。特許文献１に記載されたグラフ作成装置は、指定された項目以外の数値データについては、降順または昇順で数値データの並べ替えを行い、指定された項目については、例えば、円グラフであれば、指定された項目の数値データが、時計回りの最後に表示されるようにグラフを生成する。このグラフ作成装置を利用すれば、グラフの利用者の注目する項目が、予め定められた位置に表示されるため、注目している項目をグラフ中から容易に探し出すことができる。
特開平５−３０７６１４号公報

ところで、近年、スキャナで読取った文書を電子化し、ファイリングすることが行われている。このようにして読取られる文書の中には、グラフを含む文書もあり、読取られたグラフは、様々な用途で、再利用される。

このように読み取られた文書において、注目している項目が分かり易くなるように並べ替えることができれば、グラフの利用者はグラフの分析などが効率良く行うことが可能となる。しかしながら、このようにスキャナで読取られたグラフは、画像として記憶されており、各項目の元となる数値データを有していないため、グラフの構成を変更することができなかった。

本発明は、上述した背景の下になされたものであり、画像中にあるグラフを認識し、グラフ中でユーザの注目している項目が容易に認識し易くなるように、グラフの構成を変更することを可能とする技術を提供することを目的とする。

上述した課題を解決するために本発明は、文字列データを記憶する記憶手段と、文書を表す画像データを受け取る画像入力手段と、図形の面積で項目量を表しているグラフの領域を、前記画像入力手段により受け取られた画像データが表す画像において認識するグラフ領域認識手段と、前記グラフ領域認識手段により認識されたグラフ領域において、項目量を表している項目領域を認識する項目領域認識手段と、前記グラフ領域認識手段により認識されたグラフ領域に存在する文字列を認識する文字列認識手段と、前記項目領域認識手段により認識された項目領域の位置と、前記文字列認識手段により認識された文字列の位置とから、項目領域毎に項目名を表している文字列を特定し、特定した文字列を表す文字列データと項目領域とを対応付けて前記記憶手段に記憶させる項目名特定手段と、文字列を表す文字列データを受け取るデータ入力手段と、前記データ入力手段により受け取られた文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶手段に記憶されている場合、前記グラフ領域認識手段により認識されたグラフ領域内において項目量の基準点を表している基準線に、該文字列データに対応付けられている項目領域が接するように、前記グラフ領域内にある項目領域を移動させて並べ替える項目領域移動手段と、前記項目領域移動手段により項目領域が並び替えられた文書の画像を示す画像データを生成する画像データ生成手段とを有する画像処理装置を提供する。

この画像処理装置は、画像データが表す画像中のグラフ領域を認識し、このグラフ領域内で、グラフの項目量を表している項目領域を認識すると共に、認識された項目領域の項目名を表す文字列を該グラフ領域に存在する文字列の中から抽出する。画像処理装置は、データ入力手段に入力された文字列と同じ文字列が、グラフ領域から抽出された場合、この文字列で特定される項目領域を、グラフ領域内において項目量の基準点を表している基準線に接するように移動させる。入力された文字列で特定される項目領域が、基準線に接する位置に移動させられるので、項目領域を見つけやすくなる。

また、本発明は、文字列データを記憶する記憶手段と、文書を表す画像データを受け取る画像入力手段と、図形の面積で項目量を表しているグラフの領域を、前記画像入力手段により受け取られた画像データが表す画像において認識するグラフ領域認識手段と、前記グラフ領域認識手段により認識されたグラフ領域において、項目量を表している項目領域を認識する項目領域認識手段と、前記グラフ領域認識手段により認識されたグラフ領域に存在する文字列を認識する文字列認識手段と、前記項目領域認識手段により認識された項目領域の位置と、前記文字列認識手段により認識された文字列の位置とから、項目領域毎に項目名を表している文字列を特定し、特定した文字列を表す文字列データと項目領域とを対応付けて前記記憶手段に記憶させる項目名特定手段と、文字列を表す文字列データを受け取る文字列入力手段と、前記文字列入力手段により受け取られた文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶手段に記憶されている場合、該文字列データに対応付けられている項目領域内の色を所定の色に変更する色変更手段と、前記色変更手段により項目領域の色が変更された文書の画像を示す画像データを生成する画像データ生成手段とを有する画像処理装置を提供する。

この画像処理装置は、画像データが表す画像中のグラフ領域を認識し、このグラフ領域内で、グラフの項目量を表している項目領域を認識すると共に、認識された項目領域の項目名を表す文字列を該グラフ領域に存在する文字列の中から抽出する。画像処理装置は、データ入力手段に入力された文字列と同じ文字列が、グラフ領域から抽出された場合、この文字列で特定される項目領域の色を所定の色の変更する。入力された文字列で特定される項目領域の色が所定の色に変更されるので、項目領域を見つけやすくなる。

また本発明は、コンピュータ装置を、文書を表す画像データを受け取る画像入力手段と、図形の面積で項目量を表しているグラフの領域を、前記画像入力手段により受け取られた画像データが表す画像において認識するグラフ領域認識手段と、前記グラフ領域認識手段により認識されたグラフ領域において、項目量を表している項目領域を認識する項目領域認識手段と、前記グラフ領域認識手段により認識されたグラフ領域に存在する文字列を認識する文字列認識手段と、前記項目領域認識手段により認識された項目領域の位置と、前記文字列認識手段により認識された文字列の位置とから、項目領域毎に項目名を表している文字列を特定し、特定した文字列を表す文字列データと項目領域とを対応付けて前記記憶手段に記憶させる項目名特定手段と、文字列を表す文字列データを受け取るデータ入力手段と、前記データ入力手段により受け取られた文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶部に記憶されている場合、前記グラフ領域認識手段により認識されたグラフ領域内において項目量の基準点を表している基準線に、該文字列データに対応付けられている項目領域が接するように、前記グラフ領域内にある項目領域を移動させて並べ替える項目領域移動手段と、前記項目領域移動手段により項目領域が並び替えられた文書の画像を示す画像データを生成する画像データ生成手段として機能させるためのプログラムと、該プログラムを記録したコンピュータ読取り可能が記録媒体を提供する。

また本発明は、コンピュータ装置を、文書を表す画像データを受け取る画像入力手段と、図形の面積で項目量を表しているグラフの領域を、前記画像入力手段により受け取られた画像データが表す画像において認識するグラフ領域認識手段と、前記グラフ領域認識手段により認識されたグラフ領域において、項目量を表している項目領域を認識する項目領域認識手段と、前記グラフ領域認識手段により認識されたグラフ領域に存在する文字列を認識する文字列認識手段と、前記項目領域認識手段により認識された項目領域の位置と、前記文字列認識手段により認識された文字列の位置とから、項目領域毎に項目名を表している文字列を特定し、特定した文字列を表す文字列データと項目領域とを対応付けて前記記憶手段に記憶させる項目名特定手段と、文字列を表す文字列データを受け取る文字列入力手段と、前記文字列入力手段により受け取られた文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶部に記憶されている場合、該文字列データに対応付けられている項目領域内の色を所定の色に変更する色変更手段と、前記色変更手段により項目領域の色が変更された文書の画像を示す画像データを生成する画像データ生成手段として機能させるためのプログラムと、該プログラムを記録したコンピュータ読取り可能な記録媒体を提供する。

本発明によれば、画像中にあるグラフを認識し、グラフ中でユーザの注目している項目が容易に認識し易くなるように、グラフの構成を変更することが可能となる。

［Ａ．第１実施形態］
［Ａ−１．第１実施形態の構成］
図１は、本発明の実施形態に係わる画像処理装置１００のハードウェア構成のうち、本発明に係わる要部の構成を示したブロック図である。図１に示したように、画像処理装置１００の各部は、バス１０１に接続されており、このバス１０１を介して各部間でデータの授受を行う。

通信部１０６は、データ通信を行うための通信インターフェースとして機能する。通信部１０６は、通信線（図示略）により、例えば、ＬＡＮ（Local Area Network）やインターネットなどの通信ネットワークに接続されており、ＣＰＵ１０２の制御の下、ネットワークを介して送られてきたデータをＣＰＵ１０２へ供給し、ＣＰＵ１０２から供給されたデータを通信相手となる装置へネットワークを介して出力する。

印刷部１０８は、例えば、プリンタ装置を具備しており、ＣＰＵ１０２の制御の下、各種文書を印刷する。画像入力部１０９は、例えば、スキャナ装置を具備しており、スキャナ装置の読取り部に載置された文書を読取り、読取った文書を示す画像データを生成する。

Ｕ／Ｉ（ユーザインターフェース）部１０７は、画像入力部１０９に載置された文書の読み取りを指示する「読取り」キーや、メニュー操作を行うための上下左右の矢印キー、「決定」キーや「キャンセル」キーなど、画像処理装置１００を操作するための各種キーを具備している。Ｕ／Ｉ部１０７は、具備しているキーが押下されると、押下されたキーを示す信号をＣＰＵ１０２へ出力する。また、Ｕ／Ｉ部１０７は、例えば液晶ディスプレイ等の表示デバイスを具備しており、ＣＰＵ１０２の制御の下、画像処理装置１００を操作するメニュー画面や、各種メッセージなどを表示する。

記憶部１０５は、データを永続的に記憶する装置として、例えばハードディスク装置（図示略）を具備しており、画像処理装置１００の各部を制御するための制御プログラムや各種データを記憶している。
また、記憶部１０５は、図２に例示したフォーマットのテーブルＴＢ１を記憶している。テーブルＴＢ１は、読取った文書中の円グラフの各項目名と、円グラフの各項目の領域の頂点座標と、各項目の領域の角度とを対応付けて格納するテーブルであり、図２に例示したように、項目名毎に、円グラフの各項目の領域の頂点座標と、各項目の領域の角度とが対応付けて格納される。
また、記憶部１０５は、画像処理装置１００の使用者がグラフ中において注目している項目を示す抽出用データを記憶している。この抽出用データは、画像処理装置１００の使用者が、Ｕ／Ｉ部１０７に表示されるメニュー画面に従ってキー操作を行うことにより記憶部１０５に記憶される。

ＲＯＭ１０３は、ＩＰＬ（Initial Program Loader）と呼ばれるプログラムを記憶している。ＣＰＵ１０２は、図示を省略した電源から電力が供給されると、ＲＯＭ１０３からＩＰＬを読み出して実行する。ＣＰＵ１０２は、ＩＰＬを実行すると、記憶部１０５に記憶されている制御プログラムを読み出して起動し、ＲＡＭ１０４を作業エリアとして、画像処理装置１００の各部の制御を行う。

ＣＰＵ１０２が制御プログラムを起動すると、入力される各種信号やデータに応じて、種々の処理が行われ、各種機能が実現する。
ＣＰＵ１０２は、「読取り」キーが押下されたことを示す信号がＵ／Ｉ部１０７から供給されると、画像入力部１０９を制御し、画像入力部１０９に載置されている文書を読取る。
また、ＣＰＵ１０２は、文書を表す画像データが画像入力部１０９により生成されると、例えば、特開平１−２６６６８９号公報に記載されている技術を利用して画像中の円グラフを認識し、さらに、円グラフの中心点座標、円グラフの基準線（円グラフの中心点から１２時方向に伸びている線）、円グラフの各項目の項目名、円グラフ中における各項目の領域（円グラフ中の円弧と仕切り線とで囲まれた領域）を認識する。
また、ＣＰＵ１０２は、円グラフを認識すると、抽出用データで特定される項目の領域が予め定められた位置へ位置するように、円グラフの各項目の領域を、例えばアフィン変換により回転移動させて項目の並べ替えを行う。

［Ａ−２．第１実施形態の動作］
次に本実施形態の動作について説明する。なお、以下の説明においては、Ｕ／Ｉ部１０７が画像処理装置１００の使用者により操作され、「Ｃ社」という文字列を示す抽出用データが既に記憶部１０５に記憶されている場合を想定する。また、以下の説明においては、画像入力部１０９が図３に例示した文書を読取る場合を想定して、動作の説明を行う。

画像処理装置１００の使用者が、文書を画像入力部１０９に載置した後、Ｕ／Ｉ部１０７が具備する「読取り」キーを押下すると、「読取り」キーが押下されたことを示す信号が、Ｕ／Ｉ部１０７からＣＰＵ１０２へ供給される。この信号がＣＰＵ１０２により受け取られると、ＣＰＵ１０２は、画像入力部１０９に載置された文書を画像入力部１０９に読取らせる。画像入力部１０９が文書の読取りを終了すると（図４ステップＳＡ１：ＹＥＳ）、読取られた文書の画像を表す画像データが記憶部１０５に記憶される。

ＣＰＵ１０２は、文書の読み取りが終了すると、記憶部１０５に記憶された画像データが表す画像から、図形が描かれている図形領域の抽出を試みる（ステップＳＡ２）。次に、ＣＰＵ１０２は図形領域を抽出できたか否かを判断する（ステップＳＡ３）。ＣＰＵ１０２は、読取られた文書が文章のみの文書であり、図形領域を抽出できなかった場合（ステップＳＡ３：ＮＯ）、例えば、「読取った文書からは、図形領域は抽出されませんでした」というメッセージをＵ／Ｉ部１０７の液晶ディスプレイに表示させ、入力された文書から図形領域を抽出できなかったことを画像処理装置１００の使用者に伝える（ステップＳＡ４）。

一方、ＣＰＵ１０２は、画像データが表す画像から図形領域を抽出できた場合（ステップＳＡ３：ＹＥＳ）、図形領域内の図形を認識し、図形領域内に円グラフがあるか否かを判断する（ステップＳＡ５）。ＣＰＵ１０２は、図形領域内に円グラフがないと判断した場合（ステップＳＡ５：ＮＯ）、例えば、「読取った文書からは、円グラフは抽出されませんでした」というメッセージをＵ／Ｉ部１０７の液晶ディスプレイに表示させ、入力された文書から円グラフを抽出できなかったことを画像処理装置１００の使用者へ伝える（ステップＳＡ６）。

一方、ＣＰＵ１０２は、図形領域内に円グラフがあると判断した場合（ステップＳＡ５：ＹＥＳ）、まず、円グラフの中心位置の座標を示す中心位置データを生成し、この中心位置データを、記憶部１０５に記憶させる（ステップＳＡ７）。次にＣＰＵ１０２は、円グラフにおいて各項目の数量を表す扇形の領域（以下、この領域を項目領域と称する）を、各項目毎に抽出する（ステップＳＡ８）。例えば、図３に示した円グラフの場合、図５（ａ）〜（ｄ）に示したように、四つの領域が抽出される。

次に、ＣＰＵ１０２は、各項目領域毎に、扇形の頂点の座標と、扇形の中心角度を求め（ステップＳＡ９）、この後、抽出した各項目領域毎に、項目領域内にある文字列を抽出する。そして、ＣＰＵ１０２は、頂点の座標と、中心角の角度と、この抽出した文字列とを対応付けて記憶部１０５に記憶させる（ステップＳＡ１０）。例えば、図３に示した円グラフにおいて、項目「Ａ社」の領域の中心角度が「１２０°」、項目「Ｂ社」の領域の中心角度が「９０°」、項目「Ｃ社」の領域の中心角度が「９０°」、項目「Ｄ社」の領域の中心角度が「６０°」である場合、記憶部１０５には、図２に例示したように、項目名と中心角度が対応付けて記憶される。

次にＣＰＵ１０２は、記憶部１０５に記憶されている抽出用データを読出し（ステップＳＡ１１）、抽出用データが表す文字列と同じ文字列をテーブルＴＢ１に格納されている項目名の中から検索する。抽出用データが示す文字列と同じ文字列がテーブルＴＢ１に格納されていない場合には（ステップＳＡ１２：ＮＯ）、ＣＰＵ１０２は、例えば、「円グラフには、「Ｃ社」に該当する項目はありませんでした」というメッセージをＵ／Ｉ部１０７の液晶ディスプレイに表示させ、画像処理装置１００の使用者が注目している項目を円グラフから抽出できなかったことを伝える（ステップＳＡ１３）。

一方、ＣＰＵ１０２は、ステップＳＡ１２で「ＹＥＳ」と判断した場合、円グラフの各項目領域の並べ替えを行う（ステップＳＡ１４）。具体的には、円グラフにおいて、円グラフの中心点から１２時方向に伸びた基準線から、時計回りに各項目の領域を並べ、最初に並べられる領域を第１領域、２番目に並べられる領域を第２領域、ｎ番目に並べられる領域を第ｎ領域とした場合、ＣＰＵ１０２は、基準線を認識し、抽出用データが表す文字列と同じ項目名の項目領域を、例えば、アフィン変換により第１領域に回転移動させる（図６（ａ））。
そして、ＣＰＵ１０２は、円グラフが形成されるように残りの各項目領域を回転移動させる。例えば、図３に例示した文書の場合、ＣＰＵ１０２は、項目名が「Ａ社」である項目領域を、第１領域に接するように回転移動させる（図６（Ｂ））。次にＣＰＵ１０２は、項目名が「Ｂ社」である項目領域を、第２領域に接するように回転移動させ（図６（Ｃ））、項目名が「Ｄ社」である項目領域を、第３領域に接するように回転移動させる（図６（Ｄ））。

ＣＰＵ１０２は、項目領域の回転移動を終了すると、項目領域が並べ替えられた文書の画像を示す画像データを記憶部１０５に記憶させる（ステップＳＡ１５）。次にＣＰＵ１０２は、この画像データに基づいて、画像データが表す画像を印刷するための印刷データを生成する（ステップＳＡ１６）。ＣＰＵ１０２は、この印刷データを印刷部１０８へ供給し、印刷データが表す画像（図７参照）を印刷用紙に印刷させる（ステップＳＡ１７）。

以上説明したように本実施形態によれば、文書中の円グラフの項目が認識される。そして、項目の並べ替えが行われ、画像処理装置１００の使用者が注目している項目が、円グラフ内において予め定められた位置へ移動させられる。このように、使用者の注目している項目が、予め定められた位置へ移動させられて、円グラフが再構成されるので、画像処理装置１００の使用者は、注目している項目を円グラフの中から容易に見つけだすことが可能となる。

［Ｂ．第２実施形態］
［Ｂ−１．第２実施形態の構成］
次に、本発明の第２実施形態について説明する。本実施形態は、項目の並べ替えが行われるのが、円グラフではなく棒グラフである点が第１実施形態と異なる。即ち、本実施形態に係わる画像処理装置１００の構成は、ＣＰＵ１０２が実行するプログラムの処理の流れが、第１実施形態と異なる。
また、記憶部１０５は、図８に例示したフォーマットのテーブルＴＢ２を記憶している。テーブルＴＢ２は、棒グラフの各棒の属性と、読取った文書中の棒グラフの各項目名と、棒グラフの各項目の領域の頂点座標とを対応付けて格納するテーブルであり、図８に例示したように、項目名毎に、棒グラフの各項目の領域の頂点座標が対応付けて格納される。

ＣＰＵ１０２は、文書を表す画像データが画像入力部１０９により生成されると、例えば、特開平９−１３４４０４号公報に記載されている技術を利用して画像中の棒グラフ、棒グラフの横軸および縦軸、棒グラフ中の棒の数を認識し、各棒毎に識別子を付与する。
また、ＣＰＵ１０２は、棒における各項目の領域の頂点座標、棒グラフの各項目の項目名を認識し、各棒毎に、図８に示したように項目名と頂点座標とを対応付けて、テーブルＴＢ２に格納する。
また、ＣＰＵ１０２は、棒グラフを認識すると、抽出用データで特定される項目の領域が、各棒において最下段に位置するように、例えばアフィン変換により各項目の領域を移動させて項目の並べ替えを行う。

［Ｂ−２．第２実施形態の動作］
次に本実施形態の動作について説明する。なお、以下の説明においては、Ｕ／Ｉ部１０７が画像処理装置１００の使用者により操作され、「Ｃ社」という文字列を示す抽出用データが既に記憶部１０５に記憶されている場合を想定する。また、以下の説明においては、画像入力部１０９が図９に例示した文書を読取る場合を想定して動作の説明を行う。また、画像処理装置１００の使用者が文書を画像入力部１０９に載置してから、文書中の図形領域が抽出されるまでの動作は（図１０ステップＳＢ１：ＹＥＳ〜ＳＢ３：ＹＥＳ）、上述した第１実施形態の動作と同様であるため、その説明を省略する。

ＣＰＵ１０２は、
画像データが表す画像から図形領域を抽出することができた場合（ステップＳＢ３：ＹＥＳ）、図形領域内の図形を認識し、抽出された図形領域内に棒グラフがあるか否かを判断する（ステップＳＢ５）。ＣＰＵ１０２は、図形領域内に棒グラフがないと判断した場合（ステップＳＢ５：ＮＯ）、例えば、「読取った文書からは、棒グラフは抽出されませんでした」というメッセージをＵ／Ｉ部１０７の液晶ディスプレイに表示させ、入力された文書から棒グラフを抽出できなかったことを画像処理装置の使用者へ伝える（ステップＳＢ６）。

一方、ＣＰＵ１０２は、図形領域内に棒グラフがあると判断した場合（ステップＳＢ５：ＹＥＳ）、棒グラフ中の個々の棒の領域を認識し、各棒毎に識別子を付与する（ステップＳＢ７）。例えば、図９に例示した文書の場合、各棒毎に三つの領域が認識され、縦軸に近い棒から、「棒１」，「棒２」，「棒３」という識別子が付与される。
次にＣＰＵ１０２は、各項目領域の項目名を認識し（ステップＳＢ８）する。具体的には、ＣＰＵ１０２は、図形領域内の凡例の部分を認識し、凡例の色と、この色に対応付けられている文字列を対応付ける。そして、項目領域毎に、項目領域の色と凡例の色とを比較し、一致する色がある場合には、一致した色に対応付けられている文字列を項目領域の項目名とする。
そして、ＣＰＵ１０２は、認識した各項目領域毎に、項目領域の頂点の座標を求め（ステップＳＢ９）、各棒識別子毎に、棒識別子に対応付けて、項目領域の頂点の座標と、項目領域名とをテーブルＴＢ２に記憶させる（ステップＳＢ１０）。例えば、項目名が「Ａ社」の項目領域の場合、図８に示したように、項目領域名に対応付けて、項目領域の頂点の座標がテーブルＴＢ２に格納される。

次にＣＰＵ１０２は、記憶部１０５に記憶されている抽出用データを読出す（ステップＳＢ１１）。そして、ＣＰＵ１０２は、抽出用データが表す文字列と同じ文字列をテーブルＴＢ２に格納されている項目名の中から検索し、抽出用データが示す文字列と同じ文字列がテーブルＴＢ２に格納されていない場合には（ステップＳＢ１２：ＮＯ）、例えば、「棒グラフには、「Ｃ社」に該当する項目はありませんでした」というメッセージをＵ／Ｉ部１０７の液晶ディスプレイに表示させ、指定された項目が棒グラフ中にない旨を伝える（ステップＳＢ１３）。

一方、ＣＰＵ１０２は、ステップＳＢ１２で「ＹＥＳ」と判断した場合、抽出された項目領域の並べ替えを行う（ステップＳＢ１４）。具体的には、ＣＰＵ１０２は、棒グラフにおいて、横軸（即ち、各棒が表す数量の原点となる線）に接している領域から第１領域、２番目に並べられる領域を第２領域、ｎ番目に並べられる領域を第ｎ領域とした場合、抽出用データが表す文字列と同じ項目名の項目領域（項目名が「Ｃ社」である項目領域）を、例えば、アフィン変換により横軸に接するように第１領域に平行移動させる（図１１（ａ））。そして、ＣＰＵ１０２は、テーブルＴＢ２に格納されている頂点座標を用いて、棒グラフが形成されるように残りの各項目領域を平行移動させる。例えば、図９に例示した文書の場合、ＣＰＵ１０２は、項目名が「Ａ社」である項目領域を、第１領域に接するように平行移動させる（図１１（Ｂ））。次にＣＰＵ１０２は、項目名が「Ｂ社」である項目領域を、第２領域に接するように平行移動させる（図１１（Ｃ））。

ＣＰＵ１０２は、項目領域の平行移動を終了すると、項目領域が並べ替えられた文書の画像を示す画像データを記憶部１０５に記憶させる（ステップＳＢ１５）。次にＣＰＵ１０２は、この画像データに基づいて、画像データが表す画像を印刷するための印刷データを生成する（ステップＳＢ１６）。ＣＰＵ１０２は、この印刷データを印刷部１０８へ供給し、印刷データが表す画像（図１２参照）を印刷用紙に印刷させる（ステップＳＢ１７）。

以上説明したように本実施形態によれば、文書中の棒グラフの項目が認識される。そして、項目の並べ替えが行われ、画像処理装置１００の使用者が注目している項目が、棒グラフ内において予め定められた位置へ移動させられる。このように、使用者の注目している項目が、予め定められた位置へ移動させられて、棒グラフが再構成されるので、画像処理装置１００の使用者は、注目している項目を棒グラフの中から容易に見つけだすことが可能となる。

［Ｃ．変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。

画像処理装置１００において項目の並べ替えが行われるグラフは、上述した実施形態で述べたグラフに限定されるものではない。例えば、棒グラフについては、縦の棒グラフではなく、横の棒グラフであっても項目の並べ替えを行うことができる。また、円グラフではなく、ドーナツ型のグラフについても、項目の並べ替えを行うことができる。要は、項目の数量を面積により表すグラフであれば、項目の数量を表した領域を回転・移動させて、項目の並べ替えを行うことができるため、本発明を適用することができる。

上述した実施形態において、各項目の項目名を認識する方法は、上述した方法に限定されるものではなく、例えば、特開平１−２６６６８９号公報に記載されているように、引き出し線を認識し、この引き出し線に対応する文字列を抽出して、項目名を抽出するようにしてもよい。また、カラー画像の場合には、凡例の部分を認識し、項目毎に色と項目名を対応付け、この対応付けに基づいて、グラフの項目領域の項目名を特定するようにしてもよい。また、項目領域の位置と、グラフ領域内にある文字列の位置を認識し、項目領域に最も近い位置にある文字列を項目名とするようにしてもよい。

上述した実施形態においては、画像処理装置１００は、当該装置の使用者が注目している項目を予め定めた位置へ移動させているが、グラフの項目の並べ替えを行うのではなく、抽出用データが表す文字列と同じ名称の項目の項目領域を、画像処理装置１００の使用者が予め指定した色に変更するようにしてもよい。また、項目領域の色の変換と、項目領域の並べ替えの両方を行ってもよい。このような態様でも、画像処理装置１００の使用者が注目している項目をグラフ中から容易に見つけだすことが可能となる。

上述した実施形態においては、印刷部１０８は画像処理装置１００と一体となっているが、印刷部１０８に替えてプリンタなどの単体の印刷装置を用いて印刷を行うようにしてもよい。また、上述した実施形態においては、画像入力部１０９は画像処理装置１００と一体となっているが、画像入力部１０９に替えてスキャナなどの単体の画像入力装置を用いて文書の読みとりを行うようにしてもよい。
また、上述した実施形態において、記憶部１０５に記憶されている制御プログラムはＲＯＭ１０３に記憶されていてもよい。また、この制御プログラムを、例えばＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等のディスク状の記録媒体に記憶させ、これらの記録媒体から制御プログラムを読出すようにしてもよい。また、ＣＰＵ１０２は、通信部１０６を介して制御プログラムを受信し、受信したプログラムを記憶部１０５に記憶させるようにしてもよい。

上述した実施形態においては、画像入力部１０９で読取られた文書について、グラフの項目の並べ替えが行われているが、ネットワークに接続されたコンピュータ装置が、画像データをネットワークを介して画像処理装置１００へ送信し、画像処理装置１００の通信部１０６がこの画像データを受信し、この受信した画像データが表す文書中のグラフの項目の並べ替えを行うようにしてもよい。

画像中にあるグラフが棒グラフであり、１つの棒が１つの項目を表してる場合、抽出用データが表す文字列と同じ項目名の項目領域の位置を、例えば、グラフ中において縦軸に最も近い位置にある項目領域の位置と入れ替えるように移動させてもよい。このような態様によれば、画像処理装置１００の使用者の注目している項目が、予め定められた位置へ移動させられて、棒グラフが再構成されるので、画像処理装置１００の使用者は、注目している項目を棒グラフの中から容易に見つけだすことが可能となる。

項目領域が並べ替えられる際、画像処理装置１００の使用者が注目している項目の移動先は、上述した位置に限定されるものではない。要は、画像処理装置１００の使用者の注目している項目が、画像処理装置１００の使用者にとって認識しやすい位置に移動されるのであれば、項目領域の移動先は、グラフ領域内の他の位置であってもよい。

上述した実施形態において、ＣＰＵ１０２は、Ｕ／Ｉ部１０７を用いて入力された抽出用データの履歴を取り、抽出用データのうち最も多く入力された抽出用データを用いて、項目領域の並べ替えを行うようにしてもよい。

上述した実施形態において、画像処理装置は、抽出用データと抽出用データの優先順位を示す優先度データとを対応付けて記憶し、抽出用データが表す文字列と同じ項目名の項目領域を認識し、優先順位に従って項目領域を移動させて並べ替えるようにしてもよい。

本発明の実施形態に係わる画像処理装置のハードウェア構成を示すブロック図である。 同実施形態に係わる画像処理装置の記憶部に記憶されているテーブルＴＢ１のフォーマットを例示した図である。 同実施形態の動作を説明するための図である。 同実施形態に係わる画像処理装置のＣＰＵが行う処理の流れを示すフローチャートである。 同実施形態の動作を説明するための図である。 同実施形態の動作を説明するための図である。 同実施形態の動作を説明するための図である。 本発明の第２実施形態に係わるテーブルのフォーマットを例示した図である。 同実施形態の動作を説明するための図である。 本発明の第２実施形態に係わる画像処理装置のＣＰＵが行う処理の流れを示すフローチャートである。 同実施形態の動作を説明するための図である。 同実施形態の動作を説明するための図である。

符号の説明

１００・・・画像処理装置、１０１・・・バス、１０２・・・ＣＰＵ、１０３・・・ＲＯＭ、１０４・・・ＲＡＭ、１０５・・・記憶部、１０６・・・通信部、１０７・・・Ｕ／Ｉ部、１０８・・・印刷部、１０９・・・画像入力部。

Claims (8)

1. 文字列データを記憶する記憶手段と、
   文書を表す画像データを受け取る画像入力手段と、
   図形の面積で項目量を表しているグラフの領域を、前記画像入力手段により受け取られた画像データが表す画像において認識するグラフ領域認識手段と、
   前記グラフ領域認識手段により認識されたグラフ領域において、項目量を表している項目領域を認識する項目領域認識手段と、
   前記グラフ領域認識手段により認識されたグラフ領域に存在する文字列を認識する文字列認識手段と、
   前記項目領域認識手段により認識された項目領域の位置と、前記文字列認識手段により認識された文字列の位置とから、項目領域毎に項目名を表している文字列を特定し、特定した文字列を表す文字列データと項目領域とを対応付けて前記記憶手段に記憶させる項目名特定手段と、
   文字列を表す文字列データを受け取るデータ入力手段と、
   前記データ入力手段により受け取られた文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶手段に記憶されている場合、前記グラフ領域認識手段により認識されたグラフ領域内において項目量の基準点を表している基準線に、該文字列データに対応付けられている項目領域が接するように、前記グラフ領域内にある項目領域を移動させて並べ替える項目領域移動手段と、
   前記項目領域移動手段により項目領域が並び替えられた文書の画像を示す画像データを生成する画像データ生成手段と
   を有する画像処理装置。
2. 前記データ入力手段により受け取られた文字列データ毎に、同じ文字列データを受け取った頻度をもとめ、最も頻度の多い文字列データを抽出する文字列データ抽出手段と、
   前記文字列データ抽出手段により抽出された文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶手段に記憶されている場合、前記グラフ領域認識手段により認識されたグラフ領域内において項目量の基準点を表している基準線に、該文字列データに対応付けられている項目領域が接するように、前記グラフ領域内にある項目領域を移動させて並べ替える第２の項目領域移動手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記データ入力手段は、文字列を表す文字列データと、該文字列データの優先度を表す優先度データとを複数受け取り、
   前記項目領域移動手段は、前記データ入力手段により受け取られた文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶手段に記憶されている場合、該文字列データの優先度に従って前記グラフ領域内にある項目領域を移動させ、前記基準線に、優先度の最も高い文字列データに対応付けられている項目領域が接するように、前記グラフ領域内にある項目領域を並べ替えること
   を特徴とする請求項１に記載の画像処理装置。
4. 文字列データを記憶する記憶手段と、
   文書を表す画像データを受け取る画像入力手段と、
   図形の面積で項目量を表しているグラフの領域を、前記画像入力手段により受け取られた画像データが表す画像において認識するグラフ領域認識手段と、
   前記グラフ領域認識手段により認識されたグラフ領域において、項目量を表している項目領域を認識する項目領域認識手段と、
   前記グラフ領域認識手段により認識されたグラフ領域に存在する文字列を認識する文字列認識手段と、
   前記項目領域認識手段により認識された項目領域の位置と、前記文字列認識手段により認識された文字列の位置とから、項目領域毎に項目名を表している文字列を特定し、特定した文字列を表す文字列データと項目領域とを対応付けて前記記憶手段に記憶させる項目名特定手段と、
   文字列を表す文字列データを受け取る文字列入力手段と、
   前記文字列入力手段により受け取られた文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶手段に記憶されている場合、該文字列データに対応付けられている項目領域内の色を所定の色に変更する色変更手段と、
   前記色変更手段により項目領域の色が変更された文書の画像を示す画像データを生成する画像データ生成手段と
   を有する画像処理装置。
5. 前記文字列入力手段により受け取られた文字列データ毎に、同じ文字列データを受け取った頻度をもとめ、最も頻度の多い文字列データを抽出する文字列データ抽出手段と、
   前記文字列データ抽出手段により抽出された文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶手段に記憶されている場合、該文字列データに対応付けられている項目領域内の色を所定の色に変更する第２の色変更手段と
   を特徴とする請求項４に記載の画像処理装置。
6. コンピュータ装置を、
   文書を表す画像データを受け取る画像入力手段と、
   図形の面積で項目量を表しているグラフの領域を、前記画像入力手段により受け取られた画像データが表す画像において認識するグラフ領域認識手段と、
   前記グラフ領域認識手段により認識されたグラフ領域において、項目量を表している項目領域を認識する項目領域認識手段と、
   前記グラフ領域認識手段により認識されたグラフ領域に存在する文字列を認識する文字列認識手段と、
   前記項目領域認識手段により認識された項目領域の位置と、前記文字列認識手段により認識された文字列の位置とから、項目領域毎に項目名を表している文字列を特定し、特定した文字列を表す文字列データと項目領域とを対応付けて前記記憶手段に記憶させる項目名特定手段と、
   文字列を表す文字列データを受け取るデータ入力手段と、
   前記データ入力手段により受け取られた文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶部に記憶されている場合、前記グラフ領域認識手段により認識されたグラフ領域内において項目量の基準点を表している基準線に、該文字列データに対応付けられている項目領域が接するように、前記グラフ領域内にある項目領域を移動させて並べ替える項目領域移動手段と、
   前記項目領域移動手段により項目領域が並び替えられた文書の画像を示す画像データを生成する画像データ生成手段
   として機能させるためのプログラム。
7. コンピュータ装置を、
   文書を表す画像データを受け取る画像入力手段と、
   図形の面積で項目量を表しているグラフの領域を、前記画像入力手段により受け取られた画像データが表す画像において認識するグラフ領域認識手段と、
   前記グラフ領域認識手段により認識されたグラフ領域において、項目量を表している項目領域を認識する項目領域認識手段と、
   前記グラフ領域認識手段により認識されたグラフ領域に存在する文字列を認識する文字列認識手段と、
   前記項目領域認識手段により認識された項目領域の位置と、前記文字列認識手段により認識された文字列の位置とから、項目領域毎に項目名を表している文字列を特定し、特定した文字列を表す文字列データと項目領域とを対応付けて前記記憶手段に記憶させる項目名特定手段と、
   文字列を表す文字列データを受け取る文字列入力手段と、
   前記文字列入力手段により受け取られた文字列データが表している文字列と同じ文字列を表している文字列データが前記記憶部に記憶されている場合、該文字列データに対応付けられている項目領域内の色を所定の色に変更する色変更手段と、
   前記色変更手段により項目領域の色が変更された文書の画像を示す画像データを生成する画像データ生成手段
   として機能させるためのプログラム。
8. 請求項６または請求項７に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。

Images