JP2005196659A - 画像処理装置、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 文書を示す画像のスキュー補正を行う際、文書に係わる領域を欠落させることなく、画像を補正する。
【解決手段】 画像処理装置は、画像入力部１により文書を読み取り、画像データを生成する。画像処理装置は、生成した画像データが示す画像から、文書を示す領域を検知し、画像中における該領域の原点からの移動量を求める。また画像処理装置は、該画像のスキュー角度を検知し、該スキュー角度から該画像のスキューを補正する角度を求める。画像処理装置は、求めたスキュー角度と移動量とに基づいて、画像データが示す画像を回転および移動させ、回転および移動後の画像を示す補正画像データを生成する。
【選択図】 図１

Description

本発明は、文書を示す画像の傾きを検知し、その傾きを補正する技術に関する。

文書をイメージスキャナで読み取った際に得られる画像データや、ファクシミリ装置が受信する画像データを解析し、画像中の文字が記されている領域に対して文字認識処理を施し、画像として読み取った文書から文章を抽出する技術が知られている。この技術においては、読み取った画像に傾きが無いこと、すなわちスキューが無いことが、元の文章を正確に抽出するための前提としてあり、読み取った画像にスキューがある場合には、スキューを補正する必要がある。従来、このスキューを補正する技術として、例えば、特許文献１や特許文献２に記載されている技術が知られている。

特許文献１に記載されている文書傾き補正装置は、まず、角度を順次変えて２値画像を回転させ、回転させた画像に外接する矩形を作成する。次に、この文書傾き補正装置は、この矩形の面積が最小となる角度を画像のスキュー角度とし、このスキュー角度に基づいて画像の傾きを補正する。

特許文献２に記載されている画像処理装置は、まず、画像を示す画素の連結性を調べながら矩形領域を設定し、画像内で矩形領域の存在する範囲を想定しながら、この範囲内で矩形領域の端点の座標値を所定方向に射影し、射影のヒストグラムを求める。次に、この画像処理装置は、この射影のヒストグラムが最大となる角度をスキュー角度として検知し、検知したスキュー角度に基づいて画像の傾きを補正する。
特開平２−１７０２８０号公報 特開平６−２０３２０２号公報

さて、画像を回転させてスキューを補正する場合、ある位置を画像の回転中心として定め、画像を回転させるが、回転の中心位置によって以下に述べる不具合が生じ得る。例えば、図２４に示したように、イメージスキャナのプラテンガラス上に斜めに載置された文書をスキャンした場合、図において点線で示した領域が画像の読み取り範囲であるとすると、スキャンにより得られる画像は、図２５に示したようになる。この画像中に示されている文書のスキューを補正するために、例えば、画像領域の左上の端点Ｐ１を中心として画像を回転させた場合、補正後の画像は、図２６に例示したようになる。この際、図２６に示したように、読み取った文書の一部が図中の点線で示された画像領域外に移動してしまい、文書の一部が欠落してしまうこととなる。また、画像領域の右下の端点Ｐ２を中心として画像を回転させたとしても、補正後の画像は、図２７に例示したようになり、読み取った文書の一部が図中の実線で示された画像領域外に移動してしまい、文書の一部が欠落してしまうこととなる。

このような問題に対して、特許文献１や特許文献２には、スキューを補正する技術が記載されているが、いずれもスキューの補正に止まるものであるため、読み取った文書の一部がスキュー補正時に欠落してしまうという問題を解決することはできない。

本発明は、上述した課題を解決するためになされたものであり、画像のスキュー補正を行う際、文書に係わる領域を欠落させることなく、画像を補正する技術を提供することを目的とする。

上述した課題を解決するために本発明は、画像データを受け取る入力手段と、前記入力手段が受け取った画像データが示す画像から、文書を示す領域を検知し、前記画像の基準点と、検知した領域の基準点とを一致させる場合の画像の移動量を求める情報位置検知手段と、前記入力手段が受け取った画像データが示す画像から、該画像の傾き角度を検知し、該画像の傾きを補正する角度を求めるスキュー角検知手段と、前記スキュー角検知手段が求めたスキュー角度と、前記情報位置検知手段が求めた移動量とに基づいて、前記画像データが示す画像を回転および移動させ、回転および移動後の画像を示す補正画像データを生成する画像補正手段とを有する画像処理装置を提供する。
また、本発明は、コンピュータ装置を、画像データを受け取る入力手段と、前記入力手段が受け取った画像データが示す画像から、文書を示す領域を検知し、前記画像の基準点と、検知した領域の基準点とを一致させる場合の画像の移動量を求める情報位置検知手段と、前記入力手段が受け取った画像データが示す画像から、該画像の傾き角度を検知し、該画像の傾きを補正する角度を求めるスキュー角検知手段と、前記スキュー角検知手段が求めたスキュー角度と、前記情報位置検知手段が求めた移動量とに基づいて、前記画像データが示す画像を回転および移動させ、回転および移動後の画像を示す補正画像データを生成する画像補正手段として機能させるためのプログラムと、該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
本発明によれば、文書を示す画像領域が、受け取った画像データが示す画像中から検知される。文書を示す領域が検知されると、画像データが示す画像の傾き角度が検知され、傾きを補正するためのスキュー角度が求められる。また、検知した領域の画像中における原点からの移動量が求められ、求められた移動量とスキュー角度とに基づいて、画像データが示す画像が補正される。

また本発明は、画像データを受け取る入力手段と、前記入力手段が受け取った画像データが示す画像から、オブジェクトを示す領域を検知し、検知した全ての領域を包含する図形を生成する包含図形生成部と、前記包含図形生成部が生成した図形の基準点と、前記画像の基準点とを一致させる場合の画像の移動量を求めるオブジェクト位置検知手段と、前記入力手段が受け取った画像データが示す画像から、該画像の傾き角度を検知し、該画像の傾きを補正する角度を求めるスキュー角検知手段と、前記スキュー角検知手段が求めたスキュー角度と、前記オブジェクト位置検知手段が求めた移動量とに基づいて、前記画像データが示す画像を回転および移動させ、回転および移動後の画像を示す補正画像データを生成する画像補正手段とを有する画像処理装置を提供する。
また本発明は、コンピュータ装置を、画像データを受け取る入力手段と、前記入力手段が受け取った画像データが示す画像から、オブジェクトを示す領域を検知し、検知した全ての領域を包含する図形を生成する包含図形生成手段と、前記包含図形生成手段により生成された図形の基準点と、前記画像の基準点とを一致させる場合の画像の移動量を求めるオブジェクト位置検知手段と、前記入力手段が受け取った画像データが示す画像から、該画像の傾き角度を検知し、該画像の傾きを補正する角度を求めるスキュー角検知手段と、前記スキュー角検知手段が求めたスキュー角度と、前記オブジェクト位置検知手段が求めた移動量とに基づいて、前記画像データが示す画像を回転および移動させ、回転および移動後の画像を示す補正画像データを生成する画像補正手段として機能させるプログラムと、該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
本発明によれば、文字、写真、図形、絵などのオブジェクトを示す画像領域が、受け取った画像データが示す画像中から検知される。オブジェクトを示す領域が検知されると、画像データが示す画像の傾き角度が検知され、傾きを補正するためのスキュー角度が求められる。また、検知した領域の画像中における原点からの移動量が求められ、求められた移動量とスキュー角度とに基づいて、画像データが示す画像が補正される。

本発明によれば、画像のスキュー補正を行う際、文書に係わる領域を欠落させることなく、画像を補正することができる。

以下、図面を参照し、本発明の実施の形態について説明する。

［１．第１実施形態］
＜全体構成＞
図１は、本発明の実施形態に係わる画像処理装置の全体構成を例示するブロック図である。図１に示したように、画像処理装置の各部は、バス９に接続されており、このバス９を介して各部間でデータの授受を行う。

演算制御部３は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、画像処理装置の各部を制御する制御プログラムを記憶しているＲＯＭ（Read Only Memory）などを具備している（いずれも図示略）。ＣＰＵは、図示を省略した電源から電力が供給されると、ＲＯＭから制御プログラムを読み出して実行し、ＲＡＭを作業エリアとして画像処理装置の各部の制御を行う。

画像入力部１は、例えば、イメージスキャナを具備しており、演算制御部３の制御の下、イメージスキャナのプラテンガラス上に載置された文書をＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）およびＢ（Ｂｌｕｅ）の色成分毎に読み取る。画像入力部１は、文書を読み取ると、読み取った文書を示すデータであって、個々の画素において各色成分毎に複数ビットで濃淡を表した画像データ（以下、ＲＧＢ画像データと称する）を生成する。なお、画像入力部１のイメージスキャナは、文書をプラテンガラスに押圧する原稿抑え部の色がグレーとなっている。このため、図２に例示したように、文書がプラテンガラス上に載置されると、図３に例示したように文書以外の部分の色がグレーのＲＧＢ画像データが生成される。

データ記憶部２は、例えば、データを永続的に記憶するハードディスク装置を有しており、演算制御部３の制御の下、画像入力部１が生成したＲＧＢ画像データや、階調補正部４、スキュー補正部５、色信号変換部６などにおいて画像処理が行われた画像データなどを記憶する。階調補正部４は、画像入力部１が具備するイメージスキャナの装置特性を考慮し、データ記憶部２に記憶されたＲＧＢ画像データが示す画像の階調を、各種画像処理を行うのに適した階調に補正する。スキュー補正部５は、バス９を介してデータ記憶部２から供給されるＲＧＢ画像データが示す画像に対してスキューを補正する処理を行い、スキュー補正後の画像を示す画像データを生成する。スキュー補正部５の詳細については、後に説明する。

画像表示部７は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ装置や液晶ディスプレイ装置などのディスプレイ装置を有しており、演算制御部３の制御の下、データ記憶部２に記憶されている画像データに従って、画像データが示す画像を表示する。
色信号変換部６は、紙に印刷行う際に用いる画像データを生成するものである。具体的には、ＲＧＢ画像データが示すカラー画像を、カラー印刷におけるインクの基本色である、Ｙ（Ｙｅｌｌｏｗ）、Ｍ（Ｍａｇｅｎｔａ）、Ｃ（Ｃｙａｎ）、Ｋ（黒版／Ｂｌａｃｋ）の色成分を用いて表す画像データ（以下、ＹＭＣＫ画像データと称する）に変換する。
画像出力部８は、例えば、印刷用紙に文字や画像を印刷する印刷機構を有しており、演算制御部３の制御の下、色信号変換部６が生成したＹＭＣＫ画像データに従って、ＹＭＣＫ画像データが示す画像を印刷する。

＜スキュー補正部５の構成＞
次に、スキュー補正部５の構成について、図４を用いて説明する。図４に示したように、スキュー補正部５は、原稿領域境界検出部１００と、原稿領域移動方向量算出部１０１と、スキュー角検知部１０２と、画像補正部１０３とを具備している。スキュー補正部５には、データ記憶部２に記憶されているＲＧＢ画像データが入力され、入力されたＲＧＢ画像データは、原稿領域境界検出部１００と、スキュー角検知部１０２と、画像補正部１０３とに供給される。

原稿領域境界検出部１００は、ＲＧＢ画像データが示す画像において紙面を示す領域の検知を行う。ＲＧＢ画像データが示す画像は、図２に例示したように、文書が斜めに載置された状態で文書の読み取りが行われると、図３に例示したように紙面以外の部分の画素がグレーとなる。原稿領域境界検出部１００は、ＲＧＢ画像データが入力されると、画素を順次走査し、画素がグレーから紙面の色に変化する部分を検知し、検知した部分を、紙面と紙面でない部分との境界とする。原稿領域境界検出部１００は、境界を検知すると、図５に示したように、境界外に位置する画素（即ち、グレーの領域を示す画素）を白、その他の部分の画素（即ち、紙面の領域を示す画素）を黒とした、２値の原稿領域画像データを生成する。原稿領域境界検出部１００は、生成した原稿領域画像データを原稿領域移動方向量算出部１０１へ供給する。なお、本実施例では、文書をプラテンガラスに押圧する原稿抑え部の色をグレーとし、画素の色がグレーから載置された文書の紙面の色に変化する部分を原稿領域の境界として検知しているが、原稿領域の境界を求める方法は、これに限定されるものではない。例えば、原稿抑え部と文書の紙面の色が同じ場合に文書を読取ると、読取った画像において紙面の領域と原稿抑え部との境が筋として読取られるが、この筋を検知して、紙面と紙面でない部分との境界とし、２値の原稿領域画像データを生成するようにしてもよい。

原稿領域移動方向量算出部１０１は、原稿領域画像データが示す画像において、図５に例示したようにｘ−ｙ座標を設定し、紙面の領域が、画像中のどの位置にあるか検知する。原稿領域画像データにおいては、紙面の領域が黒画素で示されているので、まず、紙面の領域を抽出し、紙面の頂点の座標を求める。なお、原稿領域画像データが示す画像において頂点がない場合には、紙面の領域を示す辺を基に頂点を求め、求めた頂点の座標を求める。原稿領域移動方向量算出部１０１は、求めた座標のうち、紙面の領域の原点、即ち、画像の原点に最も近い座標（ｘ１，ｙ１）を移動方向量データとして、画像補正部１０３へ出力する。

スキュー角検知部１０２は、入力されたＲＧＢ画像データから、ＲＧＢ画像データが示す画像のスキュー角度を検知し、画像を回転させてスキューを補正する際の回転角度を求める。例えば、ＲＧＢ画像データが示す文書のスキュー角度が−θであったとすると、文書のスキューをなくすためには、＋θだけ画像を回転させればよいので、スキュー角検知部１０２は、スキュー角度の符号を逆にした角度を、スキューを補正するための回転角度とする。スキュー角検知部１０２は、この回転角度を示すスキュー角度データを画像補正部１０３へ出力する。

画像補正部１０３は、図６に示したように、画像移動部３００と画像回転部３０１とを具備しており、ＲＧＢ画像データが示す文書の傾きおよび位置の補正を行う。
画像移動部３００には、ＲＧＢ画像データと移動方向量データとが入力される。画像移動部３００は、これらのデータが入力されると、ＲＧＢ画像データが示す画像において、移動方向量データが示す座標（ｘ１，ｙ１）の画素が、座標の原点（０，０）に位置するように画像を平行移動させ、移動後の画像を示す画像データを画像回転部３０１に供給する。
画像回転部３０１は、画像移動部３００から画像データが供給されると、この画像データが示す画像を、座標の原点を中心とし、スキュー角度データが示す角度に基づいて回転させる。画像回転部３０１は、画像の回転処理が終了すると、回転後の画像を示す補正画像データを生成する。

＜動作＞
次に、図７を参照し、画像処理装置がスキュー補正処理を行う際の動作について説明する。

画像処理装置の使用者が、図示を省略したキーを操作して、画像入力部１に載置された文書の読み取りを指示する旨の操作を行うと、演算制御部３は図７に示した処理を行う。
まず、演算制御部３は画像入力部１を制御し、載置された文書をＲＧＢの色成分毎に読み取らせる。画像入力部１が具備するイメージスキャナに図２に例示したように文書が載置された場合、画像入力部１は、文書の読み取りが終了すると、図３に例示した画像を示すＲＧＢ画像データを生成する。演算制御部３は、画像入力部１にて生成された、ＲＧＢ画像データを、データ記憶部２に記憶させる（ステップＳ１００）。

演算制御部３は、ＲＧＢ画像データをデータ記憶部２に記憶させると、このＲＧＢ画像データを、階調補正部４に供給する。階調補正部４は、ＲＧＢ画像データが供給されると、供給されたＲＧＢ画像データに対して階調補正処理を行い、ＲＧＢ画像データの階調を補正する（ステップＳ１０１）。階調補正部４において、ＲＧＢ画像データの階調補正が終了すると、演算制御部３の制御の下、階調補正されたＲＧＢ画像データがデータ記憶部２に記憶される。この後、演算制御部３は、階調補正処理がされたＲＧＢ画像データをスキュー補正部５に供給する（ステップＳ１０２）。スキュー補正部５に供給されたＲＧＢ画像データは、原稿領域境界検出部１００と、スキュー角検知部１０２と、画像補正部１０３に入力される。

スキュー角検知部１０２においては、入力されたＲＧＢ画像データが示す画像のスキューを補正するの必要な角度が求められ、この角度を示すスキュー角度データが画像補正部１０３へ出力される。原稿領域境界検出部１００は、図３に例示した画像を示すＲＧＢ画像データが入力されると、グレーの画素と白の画素とから、紙面と紙面でない部分との境界部分を検知し、図５に例示したように、検知した境界内に位置する画素の値を黒、その他の部分に位置する画素を白とした、原稿領域画像データを生成する。この原稿領域画像データは、原稿領域移動方向量算出部１０１に供給される。

原稿領域移動方向量算出部１０１は、原稿領域画像データが供給されると、このデータから紙面の領域を抽出し、図８に示したように紙面の頂点の座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）を求める。原稿領域移動方向量算出部１０１は、紙面の頂点を求めると、求めた座標のうち、原点に最も近い座標（ｘ１，ｙ１）を移動方向量データとして画像補正部１０３へ供給する。

画像補正部１０３の画像移動部３００は、ＲＧＢ画像データと移動方向量データとが入力されると、移動方向量データが示す座標（ｘ１，ｙ１）の画素が、座標の原点（０，０）に位置するように、即ち、ｘ軸方向に（−ｘ１）、ｙ軸方向に（−ｙ１）だけ画像を平行移動させ、図９に示した、移動後の画像を示す画像データを画像回転部３０１に供給する。画像回転部３０１は、画像移動部３００から供給された画像データが示す画像を、座標の原点を中心とし、入力されたスキュー角度データが示す角度に基づいて回転させる。画像回転部３０１は、画像の回転が終了すると、図１０に示した、回転後の画像を示すスキュー補正画像データを生成する。この補正画像データは、演算制御部３の制御の下、データ記憶部２に記憶される（ステップＳ１０３）。

以上説明したように本実施形態によれば、画像の回転と移動とを行うことにより、文書を示す画像のスキュー補正を行う際、文書に係わる領域を欠落させることなく、画像が補正される。

［２．第２実施形態］
次に本発明の第２実施形態について説明する。本発明の第２実施形態は、スキュー補正部５の構成と、画像補正部１０３の構成が第１実施形態と異なる。なお、他の部分の構成は、第１実施形態と同じであるため、第１実施形態と同じ部分については、同じ符号を付し、その説明を省略する。

＜スキュー補正部５Ａの構成＞
図１１は、本発明の第２実施形態に係わるスキュー補正部５Ａの構成を例示するブロック図である。図１１に示したように、スキュー補正部５Ａにおいては、スキュー角検知部１０２から出力されるスキュー角度データが、画像補正部１０３Ａに供給されると共に、原稿領域移動方向量算出部１０１Ａにも供給される。

原稿領域移動方向量算出部１０１Ａは、まず、第１実施形態の原稿領域移動方向量算出部１０１と同様に、紙面の領域を抽出した後、紙面の頂点の座標を求め、図８に示したように、求めた座標のうち原点に最も近い頂点の座標（ｘ１，ｙ１）を求める。次に原稿領域移動方向量算出部１０１Ａは、座標（ｘ１，ｙ１）に位置する画素を、原点を中心として、スキュー角度データが示す角度に基づいて回転させた時の座標（ｘ１'，ｙ１'）を求める。ｘ−ｙ座標系において座標が（ｐ，ｑ）である画素を角度θで回転させる場合、回転後の画素の座標（ｐ'，ｑ'）は、以下の式で表される。

原稿領域移動方向量算出部１０１Ａは、スキュー角度データが示す角度と、座標（ｘ１，ｙ１）とを上記式に代入して、座標（ｘ１'，ｙ１'）を求める。原稿領域移動方向量算出部１０１Ａは座標（ｘ１'，ｙ１'）を求めると、この座標を示すデータを移動方向量データとして、画像補正部１０３Ａへ供給する。

＜画像補正部１０３Ａの構成＞
次に、図１２を用いて、本発明の第２実施形態に係わる画像補正部１０３Ａについて説明する。図１２に示したように、画像補正部１０３Ａに供給されたＲＧＢ画像データと、スキュー角度データは、画像回転部３０１Ａに入力される。画像回転部３０１Ａは、入力されるＲＧＢ画像データが示す画像を、座標の原点を中心とし、入力されるスキュー角度データが示す角度に基づいて回転させる。具体的には、画像回転部３０１Ａは、図３に示した画像を示すＲＧＢ画像データが入力されると、画像のスキューを補正し、図１３に示した、スキュー補正後の画像を示すスキュー補正画像データを画像移動部３００Ａへ供給する。

画像移動部３００Ａは、供給される移動方向量データを用いて、スキュー補正画像データが示す画像を移動させる。具体的には、ＲＧＢ画像データと移動方向量データとが入力されると、移動方向量データが示す座標（ｘ１'，ｙ１'）の画素が、座標の原点（０，０）に位置するように、即ち、ｘ軸方向に（−ｘ１'）、ｙ軸方向に（−ｙ１'）だけ画像を平行移動させ、移動後の画像を示す補正ＲＧＢ画像データを出力する。例えば、図１３に示した画像を示すスキュー補正画像データが供給されると、図１０に示した画像を示す補正ＲＧＢ画像データを出力する。

以上説明したように画像を回転させた後、回転後の画像を移動させても、文書に係わる領域を欠落させることなく、画像のスキューを補正することができる。

［３．第３実施形態］
次に本発明の第３実施形態について説明する。本発明の第３実施形態は、スキュー補正部５の構成と画像補正部１０３の構成が第１実施形態と異なる。なお、他の部分の構成は、第１実施形態と同じであるため、第１実施形態と同じ部分については、同じ符号を付し、その説明を省略する。

＜スキュー補正部５Ｂの構成＞
図１４は、本発明の第３実施形態に係わるスキュー補正部５Ｂの構成を例示するブロック図である。図１４に示したように、スキュー補正部５Ｂは、原稿領域境界検出部１００と、原稿領域移動方向量算出部１０１Ｂと、スキュー角検知部１０２と、回転中心位置決定部１０４とを有している。

原稿領域境界検出部１００は、原稿領域画像データを生成し、生成したデータを原稿領域移動方向量算出部１０１Ｂへ供給する。また原稿領域境界検出部１００は、生成した原稿領域画像データを回転中心位置決定部１０４へ供給する。

原稿領域移動方向量算出部１０１Ｂは、原稿領域画像データが供給されると、このデータから紙面の領域を抽出し、図８に示したように紙面の頂点の座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）を求める。原稿領域移動方向量算出部１０１は、紙面の頂点を求めると、求めた座標のうち、紙面の領域の原点、即ち、原点に最も近い座標（ｘ１，ｙ１）を示す移動方向量データを画像補正部１０３Ｂと、回転中心位置決定部１０４とへ供給する。

回転中心位置決定部１０４は、画像補正部１０３Ｂにおいて画像を回転させる際の回転中心となる座標を求めるものであり、例えば、移動方向量データが示す座標、即ち（ｘ１，ｙ１）を回転中心座標とする。回転中心位置決定部１０４は、この回転中心座標を示す回転中心位置データを、画像補正部１０３Ｂへ供給する。なお、回転中心となる座標は、移動方向量データが示す座標に限定されるものではない。

＜画像補正部１０３Ｂの構成＞
図１５は、本発明の第３実施形態に係わる画像補正部１０３Ｂの構成を例示するブロック図である。図１５に示したように画像補正部１０３Ｂは、画像移動部３００Ｂと、画像回転部３０１Ｂとを有している。

画像回転部３０１Ｂには、ＲＧＢ画像データと、スキュー角度データおよび回転中心位置データが入力される。画像回転部３０１Ｂは、スキュー角度データが示す角度を基に、回転中心位置データが示す座標を中心にして、入力されるＲＧＢ画像データが示す画像を回転させる。画像回転部３０１Ａは、画像を回転させ、紙面を示す領域の傾きを補正すると、補正後の画像を示すスキュー補正画像データを画像移動部３００Ｂへ供給する。例えば、図３に示した画像を示すＲＧＢ画像データが供給されると、図１６に示した画像を示すスキュー補正画像データを出力する。

画像移動部３００Ｂには、スキュー補正画像データと移動方向量データとが入力される。画像移動部３００Ｂは、これらのデータが入力されると、スキュー補正画像データが示す画像において、移動方向量データが示す座標（ｘ１，ｙ１）の画素が、座標の原点（０，０）に位置するように画像を平行移動させ、移動後の画像を示す補正画像データを出力する。具体的には、図１０に示した画像を示すスキュー補正画像データが供給されると、図１０に示した画像を示す補正ＲＧＢ画像データを出力する。

以上説明したように、座標の原点を中心とせずに画像を回転させ、回転後の画像を移動させても、文書に係わる領域を欠落させることなく、画像のスキューを補正することができる。

［４．第４実施形態］
次に本発明の第４実施形態について説明する。本発明の第４実施形態は、図１７に示したように、画像補正部１０３の構成が第１実施形態と異なる。なお、他の部分の構成は、第１実施形態と同じであるため、第１実施形態と同じ部分については、同じ符号を付し、その説明を省略する。

第４実施形態に係わる画像補正部１０３Ｅは、回転移動係数算出部３０２と、画像回転移動部３０３とを有している。回転移動係数算出部３０２は、アフィン変換によりＲＧＢ画像データが示す画像を回転・移動させる際に必要となる係数を算出する。
ここで、アフィン変換について説明する。ｘ−ｙ座標系において座標が（ｘ，ｙ）である画素を角度θで回転させ、回転移動後の画素をｘ軸方向にａ、ｙ軸方向にｂだけ平行移動させる場合、移動後の画素の座標（ｘ'、ｙ'）は以下の式で表される。

即ち、画像を回転させるための回転係数（行列Ａ）と、画像を平行移動させるための移動係数（行列Ｂ）とが求まると、回転および移動させた後の画素の座標が求められる。画像移動係数算出部３０２は、この移動係数と回転係数とを求める。

具体的には、回転移動係数算出部３０２は、原稿領域移動方向量算出部１０１が検知した紙面の領域の４つの頂点の座標のうち、原点に最も近い頂点の座標（ｘ１，ｙ１）をまず求める。画像回転移動部３０３は、この求めた座標で特定される画素を原点の位置まで移動させる処理、即ち、ｘ軸方向に−ｘ１、ｙ軸方向に−ｙ１だけ画像を平行移動させる処理を行うので、回転移動係数算出部３０２は、（−ｘ１，−ｙ１）を、画像を平行移動させるための移動係数として画像回転移動部３０３へ供給する。また、回転移動係数算出部３０２は、入力されたスキュー角度データを用いて回転係数（ｃｏｓθ，−ｓｉｎθ，ｓｉｎθ、ｃｏｓθ）を求め、求めた係数を、画像を回転させるための回転係数として画像回転移動部３０３へ供給する。画像回転移動部３０３は、供給された回転係数と移動係数とを用い、ＲＧＢ画像データが示す画像を、アフィン変換により回転および移動させ、移動後の画像を示す補正画像データを生成し出力する。このような態様によれば、画像の移動処理と画像の回転処理とが同時に行われるので、第１実施形態のように画像の移動と回転とが別々に行われる場合と比較して、処理速度の面と画像処理に使用するメモリの面からみて効率の良い画像補正を行うことが可能となる。

［５．第５実施形態］
次に本発明の第５実施形態について説明する。図１８に示したように、本発明の第５実施形態は、スキュー補正部５の構成が第１実施形態と異なる。なお、他の部分の構成は、第１実施形態と同じであるため、第１実施形態と同じ部分については、同じ符号を付し、その説明を省略する。

＜スキュー補正部５Ｃの構成＞
まずスキュー補正部５Ｃの構成について説明する。スキュー補正部５Ｃは、図１８に例示したように、情報領域検出部１０５と、情報領域位置情報算出部１０６と、スキュー角検知部１０２と、画像補正部１０３Ｃとを具備している。

情報領域検出部１０５は、図１９に示したように、２値化部２００と、ラベリング部２０１と、ノイズ除去部２０２と、包含外接矩形生成部２０３とを有している。
２値化部２００は、入力されるＲＧＢ画像データに対して２値化処理を行い、２値画像データを生成する。２値化部２００は、生成した２値画像データをラベリング部２０１へ供給する。ラベリング部２０１は、供給された２値画像データが示す画像において、黒画素が連結している領域を検知する。これにより、画像中に含まれている文字、写真、図形、絵など（以下、これらの要素をオブジェクト称する）が検知される。ラベリング部２０１は、黒画素が連結している領域を検知すると、検知した領域毎に、領域を一意に識別するラベル番号を付加し、ラベル番号が付加されたラベル付き２値画像データをノイズ除去部２０２へ供給する。

ノイズ除去部２０２は、ラベル付き２値画像データにおいてノイズに相当する画素を除去する処理を行う。具体的には、ノイズ除去部２０２は、ラベル付き２値画像データに付加されたラベル番号に従って順次ラベル番号で特定される領域の画素を抽出し、抽出した画素数が予め定めた数より少ない場合には、この領域内の黒画素はノイズであると判断する。ノイズ除去部２０２は、ノイズであると判断すると、この領域に付加されたラベル番号を削除する。これにより、画像入力部１において文書を読み取る際、文書と共にプラテンガラス上の汚れや、文書の汚れが読み取られるが、この汚れに相当する画素がノイズとして除去される。ノイズ除去部２０２は、全ての領域についてノイズか否かの判断を終了すると、ノイズ除去の処理が施された２値画像データを包含外接矩形生成部２０３へ供給する。

包含外接矩形生成部２０３は、図２０に例示したように、供給された２値画像データにおいてラベルが付加されている領域を包含する外接矩形を生成し、生成した矩形を示す矩形データを情報領域位置情報算出部１０６へ供給する。なお、包含外接矩形生成部２０３は、供給された２値画像データにおいてラベルが付加されている領域を包含する図形であれば、上記外接矩形に限定されるものでなく、他の図形を生成し、この図形を示すデータを情報領域位置情報算出部１０６へ供給するようにしてもよい。

情報領域位置情報算出部１０６は、供給された矩形データが示す矩形の４つの頂点を検知し、検知した頂点のうち、原点に最も近い頂点の座標を求める。情報領域位置情報算出部１０６は、矩形の原点、即ち、原点に最も近い頂点の座標（ｘ，ｙ）を求めると、求めた座標を示す移動方向量データを画像補正部１０３Ｃへ供給する。なお、ラベルが付加されている領域を包含する外接矩形を生成する際に、スキュー角検知部１０２にて求めたスキュー角度データを用いてもよい。即ち、生成する外接矩形の辺の傾き方向を、スキュー角度データが示す角度およびその直角方向とする。また、情報領域位置情報算出部１０６は、移動方向量データを生成する際に、図１８において点線で示したように、スキュー角検知部１０２にて求めたスキュー角度データを用いてもよい。

＜画像補正部１０３Ｃの構成＞
次に、画像補正部１０３Ｃについて説明する。画像補正部１０３Ｃに入力された、ＲＧＢ画像データと移動方向量データは、画像移動部３００に入力される。
画像移動部３００は、これらのデータが入力されると、ＲＧＢ画像データが示す画像において、移動方向量データが示す座標（ｘ，ｙ）の画素が、座標の原点（０，０）に位置するように画像を平行移動させ、移動後の画像を示す画像データを画像回転部３０１に供給する。画像回転部３０１は、画像移動部３００から画像データが供給されると、この画像データが示す画像を、座標の原点を中心とし、スキュー角度データが示す角度に基づいて回転させる。画像回転部３０１は、画像の回転処理が終了すると、回転後の画像を示す補正ＲＧＢ画像データを生成する。

以上説明したように本実施形態においては、情報領域検出部１０５において、画像中のノイズが除外され、画像中の紙面の領域ではなく、画像中に含まれている文字、写真、図形、絵などのオブジェクトが検知される。そして、このオブジェクトを含む領域を基準として画像の補正が行われるので、紙面の一部にのみ文字や図形がある場合、オブジェクトがある領域が、画像の中央や上部等、予め定めた位置に移動されて補正されるので、補正後の文書が見やすくなると行った効果を得ることができる。

［６．変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。

（変形例１）
上述した第３実施形態の画像補正部１０３Ｂにおいては、画像回転部３０１Ｂにて画像を回転させた後、回転させた画像を移動させていたが、画像を移動させた後、画像を回転させるようにしてもよい。図２１は、この変形例に係わる画像補正部１０３Ｄの構成を例示するブロック図である。図２１に示したように、画像移動部３００ＤにはＲＧＢ画像データと移動方向量データが、画像回転部３０１Ｄにはスキュー角度データと回転中心位置データが入力される。なお、この変形例においては、回転中心位置データは、座標の原点を示すデータとなる。

画像移動部３００Ｄは、ＲＧＢ画像データと移動方向量データとが入力されると、移動方向量データが示す座標がｘ−ｙ座標の原点に位置するように画像を平行移動させ、移動後の画像を示す画像データを画像回転部３０１Ｄに供給する。画像回転部３０１Ｄは、画像移動部３００Ｄから画像データが供給されると、この画像データが示す画像を、回転中心位置データが示す座標、即ち、原点（０，０）を中心とし、スキュー角度データが示す角度に基づいて回転させる。画像回転部３０１Ｄは、画像の回転が終了すると、回転後の画像を示す補正画像データを生成し出力する。このように、画像を移動させた後、移動後の画像を回転させても、読み取った画像を欠落させることなく、画像の傾きおよび位置を補正することができる。

（変形例２）
上述した第４実施形態においては、座標の原点を画像の回転中心とし、スキュー角度データと移動方向量データとから、移動係数と回転係数とを求めて画像の補正を行っているが、第３実施形態のように回転中心位置を求め、図２２に示したように、スキュー角度データと、移動方向量データと、回転中心位置データとから回転係数と移動係数とを求めて画像の補正を行うようにしてもよい。

座標が（ｘ，ｙ）である画素を、任意の座標（ｍ，ｎ）中心とし、角度θで画像を回転させ、この後、ｘ軸方向にａ、ｙ軸方向にｂだけ画像を平行移動させる場合、移動後の画素の座標（ｘ'、ｙ'）は以下の式で表される。

回転移動係数算出部３０２では、以下に示す行列Ａを回転係数、行列Ｂを移動係数として、画像回転移動部３０３へ供給する。

このような態様によれば、座標の原点を中心としない場合でも、画像の移動処理と画像の回転処理とが同時に行われるので、第１実施形態のように画像の移動と回転とが別々に行われる場合と比較して、効率よく画像の補正を行うことが可能となる。

（変形例３）
上述した第１実施形態においては、スキュー角検知部１０２は、ＲＧＢ画像データから画像中の文書の傾き角度を検知しているが、原稿領域境界検出部１００が生成する原稿領域画像データをスキュー角検知部１０２へ供給し、原稿領域画像データが示す画像から、画像中の文書の傾きを検知してもよい。

（変形例４）
上述した実施形態においては、スキュー補正部５により、画像の回転と移動が行われているが、スキュー補正部５が行う処理をソフトウェアにより実現するようにしてもよい。
スキュー補正部５が行う処理をソフトウェアで実現する場合の処理の流れを図２３に示す。まず、制御プログラムを起動した演算制御部３は、ＲＧＢ画像データが示す文書のスキュー角度を求める（ステップＳ２００）。次に演算制御部３は、ＲＧＢ画像データが示す画像において紙面を示す領域を検知し、検知した領域を示す原稿領域画像データを生成する（ステップＳ２０１）。この後、演算制御部３は、原稿領域画像データをもとに、画像中の文書の位置を検知し、移動方向量データを生成する（ステップＳ２０２）。次に演算制御部３は、ＲＧＢ画像データが示す画像を、移動方向量データを用いて移動させる（ステップＳ２０３）。この後、演算制御部３は、ステップＳ２００で求めたスキュー角度を用いて画像を回転させる（ステップＳ２０４）。このように、画像の補正処理をソフトウェアで行うようにすれば、スキャナで読み取った画像を、パーソナルコンピュータで補正するといったことも可能となる。なお、以上の説明では、第１実施形態で行う処理をソフトウェアで実現する場合を例に説明したが、ソフトウェアで実現できる処理は、第１実施形態に示した処理に限定されるものではなく、他の実施形態に示した処理も勿論実現可能である。

（変形例５）
上述した第５実施形態において、包含外接矩形生成部２０３が生成するデータは、生成した矩形データに限定されるものではない。供給された２値画像データにおいてラベルが付加されている領域を包含する図形であれば、矩形ではなく他の図形を生成し、生成した図形を示すデータを、情報領域位置情報算出部１０６へ供給するようにしてもよい。

（変形例６）
上述した第５実施形態において、第３実施形態と同様に回転中心位置決定部１０４を設けるようにしてもよい。この回転中心位置決定部１０４は、画像補正部１０３Ｃにおいて画像を回転させる際の回転中心となる座標を求めるものであり、例えば、情報領域位置情報算出部１０６が生成した移動方向量データが示す座標を回転中心座標とする。回転中心位置決定部１０４は、この回転中心座標を示す回転中心位置データを、画像補正部１０３Ｃへ供給する。なお、回転中心となる座標は、移動方向量データが示す座標に限定されるものではない。また、この態様において、画像補正部の構成を図２２に示した構成とし、情報領域位置検出部１０６から供給される移動方向量データと、回転中心位置決定部１０４から供給される回転中心位置データと、スキュー角検知部１０２から供給されるスキュー角データとから回転係数と移動係数とを求めるようにしてもよい。

本発明の実施形態に係る画像処理装置の構成を例示するブロック図である。 画像入力部１への文書の載置例を示す図である。 ＲＧＢ画像データが示す画像を例示する図である。 スキュー補正部５の構成を例示するブロック図である。 画像処理装置において用いられるｘ−ｙ座標を説明するための図である。 画像補正部１０３の構成を例示するブロック図である。 演算制御部３が行う処理の流れを例示するフローチャートである。 原稿領域境界検出部１００の動作を説明するための図である。 画像移動部３００の動作を説明するための図である。 画像回転部３０１の動作を説明するための図である。 スキュー補正部５Ａの構成を例示するブロック図である。 画像補正部１０３Ａの構成を例示するブロック図である。 画像回転部３０１Ａの動作を説明するための図である。 スキュー補正部５Ｂの構成を例示するブロック図である。 画像補正部１０３Ｂの構成を例示するブロック図である。 画像回転部３０１Ｂの動作を説明するための図である。 第４実施形態に係わる画像補正部の構成を例示するブロック図である。 スキュー補正部５Ｃの構成を例示するブロック図である。 情報領域検出部１０５の構成を例示するブロック図である。 包含外接矩形生成部２０３の動作を説明するための図である。 本発明の変形例に係わる画像補正部１０３Ｄの構成を例示するブロック図である。 本発明の変形例に係わる画像補正部１０３Ｅの構成を例示するブロック図である。 本発明の変形例係わる演算制御部３が行う処理の流れを例示するフローチャートである。 従来技術の問題点を説明するための図である。 従来技術の問題点を説明するための図である。 従来技術の問題点を説明するための図である。 従来技術の問題点を説明するための図である。

符号の説明

１・・・画像入力部、２・・・データ記憶部、３・・・演算制御部、４・・・階調補正部、５・・・スキュー補正部、６・・・色信号変換部、７・・・画像表示部、８・・・画像出力部、９・・・バス、１００・・・原稿領域境界検出部、１０１，１０１Ａ，１０１Ｂ・・・原稿領域移動方向量算出部、１０２・・・スキュー角検知部、１０３，１０３Ａ，１０３Ｂ，１０３Ｃ，１０３Ｄ，１０３Ｅ，１０３Ｆ・・・画像補正部、１０４・・・回転中心位置決定部、１０５・・・情報領域検出部、１０６・・・情報領域位置情報検出部、２００・・・２値化部、２０１・・・ラベリング部、２０２・・・ノイズ除去部、２０３・・・包含外接矩形生成部、３００，３００Ａ，３００Ｂ，３００Ｄ・・・画像移動部、３０１，３０１Ａ，３０１Ｂ・・・画像回転部、３０２，３０２Ａ・・・回転移動係数算出部、３０３，３０３Ａ・・・画像回転移動部。

Claims (13)

1. 画像データを受け取る入力手段と、
   前記入力手段が受け取った画像データが示す画像から、文書を示す領域を検知し、前記画像の基準点と、検知した領域の基準点とを一致させる場合の画像の移動量を求める情報位置検知手段と、
   前記入力手段が受け取った画像データが示す画像から、該画像の傾き角度を検知し、該画像の傾きを補正する角度を求めるスキュー角検知手段と、
   前記スキュー角検知手段が求めたスキュー角度と、前記情報位置検知手段が求めた移動量とに基づいて、前記画像データが示す画像を回転および移動させ、回転および移動後の画像を示す補正画像データを生成する画像補正手段と
   を有する画像処理装置。
2. 前記入力手段が受け取った画像データが示す画像から、文書を示す領域を検知し、検知した領域から、画像の回転中心位置を求める回転中心位置決定手段を有し、
   前記画像補正手段は、前記回転中心位置決定手段が求めた回転中心位置を中心として画像を回転させること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記画像補正手段は、前記情報位置検知手段が求めた移動量と、前記スキュー角検知手段が求めたスキュー角度から、前記画像データが示す画像をアフィン変換により移動させるための移動係数と、前記画像データが示す画像をアフィン変換により回転させるための回転係数を算出し、該移動係数と該回転係数とを用いてアフィン変換により前記画像を回転および移動させること
   を特徴とする請求項１に記載の画像処理装置。
4. 前記入力手段が受け取った画像データが示す画像から、文書を示す領域を検知し、検知した領域から、画像の回転中心位置を求める回転中心位置決定手段を有し、
   前記画像補正手段は、前記回転中心位置決定手段が求めた回転中心位置と、前記情報位置検知手段が求めた移動量と、前記スキュー角検知手段が求めたスキュー角度から、前記画像データが示す画像をアフィン変換により移動させるための移動係数を算出すること
   を特徴とする請求項３に記載の画像処理装置。
5. 画像データを受け取る入力手段と、
   前記入力手段が受け取った画像データが示す画像から、オブジェクトを示す領域を検知し、検知した全ての領域を包含する図形を生成する包含図形生成部と、
   前記包含図形生成部が生成した図形の基準点と、前記画像の基準点とを一致させる場合の画像の移動量を求めるオブジェクト位置検知手段と、
   前記入力手段が受け取った画像データが示す画像から、該画像の傾き角度を検知し、該画像の傾きを補正する角度を求めるスキュー角検知手段と、
   前記スキュー角検知手段が求めたスキュー角度と、前記オブジェクト位置検知手段が求めた移動量とに基づいて、前記画像データが示す画像を回転および移動させ、回転および移動後の画像を示す補正画像データを生成する画像補正手段と
   を有する画像処理装置。
6. 前記包含図形生成部は、前記入力手段が受け取った画像データが示す画像から、オブジェクトを示す領域を検知し、検知した全ての領域を包含する外接矩形を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記入力手段が受け取った画像データが示す画像から、オブジェクトを示す領域を検知し、検知した領域から、画像の回転中心位置を求める回転中心位置決定手段を有し、
   前記画像補正手段は、前記回転中心位置決定手段が求めた回転中心位置を中心として画像を回転させること
   を特徴とする請求項５に記載の画像処理装置。
8. 前記画像補正手段は、前記オブジェクトを示す領域を、画像中の予め定めた位置へ移動させることを特徴とする請求項５に記載の画像処理装置。
9. 前記画像補正手段は、
   前記オブジェクト位置検知手段が求めた移動量と、前記スキュー角度検知手段が求めたスキュー角度から、前記画像データが示す画像をアフィン変換により移動させるための移動係数と、前記画像データが示す画像をアフィン変換により回転させるための回転係数とを算出し、
   該移動係数と該回転係数とを用いてアフィン変換により前記画像を回転および移動させること
   を特徴とする請求項５に記載の画像処理装置。
10. 前記入力手段が受け取った画像データが示す画像から、オブジェクトを示す領域を検知し、検知した領域から、画像の回転中心位置を求める回転中心位置決定手段を有し、
    前記画像補正手段は、前記回転中心位置決定手段が求めた回転中心位置と、前記オブジェクト位置検知手段が求めた移動量と、前記スキュー角検知手段が求めたスキュー角度から、前記画像データが示す画像をアフィン変換により移動させるための移動係数を算出すること
    を特徴とする請求項９に記載の画像処理装置。
11. コンピュータ装置を、
    画像データを受け取る入力手段と、
    前記入力手段が受け取った画像データが示す画像から、文書を示す領域を検知し、
    前記画像の基準点と、検知した領域の基準点とを一致させる場合の画像の移動量を求める情報位置検知手段と、
    前記入力手段が受け取った画像データが示す画像から、該画像の傾き角度を検知し、該画像の傾きを補正する角度を求めるスキュー角検知手段と、
    前記スキュー角検知手段が求めたスキュー角度と、前記情報位置検知手段が求めた移動量とに基づいて、前記画像データが示す画像を回転および移動させ、回転および移動後の画像を示す補正画像データを生成する画像補正手段と
    として機能させるためのプログラム。
12. コンピュータ装置を、
    画像データを受け取る入力手段と、
    前記入力手段が受け取った画像データが示す画像から、オブジェクトを示す領域を検知し、検知した全ての領域を包含する図形を生成する包含図形生成手段と、
    前記包含図形生成手段により生成された図形の基準点と、前記画像の基準点とを一致させる場合の画像の移動量を求めるオブジェクト位置検知手段と、
    前記入力手段が受け取った画像データが示す画像から、該画像の傾き角度を検知し、該画像の傾きを補正する角度を求めるスキュー角検知手段と、
    前記スキュー角検知手段が求めたスキュー角度と、前記オブジェクト位置検知手段が求めた移動量とに基づいて、前記画像データが示す画像を回転および移動させ、回転および移動後の画像を示す補正画像データを生成する画像補正手段と
    として機能させるプログラム。
13. 請求項１１または請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images