JP2005184685A

JP2005184685A - 画像処理装置、プログラムおよび記録媒体

Info

Publication number: JP2005184685A
Application number: JP2003425540A
Authority: JP
Inventors: Toshiya Koyama; 俊哉小山
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2003-12-22
Filing date: 2003-12-22
Publication date: 2005-07-07
Anticipated expiration: 2023-12-22
Also published as: JP4140519B2

Abstract

【課題】入力された画像が、文字以外の要素を含み、段組みなどにより多数の領域に分けられている場合でも、画像のスキュー角度を検知し補正する。
【解決手段】領域分割部２００は、輪郭２値画像データを複数の領域に分割して分割画像データを生成する。ハフ変換部２０１は、分割画像データ毎にハフ変換を行い、生成したヒストグラムデータをハフ空間データ記憶部２０２に記憶させる。ハフ空間データ演算投影部２０３は、投影ヒストグラムデータを生成し、生成したデータを演算投影データ記憶部２０４に記憶させる。全体データ演算部２０５は、投影ヒストグラムデータを加算して全体ヒストグラムデータを生成し、生成したデータを角度検知部２０６へ供給する。角度検知部２０６は、全体ヒストグラムデータにおいて頻度が最大となっている角度を求め、求めた角度を画像全体のスキュー角度とし、画像のスキューを補正する。
【選択図】図７

Description

本発明は、文書を示す画像の傾きを検知し、その傾きを補正する技術に関する。

文書をイメージスキャナで読み取った際に得られる画像データや、ファクシミリ装置が受信する画像データを解析し、画像中の文字が記されている領域に対して文字認識処理を施し、画像として読み取った文書から文章を抽出する技術が知られている。この技術においては、読み取った画像に傾きが無いこと、すなわちスキューが無いことが、元の文章を正確に抽出するための前提としてあり、読み取った画像にスキューがある場合には、スキューを補正する必要がある。従来、このスキューを補正する技術として、例えば、特許文献１乃至４に記載されている技術が知られている。

特許文献１に記載されている文書傾き補正装置は、まず、角度を順次変えて２値画像を回転させ、回転させた画像に外接する矩形を作成する。次に、この文書傾き補正装置は、この矩形の面積が最小となる角度を画像のスキュー角度とし、このスキュー角度に基づいて画像の傾きを補正する。

特許文献２に記載されている画像処理装置は、まず、画像を示す画素の連結性を調べながら矩形領域を設定し、画像内で矩形領域の存在する範囲を想定しながら、この範囲内で矩形領域の端点の座標値を所定方向に射影し、射影のヒストグラムを求める。次に、この画像処理装置は、この射影のヒストグラムが最大となる角度をスキュー角度として検知する。

特許文献３には、ハフ変換を利用してスキュー角度を検知する技術が記載されている。特許文献３に記載されているデータ処理装置は、まず、入力画像に対してフィルタリング処理を行い、この処理により濃淡差が強調された画像に対して２値化処理を行い２値画像を生成する。次に、このデータ処理装置は、生成した２値画像の各画素に対してハフ変換を行い、ハフ空間上にヒストグラムを作成し、ハフ空間上で頻度が所定の閾値以上となる座標を抽出する。データ処理装置は、抽出した座標をグループ化した後、グループ毎に代表点座標を抽出し、抽出した座標から画像の傾斜角度を推定する。また、特許文献３には、ハフ空間上で頻度が所定の閾値以上となる座標を抽出した後、抽出した座標の個数を角度ごとに積算してヒストグラムを作成し、頻度が最大となる角度を画像の傾斜角度を推定する技術も記載されている。

特許文献４には、特許文献３と同様にハフ変換を利用してスキュー角度を検知する技術が記載されている。特許文献４に記載されている画像処理装置は、まず、入力画像に対して２値化処理を行って２値画像を生成し、生成した２値画像の各画素に対してハフ変換を行い、ハフ空間上にヒストグラムを作成する。次に、この画像処理装置は、ハフ空間上の頻度に対して所定の演算処理を行った後、演算処理の行われた頻度を角度ごとに積算してヒストグラムを作成し、頻度が最大となる角度を画像の傾斜角度とする。
特開平２−１７０２８０号公報特開平６−２０３２０２号公報特開平１１−３２８４０８号公報特開２００２−８４４２０号公報

特許文献１乃至４に記載されている技術によれば、文書を示す画像のスキューを補正することができる。しかしながら、特許文献１乃至４に記載されている技術には、以下に示す問題があった。

特許文献１に記載されている技術では、傾きを求める際、２値画像を角度を変えて順次回転させる必要がある。この画像を回転させる処理は、回転により黒画素とする画素を、画素毎に求めなければならないため、長い処理時間を要するという問題がある。また、特許文献１に記載されている技術では、回転させた画像に外接する矩形を作成し、この矩形の面積が最小となる角度を画像のスキュー角度とする。例えば、図２２に例示したように、画像の一部が、突出している画像の場合、画像を回転させても、外接する矩形の面積が殆ど変らないため、正確にスキュー角度を検知できないという問題がある。

特許文献２に記載されている技術は、矩形領域の端点の座標値を所定方向に射影し、射影のヒストグラムを求め、このヒストグラムからスキュー角度を検知するため、文書が多段組で構成され、且つ、段組間で行の位置がずれている場合には、正確にスキュー角度を検知できないという問題がある。また、特許文献２に記載されている技術は、基本的に文字領域を対象とした技術であるため、画像中に含まれる文字が少ない場合には、正確にスキュー角度を検知できないという問題がある。

特許文献３に記載されている技術では、２値化処理を行う際、写真画像や網点で示された画像が文書中に含まれていると、写真画像や網点で示された画像中に黒画素が存在する２値画像を生成したり、各網点を黒画素とした２値画像を生成してしまう。このような２値画像に対してハフ変換を実施した場合、処理時間が増大したり、スキュー角度を誤って検知するという問題がある。

特許文献４に記載されている技術は、入力された画像全体に対してハフ変換やヒストグラム処理を行う。このため、図２３に例示したように、文書が多段組で、且つ、段の間で行が均等にずれている場合、このずれが生じている方向をスキュー角度として誤って検知してしまうという問題がある。

本発明は、このような課題に鑑みてなされたものであり、入力された画像が示す文書が、文字以外の要素を含み、段組みなどにより多数の領域に分けられている場合でも、画像のスキュー角度を検知し補正することができる技術を提供することを目的とする。

上述した課題を解決するために本発明は、画像データを記憶する記憶手段と、前記記憶手段に記憶されている画像データを２値化し、２値画像データを生成する２値化手段と、前記２値化手段により生成された２値画像データが示す画像を複数の領域に分割し、分割した画像を示す分割２値画像データを生成する領域分割手段と、前記分割２値画像データに対してハフ変換を行い、ハフ変換により得られた極座標上の座標の頻度を表すヒストグラムデータを、分割された画像領域毎に生成するハフ変換手段と、前記ハフ変換手段が生成したヒストグラムデータ毎に、極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータを生成する頻度演算手段と、前記頻度演算手段が生成した投影ヒストグラムデータを加算し、全体ヒストグラムデータを生成する全体頻度演算手段と、前記全体頻度演算手段によって生成された全体ヒストグラムデータに基づき画像データが示す画像の傾き角度を検知する全体角度検知手段と、前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段とを有する画像処理装置を提供する。
また、本発明は、コンピュータを、画像データを記憶する記憶手段と、前記記憶手段に記憶されている画像データを２値化し、２値画像データを生成する２値化手段と、前記２値化手段により生成された２値画像データが示す画像を複数の領域に分割し、分割した画像を示す分割２値画像データを生成する領域分割手段と、前記分割２値画像データに対してハフ変換を行い、ハフ変換により得られた極座標上の座標の頻度を表すヒストグラムデータを、分割された画像領域毎に生成するハフ変換手段と、前記ハフ変換手段が生成したヒストグラムデータ毎に、極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータを生成する頻度演算手段と、前記頻度演算手段が生成した投影ヒストグラムデータを加算し、全体ヒストグラムデータを生成する全体頻度演算手段と、前記全体頻度演算手段によって生成された全体ヒストグラムデータに基づき画像データが示す画像の傾き角度を検知する全体角度検知手段と、前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段として機能させるためのプログラムと、該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
この画像処理装置、プログラムおよび記録媒体によれば、画像データが表す画像が複数の領域に分割され、分割された領域毎にハフ変換が行われてヒストグラムデータが生成され、生成されたヒストグラムデータから極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータが生成される。投影ヒストグラムデータが生成されると、生成された投影ヒストグラムデータの加算が行われ、全体ヒストグラムデータが生成される。全体ヒストグラムデータが生成されると、全体ヒストグラムデータにおいて、頻度が最大となる角度が求められ、この角度が画像データが表す画像のスキュー角度とされる。

また、本発明は、画像データを記憶する記憶手段と、前記記憶手段に記憶されている画像データを２値化し、２値画像データを生成する２値化手段と、前記２値化手段により生成された２値画像データが表す画像を複数の領域に分割し、分割した画像を示す分割２値画像データを生成する領域分割手段と、前記分割２値画像データ毎に、分割２値画像データが表す画像の角度を求める領域角度検知手段と、前記領域角度検知手段が分割２値画像データ毎に求めた角度から、画像全体の傾き角度を求める全体角度検知手段と、前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段とを有する画像処理装置を提供する。
また、本発明は、コンピュータを、画像データを記憶する記憶手段と、前記記憶手段に記憶されている画像データを２値化し、２値画像データを生成する２値化手段と、前記２値化手段により生成された２値画像データが表す画像を複数の領域に分割し、分割した画像を示す分割２値画像データを生成する領域分割手段と、前記分割２値画像データ毎に、分割２値画像データが表す画像の角度を求める領域角度検知手段と、前記領域角度検知手段が分割２値画像データ毎に求めた角度から、画像全体の傾き角度を求める全体角度検知手段と、前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段として機能させるためにプログラムと、該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
この画像処理装置、プログラムおよび記録媒体によれば、画像データが表す画像が複数の領域に分割され、分割された領域毎にハフ変換が行われてヒストグラムデータが生成され、生成されたヒストグラムデータから極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータが生成される。投影ヒストグラムデータが生成されると、投影ヒストグラムデータ毎に、頻度が最大となる角度が求められ、求められた角度を使用して、画像データが表す画像のスキュー角度が求められる。

本発明によれば、入力された画像が示す文書が、文字以外の要素を含み、段組みなどにより多数の領域に分けられている場合でも、画像のスキュー角度を検知し補正することができる。

以下、図面を参照し、本発明の実施の形態について説明する。

［１．第１実施形態］
＜構成＞
図１は、本発明の実施形態に係わる画像処理装置の構成を例示するブロック図である。図１に示したように、画像処理装置の各部は、バス９に接続されており、このバス９を介して各部間でデータの授受を行う。

演算制御部３は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、画像処理装置の各部を制御するための制御プログラムを記憶しているＲＯＭ（Read Only Memory）などを有している（いずれも図示略）。ＣＰＵは、図示を省略した電源から電力が供給されると、ＲＯＭから制御プログラムを読み出して実行し、ＲＡＭを作業エリアとして画像処理装置の各部の制御を行う。

画像入力部１は、例えば、イメージスキャナを具備しており、演算制御部３の制御の下、イメージスキャナのプラテン上に載置された文書をＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）およびＢ（Ｂｌｕｅ）の色成分毎に読み取る。画像入力部１は、文書を読み取ると、読み取った文書を示すデータであって、個々の画素において各色成分の濃淡を複数ビットで表した画像データ（以下、ＲＧＢ画像データと称する）を生成する。

データ記憶部２は、例えば、データを永続的に記憶するハードディスク装置を有しており、演算制御部３の制御の下、画像入力部１が生成したＲＧＢ画像データや、階調補正部４、スキュー補正部５、色信号変換部６において画像処理が行われた画像データなどを記憶する。

階調補正部４は、画像入力部１が生成したＲＧＢ画像データの階調を補正するものである。階調補正部４は、画像入力部１が具備するイメージスキャナの装置特性を考慮し、データ記憶部２に記憶されたＲＧＢ画像データが示す画像の階調を、各種画像処理を行うのに適した階調に補正する。

スキュー補正部５は、ＲＧＢ画像データが示す画像のスキューを補正するものである。スキュー補正部５は、バス９を介してデータ記憶部２から供給されるＲＧＢ画像データに対してスキューを補正する処理を行い、スキューを補正した画像データを生成する。スキュー補正部５の詳細については、後に説明する。

画像表示部７は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ装置または液晶ディスプレイ装置といったディスプレイ装置を有しており、演算制御部３の制御の下、データ記憶部２に記憶されている画像データに従って、画像データが示す文書を表示する。

色信号変換部６は、紙に印刷行う際に用いる画像データを生成するものである。具体的には、ＲＧＢ画像データが示すカラー画像を、カラー印刷におけるインクの基本色である、Ｙ（Ｙｅｌｌｏｗ）、Ｍ（Ｍａｇｅｎｔａ）、Ｃ（Ｃｙａｎ）、Ｋ（黒版／Ｂｌａｃｋ）の色成分を用いて表す画像データ（以下、ＹＭＣＫ画像データと称する）に変換する。

画像出力部８は、印刷用紙に文字や画像を印刷する印刷機構を有しており、演算制御部３の制御の下、色信号変換部６が生成したＹＭＣＫ画像データに従って、ＹＭＣＫ画像データが示す画像を紙に印刷する。

＜スキュー補正部５の構成＞
次に、スキュー補正部５の構成について、図２を用いて説明する。図２に示したように、スキュー補正部５は、２値化部１００と、輪郭抽出部１０１と、スキュー角検知部１０２と、画像回転部１０３とを具備しており、２値化部１００と画像回転部１０３には、データ記憶部２に記憶されているＲＧＢ画像データが入力される。

２値化部１００は、ＲＧＢ画像データにおいて、濃淡が複数ビットで表されている画素を２値化するものであり、図３に例示したように、色成分選択部３００と、浮動２値化部３０１と、膨張部３０２と、収縮部３０３とを具備している。
色成分選択部３００は、入力されたＲＧＢ画像データから、画像の持つ情報に対する寄与度が最も高いＧ成分（Ｇｒｅｅｎ成分）のデータを抽出するものである。色成分選択部３００は、抽出した画像データをＧ画像データとして浮動２値化部３０１へ出力する。

浮動２値化部３０１は、注目画素周辺の画素を用いて、注目画素の浮動２値化処理、即ち、動的閾値２値化処理を行うものである。浮動２値化部３０１は、例えば、本願出願人に係わる特開２００２−８４４２０号公報に記載されているように、注目画素周辺の画素を用いて注目画素の動的２値化処理を行い、Ｇ画像データのうち濃い領域に属する画素、即ち、文字や線、絵柄や写真などを示す画素の値を「１」とし、文字や線、絵柄や写真などの背景に相当する画素の値を「０」とした、２値画像データを生成し、生成した２値画像データを膨張部３０２へ出力する（以下、画素値が「０」である画素をＬＯＷ画素、画素値が「１」である画素をＨＩＧＨ画素と称する。）。

膨張部３０２は、浮動２値化部３０１から出力された２値画像データが示す画像の画素を順次操作し、ＨＩＧＨ画素に対して膨張処理を行うものである。膨張部３０２は、図４に示したように、注目画素を“Ｘ”、その周囲８近傍の画素を“Ａ”〜“Ｈ”とした場合、注目画素“Ｘ”および周囲８近傍の画素のうち、一つでもＨＩＧＨ画素があれば、注目画素“Ｘ”をＨＩＧＨ画素とし、注目画素“Ｘ”および周囲８近傍の全ての画素がＬＯＷ画素であれば、注目画素をＬＯＷ画素とする。膨張部３０２で生成された２値画像データは、収縮部３０３へ出力される。なお、この膨張処理は、注目画素と、その周囲８近傍の画素に着目して膨張処理を行う態様に限定されるものではなく、例えば、注目画素を中心とする５×５画素の領域、あるいは、さらに大きな領域に着目して膨張処理を行うようにしても良いのは勿論である。
このように、膨張部３０２が２値画像データに対してＨＩＧＨ画素の膨張処理を行うことにより、画像中に含まれている写真や網点領域内の画素が浮動２値化部３０１での２値化処理により部分的にＬＯＷ画素となっても、ＬＯＷ画素となった画素をＨＩＧＨ画素とすることができ、写真や網点領域全体をＨＩＧＨ画素で連続化することができる。

収縮部３０３は、膨張部３０２から出力された２値画像データが示す画像の画素を順次操作し、ＨＩＧＨ画素に対して収縮処理を行うものである。膨張部３０２は、図４に示したように、注目画素を“Ｘ”、その周囲８近傍の画素を“Ａ”〜“Ｈ”とした場合、注目画素“Ｘ”および周囲８近傍の画素のうち、一つでもＬＯＷ画素があれば、注目画素“Ｘ”をＬＯＷ画素とし、注目画素“Ｘ”および周囲８近傍の全ての画素がＨＩＧＨ画素であれば、注目画素をＨＩＧＨ画素とする。収縮部３０３で生成された２値画像データは、図２に示した輪郭抽出部１０１へ出力される。なお、この収縮処理は、注目画素と、その周囲８近傍の画素に着目して収縮処理を行う態様に限定されるものではなく、例えば、注目画素を中心とする５×５画素の領域、あるいは、さらに大きな領域に着目して収縮処理を行うようにしても良いのは勿論である。
このように、収縮部３０３が２値画像データに対してＨＩＧＨ画素の収縮処理を行うことにより、膨張処理により、他の領域と接続（結合）してしまった写真や網点領域を切り離すことができる。

次に、図２に戻り、輪郭抽出部１０１について説明する。輪郭抽出部１０１は、２値化部１００の収縮部３０３から出力された２値画像データのうち、ＨＩＧＨ画素で構成される領域の輪郭を抽出するものである。図４に示したように、注目画素を“Ｘ”、その周囲８近傍の画素を“Ａ”〜“Ｈ”とすると、輪郭抽出部１０１は、注目画素“Ｘ”がＬＯＷ画素である場合、注目画素はＨＩＧＨ画素で構成される領域の輪郭を示す画素では無いと判断する。また、輪郭抽出部１０１は、注目画素“Ｘ”がＨＩＧＨ画素であり、且つ、周囲８近傍の全ての画素がＨＩＧＨ画素である場合も、注目画素はＨＩＧＨ画素で構成される領域の輪郭を示す画素では無いと判断する。一方、輪郭抽出部１０１は、注目画素“Ｘ”がＨＩＧＨ画素であり、周囲８近傍のいずれかの画素がＬＯＷ画素である場合、注目画素はＨＩＧＨ画素で構成される領域の輪郭を示す画素であると判断する。
輪郭抽出部１０１は、この処理により画像中のＨＩＧＨ画素で構成される領域の輪郭を示す画素を抽出し、ＨＩＧＨ画素で構成される領域の輪郭を示す輪郭２値画像データを生成する。例えば、図５に例示したような画像を示す２値画像データが入力されると、図６に例示した画像を示す輪郭２値画像データを生成する。輪郭抽出部１０１は、生成した輪郭２値画像データをスキュー角検知部１０２へ出力する。

スキュー角検知部１０２は、入力された輪郭２値画像データから、輪郭２値画像データが示す画像のスキュー角度を求めるものである。スキュー角検知部１０２は、図７に示したように、領域分割部２００と、ハフ変換部２０１と、ハフ空間データ記憶部２０２と、ハフ空間データ演算投影部２０３と、演算投影データ記憶部２０４と、全体データ演算部２０５と、角度検知部２０６とを具備しており、スキュー角検知部１０２に入力された輪郭２値画像データは、領域分割部２００とハフ空間データ演算部２０３に供給される。

領域分割部２００は、輪郭抽出部１０１から出力された輪郭２値画像データが示す画像を複数の領域に分割するものである。領域分割部２００は、例えば、図８に示したように、画像中のオブジェクト、即ち、段落、図形、写真を認識し、文字がある領域と、図形がある領域と、写真がある領域とに画像を分割する。領域分割部２００は、分割された画像を示す分割画像データを、分割した画像毎に生成し、生成した分割画像データをハフ変換部２０１へ出力する。

ハフ変換部２０１は、領域分割部２００から出力された分割画像データに対してハフ変換処理を行うものである。ここで、まずハフ変換処理について説明する。画素の位置をｘ座標とｙ座標とで表した場合、原点から画素までの直線距離をρ、原点から画素への直線とｘ軸とのなす角度をθとすると、ｘ−ｙ座標上において座標（ｘ，ｙ）に位置する画素を通る全ての直線は下記式（１）で表すことができる。
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ （０≦θ＜π）・・・・・（１）

そして、図９に示したように座標（ｘ，ｙ）の位置に位置する画素について、式（１）のθを０〜πまで順次変化させ、このθの変化に対応して得られるρを、図１０に示したようにρ−θ座標上にプロットしていくと、ある画素を通る全ての直線を、ρ−θ座標上（極座標上）で曲線として表すことができる。この、曲線をハフ曲線と呼び、ハフ曲線を求める処理をハフ変換と呼ぶ。

次に、ハフ変換部２０１が行う処理の流れについて、図１１を用いて説明する。ハフ変換部２０１は、分割画像データが入力されると、図１２に示したように、θとρからなる二次元の配列テーブルをハフ空間データ記憶部２０２に生成する。ハフ変換部２０１は、まず、この配列テーブルの全ての配列要素に「０」を代入し、配列テーブルを初期化する（ステップＳ１０１）。

次に、ハフ変換部２０１は、供給された分割画像データにおいて、ハフ変換処理が行われていないＨＩＧＨ画素があるか否か判断する（ステップＳ１０２）。ハフ変換部２０１は、ハフ変換処理が行われていないＨＩＧＨ画素が無いと判断すると（ステップＳ１０２；ＮＯ）、入力された分割画像データに対するハフ変換処理を終了する。ハフ変換部２０１は、ハフ変換処理が行われていないＨＩＧＨ画素があると判断すると（ステップＳ１０２；ＹＥＳ）、ハフ変換処理が行われていないＨＩＧＨ画素を分割画像データから抽出し、抽出したＨＩＧＨ画素のｘ座標を変数ｘに、ＨＩＧＨ画素のｙ座標を変数ｙに代入する（ステップＳ１０３）。

次にハフ変換部２０１は、式（１）の演算を角度θを順次変更しながら行うため、初期値として変数θに０（ｒａｄ）を代入する（ステップＳ１０４）。次にハフ変換部２０１は、θの値がθ≧πであるか否かを判断する（ステップＳ１０５）。ハフ変換部２０１は、θの値がθ≧πであると判断すると、抽出したＨＩＧＨ画素に対するハフ変換処理を終了し、ステップＳ１０２へ戻る。ハフ変換部２０１は、ステップＳ１０５において、θの値がθ＜πであると判断すると、変数ｘ、変数ｙおよび変数θを用い、式（１）の右辺の演算を行い、その演算結果を変数ρに代入する。なお、ρの値は、通常、少数点以下の値を有するため、少数点以下の値の切り捨て、切り上げ、四捨五入などを行い、整数に変換する。

ハフ変換部２０１は、式（１）の右辺の演算を行うと、変数ρおよび変数θで特定される配列要素に格納されている数値に「１」を加算する（ステップＳ１０７）。具体的には、例えば、座標（ｘ，ｙ）の位置に位置する画素について、θがＡ３である時、ρがａであると算出したとする。この場合、図１２に示したように配列テーブルにおいて、θ＝Ａ３、ρ＝ａに対応する配列要素に格納されている数値を１だけ増加させ、頻度を「１」とする。

次にハフ変換部２０１は、角度θを順次変化させてハフ変換を行うため、予め定めた値ｓｔｅｐ＿ａを変数θの値に加算し、加算の結果得られた値を変数θに代入する（ステップＳ１０８）。この値は、求めようとするスキュー角度の分解能によって定められ、１度単位でスキュー角度を求ようとする場合は、ｓｔｅｐ＿ａ＝π／１８０（ｒａｄ）とする。

ハフ変換部２０１は、ステップＳ１０８の処理が終了したら、ステップＳ１０５に戻り、ステップＳ１０５からステップＳ１０８の処理を繰り返す。ハフ変換部２０１は、θがθ≧πとなるまでステップＳ１０５からステップＳ１０５の処理を行い、一つのＨＩＧＨ画素に対するハフ変換処理が終了すると、ステップＳ１０２へ戻り、全てのＨＩＧＨ画素に対してハフ変換処理が行われるまで、ステップＳ１０２からステップＳ１０８の処理を繰り返す。

以上説明した処理により、ハフ空間データ記憶部２０２に生成された配列テーブルには、図１２に例示したように、角度θおよび距離ρで特定される座標の頻度を示すデータが格納される。ハフ変換部２０１は、この処理を、入力される分割画像データ毎に行い、分割画像データ毎に、配列テーブルを生成する。なお、配列テーブルに格納されたデータは、図１３に例示したように、ρ−θ座標上における各座標の頻度の分布を表すことができるため、以下、配列テーブルに格納されたデータをヒストグラムデータと称する。

次にハフ空間データ演算投影部２０３について説明する。ハフ空間データ演算投影部２０３は、ハフ空間データ記憶部２０２に記憶されたヒストグラムデータを分割された画像領域毎に読み出し、所定の計算式を用いて角度θ毎に頻度の密集度を求めるものである。

ハフ空間データ演算部２０３が行う処理の流れを図１４に示す。ハフ空間データ演算部２０３は、図１５に示したように、角度θ毎に頻度の密集度を格納する投影データテーブルを演算投影データ記憶部２０４に生成する。ハフ空間データ演算部２０３は、まず、この投影データテーブルの全ての配列要素に「０」を代入し、投影データテーブルを初期化する（ステップＳ２０１）。

次にハフ空間データ演算部２０３は、入力される輪郭２値画像データが示す画像の幅と高さを求め、変数ｗｉｄｔｈに輪郭２値画像データの幅を示す値を代入し、変数ｈｉｇｈｔに輪郭２値画像データの高さを示す値を代入する。この後、ハフ空間データ演算部２０３は、下記式（２）の演算を行う（ステップＳ２０２）。
ｍａｘ＿ｄ＝ｓｑｒｔ（ｗｉｄｔｈ²＋ｈｉｇｈｔ²）・・・・・（２）

ここで、ｓｑｒｔは、平方根を表すものである。ｍａｘ＿ｄは、輪郭２値画像が示す画像の対角線の長さを示し、ハフ変換により求められた距離ρの最大値は≦ｍａｘ＿ｄとなり、ハフ変換により求められた距離ρの最小値は≧−ｍａｘ＿ｄとなる。
次にハフ空間データ演算部２０３は、角度θ毎に頻度の密集度を求めるために、変数θに「０」を代入し、変数θを初期化する（ステップＳ２０３）。次に、ハフ空間データ演算部２０３は、θの値がθ≧πであるか否かを判断する（ステップＳ２０４）。ハフ空間データ演算部２０３は、θの値がθ≧πであると判断すると、処理を終了する。ハフ空間データ演算部２０３は、θの値がθ＜πであると判断すると、変数ρに「−ｍａｘ＿ｄ」を代入し、変数ｗに「０」を代入する。

次にハフ空間データ演算部２０３は、変数ρの値と、変数ｍａｘ＿ｄが示す値とを比較する（ステップＳ２０６）。ハフ空間データ演算部２０３は、変数ρ≦ｍａｘ＿ｄであると判断すると（ステップＳ２０６；ＮＯ）、ハフ空間データ記憶部２０２に記憶されている配列テーブルにおいて、変数θおよび変数ρで特定される配列要素に格納されている頻度を読み出し、読み出した頻度を変数ｖに代入する。次にハフ空間データ演算部２０３は、変数ｖ代入された値に対し所定の演算ｆ（）をおこない、その演算結果を変数ｗに加算する（ステップＳ２０８）。なお、ステップＳ２０８で行う演算は、角度θ毎に頻度の密集度を算出できるものであればどのようなものでも構わない。なお、ここで所定の演算ｆ（）は例えば、ｆ（ｖ）＝ｖ＊ｖなどがある。次に、ハフ空間データ演算部２０３は、変数ρの値に「１」を加算し、ステップＳ２０６に戻る。

一方、ハフ空間データ演算部２０３は、ステップＳ２０６において、変数ρ＞ｍａｘ＿ｄであると判断すると（ステップＳ２０６；ＹＥＳ）、変数θに特定される角度における頻度の密集度の演算を終了し、変数ｗに代入されている値を、変数θで特定される投影データテーブルの配列要素に格納する（ステップＳ２１０）。次にハフ空間データ演算部２０３は、角度θを順次変化させてステップＳ２０４からステップＳ２１０の処理を行うため、予め定めた値ｓｔｅｐ＿ａを変数θの値に加算し、加算の結果得られた値を変数θに代入する（ステップＳ２１１）。ハフ空間データ演算部２０３は、ステップＳ２１１の処理が終了したら、ステップＳ２０４に戻り、θがθ≧πとなるまでステップＳ２０４からステップＳ２１１の処理を行う。

この処理により、演算投影データ記憶部２０４に生成された投影データテーブルには、角度θ毎に頻度の密集度を示すデータが格納される。演算投影データ記憶部２０４は、この処理を、ハフ空間データ記憶部２０２に記憶されている配列テーブル毎に行い、配列テーブル毎に投影データテーブルを生成する。なお、投影データテーブルに格納されたデータは、図１６に例示したように、角度θと、頻度の密集度との関係を表すヒストグラムを表すことができるため、以下、投影データテーブルに格納されたデータを投影ヒストグラムデータと称する。

次に、全体データ演算部２０５について説明する。全体データ演算部２０５は、演算投影データ記憶部２０４に記憶された、領域毎の投影ヒストグラムデータから、画像全体の投影ヒストグラムデータを生成するものである。全体データ演算部２０５は、演算投影データ記憶部２０４に記憶された、投影ヒストグラムデータを順次読み出し、角度θ毎に、各投影ヒストグラムデータから頻度の密集度を示すデータを抽出し、抽出したデータを加算する。全体データ演算部２０５は、加算の結果得られるデータを、画像全体の投影ヒストグラムデータ（以下、全体ヒストグラムデータと称する）として、角度検知部２０６へ供給する。

角度検知部２０６は、全体データ演算部２０５から供給される、全体ヒストグラムデータから画像のスキュー角度を検知するものである。角度検知部２０６は、供給された全体ヒストグラムデータのうち、密集度が最大となっている角度θを求め、求めた角度θを画像全体のスキュー角度とする。角度検知部２０６は、この求めた角度θを示すスキュー角度データを、画像回転部１０３へ出力する。

次に、図２に戻り、画像回転部１０３について説明する。画像回転部１０３は、入力されたＲＧＢ画像データが示す画像を、Ａｆｆｉｎｅ変換などの周知の方法を用いて回転させ、スキューを補正するものである。画像回転部１０３は、スキュー角検知部１０２から出力されたスキュー角度データを用いてＲＧＢ画像データが示す画像を回転させ、回転後の画像を示す画像データ（以下、スキュー補正ＲＧＢ画像データと称する）を生成する。この生成されたスキュー補正後ＲＧＢ画像データは、演算制御部３の制御の下、データ記憶部２に記憶される。

＜第１実施形態の動作＞
次に、図１７を参照し、画像処理装置がスキュー補正処理を行う際の動作について説明する。
画像処理装置の使用者が、画像入力部１が具備するイメージスキャナに文書を載置した後、図示を省略したキーを操作して、文書の読み取りを指示する旨の操作を行うと、演算制御部３により画像入力部１が制御され、載置された文書がＲＧＢの色成分毎に読み取られる。文書の読み取りが終了すると、演算制御部３は、画像入力部１にて生成された、読み取られた文書を示すＲＧＢ画像データを、データ記憶部２に記憶させる（ステップＳ３０１）。

演算制御部３は、ＲＧＢ画像データをデータ記憶部２に記憶させると、次に、このＲＧＢ画像データを、階調補正部４に供給する。階調補正部４は、ＲＧＢ画像データが供給されると、供給されたＲＧＢ画像データに対して階調補正処理を行い、ＲＧＢ画像データの階調を補正する。階調補正部４において、ＲＧＢ画像データの階調補正が終了すると、演算制御部３の制御の下、階調補正されたＲＧＢ画像データがデータ記憶部２に記憶される（ステップＳ３０２）。この後、演算制御部３は、階調補正処理がされたＲＧＢ画像データをスキュー補正部５に供給する（ステップＳ３０３）。ＲＧＢ画像データがスキュー補正部５に供給されると、供給されたＲＧＢ画像データは、２値化部１００と、画像回転部１０３とに供給される。

２値化部１００に供給されたデータは、まず色成分選択部３００に入力される。色成分選択部３００においては、入力されたデータのうち、Ｇ成分のデータが抽出され、抽出された画像データがＧ画像データとして出力される。この出力されたＧ画像データは、浮動２値化部３０１に入力される。浮動２値化部３０１においては、濃い領域に属する画素をＨＩＧＨ画素とし、淡い領域に属する画素をＬＯＷ画素とする処理が行われ、２値画像データが生成される。この２値画像データは、膨張部３０２に入力され、ＨＩＧＨ画素の膨張処理が行われる。膨張部３０２において膨張処理が行われたデータは、収縮部３０３に入力され、ＨＩＧＨ画素の収縮処理が行われる。

収縮処理が行われた２値画像データは、輪郭抽出部１０１に入力される。輪郭抽出部１０１においては、入力された２値画像データのうち、ＨＩＧＨ画素で構成される領域の輪郭を示す画素が抽出され、この抽出された画素で構成される輪郭２値画像データが生成される。この輪郭２値画像データは輪郭抽出部１０１から出力され、スキュー角検知部１０２の領域分割部２００に入力される。

輪郭２値画像データが入力された領域分割部２００は、画像中の文字、図形、写真を認識し、文字がある領域と、図形がある領域と、写真がある領域とに画像を分割し、分割した画像を示す分割画像データを、分割した画像毎に生成してハフ変換部２０１へ出力する。分割画像データがハフ変換部２０１に入力されると、ハフ変換部２０１は、入力された分割画像データにハフ変換処理行い、ハフ変換の結果をハフ空間データ記憶部２０２に書き込む。これにより、分割された画像領域毎のヒストグラムデータがハフ空間データ記憶部２０２に生成される。

ハフ変換部２０１においてハフ変換処理が終了すると、ハフ空間データ演算投影部２０３は、ハフ空間データ記憶部２０２に記憶されたヒストグラムデータを分割された画像領域毎に読み出し、角度θ毎に頻度の密集度を求め、投影ヒストグラムデータを生成する。
ハフ空間データ演算投影部２０３が、投影ヒストグラムデータの生成を終了すると、
全体データ演算部２０５が、演算投影データ記憶部２０４に記憶された投影ヒストグラムデータを読み出し、読み出したヒストグラムを加算して、画像全体の投影ヒストグラムデータを生成する。全体データ演算部２０５は、全体ヒストグラムデータの生成が終了すると、全体ヒストグラムデータを角度検知部２０６に供給する。

角度検知部２０６は、全体ヒストグラムデータが供給されると、供給された全体ヒストグラムデータのうち、密集度が最大となっている角度θを求め、求めた角度θを示すスキュー角度データを画像回転部１０３へ出力する。
画像回転部１０３は、スキュー角度データが入力されると、演算制御部３の制御の下、データ記憶部２から供給されたＲＧＢ画像データが示す画像を、角度検知部２０６が出力した角度データが示す角度分、角度データが示す角度と反対廻りに回転させる。画像回転部１０３は、画像の回転が終了すると、回転後の画像を示すスキュー補正ＲＧＢ画像データを生成する。画像回転部１０３において、スキュー補正ＲＧＢ画像データの生成が終了すると、演算制御部３は、スキュー補正ＲＧＢ画像データをデータ記憶部２に記憶させる（ステップＳ３０４）。

以上説明したように、本実施形態は、画像を文字の領域や写真の領域および図形の領域など、複数の領域に分割し、分割した画像領域毎に、スキュー角度を検知するのに適した画素を抽出する。そして、抽出した画素を使用して、分割した画像領域毎にハフ変換を行い、画像領域毎のハフ変換の結果から、画像全体のスキュー角度を求める。
このように、画像全体に対してハフ変換を行うのではなく、画像領域毎にハフ変換を行い、個々の画像領域のハフ変換の結果を基に、画像のスキュー角度を求めるので、図２３に例示したように、段組みされている文書であっても、スキュー角度を誤検知することなく、画像のスキューを補正することができる。

［２．第２実施形態］
次に本発明の第２実施形態について説明する。なお、本発明の第２実施形態の構成は、第１実施形態とほぼ同じであるため、第１実施形態と同じ部分については、同じ符号を付し、その説明を省略する。

図１８に示したように、本発明の第２実施形態は、スキュー角検知部１０２の構成が第１実施形態と異なる。
第２実施形態に係わるハフ変換部２０１は、領域分割部２００から分割画像データが順次入力されると、分割画像データ毎に分割画像データを識別する識別番号を生成する。ハフ変換部２０１は、配列テーブルを生成する際、生成した識別番号を対応付けてハフ空間データ記憶部２０２に配列テーブルを生成する。

第２実施形態に係わるハフ空間データ演算部２０３は、ハフ空間データ記憶部２０２の配列テーブルに格納されているヒストグラムデータを読み出す際、配列テーブルに対応付けられている識別番号を読み出す。また、ハフ空間データ演算部２０３は、投影データテーブルを生成する際、読み出し識別番号を対応付けて演算投影データ記憶部２０４に投影データテーブルを生成する。

領域属性判定部２０７は、領域分割部２００から順次入力される分割画像データが示す画像の属性を判定するものである。領域属性判定部２０７は、分割画像データが示す画像が、文字、写真、線画、絵柄のいずれを表しているか判定し、判定した属性を示す属性データを分割画像データ毎に生成する。また、領域属性判定部２０７は、領域分割部２００から分割画像データが順次入力されると、分割画像データ毎に分割画像データを識別する識別番号を生成する。領域属性判定部２０７は、属性データおよび識別番号を生成すると、生成した属性データと識別番号対応付けて演算投影データ記憶部２０４に記憶させる。

全体データ演算部２０５は、演算投影データ記憶部２０４に記憶された、投影ヒストグラムデータから、画像全体の投影ヒストグラムデータを生成するものである。全体データ演算部２０５は、演算投影データ記憶部２０４に記憶された、投影ヒストグラムデータを順次読み出し、角度θ毎に、各投影ヒストグラムデータから頻度の密集度を示すデータを抽出し、抽出したデータを加算する。全体データ演算部２０５は、投影ヒストグラムデータを読み出す際、投影ヒストグラムデータに対応付けられている識別番号を読み出す。全体データ演算部２０５は、識別番号を読み出すと、この識別番号と同じ識別番号が対応付けて記憶されている属性データを読み出す。全体データ演算部２０５は、角度θ毎に、各投影ヒストグラムデータから頻度の密集度を示すデータを抽出し、抽出したデータを加算する際、読み出した属性データが示す属性が、例えば、写真または絵柄を示している場合には、読み出した投影ヒストグラムデータの加算を行わず、文字または線画を示している場合には、読み出した投影ヒストグラムデータの加算を行う。全体データ演算部２０５は、投影ヒストグラムデータの加算が終了すると、加算の結果得られる全体ヒストグラムデータを、角度検知部２０６へ供給する。なお、全体データ演算部２０５は、読み出した属性データが示す属性が、例えば、写真または絵柄を示している場合には、例えば低い重み（低い加算率）で投影ヒストグラムデータの加算を行うようにしてもよい。

以上説明したように、本実施形態によれば、傾きの判別が困難である写真や絵柄の領域を除外したり、写真または絵柄領域の角度算出に対する寄与率を下げて、傾きの判別が容易な文字や線画を用いてスキュー角度を検知するので、より正確なスキュー角度を検知することが可能となり、写真や絵柄を含めてスキュー角度を検知した場合と比較して、正確にスキューを補正することができる。

［３．第３実施形態］
次に本発明の第３実施形態について説明する。なお、本発明の第３実施形態の構成は、第１実施形態とほぼ同じであるため、第１実施形態と同じ部分については、同じ符号を付し、その説明を省略する。

図１９に示したように本発明の第３実施形態は、スキュー角検知部１０２が、全体データ演算部２０５と角度検知部２０６に替えて、領域角度検知部２０８と、領域角度記憶部２０９および全体角度検知部２１０を具備している点が第１実施形態と異なる。

領域角度検知部２０８は、演算投影データ記憶部２０４に記憶された、分割された領域毎の投影ヒストグラムデータから、領域毎の傾き角度を検知するものである。領域角度検知部２０８は、分割された領域毎に投影ヒストグラムデータを順次読み出し、読み出したヒストグラムデータのうち、密集度が最大となっている角度θを求め、求めた角度θを分割された画像領域のスキュー角度とする。領域角度検知部２０８は、スキュー角度を求めると、求めたスキュー角度を示すスキュー角度データを、分割された画像領域毎に領域角度記憶部２０９に記憶させる。

全体角度検知部２１０は、画像全体のスキュー角度を求めるものである。全体角度検知部２１０は、領域角度記憶部２０９に記憶された、画像領域毎のスキュー角度データを読み出す。全体角度検知部２１０は、読み出したスキュー角度データを用いて、スキュー角度データが示すスキュー角度の頻度を求め、頻度が最も多いスキュー角度を画像全体のスキュー角度とし、このスキュー角度を示す全体スキュー角度データを出力する。

本実施形態によれば、画像領域毎にスキュー角度を求め、頻度が多いスキュー角度を画像全体のスキュー角度とする。このため、画像中に写真や図形など正確なスキュー角度を求めにくい領域が存在していた場合でも、それらの領域から算出される角度は一定の角度に集中することが無く、結果的にそれらの領域から算出されるスキュー角度は除外され、より正確なスキュー角度を検知することが可能となる。

［４．第４実施形態］
次に、本発明の第４実施形態について説明する。なお、本発明の第４実施形態は、本発明の第３実施形態とほぼ同じであるため、構成が同じである部分については、同じ符号を付し、その説明を省略する。

図２０に示したように、本発明の第４実施形態は、スキュー角検知部１０２の構成が第３実施形態と異なる。

第４実施形態に係わるハフ変換部２０１は、領域分割部２００から分割画像データが順次入力されると、分割画像データ毎に分割画像データを識別する識別番号を生成する。ハフ変換部２０１は、配列テーブルを生成する際、生成した識別番号を対応付けてハフ空間データ記憶部２０２に配列テーブルを生成する。

第４実施形態に係わるハフ空間データ演算部２０３は、ハフ空間データ記憶部２０２の配列テーブルに格納されているヒストグラムデータを読み出す際、配列テーブルに対応付けられている識別番号を読み出す。ハフ空間データ演算部２０３は、投影データテーブルを生成する際、読み出し識別番号を対応付けて演算投影データ記憶部２０４に投影データテーブルを生成する。

領域角度検知部２０８は、演算投影データ記憶部２０４に記憶された、分割された領域毎の投影ヒストグラムデータから、領域毎の傾き角度を検知するものである。領域角度検知部２０８は、分割された領域毎に投影データテーブルに格納されている投影ヒストグラムデータを順次読み出し、読み出したヒストグラムデータのうち、密集度が最大となっている角度θを求め、求めた角度θを分割された画像領域のスキュー角度とする。また領域角度検知部２０８は、投影ヒストグラムデータを読み出す際、投影データテーブルに対応付けられている識別番号を読み出す。領域角度検知部２０８は、スキュー角度を求めると、求めたスキュー角度を示すスキュー角度データを、読み出した識別番号と対応付けて領域角度記憶部２０９に記憶させる。

領域属性判定部２０７は、領域分割部２００から順次入力される、分割画像データが示す画像の属性を判定するものである。領域属性判定部２０７は、分割画像データが示す画像が、文字、写真、線画、絵柄のいずれを表しているか判定し、判定した属性を示す属性データを分割画像データ毎に生成する。また、領域属性判定部２０７は、領域分割部２００から分割画像データが順次入力されると、分割画像データ毎に分割画像データを識別する識別番号を生成する。領域属性判定部２０７は、属性データおよび識別番号を生成すると、生成した属性データと識別番号対応付けて領域角度記憶部２０９に記憶させる。

全体角度検知部２１０は、領域角度記憶部２０９に記憶された、領域毎のスキュー角度データから、画像全体の傾き角度を示す全体スキュー角度データを生成するものである。
全体角度検知部２１０は、領域角度記憶部２０９に記憶された、スキュー角度データを順次読み出す。また、全体角度検知部２１０は、スキュー角度データを読み出す際、スキュー角度データに対応付けられている識別番号を読み出す。全体角度検知部２１０は、読み出したスキュー角度データが示す角度の平均値を求める際、読み出した属性データが示す属性が、例えば、写真または絵柄を示している場合には、読み出したスキュー角度データを平均値の計算に用いず、文字または線画を示している場合には、読み出したスキュー角度データを平均値の計算に使用する。全体角度検知部２１０は、スキュー角度の平均値の算出が終了すると、求めたスキュー角度の平均値を示す全体スキュー角度データを、角度検知部２０６へ供給する。なお、全体角度検知部２１０は、読み出したスキュー角度データが示す角度の平均値を求める際、読み出した属性データが示す属性が、例えば、写真または絵柄を示している場合には、例えば、低い重み（低い寄与率）で読み出したスキュー角度データを平均値の計算に用いるようにしてもよい。

本実施形態によれば、傾きの判別が困難である写真や絵柄の領域を除外したり、写真または絵柄領域の角度算出に対する寄与率を下げて、傾きの判別が容易な文字や線画を用いてスキュー角度を検知するので、より正確なスキュー角度を検知することが可能となり、写真や絵柄を含めてスキュー角度を検知した場合と比較して、正確にスキューを補正することができる。

［５．変形例］
以上、本発明の一実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。

上述した実施形態において、領域分割部２００は、輪郭２値画像データに対して領域分割を行っているが、輪郭２値画像データではなく、ＲＧＢ画像データに対して領域分割を
行うようにしてもよい。ＲＧＢ画像データは階調に係わる情報を有しているため、２値画像を領域分割する場合と比較して、より正確に領域分割を行うことができる。
また、上述した実施形態において領域分割部２００は、文字の領域、写真の領域、図形の領域といったように、属性毎に画像を分割しているが、このように画像の属性毎に分割するのではなく、例えば、図２１に示したように、Ｎ行×Ｍ列（Ｎ，Ｍは整数）の複数の矩形領域に分割するようにしてもよい。

上述した実施形態においては、画像入力部１は、ＲＧＢの各色成分毎に文書を読み取っているが、白黒の２値画像として文書を読み取るようにしてもよい。

上述した実施形態においては、画像処理装置は、画像入力部１のイメージスキャナに載置された文書を読み取り、画像データを生成し、生成した画像データが示す画像のスキューを補正しているが、画像処理装置は、この態様に限定されるものではない。
例えば、画像処理装置は、通信手段を有し、コンピュータ装置から送信されたＲＧＢ画像データを受信し、受信したＲＧＢ画像データに対してスキューの補正を行うようにしてもよい。また、ファクシミリ装置のように、電話回線を介して送信された画像データに対してスキュー補正を行うようにしてもよい。

上述した実施形態において、スキュー補正部５が行う処理はソフトウェアにより実現するようにしてもよい。
また、例えば、第１実施形態にて説明した処理と、第３実施形態にて説明した処理とを行い、各々の処理方法にて求めたスキュー角度の信頼度を求め、信頼度が高いほうのスキュー角度を画像全体のスキュー角度とするようにしてもよい。
信頼度の求め方としては、投影ヒストグラムデータを加算して画像全体のヒストグラムデータを生成し、生成した全体ヒストグラムデータから画像全体のスキュー角度を求める場合には、全体ヒストグラムデータにおいて、密集度の最大値と、密集度の平均値との比を求め、求めた値をスキュー角度の信頼度とする。また、分割した領域毎にスキュー角度を求め、求めた領域毎の角度から画像全体のスキュー角度を求める場合には、求めたスキュー角度の頻度を求め、求めた頻度と、分割した画像領域の数との比を信頼度とする。例えば、画像を１０の領域に分割し、スキュー角度が１度である領域が５つ、スキュー角度が２度である領域が３つ、スキュー角度が３度である領域が２つとなった場合、画像全体のスキュー角度を１度とし、スキュー角度の信頼度を、５／１０＝０．５とする。
そして、個々の信頼度毎に、個々の処理方法毎に定めた所定の値より信頼度が大きいか否かを判断し、いずれか一方の信頼度が所定の値より小さく、他方の信頼度が所定の値より大きい場合には、所定の値より多きな信頼度が算出された方法により求めたスキュー角度を、画像全体のスキュー角度とするようにしてもよい。
また、いずれの方法においても、信頼度が所定の値より小さい、または大きい場合には、予め特定したいずれかの方法により求めたスキュー角度を、画像全体のスキュー角度とするようにしてもよい。

上述した実施形態においては、分割した画像領域毎に画像の属性を求めているが、画像の重み係数を求め、重み係数を考慮して、スキュー角度を求めるようにしてもよい。具体的には、例えば、分割された領域内におけるＨＩＧＨ画素の画素数に応じて、領域毎に重み係数を求める。なお、重み係数は、属性データに応じて決定するようにしてもよく、例えば、分割された領域が文字領域を示す場合には重み係数の値を高とし、写真を示す場合には重み係数の値を低とするようにしてもよい。
そして、例えば、領域の個数＝Ｎ、各領域から算出された角度＝αi、各領域から算出された重み係数＝Ｗiとすると、重みを考慮した重み付け平均角度は、(Σ（αi×Ｗi）)／（ΣＷi）となる。このように重み係数を考慮してスキュー角度を求める態様によれば、写真領域に係わるデータの重みが下がるので、入力画像が写真領域を含む画像であっても、より正確に画像のスキュー角度を求めることができる。
なお、重み係数は、ＲＧＢ画像データが示す画像中のオブジェクトを検知して画像を分割し、分割した画像に基づいて重み係数を求めてもよい。また、分割された画像の属性についても、ＲＧＢ画像データが示す画像中のオブジェクトを検知して画像を分割し、分割した画像に基づいて属性データを求めてもよい。

上述した実施形態においては、輪郭２値画像データからオブジェクトを検知しているが、ＲＧＢ画像データからオブジェクトを検知して、この結果に基づいて輪郭２値画像データを分割するようにしてもよい。

本発明の実施形態に係る画像処理装置の構成を例示するブロック図である。同実施形態に係わるスキュー補正部５の構成を例示するブロック図である。同実施形態に係わる２値化部１００の構成を例示するブロック図である。膨張部３０２および収縮部３０３で行われる各処理を説明するための図である。輪郭抽出部１０１で行われる処理を説明するための図である。輪郭抽出部１０１で行われる処理を説明するための図である。スキュー角検知部１０２の構成を例示するブロック図である。領域分割部２００が行う領域分割を説明するための図である。ハフ変換処理を説明するための図である。ハフ変換処理を説明するための図である。ハフ変換部２０１が行う処理の流れを例示するフローチャートである。ハフ空間データ記憶部２０２が記憶する配列テーブルを例示する図である。 ρ−θ座標上における各座標の頻度の分布を表すヒストグラムを例示する図である。ハフ空間データ演算投影部２０３が行う処理の流れを例示するフローチャートである。投影データテーブルのフォーマットを例示する図である。角度θと密集度ｗとの関係を表すヒストグラムを例示する図である。演算制御部３が行う処理の流れを例示するフローチャートである。第２実施形態に係わるスキュー角検知部１０２の構成を例示するブロック図である。第３実施形態に係わるスキュー角検知部１０２の構成を例示するブロック図である。第４実施形態に係わるスキュー角検知部１０２の構成を例示するブロック図である。本発明の変形例を説明するための図である。従来技術の問題点を説明するための図である。従来技術の問題点を説明するための図である。

符号の説明

１・・・画像入力部、２・・・データ記憶部、３・・・演算制御部、４・・・階調補正部、５・・・スキュー補正部、６・・・色信号変換部、７・・・画像表示部、８・・・画像出力部、９・・・バス、１００・・・２値化部、１０１・・・輪郭抽出部、１０２・・・スキュー角検知部、１０３・・・画像回転部、２００・・・領域分割部、２０１・・・ハフ変換部、２０２・・・ハフ空間データ記憶部、２０３・・・ハフ空間データ演算投影部、２０４・・・演算投影データ記憶部、２０５・・・全体データ演算部、２０６・・・角度検知部、２０７・・・領域属性判定部、２０８・・・領域角度検知部、２０９・・・領域角度記憶部、２１０・・・全体角度検知部、３００・・・色成分選択部、３０１・・・浮動２値化部、３０２・・・膨張部、３０３・・・収縮部。

Claims

画像データを記憶する記憶手段と、
前記記憶手段に記憶されている画像データを２値化し、２値画像データを生成する２値化手段と、
前記２値化手段により生成された２値画像データが示す画像を複数の領域に分割し、分割した画像を示す分割２値画像データを生成する領域分割手段と、
前記分割２値画像データに対してハフ変換を行い、ハフ変換により得られた極座標上の座標の頻度を表すヒストグラムデータを、分割された画像領域毎に生成するハフ変換手段と、
前記ハフ変換手段が生成したヒストグラムデータ毎に、極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータを生成する頻度演算手段と、
前記頻度演算手段が生成した投影ヒストグラムデータを加算し、全体ヒストグラムデータを生成する全体頻度演算手段と、
前記全体頻度演算手段によって生成された全体ヒストグラムデータに基づき画像データが示す画像の傾き角度を検知する全体角度検知手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段と
を有する画像処理装置。
前記領域分割手段は、前記２値画像データが表す画像中のオブジェクトを検知し、検知したオブジェクト毎に画像を分割して分割２値画像データを生成し、
前記分割２値画像データが示す画像中のオブジェクトを示す属性データを生成する属性データ生成手段を有し、
前記全体頻度演算手段は、投影ヒストグラムデータに対応する属性データに応じて、投影ヒストグラムデータを加算すること
を特徴とする請求項１に記載の画像処理装置。
前記領域分割手段は、前記画像データが表す画像中のオブジェクトを検知し、検知したオブジェクトに基づいて、前記２値画像データが表す画像を分割して分割２値画像データを生成し、
前記分割２値画像データが表す画像中のオブジェクトを示す属性データを生成する属性データ生成手段を有し、
前記全体頻度演算手段は、投影ヒストグラムデータに対応する属性データに応じて、投影ヒストグラムデータを加算すること
を特徴とする請求項１に記載の画像処理装置。
画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データが示す画像を複数の領域に分割し、分割した画像を示す分割画像データを生成する領域分割手段と、
前記領域分割手段により生成された分割画像データを２値化し、分割２値画像データを生成する２値化手段と、
前記分割２値画像データに対してハフ変換を行い、ハフ変換により得られた極座標上の座標の頻度を表すヒストグラムデータを、分割された画像領域毎に生成するハフ変換手段と、
前記ハフ変換手段が生成したヒストグラムデータ毎に、極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータを生成する頻度演算手段と、
前記頻度演算手段が生成した投影ヒストグラムデータを加算し、全体ヒストグラムデータを生成する全体頻度演算手段と、
前記全体頻度演算手段によって生成された全体ヒストグラムデータに基づき画像データが表す画像の傾き角度を検知する全体角度検知手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段と
を有する画像処理装置。
前記領域分割手段は、前記画像データが示す画像中のオブジェクトを検知し、検知したオブジェクト毎に、前記画像データが表す画像を分割して分割画像データを生成し、
前記分割画像データが示す画像中のオブジェクトを示す属性データを生成する属性データ生成手段を有し、
前記全体頻度演算手段は、投影ヒストグラムデータに対応する属性データに応じて、投影ヒストグラムデータを加算すること
を特徴とする請求項４に記載の画像処理装置。
前記分割２値画像データが表す画像中のオブジェクトを示す属性データを生成する属性データ生成手段を有し、
前記全体頻度演算手段は、投影ヒストグラムデータに対応する属性データに応じて、投影ヒストグラムデータを加算すること
を特徴とする請求項４に記載の画像処理装置。
前記分割画像データが示す画像の重み係数を生成する重み係数生成手段を有し、
前記全体頻度演算手段は、投影ヒストグラムデータに対応する重み係数に応じて、投影ヒストグラムデータを加算すること
を特徴とする請求項４に記載の画像処理装置。
前記分割２値画像データが示す画像の重み係数を生成する重み係数生成手段を有し、
前記全体頻度演算手段は、投影ヒストグラムデータに対応する重み係数に応じて、投影ヒストグラムデータを加算すること
を特徴とする請求項１または４のいずれかの請求項に記載の画像処理装置。
画像データを記憶する記憶手段と、
前記記憶手段に記憶されている画像データを２値化し、２値画像データを生成する２値化手段と、
前記２値化手段により生成された２値画像データが表す画像を複数の領域に分割し、分割した画像を示す分割２値画像データを生成する領域分割手段と、
前記分割２値画像データ毎に、分割２値画像データが表す画像の角度を求める領域角度検知手段と、
前記領域角度検知手段が分割２値画像データ毎に求めた角度から、画像全体の傾き角度を求める全体角度検知手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段と
を有する画像処理装置。
前記領域分割手段は、前記２値画像データが表す画像中のオブジェクトを検知し、検知したオブジェクト毎に画像を分割して分割２値画像データを生成し、
前記分割２値画像データが示す画像中のオブジェクトを示す属性データを生成する属性データ生成手段を有し、
前記全体角度検知手段は、前記領域角度検知手段が分割２値画像データ毎に求めた角度と、該分割２値画像データに対応する属性データに基づいて、画像データが示す画像の傾き角度を求めること
を特徴とする請求項９に記載の画像処理装置。
前記領域分割手段は、前記画像データが示す画像中のオブジェクトを検知し、検知したオブジェクトに基づいて、前記２値画像データが示す画像を分割して分割２値画像データを生成し、
前記分割２値画像データが示す画像中のオブジェクトを示す属性データを生成する属性データ生成手段を有し、
前記全体角度検知手段は、前記領域角度検知手段が分割２値画像データ毎に求めた角度と、該分割２値画像データに対応する属性データに基づいて、画像データが表す画像の傾き角度を求めること
を特徴とする請求項９に記載の画像処理装置。
画像データを記憶する記憶手段と、
前記記憶手段に記憶されている画像データを分割し、分割した画像を示す分割画像データを生成する領域分割手段と、
前記領域分割手段が生成した分割画像データを２値化し、分割２値画像データを生成する２値化手段と、
前記分割２値画像データ毎に、分割２値画像データが表す画像の角度を求める領域角度検知手段と、
前記領域角度検知手段が分割２値画像データ毎に求めた角度から、画像全体の傾き角度を求める全体角度検知手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段と
を有する画像処理装置。
前記領域分割手段は、前記画像データが表す画像中のオブジェクトを検知し、検知したオブジェクト毎に画像を分割して分割画像データを生成し、
前記分割画像データが示す画像中のオブジェクトを示す属性データを生成する属性データ生成手段を有し、
前記全体角度検知手段は、前記領域角度検知手段が分割２値画像データ毎に求めた角度と、該分割２値画像データに対応する属性データに基づいて、画像データが示す画像の傾き角度を求めること
を特徴とする請求項１２に記載の画像処理装置。
前記分割画像データが示す画像の重み係数を生成する重み係数生成手段を有し、
前記全体角度検知手段は、前記領域角度検知手段が分割２値画像データ毎に求めた角度と、該分割２値画像データに対応する重み係数に基づいて、画像データが示す画像の傾き角度を求めること
を特徴とする請求項１２に記載の画像処理装置。
前記分割２値画像データが示す画像の重み係数を生成する重み係数生成手段を有し、
前記全体角度検知手段は、前記領域角度検知手段が分割２値画像データ毎に求めた角度と、該分割２値画像データに対応する重み係数に基づいて、画像データが示す画像の傾き角度を求めること
を特徴とする請求項９または１２のいずれかの請求項に記載の画像処理装置。
前記全体角度検知手段は、前記領域角度検知手段が求めた角度のうち、最も頻度の高い角度を求め、この求めた角度を画像全体の傾き角度とすること
を特徴とする請求項９または請求項１２のいずれかに記載の画像処理装置。
前記全体角度検知手段は、前記領域角度検知手段が求めた角度の平均値を求め、この求めた平均値を画像全体の傾き角度とすること
を特徴とする請求項９または請求項１２のいずれかに記載の画像処理装置。
画像データを記憶する記憶手段と、
前記記憶手段に記憶されている画像データを２値化し、２値画像データを生成する２値化手段と、
前記２値化手段により生成された２値画像データが表す画像を複数の領域に分割し、分割した画像を示す分割２値画像データを生成する領域分割手段と、
前記分割２値画像データに対してハフ変換を行い、ハフ変換により得られた極座標上の座標の頻度を表すヒストグラムデータを、分割された画像領域毎に生成するハフ変換手段と、
前記ハフ変換手段が生成したヒストグラムデータ毎に、極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータを生成する頻度演算手段と、
前記頻度演算手段が生成した投影ヒストグラムデータを加算し、全体ヒストグラムデータを生成する全体頻度演算手段と、
前記全体頻度演算手段によって生成された全体ヒストグラムデータにおいて、頻度が最大となる角度を求める第１全体角度検知手段と、
前記第１全体角度検知手段が求めた角度の信頼度を求める第１信頼度算出手段と、
前記頻度演算手段によって生成された投影ヒストグラムデータにおいて頻度が最大となる角度を、該投影ヒストグラムデータ毎に求める領域角度検知手段と、
前記領域角度検知手段が求めた角度のうち、最も頻度の高い角度を求める第２全体角度検知手段と、
前記第２全体角度検知手段が求めた角度の信頼度を求める第２信頼度算出手段と、
前記第１信頼度算出手段が求めた信頼度と前記第２信頼度算出手段が求めた信頼度とに基づいて、画像全体の傾き角度を求める全体角度決定手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度決定手段が求めた傾き角度に従って回転させる画像回転手段と
を有する画像処理装置。
画像データを記憶する記憶手段と、
前記記憶手段に記憶されている画像データが表す画像を複数の領域に分割し、分割した画像を示す分割画像データを生成する領域分割手段と、
前記領域分割手段により生成された分割画像データを２値化し、分割２値画像データを生成する２値化手段と、
前記分割２値画像データに対してハフ変換を行い、ハフ変換により得られた極座標上の座標の頻度を表すヒストグラムデータを、分割された画像領域毎に生成するハフ変換手段と、
前記ハフ変換手段が生成したヒストグラムデータ毎に、極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータを生成する頻度演算手段と、
前記頻度演算手段が生成した投影ヒストグラムデータを加算し、全体ヒストグラムデータを生成する全体頻度演算手段と、
前記全体頻度演算手段によって生成された全体ヒストグラムデータにおいて、頻度が最大となる角度を求める第１全体角度検知手段と、
前記第１全体角度検知手段が求めた角度の信頼度を求める第１信頼度算出手段と、
前記頻度演算手段によって生成された投影ヒストグラムデータにおいて頻度が最大となる角度を、該投影ヒストグラムデータ毎に求める領域角度検知手段と、
前記領域角度検知手段が求めた角度のうち、最も頻度の高い角度を求める第２全体角度検知手段と、
前記第２全体角度検知手段が求めた角度の信頼度を求める第２信頼度算出手段と、
前記第１信頼度算出手段が求めた信頼度と前記第２信頼度算出手段が求めた信頼度とに基づいて、画像全体の傾き角度を求める全体角度決定手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度決定手段が求めた傾き角度に従って回転させる画像回転手段と
を有する画像処理装置。
前記第２全体角度検知手段は、最も頻度の高い角度に替えて、前記領域角度検知手段が求めた角度の平均角度を求めることを特徴とする請求項１８または請求項１９に記載の画像処理装置。
前記全体角度決定手段は、前記第１信頼度算出手段が求めた信頼度と、前記第２信頼度算出手段が求めた信頼度とを比較し、
前記第１信頼度算出手段が求めた信頼度が前記第２信頼度算出手段が求めた信頼度より高い場合には、前記第１全体角度検知手段が求めた角度を画像全体の角度とし、前記第２信頼度算出手段が求めた信頼度が前記第１信頼度算出手段が求めた信頼度より高い場合には、前記第２全体角度検知手段が求めた角度を画像全体の傾き角度とすること
を特徴とする請求項１８または請求項１９に記載の画像処理装置。
前記全体角度決定手段は、前記第１信頼度算出手段が求めた信頼度が予め定めた閾値以上である場合には、前記第１全体角度検知手段が求めた角度を画像全体の傾き角度とし、前記第１信頼度算出手段が求めた信頼度が予め定めた閾値未満である場合には、前記第２全体角度検知手段が求めた角度を画像全体の傾き角度とすること
を特徴とする請求項１８または請求項１９に記載の画像処理装置。
前記全体角度決定手段は、前記第２信頼度算出手段が求めた信頼度が予め定めた閾値以上である場合には、前記第２全体角度検知手段が求めた角度を画像全体の傾き角度とし、前記第２信頼度算出手段が求めた信頼度が予め定めた閾値未満である場合には、前記第１全体角度検知手段が求めた角度を画像全体の傾き角度とすること
を特徴とする請求項１８または請求項１９に記載の画像処理装置。
前記領域分割手段は、前記２値化手段により生成された２値画像データが表す画像を、Ｎ行×Ｍ列（ＮおよびＭは整数）の領域に分割し、分割した画像を示す画像データを分割画像データとすることを特徴とする請求項１、請求項９または請求項１８のいずれかの請求項に記載の画像処理装置。
前記領域分割手段は、前記記憶手段に記憶されている画像データが表す画像を、Ｎ行×Ｍ列（ＮおよびＭは整数）の領域に分割し、分割した画像を示す画像データを分割画像データとすることを特徴とする請求項４、請求項１２または請求項１９のいずれかの請求項に記載の画像処理装置。
コンピュータを、
画像データを記憶する記憶手段と、
前記記憶手段に記憶されている画像データを２値化し、２値画像データを生成する２値化手段と、
前記２値化手段により生成された２値画像データが示す画像を複数の領域に分割し、分割した画像を示す分割２値画像データを生成する領域分割手段と、
前記分割２値画像データに対してハフ変換を行い、ハフ変換により得られた極座標上の座標の頻度を表すヒストグラムデータを、分割された画像領域毎に生成するハフ変換手段と、
前記ハフ変換手段が生成したヒストグラムデータ毎に、極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータを生成する頻度演算手段と、
前記頻度演算手段が生成した投影ヒストグラムデータを加算し、全体ヒストグラムデータを生成する全体頻度演算手段と、
前記全体頻度演算手段によって生成された全体ヒストグラムデータに基づき画像データが示す画像の傾き角度を検知する全体角度検知手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段
として機能させるためのプログラム。
コンピュータを、
画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データが示す画像を複数の領域に分割し、分割した画像を示す分割画像データを生成する領域分割手段と、
前記領域分割手段により生成された分割画像データを２値化し、分割２値画像データを生成する２値化手段と、
前記分割２値画像データに対してハフ変換を行い、ハフ変換により得られた極座標上の座標の頻度を表すヒストグラムデータを、分割された画像領域毎に生成するハフ変換手段と、
前記ハフ変換手段が生成したヒストグラムデータ毎に、極座標上の各角度における頻度の密集度を表す投影ヒストグラムデータを生成する頻度演算手段と、
前記頻度演算手段が生成した投影ヒストグラムデータを加算し、全体ヒストグラムデータを生成する全体頻度演算手段と、
前記全体頻度演算手段によって生成された全体ヒストグラムデータに基づき画像データが表す画像の傾き角度を検知する全体角度検知手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段
として機能させるためのプログラム。
画像データを記憶する記憶手段と、
前記記憶手段に記憶されている画像データを２値化し、２値画像データを生成する２値化手段と、
前記２値化手段により生成された２値画像データが表す画像を複数の領域に分割し、分割した画像を示す分割２値画像データを生成する領域分割手段と、
前記分割２値画像データ毎に、分割２値画像データが表す画像の角度を求める領域角度検知手段と、
前記領域角度検知手段が分割２値画像データ毎に求めた角度から、画像全体の傾き角度を求める全体角度検知手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段
として機能させるためのプログラム。
コンピュータを、
画像データを記憶する記憶手段と、
前記記憶手段に記憶されている画像データを分割し、分割した画像を示す分割画像データを生成する領域分割手段と、
前記領域分割手段が生成した分割画像データを２値化し、分割２値画像データを生成する２値化手段と、
前記分割２値画像データ毎に、分割２値画像データが表す画像の角度を求める領域角度検知手段と、
前記領域角度検知手段が分割２値画像データ毎に求めた角度から、画像全体の傾き角度を求める全体角度検知手段と、
前記記憶手段に記憶されている画像データが示す画像を、前記全体角度検知手段が求めた傾き角度に従って回転させる画像回転手段
として機能させるためのプログラム。
請求項２６乃至請求項２９のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。