JP2010286917A - 画像処理装置、画像読取装置、複合機、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】原稿から読み取った画像データに対する傾き補正処理の精度を向上させる。
【解決手段】画像データから上記原稿に含まれる文書のうち最も長い行を抽出し、最も長い行の一端部を含む画像と他端部を含む画像とを抽出し、これら両画像を、上記最も長い行延伸方向に隣接し、かつ、これら両画像における上記最も長い行または最も長い直線上記延伸方向に垂直な方向の表示位置が上記画像データにおける上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の位置に応じた位置になるように画像表示装置７に表示させ、画像表示装置７に表示されている上記両画像に対する傾き補正量についてのユーザからの指示入力を受け付ける。
【選択図】図１

Description

本発明は、原稿から読み取った画像データの傾き補正処理を行う画像処理装置および画像処理方法に関するものである。

従来より、紙媒体等の原稿をスキャナで読み取って取得した画像データに対して読み取り時に生じる原稿の傾きを補正する傾き補正処理技術（スキュー補正処理技術）が知られている。

例えば、特許文献１には、原稿のエッジ情報（原稿と原稿以外の領域との境界情報）、罫線情報、文字列情報などの特徴量に基づいて複数の傾き角度の候補を求め、これら複数の傾き角度の候補を表示装置に表示してユーザに提示し、ユーザが選択した傾き角度に応じて画像を回転させる技術が開示されている。

また、特許文献２には、文書から読み取った画像データから文書に含まれる頁番号を抽出し、この頁番号の傾きや頁番号の修飾文字である”−”の傾きから文書の傾きを検出し、検出結果に基づいて文書の傾きを補正する技術が開示されている。

また、特許文献２には、傾き補正処理後の画像データに対して文字認識処理を施してテキストデータを作成し、作成したテキストデータを画像データの余白領域と同一色にして余白領域に埋め込んでＰＤＦファイルを作成することが記載されている。この技術では、ＰＤＦデータに含まれる情報の一部をＰＤＦデータの余白領域に余白領域と同一色のテキストデータとして埋め込むので、テキストデータは視認されることなく、テキストデータをキーワードとしてＰＤＦデータの中から所望の情報を検索することができるようになる。なお、テキストデータを画像データに埋め込む方法としては、透明なテキストデータ（所謂、透明テキスト）を埋め込む方法も知られている。

特開２００６−８７０２７号公報（平成１８年３月３０日公開） 特開２００４−２８０５１４号公報（平成１６年１０月７日公開）

しかしながら、上記各特許文献の技術には、傾き補正の精度が低いという問題がある。

また、傾き補正処理後の画像データに基づいて文字認識処理を行う場合には、傾き補正の精度が低いことに起因して文字認識処理の精度が低くなってしまうという問題がある。

本発明は、上記の問題に鑑みてなされたものであり、その目的は、原稿から読み取った画像データに対する傾き補正処理を精度よく施すことにある。

本発明の画像処理装置は、上記の課題を解決するために、原稿から読み取った画像データに対して傾き補正処理を施す画像処理装置であって、上記画像データから上記原稿に含まれる文書の各行のうちの最も長い行、または上記原稿に含まれる罫線のうち最も長い直線を抽出するレイアウト解析部と、上記最も長い行または上記最も長い直線の一端部を含む画像と、他端部を含む画像とを抽出する端部画像抽出部と、上記両画像を、上記最も長い行または最も長い直線の延伸方向に隣接し、かつ、これら両画像における上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の表示位置が上記画像データにおける上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の位置に応じた位置になるように画像表示装置に表示させる制御部と、上記画像表示装置に表示されている上記両画像に対する傾き補正量についてのユーザからの指示入力を受け付ける指示入力装置とを備えていることを特徴としている。

また、本発明の画像処理方法は、上記の課題を解決するために、原稿から読み取った画像データに対して傾き補正処理を施す画像処理方法であって、上記画像データから上記原稿に含まれる文書の各行のうちの最も長い行、または上記原稿に含まれる罫線のうち最も長い直線を抽出するレイアウト解析工程と、上記最も長い行または上記最も長い直線の一端部を含む画像と、他端部を含む画像とを抽出する端部画像抽出工程と、上記両画像を、上記最も長い行または最も長い直線の延伸方向に隣接し、かつ、これら両画像における上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の表示位置が上記画像データにおける上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の位置に応じた位置になるように画像表示装置に表示させる表示工程と、上記画像表示装置に表示されている上記両画像に対する傾き補正量についてのユーザからの指示入力を受け付ける指示入力工程とを含むことを特徴としている。

上記の画像処理装置および画像処理方法では、上記画像データから上記原稿に含まれる文書の各行のうちの最も長い行または上記原稿に含まれる罫線のうち最も長い直線を抽出し、上記最も長い行または上記最も長い直線の一端部を含む画像と他端部を含む画像とを抽出する。そして、上記両画像を、上記最も長い行または最も長い直線の延伸方向に隣接し、かつ、これら両画像における上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の表示位置が上記画像データにおける上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の位置に応じた位置になるように画像表示装置に表示させる。これにより、ユーザは、画像表示装置に隣接して表示される最も長い行または最も長い直線の両端部の画像を対比することで、原稿の傾きの程度を容易かつ適切に把握することができる。したがって、ユーザが上記両端部の画像を参照し、上記両画像に対する傾き補正量についての指示入力を行うことで、画像表示装置に表示される上記両画像の上記延伸方向に対して垂直な方向の位置を精度よく調整することができる。これにより、画像データに対する傾き補正を精度よく行うことができる。

また、本発明の画像処理装置において、上記指示入力に応じて上記両画像の上記延伸方向に垂直な方向の表示位置を変更する表示画像補正部を備えている構成としてもよい。

上記の構成によれば、表示画像補正部が、ユーザからの指示入力に応じて上記両画像の上記延伸方向に垂直な方向の表示位置を変更することにより、上記指示入力に対応する傾き補正量を適用した場合の傾き補正結果を画像表示装置に表示させることができる。これにより、ユーザが画像表示装置に表示される上記両画像を参照して傾き補正量の微調整を行うことができるので、傾き補正を精度よく行うことができる。

また、上記指示入力装置がユーザからの傾き補正量の確定指示を受け付けたときに、確定された傾き補正量に基づいて上記画像データに傾き補正処理を施す原稿補正部を備えている構成としてもよい。

上記の構成によれば、傾き補正量が未確定の段階では画像データ全体に対する傾き補正処理は行わずに表示画像補正部が画像表示装置に表示させる上記両画像の表示位置のみを補正し、ユーザからの傾き補正量の確定指示を受け付けたときに原稿補正部が画像データに傾き補正処理を施す。したがって、ユーザから傾き補正量についての入力が成される毎に画像データに対する傾き補正処理を施す場合に比べて傾き補正処理にかかる演算量を低減し、傾き補正処理を高速化することができる。

また、上記原稿補正部によって傾き補正処理が施された画像データに基づいて上記原稿に含まれる文字に対する文字認識処理を行う文字認識部を備えている構成としてもよい。

上記の構成によれば、高精度に傾き補正された画像データに基づいて文字認識処理を行うことができるので、文字認識処理の精度を高めることができる。

また、上記制御部は、上記両画像における上記最も長い行または上記最も長い直線を、他の行または直線とは異なる表示方法で表示する構成としてもよい。例えば、上記最も長い行に属する文字または上記最も長い直線をそれ以外の行に属する文字または直線とは異なる色で表示させたり、上記最も長い行または上記最も長い直線に対応する領域の下地色を他の領域の下地色と異ならせたり、最も長い行に属する文字にアンダーラインを付したりしてもよい。

上記の構成によれば、ユーザが上記両画像における上記最も長い行または上記最も長い直線を容易に認識して対比することができる。

また、上記レイアウト解析部は、上記原稿が文書を上記延伸方向に並ぶ複数のブロックに分割して記載した段組み原稿であるか否かを判定し、上記端部画像抽出部は、上記原稿が段組み原稿である場合であって、かつ上記各ブロックにおける行同士の間隔が略同一である場合には、これら各ブロックを共通のブロックとみなして上記最も長い行または上記最も長い直線を選択する構成としてもよい。

一般に、段組み原稿では各ブロックにおける各行の延伸方向に垂直な方向の位置は一致している。そこで、上記の構成では、上記原稿が段組み原稿である場合には、上記各ブロックを共通のブロックとみなして上記最も長い行または上記最も長い直線を選択する。これにより、上記両画像同士における行の延伸方向の間隔を広くすることができるので、原稿の傾きを画像表示装置に表示される上記両画像の表示位置により効果的に反映させることができるので、ユーザが原稿の傾きの程度をより適切に把握することができる。

また、上記レイアウト解析部は、上記原稿が複数ページの文書を１枚の原稿に割り付けた割付原稿であるか否かを判定し、上記端部画像抽出部は、上記原稿が割付原稿である場合には、当該原稿に含まれる複数ページの文書のうちの最も長い行または最も長い行を選択する構成としてもよい。

割付原稿の場合、当該原稿に含まれる複数ページ分の文書同士の位置は必ずしも一致していない。特に、複数枚のオリジナル原稿をスキャナで読み取って取得した画像データを１枚の原稿に割り付けた割付原稿である場合、各オリジナル原稿の読み取り時の傾きはオリジナル原稿毎に異なるため、割付原稿におけるオリジナル原稿の画像位置は一致しない場合が多い。そこで、上記の構成では、上記原稿が割付原稿である場合には、当該原稿に含まれる複数ページの文書のうちの最も長い行または最も長い行を選択する。これにより、割付原稿の場合であっても画像表示装置に表示される上記両画像に基づいて原稿の傾きを適切に把握することができる。

本発明の画像読取装置は、原稿を読み取って当該原稿の画像データを生成する画像入力装置と、上記したいずれかの画像処理装置とを備えている。また、本発明の複合機は、上記したいずれかの画像処理装置を備えている。

したがって、上記の画像読取装置および複合機によれば、画像データに対して傾き補正処理を精度よく施すことができる。

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

以上のように、本発明の画像処理装置および画像処理方法は、画像データにおける最も長い行または最も長い直線の一端部を含む画像と他端部を含む画像とを抽出し、これら両画像を、上記最も長い行または最も長い直線の延伸方向に隣接し、かつ、これら両画像における上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の表示位置が上記画像データにおける上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の位置に応じた位置になるように画像表示装置に表示させ、画像表示装置に表示されている上記両画像に対する傾き補正量についてのユーザからの指示入力を受け付ける。

それゆえ、画像データに対する傾き補正を精度よく行うことができる。

本発明の一実施形態にかかる画像処理装置に表示される両端画像の一例を示す説明図である。 本発明の一実施形態にかかる画像処理装置（複合機、画像読取装置）の構成を示すブロック図である。 本発明の一実施形態にかかる画像処理装置（複合機、画像読取装置）の構成を示すブロック図である。 図２および図３に示した画像処理装置の変形例を示すブロック図である。 図２および図３に示した画像処理装置の変形例を示すブロック図である。 図２および図３に示した画像処理装置において中間調補正処理に用いるガンマ曲線の一例を示すグラフである。 図２および図３に示した画像処理装置において生成される画像ファイルの構成を示す説明図である。 図２および図３に示した画像処理装置に備えられる原稿検知部の構成を示すブロック図である。 図８に示した原稿検知部における処理の流れを示すフロー図である。 図８に示した原稿検知部におけるレイアウト解析処理を説明するための説明図である。 図８に示した原稿検知部における両端画像の抽出処理を説明するための説明図である。 図８に示した原稿検知部において、段組み原稿の画像データから両端画像を抽出する場合の抽出方法を説明するための説明図である。 図８に示した原稿検知部において、割付原稿の画像データから両端画像を抽出する場合の抽出方法を説明するための説明図である。 本発明の画像処理装置（画像読取装置）の変形例を示すブロック図である。 本発明の画像処理装置（コンピュータシステム）の変形例を示すブロック図である。

本発明の一実施形態について説明する。なお、本実施形態では、主に、本発明をコピア機能・プリンタ機能・ファクシミリ送信機能・scan to e-mail機能等を備えるデジタルカラー複合機に適用する場合の一例について説明するが、本発明の適用対象はこれに限るものではない。

（１）デジタルカラー複合機の全体構成
図２および図３は、本実施形態にかかるデジタルカラー複合機（複合機、画像読取装置）１の概略構成を示すブロック図である。なお、デジタルカラー複合機１は、（１）画像入力装置２で読み取った画像データに応じた画像を画像出力装置４によって記録材上に形成する画像形成モード、および（２）画像入力装置２で読み取った画像データに傾き補正等の処理を施した画像データを通信装置５によって外部装置に送信する画像送信モードを備えている。また、図２は画像形成モードにおけるデータの流れを示しており、図３は画像データとテキストデータとを対応付けた画像ファイルを生成して外部装置に送信する際のデータの流れを示している。

図２および図３に示すように、デジタルカラー複合機１は、画像入力装置２、画像処理装置３、画像出力装置４、通信装置５、操作パネル６、および画像表示装置７を備えている。

画像入力装置２は、原稿の画像を読み取って画像データ（原稿画像データ）を生成するものであり、例えばＣＣＤ（Charge Coupled Device ）などの光学情報を電気信号に変換するデバイスを備えたスキャナ部（図示せず）より構成されている。本実施形態では、画像入力装置２は、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号として画像処理装置３に出力する。なお、画像入力装置２の構成は特に限定されるものではなく、例えば原稿載置台に載置された原稿を読み取るものであってもよく、原稿搬送手段によって搬送されている原稿を読み取るものであってもよい。

画像処理装置３は、図２および図３に示すように、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、原稿検知部１４、原稿補正部１５、色補正部１６、黒生成下色除去部１７、空間フィルタ処理部１８、出力階調補正部１９、中間調生成部（中間調生成部）２０、領域分離部２１、画像ファイル生成部２２、記憶部２３、および制御部２４を備えている。記憶部２３は画像処理装置３で扱われる各種データ（画像データ等）を記憶する記憶手段である。記憶部２３の構成は特に限定されるものではないが、例えばハードディスクなどを用いることができる。また、制御部２４は、画像処理装置３に備えられる各部および画像表示装置７の動作を制御する制御手段である。この制御部２４は、デジタルカラー複合機１の主制御部（図示せず）に備えられるものであってもよく、主制御部とは別に備えられ、主制御部と協働して処理を行うものであってもよい。

画像処理装置３は、画像形成モードでは、画像入力装置２から入力された画像データに種々の画像処理を施して得られるＣＭＹＫの画像データを画像出力装置４に出力する。また、画像送信モードでは、画像入力装置２から入力された画像データに種々の画像処理を施すと共に、画像データに対して文字認識処理を施してテキストデータを取得し、画像データとテキストデータとを対応付けた画像ファイルを生成して通信装置５に出力する。なお、画像処理装置３の詳細については後述する。

画像出力装置４は、画像処理装置３から入力された画像データを記録材（例えば紙等）上に出力するものである。画像出力装置４の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いた画像出力装置を用いることができる。

通信装置５は、例えばモデムやネットワークカードより構成される。通信装置５は、ネットワークカード、ＬＡＮケーブル等を介して、ネットワークに接続された他の装置（例えば、パーソナルコンピュータ、サーバ装置、表示装置、他のデジタル複合機、ファクシミリ装置等）とデータ通信を行う。

操作パネル（指示入力装置）６は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され（いずれも図示せず）、デジタルカラー複合機１の主制御部（図示せず）の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル６を介して入力画像データに対する処理モード、印刷枚数、用紙サイズ、送信先アドレスなどの各種情報を入力することができる。

画像表示装置７は、制御部２４の指示に応じた画像を表示する。画像表示装置７に表示させる内容の詳細については後述する。

なお、画像表示装置７は、操作パネル６に備えられる表示部と共通であってもよい。また、画像表示装置７はデジタルカラー複合機１に対して通信可能に接続されるパーソナルコンピュータ等のモニタであってもよく、その場合には画像表示装置７にデジタルカラー複合機１の各種設定画面（ドライバ）を表示させ、ユーザがこのコンピュータシステムに備えられるマウスやキーボード等の指示入力装置を用いて各種の指示を入力するようにしてもよい。また、画像処理装置３の処理の一部または全部をデジタルカラー複合機１に対して通信可能に接続されるパーソナルコンピュータ等のコンピュータシステムによって実現してもよい。

上記主制御部は、例えばＣＰＵ（Central Processing Unit）等からなり、図示しないＲＯＭ等に格納されたプログラムや各種データ、操作パネル６から入力される情報等に基づいて、デジタルカラー複合機１の各部の動作を制御する。

（２）画像処理装置３の構成および動作
（２−１）画像形成モード
次に、画像処理装置３の構成、および画像形成モードにおける画像処理装置３の動作についてより詳細に説明する。

画像形成モードの場合、図２に示すように、まず、Ａ／Ｄ変換部１１が、画像入力装置２から入力されたＲＧＢのアナログ信号をデジタル信号に変換してシェーディング補正部１２に出力する。

シェーディング補正部１２は、Ａ／Ｄ変換部１１から送られてきたデジタルのＲＧＢ信号に対して、画像入力装置２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施し、入力処理部１３に出力する。

入力処理部（入力階調補正部）１３は、シェーディング補正部１２にて各種の歪みが取り除かれたＲＧＢ信号に対して、カラーバランスを整えると同時に、濃度信号など画像処理装置３に採用されている画像処理システムの扱い易い信号に変換する処理を施す。また、下地濃度の除去やコントラストなどの画質調整処理を行う。また、入力処理部１３は、上記の各処理を施した画像データを記憶部２３に記憶させる。

原稿検知部１４は、入力処理部１３によって上記の処理を施された画像データに基づいて原稿画像の傾き角度、および天地方向を検出し、検出結果を原稿補正部１５に出力する。原稿検知部１４の詳細については後述する。

原稿補正部１５は、原稿検知部１４の検知結果に基づいて画像データに傾き補正処理および天地補正処理を行い、これらの処理を施した画像データを色補正部１６および領域分離部２１に出力する。なお、原稿補正部１５が原稿検知部１４の傾き角度検知結果に基づいて傾き補正処理を行い、傾き補正後の画像データに基づいて原稿検知部１４が天地方向の検出を行い、天地方向の検出結果に基づいて原稿補正部１５が天地補正処理を行うようにしてもよい。

また、原稿補正部１５によって傾き補正処理および天地補正処理が施された画像データをファイリングデータとして管理するようにしてもよい。この場合、上記画像データは、例えば、ＪＰＥＧ圧縮アルゴリズムに基づいてＪＰＥＧコードに圧縮されて記憶部２３に格納される。そして、この画像データに対するコピー出力動作やプリント出力動作が指示された場合には、記憶部２３からＪＰＥＧコードが引き出されて不図示のＪＰＥＧ伸張部に引き渡され、復号化処理が施されてＲＧＢデータに変換される。また、上記の画像データに対して送信動作が指示された場合には、記憶部２３からＪＰＥＧコードが引き出され、ネットワーク網や通信回線を介して通信装置５から外部装置へ送信される。

色補正部１６は、記憶部２３から読み出した画像データをＲＧＢ信号の補色であるＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）信号に変換するとともに、色再現性を高める処理を行う。

黒生成下色除去部１７は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行うものである。これにより、ＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

空間フィルタ処理部１８は、黒生成下色除去部１７より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理（強調処理および／または平滑化処理）を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。

出力階調補正部１９は、用紙等の記録材に出力するための出力γ補正処理を行い、出力γ補正処理後の画像データを中間調生成部２０に出力する。

中間調生成部２０は、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）を施し、画像出力装置４に出力する。

領域分離部２１は、ＲＧＢ信号より、入力画像中の各画素を黒文字領域、色文字領域、網点領域、印画紙写真（連続階調領域）領域の何れかに分離するものである。領域分離部２１は、分離結果に基づき、画素がどの領域に属しているかを示す領域分離信号を、黒生成下色除去部１７、空間フィルタ処理部１８、および中間調生成部２０へと出力する。領域分離処理の方法は特に限定されるものではなく、従来から公知の方法を用いることができる。黒生成下色除去部１７、空間フィルタ処理部１８、および中間調生成部２０では、入力された領域分離信号に基づいて、各領域に適した処理が行われる。

画像ファイル生成部２２は、文字認識部４１、描画コマンド生成部４２、およびフォーマット化処理部４３を備えており、画像送信モードが選択された場合に、必要に応じて文字認識処理を行うとともに、外部装置に送信するための画像ファイルを生成する。なお、画像ファイル生成部２２は、画像形成モードでは動作を行わない。画像ファイル生成部２２の詳細については後述する。

上述した各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されて画像出力装置４に入力される。

（２−２）画像送信モード
次に、画像送信モードにおける画像処理装置３の動作について、図３を参照しながらより詳細に説明する。なお、通常送信モードにおけるＡ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、原稿検知部１４、原稿補正部１５、および領域分離部２１の処理の動作は画像形成モードの場合と略同様である。

本実施形態では、画像送信モードが選択された場合、ユーザが、操作パネル６を介して、文字認識処理を行うか否かを選択できるようになっている。

なお、例えば、図４に示すように、文字認識部４１よりも前段に画像データに基づいて原稿の種別を判別する原稿種別自動判別部２５を設け、この原稿種別自動判別部２５から出力される原稿種別判別信号を文字認識部４１に入力させ、原稿種別判別信号が文字を含む原稿（例えば文字原稿、文字印刷写真原稿、文字印画紙写真原稿など）であることを示す場合に文字認識を行うようにしてもよい。原稿種別自動判別部２５における原稿種別の判別方法は、少なくとも文字を含む原稿と文字を含まない原稿とを判別できる方法であれば特に限定されるものではなく、従来から公知の種々の方法を用いることができる。

また、図５に示すように、領域分離部２１から出力される領域分離信号を文字認識部４１に入力させ、文字認識部４１がこの領域分離信号に基づいて、文字領域（文字エッジと判定された画素からなる画像領域）を示すテキストマップを生成し、文字領域に対してのみ文字認識処理を行うようにしてもよい。

文字認識処理を行う場合について図３を参照しながら説明する。原稿検知部１４に備えられるレイアウト解析部３４は、画像送信モードが選択され、かつ文字認識処理を行うことが選択された場合に画像データに含まれる文字の方向が縦書きであるか横書きであるかの解析結果を画像ファイル生成部２２に備えられる文字認識部４１に出力する。

文字認識部４１は、原稿補正部１５によって傾き補正処理および天地補正処理を施された２値画像データを記憶部２３から読み出し、この画像データに対して文字認識処理を行う。そして、文字認識処理結果に基づいてテキストデータを生成し、描画コマンド生成部４２に出力する。なお、このテキストデータは、各文字の文字コードと各文字の位置とを含む。文字認識処理の方法は特に限定されるものではなく、従来から公知の方法を用いることができる。

描画コマンド生成部４２は、文字認識部４１による文字認識結果に基づく透明テキストを画像ファイル内に配置するための命令を生成する。ここで、透明テキストとは、認識された文字および単語をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。

また、文字認識部４１の文字認識処理および描画コマンド生成部４２の描画コマンド生成処理と並行して、色補正部１６、空間フィルタ処理部１８、および出力階調補正部１９は、画像データに対する所定の処理を行う。

具体的には、色補正部１６は、原稿補正部１５から入力されたＲＧＢの画像データを、一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）に変換し、黒生成下色除去部１７に出力する。黒生成下色除去部１７は、画像送信モードでは色補正部１６から入力された画像データをそのまま空間フィルタ処理部１８に出力（スルー）する。

空間フィルタ処理部１８は、黒生成下色除去部１７より入力されるＲ’Ｇ’Ｂ’の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理（強調処理および／または平滑化処理）を行い、出力階調補正部１９に出力する。

出力階調補正部１９は、空間フィルタ処理部１８から入力されたＲ’Ｇ’Ｂ’の画像データに対して領域識別信号を基に所定の処理を施し、中間調生成部２０に出力する。例えば、出力階調補正部１９は、文字領域に対しては図６に実線で示したガンマ曲線を用いた補正を行い、文字領域以外の領域に対しては図６に破線で示したガンマ曲線を用いた補正を行う。なお、文字領域以外の領域に対するガンマ曲線としては、例えば送信先の外部装置に備えられる表示装置の表示特性に応じた曲線を設定しておき、文字領域のガンマ曲線は文字をくっきり表示できるように設定しておくことが好ましい。

中間調生成部２０は、出力階調補正部１９から入力されたＲ’Ｇ’Ｂ’の画像データを画像ファイル生成部２２のフォーマット化処理部４３に出力（スルー）する。

画像ファイル生成部２２に備えられるフォーマット化処理部４３は、中間調生成部２０から入力された画像データに、描画コマンド生成部４２から入力された命令に応じて透明テキストを埋め込み、所定のフォーマットの画像ファイルを生成する。そして、生成した画像ファイルを通信装置５に出力する。なお、本実施形態では、フォーマット化処理部４３がＰＤＦ形式の画像ファイルを生成する。ただし、画像ファイルのフォーマットはこれに限るものではなく、画像データに透明テキストを埋め込むことができるフォーマット、あるいは画像データとテキストデータとを対応付けることのできるフォーマットであればよい。

図７は、フォーマット化処理部４３によって生成されるＰＤＦ形式の画像ファイルの構成を示す説明図である。この図に示すように、上記画像ファイルは、ヘッダ部、ボディ部、相互参照表、およびトレーラ部によって構成されている。

ヘッダ部には、このファイルがＰＤＦファイルであることを示す文字列とバージョン番号とが含まれる。ボディ部には、表示する情報やページ情報などが含まれる。相互参照表には、ボディ部の中身にアクセスするためのアドレス情報が記述されている。トレーラ部には、はじめにどこから読み込むかを示す情報などが記述されている。

ボディ部は、各ページからなるオブジェクトに対する参照情報などが記述される文書カタログ記述部、ページ毎の表示範囲等の情報が記述されるページ記述部、画像データが記述される画像データ記述部、および対応するページを描画する際に適用する条件が記述される画像描画記述部からなる。なお、ページ記述部、画像データ記述部、および画像描画記述部は各ページに対応して設けられる。

通信装置５は、フォーマット化処理部４３から入力された画像ファイルを、ネットワークを介して通信可能に接続された外部装置に送信する。例えば、通信装置５は、上記の画像ファイルを図示しないメール処理部（ジョブ装置）によって電子メールに添付して送信する。

（２−３）原稿検知部１４の構成および処理
図８は原稿検知部１４の概略構成を示すブロック図であり、図９は原稿検知部１４における処理の流れを示すフロー図である。

図８に示すように、原稿検知部１４は、信号変換部３１、２値化処理部３２、解像度変換部３３、レイアウト解析部３４、端部領域抽出部（端部画像抽出部）３５、傾き補正部（表示画像補正部）３６、および天地検出部３７を備えている。

まず、制御部２４は、入力処理部１３によって上記各処理を施された画像データがカラー画像であった場合、この画像データを無彩化し、明度信号もしくは輝度信号に変換する信号変換処理を信号変換部３１に行わせる（Ｓ１）。

例えば、信号変換部３１は、Ｙｉ＝０．３０Ｒｉ＋０．５９Ｇｉ＋０．１１Ｂｉを演算することによりＲＧＢ信号を輝度信号Ｙに変換する。ここで、Ｙは各画素の輝度信号であり、Ｒ，Ｇ，Ｂは各画素のＲＧＢ信号における各色成分であり、添え字のｉは画素毎に付与された値（ｉは１以上の整数）である。あるいは、ＲＧＢ信号をＣＩＥ１９７６Ｌ*ａ*ｂ*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ*：明度、a*,ｂ*:色度）に変換してもよく、Ｇ信号を用いてもよい。

次に、制御部２４は、２値化処理部３２に画像データの２値化処理を行わせる（Ｓ２）。２値化処理部３２は、無彩化された画像データ（輝度値（輝度信号）または明度値（明度信号））と、予め設定された閾値とを比較することにより画像データを２値化する。例えば、画像データが８ビットである場合、上記閾値を１２８とする。あるいは、複数の画素（例えば５画素×５画素）からなるブロックにおける濃度（画素値）の平均値を閾値としてもよい。

次に、制御部２４は、解像度変換部３３を制御して２値化された画像データの解像度を低解像度に変換させる（Ｓ３）。例えば、解像度変換部３３は、１２００ｄｐｉ、あるいは６００ｄｐｉで読み込まれた画像データを７５ｄｐｉに変換する。解像度変換の方法は特に限定されるものではなく、例えば、公知のニアレストネイバー法、バイリニア法、バイキュービック法などを用いることができる。また、変換後の解像度は上記した例に限るものではない。

次に、制御部２４は、レイアウト解析部３４に、レイアウト解析処理を行わせ、画像データに含まれる文字の方向が縦書きであるか横書きであるかを判定させる（Ｓ４）。

具体的には、レイアウト解析部３４は、図１０に示すように、解像度変換部３３から入力される画像データに含まれる文字を抽出し、各文字の外接矩形を求め、隣接する外接矩形間の距離を算出する。そして、この隣接する外接矩形間の距離に基づいて画像データの文字が縦書きであるか横書きであるかを判定する。

なお、文字を抽出する際、レイアウト解析部３４は、画像データにおける副走査方向に延伸する最初のラインに含まれる各画素が黒画素であるか否かを画素毎に判断し、黒画素であると判断した画素に所定のラベルを割り付ける。その後、ラベル付けを行った上記のラインに対して主走査方向に隣接するラインについて、当該ラインに含まれる各画素が黒画素であるか否かを画素毎に判断し、黒画素であると判断した画素にラベル付け済みの上記ラインで用いたラベルとは異なるラベルを割り付ける。そして、黒画素であると判断した各画素について、当該画素に対して隣接するラベル付け済みの上記ラインの画素が黒文字であるかを判断し、黒文字であると判断した場合には、黒画素が連結していると判断し、当該画素のラベルを隣接するラベル付け済みの上記ラインの画素と同じラベル（１つ上のラインのラベルと同じラベル）に変更する。その後、上記の処理を主走査方向に並ぶ各ラインについて繰り返し、同じラベルが付された画素を抽出することにより、文字の抽出を行う。

また、各文字の外接矩形を求める際、レイアウト解析部３４は、抽出された各文字の上端、下端、左端および右端の画素位置に基づいてこれら各文字の外接矩形を抽出する。なお、各文字および各外接矩形の座標は、例えば画像データの上端かつ左端の位置を原点として算出する。

また、レイアウト解析部３４は、文字の方向が縦書きであるか横書きであるかを示す判定結果を示す信号を、端部領域抽出部３５および画像ファイル生成部２２に備えられる文字認識部４１に出力する。なお、レイアウト解析部３４が、原稿内の領域毎にレイアウト認識処理を行うようにしてもよい。例えば、レイアウト解析部３４が、外接矩形間の距離が略均等である文字群からなる領域をそれぞれ抽出し、抽出した領域毎に縦書きであるか横書きであるかを判断するようにしてもよい。

次に、制御部２４は、端部領域抽出部３５に、レイアウト解析部３４の解析結果に基づいて、画像データに含まれる最も長い行を抽出させる（Ｓ５）。この際、端部領域抽出部３５は、レイアウト解析部３４によって横書きであると判定された場合には横方向の長さが最も長い行を抽出し、縦書きであると判断された場合には縦方向の長さが最も長い行を抽出する。つまり、端部領域抽出部３５は、レイアウト解析部３４による縦書きであるか横書きであるかの判定結果に基づいて行の延伸方向を判断し、当該方向に並ぶ複数の文字からなる集合のうち当該方向の長さが最も長い集合を最も長い行として抽出する。

次に、制御部２４は、端部領域抽出部３５に、抽出した最も長い行の一端部を含む所定サイズの画像領域と、当該行の他端部を含む所定サイズの画像領域とをそれぞれ抽出させる（Ｓ６）。すなわち、端部領域抽出部３５は、上記両画像領域（最も長い行の一端部を含む画像領域および他端部を含む画像領域）の画像である両端画像を抽出する。なお、上記の所定サイズは、例えば、行の延伸方向については数文字程度の文字画像を含み、行の延伸方向に垂直な方向については数行程度の文字画像を含むように設定する。また、上記の所定サイズを、レイアウト解析部３４によって検出された外接矩形のサイズおよび外接矩形間の距離に応じて設定してもよい。

図１１は、画像入力装置２から画像処理装置３に入力される画像データ、およびこの画像データから抽出される上記各画像領域の例を示す説明図である。この図に示す例では、図中に示す行Ｌが最も長い行であると判定され、この行Ｌの左端を含む画像領域と右端を含む画像領域とが抽出されている。

次に、制御部２４は、端部領域抽出部３５によって抽出された両端画像を行の延伸方向に隣接するように並べて画像表示装置７に表示させる（Ｓ７）。この際、制御部２４は、上記両画像（最も長い行の一端部を含む画像および他端部を含む画像）における上記最も長い行の、当該行の延伸方向に垂直な方向の表示位置が、画像データにおける上記最も長い行の当該方向の位置に応じた位置になるように画像表示装置７に表示させる。図１は、画像表示装置７に表示される両端画像の一例を示している。

なお、図１の例では、上記両画像の各表示枠の位置を固定し、表示枠内における上記最も長い行を含む画像の表示位置が画像データにおける上記最も長い行の当該行の延伸方向に垂直な方向の位置に応じた位置になるように表示させている。ただし、これに限らず、各表示枠内に表示させる上記両画像を固定し、表示枠同士の上記行の延伸方向に垂直な方向の相対位置が、画像データにおける上記最も長い行の当該行の延伸方向に垂直な方向の位置に応じた位置になるように表示させてもよい。

また、図１の例では、画像表示装置７の表示画面に両端画像とユーザが傾き補正量を指示するための矢印（指示入力用画像）とを表示させているが、これらに加えて、画像データ全体の画像を表示させてもよい。

次に、制御部２４は、画像表示装置７に表示されている上記両端画像に対する傾き補正処理を行うか否かを判断する（Ｓ８）。本実施形態では、制御部２４は、ユーザが傾き補正量の確定指示を行った場合にその後の傾き補正処理を行わないと判断する。ただし、これに限らず、例えば、傾き補正処理を行わずに文字認識処理を行った場合の文字認識処理の精度が低い場合に傾き補正処理を行うようにしてもよい。例えば、各文字の認識結果について認識精度のスコアを算出し、スコアが所定値以上である文字数の全文字数に対する割合が所定値未満であった場合には傾き補正処理を行うようにしてもよい。スコアの算出方法は特に限定されるものではなく、従来から公知の方法を用いることができる。

そして、傾き補正処理を行うと判断した場合、制御部２４は、ユーザからの傾き補正量（傾き補正角度）に関する指示入力を受け付ける（Ｓ９）。

本実施形態では、図１に示したように、両端画像の近傍にユーザが傾き補正量を指示するための指示入力用画像として、行の延伸方向に垂直な２方向の矢印を表示させる。これにより、ユーザは、画像表示装置７に並べて表示される両端画像を参照し、所望する傾き補正のための回転方向に応じた矢印を所望する傾き補正量に応じた回数だけ操作することで傾き補正量の指示入力を行えるようになっている。つまり、上記の各矢印に対する１回の操作に対応する傾き補正量が予め定められており、制御部２４は矢印が操作された回数に応じて傾き補正量を検出する。なお、矢印が単位時間継続して押された場合の傾き補正量を予め定めておき、矢印が継続して押された時間に応じて傾き補正量を算出するようにしてもよい。また、指示入力用画像に対する操作に応じて傾き補正量を検出する構成に限らず、例えば操作パネル６やデジタルカラー複合機１に対して通信可能に接続された外部装置に備えられる所定の操作ボタンに対する操作に応じて傾き補正量を検出してもよい。また、傾き補正のための回転角度の数値をユーザが入力するようにしてもよい。

次に、制御部２４は、傾き補正部３６を制御し、解像度変換部３３によって低解像度に変換された画像データに対して上記のように算出した傾き補正量に基づく傾き補正処理を行わせる（Ｓ１０）。そして、解像度変換部３３によって低解像度に変換された画像データに対する傾き補正量の累積値を記憶部２３に記憶させ（Ｓ１１）、Ｓ６の処理に戻る。

一方、Ｓ８において傾き補正処理を行わないと判断した場合、制御部２４は、記憶部２３から傾き補正量の累積値を読み出し、この累積値に基づいてオリジナルの画像データに適用すべき傾き補正角度を決定する（Ｓ１２）。その後、制御部２４は、天地検出部３７に原稿の天地方向を検出させ（Ｓ１３）、原稿検知部１４の処理を終了する。なお、天地方向の検出方法は特に限定されるものではなく、従来から公知の方法を用いることができる。

以上のように、本実施形態では、原稿検知部１４が、原稿から読み取った画像データに含まれる文書における最も長い行を抽出し、この行の両端部の画像である両端画像を抽出して行の延伸方向に並べて表示する。また、これら両画像を、上記最も長い行の延伸方向に隣接し、かつ、これら両画像における上記最も長い行の上記延伸方向に垂直な方向の表示位置が上記画像データにおける上記最も長い行の上記延伸方向に垂直な方向の位置に応じた位置になるように画像表示装置７に表示させる。

これにより、原稿が傾いている場合には、上記両端画像における上記行の、当該行の延伸方向に垂直な方向の位置がずれるため、ユーザは原稿に対して施すべき傾き補正量を容易に把握することができる。したがって、原稿から読み取った画像データに対して傾き補正処理を精度よく施すことができる。

なお、本実施形態では、画像データに含まれる最も長い行を抽出し、この行の両端画像を画像表示装置７に表示させてユーザからの傾き補正量に関する入力を受け付ける構成について説明したが、これに限るものではない。例えば、罫線等の直線を含む原稿の画像データである場合には、この画像データから最も長い直線を抽出し、その両端画像を画像表示装置７に表示させるようにしてもよい。また、最も長い直線と最も長い行のうちの長い方の両端画像を画像表示装置７に表示させるようにしてもよい。なお、上記直線の抽出方法は特に限定されるものではなく、従来から公知の方法を用いることができる。

また、最も長い行（あるいは直線）が複数抽出された場合、いずれの行（あるいは直線）の両端画像を表示させるかをユーザが選択するようにしてもよく、いずれの行（あるいは直線）の両端画像を表示させるかを決定するための条件（例えば最も上側の行を表示させる、中央に近い行を表示させる、最も下側の行を表示させるなど）を予め設定しておき、制御部２４が自動的に選択するようにしてもよい。いずれの行を表示させるかをユーザが選択可能にする場合、例えば、画像データ全体に対応する画像を表示させるとともに、この全体の画像における両端画像の候補の位置を示す画像を表示させ、ユーザが表示された候補の中から所望する候補を選択するようにしてもよい。

また、文書の記載領域を行の延伸方向に並ぶ複数のブロックに分割した原稿（所謂、段組み原稿）の画像データの場合、一般に各行の行の延伸方向に垂直な方向の位置はブロックによらず一定なので、図１２に示すように、行の延伸方向に並ぶ各ブロックにおける、行の延伸方向に垂直な方向の位置が略同一である行同士についてはこれら各行を１つの行として最も長い行を抽出するようにしてもよい。

一方、複数ページ分のオリジナル画像を１枚の原稿に割り付けた割付原稿（Ｎｉｎ１原稿））の画像データの場合、各行の行の延伸方向に垂直な方向の位置は各ページのオリジナル画像毎に異なる場合があるので、図１３に示すように、各ページの画像に含まれる行のうち、最も長い行を抽出するようにしてもよい。

なお、段組み原稿であるか割付原稿であるかの判断方法は特に限定されるものではないが、例えば、レイアウト解析部３４において抽出した文字の外接矩形よりなる連結領域の座標値を用いて判断することができる。

例えば、横書きの原稿の場合、以下の（１）〜（３）の処理によって段組原稿であるか割付原稿であるかを判断することができる。
（１）まず、連結領域の座標（主走査方向の座標）を複数のブロックに分け、ブロック毎に連結領域の座標の平均値を求める。なお、この際、連結領域から大きくはずれる文字の座標値（例えば２０画素以上はずれる座標値）を除外して処理するようにしてもよい。
（２）次に、例えば主走査方向に隣接するブロックの数が２の場合、左側のブロックにおける右端の座標値と、右側のブロックにおける左端の座標値との差を算出し、算出した差の絶対値が所定値（例えば３０画素に相当する値）未満の場合に段組原稿であると判断する。
（３）また、上記の差が所定値以上である場合、割付原稿であると判断する。つまり、一般に、段組み原稿の方が割付原稿よりもブロック間の距離が短いので、ブロック間の距離を閾値と比較することにより、段組み原稿であるか割付原稿であるかを判断できる。

なお、上記した閾値は単なる一例であり、予め種々の原稿を用いた実験を行うなどして両者を適切に識別するための適切な値を適宜設定すればよい。

また、上記の例では、主走査方向に隣接するブロックの数が２の場合について説明したが、上記のブロック数が３以上の場合についても同様に、ブロック間の主走査方向の距離とブロック数に応じて予め設定される閾値とを比較することで段組み原稿であるか割付原稿であるかを判断すればよい。

また、段組み原稿であるか割付原稿であるかを判断するための閾値に加えて、割付原稿であるか非割付・非段組み原稿であるかを判断するための第２の閾値をブロック数に応じて設定しておき、ブロック間の主走査方向についての距離が第２の閾値よりも小さい場合には割付原稿でも段組み原稿でもないと判断するようにしてもよい。

また、本実施形態では、１ページ分の画像データに対して傾き補正処理を行う場合について説明したが、複数枚の原稿から読み取った複数ページ分の画像データの場合、ページ毎に両端画像の抽出、表示、および傾き補正処理を行うようにしてもよい。

また、図１に示した例では、各両端画像には３行分の文書の一部が含まれており、最も長い行がこれら３行のうちの最下部に表示されているが、これに限らず、例えば最も長い行を両端画像の中央に表示させるようにしてもよい。

また、各両端画像において、最も長い行を他の行と識別可能に表示してもよい。例えば、最も長い行の文字を有彩色で表示させたり、最も長い行に沿ったライン画像を表示させたり、最も長い行の下地領域を有彩色で表示したりしてもよい。

また、本実施形態では、フォーマット化処理部４３がＰＤＦ形式の画像ファイルを生成する場合の実施例について説明したが、これに限るものではなく、画像データとテキストデータとを対応付けることが可能な形式の画像ファイルであればよい。例えば、プレゼンテーションソフトなどのフォーマットでテキストデータを配置した上に画像データを重畳させて配置し、テキストデータを不可視状態にし、画像データのみを可視状態にした画像ファイルを作成するようにしてもよい。

また、本実施形態では、透明テキストを埋め込んだ画像データを、通信装置５を介して外部装置に送信する場合について説明したが、これに限るものではない。例えば、透明テキストを埋め込んだ画像データを、デジタルカラー複合機１に備えられる記憶部あるいはデジタルカラー複合機１に脱着可能に装着される記憶部に記憶（ファイリング）させるようにしてもよい。

また、本実施形態では、本発明をデジタルカラー複合機に適用する場合について説明したが、これに限らず、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体の画像読取装置に適用してもよい。

図１４は、本発明を画像読取装置に適用する場合の構成例を示すブロック図である。この図に示す画像読取装置１００は、画像入力装置２、画像処理装置３ｂ、通信装置５、操作パネル６、および画像表示装置７を備えている。画像入力装置２、通信装置５、および操作パネル６の構成および機能は上述したデジタルカラー複合機１の場合と略同様なので、ここではその説明を省略する。

画像処理装置３ｂは、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、原稿検知部１４、原稿補正部１５、色補正部１６、画像ファイル生成部２２、記憶部２３、および制御部２４を備えている。また、画像ファイル生成部２２は、文字認識部４１、描画コマンド生成部４２、およびフォーマット化処理部４３を備えている。

なお、画像形成モードを備えていない点、および、色補正部１６が色補正処理後の画像データをフォーマット化処理部４３に出力し、フォーマット化処理部４３が色補正部１６から入力された画像データに基づいて外部装置に送信する画像ファイルを生成する点以外は、画像処理装置３ｂに備えられる各部の機能は上述したデジタルカラー複合機１の場合と略同様である。画像処理装置３ｂにおいて上述した各処理が施されて生成された画像ファイルは、通信装置５により、ネットワークを介して通信可能に接続されたコンピュータやサーバなどに送信される。

また、本発明の適用対象は画像入力装置を備えた構成に限るものではなく、原稿から読み取られた画像データに対して画像処理を施す画像処理装置と、画像データに応じた画像を表示する画像表示装置とを備えた構成であれば適用できる。図１５は、本発明をパーソナルコンピュータ等のコンピュータシステムに適用する場合の構成例を示すブロック図である。

この図に示すコンピュータシステム２００は、原稿検知部１４、原稿補正部１５、記憶部２３、制御部２４、および画像表示装置７を備えている。

制御部２４は、原稿検知部１４、原稿補正部１５、記憶部２３、指示入力装置６’および画像表示装置７の動作を制御する。

記憶部２３には、原稿を読み取ることによって取得された画像データが格納されている。この画像データは、例えば、コンピュータシステム２００が通信ネットワークを介して取得して記憶部２３に記憶させたものであってもよく、コンピュータシステム２００に着脱可能に装着される各種記録媒体から読み出して記憶部２３に記憶させたものであってもよい。

原稿検知部１４は、記憶部２３に格納されている上記画像データに対して上述した傾き角度の検出処理、および天地方向の検出処理を行う。なお、傾き角度の検出処理の際には、制御部２４は原稿検知部１４によって抽出された両端画像を画像表示装置７に表示させる。これにより、ユーザは、画像表示装置７に表示された両端画像を参照し、指示入力装置６’を介して傾き補正角度に関する指示を入力することができる。なお、指示入力装置６’の構成は特に限定されないが、例えば、キーボードやマウス等を用いることができる。また、画像表示装置７をタッチパネルとし、指示入力装置６’の機能を兼ねさせてもよい。

原稿補正部１５は、原稿検知部１４の検出結果と指示入力装置６’を介してユーザからの指示に基づいて画像データに対して傾き補正処理および天地補正処理を施す。

なお、上記のコンピュータシステム２００に文字認識部４１を備え、傾き補正処理後の画像データに基づいて文字認識処理を行うようにしてもよい。また、文字認識部４１に加えて描画コマンド生成部４２およびフォーマット化処理部４３をさらに備え、画像データと文字認識結果に基づくテキストファイルとを関連付けた画像ファイルを生成するようにしてもよい。

また、上記各実施形態において、デジタルカラー複合機１、画像読取装置１００に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、デジタルカラー複合機１、画像読取装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複合機１、画像読取装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複合機１、画像読取装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、デジタルカラー複合機１、画像読取装置１００を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

また、デジタルカラー複合機１、画像読取装置１００の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、原稿から読み取って取得した画像データに対する文字認識処理を行う画像処理装置、画像読取装置、および画像送信装置に適用できる。

１ デジタルカラー複合機（複合機、画像形成装置）
２ 画像入力装置
３，３ｂ 画像処理装置
４ 画像出力装置
５ 通信装置
６ 操作パネル（指示入力装置）
６’ 指示入力装置
７ 画像表示装置
１４ 原稿検知部
１５ 原稿補正部
２２ 画像ファイル生成部
２３ 記憶部
２４ 制御部
３１ 信号変換部
３２ ２値化処理部
３３ 解像度変換部
３４ レイアウト解析部
３５ 端部領域抽出部（端部画像抽出部）
３６ 傾き補正部（表示画像補正部）
３７ 天地検出部
４１ 文字認識部
４２ 描画コマンド生成部
４３ フォーマット化処理部
１００ 画像読取装置
２００ コンピュータシステム

Claims (12)

1. 原稿から読み取った画像データに対して傾き補正処理を施す画像処理装置であって、
   上記画像データから上記原稿に含まれる文書の各行のうちの最も長い行、または上記原稿に含まれる罫線のうち最も長い直線を抽出するレイアウト解析部と、
   上記最も長い行または上記最も長い直線の一端部を含む画像と、他端部を含む画像とを抽出する端部画像抽出部と、
   上記両画像を、上記最も長い行または最も長い直線の延伸方向に隣接し、かつ、これら両画像における上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の表示位置が上記画像データにおける上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の位置に応じた位置になるように画像表示装置に表示させる制御部と、
   上記画像表示装置に表示されている上記両画像に対する傾き補正量についてのユーザからの指示入力を受け付ける指示入力装置とを備えていることを特徴とする画像処理装置。
2. 上記指示入力に応じて上記両画像の上記延伸方向に垂直な方向の表示位置を変更する表示画像補正部を備えていることを特徴とする請求項１に記載の画像処理装置。
3. 上記指示入力装置がユーザからの傾き補正量の確定指示を受け付けたときに、確定された傾き補正量に基づいて上記画像データに傾き補正処理を施す原稿補正部を備えていることを特徴とする請求項２に記載の画像処理装置。
4. 上記原稿補正部によって傾き補正処理が施された画像データに基づいて上記原稿に含まれる文字に対する文字認識処理を行う文字認識部を備えていることを特徴とする請求項３に記載の画像処理装置。
5. 上記制御部は、上記両画像における上記最も長い行または上記最も長い直線を、他の行または直線とは異なる表示方法で表示することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 上記レイアウト解析部は、上記原稿が文書を上記延伸方向に並ぶ複数のブロックに分割して記載した段組み原稿であるか否かを判定し、
   上記端部画像抽出部は、上記原稿が段組み原稿である場合には、上記各ブロックを共通のブロックとみなして上記最も長い行または上記最も長い直線を選択することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 上記レイアウト解析部は、上記原稿が複数ページの文書を１枚の原稿に割り付けた割付原稿であるか否かを判定し、
   上記端部画像抽出部は、上記原稿が割付原稿である場合には、当該原稿に含まれる複数ページの文書のうちの最も長い行または最も長い行を選択することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 原稿を読み取って当該原稿の画像データを生成する画像入力装置と、
   請求項１から７のいずれか１項に記載の画像処理装置とを備えていることを特徴とする画像読取装置。
9. 請求項１から７のいずれか１項に記載の画像処理装置を備えていることを特徴とする複合機。
10. 原稿から読み取った画像データに対して傾き補正処理を施す画像処理方法であって、
    上記画像データから上記原稿に含まれる文書の各行のうちの最も長い行、または上記原稿に含まれる罫線のうち最も長い直線を抽出するレイアウト解析工程と、
    上記最も長い行または上記最も長い直線の一端部を含む画像と、他端部を含む画像とを抽出する端部画像抽出工程と、
    上記両画像を、上記最も長い行または最も長い直線の延伸方向に隣接し、かつ、これら両画像における上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の表示位置が上記画像データにおける上記最も長い行または最も長い直線の上記延伸方向に垂直な方向の位置に応じた位置になるように画像表示装置に表示させる表示工程と、
    上記画像表示装置に表示されている上記両画像に対する傾き補正量についてのユーザからの指示入力を受け付ける指示入力工程とを含むことを特徴とする画像処理方法。
11. 請求項１から７のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
12. 請求項１１に記載のプログラムをコンピュータ読み取り可能に格納した記録媒体。

Images