JP2013238933A - 画像処理装置、画像形成装置、プログラムおよびその記録媒体 - Google Patents

Abstract

【課題】原稿の画像に重畳して表示されるテキスト画像における所望する文字列を容易に選択できるようにする。
【解決手段】描画コマンド生成部３３は、原稿の画像にテキスト画像を重畳させて表示させる第１表示状態と、原稿の画像を表示させずにテキスト画像を表示させる第２表示状態との切り替えをコンピュータに実行させるためのコマンドを描画コマンドに含める。
【選択図】図２

Description

本発明は、原稿の画像データと上記原稿のテキストデータとを含む画像ファイルを生成する画像処理装置に関するものである。

従来、複合機等で紙文書からなる原稿を電子化する際、読み込まれた原稿の画像データに対して文字認識処理を行い、文字認識結果を透明テキストとして原稿の画像データに重畳させた画像ファイル（例えばサーチャブルＰＤＦファイル）を生成する技術が知られている。

例えば、特許文献１には、文書画像と、その文書画像に対する文字認識処理によって得た複数の文字コードと、上記複数の文字コードに対応する文字を透明色で描画する際に複数の字種で共通利用させるための字形データとを含み、かつ１つの字種に対して複数種類の字形データが格納された電子文書を生成する画像処理装置が記載されている。

特開２００９−１４６０６４号公報 特開平７−１９２０８６号公報 特開平６−１８９０８３号公報

しかしながら、従来の文字認識結果を透明テキストとして画像データに重畳させる技術では、例えば文字認識結果に基づく透明テキストを行単位で配置する場合などに、例えば透明テキストの描画用に指定された文字フォントと文字認識処理における推定フォントサイズとの差異などに起因して、画像データにおける文字位置と透明テキストにおける文字位置との間に位置ずれが生じる場合がある。このため、ユーザが表示装置に表示された原稿画像データを参照して行う操作に基づいて当該操作に対応する透明テキストの文字列を検出する際、ユーザが選択したい文字列が適切に検出されない場合がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、原稿の画像における文字位置とテキストデータにおける文字位置とが異なる場合であっても、ユーザがテキストデータにおける所望する文字列を容易に選択できるようにすることにある。

本発明の画像処理装置は、画像ファイルに含まれるデータに対してコンピュータに実行させる処理の処理内容を示す描画コマンドを生成する描画コマンド生成部と、原稿の画像データ、上記原稿に含まれる文字のテキストデータ、および、上記描画コマンド生成部が生成した描画コマンドを含む所定フォーマットの画像ファイルを生成するフォーマット化処理部とを備えた画像処理装置であって、上記描画コマンド生成部は、上記原稿の画像を表示装置に表示させる第１表示状態と、上記原稿の画像を表示させずに上記テキストデータの文字をユーザが視認できる色で配置した可視テキストを表示装置に表示させる第２表示状態との切り替えをコンピュータに実行させるためのコマンドを上記描画コマンドに含めることを特徴としている。なお、上記描画コマンド生成部は、上記第１表示状態において、上記テキストデータの文字をユーザが視認できない色で配置した透明テキストを上記原稿の画像に重畳させて表示装置に表示させるためのコマンドを上記描画コマンドに含める構成としてもよい。

上記の構成によれば、原稿の画像を表示させる第１表示状態と、原稿の画像を表示させずに可視テキストを表示させる第２表示状態とを適宜切り替えて表示させることができる。これにより、原稿の画像における文字位置と透明テキストにおける文字位置とが異なる場合であっても所望する文字列を容易に選択することができる。

また、原稿の画像データとテキストデータとが共通の画像ファイルに格納されており、この共通の画像ファイルを開いて原稿が表示される状態と原稿が表示されずに可視テキストが表示される状態とを切り替えることができる。したがって、原稿の画像データを含むデータファイルと可視テキストを含むデータファイルとを別々に生成する場合のように、原稿を閲覧したいのに誤って可視テキストのデータファイルを開いてしまったり、可視テキストを閲覧したいのに誤って原稿のデータファイルを開いてしまったりすることを防止できる。

また、上記原稿に含まれる文字のテキストデータを取得する文字情報取得部を備え、上記文字情報取得部は、上記原稿の画像データに対して文字認識処理を行うことで上記テキストデータを取得するか、あるいは、上記原稿の画像データに予め付加されているテキストデータを抽出することで上記テキストデータを取得する構成としてもよい。

上記の構成によれば、原稿の画像データに対して文字認識処理を行うか、あるいは、原稿の画像データに予め付加されているテキストデータを抽出することでテキストデータを取得し、取得したテキストデータに基づいて上記描画コマンドおよび上記画像ファイルを生成することができる。

また、上記描画コマンド生成部は、ユーザが上記第１表示状態と上記第２表示状態との切り替えの指示入力を行うための操作対象となる表示切替ボタンを表示装置に表示させる処理をコンピュータに実行させるためのコマンド、およびユーザから上記画像ファイルの印刷指示がなされた場合に上記表示切替ボタンを除いた画像を印刷する処理をコンピュータに実行させるためのコマンドを上記描画コマンドに含める構成としてもよい。

上記の構成によれば、画像ファイルを表示装置で閲覧する際に第１表示状態と第２表示状態とを切り替えるための操作対象となる表示切替ボタンを表示させることにより、ユーザの利便性を向上させることができる。また、印刷時には表示切替ボタンを印刷対象から除外することで、不要な情報が印刷されることを防止できる。

また、上記描画コマンド生成部は、上記原稿が複数ページからなる場合に、上記表示切替ボタンを上記原稿の各ページの画像に対応する位置にそれぞれ表示させ、かつユーザが上記表示切替ボタンを用いて上記第１表示状態と上記第２表示状態との切り替えの指示入力を行った場合に当該指示入力に対応する上記第１表示状態と上記第２表示状態との切り替え処理を原稿の全ページに対して共通に適用する構成としてもよい。

上記の構成によれば、複数ページのうちのいずれかのページに対応する表示切替ボタンを操作することにより、当該操作に対応する表示状態の切り替えを全ページに対して共通に適用することができるので、ユーザの利便性を向上させることができる。

また、上記描画コマンド生成部は、初期状態では上記表示切替ボタンに重畳する位置に表示される他の画像をユーザが視認できるように上記表示切替ボタンを半透明で表示し、ユーザによる所定の操作が行われた場合に上記表示切替ボタンの表示濃度を上記初期状態よりも高める処理をコンピュータに実行させるためのコマンドを上記描画コマンドに含める構成としてもよい。

上記の構成によれば、ユーザが表示切替ボタンを利用するとき以外は表示切替ボタンを半透明で表示させることにより、表示切替ボタンが画像の閲覧の邪魔になることを抑制できる。また、ユーザが表示切替ボタンを利用する場合には、ユーザが所定の操作を行うことにより、表示切替ボタンを視認しやすい状態で表示させることができる。なお、上記の所定の操作としては、例えば、表示切替ボタン上にマウス等のポインティングデバイスを用いてカーソルを重ね合わせる操作などが挙げられる。

また、上記描画コマンド生成部は、上記所定の操作が行われた場合に、上記表示切替ボタンの近傍に当該表示切替ボタンを操作することによって入力される指示内容を示す画像を表示させる処理をコンピュータに実行させるためのコマンドを上記描画コマンドに含める構成としてもよい。

上記の構成によれば、ユーザが所定の操作を行うことにより表示切替ボタンの近傍に当該表示切替ボタンを操作することによって入力される指示内容を示す画像を表示させることができるので、ユーザの利便性を向上させることができる。

本発明の画像形成装置は、上記したいずれかの画像処理装置を備えていることを特徴としている。

上記の構成によれば、原稿の画像における文字位置と透明テキストにおける文字位置とが異なる場合であっても必要に応じて第１表示状態と第２表示状態とを切り替えることで所望する文字列を容易に選択することができる。また、原稿を閲覧したいのに誤って可視テキストのデータファイルを開いてしまったり、可視テキストを閲覧したいのに誤って原稿のデータファイルを開いてしまったりすることを防止できる。

また、本発明の画像処理装置は、コンピュータによって実現されてもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

以上のように、本発明によれば、原稿の画像における文字位置と透明テキストにおける文字位置とが異なる場合であっても必要に応じて第１表示状態と第２表示状態とを切り替えることで所望する文字列を容易に選択することができる。また、原稿を閲覧したいのに誤って可視テキストのデータファイルを開いてしまったり、可視テキストを閲覧したいのに誤って原稿のデータファイルを開いてしまったりすることを防止できる。

本発明の一実施形態にかかる画像形成装置の構成、および上記画像形成装置における画像形成モードでのデータの流れを示すブロック図である。 図１に示した画像形成装置における画像送信モードでのデータの流れを示すブロック図である。 図１に示した画像形成装置における概略的な処理の流れを示すフローチャートである。 図１に示した画像形成装置に備えられる原稿検知部の概略構成を示すブロック図である。 （ａ）〜（ｃ）は、図１に示した画像形成装置において生成される画像ファイルに記述される情報（描画コマンド）の一例を示す説明図である。 （ａ）および（ｂ）は、図１に示した画像形成装置において生成される画像ファイルに記述される情報（描画コマンド）の一例を示す説明図である。 （ａ）〜（ｃ）は、図１に示した画像形成装置において生成される画像ファイルに記述される情報（描画コマンド）の一例を示す説明図である。 図１に示した画像形成装置において生成された画像ファイルを表示装置に表示させる際の表示状態の切り替え処理を説明するための説明図である。 （ａ）および（ｂ）は図１に示した画像形成装置において生成された画像ファイルに基づいて表示装置に表示される表示画面の例を示している。 （ａ）〜（ｄ）は図１に示した画像形成装置において生成される画像ファイルに記述される情報（描画コマンド）の一例を示す説明図である。 図１に示した画像形成装置において生成された画像ファイルを表示装置に表示させる際の表示状態の切り替え処理の一例を説明するための説明図である。 （ａ）〜（ｃ）は図１に示した画像形成装置において生成される画像ファイルに記述される情報（描画コマンド）の一例を示す説明図である。 （ａ）および（ｂ）は図１に示した画像形成装置において生成された画像ファイルを表示装置に表示させる際に表示される表示切替ボタン、およびその表示状態の切り替えを説明するための説明図である。 図１に示した画像形成装置において生成される画像ファイルに記述される情報（描画コマンド）の一例を示す説明図である。 図１に示した画像形成装置において生成された画像ファイルを表示装置に表示させる際の表示状態の切り替え処理の一例を説明するための説明図である。 図１に示した画像形成装置において生成された画像ファイルを表示装置に表示させる際の表示状態の切り替え処理の一例を説明するための説明図である。 図１に示した画像形成装置において行われるファイルフォーマットの判定処理の流れを示すフローチャートである。 本発明をカラー画像読取装置に適用する場合の構成例を示すブロック図である。

本発明の一実施形態について説明する。なお、本実施形態では、本発明をデジタルカラー複合機に適用する場合の例について主に説明するが、本発明の適用対象はこれに限るものではなく、原稿の画像データと上記原稿のテキストデータとを含む画像ファイルを生成する機能を有する装置であれば適用できる。

（１）デジタルカラー複合機の全体構成
図１および図２は、本実施形態にかかるデジタルカラー複合機（画像処理装置、画像形成装置、画像読取装置）１の概略構成を示すブロック図である。なお、デジタルカラー複合機１は、が原稿を読み取って取得した画像データに応じた画像を記録材上に形成（印刷）する画像形成モードと、原稿を読み取って取得した画像データに上記原稿に含まれる文字のテキストデータを付加した画像ファイルを生成し、外部装置に送信する画像送信モードとを備えている。また、図１は画像形成モードにおけるデータの流れを示しており、図２は画像送信モードにおけるデータの流れを示している。

図１および図２に示すように、デジタルカラー複合機１は、画像入力装置２、画像処理装置３、画像出力装置４、通信装置５、および操作パネル６を備えている。

画像入力装置２は、ＣＣＤ（Charge Coupled Device）ラインセンサを備えたスキャナであり、原稿から反射されてきた光をＲ、Ｇ、Ｂ（Ｒ：赤・Ｇ：緑・Ｂ：青）に色分解された電気信号（画像データ）に変換して画像処理装置３に出力する。なお、画像入力装置２の構成は特に限定されるものではなく、例えば原稿載置台に載置された原稿を読み取るものであってもよく、原稿搬送手段によって搬送されている原稿を読み取るものであってもよい。

画像処理装置３は、図１および図２に示すように、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、原稿検知部１４、原稿補正部１５、色補正部１６、黒生成下色除去部１７、空間フィルタ処理部１８、出力階調補正部１９、中間調生成部２０、領域分離部２１、ファイル生成部３０、記憶部２３、および制御部２４を備えている。

画像処理装置３は、画像形成モードでは、画像入力装置２から入力された画像データに種々の画像処理を施して得られるＣＭＹＫの画像データを画像出力装置４に出力する。

また、画像処理装置３は、画像送信モードとして、通常送信モードと簡易送信モードとを備えている。通常送信モードでは、画像処理装置３は、画像入力装置２から入力された画像データに傾き補正処理および天地補正処理を施し、これら各処理が施された画像データに基づいて一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）を生成する。また、画像処理装置３は、画像入力装置２から入力された画像データに対して文字認識処理を施して当該画像データに対応する原稿に含まれる文字のテキストデータ（文字データ）を生成する。そして、上記のＲ’Ｇ’Ｂ’の画像データと、上記テキストデータと、上記画像データおよび上記テキストデータを表示装置に表示させる際の表示条件等を示す描画コマンドとを含む所定フォーマットの画像ファイルを生成し、通信装置５に出力する（あるいは所定の保存先に保存する）。

また、画像処理装置３は、簡易送信モードでは、画像入力装置２から入力された画像データ（傾き補正処理および天地方向補正処理を施していない画像データ）に基づいて一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）を生成する。また、画像処理装置３は、画像入力装置２から入力された画像データに対して文字認識処理を施し、当該画像データに対応する原稿に含まれる文字のテキストデータを生成する。そして、上記のＲ’Ｇ’Ｂ’の画像データと、上記テキストデータと、上記のＲ’Ｇ’Ｂ’の画像データを表示させる際に適用すべき傾き補正処理、天地方向補正処理等の画像処理内容に関するパラメータや上記のＲ’Ｇ’Ｂ’の画像データおよび上記テキストデータの表示条件などを示す描画コマンドを含む所定フォーマットの画像ファイルを生成し、通信装置５に出力する（あるいは所定の保存先に保存する）。

なお、画像処理装置３に備えられる各部の詳細、および画像処理装置３の動作の詳細については後述する。

画像出力装置４は、画像処理装置３から入力された画像データを記録材（例えば紙等）上に出力するものである。画像出力装置４の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いた画像出力装置を用いることができる。

通信装置（送受信部）５は、例えばモデムやネットワークカードより構成され、ネットワークカード、ＬＡＮケーブル等を介して、ネットワークに接続された他の装置（例えば、パーソナルコンピュータ、サーバ装置、表示装置、他のデジタル複合機、ファクシミリ装置等）とデータ通信を行う。

操作パネル６は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され（いずれも図示せず）、デジタルカラー複合機１の主制御部（図示せず）の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。

記憶部２３は、画像処理装置３で扱われる各種データ（画像データ等）を記憶する記憶手段である。記憶部２３の構成は特に限定されるものではないが、例えばハードディスクなどを用いることができる。

なお、デジタルカラー複合機１が、画像データを符合化してから記憶部２３に記憶させる符合化モードを備えていてもよい。例えば、操作パネル６を介してユーザが符合化モードを選択するか否かを指定するようにしてもよい。符号化モードが選択されている場合、記憶部２３に記憶させる画像データは符号化部（図示せず）によって符号化された上で記憶部２３に記憶される。一方、符号化モードが選択されていない場合には画像データは符号化部をスルーして符号化されずに記憶部２３に記憶される。また、記憶部２３から読み出した画像データが符号化されている場合、当該画像データは復号化部（図示せず）によって復号化されてから所定の処理ブロックに伝達される。なお、記憶部２３に保存されている画像データが２値画像データである場合、復号化の際に多値（例えば８ビット）画像データへの変換処理も行うようにしてもよい。

制御部２４は、ＣＰＵや専用プロセッサなどの演算処理部、および、ＲＡＭ、ＲＯＭ、ＨＤＤなどの記憶部（いずれも図示せず）などにより構成されるコンピュータ装置であり、記憶部２３に記憶されている各種情報および各種制御を実施するためのプログラムを読み出して実行することで画像処理装置３に備えられる各部の動作を制御する。また、制御部２４は、画像処理装置３の内部におけるデータの流れや、記憶部２３に対するデータの読み書きなどを制御する。なお、制御部２４は、デジタルカラー複合機１の主制御部（図示せず）に備えられるものであってもよく、主制御部とは別に備えられ、主制御部と協働して処理を行うものであってもよい。

デジタルカラー複合機１の主制御部は、ＣＰＵや専用プロセッサなどの演算処理部、および、ＲＡＭ、ＲＯＭ、ＨＤＤなどの記憶部（いずれも図示せず）などにより構成されるコンピュータ装置であり、図示しないＲＯＭ等に格納されたプログラムや各種データ、操作パネル６から入力される情報等に基づいて、デジタルカラー複合機１の各部の動作を制御する。

（２）画像処理装置３における処理の概要
図３は、画像処理装置３における概略的な処理の流れを示すフローチャートである。この図に示すように、まず、制御部２４は、操作パネル６を介して入力されるユーザからの処理モードの選択指示を受け付ける（Ｓ１）。また、制御部２４は、画像入力装置２が原稿を読み取って生成した画像データを取得する（Ｓ２）。なお、詳細は後述するが、画像入力装置２から取得した画像データはＡ／Ｄ変換部１１、シェーディング補正部１２、および入力処理部１３において所定の処理が施された後、一旦記憶部２３に記憶される。

次に、制御部２４は、Ｓ１で選択指示された処理モードが画像形成モードであるか否かを判断する（Ｓ３）。

Ｓ３において画像形成モードであると判断した場合、制御部２４は、原稿検知部１４に画像データにおける原稿の傾き角度検知処理を行わせ（Ｓ４）、傾き角度検知結果に基づいて原稿補正部１５に傾き補正処理を行わせる（Ｓ５）。また、制御部２４は、原稿検知部１４に画像データにおける原稿の天地方向判定処理を行わせ（Ｓ６）、天地方向判定結果に基づいて原稿補正部１５に天地方向補正処理を行わせる（Ｓ７）。そして、傾き補正処理および天地方向補正処理が施された原稿の画像データに対して後述する色補正処理、黒生成下色除去処理、空間フィルタ処理、出力階調補正処理、および中間調生成処理を行わせてから画像出力装置４に出力させ（Ｓ８）、処理を終了する。

Ｓ３において画像形成モードではないと判断した場合、制御部２４は、原稿検知部１４に画像データにおける原稿の傾き角度検知処理を行わせ（Ｓ９）、傾き角度検知結果に基づいて原稿補正部１５に傾き補正処理を行わせる（Ｓ１０）。また、制御部２４は、原稿検知部１４に画像データにおける原稿の天地方向判定処理を行わせ（Ｓ１１）、天地方向判定結果に基づいて原稿補正部１５に天地方向補正処理を行わせる（Ｓ１２）。Ｓ１で選択指示された処理モードが簡易送信モードではない場合（通常通信モードであると判断した場合）、傾き補正処理および天地方向補正処理が施された原稿の画像データは、色補正処理、空間フィルタ処理、および中間調生成処理が施された後、ファイル生成部３０に入力される。あるいは、傾き補正処理および天地方向補正処理が施された原稿の画像データをファイル生成部３０に直接入力するようにしてもよい。Ｓ１０における傾き補正処理は、後述する２値化された画像データを用いた傾き補正処理であり、天地方向判定処理、文字認識処理を精度よく行うための処理である。また、Ｓ１２の天地方向補正処理も上記２値化された画像データを用いた補正処理であり、文字認識処理を精度よく行うための処理である。

一方、Ｓ１において選択指示された処理モードが簡易送信モードであると判断した場合、傾き角度検知処理および天地方向判定処理の結果はファイル生成部３０に入力される。また、記憶部２３から読み出された原稿の画像データは、傾き補正処理および天地方向補正処理を施されることなく、色補正処理、空間フィルタ処理、および中間調生成処理が施されてからファイル生成部３０に入力される。あるいは、記憶部２３から読み出された原稿の画像データをファイル生成部３０に直接入力するようにしてもよい。

また、制御部２４は、ファイル生成部３０の文字認識部３２に原稿の画像データに対する文字認識処理を行わせ（Ｓ１３）、描画コマンド生成部３３に文字認識結果に基づくテキストレイヤ情報（透明テキストデータおよび可視テキストデータ）を生成させるとともに（Ｓ１４）、原稿の画像データおよびテキストレイヤ情報を表示させる際の表示条件等を示す描画コマンドを生成させる（Ｓ１５）。なお、制御部２４は、簡易送信モードの場合には、原稿の画像データに対して適用すべき傾き補正処理および天地方向補正処理を示すコマンドを描画コマンドに含める。描画コマンドとは、画像ファイルの画像を表示装置に表示させる際の表示条件、画像ファイルに含まれる画像データに対して適用すべき画像処理条件、画像ファイルの画像を印刷装置で印刷する際の印刷条件などを、これら各処理を行うコンピュータに対して指示するためのコマンドである。

また、制御部２４は、ファイル生成部３０のフォーマット化処理部３４に、中間調生成部２０からファイル生成部３０に入力される原稿の画像データ、上記テキストレイヤ情報、および上記描画コマンドを所定のフォーマット（本実施形態ではＰＤＦフォーマット）に従ってフォーマット化した画像ファイルを生成させる（Ｓ１６）。その後、制御部２４は、フォーマット化処理部３４によって生成された画像ファイルを通信装置５に出力させ（Ｓ１７）、処理を終了する。

なお、本実施形態では、画像送信モードの場合には必ず原稿の画像データと原稿のテキストデータとを含む画像ファイルを生成するものとしているが、これに限るものではない。例えば、テキストデータを含む画像ファイルを生成するかテキストデータを含まない画像ファイルを生成するかをユーザが任意に選択できるようにしてもよい。

（３）画像形成モードの動作
次に、画像形成モードにおける画像処理装置３の動作についてより詳細に説明する。画像形成モードの場合、図１に示すように、まず、Ａ／Ｄ変換部１１が、画像入力装置２が原稿を読み取って取得したＲＧＢのアナログ信号をデジタル信号に変換してシェーディング補正部１２に出力する。

シェーディング補正部１２は、Ａ／Ｄ変換部１１から送られてきたデジタルのＲＧＢ信号に対して、画像入力装置２の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施し、入力処理部１３に出力する。

入力処理部１３は、シェーディング補正部１２にて各種の歪みが取り除かれたＲＧＢ信号に対してガンマ補正などの各種処理行う。また、入力処理部１３は、上記の各種処理を施した画像データを記憶部２３に記憶させる。

原稿検知部１４は、入力処理部１３によって記憶部２３に記憶された画像データを読み出して当該画像データに示される原稿画像の傾き角度を検知し、検知した傾き角度（検知結果）を原稿補正部１５に出力する。原稿補正部１５は、原稿検知部１４から伝達された傾き角度に基づいて、記憶部２３に記憶されている画像データを読み出して原稿の傾き補正を行い、傾き補正後の画像データを記憶部２３に記憶させる。

また、原稿補正部１５によって傾き補正が行われた後、原稿検知部１４は、記憶部２３に記憶されている傾き補正後の画像データを読み出し、この画像データに基づいて原稿の天地方向の判定を行い、判定結果を原稿補正部１５に出力する。原稿補正部１５は、原稿の天地方向の判定の判定結果に応じて、記憶部２３に保存されている傾き補正後の画像データを読み出して天地方向補正処理を行う。傾き補正処理および天地方向補正処理が施された画像データは色補正部１６および領域分離部２１に出力される。

図４は、原稿検知部１４の概略構成を示すブロック図である。この図に示すように、原稿検知部１４は、信号変換部５１、解像度変換部５２、２値化処理部５３、原稿傾き検知部５４、天地方向検知部５５を備えている。

信号変換部５１は、記憶部２３から入力される画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。例えば、信号変換部５１は、Ｙｉ＝０．３０Ｒｉ＋０．５９Ｇｉ＋０．１１Ｂｉを演算することによりＲＧＢ信号（画像データ）を輝度信号Ｙに変換する。ここで、Ｙは各画素の輝度信号であり、Ｒ，Ｇ，Ｂは各画素のＲＧＢ信号における各色成分であり、添え字のｉは画素毎に付与された値（ｉは１以上の整数）である。

あるいは、信号変換部５１が、ＲＧＢ信号をＣＩＥ１９７６Ｌ^*ａ^*ｂ^*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ^*：明度、a^*,ｂ^*:色度）に変換するようにしてもよく、ＲＧＢ信号におけるＧ信号を輝度信号として用いるようにしてもよい。

解像度変換部５２は、信号変換部５１にて無彩化された画像データ（輝度値（輝度信号）または明度値（明度信号））を低解像度に変換する。例えば、１２００ｄｐｉ、７５０ｄｐｉ、あるいは６００ｄｐｉで読み込まれた画像データを３００ｄｐｉに変換する。解像度変換の方法は特に限定されるものではなく、例えば、公知のニアレストネイバー法、バイリニア法、バイキュービック法などを用いることができる。

２値化処理部５３は、低解像度に変換された画像データと、予め設定された閾値とを比較することにより画像データを２値化し、２値化した画像データを、傾き検知処理の場合には原稿傾き検知部５４に、天地方向検出処理の場合には天地方向検知部５５に出力する。なお、例えば、画像データが８ビットである場合、上記閾値を１２８とする。あるいは、複数の画素（例えば５画素×５画素）からなるブロックにおける濃度（画素値）の平均値を閾値としてもよい。

原稿傾き検知部５４は、２値化処理部５３によって２値化された画像データに基づいて、画像読取時のスキャン範囲（正規の原稿位置）に対する原稿の傾き角度を検知し、検知結果を原稿補正部１５に出力する。

傾き角度の検知方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。例えば、特許文献２に記載されている方法を用いてもよい。この方法では、２値化された画像データからを黒画素と白画素との境界点（例えば各文字の上端における白／黒の境界点の座標）を複数個抽出し、各境界点の点列の座標データを求める。そして、この点列の座標データに基づいて回帰直線を求め、その回帰係数ｂを下記式（１）に基づいて算出する。

なお、Ｓｘ，Ｓｙはそれぞれ変量ｘ，ｙの残差平方和であり、Ｓｘｙはｘの残差とｙの残差の積の和である。すなわち、Ｓｘ，Ｓｙ，Ｓｘｙは上記式（２）〜（４）で表される。

そして、上記のように算出した回帰係数ｂより、下記式（５）に基づいて傾き角度θを算出する。

ｔａｎθ＝ｂ ・・・式（５）
天地方向検知部５５は、２値化処理部５３によって２値化された画像データに基づいて、記憶部２３に記憶されている画像データに示される原稿画像の天地方向を判定し、判定結果を原稿補正部１５に出力する。

天地方向の判定方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。例えば、特許文献３に記載されている方法を用いてもよい。

特許文献３の方法では、画像データに基づいて文字認識処理を行い、原稿内の各文字を文字毎に切り出して各文字をパターン化する。なお、この処理は、２値化され、３００ｄｐｉに低解像度化された画像データを用いて行う。また、必ずしも全ての文字について文字認識処理を行う必要は無く、例えば予め定められた数の文字を抽出して行うようにしてもよい。

その後、文字パターンの特徴と予めデータベース化された文字パターン情報とのマッチング（比較）を行う。マッチングの方法としては、データベース化された文字パターンに画像データから切り出された文字パターンを重ね合わせて画素ごとの白黒を比較し、画像データにおける文字を、データベース化された各文字パターンのうち全ての画素が合致する文字パターンの文字として判別する。なお、全てが合致する文字パターンがない場合、画像データにおける文字を、マッチングする画素が最も多い文字パターンの文字として判別する。ただし、マッチングする画素数の割合が所定のマッチング割合に達しなければ判別不能と判断する。

そして、画像データを９０°、１８０°、２７０°回転させた場合のそれぞれについて、上記の文字認識処理を行う。その後、０°、９０°、１８０°、２７０°のぞれぞれの場合について、判別可能な文字数を算出し、判別可能な文字数が最も多い回転角度を文字方向、すなわち原稿の天地方向として判定する。そして、画像データにおける原稿画像の天地方向を正規の天地方向に一致させるための回転角度を判定する。具体的には、正規の天地方向に対して時計回りの方向の角度を正とし、画像データにおける原稿画像の天地方向（基準方向）と正規の天地方向とが一致している場合を０°、画像データにおける原稿画像の天地方向が正規の天地方向に対して−９０°異なっている場合に上記回転角度を９０°、画像データにおける原稿画像の天地方向が正規の天地方向に対して−１８０°異なっている場合に上記回転角度を１８０°、画像データにおける原稿画像の天地方向が正規の天地方向に対して−２７０°異なっている場合に上記回転角度を２７０°とする。原稿検知部１４は、上記回転角度を、天地方向の判定結果として原稿補正部１５（図１参照）に出力する。そして、原稿補正部１５は、記憶部２３に記憶されている画像データに対して上記の回転角度だけ回転処理を施す。

色補正部１６は、原稿検知部１４および原稿補正部１５による処理が完了した後の画像データを原稿補正部１５から入力され、当該画像データを、ＲＧＢ信号の補色であるＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）の画像データに変換するとともに、色再現性を高める処理を行う。

領域分離部２１は、原稿検知部１４および原稿補正部１５による処理が完了した後の画像データを原稿補正部１５から入力され、当該画像データの画像中の各画素を黒文字領域、色文字領域、網点領域、印画紙写真（連続階調領域）領域の何れかに分類する。領域分離部２１は、分類結果に基づき、画素がどの領域に属しているかを示す領域分離データ（領域分離信号）を、黒生成下色除去部１７、空間フィルタ処理部１８、および中間調生成部２０へと出力する。領域分離処理の方法は特に限定されるものではなく、従来から公知の方法を用いることができる。黒生成下色除去部１７、空間フィルタ処理部１８、および中間調生成部２０では、入力された領域分離信号に基づいて、各領域に適した処理が行われる。

黒生成下色除去部１７は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行うものである。これにより、ＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

空間フィルタ処理部１８は、黒生成下色除去部１７より入力されるＣＭＹＫ信号の画像データに対して、領域分離データを基にデジタルフィルタによる空間フィルタ処理（強調処理および／または平滑化処理）を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。

出力階調補正部１９は、用紙等の記録材に出力するための出力γ補正処理を行い、出力γ補正処理後の画像データを中間調生成部２０に出力する。

中間調生成部２０は、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）を画像データに施す。

上述した各処理が施されて中間調生成部２０から出力された画像データは、一旦、図示しないメモリ（あるいは記憶部２３）に記憶されたのち、所定のタイミングで読み出されて画像出力装置４に入力され、画像出力装置４は当該画像データに基づいて印刷を行う。

なお、上述した画像形成モードの処理では、原稿補正部１５による処理が完了した後の画像データが原稿補正部１５から色補正部１６に引き渡されるものとしているがが、これに限るものではない。例えば、原稿補正部１５による処理が完了した後の画像データをファイリングデータとして一旦記憶部２３に記憶させるようにしてもよい。この場合、原稿補正部１５による処理が完了した後の画像データは、例えば、ＪＰＥＧ圧縮アルゴリズムに基づいてＪＰＥＧコードに圧縮されて記憶部２３に格納される。そして、コピー出力動作やプリント出力動作が指示されたときに、記憶部２３からＪＰＥＧコードが引き出され、ＲＧＢの画像データに変換される。ＲＧＢに変換された画像データは原稿補正部１５をスルーして、色補正部１６と領域分離部２１とに送られる。なお、ファイリングデータの管理やデータの引渡しの動作制御については制御部２４が行う。

（４）画像送信モード
次に、画像送信モードにおける画像処理装置３の動作について、図２を参照しながらより詳細に説明する。なお、通常送信モードにおけるＡ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、および領域分離部２１の処理は、画像形成モード時と略同様である。

原稿検知部１４は、画像形成モードと同様の動作を行うとともに、２値化および低解像度化した画像データをファイル生成部３０（ファイル生成部３０の情報抽出部３１）に出力する。

原稿補正部１５は、通常送信モードの場合には画像形成モードと同様の動作を行い、傾き補正処理および天地方向補正処理を施した原稿の画像データを色補正部１６に出力する。また、原稿補正部１５は、簡易送信モードの場合には原稿の画像データに傾き補正処理および天地方向補正処理を施すことなく色補正部１６に出力する。

色補正部１６は、原稿補正部１５から入力されたＲＧＢの画像データを、一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えば、ｓＲＧＢデータ）に変換し、黒生成下色除去部１７に出力する。黒生成下色除去部１７は、画像送信モードでは色補正部１６から入力された画像データをそのまま空間フィルタ処理部１８に出力（スルー）する。

空間フィルタ処理部１８は、黒生成下色除去部１７から入力されるＲ’Ｇ’Ｂ’の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理（強調処理および／または平滑化処理）を行い、出力階調補正部１９に出力する。出力階調補正部１９は、画像送信モードでは空間フィルタ処理部１８から入力された画像データをそのまま中間調生成部２０に出力（スルー）する。

中間調生成部２０は、出力階調補正部１９から入力されたＲ’Ｇ’Ｂ’の画像データに対して領域識別信号を基に所定の処理を施し、ファイル生成部３０（ファイル生成部３０に備えられるフォーマット化処理部３４）に出力する。

ファイル生成部３０は、図２に示したように、情報抽出部（文字情報取得部）３１、文字認識部（文字情報取得部）３２、描画コマンド生成部３３、およびフォーマット化処理部３４を備えている。

情報抽出部３１は、通常送信モードでは、原稿検知部１４から入力された画像データ（２値化および低解像度化された画像データ）をそのまま文字認識部３２に出力（スルー）する。また、情報抽出部３１は、簡易送信モードでは、原稿検知部１４から入力されたデータから傾き角度検知結果および天地方向判定結果を示すデータを抽出して描画コマンド生成部３３に伝達するとともに、原稿検知部１４から入力された画像データ（２値化および低解像度化された画像データ）を文字認識部３２に出力する。

文字認識部３２は、情報抽出部３１から入力された画像データに対して文字認識処理を行い、当該画像データに対応する画像に含まれる文字のテキストデータ（文字データ）を生成する。なお、文字認識処理の方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。例えば、文字認識部３２は、画像データに基づいて当該画像データの特徴量を抽出し、抽出した特徴量と記憶部２３に記憶している辞書データ（文字データベース）とを比較することで文字認識処理を行う。そして、文字認識結果に基づいて生成した文字データ（テキストデータ）を描画コマンド生成部３３に出力する。なお、文字認識処理の方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。

描画コマンド生成部３３は、文字認識部３２によって生成されたテキストデータに応じたテキスト画像を原稿の画像データにおける当該テキスト画像に対応する文字に応じた位置に表示させるためのテキストレイヤ情報（上記テキストデータに応じた透明テキストを示す透明テキストレイヤ、および上記テキストデータに応じた可視テキストを示す可視テキストレイヤ）を生成する。なお、透明テキストとは、上記テキストデータをテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、原稿画像データに透明テキストを付加した画像ファイルが一般に使用されている。また、可視テキストとは、上記テキストデータに応じた文字画像をユーザが視認することのできる色で表示させるためのデータである。

また、描画コマンド生成部３３は、後段のフォーマット化処理部３４で生成される画像ファイルに埋め込む描画コマンドを生成する。描画コマンドとは、画像ファイルの画像を表示装置に表示させる際の表示条件、画像ファイルに含まれる画像データに対して適用すべき画像処理条件、画像ファイルの画像を印刷装置で印刷する際の印刷条件などを表示処理や印刷処理を行うコンピュータに対して指示するためのコマンドである。なお、簡易送信モードの場合、描画コマンド生成部３３は、原稿の画像データに応じた画像を表示させる際に当該画像データに対して原稿検知部１４の傾き角度検知結果および天地方向判定結果に応じた傾き補正処理および天地方向補正処理をコンピュータに実行させるためのコマンドを描画コマンドに含める。

フォーマット化処理部３４は、中間調生成部２０から入力された画像データ、描画コマンド生成部３３によって生成されたテキストレイヤ情報（透明テキストおよび可視テキスト）、および描画コマンド生成部３３によって生成された描画コマンドに基づいて所定のフォーマット（本実施形態ではＰＤＦフォーマット）の画像ファイルを生成し、通信装置５に出力する。すなわち、フォーマット化処理部３４は、画像データが含まれる画像レイヤ、透明テキストが含まれる透明テキストレイヤ、および可視テキストが含まれる可視テキストレイヤの各レイヤを含み、かつ描画コマンドが埋め込まれた画像ファイルを生成する。画像ファイルの詳細については後述する。

なお、本実施形態では、フォーマット化処理部３４は、ＰＤＦ形式（サーチャブルＰＤＦ形式）の画像ファイルを生成する。ただし、フォーマット化処理部３４によって生成される画像ファイルのフォーマットはこれに限るものではなく、当該画像ファイルに含まれる描画コマンドに基づいて、コンピュータが、原稿の画像とテキストデータに応じて描画されるテキスト画像（透明テキストあるいは可視テキスト）とを表示させる第１表示状態と、画像データの画像を表示させずにテキストデータに応じて描画される可視画像を表示させる第２表示状態とに切り替える処理を行うことのできるフォーマットであればよい。

通信装置５は、フォーマット化処理部３４から入力された画像ファイルを、ネットワークを介して通信可能に接続された外部装置に送信する。なお、フォーマット化処理部３４が生成した画像ファイルを、通信ネットワークを介して接続された他の装置の記憶部、デジタルカラー複合機１内の記憶部、あるいはデジタルカラー複合機１に着脱可能に接続された各種記憶手段における所定の保存先に記憶させるようにしてもよい。

（５）描画コマンド
次に、画像ファイルに記述される（埋め込まれる）描画コマンドについてより詳細に説明する。

上述したように、描画コマンドとは、画像ファイルの画像を表示装置に表示させる際の表示条件、画像ファイルに含まれる画像データに対して適用すべき画像処理条件、画像ファイルの画像を印刷装置で印刷する際の印刷条件などを表示処理や印刷処理を行うコンピュータに対して指示するためのコマンドである。描画コマンドの記述形式は画像ファイルのフォーマットに応じた記述形式であればよく、特に限定されるものではないが、以下ではＰＤＦファイルに埋め込む描画コマンドの例について説明する。

図５（ｂ）は、画像ファイルに記述されているオプショナルコンテントグループ辞書であり、第１表示状態と第２表示状態とを切り替えるアクションを行う上で、相互の関連を整理するためのラベル（後述する図８参照）を定義するものである。図５（ｂ）の例では、“１３ ０”という対象物（オブジェクト）に対して、原稿の画像および透明テキストを表示させる第１表示状態（通常表示）用の切替ラベル（ラベル名”Normal View”、タイプ”OCG”）が対応付けられている。また、”１９ ０”という対象物（オブジェクト）に対して、原稿の画像を表示させずに可視テキストを表示させる第２表示状態（文字認識結果表示）用の切替ラベル（ラベル名”OCR View”、タイプが”OCG”）が対応付けられている。

図５（ａ）は、画像ファイルに記述されている文書カタログであり、文書全体（原稿画像）の情報を表すものである。文書カタログは、表示切替を行う対象物に対して、ページ毎、対象物毎に設定される。図５（ａ）の例では、２つの対象物”１３ ０”および”１９ ０”の表示を行うことが示されており、初期状態では”１３ ０”という対象物が表示され、”１９ ０”という対象物は表示されないように設定されている。

図５（ｃ）は、オプショナルコンテントの範囲指定に関する記述を示したものであり、ページ毎のコンテンツの情報を示している。図５（ｃ）の例では、表示切替を行う対象物の範囲（第２表示状態用テキストレイヤ。可視テキスト）が設定されている。

図６（ａ）は第１表示状態（通常表示）用の描画コマンドの例を示している。この例では、原稿の画像データに応じた画像を描画すること、および当該原稿に対応するテキストデータの文字画像を透明色で描画することが規定されている。

図６（ｂ）は、第２表示状態（文字認識結果表示）用の描画コマンドの例を示している。この例では、原稿に対応するテキストデータの文字画像を指定色（ここでは赤色）で描画することが規定されている。

図７（ａ）〜図７（ｃ）は、表示切替ボタンの設定に関する記述の例を示している。図７（ａ）はアクション（表示状態の切り替え、リンク先への移動等）を起こす際の参照情報が記述されたページオブジェクトであり、図７（ｂ）に示すＷｉｄｇｅｔ注釈にリンクされている。

図７（ｂ）は、アクションを起こす対象物の説明を記述したＷｉｄｇｅｔ注釈の例を示している。図７（ｂ）の例では、表示切替ボタンが操作されることにより、対象物“１３ ０”と“１９ ０”の表示を切り替えることが定義されている。また、図７（ｂ）の例では、表示切替ボタンは印刷されない設定（デフォルト設定）になっている。また、Ｗｉｄｇｅｔ注釈は、図７（ｃ）に示すフォームＸＯｂｊｅｃｔ（“４４ ０”）にリンクされている。

図７（ｃ）は、表示切替ボタンの描画イメージを記述したフォーム（フォームＸＯｂｊｅｃｔ）の例を示している。

図８は、デジタルカラー複合機１によって生成された画像ファイルを表示装置に表示させる際の表示状態の切り替え方法を説明するための説明図である。また、図９（ａ）および図９（ｂ）は、デジタルカラー複合機１から送信された画像ファイルに基づいて送信先のコンピュータの表示画面に表示される第１表示状態の表示画面の例、および第２表示状態の表示画面の例をそれぞれ示す説明図である。

図９（ａ）に示したように、第１表示状態では、原稿の画像およびこの原稿に対応するテキストデータの透明テキスト（透明テキスト画像）が表示される。また、第１表示状態では、表示画面の一部に表示切替ボタン７００が表示される。

また、図９（ｂ）に示したように、第２表示状態では、原稿の画像は表示されず、原稿に対応するテキストデータの可視テキスト（可視テキスト画像）が表示される。また、第２表示状態においても表示画面の一部に表示切替ボタン７００が表示される。

第１表示状態または第２表示状態において表示切替ボタン７００をユーザが操作すると、図７（ｂ）に示したＷｉｄｇｅｔ注釈に基づいて表示切替動作が行われる。すなわち、第１表示状態（図９（ａ）参照）において表示切替ボタン７００が操作された場合には、ラベル”OCR View”の表示、すなわち可視テキストの表示（第２表示状態、図９（ｂ）参照）に切り替えられる。また、第２表示状態において表示切替ボタンが操作された場合には、ラベル”Normal View”の表示、すなわち原稿の画像および透明テキストの表示（第１表示状態）に切り替えられる。

なお、本実施形態ではファイル生成部３０で生成された画像ファイルを表示装置に表示させる場合、初期状態において原稿の画像データと透明テキストとを重畳させた画像を表示させるようにしているが、これに限るものではない。例えば、初期状態において原稿の画像を表示させずに可視テキストを表示させ、ユーザの操作に応じて原稿の画像と透明テキストとを重畳させて表示する表示状態に切り替えるようにしてもよい。また、画像ファイルの初期状態における表示形態を、ユーザが任意に設定できるようにしてもよい。

また、本実施形態では、第１表示状態において原稿の画像と透明テキストとを表示し、第２表示状態において原稿の画像を表示させずに可視テキストを表示させるようにしているが、これに限るものではない。例えば、第１表示状態において原稿の画像と可視テキストとを表示し、第２表示状態において原稿の画像を表示させずに可視テキストを表示させるようにしてもよい。図１０（ａ）〜図１０（ｄ）は、その場合の描画コマンドの一例を示す説明図である。また、図１１は、図１０（ａ）〜図１０（ｄ）の設定に基づいて行われる表示状態の切り替えを示す説明図である。

図１０（ａ）は、文書カタログの例を示しており、対象物“１９ ０”（可視テキスト）は常に表示され、対象物“１３ ０”（原稿の画像）の表示が表示／非表示に表示切替される設定になっている。また、図１０（ｂ）は、対象物“１３ ０”用の描画コマンドの例を示している。図１０（ｃ）は、ページオブジェクトの例を示しており、第１表示状態において可視テキストレイヤの上に画像データレイヤが配置されるように設定されている。すなわち、第１表示状態では、可視テキストと原稿の画像とが重畳して表示されるように設定されている。図１０（ｄ）は、Ｗｉｄｇｅｔ注釈の例を示しており、対象物“１３ ０”の表示／非表示が切り替えられるように設定されている。

これにより、図１１に示したように、第１表示状態および第２表示状態の両方において可視テキストレイヤは表示状態となるが、表示切替ボタンの操作により、ラベル”Ｎｏｒｍａｌ Ｖｉｅｗ”に対応する原稿の画像の表示状態が表示状態と非表示状態とに切り替えられる。このように制御を行うことよって、原稿の画像の表示状態が表示状態の場合は、可視テキストレイヤは原稿の画像に隠れて見かけ上は原稿の画像のみが表示される第１表示状態となり、原稿の画像の表示状態が非表示状態の場合は、可視テキストレイヤのみが表示される第２表示状態となる。なお、図１１に示す実施の形態では、可視テキストレイヤの上に原稿画像レイヤが形成される。

また、表示切替ボタンを半透明（例えば通常濃度の３０％の濃度）で表示させておき、ユーザが所定の操作を行ったとき（例えばマウス等のポインティングデバイスの操作によりカーソルを表示切替ボタン上に移動させたとき）に表示切替ボタンの色を非透明な通常濃度で表示させたり、表示切替ボタンに対する注釈情報を表示させたりするようにしてもよい。図１２（ａ）〜図１２（ｃ）は、その場合の描画コマンドの一例を示す説明図である。また、図１３は、図１２（ａ）〜図１２（ｃ）の設定に基づいて行われる表示切替ボタンの表示状態の切り替えを示す説明図である。

図１２（ａ）は、Ｗｉｄｇｅｔ注釈の例を示しており、表示切替ボタンの操作により対象物“１３ ０”と対象物“１９ ０”の表示状態を切り替えることが規定されている。また、図１２（ａ）の例では、表示切替ボタンは印刷されない設定（デフォルトの設定）になっている。また、図１２（ａ）の例では、カーソルが表示切替ボタンの範囲外にあるときの表示切替ボタンの描画イメージ（ノーマル外観）を対象物”４５ ０”（半透明の描画イメージ）とすること、およびカーソルが表示切替ボタンの範囲内にあるときの表示切替ボタンの描画イメージ（ロールオーバー外観）を対象物”４４ ０”（非透明の描画イメージ、半透明時よりも表示濃度の高い描画イメージ）とすることが定義されている。また、図１２（ａ）の例では、カーソルが表示切替ボタンの範囲内にあるときに、表示切替ボタンの機能（表示切替ボタンが操作されたときに行われる動作内容）を説明する吹き出し（説明画像）を表示切替ボタンの近傍に表示させることが定義されている。具体的には、“／ＴＵ”に続く“（）”で囲まれた文字列、すなわちメッセージ”Turn on and off OCR Result”を表示させることが定義されている。なお、図１２（ａ）に示したＷｉｄｇｅｔ注釈は、図１２（ｂ）に示す表示切替ボタンの半透明描画イメージを記述したフォーム、および表示切替ボタンの非透明描画イメージを記述したフォーム（図示せず）にリンクされている。

図１２（ｂ）は、表示切替ボタンの描画イメージ（外観）を記述したフォーム（フォームＸＯｂｊｅｃｔ）の例であり、ボタンの半透明描画イメージが定義されている。

図１２（ｃ）は、対象物の描画状態を規定するグラフィック状態パラメータ辞書の一例であり、半透明の描画状態を定義している。図１２（ｃ）に示した例では不透明度３０％（透過率７０％）の半透明状態に設定されている。

これにより、図１３に示したように、カーソル８００が表示切替ボタン７００の範囲外にある状態では表示切替ボタン７００が半透明で表示される。また、カーソル８００が表示切替ボタン７００の範囲内に移動すると、表示切替ボタン７００が非透明（半透明時よりも表示濃度の高い表示状態）で表示され、表示切替ボタン７００の近傍にメッセージ”Turn on and off OCR Result”を示す吹き出し９００が表示される。表示切替ボタン７００がクリックされた場合の動作は上述した通りである。

また、本実施形態では、表示切替ボタン７００が表示されている状態でユーザが表示されている画像の印刷指示した場合に、表示切替ボタン７００を印刷対象から除外して表示切替ボタン７００を除く画像を印刷するものとしているが、これに限るものではない。例えば、印刷指示が入力されたときに、表示中の画像（原稿画像、可視テキスト、あるいはその両方）と表示切替ボタン７００とを印刷させるようにしてもよい。図１４は、その場合のＷｉｄｇｅｔ注釈の例を示す説明図である。この図に示すように、Ｗｉｄｇｅｔ注釈にコマンド“／Ｆ４”を挿入することにより、表示切替ボタン７００が印刷される状態にすることができる。表示切替ボタン７００を印刷させない場合には、図７（ｂ）に示したように上記コマンド“／Ｆ４”を挿入しなければよい。

また、原稿画像が複数ページの画像からなる場合、表示中のページに対応して表示されている表示切替ボタンが操作されたときに、その表示切替ボタンの操作に対応する表示状態の切り替えを全ページに対して共通に適用するようにしてもよい。この場合、図１５に示すように、各ページに関する第１表示状態の対象物および第２表示状態の対象物をページ毎に別々の対象物として定義するとともに、ラベルについてはページによらず共通のラベルを関連付けておけばよい。図１５に示した例では、各ページの第１表示状態の対象物に”Normal View”を関連付け、各ページの第２表示状態の対象物には”OCR View”を関連付けている。

また、表示中のページに対応して表示されている表示切替ボタンが操作されたときに、その表示切替ボタンの操作に対応する表示状態の切り替えを当該ページにのみ適用し、他のページには適用しないようにしてもよい。この場合、図１６に示すように、各ページに関する第１表示状態の対象物および第２表示状態の対象物をページ毎に別々の対象物として定義するとともに、ラベルについてもページ毎に異なるラベルを関連付けておけばよい。

（６）外部装置から画像データを入力する処理例
本実施形態では、画像入力装置２が原稿を読み取って取得した画像データに対して画像形成モードあるいは画像送信モードの処理を行う場合について記載しているが、これに限るものではない。例えば、デジタルカラー複合機１が、通信装置５によって外部装置から受信した画像ファイルやデジタルカラー複合機１に対して着脱可能に接続された各種メモリデバイス（例えばＵＳＢメモリ等）から読み出した画像ファイルに基づいて画像形成モードや画像送信モードの処理を行う機能を有していてもよい。

この場合、制御部２４は、処理対象の画像ファイルのファイルフォーマットを検出し、この画像ファイルにテキストデータが付加されているか否かを判断する。文字データが埋め込まれたファイルの例としては、例えばサーチャブルＰＤＦなどが挙げられる。

制御部２４は、処理対象の画像ファイルにテキストデータが埋め込まれていないと判断した場合、当該画像ファイルに含まれている画像データを抽出し、原稿検知部１４およびフォーマット化処理部３４に出力する。原稿検知部１４は、上記画像データを低解像度化および２値化した２値化画像データを生成し、情報抽出部３１に出力する。情報抽出部３１は、原稿検知部１４から入力された２値画像データを文字認識部３２に伝達（スルー）し、文字認識部３２は上記２値画像データに基づいて文字認識処理を行い、文字認識結果を描画コマンド生成部３３に伝達する。描画コマンド生成部３３およびフォーマット化処理部３４は、上述した画像送信モードの処理と同様の処理を行い、画像データ、テキストデータ（透明テキストおよび可視テキスト）、および描画コマンドを含む画像ファイルを生成して通信装置５に出力する。

一方、処理対象の画像ファイルにテキストデータが埋め込まれていると判断した場合、制御部２４は、処理対象の画像ファイルを情報抽出部３１に出力する。情報抽出部３１は画像ファイルを解析して画像データおよびテキストデータを抽出し、テキストデータを文字認識部３２に伝達する。この場合、文字認識部３２は、文字認識処理を行わず、情報抽出部３１から伝達されたテキストデータをそのまま描画コマンド生成部３３に伝達（スルー）する。また、情報抽出部３１は、処理対象の画像ファイルから抽出した画像データをフォーマット化処理部３４に伝達する。なお、情報抽出部３１がテキストデータを描画コマンド生成部３３に直接伝達するようにしてもよい。また、情報抽出部３１が画像データを文字認識部３２および描画コマンド生成部３３を介してフォーマット化処理部３４に伝達するようにしてもよい。また、制御部２４が画像データを抽出してフォーマット化処理部３４に入力するようにしてもよい。描画コマンド生成部３３は、情報抽出部３１が画像ファイルから抽出したテキストデータに基づいて描画コマンドを生成してフォーマット化処理部３４に出力する。フォーマット化処理部３４は、描画コマンド生成部３３が生成した描画コマンドと情報抽出部３１が画像ファイルから抽出した画像データとに基づいて、画像データ、テキストデータ（透明テキストおよび可視テキスト）画像ファイルを生成する。

図１７は、制御部２４にて実行されるファイルフォーマットの判定処理の一例を示すフローチャートである。図１７に示した処理は、各種画像ファイルがファイル先頭部（ヘッダ）にファイルフォーマットに応じた特徴的なバイト列を有していることが多い点に着目し、ファイルの先頭部のバイト列を確認することにより、ファイル種別（フォーマット）を簡易的に認識するようにしたものである。

画像送信モードが選択され、かつ記憶部２３に保存されている画像ファイル（あるいは通信装置５を介して通信可能に接続された外部装置に保存されている画像ファイル、またはデジタルカラー複合機１に対して着脱可能に接続された各種メモリデバイスに保存されている画像ファイル）が処理対象として選択されると、制御部２４は、当該画像ファイルのファイル先頭部のバイト列を取得する（Ｓ２１）。

Ｓ２１にて取得されたバイト列が１６進数の０×４９，０×４９，０×２Ａ，０×００である場合（Ｓ２２にてＹＥＳ）、すなわち、ファイルが０×４９，０×４９，０×２Ａ，０×００で始まっている場合、制御部２４は、処理対象の画像ファイルのフォーマットがＴＩＦＦであると判断する（Ｓ２６）。

また、Ｓ２１にて取得されたバイト列が１６進数の０×４Ｄ，０×４Ｄ，０×００，０×２Ａである場合も（Ｓ２２にてＮＯ、Ｓ２３にてＹＥＳ）、制御部２４は、処理対象の画像ファイルのフォーマットがＴＩＦＦであると判断する（Ｓ２６）。

また、Ｓ２１にて取得されたバイト列が１６進数の０×ＦＦ，０×Ｄ８である場合（Ｓ２２およびＳ２３にてＮＯ、Ｓ２４にてＹＥＳ）、制御部２４は、処理対象の画像ファイルのフォーマットがＪＰＥＧであると判断する（Ｓ２７）。

また、Ｓ２１にて取得されたバイト列が１６進数の０×２５，０×５０，０×４４，０×４６である場合（Ｓ２２〜Ｓ２４にてＮＯ、Ｓ２５にてＹＥＳ）、制御部２４は、処理対象の画像ファイルのフォーマットがＰＤＦであると判断する（Ｓ２８）。

これに対し、Ｓ２１にて取得されたバイト列がＳ２２〜Ｓ２５に示されるいずれのバイト例にも該当しない場合（Ｓ２２〜Ｓ２５にてＮＯ）、制御部２４は、処理対象の画像ファイルが処理不可ファイルであると判定し（Ｓ２９）、この場合については画像送信モードの処理を中止する。

制御部２４は、図１７の処理によって画像ファイルのフォーマットを特定すると、以下のようにしてテキストデータの有無を判断する。

まず、図１７の処理によって特定されたフォーマットがＰＤＦである場合、制御部２４は、テキストコマンドを調べることで、ＰＤＦファイルにおけるテキストデータの有無を判断する。例えば、サーチャブルＰＤＦのようにＰＤＦにテキストデータが埋め込まれているファイルフォーマットでは、図５（ｃ）に示されるようにＰＤＦファイル内部に”stream BT 84 Tz …”のような記述があるため、テキストデータ（文字データ）が埋め込まれていると判断できる。一方、文字情報がビットマップ画像としてＰＤＦファイルに格納されている場合（テキストデータを有しない場合）、上記のような記述は含まれていないため、テキストデータが埋め込まれていないと判断できる。

また、図１７の処理によって特定されたフォーマットがＪＰＥＧの場合、制御部２４は、テキストデータを有していない画像ファイルとして認識する。

また、図１７の処理によって特定されたフォーマットがＴＩＦＦの場合も、制御部２４は、テキストデータを有していない画像ファイルとして認識する。ただし、この場合、制御部２４は、ＴＩＦＦファイルのタグを調べることで、ＴＩＦＦファイルが２値画像および多値画像のいずれであるかを判定する。そして、ＴＩＦＦファイルが多値画像である場合、制御部２４は、ＴＩＦＦファイルに含まれている画像データを抽出してＲＧＢの画像データに変換し、原稿補正部１５を介して当該画像データをファイル生成部３０に出力する。これに対し、ＴＩＦＦファイルが２値画像である場合、制御部２４は、ＴＩＦＦファイルに含まれている２値画像を抽出し、２値画像を多値のＲＧＢの画像データ（例えば８ビットの画像データ）に変換する。そして、変換したＲＧＢの画像データを、原稿補正部１５を介してファイル生成部３０に出力する。

なお、図１７に示した処理例では、処理対象の画像ファイルがワード、エクセル、パワーポイント等の電子データの場合について記載されていないが、これらの電子データもテキストデータを含むため、処理対象の画像ファイルがこれらの電子データである場合、制御部２４は、当該電子データをファイル生成部３０に入力するようになっている。

（７）画像読取装置
また、本実施形態では、本発明をカラー複合機（画像形成装置）に適用する場合について説明したが、これに限らず、モノクロ複合機に適用してもよい。また、複合機（画像形成装置）に限らず、例えばカラーあるいはモノクロの画像読取装置に適用してもよい。

図１８は、本発明をカラー画像読取装置に適用する場合の構成例を示すブロック図である。図１８に示すように、画像読取装置１００は、画像入力装置２、画像処理装置３ｂ、通信装置５、および操作パネル６を備えている。画像入力装置２、通信装置５、および操作パネル６の構成および機能は上述したデジタルカラー複合機１の場合と略同様なので、ここではその説明を省略する。

画像処理装置３ｂは、Ａ／Ｄ変換部１１、シェーディング補正部１２、入力処理部１３、原稿検知部１４、原稿補正部１５、ファイル生成部３０を備えている。ファイル生成部３０の構成は上述したデジタルカラー複合機１の画像処理装置３に備えられるファイル生成部３０と同様である。また、画像入力装置２、画像処理装置３ｂに含まれる各部の処理内容は、デジタルカラー複合機１の場合と略同様である。画像処理装置３ｂにおいて上記各処理が施された後の画像ファイルはコンピュータやハードディスク、ネットワークなどへ出力される。

（８）プログラム
また、上記実施形態において、デジタルカラー複合機１に備えられる各部（各ブロック）、特に画像処理装置３の各部を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、デジタルカラー複合機１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複合機１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複合機１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、デジタルカラー複合機１を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークの構成は特に限定されるものではなく、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体についても特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

また、デジタルカラー複合機１の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよい。また、デジタルカラー複合機１の各ブロックは、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、原稿の画像データと上記原稿のテキストデータとを含む画像ファイルを生成する画像処理装置に適用できる。

１ デジタルカラー複合機（画像処理装置、画像形成装置、画像読取装置）
２ 画像入力装置
３，３ｂ 画像処理装置
４ 画像出力装置
５ 通信装置
６ 操作パネル
１４ 原稿検知部
１５ 原稿補正部
２３ 記憶部
２４ 制御部
３０ ファイル生成部
３１ 情報抽出部（文字情報取得部）
３２ 文字認識部（文字情報取得部）
３３ 描画コマンド生成部
３４ フォーマット化処理部
５１ 信号変換部
５２ 解像度変換部
５３ ２値化処理部
５４ 原稿傾き検知部
５５ 天地方向検知部
１００ 画像読取装置（画像処理装置）
７００ 表示切替ボタン
８００ カーソル

Claims (10)

1. 画像ファイルに含まれるデータに対してコンピュータに実行させる処理の処理内容を示す描画コマンドを生成する描画コマンド生成部と、
   原稿の画像データ、上記原稿に含まれる文字のテキストデータ、および、上記描画コマンド生成部が生成した描画コマンドを含む所定フォーマットの画像ファイルを生成するフォーマット化処理部とを備えた画像処理装置であって、
   上記描画コマンド生成部は、上記原稿の画像を表示装置に表示させる第１表示状態と、上記原稿の画像を表示させずに上記テキストデータの文字をユーザが視認できる色で配置した可視テキストを表示装置に表示させる第２表示状態との切り替えをコンピュータに実行させるためのコマンドを上記描画コマンドに含めることを特徴とする画像処理装置。
2. 上記描画コマンド生成部は、上記第１表示状態において、上記テキストデータの文字をユーザが視認できない色で配置した透明テキストを上記原稿の画像に重畳させて表示装置に表示させるためのコマンドを上記描画コマンドに含めることを特徴とする請求項１に記載の画像処理装置。
3. 上記原稿に含まれる文字のテキストデータを取得する文字情報取得部を備え、
   上記文字情報取得部は、
   上記原稿の画像データに対して文字認識処理を行うことで上記テキストデータを取得するか、あるいは、上記原稿の画像データに予め付加されているテキストデータを抽出することで上記テキストデータを取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 上記描画コマンド生成部は、ユーザが上記第１表示状態と上記第２表示状態との切り替えの指示入力を行うための操作対象となる表示切替ボタンを表示装置に表示させる処理をコンピュータに実行させるためのコマンド、およびユーザから上記画像ファイルの印刷指示がなされた場合に上記表示切替ボタンを除いた画像を印刷する処理をコンピュータに実行させるためのコマンドを上記描画コマンドに含めることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 上記描画コマンド生成部は、上記原稿が複数ページからなる場合に、上記表示切替ボタンを上記原稿の各ページの画像に対応する位置にそれぞれ表示させ、かつユーザが上記表示切替ボタンを用いて上記第１表示状態と上記第２表示状態との切り替えの指示入力を行った場合に当該指示入力に対応する上記第１表示状態と上記第２表示状態との切り替え処理を原稿の全ページに対して共通に適用することを特徴とする請求項４に記載の画像処理装置。
6. 上記描画コマンド生成部は、
   初期状態では上記表示切替ボタンに重畳する位置に表示される他の画像をユーザが視認できるように上記表示切替ボタンを半透明で表示し、ユーザによる所定の操作が行われた場合に上記表示切替ボタンの表示濃度を上記初期状態よりも高める処理をコンピュータに実行させるためのコマンドを上記描画コマンドに含めることを特徴とする請求項４または５に記載の画像処理装置。
7. 上記描画コマンド生成部は、
   上記所定の操作が行われた場合に、上記表示切替ボタンの近傍に当該表示切替ボタンを操作することによって入力される指示内容を示す画像を表示させる処理をコンピュータに実行させるためのコマンドを上記描画コマンドに含めることを特徴とする請求項６に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置を備えていることを特徴とする画像形成装置。
9. 請求項１から７のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images