JP2009284081A - 画像処理装置、画像形成装置、コンピュータプログラム、記録媒体及び画像処理方法 - Google Patents

Abstract

【課題】画像を構成する部分画像を適当な大きさで順次表示して文書の内容を容易に把握することができる画像処理装置、画像形成装置、コンピュータプログラム、記録媒体及び画像処理方法を提供する。
【解決手段】レイアウト認識部２３１は、原稿画像の文章領域のレイアウトの認識を行う。コマンド生成部２３２は、レイアウトにより決定された表示順序に従って、表示領域、表示方法等の関するコマンドを生成する。表示データ生成部２３４は、画像データに対して、原稿画像を液晶ディスプレイ６１に表示できる表示画像を生成する。合成処理部２３３は、生成したコマンドと表示画像とを合成し、表示データを生成する。表示制御部２３５は、表示データに埋め込まれたコマンドに従って、液晶ディスプレイ６１で表示するための画像データを生成する。
【選択図】図１

Description

本発明は、取得した画像を表示させるための処理を行う画像処理装置、該画像処理装置を備える画像形成装置、前記画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムを記録した記録媒体及び画像処理方法に関する。

複写機又は複合機などの画像形成装置では、原稿の種類や濃度等の設定、画像の変倍率の設定、片面又は両面等の印刷設定、用紙の余白サイズ等の設定などに応じて処理された結果の画像を複数枚合成してプレビュー表示する機能を備えている。この場合、プレビュー表示される画像（原稿画像）それぞれには、複数の部分画像が配置（レイアウト）されている。

プレビュー表示機能を備えた従来の複合機では、プレビューした文書の回転表示又は拡大表示、複数ページの画像（原稿画像）がある場合にはページめくり機能などを備えたものが実用化されている。

一方、複数の画像（原稿画像）で構成される文書全体を通して見る際に、文書全体の内の一部が表示された画面を目で見ながらユーザ自身が画面を上下・左右にスクロールさせるための手動操作を行うことはユーザへの負荷が多く、また、操作ミスによる見落とし等が生じるため、これを改善すべく文書全体を自動でスクロールすることができる文書処理装置が開示されている（特許文献１参照）。
特開平０２−１７８７６６号公報

しかしながら、従来のプレビュー機能を備えた複合機等の場合、複数の部分画像が配置（レイアウト）された画像を適当な大きさで見るためには、画像を拡大表示するための操作を行う必要があった。また、拡大表示された状態で画像全体を漏れなく見るためには、例えば、ユーザが画像中の文章の前後の繋がりを判断しつつスクロール操作を行う必要があり、ユーザにとって使いにくいものであった。

また、特許文献１の装置にあっては、文章全体を自動でスクロールするため、例えば、段組等により構成された文書の場合には、文書の内容を確認することが困難となる。また、特許文献１には、どのようにして自動でスクロールするかが具体的には開示されていない。

本発明は、斯かる事情に鑑みてなされたものであり、画像を構成する部分画像を適当な大きさで順次表示して文書の内容を容易に把握することができる画像処理装置、該画像処理装置を備える画像形成装置、前記画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムを記録した記録媒体及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、取得した画像を表示させるための処理を行う画像処理装置において、取得した画像を構成する複数の部分画像を特定する特定手段と、該特定手段で特定した部分画像の表示順序を決定する決定手段と、前記特定手段で特定した部分画像の一部又は全部を表示するための表示領域を設定する設定手段と、前記決定手段で決定した表示順序に従って前記表示領域を画像上で移動させる移動手段と、該移動手段で移動させた表示領域内の画像を表示すべく制御する表示制御手段とを備えることを特徴とする。

本発明に係る画像処理装置は、前記部分画像の配置を特定する配置特定手段と、該配置特定手段で特定した配置に応じて各部分画像に対する表示領域の先頭位置を算出する位置算出手段とを備えることを特徴とする。

本発明に係る画像処理装置は、前記部分画像上での前記表示領域の移動方向と直交する方向の該表示領域の寸法は前記部分画像の寸法より長いか又は略等しいことを特徴とする。

本発明に係る画像処理装置は、切り替え表示又はスクロール表示のいずれかの表示方法の選択を受け付ける受付手段を備え、前記移動手段は、前記受付手段で受け付けた表示方法に応じて表示領域を移動させるように構成してあることを特徴とする。

本発明に係る画像処理装置は、前記受付手段で切り替え表示の選択を受け付けた場合、前記設定手段は、前記部分画像を表示領域の移動方向に沿って等分割して得られた領域と略等しい大きさの表示領域を設定するように構成してあることを特徴とする。

本発明に係る画像形成装置は、出力画像を形成する画像形成手段と、前述の発明のいずれか１つに係る画像処理装置とを備えることを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータを、画像を表示する手段として機能させるためのコンピュータプログラムにおいて、コンピュータを、画像を構成する複数の部分画像を特定する特定手段と、特定した部分画像の表示順序を決定する決定手段と、特定した部分画像の一部又は全部を表示するための表示領域を設定する設定手段と、決定した表示順序に従って前記表示領域を画像上で移動させる移動手段として機能させることを特徴とする。

本発明に係るコンピュータでの読み取りが可能な記録媒体は、前述の発明に係るコンピュータプログラムを記録してあることを特徴とする。

本発明に係る画像処理方法は、画像を表示させるための処理を行う画像処理装置の画像処理方法において、前記画像処理装置は、取得した画像を構成する複数の部分画像を特定し、特定した部分画像の表示順序を決定し、特定した部分画像の一部又は全部を表示するための表示領域を設定し、決定した表示順序に従って前記表示領域を画像上で移動させ、移動させた表示領域内の画像を表示すべく制御することを特徴とする。

本発明にあっては、取得した画像（原稿画像）を構成する部分画像（例えば、文章領域）を特定する。部分画像（文章領域）の特定は、例えば、画像データを２値化し、主走査方向及び副走査方向それぞれの２値化データの反転回数、エッジ数などの特徴量を抽出し、抽出した特徴量の分布に基づいて行うことができる。あるいは、画像の複数の画素で構成される画素ブロックに対して、最大濃度差及び隣接する画素の濃度差の絶対値の総和である総和濃度繁雑度などの特徴量を求め、これらの特徴量に基づいて行うこともできる。次に、特定した部分画像の表示順序を決定する。表示順序の決定は、例えば、部分画像が文章領域である場合、一の文章領域の末尾の文字列（１文字又は複数文字）を抽出するとともに、他の文章領域の先頭の文字列を抽出し、抽出した文字列を結合して得られた文字列を予め単語辞書に登録された単語と照合する。そして、文字列が単語辞書に記憶されている場合、２つの文章領域の接続性があると判定し、各文章領域の接続順序を表示順序として決定することで行うことができる。

特定した部分画像の一部又は全部を表示するための表示領域を設定する。表示領域は、例えば、部分画像（例えば、文章領域）の幅（表示領域が部分画像上を移動する方向と直交する方向の部分画像の寸法）が表示領域内に含まれるように決定することができる。決定した表示順序に従って表示領域を画像上で移動させ、移動させた表示領域内の画像を表示すべく制御する。例えば、画像（原稿画像）を構成する４つ部分画像Ｓ１〜Ｓ４が、この順序で接続性がある場合、部分画像Ｓ１の先頭部分に表示領域を設定し、部分画像Ｓ１上で表示領域を移動させ、部分画像Ｓ１の末尾部分に到達した後、決定した表示順序に従って部分画像Ｓ２の先頭部分へ表示領域を移動させる。そして、部分画像Ｓ２上で表示領域を移動させ、部分画像Ｓ２の末尾部分に到達した後、部分画像Ｓ３の先頭部分へ表示領域を移動させる。以下、同様にして、表示領域が最後の部分画像Ｓ４の末尾部分に到達した後、次の原稿の画像に対して同様の処理を行う。

画像を構成する部分画像の大きさに応じて表示領域が設定されるので、例えば、ユーザが部分画像を適切な大きさで見るための拡大表示などの操作を行う必要がない。また、それぞれ部分画像の表示順序を決定し、決定した順序に従って表示領域を移動させるので、ユーザが画像中の文章の前後の繋がりを判断しつつスクロール操作を行う必要がなく、ユーザに対して極めて良好な操作性を提供するのみならず、操作ミスによる見落とし等が生じる可能性もなく、文書の内容を容易に把握することができる。

本発明にあっては、部分画像の配置を特定し、特定した配置に応じて各部分画像に対する表示領域の先頭位置を算出する。表示領域の先頭位置は、例えば、画像上の座標（ｘ、ｙ）を用いて算出することができる。これにより、部分画像（例えば、文章領域）が段組等で構成され、どのような配置（レイアウト）であっても、表示領域を精度良く設定することができる。

本発明にあっては、部分画像上での表示領域の移動方向と直交する方向の該表示領域の寸法（例えば、部分画像の幅）は部分画像の寸法より長いか又は略等しい。これにより、表示領域に部分画像（文章領域）の幅が収まるため、部分画像上を表示領域が移動する場合に、移動に伴って部分画像をすべて表示させることができる。このため、表示されない部分を見るための余計な操作（例えば、スクロール操作）が不要になり、ユーザの利便性がさらに向上する。

本発明にあっては、切り替え表示又はスクロール表示のいずれかの表示方法の選択を受け付け、受け付けた表示方法に応じて表示領域を移動させる。切り替え表示は、例えば、部分画像の一部を表示した後、表示した一部に代えて部分画像の他の部分を表示するように切り替えることである。また、スクロール表示は、例えば、表示中の部分画像の一部が徐々に表示領域から消えるとともに新たな部分が徐々に現われるような表示である。これにより、ユーザの好みに応じた表示方法を提供することができる。

本発明にあっては、切り替え表示の選択を受け付けた場合、部分画像を表示領域の移動方向に沿って等分割して得られた領域と略等しい大きさの表示領域を設定する。例えば、部分画像を表示領域の移動方向に沿って２分割した領域と略等しい大きさの表示領域を設定する。この場合、２回切り替え表示を行うことにより部分画像のすべてを漏れなく表示させることができる。

本発明にあっては、画像を構成する部分画像を適当な大きさで順次表示して文書の内容を容易に把握することができる画像形成装置を提供することができる。

本発明によれば、画像を構成する部分画像を適当な大きさで順次表示して文書の内容を容易に把握することができる。

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る画像処理装置を備える画像形成装置１００の構成を示すブロック図である。画像形成装置１００（例えば、デジタルカラー複写機、又は複合機能、コピア機能、プリンタ機能、ファイリング機能、ファクシミリ機能若しくはScan to E-mail機能等を備えた複合機）は、画像入力装置１、画像処理装置２、画像形成手段としての画像出力装置３、ＣＰＵ等で構成され装置全体を制御するための制御部４、画像処理装置２で処理するデータ又は処理後のデータ等を外部へ送受信し、あるいは記憶する記憶部５１を備えた送受信部５、液晶ディスプレイ６１、操作ボタンなどを有する操作パネル６などを備える。

画像入力装置１は、例えば、ＣＣＤ（Charged Coupled Device）ラインセンサを備え、原稿から反射した光をＲ、Ｇ、Ｂ（Ｒ：赤、Ｇ：緑、Ｂ：青）に色分解された電気信号に変換する。ＣＣＤラインセンサにより入力されたカラー画像信号（ＲＧＢアナログ信号）は、Ａ／Ｄ（アナログ・デジタル）変換部２０にてデジタル信号に変換され、シェーディング補正部２１にて画像入力装置１の照明系、結像系、撮像系で生じる各種の歪みが取り除かれる。その後、入力処理部２２においてＲＧＢ信号のそれぞれに対してγを補正する処理などが施される。

入力処理部２２は、画像データを送受信部５へ出力する。送受信部５は、入力された画像データをハードディスク又は半導体メモリなどの記憶部５１に一旦記憶する。操作パネル６でプレビュー表示を行う旨の操作（プレビューモードの選択）を受け付けた場合、制御部４の制御のもと、一旦記憶された画像データを読み出すことで、液晶ディスプレイ６１に原稿の表示（プレビュー表示）が行われる。表示された原稿が所望の状態であるとユーザに確認された場合、領域分離処理部２４以降の各処理が施される。また、一旦記憶された画像データは、所要のフォーマット（例えば、ＰＤＦファイルフォーマット）に変換後にネットワーク網又は通信回線を介して外部接続装置又は通信回線へ送信される。

領域分離処理部２４は、入力画像データの各画素が黒文字、色文字、網点、印画紙写真（連続階調領域）等のどのような領域に属する画素であるのか判定する。領域分離処理部２４は、判定結果である領域分離データを黒生成下色除去部２６、空間フィルタ部２７、中間調生成部２８へ出力する。これにより、各種領域に応じた適切な処理が行われる。また、領域分離処理部２４は、入力されたＲＧＢ信号をそのまま後段の色補正部２５へ出力する。

色補正部２５は、ＲＧＢ信号の補色であるＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）信号を生成するとともに、色再現性を高める処理を行う。具体的には、色補正部２５は、色再現の忠実化のため、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。

黒生成下色除去部２６は、色補正部２５から入力されたＣＭＹ信号に基づいて、Ｋ（黒）信号を生成するとともに、入力されたＣＭＹ信号からＫ信号を差し引いて新たなＣＭＹ信号を生成し、生成したＣＭＹＫ信号を空間フィルタ部２７へ出力する。

空間フィルタ部２７は、黒生成下色除去部２６から入力されたＣＭＹＫ信号に対して、領域分離データに基づいたデジタルフィルタによる空間フィルタ処理を行う。これにより、画像データの空間周波数特性が補正され、画像出力装置３における出力画像のぼやけ、又は粒状性劣化を防止する。例えば、空間フィルタ部２７は、領域分離処理部２４において文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、鮮鋭強調処理を施し高周波成分を強調する。また、空間フィルタ部２７は、領域分離処理部２４において網点領域に分離された領域を、入力網点成分を除去するためのローパス・フィルタ処理を施す。空間フィルタ部２７は、処理後のＣＭＹＫ信号を中間調生成部２８へ出力する。

中間調生成部２８は、階調再現処理を行う。例えば、中間調生成部２８は、文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、画像出力装置３における高周波成分の再現に適するように二値化処理又は多値化処理を行う。また、網点領域に分離された領域を、最終的に画像を画素に分離して、それぞれの階調を再現できるように階調再現処理（中間調生成）を行う。さらに、写真領域に分離された領域を、画像出力装置３における階調再現性に適するように二値化処理又は多値化処理を行う。

中間調処理部２８は、ＣＭＹＫ信号を画像出力装置３へ出力する。画像出力装置３は、原稿画像の画像データを記録紙上に出力する電子写真方式やインクジェット方式などを用いた画像形成手段である。

表示処理部２３は、レイアウト認識部２３１、コマンド生成部２３２、合成処理部２３３、表示データ生成部２３４、表示制御部２３５などを備えている。なお、表示処理部２３は、ＡＳＩＣ（Application Specific Integrated Circuit）などの専用のハードウエア回路で構成することができ、あるいは、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えたパーソナルコンピュータに、所定の表示処理の手順を定めたコンピュータプログラムをロードすることによりＣＰＵでコンピュータプログラムを実行させることにより行うこともできる。

レイアウト認識部２３１は、記憶部５１から読み出された画像データ、あるいは入力処理部２２から入力された画像データを処理することにより、原稿画像のレイアウトの認識を行う。レイアウトの認識とは、例えば、原稿画像が複数の部分画像（例えば、文章領域）で構成されている場合、各部分画像の大きさ、原稿画像上での配置（位置関係）、文章の配置、段組等などを特定することである。なお、レイアウト認識を行うか否かは、ユーザが操作パネル６又は画像形成装置１００に接続されたパーソナルコンピュータ等から設定することができる。なお、文章領域は、一部又は全部に文章が含まれる領域である。

以下、レイアウト認識の処理の一例について説明する。レイアウト認識部２３１は、まず、原稿画像を構成する部分画像、各部分部分画像の配置などを特定する（文章領域の特定）。部分画像（文章領域）の特定は、例えば、画像データを２値化し、主走査方向及び副走査方向それぞれの２値化データの反転回数、エッジ数などの特徴量を抽出し、抽出した特徴量の分布に基づいて行うことができる。あるいは、原稿画像の複数の画素で構成される画素ブロックに対して、最大濃度差及び隣接する画素の濃度差の絶対値の総和である総和濃度繁雑度などの特徴量を求め、これらの特徴量に基づいて行うこともできる。なお、原稿画像から下地領域を抽出することにより、レイアウトを認識することもできる。

レイアウト認識部２３１は、特定した文章領域それぞれに仮領域番号を付与する。レイアウト認識部２３１は、それぞれの文章領域について、例えば、ＯＣＲを用いて文字認識を行い、認識結果を文章領域毎に対応付けてメモリ（不図示）に格納する。

複数の文章領域のうち、一つの文章領域に着目し、文章領域の末尾の文字列を抽出する。抽出する文字列は、１個の文字でもよく、あるいは複数の文字でもよい。着目した文章領域を除く他の文章領域から一つの文章領域を選択し、選択した文章領域の先頭の文字列（１個の文字でもよく、複数の文字でもよい）を抽出する。

抽出した文字列を結合して文字列を生成し、予め記憶してある単語辞書と照合を行い、生成した文字列が単語辞書に記憶されているか否か判定する。この場合、単語辞書を分野別に分けて作成しておき、レイアウト認識を行う際に、使用する辞書を選択する（操作パネル６又はコンピュータの画面より選択する）ようにしてもよい。

生成した文字列が単語辞書に記憶されている場合、両者の文章領域には相互に接続性があると判断する。単語辞書に記憶されていない場合、接続性がないと判断され、次の文章領域を抽出し、上述の処理を繰り返す。なお、接続性がないと判断された場合、抽出する末尾の文字数、先頭の文字数を増やして所定回数判定を行い、所定回数経過した段階で、接続性がないと判断されたとき、次の文章領域を選択するようにしてもよい。

着目した文章領域に対する処理が終了すると、次の文章領域を選択し、上述の処理を繰り返す。この処理をすべての文章領域に対して行い、原稿画像を構成するすべての文章領域（部分画像）の接続性（繋がり）を判定することができる。また、この判定結果により、原稿画像を構成する文章領域がどのような順序で繋がっているかが分かるので、この順序に従って表示順序を決定することができる。

コマンド生成部２３２は、レイアウト認識部２３１で認識されたレイアウトにより決定された表示順序に従って、表示すべく表示位置、表示サイズ（表示領域の設定）、切り替え表示又はスクロール表示などの表示方法に関するコマンドを生成する。

表示データ生成部２３４は、画像データに対して、画像の表示を行うための処理（ガンマ変換、解像度変更、階調変更処理等）を行って、原稿画像を液晶ディスプレイ６１に表示できる表示画像を生成する。

合成処理部２３３は、コマンド生成部２３２で生成したコマンドと、表示データ生成部２３４で生成した表示画像とを合成し、液晶ディスプレイ６１で表示できる表示データを生成する。表示データとしては、例えば、ＳＶＧ（Scalable Vector Graphics）フォーマットを用いることができる。

表示制御部２３５は、表示データに埋め込まれたコマンドに従って、液晶ディスプレイ６１で表示するための画像データを生成する。例えば、ブラウザ又はビューア等のソフトウェアを用いて表示を行うことができる。

次に、コマンド生成部２３２でのコマンド生成の例とともに、文章領域の表示方法について説明する。図２は原稿画像の文章領域のレイアウトの一例を示す説明図である。図２では、原稿画像を構成する文章領域（部分画像）Ｓ１〜Ｓ４が認識された場合を示す。なお、図２に示すように、文章領域Ｓ１の末尾の文字列「画像処」と文章領域Ｓ２の先頭の文字列「理装置」とを結合した文字列は「画像処理装置」となり、単語として意味のある文字列であるため、文章領域Ｓ１の次に文章領域Ｓ２が繋がる（接続される）と判定されている。以下、文章領域Ｓ２、Ｓ３、Ｓ４も同様に判定され、原稿画像の各文章領域は、文章領域Ｓ１、Ｓ２、Ｓ３、Ｓ４の順序で接続され、この順序で表示すべく決定される。なお、決定した表示順序がコマンド生成部２３２で生成するコマンドの１つになる。

図３は文章領域と表示領域との関係を示す説明図である。図３に示す、表示領域Ｄ１を文章領域の一部を表示できるように設定する。より具体的には、文章領域（部分画像）上での表示領域の移動方向と直交する方向の表示領域の寸法（表示領域の幅）は文章領域の寸法（文章領域の幅Ｗ）より長いか又は略等しい。なお、文章領域の周囲に余白が存在するような場合には、表示領域の幅が文章領域の幅Ｗと等しいか、あるいは若干短くても（両者を含んで略等しいとする）、表示領域内の文章領域の内容を確認することができるので特段の支障はない。すなわち、表示領域Ｄ１は、文章領域の内容を確認することができる程度に文章領域の幅部分が表示領域内に含まれるように決定することができる。

また、表示領域Ｄ１の先頭位置は、例えば、原稿画像上の座標（Ｘ、Ｙ）を用いて算出することができる。なお、算出した先頭位置がコマンド生成部２３２で生成するコマンドの１つになる。これにより、文章領域が段組等で構成され、どのような配置（レイアウト）であっても、表示領域Ｄ１を精度良く設定することができる。

原稿画像を構成する文章領域の大きさに応じて表示領域Ｄ１が設定されるので、例えば、ユーザが文章領域を適切な大きさで見るための拡大表示などの操作を行う必要がない。また、表示領域Ｄ１に文章領域（部分画像）の幅Ｗが収まるため、文章領域上を表示領域Ｄ１が移動する場合に、移動に伴って文章領域をすべて表示させることができる。このため、表示されない部分を見るための余計な操作（例えば、スクロール操作）が不要になり、ユーザの利便性が向上する。

図４は表示領域の指定方法の一例を示す説明図である。図４（ａ）は、表示領域Ｄｉ（ｉ＝１、２、…）の左上の座標（Ｘ１、Ｙ１）及び右下の座標（Ｘ２、Ｙ２）により指定する例である。図４（ｂ）は、表示領域Ｄｉの左上の座標（Ｘ１、Ｙ１）、表示領域の縦寸法ＤＨ及び横寸法（幅）ＤＷにより指定する例である。図４（ｃ）は、表示領域Ｄｉの中心の座標（ＣＸ１、ＣＹ１）、表示領域の縦寸法ＤＨ及び横寸法（幅）ＤＷにより指定する例である。この指定方法がコマンド生成部２３２で生成するコマンドの１つになる。なお、表示領域Ｄｉの指定方法は、これらの方法に限定されるものではない。

図５は文章領域上の表示領域の移動方法の一例を示す説明図である。図５に示すように、表示領域Ｄ１は、文章領域Ｓ１の一部の領域を表示するため、すなわち、文章領域Ｓ１には、表示領域Ｄ１で表示されない領域（文章領域Ｓ１の下側部分）が存在するため、表示領域Ｄ１で文章領域を表示した後、表示領域を表示領域Ｄ２へ移動させる。表示領域Ｄ１から表示領域Ｄ２への移動は、表示領域を進めるための操作をユーザから受け付けることにより行うことができる。なお、スライドショーのように所定の時間が経過した後に自動的に移動させることもできる。

図５の例では、文章領域を２つの同一サイズの表示領域Ｄ１、Ｄ２で表示できるように表示領域の大きさを設定している。これにより、表示領域Ｄ１から表示領域Ｄ２へ移動させることにより、文章領域をすべて漏れなく表示させることができる。なお、表示領域の大きさを、文章領域を２分割した領域を一度で表示できるように設定してもよく、あるいは、３分割以上の等分割した領域を一度で表示できるように設定してもよい。

表示領域Ｄ１から表示領域Ｄ２への移動は、切り替え表示により行ってもよく、あるいは、スクロール表示を用いてもよい。いずれの表示方法を用いるかは、操作パネル６で選択することができる。切り替え表示は、例えば、文章領域の一部を表示した後、表示した一部に代えて文章領域の他の部分を瞬時に切り替えて表示するものである。また、スクロール表示は、例えば、表示中の文章領域の一部が徐々に表示領域から消えるとともに新たな部分が徐々に現われるような表示である。これにより、ユーザの好みに応じた表示方法を提供することができる。

表示領域の大きさが、複数の表示領域で文章領域全体を表示できるように設定されている場合、切り替え表示が選択されるように構成してもよい。また、切り替え表示の選択を受け付けた場合、表示領域の大きさを、文章領域を等分割して得られる領域と略等しい大きさに設定することもできる。この場合、略等しい大きさに設定するのは、文章領域の周囲に余白領域が存在する場合には、余白部分を表示領域内に含める必要が必ずしもないからである。すなわち、表示領域の大きさが、文章領域を等分割して得られた領域よりも若干小さい場合でも余白が存在することで、文章領域の文章の内容を十分確認することができるからである。また、表示領域を切り替える速度、スクロールの速度をユーザの好みに応じて設定できるように構成してもよい。

なお、スクロール表示により文章領域を表示する場合には、表示領域の大きさが文章領域を等分割した領域の大きさに等しくする必要はない。

図５に示すように、表示領域Ｄ２で文章領域を表示した場合、文章領域Ｓ１の表示は完了したので、表示順序に従って、次の表示領域Ｄ３により文章領域Ｓ２の前半分が表示される。

図６は原稿画像上の表示領域の移動方法の一例を示す説明図である。図６は原稿画像上の表示領域の移動を示す。図６に示すように、表示領域は、文章領域Ｓ１をすべて表示した後、表示順序に応じて文章領域Ｓ２の表示を開始する。文章領域Ｓ２をすべて表示した後、表示順序に応じて文章領域Ｓ３の表示を開始する。そして、文章領域Ｓ３をすべて表示した後、表示順序に応じて文章領域Ｓ４の表示を開始する。このように、表示領域を文章領域Ｓ１〜Ｓ４の順に沿って表示して原稿画像全体の表示を完了する。複数の原稿画像が存在する場合には、他の原稿画像についても同様に表示する。

上述のように、それぞれ文章領域（部分画像）の表示順序を決定し、決定した順序に従って表示領域を移動させるので、ユーザが原稿画像中の文章の前後の繋がりを判断しつつスクロール操作を行う必要がなく、ユーザに対して極めて良好な操作性を提供するのみならず、操作ミスによる見落とし等が生じる可能性もなく、文書の内容を容易に把握することができる。

図７は操作パネル６の一例を示す模式図である。図７に示すように、操作パネル６は、表示領域内の原稿画像を表示するための液晶ディスプレイ６１、表示領域を表示順序に進めるための操作ボタン（進む）、表示領域を表示順序と逆に戻すための操作ボタン（戻る）、表示の拡大及び縮小を行うための操作ボタン（拡大、縮小）、表示領域を上下左右方向にスクロール表示するための操作ボタン、表示方法（切り替え表示、スクロール表示）を選択するための操作ボタン、プレビューモードを選択するための操作ボタンなどを備えている。

切り替え表示が選択されている場合、ユーザが「進む」操作ボタンを操作する（押す）都度、表示領域が切り替わり、表示順序に従って文章領域が順次表示される。これにより、ユーザは、単に「進む」操作ボタンを押すだけで、表示領域が切り替わり、ユーザが原稿画像中の文章の前後の繋がりを判断しつつスクロール操作を行う必要がなく、ユーザに対して極めて良好な操作性を提供するのみならず、操作ミスによる見落とし等が生じる可能性もなく、文書の内容を容易に把握することができる。

なお、ページの最後の表示領域に達した場合に、次のページが存在するときは、次のページの先頭の表示領域へ移動する。また、ページの最後の表示領域に達した場合には、移動を止めるようにしてもよい。

また、ユーザが「戻る」操作ボタンを操作する（押す）都度、表示領域が切り替わり、表示順序と逆の順に従って文章領域が順次表示される。これにより、ユーザは、単に「戻る」操作ボタンを押すだけで、表示領域が切り替わり、一度見た文章を再度見直すことを容易にできる。

また、スクロール表示が選択されている場合、ユーザが「進む」操作ボタンを押している間、表示領域が文章領域上を移動し、表示順序に従って文章領域が順次表示される。これにより、ユーザは、単に「進む」操作ボタンを押すだけで、文章領域を連続して見ることができ、ユーザが原稿画像中の文章の前後の繋がりを判断しつつスクロール操作を行う必要がなく、ユーザに対して極めて良好な操作性を提供するのみならず、操作ミスによる見落とし等が生じる可能性もなく、文書の内容を容易に把握することができる。

また、ユーザが「戻る」操作ボタンを押している間、表示領域が文章領域上を移動し、表示順序と逆の順に従って文章領域が順次表示される。これにより、ユーザは、単に「戻る」操作ボタンを押すだけで、文章領域を連続して見ることができ、一度見た文章を再度見直すことを容易にできる。

図８は文章領域上の表示領域の移動方法の他の例を示す説明図である。図８は「戻る」操作ボタンが操作された場合の例を示し、図８に示すように、表示領域は図５の場合と異なり逆の方向へ移動する。また、文章領域の表示順序も逆の順序になる。

「拡大」操作ボタン、「縮小」操作ボタンは、原稿画像のレイアウトに応じて表示領域の拡大又は縮小を設定するための操作を受け付ける。

図９は表示領域の拡大又は縮小の一例を示す説明図である。「拡大」操作ボタン又は「縮小」操作ボタンが操作された場合、コマンド生成部２３２は、文章領域の画素数と表示領域の画素数とを比較し、表示中の文章領域の幅に合わせて拡大率又は縮小率を設定する。図９（ａ）の例は、１つの原稿画像全体が表示されるように縮小している。また、図９（ｂ）の例は、原稿画像の幅が表示領域に収まるように表示領域の大きさを調節する。また、図９（ｃ）の例では、文章領域の幅が表示領域に収まるように表示領域の大きさを調節する。ユーザの好みに応じて所望の大きさで原稿画像を表示させることができる。

表示を拡大又は縮小する場合に、画像データを補間する方法としては、例えば、ニアレストネイバー、バイリニア、バイキュービックなどの方法を用いることができる。ニアレストネイバーは、補間する画素に最も近い画素の値、あるいは、補間する画素に対して所定の位置関係にある既存画素の値をその補間画素の値とするものである。また、バイリニアは、補間する画素を囲む周囲４点の既存画素の距離に比例した形で重み付けした値の平均を求め、その値をその補間画素とするものである。また、バイキュービックは、補間する画素を囲む４点に加え、更にそれらを囲む１２点を加えた計１６点の画素の値を用いて、補間演算を行うものである。

次に、本発明に係る画像処理装置２の動作について説明する。図１０及び図１１は表示処理部２３の処理手順を示すフローチャートである。表示処理部２３は、フラグＦを０にセットし（Ｓ１１）、プレビューモードが選択されたか否かを判定し（Ｓ１２）、プレビューモードが選択されていない場合（Ｓ１２でＮＯ）、処理を終了する。

プレビューモードが選択された場合（Ｓ１２でＹＥＳ）、表示処理部２３は、レイアウト認識を行うか否かを判定し（Ｓ１３）、レイアウト認識を行う場合（Ｓ１３でＹＥＳ）、フラグＦを１にセットする（Ｓ１４）。レイアウト認識を行わない場合（Ｓ１３でＮＯ）、表示処理部２３は、ステップＳ１４の処理を行わずに後述のステップＳ１５の処理を行う。

表示処理部２３は、原稿画像を読み込み（Ｓ１５）、フラグＦが１であるか否かを判定する（Ｓ１６）。フラグＦが１でない場合（Ｓ１６でＮＯ）、表示処理部２３は、原稿画像のレイアウト認識を行うことなく、読み込んだ原稿画像をプレビュー表示し（Ｓ１７）、処理を終了する。

フラグＦが１である場合（Ｓ１６でＹＥＳ）、表示処理部２３は、原稿画像のレイアウト認識を行い（Ｓ１８）、ユーザの操作等で受け付けた変倍率を取得し（Ｓ１９）、表示領域を設定する（Ｓ２０）。これにより、例えば、図９（ｃ）で示した例のように表示領域を設定する。

表示処理部２３は、選択された表示方法を判定し（Ｓ２１）、切り替え表示が選択された場合（Ｓ２１で切り替え表示）、原稿画像の文章領域を切り替え表示する（Ｓ２２）。また、スクロール表示が選択された場合（Ｓ２１でスクロール表示）、表示処理部２３は、原稿画像の文章領域をスクロール表示する（Ｓ２３）。

表示処理部２３は、レイアウト認識結果に基づく表示を行う（Ｓ２４）。すなわち、表示処理部２３は、原稿画像中の文章領域の配置順序、表示位置、表示サイズなど決定した上で原稿画像の文章領域を部分表示する。表示処理部２３は、最後の表示領域に達したか否かを判定し（Ｓ２５）、最後の表示領域でない場合（Ｓ２５でＮＯ）、ステップＳ２４以降の処理を行い、最後の表示領域である場合（Ｓ２５でＹＥＳ）、処理を終了する。

図１２は画像読取装置２００の構成を示すブロック図である。図１２に示すように、画像読取装置（スキャナ）２００に本発明に係る画像処理装置２を用いることもできる。画像読取装置２００は、画像入力装置１、画像処理装置２、制御部４、送受信部５、操作パネル６などを備えている。また、画像処理装置２は、Ａ／Ｄ変換部２０、シェーディング補正部２１、入力処理部２２、表示処理部２３などを備えている。図１の例と同様の箇所は同一符号を付し説明を省略する。

画像処理装置２で処理された画像データは、コンピュータ、ハードディスク、ネットワークなどへ出力される。また、表示処理部２３で処理された画像データは、液晶ディスプレイ６１へ出力される。なお、表示処理部２３で処理された画像データを外部の表示装置へ出力してもよい。

以上説明したように、本発明によれば、原稿画像を構成する部分画像の大きさに応じて表示領域が設定されるので、例えば、ユーザが部分画像を適切な大きさで見るための拡大表示などの操作を行う必要がない。また、それぞれ部分画像の表示順序を決定し、決定した順序に従って表示領域を移動させるので、ユーザが原稿画像中の文章の前後の繋がりを判断しつつスクロール操作を行う必要がなく、ユーザに対して極めて良好な操作性を提供するのみならず、操作ミスによる見落とし等が生じる可能性もなく、文書の内容を容易に把握することができる。

上述の実施の形態において、原稿画像を構成する文章領域（部分画像）の大きさは、すべて同じ大きさであったが、これに限定されるものではなく、文章領域毎に縦寸法（Ｙ座標値）、横寸法（Ｘ座標値）が異なるような原稿画像に対しても本発明を適用することができる。この場合、文章領域毎に異なる大きさの表示領域を設定するように構成すればよい。また、１つの原稿画像の文章領域の数は４つに限定されるものではなく、１つ、２つ、３つ、あるいは５つ以上でもよい。

上述の実施の形態では、原稿画像を構成する文章領域が適宜の空白を有して隣接する構成であったが、このような配置（レイアウト）に限定されるものではなく、隣接する文章領域の間に空白だけでなく図表などの領域を含んだ場合でも、本発明を適用することができる。この場合、例えば、図表を挟んで配置される２つ文章領域を１つの文章領域として合成してもよい。

上述の実施の形態において、表示領域の移動方向は一例であって、これに限定されるものではない。すなわち、原稿画像の文章領域のレイアウトによっては、縦方向の移動のみならず、横方向の移動もあり得る。

本発明はコンピュータに実行させるためのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータ読み取り可能な記録媒体に、上記した原稿のレイアウト認識を行い、表示コマンドを画像データに合成し、レイアウトに沿って画面切り替えをおこなう画像処理方法を記録することもできる。この結果、原稿のレイアウト認識を行い、表示コマンドを画像データに合成し、レイアウトに沿って画面切り替えを行うプログラムを記録した記録媒体を持ち運び自在に提供することができる。

なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるためのメモリ（不図示）、例えば、ＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。

いずれの場合においても、格納されているプログラムコードはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムコードが実行される方式であってもよい。この場合、ダウンロード用のコンピュータプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であってもよい。

また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のコンピュータプログラムは予め本体装置に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上述の実施の形態において、画像入力装置１としては、例えば、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラ、携帯電話機などが用いられる。また、画像出力装置３としては、例えば、ＣＲＴディスプレイ、液晶ディスプレイなどの画像表示装置、処理結果を記録紙などに出力する電子写真方式又はインクジェット方式のプリンタなどが用いられる。さらに画像形成装置１００としては、ネットワークを介してサーバーなどに接続するための通信手段としてのモデムなどを備えることもできる。また、画像入力装置１から画像データを取得する代わりに、ネットワークを介して外部記憶装置、サーバーなどから画像データを取得する構成であってもよい。

本発明に係る画像処理装置を備える画像形成装置の構成を示すブロック図である。 原稿画像の文章領域のレイアウトの一例を示す説明図である。 文章領域と表示領域との関係を示す説明図である。 表示領域の指定方法の一例を示す説明図である。 文章領域上の表示領域の移動方法の一例を示す説明図である。 原稿画像上の表示領域の移動方法の一例を示す説明図である。 操作パネルの一例を示す模式図である。 文章領域上の表示領域の移動方法の他の例を示す説明図である。 表示領域の拡大又は縮小の一例を示す説明図である。 表示処理部の処理手順を示すフローチャートである。 表示処理部の処理手順を示すフローチャートである。 画像読取装置の構成を示すブロック図である。

符号の説明

１ 画像入力装置
２ 画像処理装置
３ 画像出力装置
４ 制御部
５ 送受信部
５１ 記憶部
６ 操作パネル
６１ 液晶ディスプレイ
２３ 表示処理部
２３１ レイアウト認識部
２３２ コマンド生成部
２３３ 合成処理部
２３４ 表示データ生成部
２３５ 表示制御部

Claims (9)

1. 取得した画像を表示させるための処理を行う画像処理装置において、
   取得した画像を構成する複数の部分画像を特定する特定手段と、
   該特定手段で特定した部分画像の表示順序を決定する決定手段と、
   前記特定手段で特定した部分画像の一部又は全部を表示するための表示領域を設定する設定手段と、
   前記決定手段で決定した表示順序に従って前記表示領域を画像上で移動させる移動手段と、
   該移動手段で移動させた表示領域内の画像を表示すべく制御する表示制御手段と
   を備えることを特徴とする画像処理装置。
2. 前記部分画像の配置を特定する配置特定手段と、
   該配置特定手段で特定した配置に応じて各部分画像に対する表示領域の先頭位置を算出する位置算出手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記部分画像上での前記表示領域の移動方向と直交する方向の該表示領域の寸法は前記部分画像の寸法より長いか又は略等しいことを特徴とする請求項１又は請求項２のいずれかに記載の画像処理装置。
4. 切り替え表示又はスクロール表示のいずれかの表示方法の選択を受け付ける受付手段を備え、
   前記移動手段は、
   前記受付手段で受け付けた表示方法に応じて表示領域を移動させるように構成してあることを特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
5. 前記受付手段で切り替え表示の選択を受け付けた場合、
   前記設定手段は、
   前記部分画像を表示領域の移動方向に沿って等分割して得られた領域と略等しい大きさの表示領域を設定するように構成してあることを特徴とする請求項４に記載の画像処理装置。
6. 出力画像を形成する画像形成手段と、請求項１から請求項５までのいずれか１項に記載の画像処理装置とを備えることを特徴とする画像形成装置。
7. コンピュータを、画像を表示する手段として機能させるためのコンピュータプログラムにおいて、
   コンピュータを、
   画像を構成する複数の部分画像を特定する特定手段と、
   特定した部分画像の表示順序を決定する決定手段と、
   特定した部分画像の一部又は全部を表示するための表示領域を設定する設定手段と、
   決定した表示順序に従って前記表示領域を画像上で移動させる移動手段と
   して機能させることを特徴とするコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
9. 画像を表示させるための処理を行う画像処理装置の画像処理方法において、
   前記画像処理装置は、
   取得した画像を構成する複数の部分画像を特定し、
   特定した部分画像の表示順序を決定し、
   特定した部分画像の一部又は全部を表示するための表示領域を設定し、
   決定した表示順序に従って前記表示領域を画像上で移動させ、
   移動させた表示領域内の画像を表示すべく制御することを特徴とする画像処理方法。

Images