JP2011170624A - 画像表示装置、画像形成装置、画像表示方法、コンピュータプログラム及び記録媒体。 - Google Patents

Abstract

【課題】原稿画像における行のレイアウトを変更することなく、行間又は余白にのみ、前記付加情報を付加することが出来る画像表示装置、画像形成装置、画像表示方法、コンピュータプログラム及び記録媒体を提供する。
【解決手段】ページ単位で表示部に表示され、複数の文字列の行又は図表を含む原稿画像に対して、行、行間等の文字列の行に係る原稿画像のレイアウト、並びに余白に係る原稿画像のレイアウトの検出を行い、該原稿画像のレイアウトの検出結果に基づき、文字列の付加情報を付加すべき付加位置を決定する。
【選択図】図３

Description

本発明は、複数の文字列の行又は図表を含む原稿画像に、文字列の付加情報を付加することが可能な画像表示装置、画像形成装置、画像表示方法及びコンピュータプログラム、並びに該コンピュータプログラムを記録した記録媒体に関する。

従来、漢字仮名混じり文に対して、自動的に振り仮名を付する、いわゆるルビ表示の機能を搭載した表示装置が普及されている。さらには、振り仮名の他に、所定文章の翻訳文を前記ルビ表示のように、文章の行間に付加して表示する機能についても開示されている。

例えば、特許文献１には、原稿画像情報と該原稿画像情報に対応する対訳情報とを上下位置に合成して、該対訳情報をルビとして表示する際、原稿画像情報の幅より対訳情報の情報幅が少なくなるように制御し、利用者にとって視認しやすいレイアウトとして出力することができる対訳画像形成装置が開示されている。

また、特許文献２には、原稿画像の文章の各行の行間領域を特定し、各行間領域に基づいて、所定文書と、該文章に対応する翻訳文とが抵触するか否かを判定し、抵触すると判定した場合には、原稿画像の文章に代えて翻訳文のみを表示する翻訳装置及びプログラムが開示されている。

また、特許文献３には、インターネットに接続して専門分野に関する日本語ホームページからテキスト情報を取り出し、形態素分析により言語に切り分け、この中から特にカタカナ語を出現頻度とともに抽出して、このカタカナ語に正確な翻訳を付加する分野辞書作成装置が開示されている。

特開平５−３２４７２０号公報 特開２００９−５３８３８号公報 特開２００２−２０７７３１号公報

しかしながら、特許文献１の対訳画像形成装置においては、振り仮名、翻訳文等の付加情報のルビとしての表示が行間に制限されており、表示すべき付加情報の量が多い場合、例えば、該付加情報の表示に必要な面積が、当該行間より大きい場合について考慮されていない。

また、特許文献２の翻訳装置においても、前記付加情報のルビとしての表示が行間に制限されており、表示すべき付加情報の量が多い場合、原稿画像の文章に代えて翻訳文のみを表示するので、文章と対応翻訳文との対比が出来なくなるという問題がある。
なお、上述したような問題は、特許文献３の分野辞書作成装置によっては解決することができない。

本発明は、斯かる事情に鑑みてされたものであり、その目的とするところは、ページ単位で表示部に表示され、複数の文字列の行又は図表を含む原稿画像に、文字列の付加情報を付加することが可能な画像表示装置において、行、行間等の文字列の行に係る原稿画像のレイアウト、並びに余白に係る原稿画像のレイアウトを検出し、該原稿画像のレイアウトの検出結果に基づき、前記付加情報の付加位置を決定することにより、例えば、前記原稿画像における行のレイアウトを変更することなく、行間又は余白にのみ、前記付加情報を付加することが出来る画像表示装置、画像形成装置、画像表示方法、コンピュータプログラム及び記録媒体を提供することにある。

本発明の他の目的は、前記付加情報に係るデータ、例えば、前記付加情報を構成するデータを、前記原稿画像の文字列又は図表に基づいて取得することにより、該原稿画像と密接な関連を有する付加情報を取得することができる上、付加情報を取得するための辞書、データベース等の装備を必要としない画像表示装置、画像形成装置、画像表示方法、コンピュータプログラム及び記録媒体を提供することにある。

本発明に係る画像表示装置は、ページ単位で表示部に表示され、複数の文字列の行又は図表を含む原稿画像に、文字列の付加情報を付加することが可能な画像表示装置において、余白及び文字列の行に係る原稿画像のレイアウトを検出する検出手段と、該検出手段の検出結果に基づき、前記付加情報の付加位置を決定する付加位置決定手段とを備えることを特徴とする。

本発明にあっては、前記検出手段が、行、行間等の文字列の行に係る原稿画像のレイアウト、並びに余白に係る原稿画像のレイアウトを検出し、前記付加位置決定手段は、前記検出手段による検出結果に基づき、前記付加情報の付加位置を決定する。

本発明に係る画像表示装置は、前記検出手段は、前記文字列の行、行間、及び図表以外を前記余白として検出し、前記付加位置決定手段は、前記付加情報を行間に付加する場合、前記文字列と重なるか否かを、前記検出手段の検出結果に基づいて判定する重畳判定手段と、該重畳判定手段が前記付加情報と前記文字列とが重なると判定した場合、前記検出手段の検出結果に基づき、該文字列に係るページに、前記付加情報を付加可能な余白があるか否かを判定する余白判定手段とを備え、前記重畳判定手段及び余白判定手段の判定結果に基づき、前記付加情報の付加位置を決定するように構成されていることを特徴とする。

本発明にあっては、前記付加情報を、前記検出手段が検出した行間に付加する場合、前記文字列と重なるか否かを、前記重畳判定手段が判定し、該重畳判定手段が前記付加情報と前記文字列とが重なると判定した場合、前記余白判定手段が、前記検出手段の検出結果に基づき、前記文字列に係るページに、前記付加情報を付加可能な余白があるか否かを判定する。前記重畳判定手段及び余白判定手段の判定結果に基づき、前記付加位置決定手段は、前記付加情報の付加位置を決定する。

本発明に係る画像表示装置は、前記原稿画像は複数ページであり、前記余白判定手段は、一のページにて前記付加情報を付加可能な余白がないと判定した場合、他のページにて、前記付加情報を付加可能な余白があるか否かを判定するように構成されていることを特徴とする。

本発明にあっては、複数ページの原稿画像である場合、前記余白判定手段は、一のページでの判定結果、前記付加情報を付加可能な余白がないと判定した場合、例えば、前記一のページより前後の他のページにて、前記付加情報を付加可能な余白があるか否かを判定する。斯かる結果に基づき、余白があると判定されたページの余白を、前記付加位置決定手段が、前記付加情報を付加位置として決定する。

本発明に係る画像表示装置は、前記重畳判定手段が前記付加情報と前記文字列とが重なると判定した場合、前記付加情報の存在を表す標識画像を前記行間に表示する標識表示手段を備えていることを特徴とする。

本発明にあっては、前記重畳判定手段が前記付加情報と前記文字列とが重なると判定した場合、前記標識表示手段が、例えば、前記文字列が含まれる行を挟む両行間の何れかの行間に、前記標識画像を表示して、前記付加情報が存在する旨を表す。

本発明に係る画像表示装置は、前記原稿画像の文字列又は図表に基づき、前記付加情報に係るデータを取得する取得手段を備えることを特徴とする。

本発明にあっては、前記取得手段は前記付加情報に係るデータ、例えば、前記付加情報を構成するデータを、前記原稿画像の文字列又は図表に基づいて取得する。

本発明に係る画像表示装置は、記憶手段を備え、前記取得手段は前記原稿画像から文字列を抽出し、該文字列を前記記憶手段が記憶するように構成されており、前記記憶手段に記憶された文字列に基づき、付加情報データを生成する生成手段を備えることを特徴とする。

本発明にあっては、前記取得手段は前記原稿画像から文字列を抽出し、該文字列を前記記憶手段が記憶し、前記生成手段は、例えば、前記記憶手段に記憶された文字列をその構成要素として用い、前記付加情報の画像を形成するための前記付加情報データを生成する。

本発明に係る画像表示装置は、前記取得手段は、前記原稿画像から図表、及び該図表に対応する文字列を抽出し、前記記憶手段はこれらを関連付けて記憶するように構成されており、前記生成手段は、前記記憶手段に記憶された図表、及び該図表に対応する文字列に基づき、前記付加情報データを生成するように構成されていることを特徴とする。

本発明にあっては、前記取得手段が前記原稿画像から抽出した、図表、及び該図表に対応する文字列が、前記記憶手段によって関連付けて記憶され、前記生成手段は、例えば、前記記憶手段に記憶された図表、及び該図表に対応する文字列をその構成要素として用い、前記付加情報を形成するための前記付加情報データを生成する。

本発明に係る画像形成装置は、前述の発明の何れか一つに記載の画像表示装置と、該画像表示装置の前記表示部に表示された画像をシート上に形成する画像形成手段とを備えることを特徴とする。

本発明にあっては、前述の発明の何れか一つに記載の画像表示装置の表示部に表示された画像が、前記画像形成手段によって、記録用紙、ＯＨＰフィルム等のシート上に形成される。

本発明に係る画像表示方法は、複数の文字列の行又は図表を含む原稿画像を取得し、ページ単位で表示部に表示する画像表示装置で、前記原稿画像に文字列の付加情報を付加する画像表示方法において、余白及び文字列の行に係る原稿画像のレイアウトを検出する検出ステップと、該検出ステップの検出結果に基づき、前記付加情報の付加位置を決定する付加位置決定ステップとを含むことを特徴とする。

本発明に係るコンピュータプログラムは、複数の文字列の行又は図表を含む原稿画像を取得し、ページ単位で表示部に表示する画像表示装置のコンピュータに、文字列の付加情報を前記原稿画像に付加させるコンピュータプログラムにおいて、コンピュータに、余白及び文字列の行に係る原稿画像のレイアウトを検出させる検出ステップと、コンピュータに、前記検出ステップの検出結果に基づき、前記付加情報の付加位置を決定させる付加位置決定ステップとを実行させることを特徴とする。

本発明にあっては、行、行間等の文字列の行に係る原稿画像のレイアウト、並びに余白に係る原稿画像のレイアウトが検出され、検出結果に基づき、前記付加情報の付加位置が決定される。

本発明に係る画像表示方法は、前記検出ステップでは、前記文字列の行、行間、及び図表以外を前記余白として検出し、前記表示位置決定ステップは、前記付加情報を行間に付加する際、前記文字列と重なるか否かを、前記検出ステップでの検出結果に基づいて判定する重畳判定ステップと、該重畳判定ステップで前記付加情報と前記文字列とが重なると判定した場合、前記検出ステップでの検出結果に基づき、該文字列に係るページに、前記付加情報を付加可能な余白があるか否かを判定する余白判定ステップとを含み、前記重畳判定ステップ及び余白判定ステップでの判定結果に基づき、前記付加情報の付加位置を決定することを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、前記検出ステップでは、前記文字列の行、行間、及び図表以外を前記余白として検出させ、前記表示位置決定ステップでは、コンピュータに、前記付加情報を行間に付加する際、前記文字列と重なるか否かを、前記検出ステップの検出結果に基づいて判定させる重畳判定ステップと、コンピュータに、前記重畳判定ステップが前記付加情報と前記文字列とが重なると判定した場合、前記検出ステップの検出結果に基づき、該文字列に係るページに、前記付加情報を付加可能な余白があるか否かを判定させる余白判定ステップとを実行させ、コンピュータに、前記重畳判定ステップ及び余白判定ステップでの判定結果に基づき、前記付加情報の付加位置を決定させることを特徴とする。

本発明にあっては、前記付加情報が検出結果に係る行間に付加された場合、前記文字列と重なるか否かが判定され、前記付加情報と前記文字列とが重なると判定された場合、前記原稿画像のレイアウトの検出結果に基づき、前記文字列に係るページに、前記付加情報を付加可能な余白があるか否かが判定される。これらの判定結果に基づき、前記付加情報の付加位置が決定される。

本発明に係る画像表示方法は、前記余白判定ステップでは、前記原稿画像が複数ページである場合、一のページにて前記付加情報を付加可能な余白がないと判定したとき、他のページにて、前記付加情報を付加可能な余白があるか否かを判定することを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、前記余白判定ステップでは、前記原稿画像が複数ページである場合、一のページにて前記付加情報を付加可能な余白がないと判定したとき、他のページにて、前記付加情報を付加可能な余白があるか否かを判定させることを特徴とする。

本発明にあっては、前記原稿画像が複数ページである場合、一のページにて前記付加情報を付加可能な余白があるか否かを判定した結果、余白がないと判定された場合、例えば、前記一のページより前後の他のページにて、前記付加情報を付加可能な余白があるか否かの判定が再び行われる。斯かる結果に基づき、余白があると判定されたページの余白が、前記付加情報を付加すべき付加位置として決定される。

本発明に係る記録媒体は、前述の発明のコンピュータプログラムを記録してあることを特徴とする。

本発明にあっては、前記記録媒体に前述のコンピュータプログラムを記録する。コンピュータが前記記録媒体からコンピュータプログラムを読み出して、前述の画像表示装置、画像形成装置、及び画像表示方法がコンピュータにより実現される。

本発明によれば、行、行間等の文字列の行に係る原稿画像のレイアウト、並びに余白に係る原稿画像のレイアウトを検出し、前記原稿画像のレイアウトの検出結果に基づき、前記付加情報の付加位置を決定するので、例えば、前記原稿画像における行のレイアウトを変更することなく、行間又は余白にのみ、前記付加情報を付加することが出来る。

また、本発明によれば、例えば、前記付加情報を構成するデータのような付加情報に係るデータを、前記原稿画像の文字列又は図表に基づいて取得するので、該原稿画像と密接な関連を有する付加情報を取得することができる上、付加情報を取得するための辞書、データベース等の装備が不要となり、より簡単な構成及び製造コスト削減を図ることが出来る。

本発明の実施の形態１のデジタル複合機の要部構成を示すブロック図である。 本発明の実施の形態１のデジタル複合機の画像処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態１のデジタル複合機のルビ情報付加制御部の要部構成を示す機能ブロック図である。 本発明の実施の形態１に係る画像原稿の一例を示す例示図である。 本発明の実施の形態１のデジタル複合機におけるルビ情報付加の処理を説明するフローチャートである。 本発明の実施の形態１のデジタル複合機におけるルビ情報に係るデータの取得の処理を説明するフローチャートである。 本発明の実施の形態１のデジタル複合機におけるルビ情報の付加位置決定の処理を説明するフローチャートである。 図４に示す原稿画像に対し、本発明の実施の形態１のデジタル複合機によるルビ情報付加の処理が施された結果の一例を示す例示図である。 本発明の実施の形態２のデジタル複合機のルビ情報付加制御部の要部構成を示す機能ブロック図である。 本発明の実施の形態２のデジタル複合機におけるルビ情報付加の処理を説明するフローチャートである。 本発明の実施の形態２のデジタル複合機におけるルビ情報の付加位置決定の処理を説明するフローチャートである。 本発明の実施の形態３のデジタル複合機の要部構成を示す機能ブロック図である。

以下、本発明に係る画像表示装置、画像形成装置、画像表示方法、コンピュータプログラム及び記録媒体を、コピー機能、印刷機能等を有するデジタル複合機に適用した場合を例として、図面を用いて具体的に説明する。

（実施の形態１）
本発明の実施の形態１に係るデジタル複合機においては、複数の文字列の行又は図表を含む原稿画像を取得し、ページ単位にて表示部への表示する場合、振り仮名、翻訳文、定義等のルビ情報（付加情報）を、ルビ表示のように、前記原稿画像の行間又は余白に付加して表示することが出来るように構成されている。

図１は本発明の実施の形態１のデジタル複合機１の要部構成を示すブロック図である。本発明の実施の形態１のデジタル複合機１は、制御部２と、画像入力装置３と、画像出力装置５と、画像処理装置４と、通信装置６と、記憶部９と、操作パネル１０とを備えており、これらハードウェアはバスＮによって接続されている。また、制御部２はルビ情報付加制御部７を備えており、操作パネル１０は表示部８を備えている。

図２は本発明の実施の形態１のデジタル複合機１の画像処理装置４の要部構成を示す機能ブロック図である。

画像入力装置３は、原稿の画像を光学的に読み取る。また、画像入力装置３は、読み取り用の原稿に光を照射する光源、例えばＣＣＤ（Charge Coupled Device）のようなイメージセンサ等を有し、載置台にセットされた原稿からの反射光像を該イメージセンサに結像させ、ＲＧＢ（R : Red, G : Green, B : Blue）のアナログデータを出力する。画像入力装置３が出力したアナログデータは画像処理装置４に入力される。

画像処理装置４は、例えば画像入力装置３を通じて入力されるアナログデータを基にデジタル形式の画像データを生成し、又は記憶部９に記憶されている画像データを読み出し、夫々の画像の種類に応じた処理を施した後、出力用画像データを生成する。該出力用画像データは通信装置６を介して外部に出力され、又は該出力用画像データに基づく画像が
画像出力装置５又は表示部８を介して出力される。

また、画像処理装置４は、Ａ／Ｄ（アナログ／デジタル）変換部４０と、シェーディング補正部４１と、入力処理部４２と、領域分離処理部４８と、色補正部４４と、黒生成／下色除去部４５と、空間フィルタ部４６と、中間調生成部４７と、表示制御部４９とを備えている。

例えば、画像入力装置３にて読み取られた画像のアナログデータは、画像処理装置４内を、Ａ／Ｄ変換部４０、シェーディング補正部４１、入力処理部４２、領域分離処理部４８、色補正部４４、黒生成／下色除去部４５、空間フィルタ部４６、及び中間調生成部４７の順（矢印方向）で送られ、ＣＭＹＫのデジタルカラーデータとして、画像出力装置５へ出力される。

Ａ／Ｄ変換部４０は、画像入力装置３からのＲＧＢのアナログデータをデジタルデータに変換するものであり、シェーディング補正部４１は、Ａ／Ｄ変換部４０より送られてきたデジタルのＲＧＢデータに対して、画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。

入力処理部４２は、シェーディング補正部４１にて各種の歪みが取り除かれたＲＧＢデータ（ＲＧＢの反射率データ）夫々に対してγを補正し、カラーバランスを整えると同時に、濃度データに変換する処理を施す。

表示制御部４９は、画像入力装置３にて読み取られた原稿の画像データに基づき、又は記憶部９に記憶されている画像に基づき、原稿画像を生成する。また、該原稿画像に付加すべき前記ルビ情報（画像）を生成し、生成されたルビ情報の画像を、後述する付加位置決定部７２によって決定された前記原稿画像における付加位置に基づき、合成して表示部８に表示する。また、表示制御部４９は後述する索引表示部７６によって表示部８に表示される索引画像（標識画像）を生成する。

領域分離処理部４８は、入力処理部４２からのＲＧＢデータより、入力画像データの各画素が文字領域、網点領域、印刷紙写真領域（連続階調領域）等の何れかに分離する。領域分離処理部４８は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別データを、黒生成／下色除去部４５、空間フィルタ部４６、及び中間調生成部４７へと出力する。

色補正部４４では、ＲＧＢデータの補正であるＣＭＹ（Ｃ：シアン・Ｍ：マゼンタ・Ｙ：イエロー）データが生成されると共に、色再現性を高めるために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。一方、黒生成／下色除去部４５は、色補正後のＣＭＹの３色データから黒（Ｋ）データを生成する黒生成、元のＣＭＹデータから黒生成で得たＫデータを差し引いて新たなＣＭＹデータを生成する処理を行い、ＣＭＹの３色データがＣＭＹＫの４色データに変換される。

空間フィルタ部４６は、黒生成／下色除去部４５より入力されるＣＭＹＫデータの画像データに対して、領域識別データを基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけ及び粒状性劣化を防ぐ。また、中間調生成部４７は、ＣＭＹＫデータの画像データに対して、領域識別データを基に例えば階調再現処理を施す。該階調再現処理が施されたＣＭＹＫデータの画像データは画像出力装置５に出力される。

画像出力装置５は、画像処理装置４から出力されるＣＭＹＫデータの画像データに基づく画像を記録用紙、ＯＨＰフィルム等のシート上に印刷する。画像出力装置５は、感光体ドラム、該感光体ドラムを所定の電位に帯電させる帯電器、外部から受付けた画像データに応じてレーザ光を発して感光体ドラム上に静電潜像を生成させるレーザ書込装置、感光体ドラム表面に形成された静電潜像にトナーを供給して現像化する現像器、感光体ドラム表面に形成されたトナー像を用紙上に転写する転写器等を備えており、例えば、電子写真方式にて画像をシート上に形成する。

通信装置６は、表示部８に表示すべき画像に係る画像データを外部から受信し、又は外部に送信するネットワークカード、モデム等を備えており、例えば、前記画像データが添付されたメールを送受信する。

記憶部９は、例えば、不揮発性の半導体メモリであり、画像入力装置３によって読み取られた画像データ、通信装置６を介して外部から取得した画像データ等を記憶する。また、記憶部９は、後述するルビ情報に係るデータの取得処理に用いられる、図表情報、前接続情報、後接続情報を記憶している。なお、記憶部９の記憶領域の一部は、後述するルビ情報取得部７７が取得したルビ情報に係るデータを記憶する説明記憶部としての役割をなしている。

操作パネル１０は、デジタル複写機１における「ファックス」、「複写」、「印刷」、「読み取り」等の機能を切り替える機能ボタン、テンキー、受け付けた指示を確定するためのエンターキー、画像入力装置３にて読み取った原稿の画像データに基づく原稿画像及び表示部８に表示された画像をシート上に画像形成するための「出力」又は「コピー」キー等を備えている。また、操作パネル１０には、原稿画像にルビ情報を自動的に付加して表示するための「ルビ情報表示」キーを備えている。

表示部８はデジタル複写機１の状態、ジョブ処理の状況、画像入力装置３を介して読み取った画像データに基づく原稿画像、操作パネル１０の操作内容の確認等を表示し、例えば液晶ディスプレイからなる。また、上述したように、表示制御部４９により、ルビ情報の画像の合成が施された原稿画像が表示部８に表示される。

なお、制御部２はＣＰＵ、ＲＯＭ及びＲＡＭ（図示せず）を備えている。ＲＯＭには各種の制御プログラム、後述する形態素解析の処理のためのプログラム等が予め格納されており、ＲＡＭは、複数のデータを記憶し、記憶順、記憶位置等に関係なく読み出すことが可能である。また、ＲＡＭは、例えば、ＲＯＭから読み出されたプログラム、該プログラムを実行することにより発生するデータ、外部から受信したデータ等を一時的に記憶する。ＲＡＭは、ＣＰＵの読出指示に応じて記憶してある各種データ等を適宜読み出す。

ＣＰＵは、ＲＯＭに予め格納されている制御プログラムをＲＡＭ上にロードして実行することによって前述の各種ハードウェアの制御を行い、デジタル複合機１を本発明の実施の形態１に係る画像表示装置及び画像形成装置として動作させる。

図３は本発明の実施の形態１のデジタル複合機１のルビ情報付加制御部７の要部構成を示す機能ブロック図である。ルビ情報付加制御部７は、レイアウト検出部７１と、付加位置決定部７２と、ルビ情報取得部７７とを備えている。また、付加位置決定部７２は、重畳判定部７３、余白判定部７４、ルビ情報生成部７５及び索引表示部７６を更に備えている。

レイアウト検出部７１は、前記原稿画像に含まれている、文字列の行、余白等のレイアウトを検出する。詳しくは、レイアウト検出部７１は、前記原稿画像に含まれている、文字列（形態素）からなる行と、行間と、該行及び行間以外である余白とを検出する。なお、前記原稿画像が図表を含む場合には、前記行及び行間並びに図表以外を余白として検出する。

レイアウト検出部７１による前記行及び行間の検出は、例えば、原稿画像に対してＯＣＲ文字認識を行い、文字（又は図表）の位置座標、文字コード、フォントサイズ等を取得することにより行う。また、レイアウト検出部７１による前記余白の検出は、例えば、最も頻度の高い輝度（明度）に係る領域、又は所定の輝度（明度）以上の領域を余白として検出するように構成されている。これによって、前記行間及び余白の天地方向（以下、上下方向と言う。）及び横方向における大きさを特定することが出来る。

付加位置決定部７２は、レイアウト検出部７１による検出結果に基づき、前記原稿画像に付加すべきルビ情報の付加位置を決定する。上述したように、付加位置決定部７２は、重畳判定部７３、余白判定部７４、ルビ情報生成部７５及び索引表示部７６を備えており、重畳判定部７３及び余白判定部７４はレイアウト検出部７１による検出結果に基づき、下記の判定を行い、斯かる判定結果に基づき、前記原稿画像に係る行間又は余白を前記ルビ情報の付加位置として決定する。

重畳判定部７３は、レイアウト検出部７１による検出結果に基づき、前記ルビ情報を行間に付加する際、文字列の行と重なるか否かを判定する。例えば、所定単語の定義をルビ情報として、該単語の上側の行間に付加する場合、レイアウト検出部７１による検出結果に基づいて特定された行間の面積と、例えば、該ルビ情報に係るフォントサイズに基づいて算出されるルビ情報の付加に必要な面積とを比較することにより、該ルビ情報と前記単語（文字列の行）とが重なるか否かを判定する。

余白判定部７４は、重畳判定部７３により、ルビ情報と文字列の行とが重なると判定された場合、レイアウト検出部７１による検出結果に基づき、該文字列の行を含む当該ページに、前記ルビ情報を付加可能な余白がある否かを判定する。該判定は、重畳判定部７３と同様に、例えば、レイアウト検出部７１による検出結果に基づいて特定された余白の面積と、当該ルビ情報に係るフォントサイズに基づいて算出されるルビ情報の付加に必要な面積とを比較することによって行われる。更に、余白判定部７４は、前記文字列の行を含む当該ページに、前記ルビ情報を付加可能な余白がないと判定した場合、該ページより前後のページにて前記判定を再び行うように構成されている。

索引表示部７６は、重畳判定部７３により、ルビ情報と文字列の行とが重なると判定された場合、行間に前記ルビ情報の存在を表す索引画像（標識画像）を表示する。例えば、所定の文字列に係るルビ情報が存在する旨を表示する場合、前記所定の文字列が含まれる行を挟む両行間の何れかであって、前記所定の文字列の付近に、前記索引画像を表示する。換言すれば、重畳判定部７３による判定に係る文字列が含まれる行を挟む両行間の何れかであって、該文字列の付近に、前記索引画像を表示する。

ルビ情報取得部７７は、前記原稿画像に含まれている文字列又は図表に基づき、前記原稿画像に付加すべきルビ情報に係るデータを取得する。該ルビ情報に係るデータは、ルビ情報生成部７５によって生成されるルビ情報データに用いられ、前記ルビ情報を構成するデータであり、詳しくは、前記原稿画像に所定単語の定義が記載されている場合、所定単語に対する説明が記載されている場合、所定略語の意味が記載されている場合、当該所定単語と、該単語に係る定義、説明又は意味に係る文字列とを抽出して取得し、記憶部９の前記説明記憶部にこれらが関連付けて記憶される。また、前記原稿画像に図又は表が含まれている場合は、該図又は表、並びに対応する図番号又は表番号を抽出して取得し、記憶部９の前記説明記憶部にこれらが関連付けて記憶される。

図４は画像原稿の一例を示す例示図である。例えば、ルビ情報取得部７７は、図４に示す原稿画像から、「ＣＣＤ」の単語と、該単語の定義として「デジタルカメラや…と呼びます。」の文字列を抽出し、略語の「ＣＭＯＳ」の単語と、該単語の意味として「Complementary-Metal-Oxide-Semiconductor」の文字列を抽出する。

ルビ情報生成部７５は、ルビ情報取得部７７によって取得され、記憶部９に記憶されているルビ情報に係るデータに基づき、付加すべきルビ情報に係るルビ情報データを生成する。ルビ情報生成部７５により生成されるルビ情報データは、ルビ情報の画像を形成するための画像データであり、テキスト文字データ（文字コード）、フォントサイズ、フォント種類等の情報を含む。更に、ルビ情報生成部７５は、所定の条件のもと、前記ルビ情報が複数行にて付加されるように前記ルビ情報データを生成する。

従って、重畳判定部７３は前記ルビ情報データに基づき、前記ルビ情報を行間に付加する際、文字列の行と重なるか否かを判定できる。また、ルビ情報生成部７５によって生成されたルビ情報データに基づき、表示制御部４９がルビ情報（画像）を形成し、これを当該原稿画像と合成する。なお、前記ルビ情報データに係るフォントサイズはデフォルトとして設定されたものであっても良く、例えば、重畳判定部７３による判定結果に基づき、可変するように構成しても良い。

図５は本発明の実施の形態１のデジタル複合機１におけるルビ情報付加の処理を説明するフローチャートである。説明の便宜上、複数の文字列の行を含む、複数ページの原稿画像に、所定単語の定義及び所定略語の意味が記載されているとし、該定義及び意味を抽出してルビ情報として前記原稿画像に付加して表示する場合を、図４に示す原稿画像を例に挙げて、説明する。

まず、利用者は複数枚の原稿を画像入力装置３の原稿台に載置し、操作パネル１０の「読み取り」キーを操作して前記原稿の読み取りを指示する。制御部２のＣＰＵは操作装置１０を介して読み取りの指示を受け付け、画像入力装置３に指示して前記原稿の読み取りを行う（ステップＳ１０１）。ＣＰＵは、このように画像入力装置３によって取得された前記原稿の画像データを記憶部９に記憶する。

ＣＰＵは前記原稿の画像データに基づく原稿画像の生成を画像処理装置４に指示する。画像処理装置４によって生成された原稿画像はページ単位にて表示部８に表示する（図４参照）。この際、原稿画像は１ずつ表示されるように構成しても良く、一覧表示されるように構成しても良い。

この後、ＣＰＵは操作パネル１０を監視することにより、利用者によって前記「ルビ情報表示」キーが操作されたか否かを判定する。

ＣＰＵは、前記「ルビ情報表示」ソフトキーが操作されていると判定した場合、レイアウト検出部７１を介して、原稿画像に含まれている、余白、文字列の行、行間及び図表のレイアウトを検出する（ステップＳ１０２）。ＣＰＵの指示によって、レイアウト検出部７１は原稿画像に含まれている、余白、文字列の行、行間及び図表のレイアウトの検出を行い、該検出に対しては、既に上述しており、詳しい説明を省略する。

次いで、ＣＰＵは、前記ＲＯＭに格納されている形態素解析の処理のためのプログラムを用いて、前記原稿画像の文字列に形態素解析を施して単語（形態素）に分解する（ステップＳ１０３）。形態素解析の処理は言語処理の分野で広く知られた技術であり、ここでは詳しい説明を省略する。

この後、ルビ情報取得部７７は、前記原稿画像に含まれている文字列又は図表に基づき、前記原稿画像に付加すべきルビ情報に係るデータの取得を行う（ステップＳ１０４）。例えば、図４に示す例においては、上述したように、略語の「ＣＭＯＳ」の単語、及び該単語の意味として「Complementary-Metal-Oxide-Semiconductor」の文字列を抽出する。なお、これらは記憶部９の前記説明記憶部に関連付けて記憶される。斯かるルビ情報取得部７７によるルビ情報に係るデータの取得の処理に関しては後で詳しく説明する。

次いで、付加位置決定部７２は、前記形態素解析の処理の結果得られた形態素毎に読み込みながら、ルビ情報を付加するか否かを判定し、付加すると判定した場合は、該ルビ情報の付加すべき位置を決定する（ステップＳ１０５）。斯かる場合、ルビ情報生成部７５によって、前記ルビ情報に係るルビ情報データが生成される。

図４に示す例においては、例えば、略語の「ＣＭＯＳ」の単語（形態素）を読み込み、ルビ情報を付加すると判定された場合、「Complementary-Metal-Oxide-Semiconductor」の文字列に係るテキスト文字データ（文字コード）、フォントサイズ、フォント種類等の情報を含むルビ情報データが生成され、該ルビ情報データに係るルビ情報を付加すべき位置を決定する。斯かる付加位置決定部７２によるルビ情報の付加位置決定の処理に関しては後で詳しく説明する。

次いで、ＣＰＵは、表示制御部４９に指示することにより、ルビ情報を付加する（ステップＳ１０６）。ＣＰＵの指示に応じて、表示制御部４９は、ルビ情報生成部７５によって生成されたルビ情報データに基づくルビ情報の画像を形成し、ステップＳ１０５にて付加位置決定部７２によって決定された位置に基づき、合成する。

この後、ＣＰＵは未読の形態素があるか否かを判定する（ステップＳ１０７）。ＣＰＵは未読の形態素があると判定した場合（ステップＳ１０７：ＹＥＳ）、処理をステップＳ１０５に戻す。一方、未読の形態素がないと判定した場合（ステップＳ１０７：ＮＯ）、処理を終了する。

なお、以上の説明においては、横書きの場合を例として説明したが、縦書きの場合においても適用可能であることは言うまでもない。

以下、ルビ情報取得部７７によるルビ情報に係るデータの取得の処理について、その概要を説明する。上述したように、ルビ情報取得部７７は図表、並びに定義、説明、意味等を示す文字列をルビ情報に係るデータとして抽出する。

図表をルビ情報に係るデータとして取得する場合においては、ルビ情報取得部７７は、特定の形態素を読み込んだ場合、該形態素を見出しとし、該形態素に最も近い図表と共に抽出し、これらを関連付けて記憶部９の前記説明記憶部に記憶する。この際の前記特定の形態素はあらかじめ記憶部９に記憶されており、例えば「図」、「表」、「グラフ」等の形態素である。以下、このような特定の形態素を図表情報という。

一方、定義、説明、意味等を示す文章の場合は、通常、決まり単語（前接続情報）によって始まり、決まり単語（後接続情報）によって終わる場合が多い。従って、ルビ情報取得部７７は、定義、説明、意味等を示す文字列をルビ情報に係るデータとして取得する場合、前記前接続情報の直前の形態素を見出しとして抽出し、前記前接続情報から後接続情報までの１つ又は複数の形態素を共に抽出し、これらを関連付けて記憶部９の前記説明記憶部に記憶する。前記前接続情報及び後接続情報はあらかじめ記憶部９に記憶されている。前記前接続情報は、例えば「以下」、「以降」、「以後」等の形態素であり、前記後接続情報は、例えば、「という」、「と略す」、「の意である」等である。

以下、図６に基づき、ルビ情報取得部７７による、ルビ情報に係るデータの取得の処理を詳しく説明する。図６は本発明の実施の形態１のデジタル複合機１におけるルビ情報に係るデータの取得の処理を説明するフローチャートである。

まず、ルビ情報取得部７７は、前記形態素解析の処理の結果得られた形態素を１つずつ読み込む（ステップＳ２０１）。

次いで、ルビ情報取得部７７は、読み込まれた形態素に対して記憶部９に記憶されている図表情報との比較を行うことにより、読み込まれた形態素が図表情報であるか否かを判定する（ステップＳ２０２）。

ルビ情報取得部７７は読み込まれた形態素が図表情報であると判定した場合（ステップＳ２０２：ＹＥＳ）、読み込まれた形態素を抽出して記憶部９の前記説明記憶部に見出しとして記憶する（ステップＳ２０３）。

また、ルビ情報取得部７７は、レイアウト検出部７１によるレイアウトの検出結果に基づき、見出しとして記憶された形態素に最も近い図表を抽出して記憶部９の前記説明記憶部に該見出しと関連付けて記憶する（ステップＳ２０４）。

この後、ルビ情報取得部７７は未読の形態素があるか否かを判定する（ステップＳ２０５）。ルビ情報取得部７７は未読の形態素があると判定した場合（ステップＳ２０５：ＹＥＳ）、処理をステップＳ２０１に戻す。一方、未読の形態素がないと判定した場合（ステップＳ２０５：ＮＯ）、処理を終了する。

一方、ルビ情報取得部７７はステップＳ２０２で読み込まれた形態素が図表情報でないと判定した場合（ステップＳ２０２：ＮＯ）、読み込まれた形態素に対して記憶部９に記憶されている前接続情報との比較を行うことにより、該形態素の直後の形態素が前接続情報であるか否かを判定する（ステップＳ２０６）。

ルビ情報取得部７７は読み込まれた形態素の直後の形態素が前接続情報でないと判定した場合（ステップＳ２０６：ＮＯ）、処理をステップＳ２０５に移す。一方、ルビ情報取得部７７は読み込まれた形態素の直後の形態素が前接続情報であると判定した場合（ステップＳ２０６：ＹＥＳ）、読み込まれた形態素を抽出して記憶部９の前記説明記憶部に見出しとして記憶する（ステップＳ２０７）。

次いで、ルビ情報取得部７７は見出しとして記憶された形態素の直後の前接続情報をスキップして（ステップＳ２０８）、該前接続情報の直後の形態素を１つ抽出する（ステップＳ２０９）。

ルビ情報取得部７７は、抽出された形態素をステップＳ２０７にて抽出した形態素と関連付けて記憶部９の前記説明記憶部に記憶する（ステップＳ２１０）。

次いで、ルビ情報取得部７７は、記憶部９に記憶されている後接続情報との比較を行うことにより、ステップＳ２１０にて前記説明記憶部に記憶された形態素の直後の形態素が後接続情報であるか否かを判定する（ステップＳ２１１）。

ルビ情報取得部７７は、ステップＳ２１０にて前記説明記憶部に記憶された形態素の直後の形態素が後接続情報でないと判定した場合（ステップＳ２１１：ＮＯ）、処理をステップＳ２０９に戻す。

一方、ルビ情報取得部７７は、ステップＳ２１０にて前記説明記憶部に記憶された形態素の直後の形態素が後接続情報であると判定した場合（ステップＳ２１１：ＹＥＳ）、該後接続情報をスキップし（ステップＳ２１２）、処理をステップＳ２０５に移す。

図７は本発明の実施の形態１のデジタル複合機１におけるルビ情報の付加位置決定の処理を説明するフローチャートである。説明の便宜上、本発明の実施の形態１のデジタル複合機１においては、所定文字列に付加すべきルビ情報を付加する際、デフォルトとして前記所定文字列の上の行間に表示するように設定されているものとする。

まず、付加位置決定部７２は、前記形態素解析の処理の結果得られた形態素を１つずつ読み込む（ステップＳ３０１）。

次いで、付加位置決定部７２は、読み込まれた形態素が記憶部９の前記説明記憶部に存在するか否かを判定する（ステップＳ３０２）。これにより、読み込んだ形態素にルビ情報を付加するか否かが判定できる。

付加位置決定部７２は読み込まれた形態素が記憶部９の前記説明記憶部に存在しないと判定した場合（ステップＳ３０２：ＮＯ）、処理を終了する。一方、付加位置決定部７２は読み込まれた形態素が記憶部９の前記説明記憶部に存在すると判定した場合（ステップＳ３０２：ＹＥＳ）、該形態素が１回目に記載されたものであるか否かを判定する（ステップＳ３０３）。これは、前記形態素が当該原稿画像に複数個所に記載されている場合、１回目以後に記載された形態素に対してのみ、該形態素に付加すべきルビ情報を付加するためである。

付加位置決定部７２は、レイアウト検出部７１によるレイアウトの検出結果に基づき、読み込まれた形態素が１回目に記載されたものであると判定した場合（ステップＳ３０３：ＹＥＳ）、処理を終了する。

一方、付加位置決定部７２は、レイアウト検出部７１によるレイアウトの検出結果に基づき、読み込まれた形態素が１回目に記載されたものでないと判定した場合（ステップＳ３０３：ＮＯ）、該形態素に付加すべきルビ情報に係るルビ情報データを生成する（ステップＳ３０４）。該ルビ情報データは、付加位置決定部７２のルビ情報生成部７５によって生成される。ルビ情報生成部７５は、ルビ情報取得部７７によって取得され、記憶部９の前記説明記憶部に記憶されているルビ情報に係るデータに基づき、前記ルビ情報データを生成する。

次いで、付加位置決定部７２は、前記形態素に付加すべきルビ情報を該形態素の上の行間に付加する際、該形態素と重なるか否かを判定する（ステップＳ３０５）。詳しくは、斯かる判定は、付加位置決定部７２の重畳判定部７３によって行われ、例えば、レイアウト検出部７１によるレイアウトの検出結果に基づいて特定できる行間、並びにルビ情報生成部７５によって生成される前記ルビ情報に係るルビ情報データに基づいて行われる。

付加位置決定部７２（重畳判定部７３）は、前記形態素及びルビ情報が重ならないと判定した場合（ステップＳ３０５：ＮＯ）、該ルビ情報の付加位置を、該形態素の上の行間に決定する（ステップＳ３１０）。

付加位置決定部７２（重畳判定部７３）が、前記形態素及びルビ情報が重なると判定した場合（ステップＳ３０５：ＹＥＳ）、索引表示部７６は、ステップＳ３０５での判定の対象たる形態素（以下、対象形態素）が含まれる行を挟む両行間の何れかであって、該形態素の付近に、該形態素に係るルビ情報が存在する旨を表す索引画像を表示する（ステップＳ３０６）。

次いで、付加位置決定部７２は、前記対象形態素を含む当該ページ（以下、現ページと言う。）の原稿画像に、前記ルビ情報を付加可能な余白があるか否かを判定する（ステップＳ３０７）。詳しくは、斯かる判定は、付加位置決定部７２の余白判定部７４によって行われ、例えば、レイアウト検出部７１によるレイアウトの検出結果に基づいて特定できる余白、並びにルビ情報生成部７５によって生成される前記ルビ情報に係るルビ情報データに基づいて行われる。

付加位置決定部７２は、現ページに前記ルビ情報を付加可能な余白があると判定した場合（ステップＳ３０７：ＹＥＳ）、前記ルビ情報の付加位置を、現ページの余白に決定する（ステップＳ３０８）。

一方、付加位置決定部７２は、現ページに前記ルビ情報を付加可能な余白がないと判定した場合（ステップＳ３０７：ＮＯ）、前記ルビ情報の付加位置を、別ページに決定する（ステップＳ３０９）。すなわち、余白判定部７４は、前記対象形態素を含む現ページの前ページ又は後ページにて、前記ルビ情報を付加可能な余白があるか否かの判定を行い、付加可能な余白があると判定された場合、斯かるページを前記ルビ情報の付加位置に決定する。

図８は図４に示す原稿画像に対し、本発明の実施の形態１のデジタル複合機１によるルビ情報付加の処理が施された結果の一例を示す例示図である。

略語（文字列）「ＣＭＯＳ」に対する意味「Complementary-Metal-Oxide-Semiconductor」が文字列「ＣＭＯＳ」のルビ情報として抽出され、２回目以後の記載の文字列「ＣＭＯＳ」に対してその上の行間に前記ルビ情報（意味）を付加した場合に重なりが生じないと判定されたことから、文字列「ＣＭＯＳ」の上の行間に、ルビ情報（Complementary-Metal-Oxide-Semiconductor）が夫々付加されている。

また、単語（文字列）「ＣＣＤ」に対する説明「デジタルカメラや…呼びます」が、文字列「ＣＣＤ」のルビ情報として抽出される。２回目以後の文字列「ＣＣＤ」の記載に対してその上の行間に前記ルビ情報（説明）を付加した場合、例えば、前記ルビ情報が複数行にて構成されることから、重なりが生じると判定され、文字列「ＣＣＤ」の上の行間に、ルビ情報の代わりに索引画像「＊」を表示し、余白に前記ルビ情報を付加している。

（実施の形態２）
本発明の実施の形態２のデジタル複合機１は、ルビ情報として当該文字列の訳語を該文字列の上の行間に付加することが出来るように構成されている。以下の説明においては、説明の便宜上、いわゆる逐語訳の場合を例として説明する。

図９は本発明の実施の形態２のデジタル複合機１のルビ情報付加制御部７の要部構成を示す機能ブロック図である。実施の形態２のデジタル複合機１のルビ情報付加制御部７は、実施の形態１のデジタル複合機１と異なり、ルビ情報取得部７７を備えていない。実施の形態２のデジタル複合機１のルビ情報付加制御部７は、レイアウト検出部７１及び付加位置決定部７２を備えている。また、付加位置決定部７２は、重畳判定部７３、余白判定部７４、ルビ情報生成部７５及び索引表示部７６を更に備えている。

また、実施の形態２のデジタル複合機１においては、記憶部（図示せず）に辞書が記憶されており、後述するように、読み込まれた文字列（形態素）毎の訳語が該辞書から検索され、これに基づき、ルビ情報生成部７５がルビ情報データを生成され、ルビ情報として訳語が当該原稿画像に付加される。なお、操作パネル１０には「ルビ情報表示」キーの代わりに「翻訳表示」キーが設けられている。

図１０は本発明の実施の形態２のデジタル複合機１におけるルビ情報付加の処理を説明するフローチャートである。

まず、利用者は複数枚の原稿を画像入力装置３の原稿台に載置し、操作パネル１０の「読み取り」キーを操作して前記原稿の読み取りを指示する。制御部２のＣＰＵは操作装置１０を介して読み取りの指示を受け付け、画像入力装置３に指示して前記原稿の読み取りを行う（ステップＳ４０１）。ＣＰＵは、このように画像入力装置３によって取得された前記原稿の画像データを記憶部９に記憶する。

ＣＰＵは前記原稿の画像データに基づく原稿画像の生成を画像処理装置４に指示する。画像処理装置４によって生成された原稿画像はページ単位にて表示部８に表示する。この際、原稿画像は１ずつ表示されるように構成しても良く、一覧表示されるように構成しても良い。

この後、ＣＰＵは操作パネル１０を監視することにより、利用者によって前記「翻訳表示」キーが操作されたか否かを判定する。

ＣＰＵは、前記「翻訳表示」キーが操作されたと判定した場合、レイアウト検出部７１を介して、原稿画像に含まれている、余白、文字列の行、行間及び図表のレイアウトを検出する（ステップＳ４０２）。ＣＰＵの指示によって、レイアウト検出部７１は原稿画像に含まれている、余白、文字列の行、行間及び図表のレイアウトの検出を行い、該検出については、既に上述しており、詳しい説明を省略する。

次いで、ＣＰＵは、前記ＲＯＭに格納されている形態素解析の処理のためのプログラムを用いて、前記原稿画像の文字列に形態素解析を施して単語（形態素）に分解する（ステップＳ４０３）。

この後、付加位置決定部７２は、前記形態素解析の処理の結果得られた形態素毎に読み込みながら、ルビ情報（訳語）を付加すべき位置を決定する（ステップＳ４０４）。斯かる場合、ルビ情報生成部７５によって、前記ルビ情報に係るルビ情報データが生成される。斯かる付加位置決定部７２によるルビ情報の付加位置決定の処理に関しては後で詳しく説明する。

次いで、ＣＰＵは、表示制御部４９に指示することにより、ルビ情報を付加する（ステップＳ４０５）。ＣＰＵの指示に応じて、表示制御部４９は、ルビ情報生成部７５によって生成されたルビ情報データに基づくルビ情報の画像を生成し、ステップＳ４０４にて付加位置決定部７２によって決定された位置に基づき、合成する。

この後、ＣＰＵは未読の形態素があるか否かを判定する（ステップＳ４０６）。ＣＰＵは未読の形態素があると判定した場合（ステップＳ４０６：ＹＥＳ）、処理をステップＳ４０４に戻す。一方、未読の形態素がないと判定した場合（ステップＳ４０６：ＮＯ）、処理を終了する。

図１１は本発明の実施の形態２のデジタル複合機１におけるルビ情報の付加位置決定の処理を説明するフローチャートである。説明の便宜上、本発明の実施の形態２のデジタル複合機１においては、所定文字列に付加すべきルビ情報（訳語）を付加する際、デフォルトとして前記所定文字列の上の行間に表示するように設定されているものとする。

まず、付加位置決定部７２は、前記形態素解析の処理の結果得られた形態素を１つずつ読み込む（ステップＳ５０１）。次いで、付加位置決定部７２は、読み込まれた形態素に対応する訳語を記憶部９の前記辞書から検索して読み出す（ステップＳ５０２）。

次いで、付加位置決定部７２は、読み込まれた形態素に付加すべきルビ情報（訳語）に係るルビ情報データを生成する（ステップＳ５０３）。該ルビ情報データは、付加位置決定部７２のルビ情報生成部７５によって生成される。ルビ情報生成部７５は、記憶部９の前記辞書から読みだされた訳語に基づき、前記ルビ情報データを生成する。

次いで、付加位置決定部７２は、前記形態素に付加すべきルビ情報をその上の行間に付加する際、該形態素と重なるか否かを判定する（ステップＳ５０４）。斯かる判定は、付加位置決定部７２の重畳判定部７３によって行われ、実施の形態１と同様の手法であり、詳細な説明は省略する。

付加位置決定部７２（重畳判定部７３）は、前記形態素及びルビ情報が重ならないと判定した場合（ステップＳ５０４：ＮＯ）、該ルビ情報の付加位置を、該形態素の上の行間に決定する（ステップＳ５０９）。

一方、付加位置決定部７２（重畳判定部７３）が、前記形態素及びルビ情報が重なると判定した場合（ステップＳ５０４：ＹＥＳ）、索引表示部７６は、読み込まれた形態素が含まれる行を挟む両行間の何れかであって、該形態素の付近に、該形態素に対応する訳語（ルビ情報）が存在する旨を表す索引画像を表示する（ステップＳ５０５）。

次いで、付加位置決定部７２は、読み込まれた形態素を含む現ページの原稿画像に、前記ルビ情報（訳語）を付加可能な余白があるか否かを判定する（ステップＳ５０６）。斯かる判定は、付加位置決定部７２の余白判定部７４によって行われ、実施の形態１と同様の手法であり、詳細な説明は省略する。

付加位置決定部７２は、前記ルビ情報を付加可能な余白があると判定した場合（ステップＳ５０６：ＹＥＳ）、前記ルビ情報の付加位置を、現ページの余白に決定する（ステップＳ５０７）。

一方、付加位置決定部７２は、現ページに前記ルビ情報を付加可能な余白がないと判定した場合（ステップＳ５０６：ＮＯ）、前記ルビ情報の付加位置を、別ページに決定する（ステップＳ５０８）。すなわち、余白判定部７４は、前記対象形態素を含む現ページの前ページ又は後ページにて、前記ルビ情報を付加可能な余白があるか否かの判定を行い、付加可能な余白があると判定した場合、斯かるページを前記ルビ情報の付加位置に決定する。

以上の説明においては、いわゆる逐語訳の場合を例として説明したがこれに限るものでないことは言うまでもない。

なお、実施の形態１及び実施の形態２においては、ルビ情報が一括表示される場合を例として説明したが、これに限るものでなく、例えば、カーソル（アイコン）を移動させ、表示部に表示された原稿画像の所定文字列の上に位置させた場合、ポップアップ方法によって当該ルビ情報が付加（表示）されるように構成しても良い。

実施の形態１と同様の部分については、同一の符号を付して詳細な説明を省略する。

（実施の形態３）
図１２は本発明の実施の形態３のデジタル複合機１の要部構成を示す機能ブロック図である。実施の形態３のデジタル複合機１は、動作を行うためのプログラムが、通信ＩＦ１１を介してＣＤ‐ＲＯＭ等の記録媒体の可搬型記録媒体Ａで提供することも可能であるように構成されている。更に、実施の形態３のデジタル複合機１は、前記コンピュータプログラムを、図示しない外部装置から通信ＩＦ１１を介してダウンロードすることも可能であるように構成されている。以下に、その内容を説明する。

実施の形態３のデジタル複合機１は外装（又は内装）の記録媒体読み取り装置（図示せず）を備えており、該記録媒体読み取り装置に、原稿画像の余白及び文字列の行に係る原稿画像のレイアウトを検出させ、レイアウトの検出結果に基づき、付加情報の付加位置を決定させ、前記文字列の行、行間、及び図表以外を前記余白として検出させ、前記付加情報を行間に付加する際、前記文字列と重なるか否かを、レイアウトの検出結果に基づいて判定させ、前記付加情報と前記文字列とが重なると判定した場合、レイアウトの検出結果に基づき、前記文字列に係るページに、前記付加情報を付加可能な余白があるか否かを判定させ、これらの判定結果に基づき、前記付加情報の付加位置を決定させるプログラム等が記録された可搬型記録媒体Ａを挿入して、例えば記憶部９にこのプログラムをインストールする。斯かるプログラムはＲＡＭにロードして実行される。これにより、実施の形態３の本発明のデジタル複合機１として機能する。

前記記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなものそのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムコードはＣＰＵがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムコードが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープ又はカセットテープ等のテープ系、フレキシブルディスク又はハードディスク等の磁気ディスク又はＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。

実施の形態１と同様の部分については、同一の符号を付して詳細な説明を省略する。

１ デジタル複合機
２ 制御部
５ 画像出力装置（画像形成手段）
７ ルビ情報付加制御部
８ 表示部
９ 記憶部（記憶手段）
７１ レイアウト検出部（検出手段）
７２ 付加位置決定部（付加位置決定）
７３ 重畳判定部（重畳判定手段）
７４ 余白判定部（余白判定手段）
７５ ルビ情報生成部（生成手段）
７６ 索引表示部（標識表示手段）
７７ ルビ情報取得部（取得手段）

Claims (15)

1. ページ単位で表示部に表示され、複数の文字列の行又は図表を含む原稿画像に、文字列の付加情報を付加することが可能な画像表示装置において、
   余白及び文字列の行に係る原稿画像のレイアウトを検出する検出手段と、
   該検出手段の検出結果に基づき、前記付加情報の付加位置を決定する付加位置決定手段と
   を備えることを特徴とする画像表示装置。
2. 前記検出手段は、
   前記文字列の行、行間、及び図表以外を前記余白として検出し、
   前記付加位置決定手段は、
   前記付加情報を行間に付加する場合、前記文字列と重なるか否かを、前記検出手段の検出結果に基づいて判定する重畳判定手段と、
   該重畳判定手段が前記付加情報と前記文字列とが重なると判定した場合、前記検出手段の検出結果に基づき、該文字列に係るページに、前記付加情報を付加可能な余白があるか否かを判定する余白判定手段とを備え、
   前記重畳判定手段及び余白判定手段の判定結果に基づき、前記付加情報の付加位置を決定するように構成されていることを特徴とする請求項１に記載の画像表示装置。
3. 前記原稿画像は複数ページであり、
   前記余白判定手段は、
   一のページにて前記付加情報を付加可能な余白がないと判定した場合、他のページにて、前記付加情報を付加可能な余白があるか否かを判定するように構成されていることを特徴とする請求項２に記載の画像表示装置。
4. 前記重畳判定手段が前記付加情報と前記文字列とが重なると判定した場合、
   前記付加情報の存在を表す標識画像を前記行間に表示する標識表示手段を備えていることを特徴とする請求項２に記載の画像表示装置。
5. 前記原稿画像の文字列又は図表に基づき、前記付加情報に係るデータを取得する取得手段を備えることを特徴とする請求項１から４の何れか一つに記載の画像表示装置。
6. 記憶手段を備え、
   前記取得手段は前記原稿画像から文字列を抽出し、該文字列を前記記憶手段が記憶するように構成されており、
   前記記憶手段に記憶された文字列に基づき、付加情報データを生成する生成手段を備えることを特徴とする請求項５に記載の画像表示装置。
7. 前記取得手段は、前記原稿画像から図表、及び該図表に対応する文字列を抽出し、前記記憶手段はこれらを関連付けて記憶するように構成されており、
   前記生成手段は、前記記憶手段に記憶された図表、及び該図表に対応する文字列に基づき、前記付加情報データを生成するように構成されていることを特徴とする請求項６に記載の画像表示装置。
8. 請求項１から請求項７の何れか一つに記載の画像表示装置と、
   該画像表示装置の前記表示部に表示された画像をシート上に形成する画像形成手段と
   を備えることを特徴とする画像形成装置。
9. 複数の文字列の行又は図表を含む原稿画像を取得し、ページ単位で表示部に表示する画像表示装置で、前記原稿画像に文字列の付加情報を付加する画像表示方法において、
   余白及び文字列の行に係る原稿画像のレイアウトを検出する検出ステップと、
   該検出ステップの検出結果に基づき、前記付加情報の付加位置を決定する付加位置決定ステップと
   を含むことを特徴とする画像表示方法。
10. 前記検出ステップでは、
    前記文字列の行、行間、及び図表以外を前記余白として検出し、
    前記表示位置決定ステップは、
    前記付加情報を行間に付加する際、前記文字列と重なるか否かを、前記検出ステップでの検出結果に基づいて判定する重畳判定ステップと、
    該重畳判定ステップで前記付加情報と前記文字列とが重なると判定した場合、前記検出ステップでの検出結果に基づき、該文字列に係るページに、前記付加情報を付加可能な余白があるか否かを判定する余白判定ステップとを含み、
    前記重畳判定ステップ及び余白判定ステップでの判定結果に基づき、前記付加情報の付加位置を決定することを特徴とする請求項９に記載の画像表示方法。
11. 前記余白判定ステップでは、
    前記原稿画像が複数ページである場合、一のページにて前記付加情報を付加可能な余白がないと判定したとき、他のページにて、前記付加情報を付加可能な余白があるか否かを判定することを特徴とする請求項１０に記載の画像表示方法。
12. 複数の文字列の行又は図表を含む原稿画像を取得し、ページ単位で表示部に表示する画像表示装置のコンピュータに、文字列の付加情報を前記原稿画像に付加させるコンピュータプログラムにおいて、
    コンピュータに、余白及び文字列の行に係る原稿画像のレイアウトを検出させる検出ステップと、
    コンピュータに、前記検出ステップの検出結果に基づき、前記付加情報の付加位置を決定させる付加位置決定ステップと
    を実行させることを特徴とするコンピュータプログラム。
13. コンピュータに、前記検出ステップでは、前記文字列の行、行間、及び図表以外を前記余白として検出させ、
    前記表示位置決定ステップでは、
    コンピュータに、前記付加情報を行間に付加する際、前記文字列と重なるか否かを、前記検出ステップの検出結果に基づいて判定させる重畳判定ステップと、
    コンピュータに、前記重畳判定ステップが前記付加情報と前記文字列とが重なると判定した場合、前記検出ステップの検出結果に基づき、該文字列に係るページに、前記付加情報を付加可能な余白があるか否かを判定させる余白判定ステップとを実行させ、
    コンピュータに、前記重畳判定ステップ及び余白判定ステップでの判定結果に基づき、前記付加情報の付加位置を決定させることを特徴とする請求項１２に記載のコンピュータプログラム。
14. コンピュータに、前記余白判定ステップでは、前記原稿画像が複数ページである場合、一のページにて前記付加情報を付加可能な余白がないと判定したとき、他のページにて、前記付加情報を付加可能な余白があるか否かを判定させることを特徴とする請求項１３に記載のコンピュータプログラム。
15. 請求項１２から１４までの何れか一つに記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。

Images