JP2006268150A - 翻訳を行う装置、方法、プログラムおよび該プログラムを記憶した記憶媒体 - Google Patents

Abstract

【課題】 原稿における文字領域および図表領域のレイアウトを極力維持し、図表入り文書の文字部分の翻訳を行った図表入り翻訳文を生成することを可能にする。
【解決手段】 レイアウト構成処理手段５００は、文字認識処理１０２および翻訳処理１０３により、入力画像の文字領域および図表領域から得られた文字領域内翻訳文データおよび図表領域翻訳文データを各々文字領域内および図表領域に含み、かつ、入力画像における図表領域の画像を図表領域内に含む図表入り翻訳文データを生成する。その際、文字サイズ変倍処理１０７では、文字領域および図表領域のレイアウトとして入力画像のものが極力維持されるように図表入り翻訳文データの文字領域における文字サイズを制御する。
【選択図】 図２

Description

この発明は、文字領域と図表領域とが混在した画像を受け取り、そのうちの文字の部分を他言語に翻訳して図表入り翻訳文データを出力する翻訳装置、翻訳方法、翻訳プログラムおよび該プログラムを記憶した記憶媒体に関する。

図表入り文書の画像を受け取り、この画像中の文字領域の文字列を他言語に翻訳し、図表と翻訳文からなる図表入り翻訳文を生成する翻訳装置が各種提案されている。なお、この種の技術は、例えば特許文献１〜３に開示されている。
特開平６−１６２０８１号公報 特開平８−６９４８号公報 特開２００３−１２２７５１号公報

ところで、特許文献１に開示された技術では、レイアウト解析により入力画像における文字領域と図表領域とを分離し、文字の認識および翻訳を行う。そして、翻訳により得られた翻訳文の文字量と文字領域のサイズを比較し、その結果に応じて文字領域を変形していた。また、文字領域の変形により、同一頁に図表領域を配置することができなくなる場合には、図表領域を次の頁に移動させていた。従って、特許文献１の技術では、図表入り翻訳文の文字領域と図表領域のレイアウトが翻訳前の原稿におけるレイアウトから大きく崩れ、図表入り翻訳文がユーザにとって読み辛いものになる場合があるという問題があった。また、特許文献２に開示された技術では、レイアウト解析により入力画像における文字領域と図表領域とを分離し、文字の認識および翻訳を行った後、必要に応じて手動で文字領域または図表領域の変形または移動を行い、文字領域に翻訳文を埋め込んでいた。この特許文献２に開示の技術は、手動での領域の変形または移動が必要であるため、ユーザにとって操作が煩わしいという問題があった。また、特許文献３に開示の技術では、画像における文字列の翻訳を行い、翻訳文を元の画像と合成して出力する。しかし、この技術では、翻訳により文字量が増減することへの配慮が欠けているため、翻訳文が規定の領域に収まらない場合があるという問題があった。

この発明は、以上説明した事情に鑑みてなされたものであり、原稿における文字領域および図表領域のレイアウトを極力維持し、図表入り文書の文字部分の翻訳を行った図表入り翻訳文を生成することを可能にす翻訳装置、翻訳方法、翻訳プログラムおよび該プログラムを記憶した記憶媒体を提供することを目的としている。

この発明は、図表入り文書を表す入力画像にレイアウト解析処理を施し、入力画像における文字領域と図表領域とを求めるレイアウト解析手段または過程と、前記文字領域のサイズを算出する領域サイズ算出手段または過程と、前記入力画像における文字領域の画像について文字認識処理を行い、文字領域内文字データを出力する文字認識手段または過程と、前記文字領域内データに対して翻訳処理を行い、文字領域内翻訳文データを出力する翻訳処理手段または過程と、前記文字領域内翻訳文データを文字領域内に含み、前記入力画像における図表領域の画像を図表領域内に含む図表入り翻訳文データを生成するレイアウト構成処理手段または過程とを具備し、前記レイアウト構成処理手段または過程は、前記図表入り翻訳文データの文字領域および図表領域のレイアウトとして前記入力画像におけるレイアウトが維持されるように前記図表入り翻訳文データの文字領域における前記文字領域内翻訳文データの書式を制御する書式制御手段または過程を具備することを特徴とする翻訳装置、翻訳方法、コンピュータを上記各手段として機能させる翻訳プログラムおよび該プログラムを記憶したコンピュータ読み取り可能な記憶媒体を提供する。
かかる発明によれば、入力画像における文字領域および図表領域のレイアウトを維持し、文字部分の翻訳を行った図表入り翻訳文データを生成することができる。
好ましい態様において、前記レイアウト構成処理手段は、前記文字領域内翻訳文データによって表される翻訳文の文字量を算出する文字量算出手段と、前記文字量と前記文字領域のサイズとを比較する文字量／領域サイズ比較手段とを具備し、前記書式制御手段は、前記文字量／領域サイズ比較手段の比較結果に基づき、前記書式の制御を行う。
好ましい態様において、前記書式制御手段は、前記書式として前記文字領域内翻訳文データによって表される翻訳文の文字サイズを制御する。
他の好ましい態様において、前記書式制御手段は、前記書式として前記翻訳文データによって表される翻訳文の行間を制御する。
他の好ましい態様において、前記書式制御手段は、前記書式として、前記文字領域内翻訳文データによって表される翻訳文の周囲の余白領域を制御する。
他の好ましい態様において、前記レイアウト構成処理手段は、前記図表領域のサイズを制御して、レイアウトを再構成する手段を具備する。
好ましい態様において、前記レイアウト構成処理手段は、前記文字領域および前記図表領域の許容限度内の変形により、前記文字領域内翻訳文データによって表される翻訳文を、前記入力画像の文字領域内の文字と同じ書式で、変形後の前記文字領域に収めることができる場合に、前記図表領域の変形を行う図表変形手段を具備し、前記書式制御手段は、前記図表変形手段による図表領域の変形が行われない場合に前記書式の制御を行う。
他の好ましい態様において、前記レイアウト構成処理手段は、前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めるための文字領域および図表領域の変形を行う図表変形手段を具備し、前記書式制御手段は、前記図表変形手段による許容限度内における文字領域および図表領域の変形のみでは前記文字領域内翻訳文データによって表される翻訳文を変形後の文字領域に収めることができない場合に当該変形後の文字領域に前記翻訳文を収めるための前記書式の制御を行う。
また、他の好ましい態様において、前記レイアウト構成処理手段は、前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めるための文字領域および図表領域の変形を行う図表変形手段を具備し、前記書式制御手段は、許容限度内において前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めるための前記書式の制御を行い、前記図表変形手段は、前記書式制御手段による許容限度内における前記書式の制御により前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めることができない場合に、前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めるための文字領域および図表領域の変形を行う。
他の好ましい態様において、前記文字認識手段は、さらに前記入力画像における図表領域の画像について文字認識処理を行い、図表領域内の文字の種別、位置およびサイズを示す図表領域内文字データを出力し、前記翻訳処理手段は、さらに前記図表領域内文字データの翻訳処理を行い、図表領域内に収めるべき翻訳文の文字の種別、位置およびサイズを示す図表領域内翻訳文データを出力し、前記レイアウト構成処理手段は、前記図表領域の変形が行われる場合に、その変形に合せて前記図表入り翻訳文データにおける文字の位置およびサイズを示す情報を書き換え、変形後の図表領域において、書き換え後の図表領域内翻訳文データによって示される位置に、書き換え後の図表領域内翻訳文データによって示される文字サイズで、前記図表領域内翻訳文データによって表される翻訳文が配置されるように、前記図表入り翻訳文データに前記図表領域内翻訳文データを加える。
他の好ましい態様において、前記文字認識手段は、さらに前記入力画像における図表領域の画像について文字認識処理を行い、図表領域内文字データを出力し、前記翻訳処理手段は、さらに前記図表領域内文字データの翻訳処理を行い、図表領域内翻訳文データを出力し、前記レイアウト構成処理手段は、ある許容限度内において前記図表入り翻訳文データにおける異なる頁の文字領域間で前記文字領域内翻訳文データの移動を行う翻訳文データ移動制御手段と、前記図表領域内翻訳文データに図表を特定する図表特定情報が含まれており、かつ、この図表特定情報と同じ図表特定情報が前記翻訳文データ移動手段により翻訳文データの移動が行われる前の同頁の文字領域内翻訳文データに含まれており、当該図表特定情報が、前記翻訳文データ移動手段による翻訳文データの移動が行われる場合に他の頁の文字領域に移動することとなる場合に、この移動を行わせる代わりに、該当頁について前記書式制御手段による書式の制御を行わせる。
他の好ましい態様において、前記文字認識手段は、さらに前記入力画像における図表領域の画像について文字認識処理を行い、図表領域内文字データを出力し、前記翻訳処理手段は、さらに前記図表領域内文字データの翻訳処理を行い、図表領域内翻訳文データを出力し、前記レイアウト構成処理手段は、ある許容限度内において前記図表入り翻訳文データにおける異なる頁の文字領域間で前記文字領域内翻訳文データの移動を行う翻訳文データ移動制御手段と、複数頁を同一紙面に並べたＮアップ構成の図表入り翻訳文データを生成する場合において、ある紙面に配置される前記図表領域内翻訳文データに図表を特定する図表特定情報が含まれており、かつ、この図表特定情報と同じ図表特定情報が前記翻訳文データ移動手段により翻訳文データの移動が行われる前の同紙面の文字領域内翻訳文データに含まれており、当該図表特定情報が、前記翻訳文データ移動手段による翻訳文データの移動が行われる場合に他の紙面の文字領域に移動することとなる場合に、この移動を行わせる代わりに、該当頁について前記書式制御手段による書式の制御を行わせる移動制御／書式制御切換え手段とを具備する。

以下、図面を参照し、この発明を実施するための最良の形態について説明する。
＜第１実施形態＞
図１はこの発明の第１実施形態である翻訳装置の基本構成を示すブロック図である。この翻訳装置は、スキャナ機能、コピー機能、印刷機能およびＦＡＸ機能を併有する複合機と同様な構成であり、ＡＤＦ（Automatic Document Feeder）機構を備えた画像読取装置１と、印刷装置２と、通信インタフェース３と、表示部４と、操作部５と、揮発性メモリ６と、不揮発性メモリ７と、以上の各部を制御するＣＰＵ８とにより構成されている。この装置では、ＣＰＵ８による制御の下、画像読取装置１により読み取った画像を印刷装置２により印刷するコピー機能、同画像を通信インタフェース３およびネットワークを介して相手ＦＡＸ装置に送るＦＡＸ機能など、複合機としての機能を実現することができる。

不揮発性メモリ７には、この種の複合機としての機能を実現するための制御をＣＰＵ８に実行させる制御プログラムに加えて、本実施形態特有のプログラムが記憶されている。すなわち、装置外部から取り込んだ画像に含まれる文字列を他の言語の文字列に翻訳し、元の文字列の画像の代わりに翻訳文データを持った図表入り翻訳文データを生成して出力する図表入り文書翻訳プログラムである。この図表入り文書翻訳処理プログラムの詳細な処理内容は、図２のフローチャートに示す通りであるが、その詳細については、説明の重複を避けるため、本実施形態の動作説明において明らかにする。

本実施形態に係る翻訳装置は、この図表入り文書翻訳プログラムを例えば次のような形態で利用することが可能な構成となっている。
ａ．ある言語で記載された文字列を含む原稿の画像を画像読取装置１により読み取って揮発性メモリ６に格納し、この画像に対して、図表入り文書翻訳プログラムを利用した処理を施し、その結果得られる図表入り翻訳文データを印刷装置２により画像として印刷する。あるいは通信インタフェース３を利用することにより、図表入り文書翻訳プログラムを利用した処理により得られる図表入り翻訳文データをＦＡＸやｅｍａｉｌ経由で翻訳文を必要とするユーザに送信する。
ｂ．ある言語で記載された文字列を含む原稿の画像を通信インタフェース３を介して受信して揮発性メモリ６に格納し、この画像に対して、図表入り文書翻訳プログラムを利用した処理を施し、その結果得られる図表入り翻訳文データを印刷装置２により画像として印刷する。あるいは通信インタフェース３を利用することにより、図表入り文書翻訳プログラムを利用した処理により得られる図表入り翻訳文データをＦＡＸやｅｍａｉｌ経由で翻訳文を必要とするユーザに送信する。

不揮発性メモリ７には、以上のような形態で、図表入り文書翻訳プログラムの入力情報である画像および出力情報である図表入り翻訳文分データの伝送を行わせるための制御プログラムが記憶されている。この制御プログラムにより如何なる情報伝送を行わせるかは、操作部５あるいは通信インタフェース３を経由して与えられるコマンドにより決定される。

以下、本実施形態の動作を説明する。画像読取装置１または通信インタフェース３を介して、処理対象である１または複数頁分の入力画像が揮発性メモリ６に格納されると、ＣＰＵ８は、図２にそのフローを示す図表入り文書翻訳プログラムを実行する。この図表入り文書翻訳プログラムにおける最初の処理であるレイアウト解析処理１０１において、ＣＰＵ８は、揮発性メモリ６に格納された入力画像のレイアウト解析を行い、例えば図３に示すように、入力画像２００における文字領域２０１と図表領域２０２と余白２０３とを求め、これらの各領域と同じ領域を持った図表入り翻訳文データを揮発性メモリ６の作業エリアに格納する。なお、この段階において、作業エリア内の図表入り翻訳文データの文字領域２０１および図表領域２０２は空である。

次にＣＰＵ８は、文字認識処理１０２と翻訳処理１０３と文字量算出処理１０４を順次実行する。文字認識処理１０２では、入力画像２００における文字領域２０１内の画像を対象として文字認識を行い、文字領域内文字データを生成する。この文字領域内文字データは、認識した個々の文字の種別を示す情報と、文字サイズ、段間、周囲の余白等に関する書式情報を含んでいる。また、文字認識処理１０２では、図表領域２０２内の画像を対象とした文字認識も行い、図表領域内文字データを生成する。この図表領域内文字データは、図表領域２０２内の文字の種別、位置およびサイズを示す情報を含んでいる。次に翻訳処理１０３では、文字領域内文字データと図表領域内文字データについて、他言語への翻訳を行い、文字領域内翻訳文データ２０４および図表領域内翻訳文データ２０５を各々生成し、作業エリア内の図表入り翻訳文データの文字領域２０１および図表領域２０２に各々割り当てる。ここで、文字領域内翻訳文データ２０４は、翻訳文を構成する個々の文字の種別を示す情報と、元の文字領域内文字データから引き継いだ書式情報を含んでいる。また、図表領域内翻訳文データ２０５は、翻訳文を構成する個々の文字の種別を示す情報と、元の図表領域内文字データから引き継いだ文字の位置およびサイズを示す情報を含んでいる。なお、入力画像２００中の文字列の言語および翻訳文の言語は、操作部５または通信インタフェース３を介して与えられるコマンドにより指定され、翻訳処理１０３ではこの指定に従って翻訳を行う。

図２において、破線で囲った処理群は、文字領域内翻訳文データ２０４を文字領域内に含み、図表領域内翻訳文データ２０５および入力画像２００における図表領域２０２の画像を図表領域内に含む図表入り翻訳文データを生成するレイアウト構成処理手段５００を構成している。文字量算出処理１０４では、文字領域内翻訳文データ２０４によって表される翻訳文の文字量を算出し、不揮発性メモリ７に格納する。領域サイズ算出処理１０５では、文字領域２０１および図表領域２０２のサイズ、具体的にはこれらの領域の面積を算出し、揮発性メモリ６に格納する。なお、この領域サイズ算出処理１０５は、上述したレイアウト解析処理１０１の終了後であり、かつ、後述する文字量／領域サイズ比較処理１０６の前であれば如何なるタイミングで実行してもよい。

文字量／領域サイズ比較処理１０６では、文字量算出処理１０４により求めた翻訳文の文字量と領域サイズ算出処理１０５により求めた文字領域２０１のサイズとを比較し、その比較結果を示す情報を揮発性メモリ６に格納する。さらに詳述すると、この文字量／領域サイズ比較処理１０６では、文字領域内翻訳文データ２０４によって表される翻訳文を画像化したときのその画像の占有面積とその画像を収めるべき文字領域２０１のサイズとの比を演算し、この比を揮発性メモリ６に格納する。

ＣＰＵ８は文字量／領域サイズ比較処理１０６の実行結果に基づき、文字サイズ変倍処理１０７または図表変倍処理１０８を実行する。ここで、文字サイズ変倍処理１０７は、図表入り翻訳文データの文字領域２０１および図表領域２０２のレイアウトとして入力画像２００におけるレイアウトが維持されるように図表入り翻訳文データにおける文字領域内翻訳文データ２０４の書式を制御する書式制御手段としての役割を担っている。さらに詳述すると、文字サイズ変倍処理１０７では、文字量／領域サイズ比較処理１０６において求めた現状における翻訳文の占有面積と文字領域サイズとの比に基づき、文字領域内翻訳文データ２０４を画像化した場合に、その画像が文字領域２０１に収容可能となるような翻訳文の個々の文字のサイズを算出する。

図表変倍処理１０８は、ある許容限度内において図表領域２０２のサイズを減少（増加）させることにより文字領域２０１のサイズを増加（減少）させ、これにより文字のサイズを変えることなく翻訳文の画像をサイズ調整後の文字領域２０１に収めることが可能であると判断される場合に実行される。この判断は、文字量／領域サイズ比較処理１０６において求めた比に基づいて行われる。この図表変倍処理１０８では、文字サイズ等の書式を変更することなく文字領域内翻訳文データ２０４を画像化したときにこの画像を収めるのに必要な文字領域２０１のサイズが求められる。また、文字領域２０１をこのようなサイズに変更する場合に、入力画像２００において同一頁にあった文字領域２０１と図表領域２０２を図表入り翻訳文データにおいても同一頁に収めるための図表領域２０２のサイズが求められる。そして、変更前後における図表領域２０２のサイズ比である図表の変倍率が求められる。

再構成処理１０９では、文字サイズ変倍処理１０７または図表変倍処理１０８の実行結果を利用して、揮発性メモリ６の作業エリア内の図表入り翻訳文データを再構成する処理を行う。

文字サイズ変倍処理１０７が実行され、図表変倍処理１０８が実行されなかった場合、再構成処理１０９では、まず、入力画像２００における図表領域２０２内の画像のうち文字列の画像を除いたものが、作業エリア内の図表入り翻訳文データの図表領域２０２に格納される。次に、入力画像２００の図表領域２０２から得られた図表領域内翻訳文データ２０５が図表入り翻訳文データの図表領域２０２に格納される。この図表領域２０２に格納されたデータが画像として再生される場合、図表領域２０２内における翻訳文は、入力画像２００における元の文字列と同一のサイズとされ、かつ、元の文字列と同一の位置を占める。次に、入力画像２００の文字領域２０１から得られた文字領域内翻訳文データ２０４が図表入り翻訳文データの文字領域２０１に格納される。ここで、文字領域内翻訳文データ２０４に含まれる文字のサイズを示す情報は文字サイズ変倍処理１０７を経ている。このため、文字領域内翻訳文データ２０４が画像化された場合にその画像は文字領域２０１に丁度収まる。

一方、文字サイズ変倍処理１０７が実行されず、図表変倍処理１０８が実行された場合、再構成処理１０９では、図表変倍処理１０８の実行結果に従い、図表入り翻訳文データにおける文字領域２０１および図表領域２０２が変更される。そして、入力画像２００における図表領域２０２内の画像のうち文字列の画像を除いたものが、図表変倍処理１０８により求めた変倍率で拡大または縮小され、図表入り翻訳文データの図表領域２０２に格納される。次に、図表領域内翻訳文データ２０５における文字サイズの情報が図表変倍処理１０８において求めた変倍率を乗じた値とされ、また、変倍率に合せて、図表領域内翻訳文データ２０５における文字の位置を示す情報の補正が行われる。この補正は、図表領域内翻訳文データ２０５が画像化された場合に、図表領域２０２内において、翻訳文の文字の画像が入力画像２００における元の文字と同一の相対位置を占めるようにするための補正である。次に、文字領域内翻訳文データ２０４が図表入り翻訳文データの文字領域２０１に格納される。ここで、文字領域内翻訳文データ２０４に含まれる文字のサイズを示す情報は文字サイズ変倍処理１０７を経ていないが、文字領域２０１は図表変倍処理１０８により変更されている。このため、文字領域内翻訳文データ２０４が画像化された場合における翻訳文の画像は文字領域２０１に丁度収まる。

以上のようにして揮発性メモリ６の作業エリアに、元の入力画像の文字列を翻訳文に置き換えた図表入り翻訳文データが格納され、この図表入り翻訳文データは印刷装置２により画像として記録紙に印刷され、あるいは通信インタフェース３を介して翻訳結果を必要とする外部のユーザに送信される。

図４（ａ）〜（ｄ）は、本実施形態の効果を従来技術との対比において説明する図である。この例では、図４（ａ）に示す図表入り外国語文献の入力画像が揮発性メモリ６に格納され、その入力画像の文字列部分の日本語への翻訳が行われている。

従来の技術においては、入力画像における文字領域内の文字列の翻訳文が元の文字領域に収まらない場合、出力画像では図４（ｂ）に示すように図表領域が元の頁の次の頁にシフトされ、これにより増加した文字領域に翻訳文が配置された。このため、従来技術において出力される図表入り翻訳文における文字領域と図表領域のレイアウトは、入力画像たる図表入り外国語文献のものと著しく異なったものとなり、読み辛い翻訳文となっていた。

これに対し、本実施形態では、図４（ｃ）または（ｄ）に示すような図表入り翻訳文が得られる。ここで、図４（ｃ）は文字サイズ変倍処理１０７が実行され、図表変倍処理１０８が実行されなかった場合に得られる図表入り翻訳文、図４（ｄ）は文字サイズ変倍処理１０７が実行されず、図表変倍処理１０８が実行された場合に得られる図表入り翻訳文を示している。これらの図に示すように、本実施形態において得られる図表入り翻訳文は、文字領域と図表領域のレイアウトが入力画像と同じもの（図４（ｃ））または入力画像と大きく変わらないもの（図４（ｄ））となる。このため、本実施形態において得られる図表入り翻訳文は、従来技術において得られるものと比べ、ユーザにとって理解し易いものとなる。

＜第２実施形態＞
上記第１実施形態は、複数頁に亙る入力画像が処理対象となる場合にも有効である。複数頁に亙る入力画像を取り扱う場合、上記第１実施形態では、各頁の文字領域、図表領域および余白を極力そのまま維持した図表入り翻訳文データを生成し、入力画像の各頁の文字領域から得られた文字領域内翻訳文データは、図表入り翻訳文データにおける同じ頁の文字領域に格納することとなる。しかし、このようなルールをあまりに厳格に貫くと、場合によっては、図表入り翻訳文データの各頁の文字領域における翻訳文の混み具合に頁間で大きな格差が生じることとなる。そこで、本実施形態は、このような翻訳文の混み具合の頁間の格差を緩和するため、ある許容限度内において頁間での文字領域内翻訳文データの貸し借りを行うことを許容している。すなわち、例えば、ある頁では文字領域のサイズに比べて翻訳文の文字量が多く、一方、その次の頁では文字領域のサイズに比べて翻訳文の文字量が少ない場合、前者の頁に収まりそうもない最後部の文字列を後者の頁に移すということが行われる。また、これとは逆に、ある頁では文字領域のサイズに比べて翻訳文の文字量が少なく、一方、その次の頁では文字領域のサイズに比べて翻訳文の文字量が多い場合、後者の頁の最前部にある文字列を前者の頁に移すということが行われるのである。

これにより翻訳文の混み具合の頁間の格差は緩和されることとなるが、１つ問題が生じうる。すなわち、他の頁に移る文字列が、移る前の頁にある図表に言及する図表番号などを含んでいると、ユーザは、図表入り翻訳文を読むときに、本文中において図表番号などを挙げて言及している図表を確認するために、わざわざ頁を捲らなければならないという不便が生じるのである。本実施形態は、このような不便が生じるのを防止するものである。

図５は本実施形態において実行される図表入り文書翻訳プログラムの処理内容を示すフローチャートである。なお、この図において、前掲図２に示された処理に対応する処理には同一の符号が用いられている。本実施形態における図表入り文書翻訳プログラムでは、前掲図２のものに対して同一図表番号探索処理１１０が追加されており、この同一図表番号探索処理１１０の実行結果に基づいて、図中、破線で囲った文字量算出処理１０４、文字量／領域サイズ比較処理１０６、文字サイズ変倍処理１０７および図表変倍処理１０８（以下、便宜上、処理群１１１という）を実行するか否かの切替が行われる。すなわち、同一図表番号探索処理１１０は、ある許容限度内において図表入り翻訳文データにおける異なる頁の文字領域間で文字領域内翻訳文データの移動を行う翻訳文データ移動制御手段と、図表領域内翻訳文データに図表を特定する図表特定情報が含まれており、かつ、この図表特定情報と同じ図表特定情報が翻訳文データ移動手段により翻訳文データの移動が行われる前の同頁の文字領域内翻訳文データに含まれており、当該図表特定情報が、翻訳文データ移動手段による翻訳文データの移動が行われる場合に他の頁の文字領域に移動することとなる場合に、この移動を行わせる代わりに、該当頁について書式制御手段による書式の制御を行わせる移動制御／書式制御切換え手段としての役割を担っている。以下、その処理内容を詳述する。

同一図表番号探索処理１１０では、上述した頁間における翻訳文の文字列の貸し借りが行われようとしている場合に実行される。さらに詳述すると、この同一図表番号探索処理１１０は、文字列が他の頁に流出する可能性のある各頁を対象とし、そのような文字列の流出を認めてよいか否かが判断される。

ここで、その頁の文字領域から流出する文字列がそのような図表番号や図表タイトルなどの図表特定情報を含んでいない場合またはそのような図表特定情報を示す文字列を含んでいたとしてもその図表特定情報がその頁内の図表領域内の図表特定情報と一致しない場合には、当該文字列を他の頁への流出は認めても構わない。一方、その頁の文字領域から流出する文字列が図表特定情報を含んでおり、しかも、その図表特定情報がその頁の図表領域内の図表特定情報と一致する場合には、その文字列の他頁への流出は認めるべきではない。

同一図表番号探索処理１１０では、頁間における翻訳文の文字列の貸し借りが行われようとする場合にその貸し借りに関わることとなる各頁について以上の判断を行い、貸し借りを認めるか否かを判断する。そして、認めてよい貸し借りを実行し、各頁の文字領域に割り当てる翻訳文を決定する。この結果、他の頁への文字列の流出が認められず、文字領域から翻訳文の文字列が溢れそうな頁や、他の頁からの文字列の流入が認められず、文字領域に空白が生じる頁が生じる場合がある。同一図表番号探索処理１１０では、このような頁について、処理群１１１の実行が必要であるとの判断を行い、それ以外の頁については処理群１１１の実行が不要であるとの判断を行うのである。

処理群１１１は、以上説明した同一図表番号探索処理１１０により、実行の必要がありと判断された場合に限り実行される。その場合における処理群１１１および再構成処理の処理内容は上記第１実施形態において説明した通りなので、ここでの重複した説明は行わない。

本実施形態によれば、図表と同じ頁に収まっていた方が好ましい文字領域内の図表番号が翻訳により他の頁に移りそうな場合に限り、これを防止して文字サイズ変倍処理１０７または図表変倍処理１０８が行われる。従って、本実施形態により得られる図表入り翻訳文は、本文を読みながら図表を参照する際に本文と異なる頁の図表を参照しなければならない不便をユーザに与えることがなく、かつ、文字サイズ、図表サイズの変更が必要以上に発生しないのでユーザにとって読み易いものとなる。

＜他の実施形態＞
以上、第１実施形態および第２実施形態を説明したが、これら以外にも、この発明には次のような実施形態がある。
（１）上記第１実施形態および第２実施形態において、文字サイズ変倍処理１０７を実行する代わりに、文字領域に収まるように翻訳文の行間を調整してもよい。
（２）上記第１実施形態および第２実施形態において、文字サイズ変倍処理１０７を実行する代わりに、余白領域のサイズを増減することにより、翻訳文が収まるように文字領域のサイズを調整してもよい。
（３）図表変倍処理１０８と文字サイズ変倍処理１０７を同時に行って、レイアウトを再構成しても良い。その場合の態様として幾つか考えられる。第1の態様では、まず、文字サイズの変倍率に上限および下限を設け、この限度内において文字サイズ変倍処理１０７を実行する。そして、限度内の変倍率で文字サイズの縮小または拡大を行って文字領域内翻訳文データの画像を元のページと同一ページに収めることができない場合には、図表変倍処理１０８を実行し、図表領域を縮小または拡大することにより文字領域内翻訳文データの画像を収めるためのエリアを確保する。第２の態様では、まず、図表領域のサイズの変倍率に上限および下限を設け、この限度内において図表変倍処理１０８を実行する。そして、限度内の変倍率で図表領域のサイズの縮小または拡大を行って文字領域内翻訳文データの画像を元のページと同一ページに収めることができない場合には、文字サイズ変倍処理１０７を実行し、文字領域内翻訳文データの画像を文字領域内に収める。

（４）図表入り翻訳文の出力形態として、Ｎ頁分の入力画像をまとめて１頁分の出力画像とする、いわゆるＮアップが指定される場合がある。そのような場合、上記第２実施形態における同一図表番号探索処理１１０では、次のような判断をするようにしてもよい。ここでは２アップの場合を例に説明する。

まず、図６に示すように、入力画像２００−１および２００−２に相当するデータを同一紙面に２アップの形態で出力させる図表入り翻訳文データ４００−１を生成する場合を考える。図６に示す例において、入力画像２００−１では、図表領域２０２内にあった図表特定情報と一致する図表特定情報が同じ入力画像２００−１の文字領域２０１内にある。そして、図表入り翻訳文データ４００−１では、翻訳処理による文字数の変化のため、入力画像２００−１に対応した頁の文字領域２０１内にあるべき図表特定情報の翻訳語句“図１”が同文字領域２０１に収まらない場合がある。この場合、図表特定情報“図１”により特定される図表はこの情報と同一の紙面内にあるので、同一図表番号探索処理１１０では、入力画像２００−１に対応した頁の文字領域２０１から入力画像２００−２に対応した頁の文字領域２０１への翻訳語句“図１”の移動を認め、かつ、翻訳語句“図１”を元々文字領域に有していた頁について処理群１１１の実行はしないとの判断をする。

次に図７に示すように、入力画像２００−１および２００−２に相当するデータを同一紙面に２アップの形態で出力させる図表入り翻訳文データ４００−２と、入力画像２００−３および２００−４に相当するデータを同一紙面に２アップの形態で出力させる図表入り翻訳文データ４００−２を生成する場合を考える。図７に示す例では、入力画像２００−１および２００−２では、入力画像２００−１の図表領域２０２内にある図表特定情報と一致する図表特定情報が入力画像２００−２の文字領域２０１内にある。そして、図表入り翻訳文データ４００−１および４００−２では、翻訳処理による文字数の変化のため、入力画像２００−２に対応した頁の文字領域２０１に収めるべき図表特定情報の翻訳語句“図１”は、同じ文字サイズでは同文字領域２０１に収めることができない。この場合、図表特定情報の翻訳語句“図１”を次の頁（入力画像２００−３に対応した頁）の文字領域２０１に移動させることを認めると、図表特定情報“図１”により特定される図表がこの情報と同一の紙面内にない状態となる。そこで、同一図表番号探索処理１１０では、このような状態の発生を避けるために、文字列の移動は認めず、かつ、入力画像２００−２に対応したデータについて処理群１１１を実行するとの判断をする。
本実施形態においても上記第２実施形態と同様の効果が得られる。

（５）上記各実施形態では、図表入り翻訳文データの文字領域および図表領域に、翻訳文データを文字データのまま格納し、文字データと画像データとが混在した図表入り翻訳文データを構成したが、翻訳文データを画像化して、文字領域および図表領域にマッピングし、全てが画像データからなる図表入り翻訳文データを構成してもよい。
（６）上記各実施形態では、図表入り文書翻訳プログラムを複合機にインストールする形態を開示した。しかし、この発明の実施の形態はこれに留まるものではなく、上記実施形態における図表入り文書翻訳プログラムをＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記憶媒体に格納して一般ユーザに配布するようにしてもよく、あるいは同プログラムをネットワークを介して一般ユーザに配布するようにしてもよい。

この発明の第１実施形態である翻訳装置の構成を示すブロック図である。 同実施形態における図表入り文書翻訳プログラムの処理内容を示すフローチャートである。 同実施形態における図表入り文書翻訳プログラムの処理内容の一部を説明する図である。 同実施形態の効果を従来技術との対比において説明する図である。 この発明の第２実施形態における図表入り文書翻訳プログラムの処理内容を示すフローチャートである。 この発明の他の実施形態における処理内容を説明する図である。 この発明の他の実施形態における処理内容を説明する図である。

符号の説明

１０１…レイアウト解析処理、１０２…文字認識処理、１０３…翻訳処理、１０４…文字量算出処理、１０５…領域サイズ算出処理、１０６…文字量／領域サイズ比較処理、１０７…文字サイズ変倍処理、１０８…図表変倍処理、１０９…再構成処理、１１０…同一図表番号探索処理、５００…レイアウト構成処理手段。

Claims (15)

1. 図表入り文書を表す入力画像にレイアウト解析処理を施し、入力画像における文字領域と図表領域とを求めるレイアウト解析手段と、
   前記文字領域のサイズを算出する領域サイズ算出手段と、
   前記入力画像における文字領域の画像について文字認識処理を行い、文字領域内文字データを出力する文字認識手段と、
   前記文字領域内文字データに対して翻訳処理を行い、文字領域内翻訳文データを出力する翻訳処理手段と、
   前記文字領域内翻訳文データを文字領域内に含み、前記入力画像における図表領域の画像を図表領域内に含む図表入り翻訳文データを生成するレイアウト構成処理手段とを具備し、
   前記レイアウト構成処理手段は、前記図表入り翻訳文データの文字領域および図表領域のレイアウトとして前記入力画像におけるレイアウトが維持されるように前記図表入り翻訳文データの文字領域における前記文字領域内翻訳文データの書式を制御する書式制御手段を具備することを特徴とする翻訳装置。
2. 前記レイアウト構成処理手段は、
   前記文字領域内翻訳文データによって表される翻訳文の文字量を算出する文字量算出手段と、
   前記文字量と前記文字領域のサイズとを比較する文字量／領域サイズ比較手段とを具備し、
   前記書式制御手段は、前記文字量／領域サイズ比較手段の比較結果に基づき、前記書式の制御を行うことを特徴とする請求項１に記載の翻訳装置。
3. 前記書式制御手段は、前記書式として前記文字領域内翻訳文データによって表される翻訳文の文字サイズを制御することを特徴とする請求項１に記載の翻訳装置。
4. 前記書式制御手段は、前記書式として前記翻訳文データによって表される翻訳文の行間を制御することを特徴とする請求項１に記載の翻訳装置。
5. 前記書式制御手段は、前記書式として、前記文字領域内翻訳文データによって表される翻訳文の周囲の余白領域を制御することを具備することを特徴とする請求項１に記載の翻訳装置。
6. 前記レイアウト構成処理手段は、前記図表領域のサイズを制御して、レイアウトを再構成する手段を具備することを特徴とする請求項１に記載の翻訳装置。
7. 前記レイアウト構成処理手段は、前記文字領域および前記図表領域の許容限度内の変形により、前記文字領域内翻訳文データによって表される翻訳文を、前記入力画像の文字領域内の文字と同じ書式で、変形後の前記文字領域に収めることができる場合に、前記図表領域の変形を行う図表変形手段を具備し、
   前記書式制御手段は、前記図表変形手段による図表領域の変形が行われない場合に前記書式の制御を行うことを特徴とする請求項１に記載の翻訳装置。
8. 前記レイアウト構成処理手段は、前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めるための文字領域および図表領域の変形を行う図表変形手段を具備し、
   前記書式制御手段は、前記図表変形手段による許容限度内における文字領域および図表領域の変形のみでは前記文字領域内翻訳文データによって表される翻訳文を変形後の文字領域に収めることができない場合に当該変形後の文字領域に前記翻訳文を収めるための前記書式の制御を行うことを特徴とする請求項１に記載の翻訳装置。
9. 前記レイアウト構成処理手段は、前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めるための文字領域および図表領域の変形を行う図表変形手段を具備し、
   前記書式制御手段は、許容限度内において前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めるための前記書式の制御を行い、
   前記図表変形手段は、前記書式制御手段による許容限度内における前記書式の制御により前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めることができない場合に、前記文字領域内翻訳文データによって表される翻訳文を文字領域に収めるための文字領域および図表領域の変形を行うことを特徴とする請求項１に記載の翻訳装置。
10. 前記文字認識手段は、さらに前記入力画像における図表領域の画像について文字認識処理を行い、図表領域内の文字の種別、位置およびサイズを示す図表領域内文字データを出力し、
    前記翻訳処理手段は、さらに前記図表領域内文字データの翻訳処理を行い、図表領域内に収めるべき翻訳文の文字の種別、位置およびサイズを示す図表領域内翻訳文データを出力し、
    前記レイアウト構成処理手段は、前記図表領域の変形が行われる場合に、その変形に合せて前記図表入り翻訳文データにおける文字の位置およびサイズを示す情報を書き換え、変形後の図表領域において、書き換え後の図表領域内翻訳文データによって示される位置に、書き換え後の図表領域内翻訳文データによって示される文字サイズで、前記図表領域内翻訳文データによって表される翻訳文が配置されるように、前記図表入り翻訳文データに前記図表領域内翻訳文データを加えることを特徴とする請求項６〜９のいずれか１の請求項のに記載の翻訳装置。
11. 前記文字認識手段は、さらに前記入力画像における図表領域の画像について文字認識処理を行い、図表領域内文字データを出力し、
    前記翻訳処理手段は、さらに前記図表領域内文字データの翻訳処理を行い、図表領域内翻訳文データを出力し、
    前記レイアウト構成処理手段は、
    ある許容限度内において前記図表入り翻訳文データにおける異なる頁の文字領域間で前記文字領域内翻訳文データの移動を行う翻訳文データ移動制御手段と、
    前記図表領域内翻訳文データに図表を特定する図表特定情報が含まれており、かつ、この図表特定情報と同じ図表特定情報が前記翻訳文データ移動手段により翻訳文データの移動が行われる前の同頁の文字領域内翻訳文データに含まれており、当該図表特定情報が、前記翻訳文データ移動手段による翻訳文データの移動が行われる場合に他の頁の文字領域に移動することとなる場合に、この移動を行わせる代わりに、該当頁について前記書式制御手段による書式の制御を行わせる移動制御／書式制御切換え手段と
    を具備することを特徴とする請求項１に記載の翻訳装置。
12. 前記文字認識手段は、さらに前記入力画像における図表領域の画像について文字認識処理を行い、図表領域内文字データを出力し、
    前記翻訳処理手段は、さらに前記図表領域内文字データの翻訳処理を行い、図表領域内翻訳文データを出力し、
    前記レイアウト構成処理手段は、
    ある許容限度内において前記図表入り翻訳文データにおける異なる頁の文字領域間で前記文字領域内翻訳文データの移動を行う翻訳文データ移動制御手段と、
    複数頁を同一紙面に並べたＮアップ構成の図表入り翻訳文データを生成する場合において、ある紙面に配置される前記図表領域内翻訳文データに図表を特定する図表特定情報が含まれており、かつ、この図表特定情報と同じ図表特定情報が前記翻訳文データ移動手段により翻訳文データの移動が行われる前の同紙面の文字領域内翻訳文データに含まれており、当該図表特定情報が、前記翻訳文データ移動手段による翻訳文データの移動が行われる場合に他の紙面の文字領域に移動することとなる場合に、この移動を行わせる代わりに、該当頁について前記書式制御手段による書式の制御を行わせる移動制御／書式制御切換え手段と
    を具備することを特徴とする請求項１に記載の翻訳装置。
13. 図表入り文書を表す入力画像にレイアウト解析処理を施し、入力画像における文字領域と図表領域とを求めるレイアウト解析過程と、
    前記文字領域のサイズを算出する領域サイズ算出過程と、
    前記入力画像における文字領域の画像について文字認識処理を行い、文字領域内文字データを出力する文字認識過程と、
    前記文字領域内文字データに対して翻訳処理を行い、文字領域内翻訳文データを出力する翻訳処理過程と、
    前記文字領域内翻訳文データを文字領域内に含み、前記入力画像における図表領域の画像を図表領域内に含む図表入り翻訳文データを生成するレイアウト構成処理過程とを具備し、
    前記レイアウト構成処理過程は、前記図表入り翻訳文データの文字領域および図表領域のレイアウトとして前記入力画像におけるレイアウトが維持されるように前記図表入り翻訳文データの文字領域における前記文字領域内翻訳文データの書式を制御する書式制御過程を具備することを特徴とする翻訳方法。
14. コンピュータに、
    図表入り文書を表す入力画像にレイアウト解析処理を施し、入力画像における文字領域と図表領域とを求めるレイアウト解析過程と、
    前記文字領域のサイズを算出する領域サイズ算出過程と、
    前記入力画像における文字領域の画像について文字認識処理を行い、文字領域内文字データを出力する文字認識過程と、
    前記文字領域内文字データに対して翻訳処理を行い、文字領域内翻訳文データを出力する翻訳処理過程と、
    前記文字領域内翻訳文データを文字領域内に含み、前記入力画像における図表領域の画像を図表領域内に含む図表入り翻訳文データを生成するレイアウト構成処理過程とを具備し、
    前記レイアウト構成処理過程は、前記図表入り翻訳文データの文字領域および図表領域のレイアウトとして前記入力画像におけるレイアウトが維持されるように前記図表入り翻訳文データの文字領域における前記文字領域内翻訳文データの書式を制御する書式制御過程を実行させることを特徴とするコンピュータプログラム。
15. コンピュータに、
    図表入り文書を表す入力画像にレイアウト解析処理を施し、入力画像における文字領域と図表領域とを求めるレイアウト解析過程と、
    前記文字領域のサイズを算出する領域サイズ算出過程と、
    前記入力画像における文字領域の画像について文字認識処理を行い、文字領域内文字データを出力する文字認識過程と、
    前記文字領域内文字データに対して翻訳処理を行い、文字領域内翻訳文データを出力する翻訳処理過程と、
    前記文字領域内翻訳文データを文字領域内に含み、前記入力画像における図表領域の画像を図表領域内に含む図表入り翻訳文データを生成するレイアウト構成処理過程とを具備し、
    前記レイアウト構成処理過程は、前記図表入り翻訳文データの文字領域および図表領域のレイアウトとして前記入力画像におけるレイアウトが維持されるように前記図表入り翻訳文データの文字領域における前記文字領域内翻訳文データの書式を制御する書式制御過程を実行させるコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images