JP2008299780A - 画像処理装置、及び画像処理プログラム - Google Patents

Abstract

【課題】文書を翻訳した前後で各文章領域間の相対的な文字の大小関係を保つ。
【解決手段】画像処理装置１０は、文書画像を文章領域に分割し、分割された各文章領域に含まれる文字を認識し、認識される文字のサイズに応じて各文章領域をグループに分類し、文章領域毎に、その文章領域に含まれる文字からなる文章を所定の言語に翻訳し、文章領域の文字サイズを、該文章領域のサイズ、行間、文字間、及び翻訳後の文章の文字数に基づいて算出し、同一のグループに分類された文章領域毎に、翻訳後の文字サイズが同一となるように各文字領域の文字サイズを補正する。
【選択図】図１

Description

本発明は、画像処理装置、及び画像処理プログラムに関する。

スキャン文書からＯＣＲにより取得したテキストを翻訳し、元の文書のレイアウトに翻訳文を埋め込んで出力するシステムがある（例えば、特許文献１を参照）。
特開平８−６９４８号公報

しかしながら、従来の技術では、元の文書のレイアウトを維持するために、文章領域の大きさと翻訳後の文字量とに基づいて翻訳文の文字サイズが決定されるので、元の文書では同じ大きさであった文字が翻訳文では異なった大きさの文字として出力されてしまうことがあった。そのため、従来の技術では、元の文書における各文書領域間の相対的な文字の大小関係が保たれないという問題があった。

本発明の目的は、文書を翻訳した前後で各文章領域間の相対的な文字の大小関係を保つことができる画像処理装置、及び画像処理プログラムを提供することにある。

上記目的を達成するために、請求項１に記載の画像処理装置の発明は、文書画像を文章領域に分割する領域分割手段と、前記領域分割手段により分割された各文章領域に含まれる文字を認識する文字認識手段と、前記各文章領域を前記文字認識手段により認識される文字のサイズに応じてグループに分類する分類手段と、前記文章領域毎に、該文章領域に含まれる文字からなる文章を所定の言語に翻訳する翻訳手段と、前記文章領域毎に前記翻訳手段により翻訳される文章の文字サイズを、該文章領域のサイズ、行間、文字間、及び翻訳後の文章の文字数に基づいて算出する算出手段と、前記分類手段により同一のグループに分類された文章領域毎に、前記算出手段により算出された文字サイズが同一となるように各文字領域の文字サイズを補正する補正手段と、を含むことを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、前記補正手段は、前記分類手段により同一のグループに分類された文章領域のうち最小の文字サイズに合うように補正する、ことを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の発明において、前記分類手段により分類されるグループの文字サイズに基づいて、各グループの順序を決定する順序決定手段をさらに含み、前記補正手段は、前記順序決定手段により決定される各グループの順序が保たれるように、前記各文章領域の文字サイズをさらに補正する、ことを特徴とする。

請求項４に記載の発明は、請求項３に記載の発明において、前記分類手段により分類される各グループの文字サイズの比を記憶する文字サイズ情報記憶手段をさらに含み、前記補正手段は、前記文字サイズ情報記憶手段に記憶される各グループの文字サイズの比に基づいて、前記各グループの文字サイズを補正する、ことを特徴とする。

請求項５に記載の画像処理プログラムの発明は、文書画像を文章領域に分割する領域分割手段、前記領域分割手段により分割された各文章領域に含まれる文字を認識する文字認識手段、前記各文章領域を前記文字認識手段により認識される文字のサイズに応じてグループに分類する分類手段、前記文章領域毎に、該文章領域に含まれる文字からなる文章を所定の言語に翻訳する翻訳手段、前記文章領域毎に前記翻訳手段により翻訳される文章の文字サイズを、該文章領域のサイズ、行間、文字間、及び翻訳後に該文章領域に含まれる文章の文字数に基づいて算出する算出手段、及び、前記分類手段により同一のグループに分類された文章領域毎に、前記算出手段により算出された文字サイズが同一となるように各文字領域の文字サイズを補正する補正手段、としてコンピュータを機能させることを特徴とする。

請求項１の発明によれば、文書を翻訳した前後で各文章領域間の相対的な文字の大小関係を保つことができる。

請求項２の発明によれば、文章画像のレイアウトを維持したまま各文章領域間の相対的な文字の大小関係を保つことができる。

請求項３の発明によれば、各文章領域間の文字の大きさの順序を保つことができる。

請求項４の発明によれば、各文章領域間の文字の大きさの相対関係を明らかにすることができる。

請求項５の発明によれば、文書を翻訳した前後で各文章領域間の相対的な文字の大小関係を保つようにコンピュータを機能させることができる。

以下、本発明を実施するための最良の実施の形態（以下、実施形態という）を、図面に従って説明する。

図１には本実施形態に係る画像処理システム１のシステム構成図を示す。図１に示されるように、画像処理システム１は、画像処理装置１０とスキャナ２０とを含むシステムである。本実施形態に係る画像処理装置１０とスキャナ２０とは、共にＵＳＢインターフェースを備え、両者を接続するＵＳＢケーブルを介して相互にデータ通信を行う。

スキャナ２０は、ＣＣＤカメラを具備し、文書画像をＣＣＤカメラにより走査してスキャン画像を生成する画像走査装置である。スキャナ２０は、生成したスキャン画像を、ＵＳＢインターフェースを介して接続された画像処理装置１０に送信する。

画像処理装置１０は、スキャナ２０から受信したスキャン画像に対して画像処理を行う装置である。画像処理装置１０は、ハードウェアとして、少なくともＣＰＵ（中央処理装置）やメモリを備え、メモリに格納されるプログラムをＣＰＵが順次実行することで処理を行うコンピュータである。そして、図１に示されるように、画像処理装置１０は、機能的な構成として、画像取得部１００、レイアウト解析部１０２、文字認識部１０４、文字サイズ測定部１０６、グループ分類部１０８、翻訳処理部１１０、文字サイズ決定部１１２、及び翻訳文書生成部１１４を備える。各部の機能は、コンピュータ読み取り可能な情報記憶媒体に格納された画像処理プログラムが、図示しない媒体読取装置を用いてコンピュータシステムたる画像処理装置１０に読み込まれ、該画像処理装置１０により実行されることで実現されるものとしてよい。なお、ここでは情報記憶媒体によって画像処理プログラムが画像処理装置１０に供給されることとしたが、インターネット等のデータ通信ネットワークを介して遠隔地から画像処理プログラムが画像処理装置１０にダウンロードされてよいのはもちろんである。以下、各部の詳細について説明する。

画像取得部１００は、接続されるスキャナ２０からスキャン画像を受信して取得する。スキャン画像の受信は、ＵＳＢケーブルを介して行われる。

レイアウト解析部１０２は、画像取得部１００により取得されたスキャン画像のレイアウトを解析する。レイアウト解析は、文書画像を構成するタイトル領域、本文領域、ヘッダ／フッタ領域、図領域、表領域等に分割することにより行われる。レイアウト解析には公知の手法を用いることとしてよい。そして、レイアウト解析部１０２より解析されたレイアウトの中から、テキストが含まれる領域（以下、文章領域とする）が処理対象として抽出される。文章領域の抽出は、文字を含まない領域、例えば図のみからなる領域を除外することで行うこととしてよい。

文字認識部１０４は、文章領域に含まれる文字をＯＣＲ処理により認識する。ＯＣＲ処理は、文章領域を文字毎の領域に分割した上で、各分割領域を対象としたパターンマッチングを行い、そのマッチング結果に基づいて各領域に含まれる文字を決定することで行われる。

文字サイズ測定部１０６は、各文章領域に含まれる文字のサイズ（以下、文字サイズ）を測定する。文字サイズの測定値は、文章領域の少なくとも一部における文字認識部１０４により認識された文字のサイズから演算された平均値としてもよいし、文字サイズの最頻値としてもよい。文字サイズの測定は、全ての文章領域に対して行い、測定された文字サイズを各文章領域に関連づけてメモリに記憶する。

グループ分類部１０８は、文章領域毎に測定された文字サイズに応じて、文章領域をグループに分類する。グループの分類は、文字サイズが同一の文章領域を同一のグループに分類することとしてもよいし、文字サイズが予め定められた範囲内にある文章領域を同一のグループに分類することとしてもよい。本実施形態では、文字サイズが同一の文章領域を同一のグループとして分類することとする。

翻訳処理部１１０は、文章領域毎に含まれる文章を構文解析した後に、所定の言語（例えば英語）に翻訳する。ここでの文章領域に含まれる文章とは、文字認識部１０４による認識結果から得られたテキストデータである。翻訳処理には公知の手法を用いることとしてよい。

文字サイズ決定部１１２は、翻訳処理後の各文章領域の文字サイズを決定する。文字サイズ決定部１１２は、文字サイズ算出部１１２Ａと、文字サイズ補正部１１２Ｂとを含む。

文字サイズ算出部１１２Ａは、文章領域のサイズ、行間、文字間、及びその文章領域に含まれるテキストを翻訳して得られた翻訳文の文字数に基づいて、翻訳文がその文章領域に収まる文字サイズを算出する。文字サイズ算出部１１２Ａは、各文章領域について上記の文字サイズ算出処理を行う。

文字サイズ補正部１１２Ｂは、翻訳文における各文章領域の文字サイズが、原文における各文章領域の文字サイズの相対的な関係を維持するように、翻訳文の文字サイズを補正する。文字サイズ補正部１１２Ｂにより行われる第１の補正は、文字サイズ算出部１１２Ａにより算出された各文章領域の文字サイズが、分類されたグループ毎に同じサイズとなるようにする補正である。第１の補正は、例えば、同一のグループに含まれる文章領域のうち最小の文字サイズに他の文章領域の文字サイズを合わせることにより行う。こうしてグループ毎に文章領域に収まるように、グループ内の文字サイズを統一する。

そして、文字サイズ補正部１１２Ｂにより行われる第２の補正は、グループ間の文字サイズの順序が元の文書における順序と一致するようにする補正である。第２の補正は、グループ間の文字サイズの順序が元の文書における順序と一致するか否かを判断し、一致していないと判断される場合に、順序が合っていないグループ（以下、不整合グループ）の文字サイズをさらに補正することで行われる。第２の補正は、例えば、不整合グループについて記憶された元々の順序の前後に該当するグループの文字サイズの間に含まれる文字サイズを不整合グループの新たな文字サイズとするようにして行うこととしてよい。

また、第２の補正では、元々の各グループ間の文字サイズの比率をメモリに記憶しておき、翻訳後の各グループの文字サイズをメモリに記憶した文字サイズの比率に基づいてさらに補正することとしてもよい。具体的には、元々のグループの文字サイズが５，１０，２０ポイントであるとすると、これらの文字サイズの比率１：２：４をメモリに記憶し、中間のグループの翻訳後の文字サイズを、前後のグループとの文字サイズの距離が（２−１）：（４−２）、すなわち、１：２となるように補正することとしてもよい。

翻訳文書生成部１１４は、レイアウト解析部１０２により解析されたレイアウトと、上記決定された各文章領域の翻訳文、及び各文章領域の文字サイズとに基づいて、翻訳文書データを生成する。翻訳文書データは、例えば、ワードプロセッサーのデータ形式や、ＰＤＬデータ等の予め定められたデータ形式に生成するようにしてもよい。

次に、図２乃至５を参照しつつ、画像処理装置１０による原文の文書（スキャン画像）から翻訳文書を生成する処理の具体的な流れを説明する。図２は、翻訳文書の生成処理のフロー図である。

画像処理装置１０は、スキャナ２０にスキャン指示を送信する。スキャナ２０は、画像処理装置１０からスキャン指示を受信すると、セットされた文書画像をＣＣＤカメラによりスキャンしてスキャン画像を生成する。スキャナ２０は生成したスキャン画像を画像処理装置１０に送信し、画像処理装置１０は送信されたスキャン画像を受信して取得する（Ｓ１０１）。

画像処理装置１０はスキャナ２０から受信したスキャン画像のレイアウトを解析して（Ｓ１０２）、スキャン画像のレイアウトに含まれる文章領域を特定する。ここで具体例として、スキャン画像のレイアウトの一例を図３に示す。図３に示されるように、スキャン画像２００は文章領域ａ−ｆを含むものである。

画像処理装置１０は、解析されたレイアウトに含まれる各文章領域（ａ−ｆ）について、それぞれの文章領域に含まれる文字を認識する文字認識処理を行う（Ｓ１０３）。

次に、画像処理装置１０は、文章領域毎の文字サイズを測定する（Ｓ１０４）。文字サイズの測定は、例えば、文章領域毎にその文章領域から認識された文字の大きさの平均値や最頻値を算出することにより行うこととしてよい。そして、図３（Ａ）の各文章領域の中に示されているのは、上記測定の結果得られた原文の文字サイズである。

文字サイズの測定処理がすべての文章領域について行われると、画像処理装置１０は各文章領域について測定された文字サイズに基づいて、各文章領域をグループに分類する（Ｓ１０５）。本実施例においては文字サイズが同じ文章領域を同一のグループに分類することとし、図３（Ａ）に示された例では、「ａ」、「ｂ」、「ｃ，ｆ」、「ｄ，ｅ」がそれぞれ同一のグループとして分類される。そして、各グループを文字サイズの小さい順にＧ１（ｄ，ｅ），Ｇ２（ａ）、Ｇ３（ｃ，ｆ），Ｇ４（ｂ）とし、各グループの文字サイズ、及びその文字サイズに応じた順序をメモリに記憶する。

画像処理装置１０は、上記のグループ化処理を終えると、各文章領域について認識された文字からなる文章を所定の言語（例えば、英語や中国語等）に翻訳する処理を行う（Ｓ１０６）。

画像処理装置１０は、上記の翻訳処理を終えると、翻訳後の文章（以下、翻訳文章）がそれぞれの文章領域に収まり、かつ、原文における各文書領域の相対的な文字サイズの関係が保たれるように、各文章領域の文字サイズを決定する（Ｓ１０７）。ここで、各文章領域の文字サイズの決定処理については、図４に示されるフロー図を参照しつつ説明する。

図４に示されるように、画像処理装置１０は、まず文章領域毎にその文章領域のサイズと、翻訳文章の文字数とに基づいて文章領域に収まる文字サイズを演算する（Ｓ２０１）。図３（Ｂ）において、各文章領域の中に示されているのは、上記演算された文字サイズである。

画像処理装置１０は、上記の文字サイズの演算処理を終えると、グループ毎にそのグループに属する文章領域の文字サイズのうち最小の文字サイズを、当該グループの文字サイズとして決定する（Ｓ２０２）。そして、グループに属する文章領域の文字サイズは全て、上記決定されたグループの文字サイズに暫定的に変更される。これが文字サイズの第１の補正である。図３（Ｃ）において各文章領域の中に示されているのは、上記第１の補正により変更された文字サイズである。

画像処理装置１０は、全てのグループについて上記の文字サイズの決定処理を終えると、次に、上記決定された文字サイズにより、元の文書画像におけるグループ間の文字サイズの順序が保たれているか否かを判断する（Ｓ２０３）。ここで、グループ間の順序が保たれていないと判断する場合には（Ｓ２０３：Ｎ）、画像処理装置１０はグループ間の順序を保つように各グループの文字サイズを算出し、その算出値を新たな文字サイズとする（Ｓ２０４）。これが文字サイズの第２の補正である。

ここで、図５を参照しつつ、グループの文字サイズの決定処理を具体的な例とともに説明する。図５には、上述した流れで各文章領域の文字サイズが決定される様子が示されている。すなわち、画像処理装置１０は、まず文字サイズ毎にグループを形成し（Ａ）、次に翻訳処理後にレイアウトに収まる文字サイズを算出し（Ｂ）、そしてグループ毎に文字サイズを統一（Ｃ）する。画像処理装置１０はその上で、統一された文字サイズが元の文書における順序を保つものであるか否かを判断する。グループの順序が保たれているか否かの判断は、現在決定されている文字サイズが小さい順に、元の順序と比較することにより行う。

本実施形態における例では、「ｄ，ｅ」はグループＧ１であり元の順序と同一であるが、次に小さいグループ「ｃ，ｆ」はグループＧ３となっているため、原文とは文字サイズの順序が相違していると判断される。ここで、グループ間の順序を元に戻すために、翻訳後のグループのうち、現在の１番目のグループすなわちＧ１と、現在の２番目のグループすなわちＧ３との間に、本来２番目のグループであるべきＧ２が元々の各グループ間の文字サイズの相対関係を維持するようにＧ２の文字サイズを算出する。文字サイズの算出は、Ｇ１，Ｇ２，Ｇ３のそれぞれの元の文字サイズの比率に基づいて行われる。上記の例では、Ｇ１，Ｇ２，Ｇ３のそれぞれの元の文字サイズの比率８：１０：１２に基づくＧ１とＧ２，及びＧ２とＧ３との距離、すなわち、図５においてＧ１とＧ３とを１：１に分ける位置に対応する文字サイズを算出し、算出された値をＧ２の文字サイズとすることで行うこととしてもよい。算出された文字サイズが整数値とならない場合には、その値に最も近い整数値を新たな文字サイズとしてもよい。そして上記算出された文字サイズを新たなグループＧ２の文字サイズとすると、Ｇ３及びＧ４の順位は３，４となり、各文章領域の順序は元の状態と同一となる。

画像処理装置１０は、上記の文字サイズの決定処理を終えると、処理Ｓ１０８に進み、上記決定された各文章領域の文字サイズにより翻訳文書を生成し（Ｓ１０８）、処理を終了する。

なお、本発明は上記の実施形態に限定されるものではない。

例えば、文字サイズ補正部１１２Ｂにおいてグループ間の文字サイズの間隔が所定の間隔よりも狭いか否かをさらに判断し、所定の間隔よりも狭いと判断する場合には、グループの文字サイズを補正するようにしてもよい。ここでの文字サイズの補正は、グループ間の文字サイズを均等な間隔に配置することで行ってもよい。

文字サイズ決定部１１２において、同じグループに分類された文章領域の翻訳後の文字サイズ分布に偏りがあり、かつ文字サイズが大きくかけ離れた要素が存在すると判断される場合には、文字サイズが大きく離れた要素をグループから除外して扱うこととしてもよい。

また、文字サイズ決定部１１２においてグループの文字サイズを合わせる際に、文字の縦横比率を変化させることで、最低文字サイズよりも大きな文字サイズを基準に文字サイズを合わせるようにしてもよい。

また、文章領域の翻訳後の文字間隔や行間を調整することにより、小さい文字サイズに抑えられた領域の文章の長さを調整するようにしてもよい。

本実施形態に係る画像処理システムのシステム構成図である。 翻訳文書の生成処理のフロー図である。 スキャン画像のレイアウトの一例を示す図である。 文章領域の文字サイズの決定処理のフロー図である。 グループの文字サイズの決定処理の具体例を説明する図である。

符号の説明

１ 画像処理システム、１０ 画像処理装置、２０ スキャナ、１００ 画像取得部、１０２ レイアウト解析部、１０４ 文字認識部、１０６ 文字サイズ測定部、１０８ グループ分類部、１１０ 翻訳処理部、１１２ 文字サイズ決定部、１１２Ａ 文字サイズ算出部、１１２Ｂ 文字サイズ補正部、１１４ 翻訳文書生成部、２００ スキャン画像、ａ，ｂ，ｃ，ｄ，ｅ，ｆ 文章領域。

Claims (5)

1. 文書画像を文章領域に分割する領域分割手段と、
   前記領域分割手段により分割された各文章領域に含まれる文字を認識する文字認識手段と、
   前記各文章領域を前記文字認識手段により認識される文字のサイズに応じてグループに分類する分類手段と、
   前記文章領域毎に、該文章領域に含まれる文字からなる文章を所定の言語に翻訳する翻訳手段と、
   前記文章領域毎に前記翻訳手段により翻訳される文章の文字サイズを、該文章領域のサイズ、行間、文字間、及び翻訳後の文章の文字数に基づいて算出する算出手段と、
   前記分類手段により同一のグループに分類された文章領域毎に、前記算出手段により算出された文字サイズが同一となるように各文字領域の文字サイズを補正する補正手段と、
   を含むことを特徴とする画像処理装置。
2. 前記補正手段は、前記分類手段により同一のグループに分類された文章領域のうち最小の文字サイズに合うように補正する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記分類手段により分類されるグループの文字サイズに基づいて、各グループの順序を決定する順序決定手段をさらに含み、
   前記補正手段は、前記順序決定手段により決定される各グループの順序が保たれるように、前記各文章領域の文字サイズをさらに補正する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記分類手段により分類される各グループの文字サイズの比を記憶する文字サイズ情報記憶手段をさらに含み、
   前記補正手段は、前記文字サイズ情報記憶手段に記憶される各グループの文字サイズの比に基づいて、前記各グループの文字サイズを補正する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 文書画像を文章領域に分割する領域分割手段、
   前記領域分割手段により分割された各文章領域に含まれる文字を認識する文字認識手段、
   前記各文章領域を前記文字認識手段により認識される文字のサイズに応じてグループに分類する分類手段、
   前記文章領域毎に、該文章領域に含まれる文字からなる文章を所定の言語に翻訳する翻訳手段、
   前記文章領域毎に前記翻訳手段により翻訳される文章の文字サイズを、該文章領域のサイズ、行間、文字間、及び翻訳後に該文章領域に含まれる文章の文字数に基づいて算出する算出手段、及び、
   前記分類手段により同一のグループに分類された文章領域毎に、前記算出手段により算出された文字サイズが同一となるように各文字領域の文字サイズを補正する補正手段、
   としてコンピュータを機能させることを特徴とする画像処理プログラム。

Images