JP2006251902A - 翻訳文書画像生成装置、翻訳文書画像生成プログラム及び翻訳文書画像生成方法 - Google Patents

Abstract

【課題】 文書の背景となる色や模様などの体裁を維持しつつ、文字の部分だけを別の言語に翻訳された新たな文字に差し替えることができるような仕組みを提供すること。
【解決手段】 単一色の用紙に黒で文字が印字された文書をスキャンして得たビットマップ画像から文字を認識した後、その文字を描画していた画素を用紙と同じ属性の画素で埋め戻す。その後、認識した文字を翻訳して別の新たな文字を取得し、画素の埋め戻された箇所に書き込む。
【選択図】 図２

Description

本発明は、ビットマップ化された文書を翻訳する技術に関する。

紙媒体として提供される文書をスキャンし、文書データとして好適に取扱うための種々の技術がこれまでに提案されている。例えば、特許文献１には、スキャンした文書に文字認識などを施してそのデータ内容を適宜改変してから遠隔にある装置間で遣り取りさせる技術の開示がある。また、特許文献２には、文書に含まれる地図やイラストなどの部分からも高い精度で文字を認識する技術の開示がある。
特開平０５−２７４３９７号公報 特開２００２−１０８８５５号公報

ところで、従来より、文書をスキャンして得た文書データを画素レベルで改変することにより、文書の背景となる色や模様などの体裁は維持しつつ、文字の部分だけを別の言語に翻訳された文字に差し替える試みがなされてきた。通常、文書データは、スキャン対象であった文書の内容を画素位置と画素値の各対により表わしたビットマップとして提供される。従って、ビットマップ内のある領域に、その領域に記された文字を翻訳して得た新たな文字をそのまま上書きしてしまうと、図４（Ａ）に示すように、上書きした文字がもともと記されていた文字と重なってしまうため、その判読性が著しく損なわれてしまうことになる。一方で、もともとあった文字を描画していた画素の画素値を一度白にリセットしてから新たな文字を上書きするようにすれば、文字の重なりの回避は確かに可能である。しかしながら、このような手法と取ったとしても、図４（Ｂ）に示すように文書の背景が白以外の色や模様で描画されていた場合は、もともとの文字の輪郭が背景中に白く残ってしまうため、同じように判読性が損なわれてしまう。
本発明は、このような背景の下に案出されたものであり、文書の背景となる色や模様などの体裁を維持しつつ、文字の部分だけを別の言語に翻訳された新たな文字に差し替えることができるような仕組みを提供することを目的とする。

本発明の好適な態様である翻訳文書画像生成装置は、文書をスキャンして得たビットマップ画像を入力する入力手段と、前記入力されたビットマップ画像から文字又は文字列が記された領域を特定し、特定した領域にて文字又は文字列を描画している画素の纏まりを抽出する抽出手段と、前記抽出した画素の纏まりによって表わされる文字又は文字列を認識する文字認識手段と、前記認識された文字又は文字列を翻訳し、その翻訳によって得られた新たな文字又は文字列を描画する新たな画素の纏まりを取得する翻訳手段と、前記特定した領域において文字又は文字列を描画している画素をその周辺の背景を描画している画素と調和させるべく、当該領域から抽出された画素を所定の補間処理により得られた別の画素と置換する領域埋め戻し手段と、前記画素の置換を終えた領域に前記取得された新たな画素の纏まりを書き込むことによって、翻訳文書のビットマップ画像を取得する画像書き込み手段と、前記取得された翻訳文書のビットマップ画像を出力する出力手段とを備える。

この態様において、前記領域埋め戻し手段は、前記抽出された画素をその周辺にある画素と画素値を同じくする画素と置換してもよい。

本発明の別の好適な態様であるプログラムは、文書をスキャンして得たビットマップ画像を入力する入力処理と、前記入力されたビットマップ画像から文字又は文字列が記された領域を特定し、特定した領域にて文字又は文字列を描画している画素の纏まりを抽出する抽出処理と、前記抽出した画素の纏まりによって表わされる文字又は文字列を認識する文字認識処理と、前記認識された文字又は文字列を翻訳し、その翻訳によって得られた新たな文字又は文字列を描画する新たな画素の纏まりを取得する翻訳処理と、前記特定した領域において文字又は文字列を描画している画素をその周辺の背景を描画している画素と調和させるべく、当該領域から抽出された画素を所定の補間処理により得られた別の画素と置換する領域埋め戻し処理と、前記画素の置換を終えた領域に前記取得された新たな画素の纏まりを書き込むことによって、翻訳文書のビットマップ画像を取得する画像書き込み処理と、前記取得された翻訳文書のビットマップ画像を出力する出力処理とをコンピュータに実行させる。

この態様において、前記領域埋め戻し処理は、前記抽出された画素をその周辺にある画素と画素値を同じくする画素と置換する処理であってもよい。

本発明の別の好適な態様である翻訳文書画像生成方法は、文書をスキャンして得たビットマップ画像を入力する入力工程と、前記入力されたビットマップ画像から文字又は文字列が記された領域を特定し、特定した領域にて文字又は文字列を描画している画素の纏まりを抽出する抽出工程と、前記抽出した画素の纏まりによって表わされる文字又は文字列を認識する文字認識工程と、前記認識された文字又は文字列を翻訳し、その翻訳によって得られた新たな文字又は文字列を描画する新たな画素の纏まりを取得する翻訳工程と、前記特定した領域において文字又は文字列を描画している画素をその周辺の背景を描画している画素と調和させるべく、当該領域から抽出された画素を所定の補間工程により得られた別の画素と置換する領域埋め戻し工程と、前記画素の置換を終えた領域に前記取得された新たな画素の纏まりを書き込むことによって、翻訳文書のビットマップ画像を取得する画像書き込み工程と、前記取得された翻訳文書のビットマップ画像を出力する出力工程とを有する。

この態様において、前記領域埋め戻し工程は、前記抽出された画素をその周辺にある画素と画素値を同じくする画素と置換する工程であってもよい。

本発明によると、文書の背景となる色や模様などの体裁を維持しつつ、文字の部分だけを別の言語に翻訳された新たな文字に差し替えることができる。

（発明の実施の形態）
本願発明の実施形態について説明する。
本実施形態の特徴は、単一色の用紙に黒で文字が印字された文書をスキャンして得たビットマップ画像から文字を認識した後、その文字を描画していた画素を用紙と同じ属性の画素で埋め戻してから、翻訳された新たな文字を書き込むようにした点にある。

図１は、本実施形態にかかる翻訳文書画像生成装置１のハードウェア構成を示すブロック図である。図に示すように、本実施形態にかかる翻訳文書画像生成装置１は、文書画像データ入力部１０、文字部分画像抽出部１１、文字認識部１２、翻訳部１３、文字画像データ生成部１４、背景画像抽出部１５、文字部分画像削除部１６、埋め戻し部１７、画像書き込み部１８、及び文書画像データ出力部１９を備える。

文書画像データ入力部１０は、文書のビットマップ画像を自装置１へ入力する。この文書画像データ入力部１０を介して入力されるビットマップ画像は、文書の画像を構成する各画素の配置を示す番地と、それらの画素の属性をＲＧＢ２５６階調で表すＲＧＢ値の各対である。例えば、ある番地の画素が白である場合のＲＧＢ値は（０ ０ ０）と表わされ、黒である場合のＲＧＢ値は（２５５ ２５５ ２５５）と表わされる。

文字部分画像抽出部１１は、文書画像データ入力部１０を介して入力されるビットマップ画像において文字が夫々記された各矩形領域のうちから処理対象となる１つの矩形領域を特定し（以下、処理対象となっている矩形領域を「処理対象領域」と呼ぶ）、特定した処理対象領域の位置を示す位置情報を背景画像抽出部１５と文字部分画像削除部１６へ夫々供給する。また、この文字部分画像抽出部１１は、処理対象領域にて文字を描画している画素の纏まりを抽出する。文字認識部１２は、文字部分画像抽出部１１が抽出した画素の纏まりを基にその画素の纏まりが表す文字を認識し、認識した文字の文字コードを翻訳部１３へ供給する。翻訳部１３は、文字認識部１２から供給された文字コードを翻訳して新たな文字コードを取得し、取得した新たな文字コードを文字画像データ生成部１４へ供給する。例えば、文字認識部１２から「Ａ」の欧文字の文字コードが供給されたときは、これを翻訳して得た「あ」の平仮名文字の文字コードを文字画像データ生成部１４へ供給する。文字画像データ生成部１４は、文字認識部１２から供給された文字コードと対応する文字画像を生成し、その文字画像を画像書き込み部１８へ供給する。

背景画像抽出部１５は、文字部分画像抽出部１１から供給される位置情報が示す処理対象領域をビットマップ画像から特定した後、その領域内において文字の背景を描画している画素のＲＧＢ値を抽出する。
一方、文字部分画像削除部１６は、文字部分画像抽出部１１から供給される位置情報が示す処理対象領域をビットマップ画像から特定した後、その領域にて文字を描画している画素のＲＧＢ値を白（０ ０ ０）にリセットする。すると、埋め戻し部１７は、文字部分画像削除部１６によってリセットされた画素の番地に、背景画像抽出部１５が抽出したものと同じＲＧＢ値を新たに対応付ける。これにより、処理対象領域において文字を描画していた画素がその背景を描画していた画素と同じＲＧＢ値の画素で置き換えられ、処理対象領域内が背景の色で塗り潰された状態になる。
画像書き込み部１８は、埋め戻し部１７による処理を経た処理対象領域に、文字画像データ生成部１４から供給された文字画像を埋め込む。

複数の文字を含むビットマップ画像が文書画像データ入力部１０から入力されているときは、それらの各文字を記した領域を処理対象領域として上記各部による処理が繰返される。これにより、翻訳文書を表す新たなビットマップ画像が取得される。取得された新たなビットマップ画像は文書画像データ出力部１９を介して外部の印字デバイスに出力される。

ここで、上記各部による処理を経ることで実現する文書のビットマップ画像の遷移について、図２を例にとり具体的に説明する。図２（Ａ）は、文書画像データ入力部１０から入力された段階のビットマップ画像を示す図である。図に示すように、このビットマップ画像は、「Ａ」という欧文字が黒の画素（ＲＧＢ値：２５５ ２５５ ２５５）の纏まりによって描画されており、また、その背景は青の画素（ＲＧＢ値：０ ２５５ ０）で描画されている。図２（Ｂ）は、文字部分画像抽出部１１による処理を経た段階のビットマップ画像である。この段階では、「Ａ」の欧文字が記された矩形領域が処理対象領域Ｘとして特定され、更に、その処理対象領域Ｘ内の黒の画素の纏まりによって表わされる「Ａ」の文字の文字コードが文字認識部１２から翻訳部１３へと供給されることになる。
図２（Ｃ）は、文字部分画像削除部１６による処理を経た段階のビットマップ画像である。この段階では、「Ａ」の欧文字を描画していた画素のＲＧＢ値が白にリセットされることにより、処理対象領域Ｘから「Ａ」の文字が白く切り抜かれたような状態になる。

図２（Ｄ）は、埋め戻し部１７による処理を経た段階のビットマップ画像である。この段階では、リセットされた画素の番地に、背景画像抽出部１５が抽出した背景のＲＧＢ値が新たに対応付けられることにより、処理対象領域Ｘ全体が背景の色で塗り潰されたような状態になる。
図２（Ｅ）は、画像書き込み部１８による処理を経た段階のビットマップ画像である。この段階では、翻訳により得られた平仮名文字である「あ」の画像が処理対象領域Ｘの略中央の位置に新たに書き込まれた状態になる。この新たに書き込まれる文字は、文字画像データ生成部１４が翻訳部１３より供給された文字コードを基に生成したものである。

以上説明した翻訳文書画像生成装置１は、入力されたビットマップ画像の処理対象領域から文字を認識した後、その文字が記された領域の画素を背景と同じ色で埋め戻してから、翻訳により得た新たな文字の画像を書き込むようになっている。従って、元の文書の背景色の影響を受け、書き込まれた文字の判読性が損なわれてしまうといった事態を回避できる。

（他の実施形態）
本願発明は、種々の変形実施が可能である。
上記実施形態は、入力されたビットマップ画像の文字の背景が単一色で描画されていることを前提として構築されており、用紙に予め模様が記された文書などの翻訳には不向きであった。これに対し、以下に示すような機能を埋め戻し部１７に実装させることにより、背景が単一色でない文書であっても本願発明を適用することが可能となる。かかる変形例となる埋め戻しの手法としては、処理対象領域と離れた背景部分をパッチ画像としてコピーし、適宜大きさを調整してから処理対象領域へ貼りつけるといった手法がある。要するに、本願発明においては、処理対象領域から抽出した画素の纏まりとその周辺にある画素群の描画内容を調和させるべく、抽出した画素に所定の補間処理を施す機能を埋め戻し部１７に搭載させていれば、その埋め戻しの手法は何れを採用してもよい。

上記実施形態では、処理対象領域において文字を描画していた画素のＲＧＢ値を文字部分画像削除部１６が白にリセットした後、埋め戻し部１７が、リセットされていた画素の番地に背景画像抽出部１５が抽出したものと同じＲＧＢ値を新たに対応付けるようになっていた。しかしながら、この文字部分画像削除部１６によるリセットは本願発明に必須の工程でなく、文字を描画していた画素のＲＧＢ値を背景画像抽出部１５が抽出したものと同じＲＧＢ値に直ちに差し替えるようにしてもよい。

上記実施形態において、埋め戻し部１７は、背景画像抽出部１５によって抽出された背景のＲＧＢ値を、文字部分画像削除部１６がリセットした画素の番地と新たに対応付けていた。つまり、埋め戻し部１７によって埋め戻される画素のＲＧＢ値は、背景画像抽出部１５による抽出結果に依存して決定されるものであった。これに対し、埋め戻し部１７が埋め戻すＲＧＢ値を、白（ＲＧＢ値：０ ０ ０）、青（ＲＧＢ値：０ ２５５ ０）といった主要な色を表すデフォルト値として予め設定しておくことにより、背景画像抽出部１５の搭載を要しない簡易な構成を採用してもよい。
図３は、この変形例にかかる翻訳文書画像生成装置１のハードウェア構成を示すブロック図である。図に示すように、この変形例にかかる翻訳文書画像生成装置１は、文書画像データ入力部１０、文字部分画像抽出部１１、文字認識部１２、翻訳部１３、文字画像データ生成部１４、文字部分画像削除部１６、埋め戻し部１７、画像書き込み部１８、及び文書画像データ出力部１９を備えるが、図１に示した同装置１と異なり、背景画像抽出部１５を備えていない。その代わり、本変形例における埋め戻し部１７には、背景として埋め戻されるべき画素に関する所定のＲＧＢ値が予め設定されており、埋め戻し部１７はこの設定されたＲＧＢ値を文字部分画像削除部１６がリセットした画素の番地と新たに対応付ける。このような簡易な構成によっても、本願発明の作用を実現することは可能である。

上記実施形態においては、翻訳部１３と文字画像データ部１４を別部として構成していたが、翻訳部１３に文字画像データ部１４の機能を取り込んでもよい。この変形例の場合、翻訳部１４自身が、翻訳により得た文字コードが示す文字を表す新たな画素の纏まりを生成して画像書き込み部１８へ供給する。
上記実施形態では、１つの処理対象領域に記された文字が一文字だけであったが、所定の纏まり毎の文字列を含む矩形領域を処理対象領域として処理をおこなうようにしてもよい。

翻訳文書画像生成装置のハードウェア構成図である。 ビットマップ画像の遷移を示す図である。 翻訳文書画像生成装置のハードウェア構成図である（変形例）。 従来技術を説明する図である。

符号の説明

１…翻訳文書画像生成装置、１０…文書画像データ入力部、１１…文字部分画像抽出部、１２…文字認識部、１３…翻訳部、１４…文字画像データ生成部、１５…背景画像抽出部、１６…文字部分画像削除部、１７…埋め戻し部、１８…画像書き込み部、１９…文書画像データ出力部

Claims (6)

1. 文書をスキャンして得たビットマップ画像を入力する入力手段と、
   前記入力されたビットマップ画像から文字又は文字列が記された領域を特定し、特定した領域にて文字又は文字列を描画している画素の纏まりを抽出する抽出手段と、
   前記抽出した画素の纏まりによって表わされる文字又は文字列を認識する文字認識手段と、
   前記認識された文字又は文字列を翻訳し、その翻訳によって得られた新たな文字又は文字列を描画する新たな画素の纏まりを取得する翻訳手段と、
   前記特定した領域において文字又は文字列を描画している画素をその周辺の背景を描画している画素と調和させるべく、当該領域から抽出された画素を所定の補間処理により得られた別の画素と置換する領域埋め戻し手段と、
   前記画素の置換を終えた領域に前記取得された新たな画素の纏まりを書き込むことによって、翻訳文書のビットマップ画像を取得する画像書き込み手段と、
   前記取得された翻訳文書のビットマップ画像を出力する出力手段と
   を備えた翻訳文書画像生成装置。
2. 請求項１に記載の翻訳文書画像生成装置において、
   前記領域埋め戻し手段は、
   前記抽出された画素をその周辺にある画素と画素値を同じくする画素と置換する
   翻訳文書画像生成装置。
3. 文書をスキャンして得たビットマップ画像を入力する入力処理と、
   前記入力されたビットマップ画像から文字又は文字列が記された領域を特定し、特定した領域にて文字又は文字列を描画している画素の纏まりを抽出する抽出処理と、
   前記抽出した画素の纏まりによって表わされる文字又は文字列を認識する文字認識処理と、
   前記認識された文字又は文字列を翻訳し、その翻訳によって得られた新たな文字又は文字列を描画する新たな画素の纏まりを取得する翻訳処理と、
   前記特定した領域において文字又は文字列を描画している画素をその周辺の背景を描画している画素と調和させるべく、当該領域から抽出された画素を所定の補間処理により得られた別の画素と置換する領域埋め戻し処理と、
   前記画素の置換を終えた領域に前記取得された新たな画素の纏まりを書き込むことによって、翻訳文書のビットマップ画像を取得する画像書き込み処理と、
   前記取得された翻訳文書のビットマップ画像を出力する出力処理と
   をコンピュータに実行させるプログラム。
4. 請求項３に記載のプログラムにおいて、
   前記領域埋め戻し処理は、
   前記抽出された画素をその周辺にある画素と画素値を同じくする画素と置換する処理である
   プログラム。
5. 文書をスキャンして得たビットマップ画像を入力する入力工程と、
   前記入力されたビットマップ画像から文字又は文字列が記された領域を特定し、特定した領域にて文字又は文字列を描画している画素の纏まりを抽出する抽出工程と、
   前記抽出した画素の纏まりによって表わされる文字又は文字列を認識する文字認識工程と、
   前記認識された文字又は文字列を翻訳し、その翻訳によって得られた新たな文字又は文字列を描画する新たな画素の纏まりを取得する翻訳工程と、
   前記特定した領域において文字又は文字列を描画している画素をその周辺の背景を描画している画素と調和させるべく、当該領域から抽出された画素を所定の補間工程により得られた別の画素と置換する領域埋め戻し工程と、
   前記画素の置換を終えた領域に前記取得された新たな画素の纏まりを書き込むことによって、翻訳文書のビットマップ画像を取得する画像書き込み工程と、
   前記取得された翻訳文書のビットマップ画像を出力する出力工程と
   を有する翻訳文書画像生成方法。
6. 請求項５に記載の翻訳文書画像生成方法において、
   前記領域埋め戻し工程は、
   前記抽出された画素をその周辺にある画素と画素値を同じくする画素と置換する工程である
   翻訳文書画像生成方法。

Images