JP2012256097A - 表示画像キャプチャ翻訳装置、表示画像キャプチャ翻訳方法、及びプログラム - Google Patents

Abstract

【課題】翻訳対象の文書画像が他の画像で隠された場合でも、翻訳表示内容が変化せず、より正確な情報を表示することが可能になるようにする。
【解決手段】表示内容取得部２１が、表示内容記憶部１１から現在ディスプレイ３１の画面に表示されるウィンドウ内の画像データをすべてキャプチャする。キャプチャした画像は記憶部２５に一旦記憶するとともに、比較部２６に送る。比較部２６は、記憶部２５から前回キャプチャした画像を読み出し、今回キャプチャした画像のそれぞれと比較し、前回キャプチャした画像と一致する画像であるかを確認する。前回のキャプチャ画像と一致する場合は、記憶部２５から前回の訳ふり内容を読み出して訳ふり文字配置部２４に送る。表示内容記憶部１１に訳ふり文字のデータを送り、ディスプレイ３１に表示する。
【選択図】図１

Description

本発明は、翻訳対象である文書画像の表示されている文字を翻訳する表示画像キャプチャ翻訳装置、表示画像キャプチャ翻訳方法、及びプログラムに関する。

国際学会や国際会議などにおけるプレゼンテーションでは、液晶などの大型ディスプレイやプロジェクタなどの投影機で資料を表示させて説明するのが一般的である。特にプレゼンテーション資料は、そのデータをメモリやＨＤＤなどの記憶装置に複数のファイルとして記憶させ、説明するときは、パソコンなどでそのファイルを記憶装置から順次呼び出して表示させる。説明者が外国人であり、母国語で説明する場合は、通訳を介して翻訳される。しかし、表示されている資料は、外国語のままの場合が多く、聴講者の理解が十分とは言い難かった。

そこで、特許文献１、２には、表示されているプレゼンテーションの資料の文字部分を抽出し、翻訳して翻訳文字を表示することが記載されている。

特開平３−１６３５９１号公報 特開２００６−１２７５１８号公報

プレゼンテーションにおいては、資料データの複数のファイルを同時に開いて説明することが多い。この場合は、複数のウィンドウが開いてプレゼンテーション資料が同時に表示されるが、説明中に使用者がウィンドウを移動させたりして、ウィンドウ同士が重なりあって、翻訳する対象の文書画像が隠される場合がある。しかしながら、従来技術の特許文献１や特許文献２では、このような場合の画面翻訳について言及されていない。一般的に、ウィンドウで表示するシステムにおいて、そのウィンドウの画面表示イメージを得る操作を行った場合、隠された部分のイメージが取得できるかどうかは不定であり、一般的には取得できないものである。その際、隠された文字部分が取得できないことにより、特に境界付近において、文字認識結果が変化したり、正確な翻訳ができないなどの影響が発生することが考えられる。

本発明は、斯かる実情に鑑み、翻訳対象の文書画像が他の画像で隠された場合でも、翻訳表示内容が変化せず、より正確な情報を表示することが可能になる表示画像キャプチャ翻訳装置、表示画像キャプチャ翻訳方法、及びプログラムを提供しようとするものである。

本発明は、表示装置に表示された画像から、該画像に含まれる第１言語の文字を文字認識し、その結果を第２言語に翻訳し前記表示装置に表示する表示画像キャプチャ翻訳装置であって、
表示された前記画像から画像データを取得する表示内容取得部と、前記画像データから第１言語の文字を認識して第１言語の文字データを取得する文字認識部と、前記文字認識部が取得した前記第１言語の文字データを第２言語の文字データに翻訳する翻訳部と、前記表示内容取得部が取得した画像データと、該画像データに含まれる第１言語の文字データを前記翻訳部が翻訳した第２言語の文字データとを記憶する記憶部と、前記記憶部に記憶された前回取得した画像データと、現在表示中の画像データの比較を行う比較部と、翻訳した文字データを表示画像として配置する文字配置部と、を備え、
前記文字配置部は、前記記憶部に記憶された前回画像データと現在表示中の画像データとが一致すれば、その一致画像に対応する第２言語の文字データを前記記憶部から読み出して表示中の対応画像に配置して表示させることを特徴とする。

また、本発明は、前記記憶部に画像データが記憶されていない場合、あるいは前記記憶部に現在表示中の画像に一致する画像データが記憶されていない場合、
前記文字認識部は、現在表示中の画像データの第１言語の文字データを取得し、前記翻訳部は、前記文字認識部が取得した第１言語の文字データを第２言語の文字データに翻訳し、前記文字配置部は、前記翻訳部が翻訳した前記第２言語の文字データを前記画像に配置して表示させることを特徴とする。

また、本発明は、前記比較部は、現在表示中の画像で、かつ別の画像で一部隠されて表示されている画像において、その露出表示されている部分の画像データが、前記記憶部に記憶されている以前取得した画像データの対応する部分と一致する場合は、画像データが一致しているものとすることを特徴とする。

ここで、前記文字配置部は、露出表示されている第１言語の文字データのみ翻訳した第２言語の文字データを文字として配置表示することを特徴とする。

また、本発明は、表示装置に表示された画像から、該画像に含まれる第１言語の文字を文字認識し、その結果を第２言語に翻訳し前記表示装置に表示する表示画像キャプチャ翻訳方法であって、
表示された前記画像から画像データを取得する表示内容取得ステップと、前記画像データから第１言語の文字を認識して第１言語の文字データを取得する文字認識ステップと、前記文字認識部が取得した前記第１言語の文字データを第２言語の文字データに翻訳する翻訳ステップと、前記表示内容取得部が取得した画像データと、該画像データに含まれる第１言語の文字データを前記翻訳部が翻訳した第２言語の文字データとを記憶する記憶ステップと、前記記憶ステップで記憶されていた前回取得した画像データと、現在表示中の画像データの比較を行う比較ステップと、翻訳した文字データを表示画像として配置する文字配置ステップと、を備え、
前記文字配置ステップは、前記記憶ステップで記憶された前回画像データと現在表示中の画像データとが一致すれば、その一致画像に対応する前記記憶ステップで記憶した第２言語の文字データを表示中の対応画像に配置して表示させることを特徴とする。

また、本発明は、コンピュータに、前記表示画像キャプチャ翻訳方法の各ステップを実行させるためのプログラムである。

本発明によれば、記憶部に記憶された前回取得した画像と、今回表示された画像を比較し、一致すれば前回取得した画像の翻訳文字データを用いて表示するので、翻訳表示内容が変化せず、また素早く正確な情報を表示して、聴講者の理解が得やすくなる。

また、前回取得した画像がなくても、表示された画像の文字を翻訳するので、常に翻訳文を表示することが可能である。

また、今回取得した画像が別の画像で隠されていても、表示されている部分で、記憶部に記憶されている前回の画像との一致を判定し、一致すれば同じ画像とするので、前回画像の文字翻訳が変らず、聴講者に同じ画像であることがすぐに分かる。

また、隠れた部分の文字については、表示しないようにするので、より正確な情報を表示することが可能になる。

本発明に係る表示画像キャプチャ翻訳装置を備えたプレゼンテーション装置の一実施形態を示すブロック図である。 このプレゼンテーション装置の処理を示すフローチャートである。 最初に表示された画像を示す画面説明図である。 次に表示された画像を示す画面説明図である。 図３の訳ふりを行った画面説明図である。 図４の訳ふりを行った画面説明図である。

以下、本発明の実施の形態を添付図面を参照して説明する。
図１は本発明に係る表示画像キャプチャ翻訳装置を備えたプレゼンテーション装置の一実施形態を示すブロック図である。

このプレゼンテーション装置１０には、プレゼンテーションの内容や訳ふりの表示を使用者に表示するディスプレイ３１と、キーボードやマウスなどからなり、使用者がプレゼンテーション画像（資料画像など）の表示操作などの指示を行う操作部３２とが接続されている。

プレゼンテーション装置１０は、ディスプレイ３１に表示する画像内容を記憶する表示内容記憶部１１、操作部３２の指示により、ディスプレイ３１に表示させるプレゼンテーション機能の全般の実行を行うプレゼンテーション実行部１２、表示画像キャプチャ翻訳装置である画面訳ふり実行モジュール２０を備えている。

表示内容記憶部１１は、ディスプレイ３１に表示させる画像データを記憶する。また、その画像に含まれる文字のテキストデータがあればそれも記憶している。
プレゼンテーション実行部１２は、操作部３２の指示に基づいて、ディスプレイ１１に表示させるプレゼンテーション画面の画像を生成し、表示内容記憶部１１に記憶させる。この記憶された画像をディスプレイ３１に表示する。

画面訳ふり実行モジュール２０は、表示内容記憶部１１より現在表示されている画面内容（表示画像）の画像データを取得する表示内容取得部２１、表示内容取得部２１より画面内容を取得し、その画面中に表示されている第１言語の文字の認識を行い第１言語の文字データ（テキストデータ）を取得する文字認識部２２、文字認識部２２より取得した第１言語の文字データを受け取り、第１言語（認識した文字の言語）から第２言語（翻訳する言語）への翻訳変換を行い訳ふり文字データ（第２言語のテキストデータ）を取得する訳ふり部２３、訳ふり部２３より訳ふり文字データを取得して文字認識結果の文字位置や大きさ情報から、訳ふり文字を適切な位置に配置する訳ふり文字配置部２４、以前に取得した表示画面の画像データやそれに含まれる第１言語テキストデータ、及びそれに対する訳ふり結果（第２言語テキストデータ）を記憶する記憶部２５、今回の表示画面の画像と、以前の表示画面の画像の内容を比較する比較部２６を備える。

ここで、文字認識部２２は、画像データから文字部分を認識し、文字画像から第１言語テキストデータに変換する。ここで、表示内容記憶部１１から取得したデータに、画像データに対応する第１言語テキストデータがあれば、それを用いる。

このプレゼンテーション装置１０の処理動作を図２を用いて説明する。
使用者は、プレゼンテーション資料のデータをメモリやＨＤＤなどの記憶装置にあらかじめ複数のファイルに記憶させておく。それをプレゼンテーション装置１０で読み出し、プレゼンテーション用のアプリケーションプログラムによって表示させる。プレゼンテーションでは、複数のファイルを同時に表示をさせる場合もあり、そのファイルごとに表示ウィンドウを開いて、プレゼンテーション資料を同時に表示させる。使用者は、説明の過程で、各ウィンドウを並列に並べたり、重ねたりして、プレゼンテーション資料を表示させることがある。本実施形態は、どのような表示になっても、安定した訳文を提供できるように処理するものである。

図２は、次の例に基づいて説明する。
まずは表示部４０に、図３の文書画像４１を表示し、その次に図４の文書画像５１，５２を表示部４０に表示する場合の翻訳処理を例として説明する。

ディスプレイ３１に最初に表示された画面は、図３に示すように、ディスプレイ３１の表示部４０に、第１のウィンドウが開いて文書画像４１が表示され、そこには第１言語の文字列４２が表示されている。次にディスプレイ３１に表示された画面は、図４に示すように、ディスプレイ３１の表示部４０に、第１のウィンドウが開いて文書画像５１が表示され、第２のウィンドウが開いて文書画像５４が表示されている。文書画像５４には、第１言語の文字列５５が表示されている。

まず、画面訳ふり実行モジュール２０を起動させたとき、記憶部２５の初期化を行い、記憶データがない状態にする（ステップＳ１）。使用者が操作部３２によりプレゼンテーションの指示を行い、プレゼンテーション実行部１２がその指示に従って、表示すべき画像のデータを生成し、それを表示内容記憶部１１に記憶させ、ディスプレイ３１に表示する。

表示内容取得部２１が、表示内容記憶部１１から現在ディスプレイ３１の画面に表示されるウィンドウ内の画像データをすべてキャプチャする（ステップＳ２）。そして、キャプチャした画像は記憶部２５に一旦記憶するとともに、比較部２６に送る。なお、記憶部２５において、このステップで一旦記憶する領域と後述するステップＳ８で記憶する領域とは別である。ここで、一旦記憶した画像データは、後述するステップＳ１１の画面更新時に消去される。

最初の段階では、ステップＳ１において、記憶部２５のデータが初期化されているので、前回キャプチャした画像データはない状態であるが、このフローチャートの処理を繰り返した場合は、前回キャプチャした画像データが記憶部２５に記憶されていることになる。

例えば、図４の画像５１，５４が表示された場合、記憶部２５には、前回表示した画像４１のデータが記憶されている。さらに、詳しくは後述するが、図５に示す画像４１における文字列（第１言語）４２を第２言語に翻訳した文字列４３のテキストデータも記憶部２５に記憶している。

比較部２６は、記憶部２５から前回キャプチャした画像データを読み出し、今回キャプチャした画像のそれぞれと比較し、前回キャプチャした画像データと一致する画像であるかを確認する（ステップＳ３）。前回のキャプチャ画像データと一致する場合は（ステップＳ３；Ｙｅｓ）、記憶部２５から前回の訳ふり内容を読み出して訳ふり文字配置部２４に送り、ステップ１０に進む（ステップＳ４）。

ここで、図３の画面が最初に表示されたものである場合は、記憶部２５には前回のキャプチャ画像は存在しないので、ステップＳ３では前回のキャプチャ画像と一致しないものとし、ステップＳ５に進む。

図３の画像の処理が済んだあとで、図４に示す画面の画像５１，５４を表示内容取得部２１が取得した場合、比較部２６は、画像５１，５４に対して、前回取得した画像４１（図３参照）と比較する。画像５１の一部が別画像５４により隠されている場合、比較部２６は、その画像５１の表示されている部分のデータと、記憶部２５に記憶されている前回キャプチャ画像４１のデータとを比較し、画像５１が露出表示されている部分のデータが画像４１のデータと一致すれば、同一画像であると判断する。
従って、ステップＳ４に進んで、記憶部２５から画像４１における第２言語の文字列４３（図５参照）の翻訳テキストデータを読み出し、訳ふり文字配置部２４に送る。

また、比較部２６は、画像５４のデータが前回のキャプチャ画像４１のデータとは一致しないので、別画像と判断し、ステップＳ５に進む。

記憶部２５に今回のキャプチャ画像データと一致する画像データが存在しない場合は（ステップＳ３；Ｎｏ）、ステップ５に進み、文字認識部２２は、今回キャプチャした画像データを文字認識し文字データを取得し、ステップＳ６において、翻訳対象となる第１言語の文字が存在するかを判定する。翻訳対象となる文字が存在すれば（ステップＳ６；Ｙｅｓ）、ステップＳ７に進む。翻訳対象となる文字が存在しなければ（ステップＳ６；Ｎｏ）、ステップＳ１１に進み、次の画面更新のタイミングまで待つ。

ステップＳ７では、訳ふり部２３は、抽出した第１言語の文字データを第２言語の文字データに翻訳して訳ふりを行う。ステップＳ８において、訳ふり結果のデータと、その画像データを記憶部２５に記憶する。

ステップＳ９では、訳ふり文字配置部２４が、ステップＳ７で訳ふりされた第２言語の文字データ、あるいはステップＳ４で、記憶部２５から読み出された前回訳ふりされた第２言語の文字データを、現在表示されている第１言語文字の下に配置する。ただし、隠れている部分に対して訳ふりした結果がある場合は、それを表示してはおかしいので、その部分に対応する訳ふりの表示を抑制する。

ステップＳ１０では、ディスプレイ３１に現在表示されている画像に対して、訳ふり文字配置部２４が配置した位置に表示するように、表示内容記憶部１１に訳ふり文字のデータを送り、ディスプレイ３１に表示する。

ステップＳ１１で、訳ふり文字更新のタイミングかどうかを判定する。まだ訳ふり更新のタイミングでなければ、ループして待つ。表示画面が更新された場合は（ステップＳ１１；Ｙｅｓ）、ステップＳ１２に進み、次の訳ふりを行うために、表示されている訳ふり文字データを消去し、ステップＳ２に戻る。なお、ステップＳ２で一旦記憶した画像データも消去する（ステップＳ８で記憶したデータは、記憶部２５にそのまま保存される）。

最初に図３の画面がディスプレイ３１に表示された場合は、図５のように第２言語の翻訳文字列４３が、第１言語の文字列４２の下側に表示される。
その後、図４の画面がディスプレイ３１に表示された場合は、図６のように、画像５１に対しては、第１言語の文字列５２の下側に、図３の第２言語の文字列４３の一部が表示される。これは上述のように画像５１は、前回キャプチャした画像４１と同じ画像と判断したからである。
また、画像５４に対しては、図６のように、第１言語の文字列５５の下側に、翻訳処理された第２言語の文字列５６が表示される。

また、ウィンドウ全体表示との画像を覚えて比較・再利用しているが、一部が隠されているさらに直近の画像も覚えておいて、全体表示との比較が一致しなかった場合、さらに直近の一部隠ぺいされたウィンドウ画像も比較して一致した場合はそちらを利用することにより、より以前の精度の高い訳ふり結果が利用できる場面を多くすることも考えられる。

こうして、翻訳対象ウィンドウが他のウィンドウで隠された場合、直前のウィンドウ全体表示時の表示内容をキャプチャして覚えておき、それぞれのウィンドウに表示される画像の現時点での表示内容のキャプチャ情報と比較し、ウィンドウ表示部分において内容が一致するならば、ウィンドウが隠れている部分も変化していないものとみなし、以前のウィンドウ全体のキャプチャ内容で文字認識を行い、それを元に翻訳結果を表示することで、あるいは、以前の文字認識結果ならびに翻訳結果を記憶しておき、それを利用することで、ウィンドウが隠れた場合においても翻訳表示内容が変化せず、より正確な情報を表示することが可能になる。

上記各実施の形態に係る画面訳ふり実行モジュール２０の機能の一部は、コンピュータによって実現することができる。その場合、このような機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

１０ プレゼンテーション装置
１１ 表示内容記憶部
１２ プレゼンテーション実行部
２０ 画面訳ふり実行モジュール
２１ 表示内容取得部
２２ 文字認識部
２３ 訳ふり部
２４ 文字配置部
２５ 記憶部
２６ 比較部
３１ ディスプレイ
３２ 操作部

Claims (6)

1. 表示装置に表示された画像から、該画像に含まれる第１言語の文字を文字認識し、その結果を第２言語に翻訳し前記表示装置に表示する表示画像キャプチャ翻訳装置であって、
   表示された前記画像から画像データを取得する表示内容取得部と、
   前記画像データから第１言語の文字を認識して第１言語の文字データを取得する文字認識部と、
   前記文字認識部が取得した前記第１言語の文字データを第２言語の文字データに翻訳する翻訳部と、
   前記表示内容取得部が取得した画像データと、該画像データに含まれる第１言語の文字データを前記翻訳部が翻訳した第２言語の文字データとを記憶する記憶部と、
   前記記憶部に記憶された前回取得した画像データと、現在表示中の画像データの比較を行う比較部と、
   翻訳した文字データを表示画像として配置する文字配置部と、
   を備え、
   前記文字配置部は、前記記憶部に記憶された前回画像データと現在表示中の画像データとが一致すれば、その一致画像に対応する第２言語の文字データを前記記憶部から読み出して表示中の対応画像に配置して表示させることを特徴とする表示画像キャプチャ翻訳装置。
2. 前記記憶部に画像データが記憶されていない場合、あるいは前記記憶部に現在表示中の画像に一致する画像データが記憶されていない場合、
   前記文字認識部は、現在表示中の画像データの第１言語の文字データを取得し、
   前記翻訳部は、前記文字認識部が取得した第１言語の文字データを第２言語の文字データに翻訳し、
   前記文字配置部は、前記翻訳部が翻訳した前記第２言語の文字データを前記画像に配置して表示させることを特徴とする請求項１に記載の表示画像キャプチャ翻訳装置。
3. 前記比較部は、現在表示中の画像で、かつ別の画像で一部隠されて表示されている画像において、その露出表示されている部分の画像データが、前記記憶部に記憶されている以前取得した画像データの対応する部分と一致する場合は、画像データが一致しているものとすることを特徴とする請求項１又は２に記載の表示画像キャプチャ翻訳装置。
4. 前記文字配置部は、露出表示されている第１言語の文字データのみ翻訳した第２言語の文字データを文字として配置表示することを特徴とする請求項３に記載の表示画像キャプチャ翻訳装置。
5. 表示装置に表示された画像から、該画像に含まれる第１言語の文字を文字認識し、その結果を第２言語に翻訳し前記表示装置に表示する表示画像キャプチャ翻訳方法であって、
   表示された前記画像から画像データを取得する表示内容取得ステップと、
   前記画像データから第１言語の文字を認識して第１言語の文字データを取得する文字認識ステップと、
   前記文字認識部が取得した前記第１言語の文字データを第２言語の文字データに翻訳する翻訳ステップと、
   前記表示内容取得部が取得した画像データと、該画像データに含まれる第１言語の文字データを前記翻訳部が翻訳した第２言語の文字データとを記憶する記憶ステップと、
   前記記憶ステップで記憶されていた前回取得した画像データと、現在表示中の画像データの比較を行う比較ステップと、
   翻訳した文字データを表示画像として配置する文字配置ステップと、
   を備え、
   前記文字配置ステップは、前記記憶ステップで記憶された前回画像データと現在表示中の画像データとが一致すれば、その一致画像に対応する前記記憶ステップで記憶した第２言語の文字データを表示中の対応画像に配置して表示させることを特徴とする表示画像キャプチャ翻訳方法。
6. コンピュータに、請求項５の表示画像キャプチャ翻訳方法の各ステップを実行させるためのプログラム。

Images