JP2012058947A - 翻訳装置、翻訳方法、コンピュータプログラムおよび記録媒体 - Google Patents

Abstract

【課題】ユーザの利便性を高めることができるとともに、ページの表示切り替えに合わせてリアルタイムで効果的に原文の翻訳を得ること。
【解決手段】制御部２１が、ユーザによりなされたページの表示切り替え要求を検出し、制御部２１によりページの表示切り替え要求が検出された場合に、翻訳処理部１８が、切り替え後のページに含まれる第１の言語の文字列を第２の言語に翻訳し、表示制御部２０が、翻訳処理部１８により翻訳された翻訳結果を出力する。
【選択図】図１

Description

本発明は、複数のページを含む文書に含まれる第１の言語の文字列を第２の言語に翻訳する翻訳装置、翻訳方法、その翻訳方法を実現するコンピュータプログラム、および、その翻訳方法を実現するコンピュータプログラムを記録したコンピュータが読み取り可能な記録媒体に関する。

近年、商談や学会発表の場でプレゼンテーションソフトウェアを用いてスライドを聴衆に提示しつつ、プレゼンテーションを行うことが一般的になってきている。一般に用いられるプレゼンテーションソフトウェアでは、発表者がコンピュータのキーを押すと、そのたびにスライドのページが切り替えられる。これにより、発表者は、プレゼンテーションの進行に合わせて適切なページを聴衆に提示することができる。

スライドが外国語で作成されている場合には、その外国語を知らない聴衆はスライドの内容を理解することが困難となる。あらかじめスライドの内容を翻訳しておき、翻訳されたスライドの内容を表示することも行われるが、スライドの内容をプレゼンテーションの直前に変更した場合、再度翻訳を行う時間的余裕が無いということもあり得る。

特許文献１には、プレゼンテータが大画面表示装置を使用してプレゼンテーションを行っている最中に、大画面表示装置に表示されているプレゼンテーション資料の翻訳指示を聴衆から受け付け、そのプレゼンテーション資料を翻訳する制御装置が開示されている。

特開平３−１６３５９１号公報

しかしながら、上述した従来技術では、スライドが複数のページからなり、プレゼンテーションの進行に従って大画面表示装置に表示されるページが次々と切り替えられる場合には、聴衆はページが切り替わるたびに翻訳指示を制御装置に与えなければならず、聴衆に煩雑な作業を強いるという問題がある。

また、あらかじめ各ページの内容を翻訳しておくこととした場合、プレゼンテーションの直前に内容が変更されたページについて、再度翻訳処理を行う時間的余裕が無い状況も生じ得る。

本発明は、上記課題に鑑み、ユーザの利便性を高めることができるとともに、ページの表示切り替えに合わせてリアルタイムで効果的に原文の翻訳を得ることができる翻訳装置、翻訳方法、その翻訳方法をコンピュータに実行させることを特徴とするコンピュータプログラム、および、そのコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体を提供することを目的とする。

上記課題を解決する為に、本発明の第１の技術手段は、複数のページを含む文書を表す画像から、該画像に含まれる第１の言語の文字列を第２の言語に翻訳する翻訳装置であって、ユーザによりなされた前記ページの表示切り替え要求を検出する検出部と、前記検出部により前記ページの表示切り替え要求が検出された場合に、切り替え後のページに含まれる第１の言語の文字列を第２の言語に翻訳する翻訳部と、前記翻訳部により翻訳された翻訳結果を出力する出力部と、を備えることを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記翻訳部は、前記出力部により１つのページに含まれる第１の言語の文字列を第２の言語に翻訳した翻訳結果が出力される前に、前記検出部が前記ページの表示切り替え要求を検出した場合に、当該ページに対する翻訳処理を中止し、切り替え後のページに含まれる第１の言語の文字列を第２の言語に翻訳する処理を開始することを特徴としたものである。

本発明の第３の技術手段は、第１または第２の技術手段において、前記翻訳部は、単語あるいは連語単位で、第１の言語の文字列を第２の言語に翻訳することを特徴としたものである。

本発明の第４の技術手段は、第３の技術手段において、第１の言語の単語あるいは連語を構成する文字の位置を検出し、検出した位置の情報に基づいて、第１の言語の単語あるいは連語の表示位置と、第１の言語の単語あるいは連語の翻訳結果である第２の言語の訳語の表示位置との間で位置合わせを行う制御部をさらに備え、前記出力部は、前記制御部による位置合わせの結果に基づいて、前記翻訳部により翻訳された翻訳結果を出力することを特徴としたものである。

本発明の第５の技術手段は、第１〜第４のいずれかの技術手段において、時間経過に伴って画像が変化する領域と、画像が変化しない無変化領域とを含むページから、当該無変化領域を検出する領域検出部をさらに備え、前記翻訳部は、切り替え後のページの無変化領域に含まれる第１の言語の文字列を第２の言語に翻訳することを特徴としたものである。

本発明の第６の技術手段は、第５の技術手段において、前記領域検出部は、前回の無変化領域の検出処理において無変化領域として検出されなかった領域内のみにおいて無変化領域の検出を新たに行い、前記翻訳部は、前記領域検出部により新たに検出された無変化領域に含まれる第１の言語の文字列を第２の言語に翻訳することを特徴としたものである。

本発明の第７の技術手段は、第１〜第６のいずれかの技術手段において、前記検出部がユーザによりなされた前記ページの表示切り替え要求を検出した場合に、連番を付して切り替え前のページを記憶するページ記憶部をさらに備えたことを特徴としたものである。

本発明の第８の技術手段は、複数のページを含む文書を表す画像から、該画像に含まれる第１の言語の文字列を第２の言語に翻訳する翻訳方法であって、ユーザによりなされた前記ページの表示切り替え要求を検出する検出ステップと、前記検出ステップにより前記ページの表示切り替え要求が検出された場合に、切り替え後のページに含まれる第１の言語の文字列を第２の言語に翻訳する翻訳ステップと、を含むことを特徴としたものである。

本発明の第９の技術手段は、上記翻訳方法をコンピュータに実行させることを特徴とするコンピュータプログラムである。

本発明の第１０の技術手段は、上記コンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体である。

本発明によれば、ユーザによりなされたページの表示切り替え要求を検出した場合に、切り替え後のページに含まれる第１の言語の文字列を第２の言語に翻訳し、その翻訳結果を出力するので、ユーザの利便性を高めることができるとともに、ページの切り替えに合わせてリアルタイムで効果的に原文の翻訳を得ることができる。

本発明の実施形態に係る翻訳装置の機能ブロック図である。 訳語の配置の一例について示す図である。 本発明の実施形態に係る翻訳処理のフローチャートである。 本発明の実施形態に係る翻訳処理によるスライドの表示例を示す図である。 図３に示した無変化領域検出処理のフローチャートである。

以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態に係る翻訳装置１０の機能ブロック図である。翻訳装置１０は、入力部１１、表示部１２、ネットワークインターフェース部１３、記憶部１４、表示画像データ取得部１５、無変化領域検出部１６、文字認識部１７、翻訳処理部１８、訳語レイヤ生成部１９、表示制御部２０、制御部２１を備える。各機能部はバス２２を介して互いに接続され、各機能部間でのデータの授受が可能となっている。

入力部１１は、ユーザからの入力を受け付けるマウス、キーボードなどの入力装置であり、ユーザが翻訳装置１０を操作するためのボタン等を備えている。表示部１２は、文字や画像を表示するＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）などの表示装置である。なお、ここでは入力部１１、表示部１２が、翻訳装置１０の本体内に組み込まれていることとしたが、入力部１１、表示部１２が翻訳装置１０の本体と別に設けられ、信号線を介して本体と接続されることとしてもよい。また、入力部１１、表示部１２は、タッチパネルやタブレットにより構成されることとしてもよい。

ネットワークインターフェース部１３は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などのＩＰ（Internet Protocol）ネットワークを介して外部装置と通信を行うネットワークインターフェースである。

記憶部１４は、フラッシュＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）、ＨＤ（Hard Disk）などの記憶装置である。この記憶部１４は、翻訳用辞書データ１４ａ、スライドデータ１４ｂ、認識文字データ１４ｃ、翻訳結果データ１４ｄ、表示画像データ１４ｅなど、翻訳装置１０により用いられる種々のデータを記憶する。

翻訳用辞書データ１４ａは、各言語の文法データ、各構文の出現頻度データとともに、各言語の単語や連語およびそれらの訳語などを含むデータである。スライドデータ１４ｂは、プレゼンテーションの際にプレゼンテーションソフトウェアにより用いられる、複数ページからなるスライドのデータである。認識文字データ１４ｃは、文字認識の結果得られた各文字の種類や位置（各文字を最小面積で囲む矩形領域の右上隅、右下隅、左上隅、左下隅それぞれのＸ座標およびＹ座標）などのデータである。翻訳結果データ１４ｄは、翻訳の結果得られた訳語を原文の単語あるいは連語に対応付けて記憶したデータである。表示画像データ１４ｅは、表示部１２に表示された画像であって、翻訳対象となる文字列を含む画像のデータである。

なお、記憶部１４にはデータを予め記憶させておく必要はない。例えば、外部メモリに記憶されたデータをドライバによって読み出し、記憶部１４に記憶させることとしてもよい。また、ネットワークインターフェース部１３を介して外部装置からデータをダウンロードして記憶部１４に記憶させることとしてもよい。例えば、翻訳装置１０とは別に用意されたプレゼンテーション用のパーソナルコンピュータからデータをダウンロードして、そのデータを記憶部１４に記憶することとしてもよい。

表示画像データ取得部１５は、表示部１２に表示されている画像のデータを取得する処理部である。表示画像データ取得部１５は、例えば、コンピュータの機能で言えばプリントスクリーンに相当する（類する）ような表示画面を取得する手段（プログラム等）を利用して画像のデータを取得する。

無変化領域検出部１６は、表示画像データ取得部１５が異なる時点で取得した画像データを比較し、それらの間で画像の変化がない無変化領域を翻訳対象領域として検出し、画像の変化がある領域はマスクして翻訳対象領域から除外する処理部である。画像の変化がある領域内の文字列は、一時的に表示される文字列である可能性があり、そのような文字列を翻訳することは無駄となるので、画像の変化がなくなるまで文字列の翻訳を行わない。これにより、翻訳装置１０の翻訳処理の負荷が低減される。なお、マウスカーソルのような小さなオブジェクトの移動などを画像の変化として検出しないようにするため、変化した画像領域の面積が予め定めた値以下である場合には、無変化領域検出部１６は、その画像領域を無変化領域とみなし、翻訳対象領域として検出する。

文字認識部１７は、無変化領域検出部１６により検出された無変化領域に含まれる各文字を認識し、文字列データとして出力する処理部である。例えば、文字認識部１７は、ＯＣＲ（Optical Character Recognition）などで従来用いられている文字認識技術と同様の技術を用いて、画像領域内の各文字のレイアウトを解析し、文字領域を抽出し、さらに抽出した文字領域内の各文字の画像を文字認識してテキスト情報に変換する。また、文字認識部１７は、認識された各文字の種類の情報とともに、各文字を最小面積で囲む矩形領域の四隅の座標を記憶部１４に認識文字データ１４ｃとして記憶させる。

翻訳処理部１８は、文字認識部１７により出力された文字列データにより表される第１の言語の文字列を単語や連語単位で第２の言語へ翻訳する処理部である。翻訳処理部１８は、翻訳結果を記憶部１４に翻訳結果データ１４ｄとして記憶する。翻訳処理部１８は、単語や連語単位で翻訳を行うことにより、原文に文字入力の誤りがあった場合や、原文の文字認識に誤りがあった場合でも、文全体の翻訳に影響が及ぶことを防止することができ、翻訳誤りの発生を局所的なものとすることができる。

訳語レイヤ生成部１９は、第１の言語の単語や連語を第２の言語へ翻訳した翻訳結果を表示する訳語レイヤを生成する処理部である。訳語レイヤは、背景が透明であるレイヤであり、この訳語レイヤには、訳語と、原文の連語が不連続連語であることを示す下線とが含まれる。

不連続連語とは、２つ以上の単語が連結し、１つのまとまった意味を示す連語（例えば、名詞句、動詞句、熟語、慣用句など）のうち、単語間に別の単語が含まれるものをいう。例えば、英語の不連続連語として、”take … into consideration”などの熟語が挙げられる。一方、連続連語とは、１つのまとまった意味を示す連語のうち、単語間に別の単語が含まれないものをいう。例えば、英語の連続連語として、”take over”などの熟語が挙げられる。訳語レイヤは、原文を表示する原文レイヤと重ねられ、原文とともに表示される。

訳語レイヤ生成部１９は、原文の単語や連語に近接させて、その単語や連語に対応する訳語が配置された訳語レイヤを生成する。これにより、ユーザは原文とその翻訳結果との間の対応関係の確認を容易に行うことができる。

具体的には、訳語レイヤ生成部１９は、原文に含まれる各行間の距離を計算する。訳語レイヤ生成部１９は、各行の先頭文字の上端および下端のＹ座標を取得し、１つの行の先頭文字の下端から次の行の先頭文字の上端までの距離を算出することにより、各行間の距離を計算する。

また、訳語レイヤ生成部１９は、翻訳処理部１８の処理により得られた訳語を１つ取得し、その訳語が不連続連語の翻訳の結果得られたものであるか否かを調べる。その訳語が不連続連語の翻訳の結果得られたものである場合、訳語レイヤ生成部１９は、透明な訳語レイヤを生成し、原文の不連続連語の下部に相当する訳語レイヤ上の位置に下線を配置する。

さらに、訳語レイヤ生成部１９は、不連続連語に含まれる先頭単語（上記の例では、”take”）、連続単語列（”into consideration”）、最長単語（”consideration”）の長さを比較し、長さが最大であるもの（”into consideration”）を、訳語を近接させて表示する単語または連続単語列として設定する。

訳語が不連続連語の翻訳の結果得られたものでない場合、すなわち、訳語が単語あるいは連続連語の翻訳の結果得られたものである場合、訳語レイヤ生成部１９は、その訳語に対応する原文の単語あるいは連続単語列を、訳語を近接させて表示する単語または連続単語列として設定する。

その後、訳語レイヤ生成部１９は、原文の行間の距離と原文の文字の縦方向の長さとを比較する。そして、訳語レイヤ生成部１９は、行間の距離が文字の縦方向の長さの４０％に満たないときは、訳語を表示するフォントの縦方向の長さを上記文字の縦方向の長さの４０％に、行間の距離が文字の縦方向の長さの８０％を超えるときは、上記フォントの縦方向の長さを上記文字の縦方向の長さの８０％に、行間の距離が文字の縦方向の長さの４０〜８０％であるときは、上記フォントの縦方向の長さを行間の距離と同じ長さに設定する。なお、４０％、８０％とは別の閾値を用いることとしてよい。

さらに、訳語レイヤ生成部１９は、訳語を近接させて表示する単語または連続単語列の最初の文字の左端のＸ座標を、訳語を配置する配置スペースの左端として設定し、訳語を近接させて表示する単語または連続単語列の最後の文字の右端のＸ座標を、上記配置スペースの右端として設定する。そして、訳語レイヤ生成部１９は、配置スペースの横方向の長さ（すなわち、左端と右端との間の距離）を算出する。その一方、訳語レイヤ生成部１９は、訳語の文字数に訳語を表示するフォントの横方向の長さを乗ずることにより、訳語の表示長さを算出する。そして、訳語レイヤ生成部１９は、配置スペースの横方向の長さが訳語の表示長さよりも長いか否かを調べる。

配置スペースの横方向の長さが訳語の表示長さよりも長い場合は、訳語レイヤ生成部１９は、配置スペース内の左端の位置を、訳語の配置を開始する横方向の位置として設定する。また、訳語レイヤ生成部１９は、訳語を近接させて表示する単語または連続単語列に含まれる各文字の下端のＹ座標の平均値を計算し、その平均値からフォントの縦方向の長さ分だけ下方にずらした位置を、訳語を配置する縦方向の位置として設定する。

配置スペースの横方向の長さが訳語の表示長さよりも長くない場合は、訳語レイヤ生成部１９は、訳語の表示長さに対する配置スペースの横方向の長さの割合を訳語のフォントサイズに乗じ、その結果得られる値のフォントサイズで訳語を配置する。

ただし、上記割合が所定の閾値よりも小さい場合は、訳語レイヤ生成部１９は、訳語を近接させて表示する単語または連続単語列の前後に、訳語を配置しない単語（例えば、”a”や”the”など）があるか否かを調べる。そして、訳語レイヤ生成部１９は、訳語を配置しない単語が前方にある場合には、前方にある単語の中心位置から所定の距離だけ後方にずれた位置を、訳語の配置を開始する位置として設定し、その位置から訳語の配置を開始する。訳語レイヤ生成部１９は、訳語を配置しない単語が後方にある場合には、後方にある単語の最後の文字の右端のＸ座標を、訳語の配置が完了する終端位置として設定し、その位置で訳語の配置が完了するよう訳語を後ろにずらして配置する。訳語を配置しない単語が前後にある場合には、訳語レイヤ生成部１９は、上記処理のうちいずれか一方の処理を行う。

さらに、訳語を近接させて表示する単語または連続単語列の前後に訳語を配置しない単語がない場合は、訳語レイヤ生成部１９は、前後の単語に配置される訳語の長さを考慮して、処理対象としている単語または連続単語列の訳語を配置する。

図２は、訳語の配置の一例について示す図である。処理対象としている単語または連続単語列の訳語（この例では、「〜が〜であると認識する」）を配置する場合、訳語レイヤ生成部１９は、まず、前方にある単語（"Graphics”）の横方向の長さ３０から訳語（「図」、「〜が〜であると認識する」、「黄色」）を配置する最小配置間隔を差し引いた長さＬａよりも、前方にある単語の訳語（「図」）の横方向の長さＬｂが短いか否かを調べる。そして、長さＬａよりも長さＬｂが短い場合、図２（Ａ）に示すように、訳語レイヤ生成部１９は、訳語（「〜が〜であると認識する」）を配置する位置をより前方にずらす処理を行う。ここで、最小配置間隔とは、訳語（「図」、「〜が〜であると認識する」、「黄色」）が互いに区別できるように訳語の間に設けられるスペースの横方向の長さの最小値である。

この場合、訳語レイヤ生成部１９は、訳語（「〜が〜であると認識する」）が本来配置されるべき配置スペースの横方向の長さ３２と、原文の行中の単語の間隔３１と、前方にある単語（”Graphics”）の横方向の長さ３０の和から、前方にある単語の訳語（「図」）の横方向の長さＬｂと訳語（「図」、「〜が〜であると認識する」、「黄色」）の最小配置間隔とを差し引いた値Ｌｃが、処理対象としている単語または連続単語列の訳語（「〜が〜であると認識する」）の表示長さの値Ｌｄよりも大きいか否かを判定する。

値Ｌｃが値Ｌｄよりも大きい場合、訳語レイヤ生成部１９は、配置スペースの右端から値Ｌｄだけ左に寄った位置が配置スペースの左端となるよう配置スペースの横方向の長さを修正し、その左端の位置から訳語（「〜が〜であると認識する」）を配置する。値Ｌｃが値Ｌｄよりも大きくない場合、訳語レイヤ生成部１９は、値Ｌｄに対する値Ｌｃの割合を訳語（「〜が〜であると認識する」）のフォントサイズに乗じ、その結果得られる修正されたフォントサイズで訳語（「〜が〜であると認識する」）の表示長さＬｄを再計算する。そして、訳語レイヤ生成部１９は、再計算された訳語（「〜が〜であると認識する」）の表示長さＬｄの分だけ配置スペースの右端から左に寄った位置が配置スペースの左端となるよう配置スペースの横方向の長さを修正し、その左端の位置から修正されたフォントサイズで訳語（「〜が〜であると認識する」）を配置する。

図２（Ｂ）に示すように、長さＬａよりも長さＬｂが短くない場合、訳語レイヤ生成部１９は、後方にある単語（”vermilion”）の横方向の長さ３３から訳語（「エリア」、「〜が〜であると認識する」、「朱色」）の最小配置間隔を差し引いた長さＬｅよりも、後方にある単語の訳語（「朱色」）の横方向の長さＬｆが小さいか否かを調べる。そして、長さＬｅよりも長さＬｆが小さい場合、訳語レイヤ生成部１９は、後方の単語の訳語（「朱色」）を配置する位置をより後方にずらす処理を行う。

この場合、訳語レイヤ生成部１９は、訳語（「〜が〜であると認識する」）が本来配置されるべき配置スペースの横方向の長さ３２と、原文の行中の単語の間隔３１と、後方にある単語（”vermilion”）の横方向の長さ３３の和から、後方にある単語の訳語（「朱色」）の横方向の長さＬｆと訳語（「エリア」、「〜が〜であると認識する」、「朱色」）の最小配置間隔とを差し引いた値Ｌｇが、処理対象としている単語または連続単語列の訳語（「〜が〜であると認識する」）の表示長さの値Ｌｄよりも大きいか否かを判定する。

値Ｌｇが値Ｌｄよりも大きい場合、訳語レイヤ生成部１９は、配置スペースの左端から値Ｌｄだけ右に寄った位置が配置スペースの右端となるよう配置スペースの横方向の長さを修正する。そして、訳語レイヤ生成部１９は、後方にある単語（”vermilion”）の最後の文字（”n”）の右端から、後方にある単語の訳語（「朱色」）の横方向の長さＬｆ分だけ左に寄った位置に、後方にある単語の訳語（「朱色」）の配置を開始する開始位置を設定し、後方にある単語の訳語（「朱色」）をもとの位置から右側にずらして配置する。そして、処理対象としている単語または連続単語列の訳語（「〜が〜であると認識する」）については、訳語レイヤ生成部１９は、横方向の長さが修正された配置スペースの左端から配置する。

値Ｌｇが値Ｌｄよりも大きくない場合、訳語レイヤ生成部１９は、値Ｌｄに対する値Ｌｇの割合を訳語（「〜が〜であると認識する」）のフォントサイズに乗じ、その結果得られる修正されたフォントサイズで訳語（「〜が〜であると認識する」）の表示長さＬｄを再計算する。そして、訳語レイヤ生成部１９は、配置スペースの左端から再計算された値Ｌｄだけ右に寄った位置が配置スペースの右端となるよう配置スペースの横方向の長さを修正する。さらに、訳語レイヤ生成部１９は、後方にある単語（”vermilion”）の最後の文字（”n”）の右端から、後方にある単語の訳語（「朱色」）の横方向の長さＬｆ分だけ左に寄った位置に、後方にある単語の訳語（「朱色」）の配置を開始する開始位置を設定し、後方にある単語の訳語（「朱色」）をもとの位置から右側にずらして配置する。そして、処理対象としている単語または連続単語列の訳語（「〜が〜であると認識する」）については、訳語レイヤ生成部１９は、横方向の長さが修正された配置スペースの左端から修正されたフォントサイズで配置する。

表示制御部２０は、表示部１２が行う情報の表示を制御する処理部である。表示制御部２０は、入力部１１がユーザからスライドのページの表示切り替え要求を受け付けた場合に、次のページを表示部１２に表示させる処理を行う。また、表示制御部２０は、訳語レイヤ生成部１９が生成した訳語レイヤを原文レイヤに重ね、原文レイヤに含まれる原文の単語や連語とそれらの翻訳結果とを対応付けて表示部１２に表示させる処理などを行う。

制御部２１は、翻訳装置１０を全体制御する処理部である。制御部２１は、各機能部間のデータの授受等を司る。また、制御部２１は、ユーザが複数のページからなるスライドを用いてプレゼンテーションを行っている場合に、表示部１２に表示されているページの切り替え要求を入力部１１がユーザから受け付けたか否かを判定する。そして、制御部２１は、表示部１２に表示されているページの翻訳結果が表示部１２に表示される前に、ページの切り替え要求を入力部１１が受け付けた場合には、そのページの切り替え要求の受け付けと同期させて、無変化領域検出部１６、文字認識部１７、翻訳処理部１８、訳語レイヤ生成部１９、表示制御部２０に対して、現在表示されているページの翻訳処理あるいは翻訳結果の表示処理を中止するよう指示し、併せて表示画像データ取得部１５に対して、表示部１２に表示される切り替え後のページの画像データを取得するよう指示する処理を行う。

このようにして、制御部２１が取得した切り替え後の画像データに対して翻訳処理および翻訳結果の表示処理を行うことにより、ページが切り替わっているにもかかわらず前のページの訳語を表示して、原文と訳語に齟齬が生じてしまうような事態を防止することができる。また、無駄な翻訳処理や表示処理を中止することにより、翻訳装置１０の負荷を軽減し、進行中のプレゼンテーションの表示画面に追従したリアルタイムの翻訳処理をよりスムーズに行うことができる。

さらに、制御部２１は、ページの切り替え要求を入力部１１が受け付けたことを検出した後、表示画像データ取得部１５により取得された順番に連番を付して各画像データを記憶部１４に表示画像データ１４ｅとして記憶させる。この画像データを用いることにより、各ページの翻訳処理および表示処理を後でまとめて行うことができる。なお、各ページの翻訳を後でまとめて行う必要がない場合は、制御部２１は、切り替え前のページの画像データを破棄することとしてもよい。

次に、本発明の実施形態に係る翻訳処理について説明する。図３は、本実施形態に係る翻訳処理のフローチャートである。図３のフローチャートでは、スライドの初めのページの画像がすでに表示部１２に表示されているものとする。図３に示すように、翻訳装置１０の表示画像データ取得部１５は、表示部１２に表示されている画像の画像データを取得する（ステップＳ１０１）。そして、制御部２１は、入力部１１がユーザからスライドのページの表示切り替え要求を受け付けたか否かを調べる（ステップＳ１０２）。

入力部１１がページの表示切り替え要求を受け付けた場合（ステップＳ１０２においてＹＥＳの場合）、制御部２１は、表示画像データ取得部１５により取得された順番に連番をつけて切り替え前のページの画像データを記憶部１４に記憶する（ステップＳ１１６）。その後、表示制御部２０は、次のページを表示部１２に表示させる（ステップＳ１１７）。そして、表示画像データ取得部１５は、切り替え後のページの画像データを取得し（ステップＳ１１８）、取得した画像データに対してステップＳ１０２以降の処理を継続する。

入力部１１がページの表示切り替え要求を受け付けていない場合（ステップＳ１０２においてＮＯの場合）、無変化領域検出部１６は、スライドのページの表示画像において画像が変化しない無変化領域を翻訳対象の文字列を含む領域として検出する（ステップＳ１０３）。例えば、スライドのページに動画を表示する領域がある場合には、無変化領域検出部１６は、その領域を除外し、その領域以外の画像が変化しない無変化領域を翻訳対象の文字列を含む領域として検出する。この検出処理については後に詳しく説明する。

その後、制御部２１は、入力部１１がユーザからページの表示切り替え要求を受け付けたか否かを再度調べる（ステップＳ１０４）。入力部１１がページの表示切り替え要求を受け付けた場合（ステップＳ１０４においてＹＥＳの場合）、制御部２１は、表示画像データ取得部１５により取得された順番に連番をつけて切り替え前のページの画像データを記憶部１４に記憶し（ステップＳ１１６）、ステップＳ１１７以降の処理を継続する。

入力部１１がページの表示切り替え要求を受け付けていない場合（ステップＳ１０４においてＮＯの場合）、文字認識部１７は、無変化領域に含まれる文字に対して文字認識を行い、認識した文字をテキストデータとして出力する（ステップＳ１０５）。そして、制御部２１は、入力部１１がユーザからページの表示切り替え要求を受け付けたか否かを再度調べる（ステップＳ１０６）。入力部１１がページの表示切り替え要求を受け付けた場合（ステップＳ１０６においてＹＥＳの場合）、制御部２１は、表示画像データ取得部１５により取得された順番に連番をつけて切り替え前のページの画像データを記憶部１４に記憶し（ステップＳ１１６）、ステップＳ１１７以降の処理を継続する。

入力部１１がページの表示切り替え要求を受け付けていない場合（ステップＳ１０６においてＮＯの場合）、翻訳処理部１８は、文字認識部１７により出力されたテキストデータに対して翻訳処理を行う（ステップＳ１０７）。その後、制御部２１は、入力部１１がユーザからページの表示切り替え要求を受け付けたか否かを再度調べる（ステップＳ１０８）。入力部１１がページの表示切り替え要求を受け付けた場合（ステップＳ１０８においてＹＥＳの場合）、制御部２１は、表示画像データ取得部１５により取得された順番に連番をつけて切り替え前のページの画像データを記憶部１４に記憶し（ステップＳ１１６）、ステップＳ１１７以降の処理を継続する。

入力部１１がページの表示切り替え要求を受け付けていない場合（ステップＳ１０８においてＮＯの場合）、訳語レイヤ生成部１９は、原文の単語や連語と対応付けて訳語を配置した訳語レイヤを生成する（ステップＳ１０９）。その後、制御部２１は、入力部１１がユーザからページの表示切り替え要求を受け付けたか否かを再度調べる（ステップＳ１１０）。入力部１１がページの表示切り替え要求を受け付けた場合（ステップＳ１１０においてＹＥＳの場合）、制御部２１は、表示画像データ取得部１５により取得された順番に連番をつけて切り替え前のページの画像データを記憶部１４に記憶し（ステップＳ１１６）、ステップＳ１１７以降の処理を継続する。

入力部１１がページの表示切り替え要求を受け付けていない場合（ステップＳ１１０においてＮＯの場合）、表示制御部２０は、原文レイヤに訳語レイヤを重ねることにより、原文の単語や連語と対応付けて訳語を表示部１２に表示させる（ステップＳ１１１）。

その後、制御部２１は、入力部１１がユーザからページの表示切り替え要求を受け付けたか否かを再度調べる（ステップＳ１１２）。入力部１１がページの表示切り替え要求を受け付けた場合（ステップＳ１１２においてＹＥＳの場合）、制御部２１は、表示画像データ取得部１５により取得された順番に連番をつけて切り替え前のページの画像データを記憶部１４に記憶し（ステップＳ１１６）、ステップＳ１１７以降の処理を継続する。

入力部１１がページの表示切り替え要求を受け付けていない場合（ステップＳ１１２においてＮＯの場合）、制御部２１は、入力部１１がユーザから翻訳処理を終了する要求を受け付けたか否かを調べる（ステップＳ１１３）。入力部１１が翻訳処理を終了する要求を受け付けていない場合（ステップＳ１１３においてＮＯの場合）、表示画像データ取得部１５は、同一のページについてすでに無変化領域として検出している領域以外の領域から無変化領域を検出するために同一のページの画像データを再度取得するが、その際一定時間待機して画像データの取得間隔を一定にする（ステップＳ１１５）。

そして、表示画像データ取得部１５は、表示部１２に表示されている画像の画像データを再度取得し（ステップＳ１０１）、取得された画像データに対してステップＳ１０２以降の処理が実施される。入力部１１が翻訳処理を終了する要求を受け付けた場合（ステップＳ１１３においてＹＥＳの場合）、制御部２１は、表示画像データ取得部１５により取得された順番に連番をつけて最後に取得されたページの画像データを記憶部１４に記憶し（ステップＳ１１４）、この翻訳処理を終了する。

図４は、本発明の実施形態に係る翻訳処理によるスライド３０の表示例を示す図である。図４に示すスライド４０には、画像が時間とともに変化する動画領域４１と、画像が時間とともに変化しない動画領域４１以外の無変化領域が示されている。例えば、この動画領域４１では、時計の絵と”TIME LIMIT”の文字とが時間とともに次第に消え去り、再度表示されるなどの画像の変化が生じているものとする。このような場合に、本発明の実施形態に係る翻訳処理を適用すると、動画領域４１内の文字列”TIME LIMIT”は翻訳されず、動画領域４１以外の無変化領域内の文字列（"TIME LIMIT”、”We should take the time limit into consideration!”）のみが翻訳される。また、無変化領域内の文字列の翻訳結果の出力が終わらないうちに、ユーザからスライド４０のページの表示切り替え要求を受け付けた場合は、そのページに対する翻訳処理あるいは翻訳結果の出力処理を中止し、次に表示されるページの翻訳処理および出力処理が開始される。

次に、図３に示した無変化領域検出処理（ステップＳ１０３）について詳しく説明する。図５は、図３に示した無変化領域検出処理のフローチャートである。図５に示すように、翻訳装置１０の無変化領域検出部１６は、表示画像データ取得部１５によりなされた同一ページに対する画像データの取得処理が、１回目のものであるか否かを調べる（ステップＳ２０１）。

同一ページに対する画像データの取得が１回目である場合（ステップＳ２０１においてＹＥＳの場合）、表示画像データ取得部１５は、一定時間待機し（ステップＳ２０２）、表示部１２に表示されている同一ページの画像データを再度取得する（ステップＳ２０３）。その後、無変化領域検出部１６は、１回目に取得された画像データと２回目に取得された画像データを比較し、それらの画像データ間で画像が変化していない無変化領域を検出し、変化した画像領域はマスクする（ステップＳ２０４）。そして、無変化領域検出部１６は、検出された無変化領域を翻訳対象の文字を含む領域として設定する（ステップＳ２０６）。

ここで、無変化領域検出部１６は、座標を指定することにより無変化領域を設定することができる。あるいは、無変化領域検出部１６は、画像が変化している領域を座標で指定するか、あるいは特定の色で塗りつぶしてマスクし、それ以外の無変化領域を翻訳対象の文字を含む領域として選択することにより、無変化領域を設定することができる。

同一ページに対する画像データの取得が１回目でない場合（ステップＳ２０１においてＮＯの場合）、無変化領域検出部１６は、前回（ｊ−１回目。ただし、ｊ≧３）検出した無変化領域以外の領域内で、前回（ｊ−１回目）取得した画像と今回（ｊ回目）取得した画像とを比較し、無変化領域を再度検出する（ステップＳ２０５）。そして、無変化領域検出部１６は、検出された無変化領域を翻訳対象の文字を含む領域として設定する（ステップＳ２０６）。

前回（ｊ−１回目）検出された無変化領域に含まれる文字については、すでに翻訳処理部１８が翻訳を行っており、翻訳結果を記憶部１４に翻訳結果データ１４ｄとして記憶している。よって、訳語レイヤ生成部１９は、今回（ｊ回目）検出した無変化領域に含まれる文字列の翻訳結果と、前回（ｊ−１回目）検出した無変化領域に含まれる文字列の翻訳結果とから訳語レイヤを作成する。このように、過去に翻訳がなされていない無変化領域に含まれる文字列のみを翻訳の対象とし、過去に翻訳がなされている無変化領域内の文字列を翻訳処理の対象から除外することにより、翻訳装置１０が行う翻訳処理の負荷を低減することができる。

なお、図５のステップＳ２０５では、無変化領域を検出する範囲を、前回検出した無変化領域以外の領域内に限定することとしたが、画像のすべての領域内から無変化領域を検出することとしてもよい。これにより、前回の無変化領域検出時に無変化であった画像がその後変化して、その画像に含まれる文字列が更新され、その後再度画像が無変化となった場合でも、更新された文字列の訳語を適切に得ることができる。

これまで翻訳装置１０および翻訳方法の実施形態を中心に説明を行ったが、本発明はこれらの実施形態に限定されるものではなく、翻訳装置１０の機能を実現するためのコンピュータプログラムとしての形態、あるいは、当該コンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体の形態として本発明が実施されることとしてもよい。

ここで、記録媒体としては、ディスク系（例えば、磁気ディスク、光ディスク等）、カード系（例えば、メモリカード、光カード等）、半導体メモリ系（例えば、ＲＯＭ、不揮発性メモリ等）、テープ系（例えば、磁気テープ、カセットテープ等）等、さまざまな形態のものを採用することができる。

これら記録媒体に上述した本実施形態の翻訳装置１０の機能を実現させるコンピュータプログラム、または、翻訳方法をコンピュータに実行させるコンピュータプログラムを記録して流通させることにより、コストの低廉化、及び可搬性や汎用性を向上させることができる。

そして、コンピュータに上記記録媒体を装着し、コンピュータにより記録媒体に記録されたコンピュータプログラムを読み出してメモリに格納し、コンピュータが備えるプロセッサ（CPU：Central Processing Unit、MPU：Micro Processing Unit）が当該コンピュータプログラムをメモリから読み出して実行することにより、本実施形態に係る翻訳装置１０の機能を実現し、翻訳方法を実行することができる。

また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。例えば、上記実施形態では、ユーザが複数のページからなるスライドを切り替えつつ、プレゼンテーションを行う場合について説明したが、本発明の適用範囲はこれに限定されるものではなく、スライド以外の他の文書についてページを切り替えつつ、各ページの翻訳を行う場合にも本発明を適用することができる。

１０…翻訳装置、１１…入力部、１２…表示部、１３…ネットワークインターフェース部、１４…記憶部、１４ａ…翻訳用辞書データ、１４ｂ…スライドデータ、１４ｃ…認識文字データ、１４ｄ…翻訳結果データ、１４ｅ…表示画像データ、１５…表示画像データ取得部、１６…無変化領域検出部、１７…文字認識部、１８…翻訳処理部、１９…訳語レイヤ生成部、２０…表示制御部、２１…制御部、２２…バス、３０〜３３…長さ、４０…スライド、４１…動画領域。

Claims (10)

1. 複数のページを含む文書を表す画像から、該画像に含まれる第１の言語の文字列を第２の言語に翻訳する翻訳装置であって、
   ユーザによりなされた前記ページの表示切り替え要求を検出する検出部と、
   前記検出部により前記ページの表示切り替え要求が検出された場合に、切り替え後のページに含まれる第１の言語の文字列を第２の言語に翻訳する翻訳部と、
   前記翻訳部により翻訳された翻訳結果を出力する出力部と、
   を備えることを特徴とする翻訳装置。
2. 前記翻訳部は、前記出力部により１つのページに含まれる第１の言語の文字列を第２の言語に翻訳した翻訳結果が出力される前に、前記検出部が前記ページの表示切り替え要求を検出した場合に、当該ページに対する翻訳処理を中止し、切り替え後のページに含まれる第１の言語の文字列を第２の言語に翻訳する処理を開始することを特徴とする請求項１に記載の翻訳装置。
3. 前記翻訳部は、単語あるいは連語単位で、第１の言語の文字列を第２の言語に翻訳することを特徴とする請求項１または２に記載の翻訳装置。
4. 第１の言語の単語あるいは連語を構成する文字の位置を検出し、検出した位置の情報に基づいて、第１の言語の単語あるいは連語の表示位置と、第１の言語の単語あるいは連語の翻訳結果である第２の言語の訳語の表示位置との間で位置合わせを行う制御部をさらに備え、前記出力部は、前記制御部による位置合わせの結果に基づいて、前記翻訳部により翻訳された翻訳結果を出力することを特徴とする請求項３に記載の翻訳装置。
5. 時間経過に伴って画像が変化する領域と、画像が変化しない無変化領域とを含むページから、当該無変化領域を検出する領域検出部をさらに備え、前記翻訳部は、切り替え後のページの無変化領域に含まれる第１の言語の文字列を第２の言語に翻訳することを特徴とする請求項１〜４のいずれか１項に記載の翻訳装置。
6. 前記領域検出部は、前回の無変化領域の検出処理において無変化領域として検出されなかった領域内のみにおいて無変化領域の検出を新たに行い、前記翻訳部は、前記領域検出部により新たに検出された無変化領域に含まれる第１の言語の文字列を第２の言語に翻訳することを特徴とする請求項５に記載の翻訳装置。
7. 前記検出部がユーザによりなされた前記ページの表示切り替え要求を検出した場合に、連番を付して切り替え前のページを記憶するページ記憶部をさらに備えたことを特徴とする請求項１〜６のいずれか１項に記載の翻訳装置。
8. 複数のページを含む文書を表す画像から、該画像に含まれる第１の言語の文字列を第２の言語に翻訳する翻訳方法であって、
   ユーザによりなされた前記ページの表示切り替え要求を検出する検出ステップと、
   前記検出ステップにより前記ページの表示切り替え要求が検出された場合に、切り替え後のページに含まれる第１の言語の文字列を第２の言語に翻訳する翻訳ステップと、
   を含むことを特徴とする翻訳方法。
9. 請求項８に記載の翻訳方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。

Images