JP2005267380A - 表示文字翻訳装置及びコンピュータプログラム - Google Patents

Abstract

【課題】 使用者の注視点を検出しつつ、表示画面上の文字と認識すべき対象物が映っている領域を容易に特定することができ、認識文字を正確に翻訳することが可能な表示文字翻訳装置及びコンピュータプログラムを提供する。
【解決手段】 使用者の顔面に対して照射した赤外線光の反射光に基づいて使用者の眼球の位置を特定し、該眼球の位置に基づいて使用者の表示画面上の注視点位置を検出し、検出した注視点位置に表示されている表示文字と文字パターン辞書とを照合し、一又は複数の認識候補文字を抽出し、抽出した一又は複数の認識候補文字と翻訳辞書とを照合して翻訳結果を表示出力する。認識候補文字については翻訳前の言語の読みで音声出力する。
【選択図】 図４

Description

本発明は、撮影された画像に映っている文字を、使用者の注視点に応じて文字認識し、認識した文字について翻訳して画面上に表示する表示文字翻訳装置及びコンピュータプログラムに関する。

従来、画面上に表示された画像に映っている文字を認識するためには、使用者が、表示されている画面から文字と認識すべき対象物が映っている領域を特定し、特定した領域内に表示されている対象物を辞書に登録してある文字パターンと照合することにより、認識文字を特定していた。したがって、文字と認識すべく対象物を含む領域を使用者がマウス、タブレット等のデバイスを介して特定する必要があり、文字認識を即時的に行うことができなかった。

また、文字の存在を認識した場合であっても、認識した文字が使用者にとって馴染みのない言語である場合、辞書を用いるために必要な情報である読み、特徴（例えば漢字の辺や作り等）を抽出することができず、文字の意味を知ることは困難であった。

斯かる課題に対応すべく、使用者の注視点を検出することで、文字認識を行う対象物を特定し、文字認識処理を行う文字認識装置が多々開発されている。例えば、眼球の位置の検出装置をカメラのファインダーなどに固定し、眼球に赤外光等を照射し視線方向を得ることにより注視点を検出し、注視点に基づいて文字認識の対象を特定しようというものである。

また、文字パターンを登録する辞書に、文字の意味情報を登録した辞書を連携させ、文字認識を終了した時点で、認識文字の意味を検出することができる表示文字翻訳装置も開発されている。

しかし、上述した方法では、使用者の注視点を検出することはできるものの、使用者の体が固定されない限り注視点を特定することは困難であり、特に変動しやすい頭部の動きに連動する注視点に対して、文字と認識すべき対象物が映っている画像と連携させることが困難となり、実用化の観点から問題があった。

すなわち、オフィス、家庭等における通常の作業環境では、使用者は多種多様な姿勢で作業を行う。したがって、斯かる姿勢それぞれに対応した眼球位置の特定は困難であることから、注視点を定めること、すなわち表示画面上のどこを注視しているのか特定することが困難となる。

また、ヘルメット型のセンサを装着することで、眼球位置の移動の相対位置を制限することはできるが、表示画面を見ながら何らかの操作を行う場合、必ずしも表示画面を正視しているとは限らず、頭の位置が常時ゆれ動き、位置を特定することができないという問題点もあった。

本発明は斯かる事情に鑑みてなされたものであり、使用者の注視点を検出しつつ、表示画面上の文字と認識すべき対象物を容易に特定することができ、認識文字を正確に翻訳することが可能な表示文字翻訳装置及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る表示文字翻訳装置は、使用者による表示画面上の注視点に存在する表示文字を文字パターン辞書と照合して文字認識し、認識した文字を翻訳辞書と照合して翻訳結果を出力することを特徴とする。

第１発明に係る表示文字翻訳装置では、使用者による表示画面上の注視点に存在する表示文字を検出し、検出した表示文字を文字パターン辞書と照合して文字認識し、認識した文字を翻訳辞書と照合することにより翻訳結果を出力する。これにより、使用者が表示画面上の所定の位置に表示されている文字を注視した場合、表示文字につき文字認識することで、略即時的に使用者が注視した表示文字を認識することができるとともに、認識した文字に対する翻訳結果を出力することが可能となる。

また、第２発明に係る表示文字翻訳装置は、使用者の顔面に対して照射した赤外線光の反射光に基づいて前記使用者の眼球の位置を特定し、該眼球の位置に基づいて前記使用者の表示画面上の注視点位置を検出する注視点位置検出手段と、該注視点位置検出手段で検出した注視点位置に表示されている表示文字と文字パターン辞書とを照合し、一又は複数の認識候補文字を抽出する認識候補文字抽出手段と、該認識候補文字抽出手段で抽出した一又は複数の認識候補文字と翻訳辞書とを照合して翻訳結果を出力する翻訳結果出力手段と、該翻訳結果出力手段で出力した翻訳結果を表示する文字表示手段とを備えることを特徴とする。

第２発明に係る表示文字翻訳装置では、使用者の顔面に対して照射した赤外線光の反射光に基づいて使用者の眼球の位置を特定し、該眼球の位置に基づいて使用者の表示画面上の注視点位置を検出し、検出した注視点位置に表示されている表示文字と文字パターン辞書とを照合し、一又は複数の認識候補文字を抽出し、抽出した一又は複数の認識候補文字と翻訳辞書とを照合して翻訳結果を表示する。これにより、使用者の頭の動きに伴って使用者の眼球の位置が少々動いた場合であっても、表示画面上の注視点位置は大きく変動することなく表示文字を特定することができ、注視点位置に表示されている文字を文字認識するとともに、認識した文字に対する翻訳結果を表示出力することで、使用者の注視点に対応する位置に表示されている表示文字に対して略即時的に文字認識処理及び翻訳処理を行うことが可能となる。

また、第３発明に係る表示文字翻訳装置は、第２発明において、前記注視点位置検出手段は、第１の方向に関する眼球の位置を表す第１の位置情報と、前記第１の方向と異なる第２の方向に関する眼球の位置を表す第２の位置情報とを用いて前記使用者の注視点位置を特定すべくなしてあることを特徴とする。

第３発明に係る表示文字翻訳装置では、第１の方向に関する眼球の位置を表す第１の位置情報と、第１の方向と異なる第２の方向に関する眼球の位置を表す第２の位置情報とを用いて使用者の注視点位置を特定している。これにより、複数の方向から眼球の位置を特定することができ、例えば表示画像の上下方向及び左右方向に対応した眼球の位置をより正確に特定することにより、使用者の注視点をより正確に特定することが可能となる。

また、第４発明に係る表示文字翻訳装置は、第２又は第３発明において、前記認識候補文字抽出手段で抽出した一又は複数の認識候補文字を読み上げた音声を出力する音声出力手段を備えることを特徴とする。

第４発明に係る表示文字翻訳装置では、翻訳結果を表示出力するだけでなく、合成音声等により一又は複数の認識候補文字を読み上げた音声を出力する。これにより、使用者は、未知の言語表記が画面に表示されている場合であっても、その読み方について知ることが可能となる。

また、第５発明に係るコンピュータプログラムは、使用者による表示画面上の注視点に存在する表示文字を文字パターン辞書と照合して文字認識するステップと、認識した文字を翻訳辞書と照合して翻訳結果を出力するステップとを含むことを特徴とする。

第５発明に係るコンピュータプログラムでは、使用者による表示画面上の注視点に存在する表示文字を検出し、検出した表示文字を文字パターン辞書と照合して文字認識し、認識した文字を翻訳辞書と照合することにより翻訳結果を出力する。これにより、使用者が表示画面上の所定の位置に表示されている文字を注視した場合、表示文字につき文字認識することで、略即時的に使用者が注視した表示文字を認識することができるとともに、認識した文字に対する翻訳結果を出力することが可能となる。

また、第６発明に係るコンピュータプログラムは、使用者の顔面に対して照射した赤外線光の反射光に基づいて前記使用者の眼球の位置を特定し、該眼球の位置に基づいて前記使用者の表示画面上の注視点位置を検出する注視点位置検出ステップと、該注視点位置検出ステップで検出した注視点位置に表示されている表示文字と文字パターン辞書とを照合し、一又は複数の認識候補文字を抽出する認識候補文字抽出ステップと、該認識候補文字抽出ステップで抽出した一又は複数の認識候補文字と翻訳辞書とを照合して翻訳結果を出力する翻訳結果出力ステップと、該翻訳結果出力ステップで出力した翻訳結果を表示する文字表示ステップとを含むことを特徴とする。

第６発明に係るコンピュータプログラムでは、使用者の顔面に対して照射した赤外線光の反射光に基づいて使用者の眼球の位置を特定し、該眼球の位置に基づいて使用者の表示画面上の注視点位置を検出し、検出した注視点位置に表示されている表示文字と文字パターン辞書とを照合し、一又は複数の認識候補文字を抽出し、抽出した一又は複数の認識候補文字と翻訳辞書とを照合して翻訳結果を表示する。これにより、使用者の頭の動きに伴って使用者の眼球の位置が少々動いた場合であっても、表示画面上の注視点位置は大きく変動することなく表示文字を特定することができ、注視点位置に表示されている文字を文字認識するとともに、認識した文字に対する翻訳結果を表示出力することで、使用者の注視点に対応する位置に表示されている表示文字に対して略即時的に文字認識処理及び翻訳処理を行うことが可能となる。

また、第７発明に係るコンピュータプログラムは、第６発明において、前記注視点位置検出ステップは、第１の方向に関する眼球の位置を表す第１の位置情報と、前記第１の方向と異なる第２の方向に関する眼球の位置を表す第２の位置情報とを用いて前記使用者の注視点位置を特定すべくなしてあることを特徴とする。

第７発明に係るコンピュータプログラムでは、第１の方向に関する眼球の位置を表す第１の位置情報と、第１の方向と異なる第２の方向に関する眼球の位置を表す第２の位置情報とを用いて使用者の注視点位置を特定している。これにより、複数の方向から眼球の位置を特定することができ、例えば表示画像の上下方向及び左右方向に対応した眼球の位置をより正確に特定することにより、使用者の注視点をより正確に特定することが可能となる。

第１発明及び第５発明によれば、使用者が表示画面上の所定の位置に表示されている文字を注視した場合、表示文字につき文字認識することで、略即時的に使用者が注視した表示文字を認識することができるとともに、認識した文字に対する翻訳結果を出力することが可能となる。

第２発明及び第６発明によれば、使用者の頭の動きに伴って使用者の眼球の位置が少々動いた場合であっても、表示画面上の注視点位置は大きく変動することなく表示文字を特定することができ、注視点位置に表示されている文字を文字認識するとともに、認識した文字に対する翻訳結果を表示出力することで、使用者の注視点に対応する位置に表示されている表示文字に対して略即時的に文字認識処理及び翻訳処理を行うことが可能となる。

第３発明及び第７発明によれば、複数の方向から眼球の位置を特定することができ、例えば表示画像の上下方向及び左右方向に対応した眼球の位置をより正確に特定することにより、使用者の注視点をより正確に特定することが可能となる。

第４発明によれば、使用者は、使用者は、未知の言語表記が画面に表示されている場合であっても、その読み方について知ることが可能となる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。図１は、本発明の実施の形態に係る表示文字翻訳装置を構成するコンピュータの構成を示すブロック図である。図１で、１は表示文字翻訳装置であり、少なくとも、ＣＰＵ（中央演算装置）１１、ＲＯＭ１２、ＲＡＭ１３、記憶手段１４、外部の通信手段と接続する通信インタフェース１５、マウス、キーボード等と接続する入力手段１６、スチルカメラ、ビデオカメラ等の撮像装置２、３と接続する画像取得手段１７、使用者の眼球の位置を特定すべく使用者の顔の近傍を撮影するカメラと接続するＬＣＤ、モニタ等の表示装置１８１又はスピーカ等の音声出力装置１８２と接続する出力手段１８で構成される。

ＣＰＵ１１は、バス１９を介して表示文字翻訳装置１のハードウェア各部を制御すると共に、ＲＯＭ１２に記憶されたコンピュータプログラムに従って、種々のソフトウェア的機能を実行する。

ＲＯＭ１２は、表示文字翻訳装置１の動作に必要な種々のコンピュータプログラムを予め記憶している。ＲＡＭ１３は、ＳＲＡＭ、ＤＲＡＭ等を用いて構成され、コンピュータプログラムの実行時に発生する一時的なデータを記憶する。例えば、累計カウンタとして印刷枚数の累計値を記憶する。

記憶手段１４は、ハードディスクに代表される固定型記録媒体、又はＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体であり、実行するプログラムの他、文字パターンを登録してある文字パターン辞書１４１、及び認識文字を所定の言語に翻訳する翻訳用辞書１４２を記憶してある。なお、上述した辞書が記憶されているのは、記憶手段１４に限定されるものではなく、ＣＰＵ１１がアクセス可能でありさえすれば良く、例えばネットワークを介して接続されている他のコンピュータ上の記憶手段であってもよい。

通信インタフェース１５は、外部の通信手段と接続し、必要な情報を送受信する。例えばネットワークを介して接続されている他のコンピュータ上の記憶手段に、文字パターンを登録してある文字パターン辞書、及び認識文字を所定の言語に翻訳する翻訳用辞書等が記憶されている場合、これらを照会するキー情報を送信して、照会結果に関する情報を受信する。

入力手段１６は、表示文字翻訳装置１を操作するために必要な情報をマウス、キーボード等を介して入力する。

画像取得手段１７は、スチルカメラ、ビデオカメラ等からなる撮像装置２、３と接続してあり、撮像装置２からは翻訳対象を含む画像を取得し、撮像装置３からは使用者の眼球の位置を特定すべく使用者の顔の近傍を撮影した画像を取得する。

出力手段１８は、表示装置１８１又はスピーカ等の音声出力装置１８２からなる。表示装置１８１は、液晶表示装置、ＣＲＴディスプレイ等の表示装置であり、撮像装置２から取得した翻訳対象を含む画像の表示、翻訳対象となる文字を認識し翻訳した翻訳結果の表示等を行う。音声出力装置１８２は、翻訳結果を読み上げた音声等を出力する。

図２は、撮像装置３の構成例を示すブロック図である。撮像装置３は、赤外線を検出すべく構成されており、少なくとも発光タイミング指定部３１、赤外線発光部３２、広範囲撮像用センサ３３、眼球撮像部３４からなる。

撮像装置３は、表示文字翻訳装置１とデータ送受信することにより、使用者の注視点を特定する注視点位置検出手段として機能する。すなわち、発光タイミング指定部３１及び赤外線発光部３２は、使用者の顔に対して所定の赤外線を発光照射する。照射された赤外線に基づいて、広範囲撮像用センサ３３が、顔全体及びその周りを撮像するとともに距離を測定する。

具体的には、広範囲撮像用センサ３３は、発光タイミング指定部３１からの指示に基づいて、赤外線発光部３２が周期的（少なくとも３０Ｈｚ以上）に発する赤外線の反射光を測定し、使用者の顔に関する濃淡画像を生成するとともに、発光時点からピーク点を受光するまでの時間を測定し、濃淡画像及びピーク点受光時間を、表示文字翻訳装置１へ送信する。

表示文字翻訳装置１は、受信した濃淡画像及びピーク点受光時間に基づいて眼球の位置を算出し、眼球撮像部３４に対して、眼球の存在する位置を撮像するよう駆動指示信号を送信する。図３は、眼球撮像部３４の構成例を示すブロック図である。眼球撮像部３４は、左右両眼に対応する２系統の駆動部３４１、追尾用ミラー３４２、３４２、２系統の光軸を１つの光軸とするための複数のミラー及びハーフミラー、及び狭範囲撮像用センサ３４３からなる。

眼球撮像部３４は、駆動部３４１で表示文字翻訳装置１からの駆動指示信号を受信する。駆動部３４１は、追尾用ミラー３４２を使用者の眼球に向けるよう駆動し、狭範囲撮像用センサ３４３は、追尾用ミラー３４２により導かれた反射波に基づいて使用者の眼球に関する精密な濃淡画像を生成し、表示文字翻訳装置１へ送信する。

表示文字翻訳装置１は、使用者の眼球に関する精密な濃淡画像を受信し、ＣＰＵ１１は受信した濃淡画像に対する解析処理を行って、使用者の注視点位置を検出する。これにより、表示画面のどこを使用者が注視しているのか検出することが可能となる。なお、本実施の形態では、左右両眼に対応する構成について説明しているが、機構の簡素化を図るべく、左右いずれかに対応する構成であってもよい。

上述した構成の表示文字翻訳装置１の動作について説明する。図４は、本発明の実施の形態に係る表示文字翻訳装置１のＣＰＵ１１の処理手順を示すフローチャートである。表示文字翻訳装置１のＣＰＵ１１は、撮像装置２で撮影した撮影画像から文字領域を抽出する（ステップＳ４０１）。そして、上述した処理を用いてＣＰＵ１１は、使用者による表示画面上の注視点位置を検出する（ステップＳ４０２）。

次に、ＣＰＵ１１は、注視点位置に基づいて、抽出した文字領域に含まれる表示文字について、文字パターン辞書１４１に登録されている文字パターン画像と照合し（ステップＳ４０３）、一又は複数の認識候補文字を抽出して、抽出した認識候補文字毎に評価値を算出する（ステップＳ４０４）。

ＣＰＵ１１は、一又は複数の認識候補文字毎に算出した評価値が最も大きいか否かを判断し（ステップＳ４０５）、ＣＰＵ１１が、評価値が最も大きいと判断した認識候補文字を認識結果として抽出して（ステップＳ４０６）、単語単位で翻訳用辞書１４２と照合する（ステップＳ４０７）。ＣＰＵ１１は、単語単位での翻訳結果を、認識結果とともに表示装置１８１へ表示出力する（ステップＳ４０８）。

図５は、表示装置１８１での表示画面の具体例を示す図である。図５では、文字領域５１として、表示画像上に所定の矩形領域を抽出している。使用者は、上下方向のスクロールバー５２、左右方向のスクロールバー５３を操作して、翻訳対象となる画像が表示されている部分を文字領域５１へ移動する。図６は、上下方向のスクロールバー５２、左右方向のスクロールバー５３を操作して、翻訳対象となる画像が表示されている部分を文字領域５１へ移動した状態を示す図である。図６に示す状態で、使用者の注視点の存在位置を検出して、注視点が文字領域５１内に存在するか否かを判別する。

注視点が文字領域５１内に存在すると判別した場合、該文字領域に含まれる画像について、文字パターン辞書１４１に登録されている文字パターン画像と照合し、一又は複数の認識候補文字を抽出して、評価値が最も大きい認識候補文字を認識結果として結果表示領域５４に表示する。また、認識結果について、翻訳用辞書１４２と照合して、翻訳結果についても結果表示領域５４に表示する。結果表示領域５４は、図６のようにポップアップウィンドウとして表示する形態に限定されるものではなく、認識結果と翻訳結果とを同時に表示できる形態であれば何でもよい。

一般に、スクロールバー５２、５３を用いた画像移動により、翻訳対象となる画像を文字領域５１まで移動させた場合、使用者の注視点は文字領域５１内に存在することから、使用者が注視している近傍の画像に基づいて文字認識し、翻訳結果とともに表示することが可能となる。

なお、結果表示領域５４には、「音声出力」ボタン５５を設け、認識文字の読み方で読み上げる音声を出力してもよい。これにより、使用者は、未知の言語表記が画面に表示されている場合であっても、その読み方について知ることが可能となる。

以上説明したように、本発明ではセキュアモジュールを利用し、プログラムを動的にＲＡＭ上に書き込み又はプログラムの呼び出しアドレスを動的に変更することにより、悪意ある第三者にとって解析が困難な形態でプログラムを実行することが可能となる。

本発明の実施の形態に係る表示文字翻訳装置を構成するコンピュータの構成を示すブロック図である。 撮像装置の構成例を示すブロック図である。 眼球撮像部の構成例を示すブロック図である。 本発明の実施の形態に係る表示文字翻訳装置１のＣＰＵ１１の処理手順を示すフローチャートである。 表示装置での表示画面の具体例を示す図である。 上下方向のスクロールバー、左右方向のスクロールバーを操作して、翻訳対象となる画像が表示されている部分を文字領域へ移動した状態を示す図である。

符号の説明

１ 表示文字翻訳装置
２、３ 撮像装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 記憶手段
１５ 通信インタフェース
１６ 入力手段
１７ 画像取得手段
１８ 出力手段
１４１ 文字パターン辞書
１４２ 翻訳用辞書

Claims (7)

1. 使用者による表示画面上の注視点に存在する表示文字を文字パターン辞書と照合して文字認識し、認識した文字を翻訳辞書と照合して翻訳結果を出力することを特徴とする表示文字翻訳装置。
2. 使用者の顔面に対して照射した赤外線光の反射光に基づいて前記使用者の眼球の位置を特定し、該眼球の位置に基づいて前記使用者の表示画面上の注視点位置を検出する注視点位置検出手段と、該注視点位置検出手段で検出した注視点位置に表示されている表示文字と文字パターン辞書とを照合し、一又は複数の認識候補文字を抽出する認識候補文字抽出手段と、該認識候補文字抽出手段で抽出した一又は複数の認識候補文字と翻訳辞書とを照合して翻訳結果を出力する翻訳結果出力手段と、該翻訳結果出力手段で出力した翻訳結果を表示する文字表示手段とを備えることを特徴とする表示文字翻訳装置。
3. 前記注視点位置検出手段は、
   第１の方向に関する眼球の位置を表す第１の位置情報と、前記第１の方向と異なる第２の方向に関する眼球の位置を表す第２の位置情報とを用いて前記使用者の注視点位置を特定すべくなしてあることを特徴とする請求項２に記載の表示文字翻訳装置。
4. 前記認識候補文字抽出手段で抽出した一又は複数の認識候補文字を読み上げた音声を出力する音声出力手段を備えることを特徴とする請求項２又は３記載の表示文字翻訳装置。
5. 使用者による表示画面上の注視点に存在する表示文字を文字パターン辞書と照合して文字認識するステップと、認識した文字を翻訳辞書と照合して翻訳結果を出力するステップとを含むことを特徴とするコンピュータプログラム。
6. 使用者の顔面に対して照射した赤外線光の反射光に基づいて前記使用者の眼球の位置を特定し、該眼球の位置に基づいて前記使用者の表示画面上の注視点位置を検出する注視点位置検出ステップと、該注視点位置検出ステップで検出した注視点位置に表示されている表示文字と文字パターン辞書とを照合し、一又は複数の認識候補文字を抽出する認識候補文字抽出ステップと、該認識候補文字抽出ステップで抽出した一又は複数の認識候補文字と翻訳辞書とを照合して翻訳結果を出力する翻訳結果出力ステップと、該翻訳結果出力ステップで出力した翻訳結果を表示する文字表示ステップとを含むことを特徴とするコンピュータプログラム。
7. 前記注視点位置検出ステップは、
   第１の方向に関する眼球の位置を表す第１の位置情報と、前記第１の方向と異なる第２の方向に関する眼球の位置を表す第２の位置情報とを用いて前記使用者の注視点位置を特定すべくなしてあることを特徴とする請求項６に記載のコンピュータプログラム。

Images