JP2016058057A - 翻訳システム、翻訳方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】簡単な操作で迅速に、正確な訳を表示できる翻訳システムを提供する
【解決手段】翻訳システム１は、携帯端末２１の撮像部２４によって文字が付された対象物を撮影して対象物の画像データを生成するステップと、物の画像データと、物の画像データに関連づけられた各国の言語毎に作成された翻訳文字画像データ群を有した翻訳情報と、が予め記憶された記憶部２２の中から対象物の画像データに適合する物の画像データを探し、この物の画像データに関連づけられた翻訳情報を取得するステップと、携帯端末２１の表示部２５に、翻訳情報を基に対象物とともに翻訳文字画像を表示させるステップと、を備えている。
【選択図】図１

Description

本発明は、データベースを備えたサーバと、このサーバと通信する端末と、を備えた構成で翻訳したい対象物を翻訳する翻訳システム、翻訳方法、翻訳方法に含まれるステップをコンピュータに実行させるコンピュータプログラム、コンピュータプログラムを記憶したコンピュータが読み取り可能な記憶媒体に関する技術である。

近年、我が国には、海外から多数の外国人が都市や観光地に訪れている。これらの外国人は、そのほとんどが我が国の言語に精通しておらず、これらの外国人を受け入れる環境の整備が望まれている。

外国人を受け入れる環境の整備としては、例えば、外国人が徒歩や公共交通機関を利用して自由に都市や観光地を歩き楽しめるよう、案内表示板に我が国の文字に加えて外国語を記したり、飲食店を利用する外国人が円滑にオーダーできるように外国語で記載されたメニューを用意したりしている。

これらの案内表示板、飲食店のメニューには、全ての場所において、全ての言語の文字によって表されていることが理想的である。ところが、現状では、外国人のうち比較的に訪問者数が多い外国人の使用する言語が、外国人が利用する頻度の高い場所に用意されているにとどまっており、地方によっては全く外国人のための配慮がなされていない場合も多いのが実情である。

外国人は、案内表示板、飲食店のメニューが母国語によって記載されていない場合、その意味を知る為に、例えば、スマートフォンの翻訳ソフトを用いて意味を知ろうとすることが考えられる。翻訳ソフトは、翻訳したい文字を入力すると、その文字が翻訳されて表示されるようになっているのが一般的である。

しかし、翻訳ソフトを用いた場合、文字を入力することが非常に手間で煩雑であるという問題があった。また、外国人は、そもそも我が国の文字を理解できないため、翻訳したい文字を理解することができず、その文字を翻訳ソフトに入力することさえもできない場合があった。

この問題を解決する手段として、例えば、特許文献１では、文字列を画像として読み取った後、ＯＣＲ（Optical Character Recognition）機能によって、その画像から文字を認識するとともにそれを文字データに変換し、そして、翻訳辞書を参照してその文字列に対応する翻訳を画面に表示している。このように特許文献１に記載の技術を用いれば、文字を入力する手間を省けるとともに、見知らぬ文字でもその翻訳を得ることができる。また、近年、機械翻訳の精度は大変向上している。

特開平５−２７４３４６号公報

しかしながら、機械翻訳の精度は、１００％でなく原文とその翻訳文との間に乖離が生じていた。特に、機械翻訳は、翻訳しようとする文章の中に、翻訳辞書に登録されていない単語が含まれていると、翻訳を適切に行うことができず翻訳の品質が低下するというおそれがあった。

また、特許文献１に記載の技術は、ＯＣＲ機能によって文字画像を認識し、その文字画像を文字データに変換している。したがって、ＯＣＲ機能によって文字を精度良く認識することができれば、それだけ翻訳の品質が向上するが、ＯＣＲ機能による文字の認識が精度良く行えないと翻訳の品質の低下を招いたり、翻訳ができなかったりするおそれがあった。すなわち、特許文献１に記載の技術は、翻訳の品質がＯＣＲ機能に依存していた。

ここで、案内表示板のなかには、外部に設置され、風雨にさらされているものもある。このような案内表示板は、記載されている文字がかすれている場合も多々ある。このような案内表示板の文字を、特許文献１に記載の技術を用いて翻訳しようとしても正確な翻訳を得ることができないおそれがあった。

そこで、本発明は、簡単な操作で迅速に、正確な翻訳を表示できる翻訳システム、翻訳方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体を提供することを目的とする。

本発明の翻訳システムは、サーバと、前記サーバとデータ通信が可能な端末と、を備えた翻訳システムであって、端末は、文字が付された対象物の画像データを生成する撮像部と、画像データを表示する表示部と、前記対象物の画像データを基にして、前記対象物に付された文字を他言語の文字に翻訳した翻訳文字画像データを有した翻訳情報を、前記サーバに要求する翻訳情報要求部と、前記表示部に、前記翻訳情報を基に前記翻訳文字画像を表示させる表示処理部と、を備え、前記サーバは、物の画像データと、前記物の画像データに関連づけられた各国の言語毎に作成された翻訳文字画像データ群を有した翻訳情報と、を記憶する記憶部と、前記記憶部の中から前記対象物の画像データに適合する物の画像データを探し、この物の画像データに関連づけられた翻訳情報を取得して前記端末に送信する翻訳情報取得部と、を備えたことを特徴としている。

前記端末は、設定された言語を取得する設定言語取得部を更に備え、前記端末の表示処理部は、翻訳情報のうちから前記設定言語取得部によって取得された言語に一致する言語で表された翻訳文字画像データを選択することを特徴としている。

前記翻訳情報は、前記物の画像データに関連づけられた各国の言語毎に作成された翻訳文字画像データ群の他、各翻訳文字画像データの表示位置データも有しており、前記端末の表示処理部は、前記翻訳文字画像データを前記表示位置データに基づいて前記表示部に表示させることを特徴としている。

前記サーバの記憶部には、物の画像データと前記物の画像データに関連づけられた翻訳情報の他、前記物の画像データに関連づけられた物の位置データも格納され、前記端末は、前記対象物の位置データを取得する位置情報取得部を更に備え、前記翻訳情報要求部は、前記対象物の位置データも前記サーバに送信し、前記サーバの翻訳情報取得部は、前記対象物の画像データと前記対象物の位置データを基に前記記憶部から物の画像データを検索することを特徴としている。

前記翻訳文字画像データは、翻訳後の言語形式に則ってレイアウトされていることを特徴としている。

本発明の翻訳方法は、端末の撮像部によって文字が付された対象物を撮影して前記対象物の画像データを生成するステップと、物の画像データと、前記物の画像データに関連づけられた各国の言語毎に作成された翻訳文字画像データ群を有した翻訳情報と、が予め記憶された記憶部の中から前記対象物の画像データに適合する物の画像データを探し、この物の画像データに関連づけられた翻訳情報を取得するステップと、前記端末の表示部に、前記翻訳情報を基に前記翻訳文字画像を表示させるステップと、を備えたことを特徴としている。

本発明のコンピュータプログラムは、前記翻訳方法に含まれるステップをコンピュータに実行させることを特徴としている。

本発明のコンピュータが読み取り可能な記憶媒体は、前記コンピュータプログラムを記憶したことを特徴としている。

本発明の翻訳システム、翻訳方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体によれば、簡単な操作で迅速に正確な翻訳を表示することができる。

翻訳システムの概略構成図である。 翻訳情報ファイルを示した模式図である。 物の画像テーブルと翻訳情報テーブルを示す図である。 設定言語取得部の処理を示すフローチャート図である。 位置情報取得部の処理を示すフローチャート図である。 翻訳情報要求部の処理を示すフローチャート図である。 翻訳情報取得部の処理を示すフローチャート図である。 表示処理部の処理を示すフローチャート図である。 駅の案内表示板の翻訳前の様子を示した図である。 駅の案内表示板を翻訳した様子を示す図である。 携帯端末とサーバとのデータのやり取りを示した概略図である。 飲食店のメニューの翻訳前の様子を示した図である。 飲食店のメニューを翻訳した様子を示す図である。

以下、本発明を実施するための形態の例（以下、実施例と称する）を、図１を参照しながら説明する。図１は、翻訳システム１の概略構成図である。図１に示すとおり、翻訳システム１は、サーバ５１と、このサーバ５１とデータ通信を行う携帯端末２１と、を備えている。

（携帯端末）
先ず、携帯端末２１（端末）について説明する。携帯端末２１は、例えば、タッチパネル式のタブレットである。なお、携帯端末２１は、タッチパネル式のタブレットに限定されず、例えば、操作者が身につけるスマートウォッチ、スマートグラス、スマートバンド、スマートコンタクトレンズ、スマートかつらといったウエアラブル端末でも良いし、更に、カメラ機能付きのノート型パソコン、デスクトップ型パソコン、デジタル・サイネージといった端末でも良い。

カメラ機能を有していない機器については、ｗｅｂカメラといった外付けカメラを後から取り付けることで本発明の端末とすることができる。また、携帯端末２１、端末は、最初からカメラ機能を有した機器に限定されず、ｗｅｂカメラといった外付けカメラを後から取り付けても良い。

この携帯端末２１は、記憶機能として作動する記憶部２２と、制御機能として作動する制御部２３と、カメラ機能として作動する撮像部２４と、表示機能として作動する表示部２５と、入力機能として作動する入力部２６と、ＧＰＳ機能として作動するＧＰＳ部２８と、時計機能として機能する時計部３０と、通信機能として作動する無線通信部３１と、を少なくとも備えている。以下、各機能部を詳細に説明する。

記憶部２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等が組み合わされて構成される。この記憶部２２は、携帯端末２１の基本的な機能を提供するＯＳ（Operating System）を含む各種プログラムが保存されている。

記憶部２２は、この他にも初期設定言語、位置データが保存される。ここで、初期設定言語とは、携帯端末２１が出荷状態の際の表示言語のことをいう。位置データは、ＧＰＳ部２８が取得した位置データのことであり、ＧＰＳ部２８が位置データを取得した際の時刻とともに保存される。

撮像部２４は、いわゆるカメラであり、レンズで結んだ像から画像データを生成する。撮像部２４によって生成された画像データは、必要に応じて記憶部２２に保存される。本発明の翻訳システム１は、この撮像部２４によって生成した画像データを基に翻訳情報を得たい対象物（以下、翻訳対象物と称する）の翻訳情報を取得するようになっている。

タッチパネル２７は、液晶パネルを有した表示部２５と、タッチパッドを有した入力部２６と、を備えている。本実施例の携帯端末２１は、タッチパネル２７を用いて表示部２５と入力部２６の機能を構成する例で説明したがこれに限定されない。例えば、表示部２５と入力部２６が液晶とタッチキーに分かれた構成でも良い。

タッチパネル２７のうち表示部２５は、撮像部２４で生成した画像データや、翻訳対象物に付された文字や翻訳対象物の言語情報が他言語で翻訳された文字画像データ（以下、翻訳文字画像データと称する）が、翻訳対象物の画像データとともに表示される。

また、このタッチパネル２７のうち表示部２５には、例えば、携帯端末２１が初めて起動された際に、設定言語登録画面が表示される。ここで、設定言語とは、この携帯端末２１を普段使用する際に表示部２５に表示される言語のことをいう。表示部２５は、設定言語登録画面が表示されると、様々な言語が表示されるとともに、初期設定言語によってこの携帯端末２１を普段使用する際に表示する言語を選択する旨が表示される。

タッチパネル２７のうち入力部２６は、この携帯端末２１の操作者から操作情報が入力される。入力部２６は、例えば、表示部２５に設定言語登録画面が表示され、この表示部２５に表示された言語のうち例えば、母国語が表示されている部分をタップすると、母国語、例えば、英語が設定言語として記憶部２２に保存される。

無線通信部３１（通信部）は、ネットワーク通信によって携帯端末２１とサーバ５１との間でデータ通信を可能とする。ネットワーク通信は、例えば、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、ＷｉＦｉ（登録商標）、Bluetooth（登録商標）といった無線通信規格に準拠した通信である。

ここで、無線通信部３１は、画像データを送受信できる程度の伝送速度を機能として有していればよく、例示したものに限定されない。無線通信部３１に代えて、有線によってサーバ５１とデータ通信を行う有線通信部、無線通信部３１と有線通信部を両方備えた構成としても良い。

時計部３０は、時刻を提供する。ここで、携帯端末２１は、無線通信部３１によってサーバ５１とネットワーク通信が可能であり、時計部３０の時刻がサーバ５１の時刻に定期的に同期されるようになっている。

ＧＰＳ部２８は、全地球測位システム（Global Positioning System）を用いて携帯端末２１の位置情報を取得する。具体的には、ＧＰＳ部２８は、ＧＰＳ受信機を備えており、ＧＰＳ衛星から送信されるＧＰＳ信号を受信し、このＧＰＳ信号を基に携帯端末２１の現在位置データを算出して取得する。このＧＰＳ部２８は、携帯端末２１の現在位置データを取得すると、時計部３０から時刻を取得してその時刻とともに記憶部２２に保存する。

制御部２３は、ＣＰＵ（Central Processing Unit）を備え、上述した記憶部２２、撮像部２４、タッチパネル２７、ＧＰＳ部２８、時計部３０、無線通信部３１を制御する。また、制御部２３は、この他にも、設定言語取得部３４、位置情報取得部３５、翻訳情報要求部３６、表示処理部３７を実行する。

設定言語取得部３４は、記憶部２２に保存されている設定言語を取得する。ここで、ＯＳの機能によって携帯端末２１のセキュリティ機能が高レベルに設定されていると、設定言語を取得できない場合がある。このような場合、設定言語取得部３４は、初期設定言語を設定言語として取得する。ここで、初期設定言語は、例えば、英語が設定されているものとする。

位置情報取得部３５は、ＧＰＳ部２８で現在位置データを算出し、その現在位置データを翻訳対象物の位置データとして取得する。ここで、ＧＰＳ部２８は、携帯端末２１が建物内やトンネル内に位置すると、ＧＰＳ衛星からのＧＰＳ信号が遮られ、ＧＰＳ信号を受信することができない。すなわち、例えば、位置情報取得部３５は、地下鉄の案内表示板を翻訳対象物として、その位置データを取得しようとしても、位置データを取得できない場合がある。

この場合、位置情報取得部３５は、記憶部２２に所定時間内に保存された位置データの存在を確認し、所定時間内に保存された位置データが存在すれば、その位置データを翻訳対象物の位置データとして使用する。ここで、所定時間とは、初期設定値として例えば、５分が設定されている。なお、この所定時間は、管理者が任意の数値を設定できる。

これに対し、ＧＰＳ衛星からのＧＰＳ信号が受信できず、また、記憶部２２に所定時間内に保存された位置データも存在しない場合、位置情報取得部３５は、位置データをないものとして処理を終了する。

以上のように、位置情報取得部３５は、翻訳対象物の位置データを取得できない場合もあり、その場合、位置データを用いずに、その後の処理を続行するようになっている。よって、携帯端末２１の構成において、位置情報取得部３５は必須の構成でなくその構成を省略しても良い。また、同様に位置情報取得部３５で用いるＧＰＳ部２８と時計部３０も携帯端末２１の構成から省略した構成としても良い。

翻訳情報要求部３６は、無線通信部３１によって翻訳情報要求データＤをサーバ５１に送信し、翻訳対象物の翻訳情報が記された翻訳情報ファイルＦを携帯端末２１に送信することを要求する。ここで、翻訳情報要求データＤとは、撮像部２４で生成した翻訳対象物の画像データと位置情報取得部３５によって取得した翻訳対象物の位置データを含んだデータのことをいう。

位置情報取得部３５が位置データを取得できた場合、翻訳情報要求部３６は、撮像部２４で生成した翻訳対象物の画像データと位置情報取得部３５によって取得した翻訳対象物の位置データを基に翻訳情報要求データＤを生成し、サーバ５１に送信する。

これに対し、位置情報取得部３５が位置データを取得できない場合、翻訳情報要求部３６は、撮像部２４で生成した翻訳対象物の画像データを基に翻訳情報要求データＤを生成し、サーバ５１に送信する。

ここで、翻訳情報とは、翻訳文字画像データと、表示位置データと、を含んだ情報である。翻訳文字画像データとは、対象物に付された文字を他言語で翻訳した文字画像データのことをいう。表示位置データとは、この翻訳文字画像データを表示部に表示する際の翻訳対象物を基準とした表示位置のことをいう。表示位置データは、設定されていない場合も有り、その場合、表示部の中心に翻訳文字画像データが表示される。

次に、図２を参照しながら翻訳情報ファイルＦについて説明する。図２は、翻訳情報ファイルＦを示した模式図である。この翻訳情報ファイルＦは、翻訳文字画像データのサーバ５１での格納位置データとこの各翻訳文字画像データの表示位置データを単位として、これを国毎に例えば、英語、日本語、ドイツ語、フランス語、…、スペイン語というように有したデータが記載されたファイルのことをいう。

なお、本実施例では、翻訳情報ファイルＦで翻訳情報をやりとりする構成で説明したがこれに限定されない。例えば、翻訳情報ファイルＦを介さず、直接、翻訳文字画像データをサーバ５１に要求し、受信する構成としても良い。

表示処理部３７は、撮像部２４で生成した画像を表示部２５に表示する。また、表示処理部３７は、サーバ５１から翻訳情報ファイルＦを受信すると、その都度、翻訳情報ファイルＦに記載された格納位置を基にサーバ５１の記憶部５２から設定言語に一致する翻訳文字画像データをダウンロードする。

そして、表示処理部３７は、このダウンロードした翻訳文字画像を、翻訳情報ファイルＦに記載された表示位置データに基づいて翻訳対象物とともに表示部２５に表示させる。この表示処理部３７は、表示部２５に表示する際に、翻訳文字画像を拡大、縮小する必要がある場合は、公知の手段を用いて適宜、拡大、縮小処理も行う。

以上に説明した設定言語取得部３４、位置情報取得部３５、翻訳情報要求部３６、表示処理部３７は、例えば、翻訳システム１のクライアント側のアプリケーション（以下、翻訳アプリと称する。）として、携帯端末２１の記憶部２２にインストールされる。

（サーバ）
次に、サーバ５１について説明する。サーバ５１は、記憶機能として作動する記憶部５２と、制御機能として作動する制御部５３と、時計機能として作動する時計部６０と、通信機能として作動する無線通信部６１と、を備えている。

サーバ５１の記憶部５２は、サーバ５１の基本的な機能を提供するサーバ用ＯＳを含む各種プログラムが保存されている。また、サーバ５１の記憶部５２は、データベース６２を備えている。このデータベース６２は、物の画像テーブル６２Ａと翻訳情報テーブル６２Ｂの二つのテーブルを有している。

図３を参照しながらこの二つのテーブルについて説明する。図３（Ａ）は、物の画像テーブル６２Ａを示し、図３（Ｂ）は、翻訳情報テーブル６２Ｂを示す図である。図３（Ａ）に示すとおり、物の画像テーブル６２Ａは、物の画像データの格納位置データと、物の位置データと、の二つの属性を有している。

ここで、物の画像データとは、駅の案内表示板、飲食店のメニューなどの予め撮影された画像データのことをいう。また、物の画像データには、その物の全体を予め撮影した画像データの他、その物の一部を撮影した画像データも含む。この一部を撮影した画像データは、複数枚で全体をカバーする。これらの物の画像データは、記憶部５２に予め保存されており、その格納位置データが物の画像テーブル６２Ａに格納されている。

また、物の位置データとは、その物の現実社会における実際の設置場所を経度と緯度と高度で示した位置データである。この物の位置データは、物の画像データにおける格納位置データと関連づけられて物の画像テーブル６２Ａに格納されている。

図３（Ｂ）に示すとおり、翻訳情報テーブル６２Ｂは、物の画像データの格納位置データと、その物の翻訳情報ファイルＦの格納位置データと、の二つの属性を有している。物の画像データの格納位置データは、その物の翻訳情報ファイルＦの格納位置データと関連づけられて翻訳情報テーブル６２Ｂに格納されている。

サーバ５１の時計部６０は、時刻を管理する。サーバ５１と携帯端末２１は、無線通信部６１（通信部）によってネットワーク通信が可能であり、携帯端末２１の時計部３０がサーバ５１の時計部６０に定期的に同期されるようになっている。

サーバ５１の制御部５３は、ＣＰＵ（Central Processing Unit）を備えて、上述した記憶部５２、時計部６０、無線通信部６１を制御する。また、サーバ５１の制御部５３は、この他にも翻訳情報取得部６６を実行する。

この翻訳情報取得部６６は、携帯端末２１の翻訳情報要求部３６から送信された翻訳情報要求データＤを無線通信部６１によって受信し、この翻訳情報要求データＤを基に翻訳対象物の翻訳情報を検索して取得する。以下、翻訳情報取得部６６によって翻訳情報を取得する手順を、翻訳情報要求データＤに翻訳対象物の位置データが含まれていた場合と、含まれていない場合とで説明する。

翻訳情報要求データＤに翻訳対象物の位置データが含まれる場合、先ず、翻訳情報取得部６６は、物の画像テーブル６２Ａを参照して翻訳対象物の位置データに近い物の画像データを抽出する。次に、翻訳情報取得部６６は、ＳＩＦＴやＳＵＲＦといった局所特微量を用いた類似画像検索によって、これらの抽出された物の画像データの中から、翻訳対象物の画像データにマッチ（適合）する物の画像データを取得する。

翻訳情報要求データＤに翻訳対象物の位置データが含まれていない場合、翻訳情報取得部６６は、物の画像テーブル６２Ａに含まれる全ての物の画像データの中から、類似画像検索によって翻訳対象物の画像データにマッチ（適合）する物の画像データを取得する。なお、翻訳情報取得部６６は、翻訳対象物の画像データにマッチする物の画像データを取得することができなかった場合、いずれの場合も処理を終了する。

そして、翻訳情報取得部６６は、翻訳情報テーブル６２Ｂを参照して、先の処理で取得した物の画像データを基に、この物の画像データに関連づけられた翻訳情報ファイルＦを取得する。最後に、翻訳情報取得部６６は、この翻訳情報ファイルＦを無線通信部６１によって携帯端末２１に送信して処理を終了する。なお、物の画像データが見つからなかった場合、携帯端末２１には、翻訳情報ファイルＦが送信されない。

続いて、以上に説明した設定言語取得部３４、位置情報取得部３５、翻訳情報要求部３６、翻訳情報取得部６６、表示処理部３７のフローを説明する。

図４を参照しながら、設定言語取得部３４のフローを説明する。図４は、設定言語取得部３４の処理を示すフローチャート図である。ステップＳ１において、設定言語取得部３４は、設定言語が取得可能か否かを判断し、設定言語が取得できた場合、処理を終了する。ステップＳ１において、設定言語取得部３４は、設定言語が取得できなかった場合ステップＳ２へ進み、初期設定言語を設定言語として取得し、例えば、携帯端末２１の記憶部２２の一時記憶領域に保持して処理を終了する。

図５を参照しながら、位置情報取得部３５のフローを説明する。図５は、位置情報取得部３５の処理を示すフローチャート図である。ステップＳ２１において、位置情報取得部３５は、ＧＰＳ信号が受信できるか否かを判断し、ＧＰＳ信号が受信できる場合ステップＳ２２へ進み、ＧＰＳ信号から現在位置データを算出し、これを翻訳対象物の位置データとして取得してステップＳ２３へ進み、ステップＳ２３において、この位置データを時計部３０で取得した時刻とともに記憶部５２に保存して、処理を終了する。

ステップＳ２１において、位置情報取得部３５は、ＧＰＳ信号が受信できないとステップＳ２４へ進む。そして、ステップＳ２４において、位置情報取得部３５は、保存された時間が所定時間以内の位置データが記憶部５２上に保存されているか否かを判断し、保存されている場合ステップＳ２５へ進み、そして、ステップＳ２５において、その記憶部５２上に保存された過去の位置データを翻訳対象物の位置データとして取得して処理を終了する。

また、ステップＳ２４において、位置情報取得部３５は、保存された時間が所定時間以内の位置データが記憶部５２上にない場合、位置データなしとして処理を終了する。

図６を参照しながら、翻訳情報要求部３６のフローを説明する。図６は、翻訳情報要求部３６の処理を示すフローチャート図である。翻訳情報要求部３６は、ステップＳ３１において位置情報取得部３５によって位置データを取得し、ステップＳ３２において撮像部２４で生成した翻訳対象物の画像データを取得し、ステップＳ３３へ進む。

そして、ステップＳ３３において、翻訳情報要求部３６は、この位置データと翻訳対象物から翻訳情報要求データＤを生成し、ステップＳ３４において、この翻訳情報要求データＤを無線通信部３１によってサーバ５１へ送信する。以後、翻訳情報要求部３６は、この一連の処理を繰り返す。

図７を参照しながら、翻訳情報取得部６６のフローを説明する。図７は、翻訳情報取得部６６の処理を示すフローチャート図である。ステップＳ４１において、翻訳情報取得部６６は、翻訳情報要求データＤの受信の有無を判断する。翻訳情報取得部６６は、翻訳情報要求データＤを受信するとステップＳ４２へ進む。また、この翻訳情報取得部６６は、受信データが携帯端末２１から届かないと届くまでステップＳ４１を繰り返して受信待ちを行う。

ステップＳ４２において、翻訳情報取得部６６は、翻訳対象物の位置データが翻訳情報要求データＤに含まれているか否かを判断し、含まれているとステップＳ４３へ進む。そして、ステップＳ４３において、翻訳情報取得部６６は、物の画像テーブル６２Ａを参照し、物の画像テーブル６２Ａの画像データのうち、翻訳対象物の位置データに近い物の画像データを抽出し、ステップＳ４４へ進む。これに対し、ステップＳ４２において、翻訳対象物の位置データが含まれていないと、翻訳情報取得部６６はこの物の画像データの抽出作業を行わずにステップＳ４４へ進む。

ステップＳ４４において、翻訳情報取得部６６は、類似画像検索によって、抽出した物の画像データ又は全ての物の画像データの中から、翻訳対象物の画像データにマッチする物の画像データを検索し、ステップＳ４５へ進む。

ステップＳ４５において、翻訳情報取得部６６は、翻訳対象物の画像データにマッチする物の画像データの有無を判断し、ある場合、ステップＳ４６へ進む。なお、ステップＳ４５において、物の画像データのうちから翻訳対象物の画像データにマッチする物の画像データが見つからなかった場合、翻訳情報取得部６６はステップＳ４１へ戻り、再び、翻訳情報要求データＤが届くまでステップＳ４１を繰り返す受信待ちとなる。

そして、ステップＳ４６において、翻訳情報取得部６６は、翻訳情報テーブル６２Ｂを参照し、マッチした物の画像データに関連づけられた翻訳情報ファイルＦを取得しステップＳ４７へ進む。そして、ステップＳ４７において、翻訳情報取得部６６は、この翻訳情報ファイルＦを無線通信部６１によって携帯端末２１へ送信し、ステップＳ４１へ戻り、再び、翻訳情報要求データＤが届くまでステップＳ４１を繰り返す受信待ちとなる。

図８を参照しながら、表示処理部３７のフローを説明する。図８は、表示処理部３７の処理を示すフローチャート図である。ステップＳ５１において、表示処理部３７は、撮像部２４で生成した画像データを表示部２５に表示し、ステップＳ５２へ進む。

ステップＳ５２において、表示処理部３７は、翻訳情報ファイルＦの受信の有無を判断し、翻訳情報ファイルＦを受信すると、ステップＳ５３へ進む。サーバ５１から翻訳情報ファイルＦが送信されていない場合、ステップＳ５１に戻り、翻訳情報ファイルＦが届くまで、撮像部２４で撮影した画像データを表示する処理を繰り返す。

ステップＳ５３において、表示処理部３７は、翻訳情報ファイルＦから設定言語に一致する翻訳文字画像データとその表示位置データの格納位置データを取得し、サーバ５１から設定言語に一致する翻訳文字画像データとその表示位置データをダウンロードし、ステップＳ５４へ進む。ステップＳ５４において、表示処理部３７は、翻訳対象物が表示された表示部２５に翻訳文字画像を、その表示位置データに基づいて翻訳対象物に重ねて表示し、再びステップＳ５１へ戻る。

図９〜図１１を参照しながら、駅の案内表示板８１を、本発明の翻訳システム１を用いて翻訳する様子を説明する。図９は、駅の案内表示板８１の翻訳前の様子を示した図である。図１０は、駅の案内表示板８１を翻訳した様子を示す図である。図１１は、携帯端末２１とサーバ５１とのデータのやり取りを示した概略図である。

操作者は、図９に示す状態において、携帯端末２１のタッチパネル２７を操作し、翻訳アプリを起動させる。翻訳アプリが起動されると、設定言語取得部３４、位置情報取得部３５、翻訳情報要求部３６、表示処理部３７がそれぞれ並列して動作する。

携帯端末２１では、設定言語取得部３４が、図４に示したフローに基づいて設定言語を取得して処理を終了する。この例では、設定言語に英語が設定されている。また、携帯端末２１では、表示処理部３７が図８に示したフローに基づき撮像部２４によって生成された画像データをタッチパネル２７のうちの表示部２５に表示し続ける。

位置情報取得部３５が図５に示したフローに基づいて位置データを取得し続け、翻訳情報要求部３６が図６に示したフローに基づいて位置データと画像データから翻訳情報要求データＤを生成し無線通信部３１を介してサーバ５１に送信し続ける。

翻訳対象物であるこの駅の案内表示板８１の翻訳情報を取得しようとする場合、操作者は、携帯端末２１の姿勢を調整して翻訳対象物が表示部２５に表示されるように、すなわち、撮像部２４が翻訳対象物の画像データを生成できるようにその姿勢を調整する。そうすると、翻訳情報要求部３６は、位置データと駅の案内表示板８１の画像データから翻訳情報要求データＤを生成し、これをサーバ５１に送信し続けるようになる。

このときサーバ５１では、翻訳情報取得部６６が翻訳情報要求データＤの受信待ちとなっており、携帯端末２１から翻訳情報要求データＤを受信すると、図７に示したフローに基づいて翻訳情報ファイルＦの取得を試みる。

携帯端末２１から送信された翻訳情報要求データＤには、駅の案内表示板８１の位置データが含まれている。したがって、翻訳情報取得部６６は、物の画像テーブル６２Ａを参照して物の画像データのうち、この位置データに近い物の画像データを、物の画像テーブル６２Ａの中から抽出する。

そして、翻訳情報取得部６６は、類似画像検索によって、抽出した物の画像データの中から、駅の案内表示板８１の画像データにマッチする物の画像データを検索する。そして、翻訳情報取得部６６は、翻訳情報テーブル６２Ｂを参照し、マッチした物の画像データに関連づけられた翻訳情報ファイルＦを取得し、これを携帯端末２１に送信する。

なお、翻訳情報取得部６６は、マッチする物の画像データが見つからなかった場合、この要求に対する処理を終了し、次に送られてくる駅の案内表示板８１の画像データにマッチする物の画像を検索する。

携帯端末２１に翻訳情報ファイルＦが送信されると、表示処理部３７は、設定言語を参照し、この翻訳情報ファイルＦに記載された翻訳情報のうちから設定言語である英語の翻訳文字画像データを、その格納情報を基にサーバ５１からダウンロードする。

表示処理部３７は、このダウンロードした英語の翻訳文字画像データを翻訳情報ファイルＦに記載された表示位置データに基づいて表示部に表示させる。そうすると、図１０に示すとおり駅の案内表示板８１の日本語の部分の上に英語に翻訳された翻訳文字画像が重ねて表示される。これによって、操作者に翻訳情報が提供される。

本発明の翻訳システム１によれば、操作者が携帯端末２１をかざして翻訳対象物に対して撮像部２４を向けて撮影すると、翻訳対象物のうち日本語の部分が英語に翻訳されて携帯端末２１の表示部２５に表示され、簡単な操作で迅速に翻訳対象物の翻訳情報を得ることができる。

また、本発明の翻訳システム１によれば、設定言語取得部３４が設定された言語を取得し、表示処理部３７が設定された言語で表された翻訳文字画像データを選択して表示部２５に表示する。これによって、翻訳対象物から各国の言語の翻訳を得ることができる。

また、本発明の翻訳システム１によれば、翻訳情報は、物の画像データに関連づけられた各国の言語毎に作成された翻訳文字画像データ群の他、各翻訳文字画像データの表示位置データも有している。そして、携帯端末２１の表示処理部３７は、翻訳文字画像データを表示位置データに基づいて表示部２５に表示させる。

よって、この表示位置データが翻訳前の文字部分の位置を示す場合、翻訳対象物を表示部２５に表示させたまま、その文字部分を翻訳するとともにその部分に翻訳した文字を表示させることができる。これによって、文字が付された翻訳対象物を異なる言語に翻訳した状態で見ることができ、一般の電子翻訳機のように表示部２５に翻訳が表示される構成よりも、視覚的に理解し易くなっている。

また、表示位置データが翻訳前の文字部分の位置よりも下（上、左、又は右）を示す場合、翻訳対象物を表示部２５に表示させたまま、翻訳前の文字と翻訳後の文字の両方を一度に表示させることができ、語学の学習にも効果的である。

また、本発明の翻訳システム１によれば、サーバ５１の記憶部５２に、物の画像データと物の画像データに関連づけられた翻訳情報の他、物の画像データに関連づけられた物の位置データも格納されている。そして、携帯端末２１は、位置情報取得部３５が翻訳対象物の位置データを取得し、翻訳対象物の画像データとともに翻訳対象物の位置データもサーバ５１に送信する。そして、サーバ５１では、翻訳情報取得部６６が翻訳対象物の画像データと翻訳対象物の位置データを基に記憶部２２から物の画像データを検索するようになっている。これによって、対象物が量産物であっても、見分けて翻訳することができる。具体的には、置かれている場所によって方言を用いた翻訳も提供することもできる。

また、本発明の翻訳システム１によれば、予め用意した翻訳文字画像データを翻訳対象物の上に重ねて表示する構成となっており、機械翻訳のようにリアルタイムに翻訳する構成と大きく異なる。すなわち、本発明は、翻訳文字画像データを例えば、機械翻訳させたのちに人がチェックしたり、人に全ての翻訳を行わせたりすることができ、機械翻訳が苦手な翻訳辞書に載っていない単語が含まれている文字列でも正確な翻訳を提供することができる。

具体的には、駅の案内表示板８１に記載されている施設名や地名等は、翻訳辞書に登録されている可能性が低く機械翻訳を用いて翻訳させようにも翻訳できないおそれがある。なお、英語や中国語等の表記は原文とともに併記されている場合もある。しかし、その他の言語、例えば、ドイツ語やフランス語などは併記されていることが皆無である。

しかしながら、本発明の翻訳システム１は、予め用意した翻訳文字画像データを用いる構成で、リアルタイムに翻訳する構成でないため、人が翻訳に関わることができ、施設名や地名等の比較的、翻訳辞書に載っていない単語や、全く翻訳辞書に載っていない造語や人名、略語も正確に訳すことができる。

例えば、「station」と記載せずに略して「sta」と記載されていても「駅」と翻訳することができるし、「I give a birthday present to you.」と記載されていなければならないところ、「I give a birthday present 2 u.」と記載されていても正確な翻訳を提供することができる。また、本発明の翻訳システム１は、馴染みのないアラビア語であっても正確な翻訳を提供することができる。

また、本発明の翻訳システム１によれば、翻訳対象物の画像データを生成し、これに類似する予め用意された物の画像データを探すことによって、翻訳対象物を認識する構成となっている。

これにより、本発明の翻訳システム１は、文字部分が風雨によってかすれていて不鮮明な部分を有していたとしても、翻訳対象物さえ認識できれば、例え、読み取れない文字を有していたとしても、その翻訳対象物に対して正確な翻訳を提供することができる。これに対しＯＣＲを用いた機械翻訳は、正確な翻訳を提供するために文字を一字一句正確に読み取ることが要求されている。本発明は、文字部分を正確に認識することが必須条件でない点で、ＯＣＲを用いた機械翻訳よりも有利である。

また、本発明の翻訳システム１によれば、翻訳対象物の画像データを生成し、これに類似する予め用意された物の画像データを探すことによって、翻訳対象物を認識する構成となっている。これによって、翻訳対象物にＩＣチップを埋め込んだり、バーコードを付したりする必要が全くなく、既存の翻訳対象物に対して全く手を加える必要がない。

すなわち、本発明の翻訳システム１は、携帯端末２１にインストールするアプリケーション及び、サーバ５１の管理だけで済み、ＩＣチップを製造するコストや翻訳対象物にバーコードを付して管理する手間が全く必要ない。

図１１〜図１３を参照しながら、本発明の翻訳システム１を用いて別の対象物を翻訳する様子を説明する。図１２は、飲食店のメニュー８５の翻訳前の様子を示した図である。図１３は、飲食店のメニュー８５を翻訳した様子を示す図である。

操作者は、携帯端末２１の翻訳アプリを起動させ、設定言語取得部３４、位置情報取得部３５、翻訳情報要求部３６、表示処理部３７を実行させる。また、操作者は、図１２で示すように、撮像部２４を飲食店のメニュー８５へ向けて、撮像部２４が飲食店のメニュー８５の画像データを生成できるようにする。

設定言語取得部３４は、先に説明した駅の案内表示板８１で示したとおり、設定言語として英語を記憶部２２の一時記憶領域に保持する。また、位置情報取得部３５は、図５に示したフローに基づき位置データを取得し続ける。ここで、飲食店のメニュー８５がＧＰＳ信号を受信できない店内にある場合、翻訳情報要求部３６は、画像データから翻訳情報要求データＤを生成しサーバ５１へ送信し続ける。

サーバ５１では、翻訳情報取得部６６が翻訳情報要求データＤを受信する。この翻訳情報要求データＤには、位置データが含まれていない。したがって、翻訳情報取得部６６は、物の画像テーブル６２Ａに含まれる全ての物の画像データのうちから類似画像検索によって、飲食店のメニュー８５の画像データにマッチする物の画像を検索して取得する。

そして、次に、翻訳情報取得部６６は、翻訳情報テーブル６２Ｂを参照し、マッチした物の画像データに関連づけられた翻訳情報ファイルＦを取得し、これを携帯端末２１に送信する。この翻訳情報ファイルＦは、翻訳文字画像データの格納位置が国毎に記載されているが、その各翻訳文字画像データの表示位置データを有していないものとする。

携帯端末２１に翻訳情報ファイルＦが送信されると、表示処理部３７は、記憶部２２の一時記憶領域に保持した設定言語を参照し、この翻訳情報ファイルＦに記載された翻訳情報のうちから設定言語である英語の翻訳文字画像データをサーバ５１からダウンロードする。

表示処理部３７は、翻訳文字画像データの表示位置データを有していないため、ダウンロードした英語の翻訳文字画像データを表示部２５の中心に表示させる。そうすると、図１３に示すとおり携帯端末２１の表示部２５に、英語に翻訳された飲食店のメニュー８５の翻訳文字画像が表示される。

本発明の翻訳システム１によれば、操作者が携帯端末２１をかざして飲食店のメニュー８５に撮像部２４を向けると、翻訳された画像が携帯端末２１の表示部２５に表示され、簡単な操作で迅速に翻訳対象物の翻訳情報を得ることができる。

本発明の翻訳システム１によれば、前述したとおり、予め用意した翻訳文字画像データを表示する構成となっている。これにより、本発明の翻訳システム１は、人が翻訳に関わることができ、翻訳する過程において、翻訳した言語に基づいてレイアウトし直して翻訳文字画像データを作成することができる。

具体的には、翻訳前の飲食店のメニュー８５の日本語表記が右からの縦書きに対し、翻訳後は、英語の表記に基づき左からの横書きにレイアウトし直されて翻訳されている。すなわち、本発明の翻訳システム１によれば、翻訳後の言語形式に則ってレイアウトされる。

ここで、レイアウトに関して付言すれば、前述した駅の案内表示板８１の翻訳前は、施設名と最寄りの出口の記載があいうえお順で表記されている。しかし、本発明の翻訳システム１で翻訳後は、施設名と最寄りの出口の記載をアルファベット順に並び替えた表記にレイアウトし直すこともできる。これによって、使用者は、英語表記の案内板が存在するのと同様に、頭文字から迅速に探したい場所を把握できる。

なお、本発明の翻訳システム１は、上述の実施例にのみ限定されない。本発明の翻訳システム１は、携帯端末２１の撮像部２４によって文字が付された対象物を撮影して対象物の画像データを生成するステップと、物の画像データと、物の画像データに関連づけられた各国の言語毎に作成された翻訳文字画像データ群を有した翻訳情報と、が予め記憶された記憶部２２の中から対象物の画像データに適合する物の画像データを探し、この物の画像データに関連づけられた翻訳情報を取得するステップと、携帯端末２１の表示部２５に、翻訳情報を基に対象物とともに翻訳文字画像を表示させるステップと、を備えた翻訳方法によって具現できる。

また、本発明は、この翻訳方法に含まれるステップをコンピュータに実行させるコンピュータプログラムも含まれ、このコンピュータプログラムを記憶したコンピュータが読み取り可能な記憶媒体も含まれる。また、このコンピュータプログラム、記憶媒体を備えた、端末機器も含まれる。すなわち、サーバを除いて、端末のみ例えば、スマートフォンやタブレットで本発明の翻訳システムを具現化させても良い。

なお、本発明の翻訳システム１は、設定言語取得部３４が記憶部２２に保存されている設定言語を取得し、その設定言語に一致する翻訳文字画像データをサーバ５１からダウンロードする構成を例示したがこれに限定されない。初めから翻訳したい言語が設定されている構成でも良いし、複数言語（二、三、四又は五の言語）の翻訳を同時に表示させるようにしてもよい。

翻訳情報ファイルＦは、翻訳文字画像データのサーバ５１での格納位置データとこの各翻訳文字画像データの表示位置データの他、翻訳文字画像データの透過情報も持ち、表示処理部３７で翻訳文字画像データを表示させる際に透過させて表示させるようにしてもよい。

なお、位置情報取得部３５について、ＧＰＳ部２８を用いて現在位置データを算出する構成で説明したがこれに限定されない。例えば、ビーコン（Beacon）、Ｗｉ−Ｆｉ（登録商標）、携帯端末２１の基地局によって現在位置データを取得する構成でも良い。

ビーコンによって現在位置データを取得とは、Bluetooth（登録商標） Low Energy信号（ＢＬＥ信号）を使って携帯端末２１の現在位置データを取得する方法のことをいう。この方法は、例えば、複数のビーコンを配置し、この複数のビーコンからプッシュ通知を受けて、そのプッシュ通知に含まれるビーコンの識別情報を基にして携帯端末２１の現在位置を算出する。

Ｗｉ−Ｆｉ（登録商標）によって現在位置データを取得とは、携帯端末２１の近隣にある無線ＬＡＮアクセス・ポイントから送信されているＳＳＩＤやＭＡＣアドレスを受信し、予めＳＳＩＤやＭＡＣアドレスに関連づけられて位置情報が保存されている外部の位置情報サーバへ、ＳＳＩＤやＭＡＣアドレスを基に問い合わせて携帯端末の現在位置データを取得する方法のことをいう。

また、携帯端末２１の基地局によって現在位置データを取得とは、三以上の基地局の位置情報と、その基地局からの電波強度に基づいて携帯端末２１の現在位置データを算出する方法のことをいう。

なお、携帯端末２１の現在位置データの取得は、上記の方法に限定されず、携帯端末２１の現在位置データさえ取得できればどのような方法で取得しても良い。また、携帯端末２１の現在位置データの取得は、ＧＰＳ、ビーコン、Ｗｉ−Ｆｉ（登録商標）、携帯端末２１の基地局を組み合せて取得する構成にしても良い。

本発明の翻訳システム、翻訳方法、コンピュータプログラム、記憶媒体は、本発明の要旨を逸脱しない範囲において種々変更できる。

１ 翻訳システム
２１ 携帯端末（端末）
２２ 記憶部
２３ 制御部
２４ 撮像部
２５ 表示部
２６ 入力部
２７ タッチパネル
２８ ＧＰＳ部
３０ 時計部
３１ 無線通信部
３４ 設定言語取得部
３５ 位置情報取得部
３６ 翻訳情報要求部
３７ 表示処理部
５１ サーバ
５２ 記憶部
５３ 制御部
６０ 時計部
６１ 無線通信部
６２ データベース
６２Ａ 物の画像テーブル
６２Ｂ 翻訳情報テーブル
６６ 翻訳情報取得部
８１ 駅の案内表示板
８５ 飲食店のメニュー
Ｄ 翻訳情報要求データ
Ｆ 翻訳情報ファイル

Claims (8)

1. サーバと、前記サーバとデータ通信が可能な端末と、を備えた翻訳システムであって、
   前記端末は、
   文字が付された対象物の画像データを生成する撮像部と、
   画像データを表示する表示部と、
   前記対象物の画像データを基にして、前記対象物に付された文字を他言語の文字に翻訳した翻訳文字画像データを有した翻訳情報を、前記サーバに要求する翻訳情報要求部と、
   前記表示部に、前記翻訳情報を基に前記翻訳文字画像を表示させる表示処理部と、を備え、
   前記サーバは、
   物の画像データと、前記物の画像データに関連づけられた各国の言語毎に作成された翻訳文字画像データ群を有した翻訳情報と、を記憶する記憶部と、
   前記記憶部の中から前記対象物の画像データに適合する物の画像データを探し、この物の画像データに関連づけられた翻訳情報を取得して前記端末に送信する翻訳情報取得部と、を備えたことを特徴とする翻訳システム。
2. 前記端末は、
   設定された言語を取得する設定言語取得部を更に備え、
   前記端末の表示処理部は、翻訳情報のうちから前記設定言語取得部によって取得された言語に一致する言語で表された翻訳文字画像データを選択することを特徴とする請求項１に記載の翻訳システム。
3. 前記翻訳情報は、前記物の画像データに関連づけられた各国の言語毎に作成された翻訳文字画像データ群の他、各翻訳文字画像データの表示位置データも有しており、
   前記端末の表示処理部は、前記翻訳文字画像データを前記表示位置データに基づいて前記表示部に表示させることを特徴とする請求項１又は２に記載の翻訳システム。
4. 前記サーバの前記記憶部には、物の画像データと前記物の画像データに関連づけられた翻訳情報の他、前記物の画像データに関連づけられた物の位置データも格納され、
   前記端末は、
   前記対象物の位置データを取得する位置情報取得部を更に備え、
   前記翻訳情報要求部は、前記対象物の位置データも前記サーバに送信し、
   前記サーバの翻訳情報取得部は、前記対象物の画像データと前記対象物の位置データを基に前記記憶部から物の画像データを検索することを特徴とする請求項１乃至３のいずれか一項に記載の翻訳システム。
5. 前記翻訳文字画像データは、翻訳後の言語形式に則ってレイアウトされていることを特徴とする請求項１乃至４のいずれか一項に記載の翻訳システム。
6. 端末の撮像部によって文字が付された対象物を撮影して前記対象物の画像データを生成するステップと、
   物の画像データと、前記物の画像データに関連づけられた各国の言語毎に作成された翻訳文字画像データ群を有した翻訳情報と、が予め記憶された記憶部の中から前記対象物の画像データに適合する物の画像データを探し、この物の画像データに関連づけられた翻訳情報を取得するステップと、
   前記端末の表示部に、前記翻訳情報を基に前記翻訳文字画像を表示させるステップと、を備えたことを特徴とする翻訳方法。
7. 請求項６に記載の翻訳方法に含まれるステップをコンピュータに実行させることを特徴とするコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images