JP2003178067A - 携帯端末型画像処理システム、携帯端末およびサーバ - Google Patents

Abstract

(57)【要約】 【課題】 携帯端末のカメラで撮像した画像は、解像度
が低く、画像の品質が悪く、また、これらの画像の文字
を現状の文字認識処理で行った場合、誤認識する可能性
が高く、得たテキストをそのまま翻訳しても、正しい結
果が得にくいなどの課題があった。 【解決手段】 携帯端末のカメラにより撮像した画像あ
るいはキー入力部で入力したキーワード、処理サービス
の種類および携帯端末の関連情報からなるデータを送信
し、サーバにおいて、画像内文字列認識・翻訳部により
受信画像に含まれる１個の文字列に対して抽出した複数
個の文字列を翻訳するか、あるいは受信キーワードに対
し生成した関連文を翻訳して翻訳結果を携帯端末に送信
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は携帯端末のカメラ
で撮像した画像に含まれる文字を翻訳する携帯端末型画
像処理システム、携帯端末およびサーバに関するもので
ある。

【０００２】

【従来の技術】近年、カメラを装備した携帯電話の製品
化が盛んになってきた。このような携帯端末のカメラで
撮像した画像に含まれる文字列を文字認識して、認識結
果のテキストを翻訳するシステムについて特開平９−１
３８８０２号公報に開示されている。この方式は、携帯
端末内部に文字認識処理と翻訳処理を持ち、これらの処
理を用いてカメラで撮像した画像内の文字列を認識・翻
訳するものである。しかし、この方式では、携帯端末の
サイズ上の制限により、高度な文字認識処理と翻訳処理
を行うことが困難な課題がある。

【０００３】一方、これに対して、携帯端末（携帯電
話）のカメラで撮像した画像を外部のサーバに一旦送信
し、サーバ側で画像内の文字を認識・翻訳した結果を携
帯端末に送り返す方式が特開平１０−１３４００４号公
報に提案されている。この方式によれば、処理性能の高
いサーバ側で文字認識と翻訳を行うため、高度な処理が
可能となる。以下、この方式の動作について図２５を用
いて説明する。

【０００４】図２５は従来の携帯端末型画像処理システ
ムに係る処理手順を示すフローチャートで、この処理手
順は、携帯端末における処理とサーバにおける処理の二
つに別れる。まず、携帯端末側において、ユーザが携帯
端末に内蔵または接続されたカメラを用いて画像を撮像
する。ここでは、紙面に手書きされたメモや、印刷され
た文書の一部を読み取る（ステップＳＴ１）。読み取っ
た画像に関して処理したいサービスを指定する。サービ
スとしては、例えばステップＳＴ１で撮像した画像に含
まれる文字列の翻訳や、その文字をキーワードとしたデ
ータベース検索などを指定する。ここでは、文字列の翻
訳サービスを指定するものとする（ステップＳＴ２）。
その後、撮像した画像と指定したサービス要求をサーバ
に送信する（ステップＳＴ３）。

【０００５】次にサーバ側において、携帯端末からの画
像とサービス要求を受信すると（ステップＳＴ４）、受
信した画像を処理するアプリケーションプログラムを起
動する（ステップＳＴ５）。起動したアプリケーション
プログラムにより受信した画像に含まれる文字列を認識
して、テキストを得る（ステップＳＴ６）。次に、携帯
端末で指定したサービスを実行する。ここでは、翻訳サ
ービスを指定しているので抽出されたテキストを翻訳す
る（ステップＳＴ７）。翻訳の処理結果を携帯端末に送
信する（ステップＳＴ８）。

【０００６】その後、携帯端末側において、サーバから
送信された処理結果を受信する（ステップＳＴ９）。受
信した処理結果の内容、すなわち翻訳文を携帯端末のデ
ィスプレイに表示する（ステップＳＴ１０）。以上の処
理により、携帯端末のカメラで撮像した画像に含まれる
文字列の翻訳結果を得ることができる。

【０００７】

【発明が解決しようとする課題】従来の方式は以上のよ
うに構成されているので、画像内の文字列を文字認識し
た結果の文字列（テキスト）を翻訳することで、画像内
の文字列に対する翻訳結果を得ている。しかし、携帯端
末のカメラで撮像した画像は、一般のＯＣＲ（文字認識
装置）が認識対象とするスキャナで読み取った画像に比
べて解像度が低く、画像の品質が悪い。また、海外にお
いて他国語で記入された看板中の文字列をカメラで撮像
して、自国語に翻訳するというような使用方法が想定さ
れるが、看板の文字列は飾り文字が多い。このような品
質の悪い画像内の文字列や飾り文字に対して、現状の文
字認識処理の性能は低く、誤認識する可能性が高い。そ
のため、文字認識処理で得たテキストをそのまま翻訳し
ても、正しい結果が得ることは困難であるという課題が
あった。

【０００８】また、一度に多数の文字列を翻訳する場
合、ユーザは翻訳したい文字列上にカメラの視野を移動
させてシャッターを押すという作業を何度も繰り返す必
要が生じ、手間を要するという課題があった。さらに、
携帯端末のカメラで撮像した画像は解像度が低いため、
長い文字列や文章を１枚の画像内に納めることができな
い。これに対して、カメラを後ろに引くなどして広範囲
を撮像すれば、長い文字列も１枚の画像に納めることは
可能であるが、１文字を表現する画素数は少なくなり、
文字認識率が低下する。このため翻訳可能な文字列の長
さが制限されるという課題があった。

【０００９】さらにまた、携帯端末で撮像した画像をサ
ーバに送信する場合、送信するデータ量が大きいため、
一般の電話回線ではデータ送信に時間がかかるという課
題がある。加えて、従来の方式において、サーバが持つ
文字認識処理や翻訳処理は、一般用語を対象としたもの
と考えられるが、その場合はメニューに載っている郷土
料理の名前や診断書に記入された病名等、専門性の高い
用語に対して十分な文字認識性能および翻訳性能を得る
ことが困難であるという課題があった。また、このよう
なシステムを海外旅行等で使用する場合、画像に含まれ
る他国語の文字列を自国語に翻訳する使用形態に加え、
逆に自国語で入力したテキストを他国語に翻訳する要求
も想定される。しかし、携帯端末では、テキストの入力
に手間がかかるなどの課題があった。

【００１０】この発明は上記のような課題を解決するた
めになされたもので、翻訳を行う上で利便性の高い携帯
端末型翻訳システム、携帯端末およびサーバを得ること
を目的とする。

【００１１】

【課題を解決するための手段】この発明に係る携帯端末
型翻訳システムは、携帯端末とこの携帯端末とデータ交
換を行うサーバとからなり、前記携帯端末は、画像撮像
部と、この画像撮像部により撮像した画像を蓄積する画
像バッファと、キーワードを入力するキー入力部と、前
記サーバへ依頼する処理サービスの種類を指定する処理
指示部と、前記画像バッファに蓄積された画像あるいは
前記キー入力部により入力されたキーワード、指定され
た処理サービスの種類および前記携帯端末の関連情報か
らなるデータを前記サーバに送信するデータ送信部と、
前記サーバにおいて翻訳処理された翻訳結果を受信する
結果受信部と、受信した前記翻訳結果を表示する表示部
とを備え、前記サーバは、前記携帯端末から送信された
データを受信するデータ受信部と、受信した前記画像に
含まれる１個の文字列に対して複数個の文字列を抽出
し、抽出した前記複数個の文字列を翻訳してそれぞれの
翻訳結果を生成する画像内文字列認識・翻訳部と、受信
した前記キーワードに対する関連文を生成し、生成され
た前記関連文を翻訳して翻訳結果を生成するテキスト翻
訳部と、受信したデータに含まれる前記指定された処理
サービスの種類に従って前記画像内文字列認識・翻訳部
で処理するか、あるいは前記テキスト翻訳部で処理する
かを切り替え制御する処理制御部と、前記画像内文字列
認識・翻訳部または前記テキスト翻訳部で生成された翻
訳結果を前記関連情報に基づいて前記携帯端末に送信す
る結果送信部とを備えたものである。

【００１２】この発明に係る携帯端末型翻訳システム
は、携帯端末とこの携帯端末とデータ交換を行うサーバ
とからなり、前記携帯端末は、画像撮像部と、この画像
撮像部により撮像した画像を蓄積する画像バッファと、
前記サーバへ依頼する処理サービスを指示する処理指示
部と、前記画像バッファに蓄積された画像、前記処理サ
ービスの指示および前記携帯端末の関連情報からなるデ
ータを前記サーバに送信するデータ送信部と、前記サー
バにおいて翻訳処理された翻訳結果を受信する結果受信
部と、受信した前記翻訳結果を表示する表示部とを備
え、前記サーバは、前記携帯端末から送信されたデータ
を受信するデータ受信部と、受信した前記画像に含まれ
る１個の文字列に対して複数個の文字列を抽出し、抽出
した前記複数個の文字列を翻訳してそれぞれの翻訳結果
を生成する画像内文字列認識・翻訳部と、受信したデー
タに含まれる前記処理サービスの指示に従って前記画像
内文字列認識・翻訳部を動作させる処理制御部と、生成
された前記翻訳結果を前記関連情報に基づいて前記携帯
端末に送信する結果送信部とを備えたものである。

【００１３】この発明に係る携帯端末型翻訳システム
は、携帯端末とこの携帯端末とデータ交換を行うサーバ
とからなり、前記携帯端末は、キーワードを入力するキ
ー入力部と、前記サーバへ依頼する処理サービスを指示
する処理指示部と、前記キー入力部により入力されたキ
ーワード、前記処理サービスの指示および前記携帯端末
の関連情報からなるデータを前記サーバに送信するデー
タ送信部と、前記サーバにおいて翻訳処理された翻訳結
果を受信する結果受信部と、受信した前記翻訳結果を表
示する表示部とを備え、前記サーバは、前記携帯端末か
ら送信されたデータを受信するデータ受信部と、受信し
たデータに含まれる前記キーワードに対する関連文を生
成し、生成された前記関連文を翻訳して前記翻訳結果を
生成するテキスト翻訳部と、受信したデータに含まれる
前記処理サービスの指示に従って前記テキスト翻訳部を
動作させる処理制御部と、生成された前記翻訳結果を前
記関連情報に基づいて前記携帯端末に送信する結果送信
部とを備えたものである。

【００１４】この発明に係る携帯端末型翻訳システム
は、サーバの画像内文字列認識・翻訳部が、異なる複数
の条件で画像内の１個の文字列を認識することにより複
数個の文字列認識結果を生成する画像内文字列認識部
と、生成した前記複数個の文字列認識結果をそれぞれ翻
訳した複数個の翻訳結果を生成する画像内文字列翻訳部
とを有したものである。

【００１５】この発明に係る携帯端末型翻訳システム
は、サーバの画像内文字列認識・翻訳部が、異なる複数
の条件で画像内の１個の文字列を認識することにより複
数個の文字列認識結果を生成すると共に、言語辞書を用
いて前記複数個の文字列認識結果に対してスペリングが
類似する類似文字列を生成する画像内文字列認識部と、
生成した前記文字列認識結果と前記類似文字列のそれぞ
れを翻訳することにより複数個の翻訳結果を生成する画
像内文字列翻訳部とを有したものである。

【００１６】この発明に係る携帯端末型翻訳システム
は、サーバのテキスト翻訳部が、受信したキーワードに
基づいて関連文辞書を参照して前記キーワードに関連性
の高い複数個の文章を生成する関連文生成部と、生成さ
れた前記複数個の文章を翻訳することにより翻訳結果を
生成する関連文翻訳部とを有したものである。

【００１７】この発明に係る携帯端末型翻訳システム
は、携帯端末は、画像撮像部により一定の時間間隔で連
続的に撮像され画像バッファに蓄積した各画像を順次選
択してデータ送信部に出力する送信画像制御部を備え、
サーバが、受信した前記各画像に含まれる文字列の各翻
訳結果を順次生成して前記携帯端末に送信し、前記携帯
端末の表示部が、前記各翻訳結果を受信する都度表示す
るようにしたものである。

【００１８】この発明に係る携帯端末型翻訳システム
は、携帯端末の送信制御部が、画像バッファから順次読
み出す画像について、新しく撮像された画像とその一つ
前に撮像された画像との差を比較し、その差が閾値以下
となった場合に前記新しく撮像された画像を選択してデ
ータ送信部に出力するようにしたものである。

【００１９】この発明に係る携帯端末型翻訳システム
は、サーバは、連続的に受信された複数個の画像を合成
して１枚の合成画像を作成する画像統合部を備え、画像
内文字列認識・翻訳部が、作成された前記合成画像に含
まれる文字列に対する翻訳結果を生成するようにしたも
のである。

【００２０】この発明に係る携帯端末型翻訳システム
は、携帯端末は、当該携帯端末の現在位置を取得してサ
ーバに送信するデータに加えるＧＰＳ部を備え、前記サ
ーバは、各施設の位置を格納した地図データを備え、前
記サーバの処理制御部が、受信した前記現在位置に基づ
いて前記地図データを参照することにより当該携帯端末
を所持するユーザが現在いる施設を特定し、当該サーバ
内で用いる各種の辞書を特定された前記施設に対応する
専用辞書に置き換えるようにしたものである。

【００２１】この発明に係る携帯端末型翻訳システム
は、携帯端末の処理指示部が、ユーザにより専用辞書の
種類を指定できるように構成し、指定された前記専用辞
書の種類をサーバに送信するデータに加え、前記サーバ
の処理制御部が、受信した前記専用辞書の種類に基づい
て当該サーバ内で用いる各種の辞書を指定された専用辞
書に置き換えるようにしたものである。

【００２２】この発明に係る携帯端末型翻訳システム
は、携帯端末は、画像バッファに蓄積されたカラー画像
あるいはグレースケール画像から文字列と背景を分離す
るように二値化した前処理後画像を作成し前記画像バッ
ファに蓄積する画像前処理部を備え、前記前処理後画像
をサーバに送信して翻訳結果を得るようにしたものであ
る。

【００２３】この発明に係る携帯端末型翻訳システム
は、携帯端末が、前処理後画像にノイズが含まれる場合
にはキー入力により前記ノイズを囲むノイズ除去対象領
域を指定できるように構成され、画像前処理部が、前記
ノイズ除去対象領域内の黒画素を白画素に変換して前処
理後画像を編集するようにしたものである。

【００２４】この発明に係る携帯端末は、翻訳処理を行
うサーバとデータ交換を行う携帯端末であって、画像撮
像部と、この画像撮像部により撮像した画像を蓄積する
画像バッファと、キーワードを入力するキー入力部と、
前記サーバへ依頼する処理サービスの種類を指定する処
理指示部と、前記画像バッファに蓄積された画像あるい
は入力されたキーワード、指定した前記処理サービスの
種類および前記携帯端末の関連情報からなるデータを前
記サーバに送信するデータ送信部と、前記サーバにおい
て認識された認識文字列および翻訳処理された翻訳結果
を受信する結果受信部と、受信した前記翻訳結果を表示
する表示部とを備えたものである。

【００２５】この発明に係る携帯端末は、翻訳処理を行
うサーバとデータ交換を行う携帯端末であって、画像撮
像部と、この画像撮像部により撮像した画像を蓄積する
画像バッファと、前記サーバへ依頼する処理サービスを
指示する処理指示部と、前記画像バッファに蓄積された
画像、前記処理サービスの指示および前記携帯端末の関
連情報からなるデータを前記サーバに送信するデータ送
信部と、前記サーバにおいて認識された認識文字列およ
び翻訳処理された翻訳結果を受信する結果受信部と、受
信した前記翻訳結果を表示する表示部とを備えたもので
ある。

【００２６】この発明に係る携帯端末は、翻訳処理を行
うサーバとデータ交換を行う携帯端末であって、キーワ
ードを入力するキー入力部と、前記サーバへ依頼する処
理サービスを指示する処理指示部と、入力されたキーワ
ード、前記処理サービスの指示および前記携帯端末の関
連情報からなるデータを前記サーバに送信するデータ送
信部と、前記サーバにおいて翻訳処理された翻訳結果を
受信する結果受信部と、受信した前記翻訳結果を表示す
る表示部とを備えたものである。

【００２７】この発明に係る携帯端末は、画像撮像部に
より一定の時間間隔で連続的に撮像され画像バッファに
蓄積した各画像を順次選択してデータ送信部に出力する
送信画像制御部を備え、表示部が、サーバから順次受信
する前記各画像に含まれる文字列の各翻訳結果を逐次表
示するようにしたものである。

【００２８】この発明に係る携帯端末は、送信制御部
が、画像バッファから順次読み出す画像について、新し
く撮像された画像とその一つ前に撮像された画像との差
を比較し、その差が閾値以下となった場合に前記新しく
撮像された画像を選択してデータ送信部に出力するよう
にしたものである。

【００２９】この発明に係る携帯端末は、ＧＰＳ機能に
より当該携帯端末の現在位置を取得してサーバに送信す
るデータに加えるＧＰＳ部を備えたものである。

【００３０】この発明に係る携帯端末は、サーバ内で使
用する専用辞書の種類をユーザにより指定できるように
構成し、指定された前記専用辞書の種類をサーバに送信
するデータに加えるようにしたものである。

【００３１】この発明に係る携帯端末は、画像バッファ
に蓄積されたカラー画像あるいはグレースケール画像か
ら文字列と背景を分離するように二値化した前処理後画
像を作成し前記画像バッファに蓄積する画像前処理部を
備え、前記画像バッファから読み出した前記前処理後画
像をサーバに送信して翻訳結果を得るようにしたもので
ある。

【００３２】この発明に係る携帯端末は、前処理後画像
にノイズが含まれる場合にはキー入力により前記ノイズ
を囲むノイズ除去対象領域を指定できるように構成さ
れ、画像前処理部が、前記ノイズ除去対象領域内の黒画
素を白画素に変換して前処理後画像を編集するようにし
たものである。

【００３３】この発明に係るサーバは、携帯端末とデー
タ交換を行うサーバであって、前記携帯端末から送信さ
れた画像あるいはキー入力されたキーワード、指定され
た処理サービスの種類および前記携帯端末の関連情報か
らなるデータを受信するデータ受信部と、受信した前記
画像に含まれる１個の文字列に対して複数個の文字列を
抽出し、抽出した前記複数個の文字列を翻訳してそれぞ
れの翻訳結果を生成する画像内文字列認識・翻訳部と、
前記キーワードに対する関連文を生成し、生成した前記
関連文を翻訳して翻訳結果を生成するテキスト翻訳部
と、前記指定された処理サービスの種類に従って前記画
像内文字列認識・翻訳部で処理するか、あるいは前記テ
キスト翻訳部で処理するかを切り替え制御する処理制御
部と、前記画像内文字列認識・翻訳部あるいは前記テキ
スト翻訳部で生成した翻訳結果を前記関連情報に基づい
て前記携帯端末に送信する結果送信部とを備えたもので
ある。

【００３４】この発明に係るサーバは、携帯端末とデー
タ交換を行うサーバであって、前記携帯端末から送信さ
れた画像、処理サービスの指示および前記携帯端末の関
連情報からなるデータを受信するデータ受信部と、受信
した前記画像に含まれる１個の文字列に対して複数個の
文字列を抽出し、抽出した前記複数個の文字列を翻訳し
てそれぞれの翻訳結果を生成する画像内文字列認識・翻
訳部と、受信したデータに含まれる前記処理サービスの
指示に従って前記画像内文字列認識・翻訳部を動作させ
る処理制御部と、前記画像内文字列認識・翻訳部あるい
は前記テキスト翻訳部で生成した翻訳結果を前記関連情
報に基づいて前記携帯端末に送信する結果送信部とを備
えたものである。

【００３５】この発明に係るサーバは、携帯端末とデー
タ交換を行うサーバであって、キー入力されたキーワー
ド、処理サービスの指示および前記携帯端末の関連情報
からなるデータを受信するデータ受信部と、前記キーワ
ードに対する関連文を生成し、生成した前記関連文を翻
訳して翻訳結果を生成するテキスト翻訳部と、受信した
データに含まれる前記処理サービスの指示に従って前記
テキスト翻訳部を動作させる処理制御部と、前記テキス
ト翻訳部で生成した翻訳結果を前記関連情報に基づいて
前記携帯端末に送信する結果送信部とを備えたものであ
る。

【００３６】この発明に係るサーバは、画像内文字列認
識・翻訳部が、異なる複数の条件で画像内の１個の文字
列を認識することにより複数個の文字列認識結果を生成
する画像内文字列認識部と、生成した前記複数個の文字
列認識結果をそれぞれ翻訳した複数個の翻訳結果を生成
する画像内文字列翻訳部とを有したものである。

【００３７】この発明に係るサーバは、画像内文字列認
識・翻訳部が、異なる複数の条件で画像内の１個の文字
列を認識することにより複数個の文字列認識結果を生成
すると共に、言語辞書を用いて前記複数個の文字列認識
結果に対してスペリングが類似する類似文字列を生成す
る画像内文字列認識部と、生成した前記文字列認識結果
と前記類似文字列のそれぞれを翻訳することにより複数
個の翻訳結果を生成する画像内文字列翻訳部とを有した
ものである。

【００３８】この発明に係るサーバは、テキスト翻訳部
が、キー入力部で入力したキーワードに基づいて関連文
辞書を参照して前記キーワードに関連性の高い複数個の
文章を生成する関連文生成部と、生成された前記複数個
の文章を翻訳することにより翻訳結果を生成する関連文
翻訳部とを有したものである。

【００３９】この発明に係るサーバは、連続的に受信さ
れた複数個の画像を合成して１枚の合成画像を作成する
画像統合部を備え、画像内文字列認識・翻訳部が、作成
された前記合成画像に含まれる文字列に対する翻訳結果
を生成するようにしたものである。

【００４０】この発明に係るサーバは、各施設の位置を
格納した地図データを備え、処理制御部が、受信したデ
ータに含まれる携帯端末の現在位置に基づいて前記地図
データを参照することにより当該携帯端末を所持するユ
ーザが現在いる施設を特定し、当該サーバ内で用いる各
種の辞書を特定された前記施設に対応する専用辞書に置
き換えるようにしたものである。

【００４１】この発明に係るサーバは、処理制御部が、
受信したデータに含まれる指定された専用辞書の種類に
基づいて当該サーバ内で用いる各種の辞書を指定された
専用辞書に置き換えるようにしたものである。

【００４２】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による携
帯端末型翻訳システムの構成を示すブロック図である。
図において、１０１は携帯端末、１０２はデータ送信
部、１０３はキー入力部、１０４は処理指示部、１０５
は画像撮像部、１０６は画像バッファ、１０７は表示
部、１０８は結果受信部である。１０９はサーバ、１１
０はデータ受信部、１１１は結果送信部、１１２は処理
制御部、１１３は画像内文字列認識・翻訳部、１１９は
テキスト翻訳部である。画像内文字列認識・翻訳部１１
３において、１１４は画像内文字列認識部、１１５は画
像内文字列翻訳部、１１６は画像内文字列翻訳結果生成
部、１１７は認識辞書、１１８は言語辞書、１２４は第
１翻訳辞書である。テキスト翻訳部１１９において、１
２０は関連文生成部、１２１は関連文翻訳部、１２２は
関連文翻訳結果生成部、１２３は関連文辞書、１２５は
第２翻訳辞書である。

【００４３】図２は画像の撮像状況を説明する説明図で
あり、２０１は文書、２０２はカメラ視野である。図３
は画像内文字列認識部の処理手順を示すフローチャート
である。図４は画像内文字列認識部の動作例を説明する
説明図で、４０１は撮像画像、４０２は前処理後画像、
４０３は抽出文字列、４０４は切出した文字パターン、
４０５は文字認識結果である。図５は誤りを含む文字認
識処理の例を説明する説明図で、５０１は切出した文字
パターン、５０２は誤りを含む文字認識結果である。図
６は画像内文字列翻訳部の動作例を説明する説明図で、
６０１は文字列認識結果、６０２は類似文字列、６０３
は文字列認識結果６０１を翻訳した文字列翻訳結果、６
０４は類似文字列６０２の文字列翻訳結果である。

【００４４】図７は画像内文字列翻訳結果生成部の動作
例を説明する説明図で、７０１は画像内文字列翻訳結果
の例である。図８は画像内文字列翻訳結果の表示例を示
す説明図で、８０１は認識文字列画像、８０２は画像内
文字列翻訳結果の画像である。図９はキーワード入力の
表示例を示す説明図で、９０１はキーワード入力エリ
ア、９０２は翻訳ボタン表示である。図１０は関連文辞
書の構成例を示す説明図で、１００１は関連文辞書デー
タである。図１１は関連文翻訳部の動作例を説明する説
明図で、１１０１は入力テキスト、１１０２は関連文、
１１０３，１１０４は文字列翻訳結果である。図１２は
関連文翻訳結果生成部の動作例を説明する説明図で、１
２０１は関連文翻訳結果生成部の出力結果である。図１
３は関連文翻訳結果の表示例を示す説明図で、１３０１
は翻訳結果である。

【００４５】次に動作について説明する。この翻訳シス
テムは携帯端末１０１とサーバ１０９で構成される。こ
の携帯端末１０１は、サーバ１０９とデータを送受信す
る通信機能を備えており、サーバ１０９に処理を依頼し
て、その処理結果を受信して表示することができる。こ
の携帯端末１０１とサーバ１０９間の通信は、無線でデ
ータを送受信する方式や赤外線通信でデータを送受信す
る方式または有線でデータを送受信する方式により行
う。ここで、サーバ１０９は２つのサービスを有する。
一つは携帯端末の画像撮像部１０５より撮像した画像に
含まれる文字列を翻訳するサービスであり、以降これを
画像内文字列認識・翻訳サービスと呼ぶ。もう一つは、
携帯端末のキー入力部１０３より入力したテキストの内
容を翻訳するサービスであり、以降、これをテキスト翻
訳サービスと呼ぶ。

【００４６】画像内文字列認識・翻訳サービスの動作を
説明する。ユーザは携帯端末１０１の画像撮像部１０５
により文字列を含む画像を撮像する。例えば、図２に示
すように携帯端末１０１を文書２０１の前に近づけて、
カメラ視野２０２の範囲を１枚の画像として撮像する。
この画像撮像部１０５は、携帯端末１０１に付属または
接続された画像撮像機能を持つＣＣＤやＣＭＯＳセンサ
等を備えたカメラであり、撮像した画像はカラー画像も
しくはグレースケール画像である。また、撮像する対象
は文書の一部あるいは看板や案内板等情景中の文字であ
る。画像撮像部１０５で撮像された画像は画像バッファ
１０６に蓄積される。

【００４７】次に、処理指示部１０４はサーバ１０９で
行う処理サービスの種類を指定する。この指定は、キー
入力部１０３からユーザが行うか、またはデフォルトの
設定を用いて自動的に行うようになっている。ここで
は、処理サービスの種類として、画像内文字列認識・翻
訳を指定する。処理指示部１０４により処理サービスが
指定されると、データ送信部１０２は、画像バッファ１
０６に蓄積された画像、処理指示部１０４で指定した処
理サービスの種類および携帯端末１０１に関する関連情
報（例えば、機種コード等）からなるデータをサーバ１
０９に送信する。

【００４８】サーバ１０９では、データ受信部１１０に
より携帯端末１０１のデータ送信部１０２から送信され
たデータを受信すると、処理制御部１１２に入力する。
処理制御部１１２は、指定した処理サービスの種類に応
じて以降の処理内容を切り替える。ここでは、前述した
ように画像内文字列認識・翻訳サービスを指定している
ので、画像内文字列認識・翻訳部１１３が動作するよう
に制御される。仮に処理指示部１０４でテキスト翻訳サ
ービスが指定されている場合には、テキスト翻訳部１１
９が動作するように制御されることになる。

【００４９】画像内文字列認識・翻訳部１１３では、ま
ず画像内文字列認識部１１４が動作し、携帯端末１０１
から送信されたデータの画像内の文字列を認識する。こ
の画像内文字列認識部１１４の具体的な動作を図３の処
理手順に従い説明する。まず、携帯端末１０１から送信
された画像に対して前処理を行い（ステップＳＴ２
１）、画像内の文字列と背景を分離した前処理後画像を
作成する。例えば、携帯端末１０１から図４に示すよう
なカラーの撮像画像４０１が送信された場合、この撮像
画像４０１に前処理を適用することで、背景を白色、文
字列を黒色とした白黒の前処理後画像４０２を得る。こ
のような前処理の実現方法については、論文“Ｔｅｘｔ
ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍ ｃｏｌｏｒ ｄｏ
ｃｕｍｅｎｔｓ − ｃｌｕｓｔｅｒｉｎｇ ａｐｐｒ
ｏａｃｈｅｓ ｉｎ ｔｈｒｅｅ ａｎｄ ｆｏｕｒ
ｄｉｍｅｎｓｉｏｎｓ”， Ｔ． Ｐｅｒｒｏｕｄ，
Ｋ． Ｓｏｂｏｔｔｋａ， Ｈ． Ｂｕｎｋｅ， Ｉｎ
ｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ
Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄＲｅｃｏ
ｇｎｉｔｉｏｎ （２００１）に開示されている。

【００５０】次に、前処理後画像から抽出して抽出文字
列を得る（ステップＳＴ２２）。例えば、図４の前処理
後画像４０２から抽出文字列４０３を抽出する。このよ
うな白黒の画像から文字列を抽出する処理には、従来の
ＯＣＲで既に実現されている方式が用いられる。ステッ
プＳＴ２２で抽出した抽出文字列の内容を文字認識する
（ステップＳＴ２３）。文字認識の方法としては、文字
列を構成する１文字のパターンを切出し、切出したパタ
ーンを認識辞書１１７と比較して文字コードに変換する
方法が広く知られている。ここで、切出したパターンを
文字コードに変換する際に、言語辞書１１８を参照する
ことにより、言語的に整合性の高い文字認識結果を得る
ことができる。この方法も一般的である。例えば、図４
に示す抽出文字列４０３に本処理を適用した場合、まず
１文字づつ切出した文字パターン４０４を得、それら文
字パターン４０４を文字コードに変換することで、テキ
スト化された文字認識結果４０５を得る。

【００５１】以上の処理により、画像内の文字列に対す
る文字列認識結果（テキスト）を得ることができる。た
だし、対象とする画像の解像度が低く、品質の悪い場合
や、認識対象とする文字列が飾り文字である場合には、
文字認識結果を誤ることが多い。例えば図５に示すよう
に、切出した文字パターン５０１に誤りが生じ、その結
果として誤った文字認識結果５０２を得ることがある。
この問題に対処するため、処理パラメータを変更してス
テップＳＴ２１〜ＳＴ２３の処理を複数回繰り返し、複
数個の文字認識結果を得る（ステップＳＴ２４）。例え
ば、図４の抽出文字列４０３に対して処理パラメータを
変えてステップＳＴ２１〜ＳＴ２３の処理を２回繰り返
すことで、図６で示すように、２個の文字列認識結果６
０１として“Ｓｔｒａｔｅｇｉｃ”と“Ｓｔｒａｎｇｅ
ｒ”を得る。このように、複数個の文字列認識結果を取
得すれば、その中に正解の文字列認識結果が含まれる可
能性は高い。しかし、ステップＳＴ２４で得た複数個の
文字列認識結果にも正解が含まれない場合がある。そこ
で、言語辞書１１８を参照して、ステップＳＴ２４で得
た複数個の文字列認識結果とスペリングが類似した文字
列を複数個抽出する（ステップＳＴ２５）。例えば図６
に示すように、ステップＳＴ２４で得た２個の文字列認
識結果６０１から、スペリングの類似した３個の類似文
字列６０２を作成する。

【００５２】画像内文字列認識部１１４は、ステップＳ
Ｔ２４で得た複数個の文字列認識結果とステップＳＴ２
５で得た複数個の類似文字列とを合せて画像内文字列翻
訳部１１５に出力する（ステップＳＴ２６）。このよう
に複数個の文字列認識結果とそれらの文字列認識結果に
対する複数個の類似文字列とを出力するため、その中に
正解の文字列認識結果が含まれる可能性が一層高くな
る。以上が画像内文字列認識部１１４の動作である。

【００５３】次に画像内文字列翻訳部１１５は、翻訳に
必要な情報を格納した第１翻訳辞書１２４を参照して、
画像内文字列認識部１１４で得た複数個の文字列認識結
果を翻訳し、文字列翻訳結果を得て画像内文字列翻訳結
果生成部１１６に出力する。この翻訳処理は、例えば図
６に示すように、画像内文字列認識部１１４で得た文字
列認識結果６０１と類似文字列６０２に対して、それぞ
れ翻訳した文字列翻訳結果６０３，６０４を得る。

【００５４】画像内文字列翻訳結果生成部１１６は、画
像内文字認識部１１４で得た文字列認識結果と類似文字
列、および画像内文字列翻訳部１１５で得た文字列翻訳
結果をまとめ、携帯端末１０１に対して送信するための
データとして画像内文字列翻訳結果を作成する。例え
ば、図７の画像内文字列翻訳結果７０１は、図４に示す
撮像画像４０１に対して得られたものである。この画像
内文字列翻訳結果７０１は、前処理後画像４０２から切
出した抽出文字列４０３の位置座標（例えば、文字列を
囲む外接矩形の左上点ｘ，ｙ座標と外接矩形の幅ｗ、高
さｈ）を持つ。加えて、画像内文字認識部１１４で得た
文字列認識結果と類似文字列、および画像内文字列翻訳
部１１５で得た文字列翻訳結果を持つ。サーバ１０９
は、画像内文字列翻訳結果生成部１１６で作成した文字
列翻訳結果を結果送信部１１１から携帯端末１０１に送
信する。

【００５５】ここで文字列認識結果と類似文字列、およ
び文字列翻訳結果のデータ形式はテキストか、または画
像である。例えば、携帯端末１０１が文字列認識結果を
構成する言語の文字を表示する機能を持たない場合、そ
の文字列認識結果の描かれた画像を画像内文字列翻訳結
果に用いる。同様に、携帯端末１０１が文字列翻訳結果
を構成する言語の文字を表示する機能を持たない場合、
その文字列翻訳結果の描かれた画像を画像内文字列翻訳
結果に用いる。ここで、携帯端末１０１が特定の言語の
文字を表示する機能を持つか否かの判定は、携帯端末１
０１の持つデータ送信部１０２から送信された携帯端末
に関する関連情報（機種コード等）に基づいて行う。

【００５６】次に、携帯端末１０１では、まず結果受信
部１０８が、サーバ１０９の結果送信部１１１から送信
された画像内文字列翻訳結果を受信する。その後、表示
部１０７は、画像バッファ１０６に蓄積した撮像画像と
受信した画像内文字列翻訳結果を基に、撮像画像に含ま
れる文字列の翻訳結果を表示部１０７に表示する。この
表示部１０７は、液晶ディスプレイ等の文字や画像を表
示することのできる表示装置である。例えば図８に示す
ように、表示部１０７上に認識した文字列を表す認識文
字列画像８０１を表示し、同時に、文字列認識結果、類
似文字列および文字列翻訳結果からなる画像内文字列翻
訳結果の画像８０２を表示する。以上が、画像内文字列
認識・翻訳サービスの実行例である。

【００５７】テキスト翻訳サービスの動作を説明する。
携帯端末１０１において、まずユーザがキー入力部１０
３により、翻訳したいテキストを入力する。ただし、一
般の携帯端末ではテキストの入力に手間を要するため、
ここではテキストの内容に関連したキーワードを入力す
る。例えば「次のバスは何時に出発しますか？」という
テキストを翻訳したい場合、キーワードとして「バス」
と「時間」を入力する。図９は携帯端末でキーワードを
入力した例であり、入力したキーワードが表示部１０７
上のキーワード入力エリア９０１に表示されている。キ
ーワードを入力した後、ユーザがキー入力部１０３を操
作して表示部１０７上に表示された翻訳ボタン表示９０
２を実行すると、翻訳のための処理を開始する。

【００５８】処理指示部１０４はサーバ１０９で行う処
理サービスの種類を指定する。ここでは処理サービスの
種類として、テキスト翻訳サービスを指定する。する
と、データ送信部１０２は、キーワード入力エリア９０
１に入力されたキーワード、処理指示部１０４で指定し
た処理サービスの種類および携帯端末１０１に関する関
連情報（例えば、機種コード等）をサーバ１０９に送信
する。

【００５９】サーバ１０９において、データ受信部１１
０が携帯端末１０１のデータ送信部１０２から送信され
たデータを受信し、処理制御部１１２に入力する。処理
制御部１１２は、処理指示部１０４で指定した処理サー
ビスの種類に応じて以降の処理内容を切り替える。ここ
では、処理指示部１０４でテキスト翻訳サービスが指定
されているため、テキスト翻訳部１１９が動作するよう
に制御する。

【００６０】テキスト翻訳部１１９では、まず関連文生
成部１２０が動作し、携帯端末１０１から送信されたキ
ーワードと関連文辞書１２３のデータとを基に、キーワ
ードから類推される文章（以降、関連文と呼ぶ）を生成
する。ここで関連文辞書１２３は、例えば図１０に示す
ような関連文辞書データ１００１を持つ。この関連文辞
書データは多数の関連文と、その索引を格納したもので
ある。関連文生成部１２０は、この索引とデータ送信部
１０２から送信されたキーワードとを比較し、索引にキ
ーワードを含む関連文を関連文辞書１２３から読み出し
関連文翻訳部１２１に出力する。例えば、キーワードが
「バス」と「時間」の場合、関連文辞書データ１００１
における関連文Ｎｏ．１「次のバスはいつ出発しますか
？」と関連文Ｎｏ．２「バスでどれくらい時間がかかり
ますか？」を出力する。

【００６１】関連文翻訳部１２１は、データ送信部１０
２から送信されたキーワードと関連文生成部１２０で得
た関連文を、第２翻訳辞書１２５を用いて翻訳する。例
えば、図１１に示すキーワードに該当する入力テキスト
１１０１と関連文１１０２に対して翻訳処理を行い、そ
れぞれ文字列翻訳結果１１０３，１１０４を得て関連文
翻訳結果生成部１２２に出力する。このようなテキスト
を翻訳する機能は、一般の翻訳ソフトで既に実現されて
いる方法である。

【００６２】関連文翻訳結果生成部１２２は、データ送
信部１０２から送信されたキーワード、関連文生成部１
２０で得た関連文および関連文翻訳部１２１で得た文字
列翻訳結果をまとめて、携帯端末１０１に送るデータと
して関連文翻訳結果を作成し、結果送信部１１１に出力
する。例として、図１２の関連文翻訳結果１２０１が示
される。ここには、「キーワードと関連文」およびそれ
らの「翻訳結果」が対応付けて格納されている。結果送
信部１１１は、関連文翻訳結果生成部１２２で作成した
関連文翻訳結果を携帯端末１０１に送信する。

【００６３】ここで、翻訳結果のデータ形式は、テキス
トか画像である。例えば、携帯端末１０１が翻訳結果を
構成する言語の文字を表示する機能を持たない場合、そ
の翻訳結果の描かれた画像を関連文翻訳結果に用いる。
ここで、携帯端末１０１が特定の言語の文字を表示する
機能を持つか否かの判定は、携帯端末１０１の持つデー
タ送信部１０２から送信された携帯端末に関する関連情
報（機種コード等）に基づいて行う。

【００６４】携帯端末１０１は、結果受信部１０８によ
り関連文翻訳結果を受信し、表示部１０７に与える。表
示部１０７は、受信した関連文翻訳結果の内容を表示す
る。例えば図１３に示すように、表示部１０７はテキス
ト、関連分およびそれらの翻訳結果からなる翻訳結果１
３０１が表示される。以上が、テキスト翻訳サービスの
実行例である。

【００６５】以上のように、この実施の形態１によれ
ば、画像内文字列に対する翻訳と入力したテキストに対
する翻訳の両方に対応できるシステムを実現する効果が
得られる。画像内文字列認識・翻訳サービスにおいて、
画像内文字列認識部１１４は、画像内の文字列から複数
個の文字認識結果と複数個の類似文字列を作成し、画像
内文字列翻訳部１１５では、それら複数個の文字認識結
果と複数個の類似文字列に対するそれぞれの翻訳結果を
作成し、これら複数個の翻訳結果を携帯端末１０１に送
信して表示部１０７に表示するようにしたので、文字認
識が困難で解像度が低い品質の悪い画像内の文字や飾り
文字に対しても正解率の高い翻訳結果を出せる効果が得
られる。また、テキスト翻訳サービスでは、携帯端末１
０１で入力したキーワードから複数個の関連文を生成
し、それらの翻訳結果を携帯端末１０１の表示部１０７
に表示するようにしたので、翻訳したい全てのテキスト
を入力する必要がなく、面倒なテキスト入力の手間を削
減できると共に、正解率の高い要求する文章の翻訳結果
を得ることができる効果が得られる。

【００６６】実施の形態２．上記実施の形態１の画像内
文字列認識・翻訳サービスでは、ユーザが携帯端末１０
１で１枚の画像を撮像した後、その画像をサーバ１０９
に送信して、その画像内に含まれる文字列の翻訳結果を
得る。そのため、一度に多数の文字列を翻訳する場合、
ユーザは翻訳したい文字列上にカメラの視野を移動させ
てシャッターを押す作業を何度も繰り返す必要があり、
手間を要する。この課題は、ユーザが撮像を開始する
と、その後は一定の時間間隔で自動的に撮像を行い、そ
の撮像した画像を逐次サーバ１０９で翻訳することによ
り、半リアルタイムに翻訳結果を得るようにできれば解
決できる。実施の形態２はこれを実現するものである。

【００６７】実施の形態２について図１４から図１７を
用いて説明する。図中、実施の形態１の各図と共通な部
分は同一の符号を付し、その説明を原則として省略す
る。図１４は実施の形態２による携帯端末型翻訳システ
ムの構成を示すブロック図で、１４０１は送信画像制御
部である。図１５は連続的な画像の撮像状況を示す説明
図で、１５０１はカメラ視野、１５０２はカメラ視野の
移動軌跡である。図１６は連続的に撮像された画像例を
示す説明図で、１６０１は連続的に撮像した画像であ
る。図１７は送信画像制御部の動作を説明する説明図
で、１７０１は分割領域である。

【００６８】次に動作について説明する。携帯端末１０
１において、画像内文字列認識・翻訳サービスを実行す
る際、画像撮像部１０５が文字列を含む画像を撮像す
る。実施の形態１と異なり、画像撮像部１０５は１度画
像を撮像した後、一定の時間間隔で連続的に画像を撮像
する。画像撮像部１０５で撮像した画像は、毎回、画像
バッファ１０６に蓄積される。この画像バッファ１０６
には１枚以上の画像を蓄積することができる。次に、送
信画像制御部１４０１は、まず画像バッファ１０６に蓄
積された画像の１枚を選択するが、この段階では、最初
に撮像された画像を選択する。処理指示部１０４は、実
施の形態１と同様にサーバ１０９で行う処理サービスの
種類を指定する。ここでは、処理サービスの種類として
画像内文字列認識・翻訳を指定することとする。

【００６９】データ送信部１０２は、送信画像制御部１
４０１で選択した画像、処理指示部１０４で指定した処
理サービスの種類および携帯端末１０１に関する関連情
報（例えば、機種コード等）をサーバ１０９に送信す
る。サーバ１０９では、実施の形態１と同様に、データ
送信部１０２で送信した撮像画像に含まれる文字列を翻
訳して、その処理によって得られた画像内文字列翻訳結
果を携帯端末１０１に送信する。その後、実施の形態１
と同様に、携帯端末１０１において、結果受信部１０８
がサーバ１０９からの画像内文字列翻訳結果を受信して
表示部１０７により受信した翻訳結果を表示する。

【００７０】次に、携帯端末１０１において、送信画像
制御部１４０１は画像バッファ１０６に蓄積された別の
画像（今翻訳した画像の次に撮像された画像）を選択
し、同様にサーバ１０９に対して画像内文字列認識・翻
訳サービスを依頼し、その翻訳結果を受け取って表示部
１０７に表示する。以降、画像バッファ１０６に蓄積さ
れた残りの画像に対して、同様に一連の処理を順次繰り
返す。

【００７１】上記の一連の処理を繰り返している間、翻
訳したい文章を全て撮像するために、携帯端末１０１の
カメラ視野１５０１を、図１５に示すように移動軌跡１
５０２に従って移動させていたとする。その結果、図１
６に示すような１１個の撮像画像１６０１が得られる。
ｔは時間を表し、ｔ＝０が最初に撮像された画像を示
し、ｔ＝１０が最後に撮像された画像を示す。これら各
々の撮像画像１６０１は、サーバ１０９に送信され、最
初に撮像された画像から順番に逐次翻訳され、その各翻
訳結果が携帯端末１０１の表示部１０７上に表示され
る。

【００７２】なお、ここで送信画像制御部１４０１は、
撮像された順に全ての画像を選択すると説明したが、全
ての画像を選択してサーバ１０９に画像内文字列認識・
翻訳サービスを依頼することは、送信するデータ量の増
加と、サーバ１０９の処理量増加を招く。そこで、別の
基準に従って選択する画像を絞り込んでも良い。例え
ば、送信画像制御部１４０１は、画像バッファ１０６に
蓄積された画像に対して、図１７に示すように、縦と横
にＮ等分した分割領域１７０１を作成し、分割領域毎の
輝度を求める。そして、新しく撮像された画像と、その
一つ前に撮像された画像とで分割領域毎の輝度値の差を
計算し、差の合計値が閾値以下となる場合に、新しく撮
像された画像を選択する。これにより、カメラの移動が
停止した時点で撮像された画像のみが選択され、ユーザ
が翻訳したい文字列を含む画像のみをサーバに送信する
ことができる。図１７の例では、時間ｔ＝１、ｔ＝５、
ｔ＝７、ｔ＝１０の撮像画像１６０１が選択されること
になる。

【００７３】以上のように、実施の形態２によれば、ユ
ーザが撮像を開始すると、その後は一定の時間間隔で自
動的に撮像を行い、サーバ１０９側で、その撮像した画
像を逐次翻訳する。これにより、一度に多数の文字列を
翻訳する場合、ユーザは翻訳したい文字列上にカメラの
視野を移動させてシャッターを押す作業を何度も繰り返
す必要がなく、ユーザの手間を削減すると共に、半リア
ルタイムに翻訳結果を得ることができる効果が得られ
る。また、送信画像制御部１４０１は、撮像された画像
とその一つ前に撮像された画像との間で画像の変化量を
求め、その変化量が閾値以下の場合となる画像を選択し
てサーバ１０９に送信するので、ユーザが翻訳したい文
字列を含む画像のみに対する翻訳結果を得ることがで
き、かつデータ送信量とサーバ１０９の処理量を削減す
る効果が得られる。

【００７４】実施の形態３．上記実施の形態１と２の画
像内文字列認識・翻訳サービスでは、翻訳したい文字列
を１枚の画像内に含む必要がある。しかし、携帯端末１
０１のカメラで撮像した画像は解像度が低いため、長い
文字列や文章を１枚の画像内に納めることが困難であ
る。そのため翻訳可能な文字列の長さが制限されること
になる。このような課題は、携帯端末１０１から文字列
や文章の断片を撮像した複数枚の画像をサーバ１０９に
送信し、サーバ１０９側で、これらの複数枚の画像から
１枚の大きな合成画像を作成し、この合成画像に含まれ
る文字列を翻訳するようにすれば解決できる。実施の形
態３はこれを実現するものである。

【００７５】以下、この発明の実施の形態３について図
１５、図１６、図１８および図１９を用いて説明する
が、図中、実施の形態１と２の各図と共通な部分は同一
の符号を付し、その説明を原則的には省略する。図１８
はこの発明の実施の形態３による携帯端末型翻訳システ
ムの構成を示すブロック図で、１８０１は画像統合部で
ある。図１９は画像統合部の動作例を説明する説明図
で、１９０１は合成画像、１９０２は合成画像に対応す
る前処理後画像、１９０３は抽出文字列、１９０４は文
字列認識結果、１９０５は類似文字列である。

【００７６】次に動作について説明する。画像内文字列
認識・翻訳サービスを実行する際、まず携帯端末１０１
では、実施の形態２と同様に一定の時間間隔で画像を取
得し、それら複数の画像を画像バッファ１０６に蓄積す
る。例えば、図１５に示したようにカメラ視野の移動軌
跡１５０２に従ってカメラ視野１５０１を移動させた場
合、複数個の撮像画像１６０１が画像バッファ１０６に
蓄積される。

【００７７】次に、処理指示部１０４はサーバ１０９で
行う処理サービスの種類を指定する。ここでは処理サー
ビスの種類として画像内文字列認識・翻訳サービスを指
定すると共に、その実行条件として「合成画像を作成す
る」と指定する。この指定は、キー入力部１０３から人
間が行うか、もしくはデフォルトの設定を用いて自動的
に行う。これにより、データ送信部１０２は、画像バッ
ファ１０６に蓄積された複数個の画像、処理指示部１０
４で指定した処理サービスの種類および実行条件、さら
に携帯端末１０１に関する関連情報（例えば、機種コー
ド等）をサーバ１０９に送信する。

【００７８】サーバ１０９では、まずデータ受信部１１
０がデータ送信部１０２から送信されたデータを受信
し、処理制御部１１２は、指定された処理サービスの種
類に応じて以降の処理内容を切り替える。また、画像内
文字列認識・翻訳サービスが指定されている場合、画像
統合部１８０１も動作する。画像統合部１８０１は、指
定した処理サービスの実行条件に「合成画像を作成す
る」との指定がある場合、受信された複数個の画像を合
成して１枚の合成画像を作成する。例えば、図１６に示
す複数個の撮像画像１６０１を合成することで、図１９
に示す合成画像１９０１を得る。このように複数の断片
的な画像から１枚の大きな合成画像を作成する処理は、
既に市販のディジタルカメラや画像処理ソフトに搭載さ
れており、これらの方式を用いて実現することができ
る。

【００７９】以降、画像統合部１８０１で作成した合成
画像を対象として、画像内文字列認識部１１４が動作す
る。この画像内文字列認識部１１４では実施の形態１お
よび２と同様な処理を行う。例えば図１９に示すよう
に、合成画像１９０１から前処理後画像１９０２を作成
し、この前処理後画像１９０２から抽出文字列１９０３
を抽出する。そして、この抽出文字列１９０３に対して
複数個の文字列認識結果１９０４と類似文字列１９０５
を得る。次に、画像内文字列翻訳部１１５は、実施の形
態１および２と同様に、画像内文字列認識部１１４で得
た複数個の内文字列認識結果と類似文字列に対するそれ
ぞれの文字列翻訳結果を生成する。

【００８０】文字列翻訳結果が得られると、画像内文字
列翻訳結果生成部１１６は、画像内文字列翻訳結果を作
成する。実施の形態１および２では、画像内文字列翻訳
結果は、図７に示したように文字列位置座標、文字列認
識結果、類似文字列および文字列翻訳結果を持つ。この
実施の形態３では、合成画像から抽出した抽出文字列も
画像内文字列翻訳結果に追加する。その後、実施の形態
１および２と同様に、画像内文字列翻訳結果生成部１１
６で作成した画像内文字列翻訳結果を結果送信部１１１
により携帯端末１０１に送信する。

【００８１】携帯端末１０１では、結果受信部１０８
が、サーバ１０９送信された画像内文字列翻訳結果を結
果受信部１０８で受信し、表示部１０７に与えて表示す
る。この表示結果としては、図８に示したと同様に、合
成画像から抽出した認識文字列画像８０１を表示し、文
字列認識結果、類似文字列および文字列翻訳結果を含む
画像内文字列翻訳結果の画像８０２を表示する。

【００８２】以上のように、この実施の形態３によれ
ば、携帯端末１０１から文字列や文章の断片を撮像した
複数枚の画像をサーバ１０９に送信すると、サーバ１０
９はこれらの画像を統合して１枚の大きな合成画像を作
成し、この合成画像に含まれる文字列を認識して抽出し
翻訳するようにしたので、これによりカメラの視野に納
まらない長い文字列や文章の内容を翻訳できる効果が得
られる。

【００８３】実施の形態４．上記実施の形態１から３に
おいて、サーバが持つ文字列認識処理や翻訳処理は、一
般用語を対象としたものである。しかし、例えば海外の
レストランに入って郷土料理の名前を翻訳したい場合、
あるいは海外の病院で診断書に記入された病名を翻訳し
たい場合等では、専門性の高い用語を翻訳する必要があ
る。このような場合は、十分な文字認識性能および翻訳
性能を得ることが困難である。この課題に対しては、ユ
ーザの指定や携帯端末のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓ
ｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能から得られたユ
ーザの現在位置を基に、文字認識処理や翻訳処理に用い
る各種辞書を適切な専門用語辞書に置き換えて処理を行
うことで解決できる。実施の形態４はこれを実現するも
のである。

【００８４】以下、実施の形態４について図２０および
図２１を用いて説明する。図中、実施の形態１から３と
共通な部分は同一の符号を付し、原則としてその説明を
省略する。図２０は実施の形態４による携帯端末型翻訳
システムの構成を示すブロック図で、２００１はＧＰＳ
部、２００２は専用認識辞書、２００３は専用言語辞
書、２００４は第１専用翻訳辞書、２００５は専用関連
文辞書、２００６は第２専用翻訳辞書、２００７は地図
データである。図２１は認識条件指定の例を示す説明図
で、２１０１は選択画面である。

【００８５】次に動作について説明するが、まず、画像
内文字列認識・翻訳サービスを実行する場合について説
明する。ここでは実施の形態１から３と同様な処理によ
り、画像撮像部１０５が文字列を含む画像を撮像して撮
像画像を画像バッファ１０６に蓄積する。その後、送信
画像制御部１４０１は、画像バッファ１０６に蓄積され
た１枚の画像を選択する。処理指示部１０４はサーバ１
０９で行う処理サービスの種類とその実行条件を指定す
る。ここでは、処理サービスの種類として画像内文字列
認識・翻訳サービスを指定する。

【００８６】また、ＧＰＳ部２００１は、ＧＰＳ機能に
より人工衛星の発信した電波から所持している携帯端末
１０１の現在位置を取得する。データ送信部１０２は、
送信画像制御部１４０１で選択した画像と、処理指示部
１０４で指定した処理サービスの種類および携帯端末１
０１に関する情報をサーバ１０９に送信する。ここで携
帯端末１０１に関する情報としては、関連情報（例、機
種コード）とＧＰＳ部２００１で取得した携帯端末１０
１の現在位置とが含まれる。

【００８７】サーバ１０９では、実施の形態１から３と
同様に、データ送信部１０２で送信した撮像画像に含ま
れる文字列を翻訳して、その結果を携帯端末１０１に送
信する。ただしその際、処理制御部１１２は、ＧＰＳ部
２００１で取得した携帯端末１０１の現在位置に基づい
て地図データ２００７の内容を参照して、携帯端末を所
持するユーザが現在いる施設を特定する。そして、画像
内文字列認識・翻訳部１１３で用いる各種の辞書を、特
定された施設に対応する専用辞書に置き換える。具体的
には、図１に示された認識辞書１１７と言語辞書１１８
と第１翻訳辞書１２４を、専用認識辞書２００２と専用
言語辞書２００３と第１専用翻訳辞書２００４にそれぞ
れ置き換える。

【００８８】ここで、地図データ２００７には各種施設
の位置情報が格納されており、ＧＰＳ部２００１で取得
した携帯端末１０１の現在位置から、ユーザがどの施設
にいるかを知ることができる。したがって、処理制御部
１１２は、その施設に対応した専用辞書を選択する。例
えば、ユーザがレストランにいる場合は、レストランで
使用される確率が高い郷土料理のメニュー等を含んだ専
用辞書を選択する。以降、画像内文字列認識・翻訳部１
１３では、各専用辞書２００２，２００３，２００４を
用いて、実施の形態１から３と同様な処理を行う。そし
て、処理した翻訳結果を携帯端末１０１に送り、表示部
１０７で表示する。以上が実施の形態４における画像内
文字列認識・翻訳サービスの動作である。

【００８９】次に、テキスト翻訳サービスの動作を説明
する。まず実施の形態１と同様に、ユーザがキー入力部
１０３により翻訳するキーワードを入力し、処理指示部
１０４はサーバ１０９で行う処理サービスの種類として
テキスト翻訳サービスを指定する。データ送信部１０２
は、キー入力部１０３で入力したキーワード、処理指示
部１０４で指定した処理サービスの種類および携帯端末
１０１に関する情報（機種コードと、ＧＰＳ部２００１
で取得したユーザの現在位置）をサーバ１０９に送信す
る。

【００９０】以降、実施の形態１と同様な処理で翻訳処
理を行い、その結果を携帯端末１０１の表示部１０７に
表示する。ただし、処理制御部１１２は、データ送信部
１０２で指定された処理サービスの種類がテキスト翻訳
サービスである場合、ＧＰＳ部２００１で取得した携帯
端末１０１の現在位置に基づいて地図データ２００７の
内容を参照し、携帯端末１０１を所持するユーザが現在
いる施設を特定する。そして、テキスト翻訳部１１９で
用いる各種の辞書を特定された施設に対応する専用辞書
に置き換える。具体的には、図１に示された関連文辞書
１２３と第２翻訳辞書１２５を、専用関連文辞書２００
５と第２専用翻訳辞書２００６にそれぞれ置き換える。
以上が本実施の形態におけるテキスト翻訳サービスの動
作である。

【００９１】なお、上記の動作説明では、処理制御部１
１２はＧＰＳ部２００１で得たユーザの現在位置と地図
データ２００７に基づいて専用辞書の種類を選択すると
したが、代りに携帯端末１０１から直接に専用辞書の種
類を指定するようにしても良い。例えば、処理指示部１
０４により、表示部１０７に図２１に示すような専用辞
書の種類を表す選択画面２１０１を表示し、ユーザがそ
の中から希望する専用辞書の種類を指定できるようにす
る。そして、データ送信部１０２がサーバ１０９に対し
て画像内文字列認識・翻訳サービスやテキスト翻訳サー
ビスを依頼する際に、処理指示部１０４によりユーザが
指定した専用辞書の種類を送信データに付けてサーバ１
０９へ送信する。これにより、処理制御部１１２は、ユ
ーザが指定した専用辞書を選択し画像内文字列認識・翻
訳部１１３やテキスト翻訳部１１９の処理を実行するよ
うにする。

【００９２】以上のように、この実施の形態４によれ
ば、ユーザにより指定するか、あるいはＧＰＳ部２００
１で得た携帯端末１０１の現在位置とサーバ１０９の持
つ地図データ２００７に基づいてユーザが現在いる施設
を特定し、サーバの文字列認識処理や翻訳処理に用いる
各種辞書を適切な専用辞書に置き換えるようにしたの
で、これにより翻訳結果の性能を向上させる効果が得ら
れる。

【００９３】実施の形態５．上記実施の形態１から４に
おける画像内文字列認識・翻訳サービスでは、携帯端末
１０１からサーバ１０９に対して画像撮像部１０５で撮
像したカラー画像もしくはグレースケール画像を送信し
た。しかし、カラー画像やグレースケール画像はデータ
量が大きいため送信に時間を要する。この課題は、デー
タサイズを削減した画像を作成してサーバに送信するこ
とで解決できる。実施の形態５はこれを実現するもので
ある。

【００９４】以下、実施の形態５について図２２から図
２４を用いて説明する。図中、実施の形態１から４と共
通な部分は同一の符号を付し、原則としてその説明を省
略する。図２２は実施の形態５による携帯端末型翻訳シ
ステムの構成を示すブロック図で、２２０１は画像前処
理部である。図２３は画像前処理部の動作を説明する説
明図で、２３０１は撮像画像、２３０２は前処理後画像
である。図２４は画像前処理部における画像補正処理を
説明する説明図で、２４０１はノイズ、２４０２はノイ
ズ除去後の前処理後画像、２４０３はノイズ除去対象領
域である。

【００９５】次に動作について説明する。まず、実施の
形態１から４と同様に、画像撮像部１０５は文字列を含
む画像を撮像し、画像バッファ１０６は画像撮像部１０
５で撮像した画像を蓄積する。次に、画像前処理部２２
０１は、画像バッファ１０６に蓄積された撮像画像に対
して画像処理を行い、画像のデータ量を削減する。この
画像処理は、サーバ１０９の画像内文字列認識部１１４
の処理手順に含まれる前処理（図３のステップＳＴ２
１）と同じである。例えば、図２３に示すように、画像
バッファ１０６に蓄積された画像２３０１に対して前処
理を適用すると、文字列部分を黒く背景部分を白くした
白黒の前処理後画像２３０２を得る。このような色数が
白黒の二色しかない二値化した画像は、画像撮像部１０
５で撮像したカラー画像やグレースケール画像に比べて
データ量が小さい。このようにデータ量を削減した前処
理後画像は再び画像バッファ１０６に蓄積される。

【００９６】また、画像撮像部１０５で撮像した画像上
にノイズが含まれると、そのノイズが前処理後の画像に
残る場合がある。例えば図２４では、ノイズ２４０１が
前処理後画像２３０２上に黒く残っている。このような
ノイズ２４０１は、文字認識処理における誤認識の原因
となる。そのため、画像前処理部２２０１は、前処理後
画像からユーザがノイズを削除できる機能を持つ。例え
ば、前処理後画像を表示部１０７に表示して、ユーザは
これを目視でチェックする。そしてノイズを発見した場
合は、図２４に示すようにノイズ２４０１を囲む矩形の
ノイズ除去対象領域２４０３を指定する。この指定はキ
ー入力部１０３を操作して行う。矩形のノイズ除去対象
領域２４０３が指定されると、画像前処理部２２０１は
ノイズ除去対象領域２４０３内の黒画素を白画素に変換
し、ノイズの無い前処理後画像２４０２に編集する。

【００９７】その後、携帯端末１０１から画像内文字列
認識・翻訳サービスをサーバ１０９に依頼する際は、デ
ータ送信部１０２は画像バッファ１０６に蓄積された前
処理後画像をサーバ１０９に送信する。以降の処理は実
施の形態１から４と同じである。ただし、実施の形態１
から４ではサーバ１０９で行っていた前処理を既に携帯
端末１０１で行っているため、この実施の形態５のサー
バ１０９では前処理をスキップする。サーバ１０９は、
この前処理後画像を受信して、含まれる文字列を認識
し、その翻訳結果を得て携帯端末１０１に送信する。以
上が実施の形態５の動作である。

【００９８】以上のように、この実施の形態５によれ
ば、携帯端末１０１の画像前処理部２２０１で前処理を
行い、カラー画像あるいはグレースケール画像から文字
列と背景を分離するように二値化した前処理後画像を作
成しサーバ１０９に送信し、前処理後画像に含まれる文
字列を翻訳するようにしたので、データ量を削減でき、
カラー画像やグレースケール画像に起因する送信時間を
削減すると共に、サーバ１０９での処理時間の短縮化が
図れる効果が得られる。また前処理後画像にノイズが含
まれる場合には、ノイズを除去した前処理後画像を得る
ようにしたので、サーバ１０９側の文字認識処理時にお
ける誤認識を引き起こす原因を取り除くことができる効
果が得られる。

【００９９】各実施の形態について説明してきたが、こ
れらの例は、画像撮像部で撮像した画像に含まれる文字
列に対する翻訳処理と、キー入力部で入力したキーワー
ドについて関連文生成してその関連文に対する翻訳処理
とを共に持つ構成についてであった。これらの翻訳処理
はシステムとして別々に成り立つものである。また、サ
ーバ側が両方の処理ができる構成を備えているが、携帯
端末側がいずれか一方の処理だけを行うデータを送る構
成となる場合もある。ただし、その場合には、処理指示
部や処理制御部等の機能は若干変更されることになる。

【０１００】

【発明の効果】以上のように、この発明によれば、携帯
端末とこの携帯端末とデータ交換を行うサーバとからな
り、携帯端末は、画像撮像部と、この画像撮像部により
撮像した画像を蓄積する画像バッファと、キーワードを
入力するキー入力部と、サーバへ依頼する処理サービス
の種類を指定する処理指示部と、画像バッファに蓄積さ
れた画像あるいはキー入力部により入力されたキーワー
ド、指定された処理サービスの種類および携帯端末の関
連情報からなるデータをサーバに送信するデータ送信部
と、サーバにおいて翻訳処理された翻訳結果を受信する
結果受信部と、受信した翻訳結果を表示する表示部とを
備え、サーバは、携帯端末から送信されたデータを受信
するデータ受信部と、受信した画像に含まれる１個の文
字列に対して複数個の文字列を抽出し、抽出した複数個
の文字列を翻訳してそれぞれの翻訳結果を生成する画像
内文字列認識・翻訳部と、受信したキーワードに対する
関連文を生成し、生成された関連文を翻訳して翻訳結果
を生成するテキスト翻訳部と、受信したデータに含まれ
る指定された処理サービスの種類に従って画像内文字列
認識・翻訳部で処理するか、あるいはテキスト翻訳部で
処理するかを切り替え制御する処理制御部と、画像内文
字列認識・翻訳部またはテキスト翻訳部で生成された翻
訳結果を関連情報に基づいて携帯端末に送信する結果送
信部とを備えるように構成したので、画像内文字列に対
する翻訳と入力したテキストに対する翻訳の両方に対応
できるシステムを実現する効果がある。また、画像内文
字列認識・翻訳の処理においては、文字認識が困難で解
像度が低い品質の悪い画像内の文字や飾り文字に対し
て、複数個の文字列を抽出することで翻訳を行うので、
正解率の高い翻訳結果が得られる効果があり、さらに、
テキスト翻訳の処理においては、キーワード入力のた
め、翻訳したい全てのテキストを入力する必要がなく、
テキスト入力の手間を削減できる効果がある。

【０１０１】この発明によれば、携帯端末とこの携帯端
末とデータ交換を行うサーバとからなり、携帯端末は、
画像撮像部と、この画像撮像部により撮像した画像を蓄
積する画像バッファと、サーバへ依頼する処理サービス
を指示する処理指示部と、画像バッファに蓄積された画
像、処理サービスの指示および携帯端末の関連情報から
なるデータをサーバに送信するデータ送信部と、サーバ
において翻訳処理された翻訳結果を受信する結果受信部
と、受信した翻訳結果を表示する表示部とを備え、サー
バは、携帯端末から送信されたデータを受信するデータ
受信部と、受信した画像に含まれる１個の文字列に対し
て複数個の文字列を抽出し、抽出した複数個の文字列を
翻訳してそれぞれの翻訳結果を生成する画像内文字列認
識・翻訳部と、受信したデータに含まれる処理サービス
の指示に従って画像内文字列認識・翻訳部を動作させる
処理制御部と、生成された翻訳結果を関連情報に基づい
て携帯端末に送信する結果送信部とを備えるように構成
したので、文字認識が困難で解像度が低い品質の悪い画
像内の文字や飾り文字に対しても正解率の高い翻訳結果
を得ることができる効果がある。

【０１０２】この発明によれば、携帯端末とこの携帯端
末とデータ交換を行うサーバとからなり、携帯端末は、
キーワードを入力するキー入力部と、サーバへ依頼する
処理サービスを指示する処理指示部と、キー入力部によ
り入力されたキーワード、処理サービスの指示および携
帯端末の関連情報からなるデータをサーバに送信するデ
ータ送信部と、サーバにおいて翻訳処理された翻訳結果
を受信する結果受信部と、受信した翻訳結果を表示する
表示部とを備え、サーバは、携帯端末から送信されたデ
ータを受信するデータ受信部と、受信したデータに含ま
れるキーワードに対する関連文を生成し、生成された関
連文を翻訳して翻訳結果を生成するテキスト翻訳部と、
受信したデータに含まれる処理サービスの指示に従って
テキスト翻訳部を動作させる処理制御部と、生成された
翻訳結果を関連情報に基づいて携帯端末に送信する結果
送信部とを備えるように構成したので、キーワード入力
のため、翻訳したい全てのテキストを入力する必要がな
く、面倒なテキスト入力の手間を削減できる効果があ
る。

【０１０３】この発明によれば、サーバの画像内文字列
認識・翻訳部が、処理時のパラメータを変えるなどして
異なる複数の条件で画像内の１個の文字列を認識するこ
とにより複数個の文字列認識結果を生成する画像内文字
列認識部と、生成した複数個の文字列認識結果をそれぞ
れ翻訳した複数個の翻訳結果を生成する画像内文字列翻
訳部とを有するように構成したので、文字認識が困難で
解像度が低い品質の悪い画像内の文字や飾り文字に対し
ても正解率の高い翻訳結果を得ることができる効果があ
る。

【０１０４】この発明によれば、サーバの画像内文字列
認識・翻訳部が、処理時のパラメータを変えるなどして
異なる複数の条件で画像内の１個の文字列を認識するこ
とにより複数個の文字列認識結果を生成すると共に、言
語辞書を用いて複数個の文字列認識結果に対してスペリ
ングが類似する類似文字列を生成する画像内文字列認識
部と、生成した文字列認識結果と類似文字列のそれぞれ
を翻訳することにより複数個の翻訳結果を生成する画像
内文字列翻訳部とを有するように構成したので、認識が
困難で解像度が低い品質の悪い画像内の文字や飾り文字
に対しても正解率の極めて高い翻訳結果を得ることがで
きる効果がある。

【０１０５】この発明によれば、サーバのテキスト翻訳
部が、受信したキーワードに基づいて関連文辞書を参照
してキーワードに関連性の高い複数個の文章を生成する
関連文生成部と、生成された複数個の文章を翻訳するこ
とにより翻訳結果を生成する関連文翻訳部とを有するよ
うに構成したので、キーワード入力のため、翻訳したい
全てのテキストを入力する必要がなく、面倒なテキスト
入力の手間を削減できると共に、正解率の高い要求する
文章の翻訳結果を得ることができる効果がある。

【０１０６】この発明によれば、携帯端末は、画像撮像
部により一定の時間間隔で連続的に撮像され画像バッフ
ァに蓄積した各画像を順次選択してデータ送信部に出力
する送信画像制御部を備え、サーバが、受信した各画像
に含まれる文字列の各翻訳結果を順次生成して携帯端末
に送信し、携帯端末の表示部が、各翻訳結果を受信する
都度表示するように構成したので、一度に多数の文字列
を翻訳する場合、ユーザは翻訳したい文字列上にカメラ
の視野を移動させてシャッターを押す作業を何度も繰り
返す必要もなくユーザの手間を削減すると共に、半リア
ルタイムに翻訳結果が得られる効果がある。

【０１０７】この発明によれば、携帯端末の送信制御部
が、画像バッファから順次読み出す画像について、新し
く撮像された画像とその一つ前に撮像された画像との差
を比較し、その差が閾値以下となった場合に新しく撮像
された画像を選択してデータ送信部に出力するように構
成したので、連続的な複数の画像からユーザが翻訳した
い文字列を含む画像のみに対する翻訳結果を得ることが
でき、またデータ送信量とサーバの処理量を削減する効
果がある。

【０１０８】この発明によれば、サーバは、連続的に受
信された複数個の画像を合成して１枚の合成画像を作成
する画像統合部を備え、画像内文字列認識・翻訳部が、
作成された合成画像に含まれる文字列に対する翻訳結果
を生成するように構成したので、カメラの視野に納まら
ない長い文字列や文章の内容を翻訳できる効果がある。

【０１０９】この発明によれば、携帯端末は、当該携帯
端末の現在位置を取得してサーバに送信するデータに加
えるＧＰＳ部を備え、サーバは、各施設の位置を格納し
た地図データを備え、サーバの処理制御部が、受信した
現在位置に基づいて地図データを参照することにより当
該携帯端末を所持するユーザが現在いる施設を特定し、
当該サーバ内で用いる各種の辞書を特定された施設に対
応する専用辞書に置き換えるように構成したので、ユー
ザが意識することなく適切な辞書に切り換えて翻訳を行
うことにより翻訳結果の性能を向上させる効果がある。

【０１１０】この発明によれば、携帯端末の処理指示部
が、ユーザにより専用辞書の種類を指定できるように構
成し、指定された専用辞書の種類をサーバに送信するデ
ータに加え、サーバの処理制御部が、受信した専用辞書
の種類に基づいて当該サーバ内で用いる各種の辞書を指
定された専用辞書に置き換えるように構成したので、ユ
ーザの要求に応じた翻訳に対応でき、翻訳結果の性能を
向上させる効果がある。

【０１１１】この発明によれば、携帯端末は、画像バッ
ファに蓄積されたカラー画像あるいはグレースケール画
像から文字列と背景を分離するように二値化した前処理
後画像を作成し画像バッファに蓄積する画像前処理部を
備え、前処理後画像をサーバに送信して翻訳結果を得る
ように構成したので、データ量を削減でき、カラー画像
やグレースケール画像に起因する送信時間を削減すると
共に、サーバでの処理時間の短縮化が図れる効果があ
る。

【０１１２】この発明によれば、携帯端末が、前処理後
画像にノイズが含まれる場合にはキー入力によりノイズ
を囲むノイズ除去対象領域を指定できるように構成さ
れ、画像前処理部が、ノイズ除去対象領域内の黒画素を
白画素に変換して前処理後画像を編集するように構成し
たので、サーバ側の文字認識処理時における誤認識を引
き起こす原因を取り除くことができる効果がある。

【０１１３】この発明によれば、翻訳処理を行うサーバ
とデータ交換を行う携帯端末であって、画像撮像部と、
この画像撮像部により撮像した画像を蓄積する画像バッ
ファと、キーワードを入力するキー入力部と、サーバへ
依頼する処理サービスの種類を指定する処理指示部と、
画像バッファに蓄積された画像あるいは入力されたキー
ワード、指定した処理サービスの種類および携帯端末の
関連情報からなるデータをサーバに送信するデータ送信
部と、サーバにおいて認識された認識文字列および翻訳
処理された翻訳結果を受信する結果受信部と、受信した
翻訳結果を表示する表示部とを備えるように構成したの
で、サーバ側における画像内文字列に対する翻訳と入力
したテキストに対する翻訳の両方のサービスに対応でき
る携帯端末を実現する効果がある。

【０１１４】この発明によれば、翻訳処理を行うサーバ
とデータ交換を行う携帯端末であって、画像撮像部と、
この画像撮像部により撮像した画像を蓄積する画像バッ
ファと、サーバへ依頼する処理サービスを指示する処理
指示部と、画像バッファに蓄積された画像、処理サービ
スの指示および携帯端末の関連情報からなるデータをサ
ーバに送信するデータ送信部と、サーバにおいて認識さ
れた認識文字列および翻訳処理された翻訳結果を受信す
る結果受信部と、受信した翻訳結果を表示する表示部と
を備えるように構成したので、サーバ側における画像内
文字列に対する翻訳を要求し、その翻訳結果を受信表示
できる携帯端末を実現する効果がある。

【０１１５】この発明によれば、翻訳処理を行うサーバ
とデータ交換を行う携帯端末であって、キーワードを入
力するキー入力部と、サーバへ依頼する処理サービスを
指示する処理指示部と、入力されたキーワード、処理サ
ービスの指示および携帯端末の関連情報からなるデータ
をサーバに送信するデータ送信部と、サーバにおいて翻
訳処理された翻訳結果を受信する結果受信部と、受信し
た翻訳結果を表示する表示部とを備えるように構成した
ので、翻訳したい全てのテキストの入力を要しない入力
キーワードに関連する翻訳サービスに対応できる携帯端
末を実現する効果がある。

【０１１６】この発明によれば、画像撮像部により一定
の時間間隔で連続的に撮像され画像バッファに蓄積した
各画像を順次選択してデータ送信部に出力する送信画像
制御部を備え、表示部が、サーバから順次受信する各画
像に含まれる文字列の各翻訳結果を逐次表示するように
構成したので、一度に多数の文字列を翻訳する場合、ユ
ーザは翻訳したい文字列上にカメラの視野を移動させて
シャッターを押す作業を何度も繰り返す必要もなくユー
ザの手間を削減すると共に、半リアルタイムに翻訳結果
が得られる携帯端末を実現する効果がある。

【０１１７】この発明によれば、送信制御部が、画像バ
ッファから順次読み出す画像について、新しく撮像され
た画像とその一つ前に撮像された画像との差を比較し、
その差が閾値以下となった場合に新しく撮像された画像
を選択してデータ送信部に出力するように構成したの
で、連続的な複数の画像からユーザが翻訳したい文字列
を含む画像のみに対する翻訳結果を得ることができ、ま
たデータ送信量とサーバの処理量を削減する携帯端末を
実現する効果がある。

【０１１８】この発明によれば、ＧＰＳ機能により当該
携帯端末の現在位置を取得してサーバに送信するデータ
に加えるＧＰＳ部を備えるように構成したので、ユーザ
が意識することなくサーバ側で適切な辞書により翻訳を
行う場合に適した携帯端末を実現する効果がある。

【０１１９】この発明によれば、サーバ内で使用する専
用辞書の種類をユーザにより指定できるようにし、指定
された専用辞書の種類をサーバに送信するデータに加え
るように構成したので、サーバ側でユーザの要求に応じ
た適切な辞書により翻訳を行う場合に適した携帯端末を
実現する効果がある。

【０１２０】この発明によれば、画像バッファに蓄積さ
れたカラー画像あるいはグレースケール画像から文字列
と背景を分離するように二値化した前処理後画像を作成
し画像バッファに蓄積する画像前処理部を備え、画像バ
ッファから読み出した前処理後画像をサーバに送信して
翻訳結果を得るように構成したので、データ量を削減で
き、カラー画像やグレースケール画像に起因する送信時
間を削減すると共に、サーバでの処理時間の短縮化が図
れる携帯端末を実現する効果がある。

【０１２１】この発明によれば、前処理後画像にノイズ
が含まれる場合にはキー入力によりノイズを囲むノイズ
除去対象領域を指定できるようにし、画像前処理部が、
ノイズ除去対象領域内の黒画素を白画素に変換して前処
理後画像を編集するように構成したので、サーバ側の文
字認識処理時における誤認識を引き起こす原因を取り除
く携帯端末を実現する効果がある。

【０１２２】この発明によれば、携帯端末とデータ交換
を行うサーバであって、携帯端末から送信された画像あ
るいはキー入力されたキーワード、指定された処理サー
ビスの種類および携帯端末の関連情報からなるデータを
受信するデータ受信部と、受信した画像に含まれる１個
の文字列に対して複数個の文字列を抽出し、抽出した複
数個の文字列を翻訳してそれぞれの翻訳結果を生成する
画像内文字列認識・翻訳部と、キーワードに対する関連
文を生成し、生成した関連文を翻訳して翻訳結果を生成
するテキスト翻訳部と、指定された処理サービスの種類
に従って画像内文字列認識・翻訳部で処理するか、ある
いはテキスト翻訳部で処理するかを切り替え制御する処
理制御部と、画像内文字列認識・翻訳部あるいはテキス
ト翻訳部で生成した翻訳結果を関連情報に基づいて携帯
端末に送信する結果送信部とを備えるように構成したの
で、画像内文字列に対する翻訳と入力したテキストに対
する翻訳の両方に対応できるサーバを実現する効果があ
る。また、画像内文字列認識・翻訳の処理においては、
文字認識が困難で解像度が低い品質の悪い画像内の文字
や飾り文字に対して、複数個の文字列を抽出することで
翻訳を行うので、正解率の高い翻訳結果が得られる効果
があり、さらに、テキスト翻訳の処理においては、受信
したキーワードから関連文を生成するため、翻訳したい
全てのテキストを取得する必要がなく、ユーザが要求す
る翻訳結果を得ることができ、かつ携帯端末側での入力
時のユーザの負担を軽減できる効果がある。

【０１２３】この発明によれば、携帯端末とデータ交換
を行うサーバであって、携帯端末から送信された画像、
処理サービスの指示および携帯端末の関連情報からなる
データを受信するデータ受信部と、受信した画像に含ま
れる１個の文字列に対して複数個の文字列を抽出し、抽
出した複数個の文字列を翻訳してそれぞれの翻訳結果を
生成する画像内文字列認識・翻訳部と、受信したデータ
に含まれる処理サービスの指示に従って画像内文字列認
識・翻訳部を動作させる処理制御部と、画像内文字列認
識・翻訳部あるいはテキスト翻訳部で生成した翻訳結果
を関連情報に基づいて携帯端末に送信する結果送信部と
を備えるように構成したので、文字認識が困難で解像度
が低い品質の悪い画像内の文字や飾り文字に対しても正
解率の高い翻訳結果を得るサーバを実現する効果があ
る。

【０１２４】この発明によれば、携帯端末とデータ交換
を行うサーバであって、キー入力されたキーワード、処
理サービスの指示および携帯端末の関連情報からなるデ
ータを受信するデータ受信部と、キーワードに対する関
連文を生成し、生成した関連文を翻訳して翻訳結果を生
成するテキスト翻訳部と、受信したデータに含まれる処
理サービスの指示に従ってテキスト翻訳部を動作させる
処理制御部と、テキスト翻訳部で生成した翻訳結果を関
連情報に基づいて携帯端末に送信する結果送信部とを備
えるように構成したので、受信したキーワードから関連
文を生成するため、翻訳したい全てのテキストを受信し
なくても、ユーザが要求する翻訳結果を得るサーバを実
現し、また携帯端末側での入力時のユーザの負担を軽減
できる効果がある。

【０１２５】この発明によれば、画像内文字列認識・翻
訳部が、処理時のパラメータを変えるなどして異なる複
数の条件で画像内の１個の文字列を認識することにより
複数個の文字列認識結果を生成する画像内文字列認識部
と、生成した複数個の文字列認識結果をそれぞれ翻訳し
た複数個の翻訳結果を生成する画像内文字列翻訳部とを
有するように構成したので、文字認識が困難で解像度が
低い品質の悪い画像内の文字や飾り文字に対しても正解
率の高い翻訳結果を得るサーバを実現する効果がある。

【０１２６】この発明によれば、画像内文字列認識・翻
訳部が、処理時のパラメータを変えるなどして異なる複
数の条件で画像内の１個の文字列を認識することにより
複数個の文字列認識結果を生成すると共に、言語辞書を
用いて複数個の文字列認識結果に対してスペリングが類
似する類似文字列を生成する画像内文字列認識部と、生
成した文字列認識結果と類似文字列のそれぞれを翻訳す
ることにより複数個の翻訳結果を生成する画像内文字列
翻訳部とを有するように構成したので、認識が困難で解
像度が低い品質の悪い画像内の文字や飾り文字に対して
も正解率の極めて高い翻訳結果を得るサーバを実現する
効果がある。

【０１２７】この発明によれば、テキスト翻訳部が、キ
ー入力部で入力したキーワードに基づいて関連文辞書を
参照してキーワードに関連性の高い複数個の文章を生成
する関連文生成部と、生成された複数個の文章を翻訳す
ることにより翻訳結果を生成する関連文翻訳部とを有す
るように構成したので、受信したキーワードから複数個
の関連文を生成するため、翻訳したい全てのテキストを
受信しなくてもユーザが要求に対して極めて正解率の高
い翻訳結果を得るサーバを実現し、また携帯端末側での
入力時のユーザの負担を軽減できる効果がある。

【０１２８】この発明によれば、連続的に受信された複
数個の画像を合成して１枚の合成画像を作成する画像統
合部を備え、画像内文字列認識・翻訳部が、作成された
合成画像に含まれる文字列に対する翻訳結果を生成する
ように構成したので、カメラの視野に納まらない長い文
字列や文章の内容を翻訳できるサーバを実現する効果が
ある。

【０１２９】この発明によれば、各施設の位置を格納し
た地図データを備え、処理制御部が、受信したデータに
含まれる携帯端末の現在位置に基づいて地図データを参
照することにより当該携帯端末を所持するユーザが現在
いる施設を特定し、当該サーバ内で用いる各種の辞書を
特定された施設に対応する専用辞書に置き換えるように
構成したので、ユーザが意識することなく適切な辞書に
切り換えて翻訳を行うことにより翻訳結果の性能を向上
させるサーバを実現する効果がある。

【０１３０】この発明によれば、処理制御部が、受信し
たデータに含まれる指定された専用辞書の種類に基づい
て当該サーバ内で用いる各種の辞書を指定された専用辞
書に置き換えるように構成したので、ユーザの要求に応
じた翻訳に対応でき、翻訳結果の性能を向上させるサー
バを実現する効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による携帯端末型翻
訳システムの構成を示すブロック図である。

【図２】 同実施の形態１に係る画像の撮像状況を説明
する説明図である。

【図３】 同実施の形態１に係る画像内文字列認識部の
処理手順を示すフローチャートである。

【図４】 同実施の形態１に係る画像内文字列認識部の
動作例を説明する説明図である。

【図５】 同実施の形態１に係る誤りを含む文字認識処
理の例を説明する説明図である。

【図６】 同実施の形態１に係る画像内文字列翻訳部の
動作例を説明する説明図である。

【図７】 同実施の形態１に係る画像内文字列翻訳結果
生成部の動作例を説明する説明図である。

【図８】 同実施の形態１に係る画像内文字列翻訳結果
の表示例を示す説明図である。

【図９】 同実施の形態１に係るキーワード入力の表示
例を示す説明図である。

【図１０】 同実施の形態１に係る関連文辞書の構成例
を示す説明図である。

【図１１】 同実施の形態１に係る関連文翻訳部の動作
例を説明する説明図である。

【図１２】 同実施の形態１に係る関連文翻訳結果の例
を示す説明図である。

【図１３】 同実施の形態１に係る関連文翻訳結果の表
示例を示す説明図である。

【図１４】 この発明の実施の形態２による携帯端末型
翻訳システムの構成を示すブロック図である。

【図１５】 同実施の形態２および実施の形態３に係る
画像の撮像状況を示す説明図である。

【図１６】 同実施の形態２および実施の形態３に係る
連続的に撮像された画像例を示す説明図である。

【図１７】 同実施の形態２に係る送信画像制御部の動
作を説明する説明図である。

【図１８】 この発明の実施の形態３による携帯端末型
翻訳システムの構成を示すブロック図である。

【図１９】 同実施の形態３に係る画像統合部の動作を
説明する説明図である。

【図２０】 この発明の実施の形態４による携帯端末型
翻訳システムの構成を示すブロック図である。

【図２１】 同実施の形態４に係る認識条件指定の例を
示す説明図である。

【図２２】 この発明の実施の形態５による携帯端末型
翻訳システムの構成を示すブロック図である。

【図２３】 同実施の形態５に係る画像前処理部の動作
を説明する説明図である。

【図２４】 同実施の形態５に係る画像補正処理を説明
する説明図である。

【図２５】 従来の携帯端末型画像処理システムに係る
処理手順を示すフローチャートである。

【符号の説明】 １０１ 携帯端末、１０２ データ送信部、１０３ キ
ー入力部、１０４ 処理指示部、１０５ 画像撮像部、
１０６ 画像バッファ、１０７ 表示部、１０８ 結果
受信部、１０９ サーバ、１１０ データ受信部、１１
１ 結果送信部、１１２ 処理制御部、１１３ 画像内
文字列認識・翻訳部、１１４ 画像内文字列認識部、１
１５ 画像内文字列翻訳部、１１６ 画像内文字列翻訳
結果生成部、１１７ 認識辞書、１１８ 言語辞書、１
１９ テキスト翻訳部、１２０関連文生成部、１２１
関連文翻訳部、１２２ 関連文翻訳結果生成部、１２３
関連文辞書、１２４ 第１翻訳辞書、１２５ 第２翻訳
辞書、２０１ 文書、２０２ カメラ視野、４０１ 撮
像画像、４０２ 前処理後画像、４０３ 抽出文字列、
４０４ 文字パターン、４０５ 文字認識結果、５０１
文字パターン、５０２ 文字認識結果、６０１ 文字
列認識結果、６０２ 類似文字列、６０３，６０４ 文
字列翻訳結果、７０１ 画像内文字列翻訳結果、８０１
認識文字列画像、８０２ 画像内文字列翻訳結果の画
像、９０１ キーワード入力エリア、９０２ 翻訳ボタ
ン表示、１００１ 関連文辞書データ、１１０１ 入力
テキスト、１１０２ 関連文、１１０３，１１０４ 文
字列翻訳結果、１２０１関連文翻訳結果、１３０１ 翻
訳結果、１４０１ 送信画像制御部、１５０１カメラ視
野、１５０２ 移動軌跡、１６０１ 撮像画像、１７０
１ 分割領域、１８０１ 画像統合部、１９０１ 合成
画像、１９０２ 前処理後画像、１９０３ 抽出文字
列、１９０４ 文字列認識結果、１９０５ 類似文字
列、２００１ＧＰＳ部、２００２ 専用認識辞書、２０
０３ 専用言語辞書、２００４ 第１専用翻訳辞書、２
００５ 専用関連文辞書、２００６ 第２専用翻訳辞
書、２００７ 地図データ、２１０１ 選択画面、２２
０１ 画像前処理部、２３０１撮像画像、２３０２ 前
処理後画像、２４０１ ノイズ、２４０２ 前処理後画
像、２４０３ ノイズ除去対象領域。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｍ 3/42 Ｈ０４Ｍ 3/42 Ｒ 11/00 ３０２ 11/00 ３０２ Ｆターム(参考） 5B019 GA10 HE18 JA10 5B085 AA08 BE01 BE03 BE07 BG02 CA03 CA04 5B091 AA05 AA06 BA02 BA03 CB02 CB09 CD01 CD03 5K024 AA74 CC11 DD01 EE00 FF03 5K101 KK15 LL12 NN06 NN18

Claims (31)

【特許請求の範囲】
1. 【請求項１】 携帯端末とこの携帯端末とデータ交換を
   行うサーバとからなる携帯端末型画像処理システムであ
   って、 前記携帯端末は、 画像撮像部と、 この画像撮像部により撮像した画像を蓄積する画像バッ
   ファと、 キーワードを入力するキー入力部と、 前記サーバへ依頼する処理サービスの種類を指定する処
   理指示部と、 前記画像バッファに蓄積された画像あるいは前記キー入
   力部により入力されたキーワード、指定された処理サー
   ビスの種類および前記携帯端末の関連情報からなるデー
   タを前記サーバに送信するデータ送信部と、 前記サーバにおいて翻訳処理された翻訳結果を受信する
   結果受信部と、 受信した前記翻訳結果を表示する表示部とを備え、 前記サーバは、 前記携帯端末から送信されたデータを受信するデータ受
   信部と、 受信した前記画像に含まれる１個の文字列に対して複数
   個の文字列を抽出し、抽出した前記複数個の文字列を翻
   訳してそれぞれの翻訳結果を生成する画像内文字列認識
   ・翻訳部と、 受信した前記キーワードに対する関連文を生成し、生成
   された前記関連文を翻訳して翻訳結果を生成するテキス
   ト翻訳部と、 受信したデータに含まれる前記指定された処理サービス
   の種類に従って前記画像内文字列認識・翻訳部で処理す
   るか、あるいは前記テキスト翻訳部で処理するかを切り
   替え制御する処理制御部と、 前記画像内文字列認識・翻訳部または前記テキスト翻訳
   部で生成された翻訳結果を前記関連情報に基づいて前記
   携帯端末に送信する結果送信部とを備えたことを特徴と
   する携帯端末型画像処理システム。
2. 【請求項２】 携帯端末とこの携帯端末とデータ交換を
   行うサーバとからなる携帯端末型画像処理システムであ
   って、 前記携帯端末は、 画像撮像部と、 この画像撮像部により撮像した画像を蓄積する画像バッ
   ファと、 前記サーバへ依頼する処理サービスを指示する処理指示
   部と、 前記画像バッファに蓄積された画像、前記処理サービス
   の指示および前記携帯端末の関連情報からなるデータを
   前記サーバに送信するデータ送信部と、 前記サーバにおいて翻訳処理された翻訳結果を受信する
   結果受信部と、 受信した前記翻訳結果を表示する表示部とを備え、 前記サーバは、 前記携帯端末から送信されたデータを受信するデータ受
   信部と、 受信した前記画像に含まれる１個の文字列に対して複数
   個の文字列を抽出し、抽出した前記複数個の文字列を翻
   訳してそれぞれの翻訳結果を生成する画像内文字列認識
   ・翻訳部と、 受信したデータに含まれる前記処理サービスの指示に従
   って前記画像内文字列認識・翻訳部を動作させる処理制
   御部と、 生成された前記翻訳結果を前記関連情報に基づいて前記
   携帯端末に送信する結果送信部とを備えたことを特徴と
   する携帯端末型画像処理システム。
3. 【請求項３】 携帯端末とこの携帯端末とデータ交換を
   行うサーバとからなる携帯端末型画像処理システムであ
   って、 前記携帯端末は、 キーワードを入力するキー入力部と、 前記サーバへ依頼する処理サービスを指示する処理指示
   部と、 前記キー入力部により入力されたキーワード、前記処理
   サービスの指示および前記携帯端末の関連情報からなる
   データを前記サーバに送信するデータ送信部と、 前記サーバにおいて翻訳処理された翻訳結果を受信する
   結果受信部と、 受信した前記翻訳結果を表示する表示部とを備え、 前記サーバは、 前記携帯端末から送信されたデータを受信するデータ受
   信部と、 受信したデータに含まれる前記キーワードに対する関連
   文を生成し、生成された前記関連文を翻訳して前記翻訳
   結果を生成するテキスト翻訳部と、受信したデータに含
   まれる前記処理サービスの指示に従って前記テキスト翻
   訳部を動作させる処理制御部と、 生成された前記翻訳結果を前記関連情報に基づいて前記
   携帯端末に送信する結果送信部とを備えたことを特徴と
   する携帯端末型画像処理システム。
4. 【請求項４】 サーバの画像内文字列認識・翻訳部が、 異なる複数の条件で画像内の１個の文字列を認識するこ
   とにより複数個の文字列認識結果を生成する画像内文字
   列認識部と、 生成した前記複数個の文字列認識結果をそれぞれ翻訳し
   た複数個の翻訳結果を生成する画像内文字列翻訳部とを
   有したことを特徴とする請求項１または請求項２記載の
   携帯端末型画像処理システム。
5. 【請求項５】 サーバの画像内文字列認識・翻訳部が、 異なる複数の条件で画像内の１個の文字列を認識するこ
   とにより複数個の文字列認識結果を生成すると共に、言
   語辞書を用いて前記複数個の文字列認識結果に対してス
   ペリングが類似する類似文字列を生成する画像内文字列
   認識部と、 生成した前記文字列認識結果と前記類似文字列のそれぞ
   れを翻訳することにより複数個の翻訳結果を生成する画
   像内文字列翻訳部とを有したことを特徴とする請求項１
   または請求項２記載の携帯端末型画像処理システム。
6. 【請求項６】 サーバのテキスト翻訳部が、 受信したキーワードに基づいて関連文辞書を参照して前
   記キーワードに関連性の高い複数個の文章を生成する関
   連文生成部と、 生成された前記複数個の文章を翻訳することにより翻訳
   結果を生成する関連文翻訳部とを有したことを特徴とす
   る請求項１または請求項３記載の携帯端末型画像処理シ
   ステム。
7. 【請求項７】 携帯端末は、画像撮像部により一定の時
   間間隔で連続的に撮像され画像バッファに蓄積した各画
   像を順次選択してデータ送信部に出力する送信画像制御
   部を備え、 サーバが、受信した前記各画像に含まれる文字列の各翻
   訳結果を順次生成して前記携帯端末に送信し、 前記携帯端末の表示部が、前記各翻訳結果を受信する都
   度表示するようにしたことを特徴とする請求項１または
   請求項２記載の携帯端末型画像処理システム。
8. 【請求項８】 携帯端末の送信制御部が、画像バッファ
   から順次読み出す画像について、新しく撮像された画像
   とその一つ前に撮像された画像との差を比較し、その差
   が閾値以下となった場合に前記新しく撮像された画像を
   選択してデータ送信部に出力するようにしたことを特徴
   とする請求項７記載の携帯端末型画像処理システム。
9. 【請求項９】 サーバは、連続的に受信された複数個の
   画像を合成して１枚の合成画像を作成する画像統合部を
   備え、 画像内文字列認識・翻訳部が、作成された前記合成画像
   に含まれる文字列に対する翻訳結果を生成するようにし
   たことを特徴とする請求項７または請求項８記載の携帯
   端末型画像処理システム。
10. 【請求項１０】 携帯端末は、当該携帯端末の現在位置
    を取得してサーバに送信するデータに加えるＧＰＳ部を
    備え、 前記サーバは、各施設の位置を格納した地図データを備
    え、 前記サーバの処理制御部が、受信した前記現在位置に基
    づいて前記地図データを参照することにより当該携帯端
    末を所持するユーザが現在いる施設を特定し、当該サー
    バ内で用いる各種の辞書を特定された前記施設に対応す
    る専用辞書に置き換えるようにしたことを特徴とする請
    求項１から請求項９のうちのいずれか１項記載の携帯端
    末型画像処理システム。
11. 【請求項１１】 携帯端末の処理指示部が、ユーザによ
    り専用辞書の種類を指定できるように構成し、指定され
    た前記専用辞書の種類をサーバに送信するデータに加
    え、 前記サーバの処理制御部が、受信した前記専用辞書の種
    類に基づいて当該サーバ内で用いる各種の辞書を指定さ
    れた専用辞書に置き換えるようにしたことを特徴とする
    請求項１から請求項９のうちのいずれか１項記載の携帯
    端末型画像処理システム。
12. 【請求項１２】 携帯端末は、画像バッファに蓄積され
    たカラー画像あるいはグレースケール画像から文字列と
    背景を分離するように二値化した前処理後画像を作成し
    前記画像バッファに蓄積する画像前処理部を備え、前記
    前処理後画像をサーバに送信して翻訳結果を得るように
    したことを特徴とする請求項１、請求項３から請求項
    ５、請求項７から請求項１１のうちのいずれか１項記載
    の携帯端末型画像処理システム。
13. 【請求項１３】 携帯端末が、前処理後画像にノイズが
    含まれる場合にはキー入力により前記ノイズを囲むノイ
    ズ除去対象領域を指定できるように構成され、 画像前処理部が、前記ノイズ除去対象領域内の黒画素を
    白画素に変換して前処理後画像を編集するようにしたこ
    とを特徴とする請求項１２記載の携帯端末型画像処理シ
    ステム。
14. 【請求項１４】 翻訳処理を行うサーバとデータ交換を
    行う携帯端末であって、 画像撮像部と、 この画像撮像部により撮像した画像を蓄積する画像バッ
    ファと、 キーワードを入力するキー入力部と、 前記サーバへ依頼する処理サービスの種類を指定する処
    理指示部と、 前記画像バッファに蓄積された画像あるいは入力された
    キーワード、指定した前記処理サービスの種類および前
    記携帯端末の関連情報からなるデータを前記サーバに送
    信するデータ送信部と、 前記サーバにおいて認識された認識文字列および翻訳処
    理された翻訳結果を受信する結果受信部と、 受信した前記翻訳結果を表示する表示部とを備えたこと
    を特徴とする携帯端末。
15. 【請求項１５】 翻訳処理を行うサーバとデータ交換を
    行う携帯端末であって、 画像撮像部と、 この画像撮像部により撮像した画像を蓄積する画像バッ
    ファと、 前記サーバへ依頼する処理サービスを指示する処理指示
    部と、 前記画像バッファに蓄積された画像、前記処理サービス
    の指示および前記携帯端末の関連情報からなるデータを
    前記サーバに送信するデータ送信部と、 前記サーバにおいて認識された認識文字列および翻訳処
    理された翻訳結果を受信する結果受信部と、 受信した前記翻訳結果を表示する表示部とを備えたこと
    を特徴とする携帯端末。
16. 【請求項１６】 翻訳処理を行うサーバとデータ交換を
    行う携帯端末であって、 キーワードを入力するキー入力部と、 前記サーバへ依頼する処理サービスを指示する処理指示
    部と、 入力されたキーワード、前記処理サービスの指示および
    前記携帯端末の関連情報からなるデータを前記サーバに
    送信するデータ送信部と、 前記サーバにおいて翻訳処理された翻訳結果を受信する
    結果受信部と、 受信した前記翻訳結果を表示する表示部とを備えたこと
    を特徴とする携帯端末。
17. 【請求項１７】 画像撮像部により一定の時間間隔で連
    続的に撮像され画像バッファに蓄積した各画像を順次選
    択してデータ送信部に出力する送信画像制御部を備え、 表示部が、サーバから順次受信する前記各画像に含まれ
    る文字列の各翻訳結果を逐次表示するようにしたことを
    特徴とする請求項１４または請求項１５記載の携帯端
    末。
18. 【請求項１８】 送信制御部が、画像バッファから順次
    読み出す画像について、新しく撮像された画像とその一
    つ前に撮像された画像との差を比較し、その差が閾値以
    下となった場合に前記新しく撮像された画像を選択して
    データ送信部に出力するようにしたことを特徴とする請
    求項１７記載の携帯端末。
19. 【請求項１９】 ＧＰＳ機能により当該携帯端末の現在
    位置を取得してサーバに送信するデータに加えるＧＰＳ
    部を備えたことを特徴とする請求項１４から請求項１８
    のうちのいずれか１項記載の携帯端末。
20. 【請求項２０】 処理指示部が、サーバ内で使用する専
    用辞書の種類をユーザにより指定できるように構成し、
    指定された前記専用辞書の種類をサーバに送信するデー
    タに加えるようにしたことを特徴とする請求項１４から
    請求項１８のうちのいずれか１項記載の携帯端末。
21. 【請求項２１】 画像バッファに蓄積されたカラー画像
    あるいはグレースケール画像から文字列と背景を分離す
    るように二値化した前処理後画像を作成し前記画像バッ
    ファに蓄積する画像前処理部を備え、前記画像バッファ
    から読み出した前記前処理後画像をサーバに送信して翻
    訳結果を得るようにしたことを特徴とする請求項１４、
    請求項１５および請求項１７から請求項２０のうちのい
    ずれか１項記載の携帯端末。
22. 【請求項２２】 前処理後画像にノイズが含まれる場合
    にはキー入力により前記ノイズを囲むノイズ除去対象領
    域を指定できるように構成され、 画像前処理部が、前記ノイズ除去対象領域内の黒画素を
    白画素に変換して前処理後画像を編集するようにしたこ
    とを特徴とする請求項２１記載の携帯端末。
23. 【請求項２３】 携帯端末とデータ交換を行うサーバで
    あって、 前記携帯端末から送信された画像あるいはキー入力され
    たキーワード、指定された処理サービスの種類および前
    記携帯端末の関連情報からなるデータを受信するデータ
    受信部と、 受信した前記画像に含まれる１個の文字列に対して複数
    個の文字列を抽出し、抽出した前記複数個の文字列を翻
    訳してそれぞれの翻訳結果を生成する画像内文字列認識
    ・翻訳部と、 前記キーワードに対する関連文を生成し、生成した前記
    関連文を翻訳して翻訳結果を生成するテキスト翻訳部
    と、 前記指定された処理サービスの種類に従って前記画像内
    文字列認識・翻訳部で処理するか、あるいは前記テキス
    ト翻訳部で処理するかを切り替え制御する処理制御部
    と、 前記画像内文字列認識・翻訳部あるいは前記テキスト翻
    訳部で生成した翻訳結果を前記関連情報に基づいて前記
    携帯端末に送信する結果送信部とを備えたことを特徴と
    するサーバ。
24. 【請求項２４】 携帯端末とデータ交換を行うサーバで
    あって、 前記携帯端末から送信された画像、処理サービスの指示
    および前記携帯端末の関連情報からなるデータを受信す
    るデータ受信部と、 受信した前記画像に含まれる１個の文字列に対して複数
    個の文字列を抽出し、抽出した前記複数個の文字列を翻
    訳してそれぞれの翻訳結果を生成する画像内文字列認識
    ・翻訳部と、 受信したデータに含まれる前記処理サービスの指示に従
    って前記画像内文字列認識・翻訳部を動作させる処理制
    御部と、 前記画像内文字列認識・翻訳部あるいは前記テキスト翻
    訳部で生成した翻訳結果を前記関連情報に基づいて前記
    携帯端末に送信する結果送信部とを備えたことを特徴と
    するサーバ。
25. 【請求項２５】 携帯端末とデータ交換を行うサーバで
    あって、 キー入力されたキーワード、処理サービスの指示および
    前記携帯端末の関連情報からなるデータを受信するデー
    タ受信部と、 前記キーワードに対する関連文を生成し、生成した前記
    関連文を翻訳して翻訳結果を生成するテキスト翻訳部
    と、 受信したデータに含まれる前記処理サービスの指示に従
    って前記テキスト翻訳部を動作させる処理制御部と、 前記テキスト翻訳部で生成した翻訳結果を前記関連情報
    に基づいて前記携帯端末に送信する結果送信部とを備え
    たことを特徴とするサーバ。
26. 【請求項２６】 画像内文字列認識・翻訳部が、 異なる複数の条件で画像内の１個の文字列を認識するこ
    とにより複数個の文字列認識結果を生成する画像内文字
    列認識部と、 生成した前記複数個の文字列認識結果をそれぞれ翻訳し
    た複数個の翻訳結果を生成する画像内文字列翻訳部とを
    有したことを特徴とする請求項２３または請求項２４記
    載のサーバ。
27. 【請求項２７】 画像内文字列認識・翻訳部が、 異なる複数の条件で画像内の１個の文字列を認識するこ
    とにより複数個の文字列認識結果を生成すると共に、言
    語辞書を用いて前記複数個の文字列認識結果に対してス
    ペリングが類似する類似文字列を生成する画像内文字列
    認識部と、 生成した前記文字列認識結果と前記類似文字列のそれぞ
    れを翻訳することにより複数個の翻訳結果を生成する画
    像内文字列翻訳部とを有したことを特徴とする請求項２
    ３または請求項２４記載のサーバ。
28. 【請求項２８】 テキスト翻訳部が、 キー入力部で入力したキーワードに基づいて関連文辞書
    を参照して前記キーワードに関連性の高い複数個の文章
    を生成する関連文生成部と、 生成された前記複数個の文章を翻訳することにより翻訳
    結果を生成する関連文翻訳部とを有したことを特徴とす
    る請求項２５記載のサーバ。
29. 【請求項２９】 連続的に受信された複数個の画像を合
    成して１枚の合成画像を作成する画像統合部を備え、 画像内文字列認識・翻訳部が、作成された前記合成画像
    に含まれる文字列に対する翻訳結果を生成するようにし
    たことを特徴とする請求項２３、請求項２４および請求
    項２６および請求項２７のうちのいずれか１項記載のサ
    ーバ。
30. 【請求項３０】 各施設の位置を格納した地図データを
    備え、 処理制御部が、受信したデータに含まれる携帯端末の現
    在位置に基づいて前記地図データを参照することにより
    当該携帯端末を所持するユーザが現在いる施設を特定
    し、当該サーバ内で用いる各種の辞書を特定された前記
    施設に対応する専用辞書に置き換えるようにしたことを
    特徴とする請求項２３から請求項２９のうちのいずれか
    １項記載のサーバ。
31. 【請求項３１】 処理制御部が、受信したデータに含ま
    れる指定された専用辞書の種類に基づいて当該サーバ内
    で用いる各種の辞書を指定された専用辞書に置き換える
    ようにしたことを特徴とする請求項２３から請求項２９
    のうちのいずれか１項記載のサーバ。