JP2005044052A

JP2005044052A - 携帯型文字認識装置

Info

Publication number: JP2005044052A
Application number: JP2003201455A
Authority: JP
Inventors: Masashi Koga; 昌史古賀; Tatsuya Kameyama; 達也亀山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-07-25
Filing date: 2003-07-25
Publication date: 2005-02-17

Abstract

【課題】携帯端末で入力された画像中の文字認識を行うためには、必要な文字識別辞書や言語辞書を格納するには携帯端末のメモリの記憶容量や処理能力は不十分であった。また、入力画像をサーバに送信してサーバで文字認識を行うとすると、通信量や時間がかかりすぎるという問題があった。
【解決手段】画像の入力、文字列の切出しの処理を携帯端末で行い、文字列の切出し結果をサーバに送信し、文字切出しおよび文字識別の処理をサーバで行う。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は，カメラを有する携帯型の端末における入力手段に関する技術分野に属する。
【０００２】
【従来の技術】
従来より，紙に印刷ないし手書きされた文字を読取る装置はＯＣＲとして知られている。主な応用分野は，帳票処理，郵便物の区分，文書のテキスト化などである。典型的なＯＣＲでは，以下のような手順で文字を読取る。まず紙面をスキャナを用いて光電変換して計算機に取り込み（画像入力），読取りの対象である文字行の領域を切出し（文字行切出し），文字行から個々の文字を切出し（文字切出し），個々の文字が何であるかを識別し（文字識別），言語情報などを利用して読取った文字群を文字列として解釈する（後処理）。こうしたＯＣＲで認識する際には，各文字の形状を記憶するための手段（文字識別辞書）と，言語情報を記憶するための手段（言語辞書）に多くの記憶容量が必要である。特に，漢字を認識する場合など対象の文字種数が多くなった場合には文字識別辞書が大きくなる。また，紙面上に複数の文字行があり，読取り対象となるものはその一部であることがある。このような場合，応用分野に応じて予め定められた規則に従い，自動的に装置が読取り対象となる文字行を判別する。
【０００３】
また，カメラを入力手段として文字を認識する技術も，自動車のナンバープレート認識，生産ラインでの検査装置などで実用化されている。これらの装置では，読取り対象が数字や記号に限られている場合が多く，文字識別辞書や言語辞書に多くの記憶容量を必要としない場合が多い。また，読取り対象の文字行は，予め定められた規則に従い，装置が自動的に抽出する。
【０００４】
さらに，近年は，携帯電話，ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔ）などの携帯端末に搭載されたカメラを画像入力の手段として，文書，看板，標識などの文字を読取る試みが現われている。ここで携帯端末とは，通信機能を有する可搬型の計算機のことである。これらの機器での認識対象は，電話番号，メールアドレス，ＵＲＬ，単語などである。また，認識結果は電話やメールの発信，ＷＥＢへのアクセス，単語の翻訳などのサービスに用いられる。このような用途では，操作者が携帯端末により身の回りにある文書，看板，標識などを自在に読取り，サービスを受けることを想定している。このため，操作の容易さ，待ち時間の短さなどを実現することが必要となっている。
【０００５】
しかし，携帯端末での文字認識では，携帯端末の性能に制限があるため，認識精度を向上したり，応用分野を拡大したりするのに困難があった。携帯端末は小型であり，搭載可能な記憶装置の容量には制限がある。このため，現状では文字識別辞書，言語辞書を格納するに十分な記憶容量を確保することは困難である。翻訳や検索などの応用のためには，さらに多くの記憶容量が必要で，携帯端末での実現は困難であった。また，携帯端末では使用中に外部から電源を供給することができないため，消費電力の大きい高速な演算装置の搭載が困難である。一方，高い精度で文字を認識するために必要な文字識別処理や後処理には多くの計算量が必要である。このため，文字認識の高精度化のためには，処理時間の増加が避けられなかった。
【０００６】
こうした問題を解決するために，非特許文献１のように，通信網を用いて画像を遠隔のサーバに送信し，サーバにて認識処理を実行するシステムも提案されている。この場合には，サーバに文字識別辞書，言語辞書を格納しておくことにより，記憶容量の問題は解決する。また，サーバでは高速の演算装置が使用可能なため，処理時間の問題も緩和される。しかし，画像のデータ量は大きく，サーバへ画像を送るには多くの時間や費用が必要となる，といった問題があった。従来技術の延長で，タッチパネルとスタイラスペンなどで読取り領域を人手で指定することも考えられる。しかし，この方法には，精緻に文字行の座標を指定する作業は困難である一方，大まかに領域を指定すると多くの画像情報を送信する必要があるという問題がある。
【０００７】
【非特許文献１】Ｉ．Ｈａｒｉｔａｏｇｌｕ， “ＩｎｆｏＳｃｏｐｅ：ＬｉｎｋｆｒｏｍＲｅａｌＷｏｒｌｄｔｏＤｉｇｉｔａｌＩｎｆｏｒｍａｔｉｏｎＳｐａｃｅ，” ＬｅｃｔｕｒｅＮｏｔｅｓｉｎＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅＵｂｉｃｏｍｐ２００１，Ａｔｌａｎｔａ，ＧＡ，ＵＳＡ，Ｓｐｒｉｎｇｅｒ，２，００１，Ｖｏｌ．２２０１，ｐｐ．２４７−２５５
【非特許文献２】Ａ．Ｋ．Ｊａｉｎ，Ｂ．Ｙｕ， “ＡｕｔｏｍａｔｉｃＴｅｘｔＬｏｃａｔｉｏｎｉｎＩｍａｇｅｓａｎｄＶｉｄｅｏＦｒａｍｅｓ，” ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，１９９８，Ｖｏｌ．３１，Ｎｏ．１２，ｐｐ．２０５５−２０７６
【非特許文献３】Ｓ．Ｈ．Ｋｉｍ，Ｃ．Ｂ．Ｊｅｏｎｇ，Ｈ．Ｋ．Ｋｗａｇ，Ｃ．Ｙ．Ｓｕｅｎ， “Ｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎｏｆｐｒｉｎｔｅｄｔｅｘｔｌｉｎｅｓｂａｓｅｄｏｎｇａｐｃｌｕｓｔｅｒｉｎｇａｎｄｓｐｅｃｉａｌｓｙｍｂｏｌｄｅｔｅｃｔｉｏｎ，” Ｐｒｏｃｅｅｄｉｎｇｓ．１６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，Ａｕｇ．２００２，Ｖｏｌ２，ｐｐ．３２０ −３２３，
【非特許文献４】Ｏ．Ｄ．Ｔｒｉｅｒ，Ａ．Ｋ．Ｊａｉｎ， “Ｇｏａｌ−ＤｉｒｅｃｔｅｄＥｖａｌｕａｔｉｏｎｏｆＢｉｎａｒｉｚａｔｉｏｎＭｅｔｈｏｄｓ，”ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，Ｄｅｃｅｍｂｅｒ１９９５，Ｖｏｌ．１７，Ｎｏ．１２
【非特許文献５】Ｃｈｕｎ−ＭｉｎｇＴｓａｉａｎｄＨｓｉ−ＪｉａｎＬｅｅ， “ＢｉｎａｒｉｚａｔｉｏｎｏｆＣｏｌｏｒＤｏｃｕｍｅｎｔＩｍａｇｅｓｖｉａＬｕｍｉｎａｎｃｅａｎｄＳａｔｕｒａｔｉｏｎＣｏｌｏｒＦｅａｔｕｒｅｓ，” ＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳＯＮＩＭＡＧＥＰＲＯＣＥＳＳＩＮＧ，ＡＰＲＩＬ２００２，ＶＯＬ．１１，ＮＯ．４
【非特許文献６】Ｐ．Ｇ．Ｈｏｗａｒｄ，ｅｔａｌ． ”ＴｈｅＥｍｅｒｇｉｎｇＪＢＩＧ２Ｓｔａｎｄａｒｄ，” ＩＥＥＥｔｒａｎｓａｃｔｉｏｎｏｎｃｉｒｃｕｉｔｓａｎｄｓｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，１９９８，Ｖｏｌ．８，Ｎｏ．７
【非特許文献７】Ｒ．Ｍ．Ｋ．Ｓｉｎｈａ，Ｂ．Ｐｒａｓａｄａ，Ｇ．Ｆ．Ｈｏｕｌｅ，Ｍ．Ｓａｂｏｕｒｉｎ， “ＨｙｂｒｉｄＣｏｎｔｅｘｔｕａｌＴｅｘｔＲｅｃｏｇｎｉｔｉｏｎｗｉｔｈＳｔｒｉｎｇＭａｔｃｈｉｎｇ，” ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，Ｄｅｃｅｍｂｅｒ１９９３，Ｖｏｌ．１５，Ｎｏ．９
【非特許文献８】Ｃ．−Ｌ．Ｌｉｕ，Ｍ．ＫｏｇａａｎｄＨ．Ｆｕｊｉｓａｗａ， ”Ｌｅｘｉｃｏｎ−ｄｒｉｖｅｎＳｅｇｍｅｎｔａｔｉｏｎａｎｄＲｅｃｏｇｎｉｔｉｏｎｏｆＨａｎｄｗｒｉｔｔｅｎＣｈａｒａｃｔｅｒＳｔｒｉｎｇｓｆｏｒＪａｐａｎｅｓｅＡｄｄｒｅｓｓＲｅａｄｉｎｇ，” ＩＥＥＥＴｒａｎｓ．ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，Ｎｏｖ．２００２，Ｖｏｌ．２４，Ｎｏ．１１，ｐｐ．４２５−１４３７
【０００８】
【発明が解決しようとする課題】
本発明が解決しようとする第一の課題は，カメラ付の携帯端末とサーバの連携による文字認識における，通信量の削減である。上に述べたように，画像をサーバに送信する際の通信量を削減することは，従来の技術では困難であった。通信量の増加は，送信に要する時間の増加の原因となる。また，通信量の増加は，通信費用の増加にもつながる。このように，通信量の削減は，本システムの利便性に大きく寄与する，工学的な課題である。
【０００９】
本発明が解決しようとする第二の課題は，カメラ付の携帯端末とサーバの連携による文字認識における，携帯端末の操作性の向上である。上に述べたように，人手で読取り領域を精緻に指定するのは困難な作業である。このような作業を軽減する手段を提供し操作性を向上することは，本システムの利便性に大きく寄与する，工学的な課題である。
【００１０】
本発明が解決しようとする第三の課題は，携帯端末の記憶装置の有効利用である。上に述べたように，携帯端末では記憶容量に制限があり，文字識別辞書や言語辞書を搭載することはできない。さらに，一般に携帯端末は多くの用途に兼用される。このため，文字識別辞書や言語辞書よりは小さいとはいえ，認識処理の手順を格納するオブジェクトも，不要な時には消去し，記憶装置を別の用途のために解放することが望ましい。このような，記憶装置を有効に活用する手段を提供することは，工学的に重要な課題である。
【００１１】
【課題を解決するための手段】
上記の課題を解決するために，本発明では，携帯端末で画像入力と文字行切出しを実行し，画像を適切に符号化してサーバに送信し，サーバにて文字切出し，文字識別，後処理を実行し，さらにサーバで翻訳や検索などの応用処理を行い，結果を携帯端末に送り返すようにする。さらに，携帯端末で画像入力と文字行切出しと画像符号化を実行する手順を格納するオブジェクトは，サーバから必要に応じ携帯端末へ転送するようにする。
【００１２】
文字行切出しを携帯端末にて自動的に行うことにより，人手で読取り領域を精緻に指定することが不要となる。文字識別辞書および言語辞書はそれぞれ文字切出しと文字識別、及び後処理に用いられるものであるため、画像入力，文字行切出しでは文字識別辞書や言語辞書などが不要である。このため，必要な記憶容量は小さい。また，処理手順を格納するオブジェクトの転送も容易である。また，文字行抽出に必要な処理時間は，文字行抽出の方式によっては，画像を送信するよりはるかに高速である。このため，画像をサーバへ転送して文字行抽出を行うより，操作者の待ち時間を低減することが可能となる。
【００１３】
上記の手段の導入は自明な解決策ではなく，いくつかの技術的な問題が派生する．そこで，以下のような手段でそれらを解決する。
【００１４】
文字行の切出しを自動化することに伴い，文字行の切出しが操作者の意図どおりに行われないことがあるという問題が生じる。そこで，文字行切出し結果は，携帯端末の表示装置に視覚的に示すようにする。これにより，操作者の意図どおりの文字行が認識対象となっていることが容易に確認できる。また，必要に応じ修正を施すことが可能となる。
【００１５】
文字認識処理の後半にあたる文字切出し，文字識別，後処理をサーバ上で実行することに伴い，文字行切出し結果をサーバに転送する手段を提供する必要が生じる。ここでは，通信量をできる限り少なくする一方，後段の処理に必要な情報が欠けることがないようにしなくてはならない。そこで，文字行切出しの後，文字行中の文字と背景の分離処理，例えば閾値処理を行い，その結果を例えばＪＢＩＧなどの画像圧縮方式で符号化し，サーバへ送信するようにする。カメラで撮られた画像は一般に多値画像，もしくはカラー画像であり，これを文字背景分離処理にて二値化することで大幅に記憶容量を削減できる。さらに二値画像に適した画像圧縮方式で符号化することにより，記憶容量はさらに削減できる。このため，通信量は大幅に削減することができる。また，通常の二値画像の圧縮方式では情報の欠落はないため，サーバへ送信する際に必要な情報が欠けることを防ぐことができる。さらに，文字と背景の分離の仕方は複数の方法で試み，それぞれの結果を符号化してサーバへ送信するようにする。これにより，不適切な文字背景分離処理で情報が欠落することを補うことができる。
【００１６】
また，文字認識処理の後半にあたる文字切出し，文字識別，後処理をサーバ上で実行することに伴い，適切な文字識別辞書，言語辞書がサーバ上で選択されるような手段を提供する必要がある。また，翻訳，検索などのサービスをサーバで提供する場合には，端末操作者が意図するサービスがサーバ上で選択されるような手段を提供する必要がある。そこで，文字行の画像とともに，端末から読取り対象やサービスを指定する識別子をサーバへ送信し，サーバ上で上記識別子に応じて文字識別辞書，言語辞書，サービスを切り替えるようにする。
【００１７】
上記の識別子や，サーバのアドレスは，操作者に通知なく変更されることがありうる。そこで，画像入力と文字行切出しと画像符号化を実行する手順を格納するオブジェクトは，サーバから必要に応じ携帯端末へ転送するようにするとともに，このオブジェクトに上記の識別子とサーバアドレスとを格納するようにする。これにより，操作者はオブジェクトの転送元となるサーバのアドレスのみを知るだけで，文字切出し，文字識別，後処理，サービスを提供するサーバへアクセスできるようになる。
【００１８】
【発明の実施の形態】
図１に本発明の１実施例の構成を示す。１０１は，携帯端末であり，文字認識の画像入力処理と文字行切出し処理をつかさどる。携帯端末１０１は，カメラ１０２，演算装置１０３，表示装置１０４，入力装置１０５，通信装置１０６，記憶装置１０７を有する。カメラ１０２などから画像の入力を受け、演算装置１０３は記憶装置１０７に格納されたオブジェクト１０８で指定された手順に従い，各装置を制御すると共に，文字切出し，画像符号化などの処理を実行する。ここで，オブジェクトとは，データと処理手順を表すプログラムからなる一連のバイト列である。表示装置１０４は，例えば液晶パネルなどの装置であり，画像や文字などの情報を視覚的に表示するものである。入力装置１０５は，例えばボタンなどの装置であり，装置を操作している人間からの入力を受付けるものである。通信装置１０６は，例えば無線ＬＡＮやセルラ通信のような通信のための装置であり，外部との通信をつかさどるものである。記憶装置１０７は，例えばスタティックＲＡＭのようなものであり，処理手順を格納するオブジェクトや，文字切出しや画像符号化の処理の過程で必要な変数値を記憶するものである。
オブジェクト１０８には，画像入力１０９，文字切出し１１０，画像符号化１１１，制御・通信１１２，表示１１３などの処理の手順を格納する。また，制御・通信１１２と併せて，後述する認識サーバ１１５のアドレスと，アプリケーションをするための識別子も，オブジェクト１０８に格納する。
【００１９】
通信装置１０６は，ネットワーク１１４を介し，後述するサーバ群との通信をつかさどる。
【００２０】
認識サーバ１１５は，文字認識の文字切出し，文字識別，後処理の各処理をつかさどる。認識サーバ１１５は，ネットワーク１１４を介して他のサーバや携帯端末と通信を行う通信装置１１６と，文字切出しや文字識別などの各処理を実行する演算装置１１７と，演算手順と文字識別辞書と言語辞書を格納する記憶装置１１８とを有する。文字識別辞書とは、認識対象の文字の形状と文字コードを記憶するもので，文字識別の際に参照する。言語辞書とは、言語的な制約を表すもので，後処理で参照する。言語辞書としては，単語の集合である単語辞書，あるいは非特許文献７にあるようなトライグラム，あるいは非特許分権８のようなトライを用いる。
【００２１】
主サーバ１１９は，携帯端末１０１が主に通信するサーバであり，また，オブジェクト１０８の複写元を記憶するものである。主サーバ１１９は，ネットワーク１１４を介して他のサーバや携帯端末と通信を行う通信装置１２０と，各処理を実行するマイクロプロセッサーのような演算装置１２１と，それらの処理手順などを記憶する記憶装置１２２と，携帯端末１０１へ転送するオブジェクトの複写元１２４を格納する二次記憶装置１２３とを有する。
【００２２】
アプリケーションサーバ１２５は，翻訳，検索などのサービスを提供するものである。
図２４に一般的な文字認識処理のデータフローを示す。まずステップ２４０１において，入力画像から文字行を切出す。次にステップ２４０２において文字行中から個々の文字を切出す。次に，ステップ２３０４において切出した個々の文字が何の文字であるかを識別する。この際，文字識別辞書２４０６を参照する。最後にステップ２４０５において，文字識別した結果を文字列として解釈（すなわち，認識対象の文字列が，言語辞書で定義される文字列のいずれに該当するとみなすのが尤もらしいかを，最尤法で推定）する。この際，言語辞書２４０７を参照する。特に，文字識別辞書２４０６と言語辞書２４０７は容量が大きくなることが多く，携帯端末で文字認識を実現する際に問題となる。
【００２３】
図２に，本実施例の実行手順を示す。まず，操作者が入力装置１０５に対してオブジェクト要求操作を行う（２０１）。ここでは，用途に応じ，いくつかの選択肢から要求するオブジェクトを指定できるようにする。オブジェクトの指定は，オブジェクト要求番号と称する整数値で行う。オブジェクト要求操作に応じて，携帯端末１０１は主サーバ１１９へ，オブジェクト要求２０２を送信する。この際，携帯端末１０１は操作者の指定に応じて，異なるオブジェクト要求番号を主サーバ１１９へ送信する。主サーバ１１９は，オブジェクト要求番号に応じてオブジェクト選択処理２０３にて転送するオブジェクトを選択し，携帯端末へ転送する（２０４）。携帯端末１０１は，オブジェクトの転送が完了した時点で，完了した旨を表示装置１０４に表示する（２０５）。以上の操作は、文字認識の実行の度に行う必要はなく、その端末で最初に本発明の文字認識を行う前、およびオブジェクトの更新の必要性に応じて実行すれば十分である。
【００２４】
次に，操作者はカメラ１０２を認識対象に向け，認識要求操作を行う（２０６）。これを受け，携帯端末１０１のカメラ１０２と演算装置１０３が動作し，画像入力処理２０７と文字行切出し処理２０８を予めオブジェクト１０８で定められた手順に従って実行する。この際，入力される画像はカラー画像，または多値画像とする。文字行切出し処理２０８実行後，文字行の切出し結果を表示装置１０４に表示する（２０９）。操作者は，文字行の切出し結果を目視し，必要に応じ入力装置１０５を介して文字行切出し結果を修正し，確認を入力装置１０５に入力する。これを受け，携帯端末１０１は画像符号化２１１をオブジェクト１０８に予め定められた手順に従い，画像を符号化する（２１１）。さらに，符号化した結果をサービスなどを指定する識別子とともに通信装置１０６によりネットワーク１１４を介して認識サーバ１１５へ送信する（２１２）。ネットワーク１１４上での認識サーバ１１５のアドレスは，オブジェクト１０８に予め記憶してある。認識サーバ１１５は，予め指定された手順に従い，文字切出し（２１３），文字識別（２１４），後処理（２１５）を実行する。この際，文字識別辞書，言語辞書は，端末から送信された識別子に応じて切り替える。文字切出し，文字識別，後処理の終了後，認識サーバ１１５は得られた認識結果の文字列を，サービスを指定する識別子とともにアプリケーションサーバ１２５へ転送する（２１６）。アプリケーションサーバ１２５は，識別子に応じてサービスを切り替えて実行する。図２の例では，入力の文字列を予め定められた手順に従い，他の言語へ翻訳する（２１７）。サービス実行後，得られた情報は認識サーバ１１５を経由して携帯端末１０１へ翻訳結果を送信する（２１８，２１９）。携帯端末１０１は，サービスの結果得られた情報を表示装置１０４へ表示する。図２の例では，翻訳結果を表示する（２２０）。
【００２５】
図３に，本実施例における携帯端末の正面からの外観を示す。本携帯端末では，カメラがレンズ３０２を外に向けて筐体３０１に搭載されている。また，筐体３０１内部には，図１に示す各装置を駆動するのに必要な電源などの付加的な装置を内蔵する。
【００２６】
図４に，本実施例における携帯端末の背面からの外観を示す。背面には，表示装置１０４の表示面４０２を配置する。また，入力装置１０５の操作部にあたるボタン４０３，４０４とカーソルキー４０５を図に示すように配置する。なお、図３に示したカメラ３０２の設置位置は、図４に示した各要素の背面に限定されるものではなく、カメラ３０２を携帯端末３０１の画像入力装置として利用することができれば他の形態をとってもよい。
【００２７】
図５に，オブジェクト要求操作２０１を実行する際の携帯端末１０１の状態を示す。この状態では，表示面４０２には，５０１に示すようなメニューを表示する。操作者は，カーソルキー４０５を用いてメニュー上の選択肢を選び，ボタン４０３を押下して選択肢を確定する。例えば，図５では，「英語翻訳」「英和辞典」「日本語検索」「ＷＥＢ」の内から「英語翻訳」を選択している。ここでボタン４０３を押下すると，「英語翻訳」を確定したことになる。これを受け，携帯端末１０１は，選択肢に応じた識別子をオブジェクト要求とともに主サーバ１１９に送信する。なお，ここでは，「英語翻訳」は英語の文を日本語に翻訳する機能，「英和辞典」は英単語の意味を検索する機能，「日本語検索」は日本語から関連する情報を検索する機能，「ＷＥＢ」はＵＲＬを読取って該当するＷＷＷサーバにアクセスする機能である。
【００２８】
図１２に，オブジェクト要求操作２０１の過程で，メニューの表示と，オブジェクト要求の送信に用いるテーブルを示す。このテーブルは，予め携帯端末１０１の記憶装置１０７に格納しておく。テーブルの各レコードは，メニュー表示に用いる文字列１２０１と，整数で表されるオブジェクト要求番号１２０２の二つの変数を持つ。このテーブルを参照することで，携帯端末１０１が操作者のメニューの操作に応じて自動的にオブジェクト要求番号を獲得し，主サーバ１１９に送信することが可能となる。なお、この表示はネットワークを介して端末に送信されて表示されるものであってもよい。
【００２９】
図６に，「英語翻訳」機能を選択した後に，認識要求操作２０６を実行する際の，携帯端末１０１の状態を示す。表示面４０２には，カメラ１０２で撮った画像が表示される。操作者は携帯端末１０１を動かし，意図する認識対象が画面中に位置するようにして，ボタン４０３を押下する。ボタン４０３を押下するまでは，カメラ１０２は自動的に一定の時間の間隔で画像を撮り，撮った画像は一定の間隔で自動的に新たに表示しなおされるようにする。ボタン４０３を押下すると，携帯端末１０１は予め定められた手順に従い，画像を記憶装置１０７に入力し，自動的に文字行を切出す。入力する画像は，カラー画像，もしくは多値画像とする。文字行切出しには，非特許文献２のような方式を用いる。画像中から複数の文字行が切出された場合には，認識対象を画面中央に撮影するようにユーザに予め指示しておけば、最も中央に近いものを選択して文字行切出し結果とすればよい。なお，「英和辞典」が選択されている場合には，文字行切出し処理として，非特許文献３のような，本来は単語切出しの方式であるものを用い，得られた単語の内，最も画面の中央に近いものを文字行切出し結果とする。本実施例では，オブジェクト１０８に機能に応じた適切な文字行切出し処理の手順を予め記憶しておく。なお，オブジェクト１０８に複数の処理手順を格納しておき，サービスに対応する識別子１２２に応じて処理を切り替えるようにしてもよい。
【００３０】
図７に文字行切出し結果表示２０９における携帯端末１０１の状態を示す。表示面４０２上には，認識要求がなされた時点での画像に，切出された文字行の外接矩形７０１を表示する。この時点でカーソルキー４０５を操作することにより，認識対象の文字行の位置を修正することができる。また，ボタン４０３を押下することで，画象符号化２１１を起動される。
【００３１】
図８に，翻訳結果表示２１９における携帯端末１０１の状態を示す。表示面４０２上には，翻訳結果の文字列８０１に加え，必要に応じて認識要求がなされた時点での画像と，切出された文字行の外接矩形７０１を表示する。
【００３２】
図９に，画象符号化２１１から文字行画像転送に至る処理のデータフローを示す。まず，画像切抜き処理９０１において，文字行切出し結果に基づき，入力画像から文字行部分を切り抜く。切り抜いた結果は例えば，図１０のようになる。切り抜かれた画像は，カラー画像，多値画像とする。次に，切り抜いた画像を二値化する。二値化には，非特許文献４や，非特許文献５のように，様々な方式がある。ここでは，９０２，９０３，９０４において３つの異なる方式で二値化を行う。得られた二値画像をおのおの９０５，９０６，９０７にて符号化する。ここでは，例えば，非特許文献６のような，二値画像に対して高い圧縮率で符号化が可能な方式を用いる。得られた符号とオブジェクトに記憶している識別子とを合わせて９０８にて認識サーバ１１５へ送信する。
【００３３】
認識サーバ１１５での認識処理の手順を図１３に示す。まずステップ１３０１にて，受信した識別しに応じて文字識別辞書と言語辞書を選択する。次に，受信した全ての符号化された画像について，ステップ１３０２にて画像を復元し，ステップ１３０３にて文字列を認識する。文字列の認識には，非特許文献７にあるような方式で，転送された画像から文字列を認識する。図２に示すように，本実施例では，文字切出し，文字識別，後処理を逐次的に実行しているが，非特許文献８にあるように，これらを統合した処理を実行してもよい。全ての符号化された画像を処理した後，それらから得られる文字列認識結果で最適なものをステップ１３０４にて選択し，最終的な認識結果とする。上に例として挙げた文字列認識方式では，認識結果の文字列とともに，その確信度の値を得ることができる。ステップ１３０４では，もっとも確信度の値が高いものを最終的な認識結果として選択する。
【００３４】
図１４はステップ１３０１にて辞書を選択する際に参照するテーブルを示す。このテーブルは，認識サーバ１１５の記憶装置１１８に予め記憶しておく。テーブル中の各レコードは識別子１４０１，識別辞書名１４０２，言語辞書名１４０３の３つの要素を持つ。例えば，本実施例では，識別子の値１１は英語翻訳を，１２は英和辞典を，１３は日本語検索を，１４はＷＥＢを示す。識別子の値が１，２，４の場合，ステップ１３０１では文字識別辞書として英字辞書「Ｅ．ｃｄｃ」を，識別子の値が２の場合は日本語辞書「Ｊ．ｃｄｃ」を選択する。また，言語辞書としては，識別子の値が１または２の場合には，英語辞書「ｅ．ｌｄｃ」を，３の場合は日本語辞書「ｊ．ｌｄｃ」を，４の場合はＷＥＢの表記規則を表す辞書「ｗ．ｌｄｃ」を選択する。
【００３５】
上で述べたように，本実施例では，認識対象に応じて認識サーバで文字識別辞書と言語辞書を切り替える。別の実施例として，認識対象ごとに異なる認識サーバを用いるようにしてもよい。また本実施例では，アプリケーションサーバ内で識別子に応じてサービスを切り替えている。別の実施例として，複数のアプリケーションサーバを用いるようにしてもよい。
【００３６】
図１５は本実施例におけるオブジェクト，サービスを指定する識別子，文字識別辞書，言語辞書，サービスの管理の方法を模式的に示している。主サーバには，複数のオブジェクトが格納されている。主サーバは，オブジェクト要求の際に携帯端末から送信されるオブジェクト要求番号に応じて，格納している１つ以上のオブジェクトから適切なものを選択し，携帯端末へ転送する。転送するオブジェクトには，認識サーバアドレスと識別子を格納しておく。携帯端末は，オブジェクトに格納されている識別子と符号化した画像とを，オブジェクトに格納されているアドレスの認識サーバへ送信する。認識サーバは，受信した識別子に応じ，文字識別辞書と言語辞書を切り替えて文字列を認識する。さらに，認識サーバは，予め記憶してあるアドレスのアプリケーションサーバへ，文字列認識結果と識別子とを送信する。
【００３７】
図１６は，本発明の別の実施例におけるオブジェクト，サービスを指定する識別子，文字識別辞書，言語辞書，サービスの管理の方法を模式的に示している。本実施例では，図１５とほぼ同じであるが，複数の認識サーバを設け，各認識サーバはひとつづつの文字識別辞書と言語辞書を記憶する点で異なる。各オブジェクトには，サービスの対象に応じた文字列認識を行う認識サーバのアドレスを格納しておく。これにより，認識サーバの構成を単純にし，認識サーバの記憶装置や演算装置を効率よく使うことが可能となる。
【００３８】
図１７は，本発明の別の実施例におけるオブジェクト，サービスを指定する識別子，文字識別辞書，言語辞書，サービスの管理の方法を模式的に示している。本実施例では，図１６とほぼ同じであるが，各オブジェクトに複数の識別子と認識サーバアドレスを格納する点で異なる。これにより，オブジェクトを携帯端末に転送した後，操作者がサービスを携帯端末上で指定することが可能となる。
【００３９】
図１８は，本発明の別の実施例におけるオブジェクト，サービスを指定する識別子，文字識別辞書，言語辞書，サービスの管理の方法を模式的に示している。本実施例は，図１５とほぼ同じであるが，認識サーバに複数のアプリケーションサーバのアドレスを記憶しておき，携帯端末から送信された識別子に応じてアプリケーションサーバを選択するようにし，各アプリケーションサーバはひとつのサービスのみを司る点で異なる。これにより，アプリケーションサーバの構成を単純にし，アプリケーションサーバの記憶装置，演算装置を効率よく使うことが可能となる。
【００４０】
図１９は，本発明の別の実施例におけるオブジェクト，サービスを指定する識別子，文字識別辞書，言語辞書，サービスの管理の方法を模式的に示している。本実施例では，図１６とほぼ同じであるが，各オブジェクトにアプリケーションサーバのアドレスを格納する点で異なる。これにより，アプリケーションサーバのアドレスの変更が頻繁にある場合でも，主サーバ上のオブジェクトだけを変更すればよく，認識サーバに記憶するアプリケーションサーバのアドレスを変更する必要がなくなる。
【００４１】
図２０は，本発明の別の実施例におけるオブジェクト，サービスを指定する識別子，文字識別辞書，言語辞書，サービスの管理の方法を模式的に示している。本実施例は，図１６とほぼ同じであるが，認識サーバ毎に異なるアプリケーションサーバのアドレスを記憶しておき，各アプリケーションサーバはひとつのサービスのみを司る点で異なる。これにより，アプリケーションサーバの構成を単純にし，アプリケーションサーバの記憶装置，演算装置を効率よく使うことが可能となる。
【００４２】
図２１は，本発明の別の実施例におけるオブジェクト，サービスを指定する識別子，文字識別辞書，言語辞書，サービスの管理の方法を模式的に示している。本実施例は，図２０とほぼ同じであるが，アプリケーションサーバを廃し認識サーバでサービスを司る点で異なる。これにより，サーバの台数を削減することが可能となる。
【００４３】
図２２は，本発明の別の実施例におけるオブジェクト，サービスを指定する識別子，文字識別辞書，言語辞書，サービスの管理の方法を模式的に示している。本実施例は，図１５とほぼ同じであるが，アプリケーションサーバを廃し認識サーバでサービスを司る点で異なる。これにより，サーバの台数を削減することが可能となる。
【００４４】
図２３は，本発明の別の実施例におけるオブジェクト，サービスを指定する識別子，文字識別辞書，言語辞書，サービスの管理の方法を模式的に示している。本実施例は，図２２とほぼ同じであるが，認識サーバを廃し主サーバで文字列認識とサービスを司る点で異なる。これにより，サーバの台数を削減することが可能となる。
【００４５】
【発明の効果】
本発明の第一の効果は，通信量の削減である。携帯端末上で文字行を切出してサーバに送信するため，画像全体を送信する場合や，大まかに指定した領域の画像を送信する場合に比べ，データの通信量が少なくすることができる。また，画像入力，文字行切出し，画像符号化の手順を格納するオブジェクトを予め携帯端末へ転送する必要があるが，このオブジェクトには，文字識別辞書，言語辞書などは含まれておらず，転送の際の通信量は少なくできる。
【００４６】
本発明の第二の効果は，操作性の向上である。携帯端末上で自動的に文字行切出しを行うため，人手により文字行領域を細かく指定する必要がなくなる。また，文字行切出し結果は即時に表示するとともに，必要に応じた修正を可能とするため，操作者の意図どおりの領域を読取ることが可能となる。
【００４７】
本発明の第三の効果は，携帯端末の記憶装置の有効利用である。本発明では，文字識別辞書，言語辞書をサーバに格納するため，携帯端末に必要な記憶容量は少なくてすむ。また，画像入力，文字行抽出の手順を格納するオブジェクトも，不要の際には削除することが可能である。
【図面の簡単な説明】
【図１】本発明の第一の実施例の構成図。
【図２】本発明の第一の実施例の実行手順を示す図。
【図３】本発明の第一の実施例における携帯端末の正面図。
【図４】本発明の第一の実施例における携帯端末の背面図。
【図５】本発明の第一の実施例におけるオブジェクト要求操作を実行する際の携帯端末の背面図。
【図６】本発明の第一の実施例における認識要求操作を実行する際の携帯端末の背面図。
【図７】本発明の第一の実施例における文字行切出し結果表示時の携帯端末の背面図。
【図８】本発明の第一の実施例における翻訳結果表示時の携帯端末の背面図。
【図９】本発明の第一の実施例における画像符号化から文字行画像転送に至る処理のデータフロー図。
【図１０】本発明の第一の実施例における文字行画像切抜き処理の結果の模式図。
【図１１】本発明の第一の実施例における文字行画像の二値化処理の結果の模式図。
【図１２】本発明の第一の実施例におけるメニュー表示とオブジェクト要求に用いるテーブルを示す図。
【図１３】本発明の第一の実施例における認識サーバでの処理の手順を示す図。
【図１４】本発明の第一の実施例における認識サーバで辞書を選択する際に参照するテーブルを示す図。
【図１５】本発明の第一の実施例におけるオブジェクト，識別子，言語辞書，文字識別辞書，サービスの管理を模式的に示す図。
【図１６】本発明の第二の実施例におけるオブジェクト，識別子，言語辞書，文字識別辞書，サービスの管理を模式的に示す図。
【図１７】本発明の第三の実施例におけるオブジェクト，識別子，言語辞書，文字識別辞書，サービスの管理を模式的に示す図。
【図１８】本発明の第四の実施例におけるオブジェクト，識別子，言語辞書，文字識別辞書，サービスの管理を模式的に示す図。
【図１９】本発明の第五の実施例におけるオブジェクト，識別子，言語辞書，文字識別辞書，サービスの管理を模式的に示す図。
【図２０】本発明の第六の実施例におけるオブジェクト，識別子，言語辞書，文字識別辞書，サービスの管理を模式的に示す図。
【図２１】本発明の第七の実施例におけるオブジェクト，識別子，言語辞書，文字識別辞書，サービスの管理を模式的に示す図。
【図２２】本発明の第八の実施例におけるオブジェクト，識別子，言語辞書，文字識別辞書，サービスの管理を模式的に示す図。
【図２３】本発明の第九の実施例におけるオブジェクト，識別子，言語辞書，文字識別辞書，サービスの管理を模式的に示す図。
【図２４】一般的な文字認識処理のデータフロー図。
【符号の説明】
１０１：携帯端末，１０２：カメラ，１０３：演算装置，１０４：表示装置，１０５：入力装置，１０６：通信装置，１０７：記憶装置，１０８：オブジェクト，１０９：画像入力手順格納部，１１０：文字行切出し手順格納部，１１１：画像符号化手順格納部，１１２：制御・通信手順格納部，１１３：表示手順格納部，１１４：ネットワーク，１１５：認識サーバ，１１６：通信装置，１１７：演算装置，１１８：記憶装置，１１９：主サーバ，１２０：通信装置，１２１：演算装置，１２２：記憶装置，１２３：二次記憶装置，１２４：オブジェクト記憶部，１２５：アプリケーションサーバ，２０１：オブジェクト要求操作，２０２：オブジェクト要求，２０３：オブジェクト選択，２０４：オブジェクト転送，２０５：オブジェクト転送完了表示，２０６：認識要求操作，２０７：画像入力，２０８：文字行切出し，２０９：文字行切出し結果表示，２１０：確認／修正操作，２１１：画像符号化，２１２：文字行画像転送，２１３：文字切出し，２１４：文字識別，２１５：後処理，２１６：認識結果文字列転送，２１７：翻訳，２１８：翻訳結果転送，２１９：翻訳結果転送，２２０：翻訳結果表示，３０１：筺体，３０２：レンズ，４０２：表示面，４０３：ボタン，４０４：ボタン，４０５：カーソルキー，５０１：メニュー，７０１：文字行切出し結果，８０１：翻訳結果，９０１：画像切抜き処理，９０２：第１の二値化処理，９０３：第２の二値化処理，９０４：第３の二値化処理，９０５，９０６，９０７：符号化，９０８：送信，１２０１：メニュー表示に用いる文字列，１２０２：オブジェクト要求番号，１３０１：辞書選択，１３０２：画像復元，１３０３：文字列認識，１３０４：最適認識結果選択，１４０１：識別子，１４０２：文字識別辞書名，１４０３：言語辞書ファイル名。

Claims

画像入力手段と演算手段と記憶手段と通信手段を有する第一の計算機と，演算手段と記憶手段と通信手段を有する第二の計算機とを有する文字認識システムにおける文字認識方法であって，
上記第一の計算機において画像を入力し，該画像中から文字行を切出して文字行切出し情報を作成して上記第二の計算機へ転送し，上記第二の計算機において受信した文字行切出し情報から文字を認識することを特徴とする文字認識方法。
上記第一の計算機は、上記文字行切出し情報を符号化して上記第二の計算機へ転送することを特徴とする請求項１記載の文字認識方法。
上記第一の計算機は画像表示手段を有し，上記第一の計算機で文字行を切出した結果を表示することを特徴とする請求項１の文字認識方法。
上記第一の計算機において複数の異なる方法で文字行部分の画像を符号化し，異なる方法で符号化された複数個の文字行部分の画像を上記第二の計算機へ転送することを特徴とする請求項２の文字認識方法。
上記第一の計算機から文字行切出し情報とともに識別子を第二の計算機に転送し，上記第二の計算機は複数の文字列認識手段を有し，上記第二の計算機は受信した識別子に応じて文字列認識手段を切り替えて文字行切出し情報から文字を認識することを特徴とする請求項１の文字認識方法。
上記文字認識システムは演算手段と記憶手段と通信手段を有する第三の計算機をさらに有し、
上記第三の計算機から上記第一の計算機が行う上記文字行の切出しのためのプログラムを上記第一の計算機に転送することを特徴とする請求項１記載の文字認識方法。
え第三の計算機から上記プログラムとともに識別子を上記第一の計算機に転送し，上記第一の計算機から上記文字行切出し情報とともに上記第三の計算機から受信した識別子を上記第二の計算機に転送し，上記第二の計算機は複数の文字列認識手段を有し，該受信した識別子に応じて文字列認識手段を切り替えて上記文字行切出し情報から文字を認識することを特徴とする請求項６の文字認識方法。
上記文字認識システムは演算手段と記憶手段と通信手段を有する第三の計算機をさらに有し、
上記第三の計算機から上記第二の計算機のアドレスを上記第一の計算機に転送し，上記第一の計算機は該転送されたアドレスにしたがって上記第二の計算機へ上記文字行切出し情報を転送することを特徴とする請求項１記載の文字認識方法。
請求項１から８のいずれかの文字認識方法で認識した結果の文字列を，第四の計算機で処理し，その結果を第一の計算機に表示することを特徴とする情報処理方法。
画像入力手段と演算手段と記憶手段と通信手段を有する第一の計算機と，演算手段と記憶手段と通信手段を有する第二の計算機とを有する文字認識システムにおける上記第一の計算機に、入力画像中から文字行を検出する手順と，該検出した文字行の画像を符号化する手順と，該符号化した文字行画像を上記第二の計算機へ送信する手順と，該文字行画像から認識された文字列を上記第二の計算機から受信する手順と，上記受信した文字列を表示する手順を格納することを特徴とするプログラム。
上記文字行の検出結果を表示手段を格納し，該文字行の検出結果の表示後，該表示内容に対する確認操作を受付け，確認後に文字行画像を送信することを特徴とする請求項１０のプログラム。
文字行画像の送信先のアドレスを格納することを特徴とする請求項１０のプログラム。
画像入力手段と演算手段と記憶手段と通信手段を有する第一の計算機と，演算手段と記憶手段と通信手段を有する第二の計算機とを有する文字認識システムにおける上記第一の計算機に、入力画像中の一部分を符号化する手順と，該符号化した部分画像を上記第二の計算機に送信する手順と，上記第二の計算機から該部分画像から認識された文字列を受信する手順と，上記入力画像の少なくとも一部と上記受信した文字列とを同時に表示する手順を格納することを特徴とするプログラム。