JP2004173289A - 携帯端末装置またはホスト装置 - Google Patents

Abstract

【課題】情報処理装置を用いた検索や翻訳などにおけるユーザインタフェイスの向上を計る。
【解決手段】携帯端末１に内蔵されたカメラを用いて文字を含んだ画像データを読み取る。サービスを指定し、画像データをホスト端末３へ転送する（ステップＳ１〜Ｓ３）。ホスト端末３は、受信した画像データに含まれる文字を認識するとともに、その文字に所定の処理（翻訳、検索等）を施す。ホスト端末３は、その処理結果を携帯端末１に送信する（ステップＳ４〜Ｓ８）。携帯端末１は、ホスト端末３から受信した処理結果を表示する（ステップＳ９、Ｓ１０）。
【選択図】 図１

Description

本発明は、入力されたデータに対して所定の処理を施す情報処理装置に係わり、特に、携帯端末装置を用いて撮影された画像データをホスト装置に処理させる技術に関する。

情報処理装置を用いてデータベース検索や言語翻訳などを実行する際は、通常検索したいキーワードや翻訳したい文章またはフレーズをキーボード等から入力する。そして、入力された文字が指定されたアプリケーションプログラム（検索プログラムや翻訳プログラム）によって処理され、その結果がディスプレイに表示される。

データベース検索では、通常、ネットワークを介して接続されたデータベースにアクセスすることによって検索結果を得る。また、言語翻訳は、スタンドアロンで実行されることが多いが、近年ネットワーク上のサーバマシンにその処理を依頼するケースも増えてきている。

ところが、上述のような処理に際してより簡単なユーザインタフェイスが求められる場合もある。たとえば、キー入力以外の方式で文字を入力したいと考えるユーザも多い。キー入力以外の文字入力方式としては、専用のペンを用いて表示画面上から手書き入力する形態が知られているが、細かいパターンを描きにくい場合があり、また、既に紙面などに書かれている内容を翻訳・検索したいときには、それをもう一度ペン入力する必用があり面倒である。また、携帯端末装置を用いて上述のような翻訳・検索処理を「何時でも何処でも」行いたいと考えるユーザも多い。

本発明の課題は、情報処理装置を用いた検索や翻訳などにおけるユーザインタフェイスの向上を計ることである。

本発明の携帯端末装置は、文字を含む画像データを撮影する撮影手段と、この撮影された画像データに対する複数の処理をホスト装置へ依頼する複数のサービスの中から所望のサービスを指定するサービス指定手段と、前記ホスト装置へ依頼した前記サービスの処理結果を前記携帯端末装置へ表示するか否かを示す情報を指定する表示指定手段と、前記指定されたサービスを示すサービスコード、前記表示指定手段で指定された情報および前記撮影された画像データを前記ホスト装置へ通信ネットワークを介して送信する送信手段と、前記画像データを受けた前記ホスト装置において、この画像データから認識された文字に対して前記指定されたサービスに基づく処理を実行した処理結果のデータを、前記指定された情報に応じて前記通信ネットワークを介して前記ホスト装置から受信する受信手段と、前記受信した処理結果のデータを表示する表示手段と、を有する。

本発明のホスト装置は、携帯端末装置から通信ネットワークを介して送信されたデータを受信する受信手段と、前記受信したデータに含まれているサービスコードの種類を判断する判断手段と、前記受信したデータに含まれている画像データから文字を認識し、この文字に対して前記判断されたサービスコードに応じた処理を実行する処理手段と、前記受信したデータに前記処理の結果を前記携帯端末装置へ表示する情報が含まれていれば、前記処理手段による処理結果のデータを前記携帯端末装置へ送信する送信手段と、を有する。
例えば、サービスは、画像データに含まれる文字の言語翻訳、その文字をキーワードとしたデータベース検索等である。画像データは、携帯端末装置の撮影手段によって撮影される。即ち、携帯端末装置の撮影手段で所望の文字を撮影し、上記ホスト装置にサービスを要求することにより、上記所望の文字に対する処理結果が得られる。

本発明の携帯端末装置によれば、ホスト装置へ依頼する複数のサービスの中から所望のサービスを指定し、サービスの処理結果を前記携帯端末装置へ表示するか否かを示す情報を指定し、文字を含む画像データをホスト装置に送信することにより、 携帯端末装置では画像データを撮影することにより、ユーザが必要とするサービスを選択的にホスト装置側に実行させることができ、携帯端末装置によるユーザインタフェスが向上する。更に、処理結果を携帯端末装置に表示するか任意に選択できるので、ユーザーが必要なデータを選択的に入手することができる。更に、携帯端末装置側での認識処理およびサービスの内容に応じた処理が不要になり、その処理負担を軽減できる。また、本発明のホスト装置によれば、処理結果を携帯端末装置に表示するかの選択に応じて、ユーザーに必要なデータを選択的に提供することができる。

以下、本発明の実施形態について図面を参照しながら説明する。図１は、本実施形態のシステム構成図である。携帯端末１は、通信機能を備えており、ネットワーク２に接続された他の装置にデータ処理を依頼して、その結果を受け取って表示することができる。携帯端末１は、最寄りの基地局を介して無線でデータを送受信する方式、通信機能を持った装置（光リンクユニット）との間でＩｒ（赤外線）通信などでデータを送受信する方式、または有線でデータを送受信する方式でネットワーク２に接続される。

ネットワーク２には、ホスト端末３が収容されている。ホスト端末３は、サーバマシンであり、携帯端末１から転送されてくる依頼に従ってデータ処理を実行する。また、ホスト端末３は、必要に応じて、他のサーバ（翻訳サーバ４、検索サーバ５など）に処理を依頼する。そして、ホスト端末３は、処理結果を所定の端末（主に、処理依頼を発行した携帯端末１）に転送したり、あるいはその処理結果をホスト端末３内に蓄積する。なお、ネットワーク２には、他にも多数の端末（個人用ＰＣ６など）が収容されており、ホスト端末３は、これら他の端末からもアクセス可能である。

図２は、本実施形態のシステムの全体フローチャートである。本実施形態のシステムは、携帯端末１においてカメラを用いて取り込んだ画像データをホスト端末３に転送して解析（パターン認識、文字認識）させ、その解析結果に所定のサービスを提供して携帯端末１に返送するものである。

ステップＳ１では、携帯端末１に内蔵された（あるいは携帯端末１に接続された）カメラを用いて画像データを読み取る。ここでは、紙面に手書きされたメモ等、もしくは印刷された文書の一部を読み取るものとする。ステップＳ２では、サービスを指定する。サービスとしては、たとえば、ステップＳ１で読みとった画像データに含まれる文字（単語、フレーズ、文章）の翻訳、その文字をキーワードとしたデータベース検索などを指定する。ステップＳ３では、ステップＳ１で読み取った画像データをホスト端末３へ送信し、ステップＳ２で指定したサービスを要求する。

ホスト端末３は、ステップＳ４で携帯端末１から画像データとサービス要求を受信すると、ステップＳ５において、受信した画像データを処理するためのアプリケーションプログラムを起動する。ステップＳ６では、受信した画像データに対してパターン認識処理を実行してその中に含まれる文字を認識する。ステップＳ７では、携帯端末１において指定されたサービスを実行する。すなわち、ホスト端末３は、必要に応じて翻訳サーバ４や検索サーバ５に処理を依頼しながら、画像データに含まれている文字を翻訳したり、あるいはその文字をキーワードとしてデータベースを検索したりする。ステップＳ８では、ホスト端末３は、ステップＳ７による処理結果を携帯端末１に送信する。

携帯端末１は、ステップＳ９でホスト端末３から処理結果を受信すると、ステップＳ１０においてその処理結果を自己の表示部に表示する。このように、本実施形態のシステムでは、翻訳または検索等を行いたいときには、所望の文字（処理対象の文字）を含む記録面をカメラで撮影して画像データとしてホスト端末３に送信するだけでよい。したがって、ユーザは、所望の文字を紙などにメモ書きしてそれをカメラで撮影するだけで翻訳サービスや検索サービスを受けることができる。また、携帯端末１は、上述のようなサービスを受けるための構成用件として、画像データを取り込む機能、通信機能、およびデータを表示する機能を備えればよいので、軽量化、低コスト化が計れる。

図３は、携帯端末１の外観図である。携帯端末１は、ＬＣＤ表示部１１、カメラ１２、ＩＣカード用スロット１３、無線通信用アンテナ１４を備えている。また、他の通信方式をサポートするために、Ｉｒ通信のためのソケットや、有線通信用のソケットなども備えている。ＬＣＤ表示部１１は、タッチパネル構成であり、携帯端末１は手書き入力情報を処理することができる。

図４は、携帯端末１の構成図である。ＣＰＵ２１は、記憶装置２２（ＲＯＭおよびＲＡＭ）に格納されているプログラムを実行する。ＣＰＵ２１と記憶装置２２とはバス２３を介して互いに接続されている。

記憶装置２２は、半導体メモリ、磁気的記録媒体、あるいは光学的記録媒体で構成され、プログラムおよびデータ等を格納している。記憶装置２２は、携帯端末１に固定的に設けたものであってもよいし、着脱自在に装着するものであってもよい。

記録媒体ドライバ２４は、バス２３に接続されており、可搬性記録媒体（半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクを含む）２５に格納されているデータを読み出したり、あるいは可搬性記録媒体２５にデータを書き込む装置である。可搬性記録媒体２５の一例としては、ＩＣカードを想定する。ＣＰＵ２１は、可搬性記録媒体２５に格納されているプログラムを実行することもできる。

なお、記憶装置２２に記録するプログラムおよびデータ等は、通信回線などを介して接続された他の機器から受信して記録する構成にしてもよく、さらに、ＣＰＵ２１が他の機器側に設けられた記憶装置に格納されているプログラムおよびデータ等を通信回線などを介して使用するようにしてもよい。

ＬＣＤ表示部１１に対応するユニットは、液晶ディスプレイ（ＬＣＤ）３１、液晶ディスプレイ３１に表示すべき情報を格納するメモリ３２、ＬＣＤ制御部３４の制御に従ってメモリ３２に格納されている情報を液晶ディスプレイ３１に出力するＬＣＤドライバ３３、メモリ３２およびＬＣＤドライバ３３を制御するＬＣＤ制御部３４、タッチパネル部３５、およびタッチパネル部３５が検出した入力情報をＣＰＵ２１に通知するタッチパネル制御部３６から構成される。

カメラ１２は、たとえばＣＣＤカメラであり、その出力はＡ／Ｄコンバータ３７によってビットマップ形式のデジタルデータに変換されてメモリ３８に書き込まれる。カメラ制御部３９は、ＣＰＵ２１の指示に従って、メモリ３８に保持されている画像データをバス２３に出力する。

通信制御部４０は、携帯端末１からデータを送出する際には、ＣＰＵ２１の指示に従って送信パケットを生成して無線トランシーバ４１、４２または有線トランシーバ４３に渡す。また、データを受信する際には、無線トランシーバ４１、４２、または有線トランシーバ４３を介して受信したパケットに格納されているデータをバス２４上に出力する。無線トランシーバ４１は、図３に示した無線通信用アンテナ１４に接続されており、無線基地局４との間で無線データを授受する。無線トランシーバ４２は、Ｉｒ通信を行うための送受信機であり、また、有線トランシーバ４３は例えばモデムである。無線トランシーバ４２および有線トランシーバ４３は、オプションで着脱される。なお、携帯端末１は、さらに時計４４を備えている。

図５は、携帯端末１においてカメラ撮影により取り込んだ画像データをホスト端末３に転送して所望のサービスを要求する処理のフローチャートであり、図２のステップＳ１〜Ｓ３の詳細を示すものである。このフローチャートで示す各機能を実現するプログラムは、ＣＰＵ２１が読み取り可能なプログラムコードの形態で記憶装置２２に格納されている。

以下のフローチャートは、携帯端末１が入力待ち状態において何らかの入力を検出した後の処理を示している。また、この実施例では、ユーザがメモ書きした文字をカメラ撮影する例を説明する。

ステップＳ１１では、検出した入力がカメラ１２からの入力であるか調べ、カメラ１２からの入力であればステップＳ１２以降の処理を実行し、他の入力であれば、ステップＳ２３においてその入力に対応する他の処理を実行する。このように、ユーザが携帯端末１のカメラ１２を用いて撮影すると、ステップＳ１２以降の処理が開始される。なお、カメラ入力があったときには、時計４４の出力である時刻情報を保持しておく。

ステップＳ１２では、カメラ１２によって取り込まれた画像データをＬＣＤ表示部１１に表示する。すなわち、カメラ１２によって取り込まれた画像データをＬＣＤ表示部１１のメモリ３２に書き込み、その画像データを液晶ディスプレイ３１に表示する。このことにより、ユーザは、撮影した画像をその場で見ることができる。図６(a) は、ユーザがカメラ撮影により取り込んだ画像データの表示例である。ここでは、ユーザが紙などに「ＰＨＳ」および「ＩＳＤＮ」とメモ書きしてそれをカメラ撮影した場合の例を示している。尚、表示画面の右下に「修正終了」とあるのは、入力指示のためのボタンである。

ここで、ステップＳ１２の処理によって図６(a) に示す画面が表示された際のユーザの動作例を説明する。ユーザは、表示画面の内容を修正したい場合には、手書きペンを用いてＬＣＤ表示部１１上で修正内容を手書き入力する。例えば、「ＰＨＳ」という用語のみを処理対象とする場合には、図６(b) に示すように、ＬＣＤ表示部１１上で手書きペンを用いて「ＰＨＳ」を囲むような枠を手書き入力する。あるいは、図６(c) に示すように、不要な表示（「ＰＨＳ」を処理対象とする場合には、「ＩＳＤＮ」が不要である）に対して手書きペンを用いて削除マークを手書きする。なお、処理対象とは、翻訳の対象となる文字列、または検索に際してのキーワードとなる文字列等を言う。ユーザは、修正が終了すると、修正終了ボタンを手書きペンで押圧する。

上記ユーザの動作に伴ってステップＳ１３およびＳ１４が実行される。ステップＳ１３において修正終了ボタンが押圧されたことを検出すると、ステップＳ１４へ進む。なお、ユーザがＬＣＤ表示部１１に表示されている画像データを修正することなく修正終了ボタンを押圧したときには、ステップＳ１４がスキップされてステップＳ１５へ進む。

ステップＳ１４では、ユーザによるペン入力指示に従って画像データを更新する。すなわち、ペン入力によってＬＣＤ表示部１１上で押圧された軌跡パターンをビットマップ形式のデータとしてメモリ３２に上書きする。このとき、メモリ３２には現在ＬＣＤ表示部１１に表示されている画像データが格納されているので、カメラ撮影によって取り込まれた画像データとペン入力によって書き込まれた軌跡パターンとが合成される。

ステップＳ１５では、ユーザに所望のサービスを指定させるための画面をＬＣＤ表示部１１に表示する。このとき、メモリ３２に格納されている画像データを記憶装置２２のＲＡＭに待避する。そして、ユーザに所望のサービスを指定させるための画面の画像データを記憶装置２２のＲＯＭから読み出してメモり３２に書き込む。ユーザに所望のサービスを指定させるための画面の一例を図７(a) に示す。携帯端末１は、この後ユーザからの指示を待つ状態に遷る。

ここで、ユーザがサービスを指定する手順を説明する。サービス指定画面は、図７(a) に示すように、６つのボタンを有している。これら６つのボタンは、図６に表示されていた画像データに対する処理を指定させるものである。

「翻訳」は、画像データに含まれている文字などを所定の言語に翻訳するサービスを指定するためのボタンである。「検索」は、画像データに含まれている文字などをキーワードとしてデータベース検索などを行うサービスを指定するためのボタンである。「認識」は、画像データを解析して文字認識を行うサービスを指定するためのボタンである。翻訳サービスおよび検索サービスは、認識サービスを含んでいる。「イメージ」は、携帯端末１で取り込んだ画像データをホスト端末３に格納しておくサービスを指定するためのボタンである。「保存」は、携帯端末１で取り込んだ画像データを携帯端末１側で保存することを指定するためのボタンである。「キャンセル」は、画像データを廃棄することを指定するためのボタンである。ユーザは、上記６つのボタンの中の１つを押圧する。

翻訳ボタンが押圧されたときには、図７(b) に示す言語指定画面がＬＣＤ表示部１１に表示される。ユーザが所望の翻訳言語を指定すると、図７(c) に示す表示指定画面が表示される。表示指定画面は、ホスト端末３に依頼する翻訳結果を携帯端末１に表示させるか否かをユーザに指定させるための画面である。

検索ボタンが押圧されたときには、図７(d) に示す検索先指定画面がＬＣＤ表示部１１に表示される。この状態でユーザが所望の検索先を指定すると、この場合も図７(c) に示す表示指定画面が表示される。

このように、ユーザは、ＬＣＤ表示部１１の表示画面に従ってサービスを指定する。上述のようにしてユーザがサービスを指定すると、ステップＳ１６以下の処理が実行される。まず、ステップＳ１６では、サービスコードを認識する。この処理は、図７(a) のサービス指定画面でユーザがどのボタンを押圧したかを検出するものである。ステップＳ１７では、指定されたサービスコードが「翻訳」「検索」「認識」または「イメージ格納」であるかを判断する。これら４つのサービスは、ホスト端末３に処理を依頼するものであるので、ステップＳ１７は、実質的には、ホスト端末３に処理を依頼する必要があるのか否かを判断するステップである。

ホスト端末３に処理を依頼する必要があれば（ステップＳ１７：Ｙｅｓ）、ステップＳ１８でパケットを作成し、ステップＳ１９でそのパケットをホスト端末３に送出する。ホスト端末３に処理を依頼する必要がなければ（ステップＳ１７：Ｎｏ）、ステップＳ２０において、ユーザが保存ボタンを押圧したかを判断する。ユーザが保存ボタンを押圧したのであれば、ステップＳ２１で携帯端末１側で画像データを保存する。一方、ユーザが保存ボタンを押圧したのでなければ、ユーザがキャンセルボタンを押圧したものと見なし、ステップＳ２２で画像データを廃棄する。

図８は、携帯端末１から送出されるパケットの構造を示す図である。このパケットは、図５に示すステップＳ１８において作成される。各パケットは、ヘッダ部およびデータ部から構成される。ヘッダ部は、送信元アドレスおよび着信先アドレスなどを格納する。送信元アドレスおよび着信先アドレスとしてどのようなアドレス体系のアドレスを格納するのかは、本実施形態が適用されるネットワーク構成によって決まり、たとえば、TCP/IP通信では、ＩＰアドレスが格納される。

データ部には、アプリケーション識別情報、端末ＩＤ、画像データ、サービスコード、付加情報、表示フラグ、時刻情報などが格納される。アプリケーション識別情報は、着信先の端末（ここでは、ホスト端末３）において起動すべきアプリケーションプログラムを識別する情報である。本実施形態においては、画像データ解析・認識プログラムを識別する情報が設定される。なお、アプリケーション識別情報は、TCP/IP通信では、ポート番号として指定される。

端末ＩＤは、携帯端末１の識別番号である。画像データは、カメラ撮影によって取り込んだ画像データであり、パケットに格納されるときには圧縮される。なお、図６(b) または(c) のように手書きペンによる書込みがあった場合には、そのペン入力の軌跡パターンも画像データとして合成されている。

サービスコードは、例えば図９(a) および(b) に示すような８ビットの情報であり、「翻訳」「検索」「認識」または「イメージ格納」を識別する。付加情報は、図９(a) 、(c) および(d) に示すように、各サービスの内容を詳細に指定する情報である。たとえば、翻訳サービスであれば、翻訳言語を識別する。また、検索サービスであれば、検索先を識別する。検索先としては、公衆に公開されている各種データベースの他に、各ユーザが作成する個人データベースにもアクセスできる。表示フラグは、ホスト端末３における処理結果を携帯端末１に表示させるか否かを指定する１ビットの情報であり、例えば、図７(c) の画面上で「はい」が選択されると、「１」が設定される。時刻情報は、ホスト端末３へ送出される画像データがカメラ撮影された時刻を表す情報である。

図１０は、図５に示すステップＳ１８のパケット作成処理の詳細フローチャートである。ステップＳ３１では、ホスト端末３へ転送する画像データを圧縮し、データ部に格納する。ステップＳ３２では、上記画像データをカメラ撮影した時刻を表す時刻情報を設定する。ステップＳ３３〜３５では、図９に示すように、サービスコード、付加情報および表示フラグをそれぞれデータ部の所定領域に設定する。ステップＳ３６では、アプリケーション識別情報として、画像データ解析・認識プログラムを識別する情報を設定する。ステップＳ３７では、携帯端末１を識別する情報（自機を識別する情報）として端末ＩＤを設定する。さらに、ステップＳ３８においてヘッダ部を作成する。ヘッダ部には、少なくとも、送信元アドレスとして携帯端末１のアドレス（自機のアドレス）、および着信先アドレスとしてホスト端末３のアドレスを設定する。

上述のようにして作成されたパケットは、ネットワーク２に送出される。ネットワーク２は、パケットの着信先アドレスに従ってそのパケットをホスト端末３へ転送する。以下では、このパケットを受信して処理するホスト端末３について説明する。

図１１は、ホスト端末３の構成図である。記憶装置５１は、半導体メモリ、磁気的記録媒体、あるいは光学的記録媒体で構成され、プログラムおよびデータ等を格納している。記憶装置５１は、ホスト端末３に固定的に設けたものであってもよいし、着脱自在に装着するものであってもよい。

記録媒体ドライバ５２は、可搬性記録媒体（半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク等を含む）５３に格納されているデータを読み出したり、あるいは可搬性記録媒体５３にデータを書き込む装置である。通信制御部５４は、ネットワークとの間でのデータの授受を制御するユニットである。各携帯端末との間のパケットの送受信もここで制御される。

ＣＰＵ５５は、記憶装置５１または可搬性記録媒体５３からプログラム等をメモリ５６にロードして実行する。なお、記憶装置５１に記録するプログラムおよびデータ等は、可搬性記録媒体５３に格納されていたものを書き込んだものであってもよく、また、通信回線などを介してネットワーク上の他の機器から受信して記録する構成にしてもよい。さらに、ＣＰＵ５５は、ネットワーク上に設けられた他の記憶装置に格納されているプログラムおよびデータ等を通信回線などを介して使用するようにしてもよい。

図１２は、ホスト端末３の処理を説明するフローチャートであり、図２のステップＳ４〜Ｓ８の詳細を示すものである。ここでは、ホスト端末３が携帯端末１から送出されたパケット（図５のフローチャートの処理によって作成されたパケット）を受信し、そのデータ部に設定されている情報に従って画像データを処理する動作を説明する。

ステップＳ４１でパケットを受信すると、ステップＳ４２でそのパケットに設定されている端末ＩＤを調べることによってそのパケットを送出した端末を認識する。ここでは、携帯端末１が認識されるものとする。続いて、ステップＳ４３では、受信したパケットに設定されているアプリケーション指定情報に従ってアプリケーションプログラムを起動する。このことにより、画像データを解析・認識するプログラムが起動される。

ステップＳ４４以降は、画像データ解析・認識プログラムによる処理である。ステップＳ４４では、受信したパケットに設定されているサービスコードを認識する。続いて、ステップＳ４５では、そのサービスコードが「翻訳」、「検索」または「認識」であるかを調べる。サービスコードが「翻訳」、「検索」または「認識」であればステップＳ４６以降の処理を実行し、そうでなければステップＳ５４へ進む。

ステップＳ４６では、受信したパケットに格納されていた画像データを解凍する。ステップＳ４７では、解凍した画像データに対してパターン認識処理を施してその中に含まれている文字を認識する。ステップＳ４８では、ステップＳ４７で認識した文字を文字コードに変換する。

ステップＳ４９では、サービスコードが「翻訳」であるかを調べ、「翻訳」であれば図１３に示す翻訳処理を実行し、「翻訳」でなければステップＳ５０へ進む。ステップＳ５０では、サービスコードが「検索」であるかを調べ、「検索」であれば図１４に示す検索処理を実行し、「検索」でなければステップＳ５１へ進む。ステップＳ５１では、サービスコードが「認識」であるか調べ、「認識」であればステップＳ５２においてステップＳ４７およびＳ４８による処理結果を端末ＩＤに対応づけて記憶装置５１の所定領域に格納し、「認識」でなければステップＳ５３へ進んでエラー処理を実行する。

ステップＳ５４では、サービスコードが「イメージ格納」であるか調べ、「イメージ格納」であればステップＳ５５においてパケットに格納されていた画像データを端末ＩＤに対応づけて記憶装置５１の所定領域に格納する。一方、「イメージ格納」でなければステップＳ５６へ進んで設定されていたサービスコードに対応する処理を実行する。

図１３は、翻訳処理のフローチャートである。ステップＳ６１では、ホスト端末３は、ステップＳ４８で得られた文字コードおよび受信パケットに設定されていた付加情報（翻訳タイプ）を翻訳サーバ４に転送することによって翻訳処理を依頼する。以下のステップＳ６２〜Ｓ６５は、翻訳サーバ４の処理である。

ステップＳ６２では、付加情報から翻訳タイプを認識する。すなわち、翻訳元の言語および翻訳先の言語を認識する。続いて、ステップＳ６３で１つ以上の文字コード（文字列）から単語を切り出し、ステップＳ６４において、公知の手法により翻訳を実行する。そして、ステップＳ６５では、翻訳結果をホスト端末３へ渡す。

ステップＳ６６において、ホスト端末３は、受信パケットに設定されている表示フラグを調べる。表示フラグが「表示する」に設定されていれば、ステップＳ６７で翻訳結果をパケットに格納し、ステップＳ６８でそのパケットを携帯端末１に送出する。このことにより、携帯端末１は、携帯端末１に内蔵されるカメラ１２で撮影した画像データに含まれていた文字の翻訳結果を受け取る。携帯端末１は、この翻訳結果をＬＣＤ表示部１１に表示する。一方、表示フラグが「表示せず」に設定されていれば、ステップＳ６９において、翻訳結果を端末ＩＤに対応づけて記憶装置５１の所定領域に格納する。

図１４は、検索処理のフローチャートである。ステップＳ７１では、ホスト端末３は、ステップＳ４８で得られた文字コードおよび受信パケットに設定されていた付加情報（検索先）を検索サーバ５に転送することによって検索処理を依頼する。以下のステップＳ７２〜Ｓ７４は、検索サーバ５の処理である。

ステップＳ７２では、付加情報から検索先のデータベースを認識する。すなわち、どのデータベースにアクセスするのかを認識する。続いて、ステップＳ７３では、受け取った文字列をキーワードとして公知の手法によりデータベース検索を実行する。そして、ステップＳ７４で検索結果をホスト端末３へ渡す。

ステップＳ７５において、ホスト端末３は、受信パケットに設定されている表示フラグを調べる。表示フラグが「表示する」に設定されていれば、ステップＳ７６で検索結果をパケットに格納し、ステップＳ７７でそのパケットを携帯端末１に送出する。このことにより、携帯端末１は、携帯端末１に内蔵されるカメラ１２で撮影した画像データに含まれていた文字をキーワードとしたデータベース検索の検索結果を受け取る。携帯端末１は、この検索結果をＬＣＤ表示部１１に表示する。一方、表示フラグが「表示せず」に設定されていれば、ステップＳ７８において、検索結果を端末ＩＤに対応づけて記憶装置５１の所定領域に格納する。

なお、図１２に示したステップＳ４７のパターン認識処理は、公知の手法を用いるが、図６(b) に示すように、手書きペンで書き込まれた枠状のパターンの内側の領域に存在する文字のみを処理対象とする方式の場合には、パターン認識処理として図１５に示すフローチャートの処理が実行される。

ステップＳ８１では、受信パケットに格納されていた画像データにおいて所定の領域を取り囲む枠状のパターンをサーチする。ステップＳ８２では、枠状のパターンが存在するか否かを判断する。存在するのであれば、ステップＳ８３において、その枠状のパターン内の画像データのみに対して画像認識処理を実行して文字を認識する。一方、枠状のパターンが存在しないのであれば、すべての画像データに対して認識処理を実行する。上記方式を採用することにより、カメラ撮影で取り込まれた画像データの中から翻訳処理または検索処理などに不要な文字を簡単に除外できる。さらに、削除マークの場合は、削除マークを検出し、この削除マークに該当する文字を除いて文字認識する。なお、認識対象から除外する処理をホスト側で行っているが、端末側でこれらの処理を行い、認識すべきデータをホスト側へ送信するようにしてもよい。

図１６は、端末ＩＤ毎に格納されるデータを模式的に示す図である。これらのデータは、図１２のステップＳ５２、Ｓ５５、図１３のステップＳ６９、および図１４のステップＳ７８によって記憶装置５１の所定領域に格納される。このとき、受信パケットに設定されていた時刻情報を用いて撮影時刻順にデータを格納してもよい。上記データは、携帯端末１からアクセスできるだけでなく、ネットワーク２に接続される他の端末（個人用ＰＣ６など）からもアクセスできるように構成されている。

ところで、上記実施形態では、携帯端末として、図３に示すような手書き入力機能を持った手帳型のものを採り上げて説明したが、本発明は、この形態に限定されるものではなく、たとえば図１７に示すような腕時計型の端末装置であってもよい。

図１７に示すように、携帯端末６１は、カメラ６２を備え、たとえば紙面６３上にペン６４で手書きされたメモ等もしくは印刷された文書の一部を画像データとして取り込むことができる。また、この携帯端末６１は、通信機能を備えており、図１に示すネットワーク２を介してホスト端末３とデータを送受信する。なお、形態端末６１の構成は、基本的に図４に示したものと同じである。

携帯端末６１は、そのサイズを考えると、図３に示す携帯端末１のようなペン入力機能等を持たせることは困難である。このため、手帳型の携帯端末１では、サービスの指定（カメラ撮影によって取り込んだ画像データにどのような処理を施すのかについての指定）を図７のような画面を表示して入力させていたが、携帯端末６１では、同様の手順でサービスを指定することが難しい。この点を考慮し、携帯端末６１では、翻訳または検索対象の文字等といっしょにホスト端末３に依頼するサービス種別も画像データとしてカメラ６２で取り込み、ホスト端末３で画像データのパターン認識をする際にホスト端末３がユーザの指定するサービス種別を認識する方式とする。

図１８は、サービス指定方法の例を示す図である。ここでは、「同報通信」という言葉をホスト端末３に翻訳させる例を説明する。図１８(a) に示す手法においては、ユーザが紙面６３に「同報通信」と書くとともに、ホスト端末３に依頼するサービス種別として「翻訳」と書く。さらに、翻訳対象文字とサービス種別文字とを識別するために、サービス種別を指定する文字の両端を［ ］などの記号で囲む。そして、カメラ６２を用いてこれらの文字および記号をまとめて画像データとして取り込んでホスト端末３へ転送する。

図１８(b) に示す手法では、この場合も紙面６３に「同報通信」及び「翻訳」と書くが、翻訳対象文字とサービス種別文字とを識別するために、色情報を利用する。すなわち、ここでは、サービス種別は赤色等で記入し、翻訳対象を黒色で記入する。この場合も、カメラ６２を用いてこれらの文字等をまとめて画像データとして取り込んでホスト端末３へ転送する。

図１９は、携帯端末６１の動作フローチャートである。ここでは、画像データを取り込んでホスト端末３に処理を依頼（サービスを要求）する際の最低限の機能を示す。なお、このフローチャートで示す各機能を実現するプログラムは、ＣＰＵ２１が読み取り可能なプログラムコードの形態で記憶装置２２に格納されている。

入力待ち状態において入力を検出すると、ステップＳ９１でカメラ６２からの入力であるかを調べ、カメラ入力であればステップＳ９２でパケットを作成してステップＳ９３でそのパケットをホスト端末３に送出する。一方、カメラ入力以外の入力であれば、ステップＳ９４でその入力に対応する処理を実行する。ステップＳ９２で作成するパケットは、基本的に図８に示すものと同じであるが、サービスコード等は画像データの中に含まれている。

図２０は、携帯端末側で図１８(a) もしくは図１８(b) に示す手法でサービス種別を指定した際のホスト端末３の処理を説明するフローチャートである。ここでは、ホスト端末３が携帯端末６１から送出されたパケット（図１９のフローチャートの処理によって作成されたパケット）を受信し、そのデータ部に設定されている情報に従って画像データを処理する動作を説明する。

ステップＳ１０１〜Ｓ１０３は、図１２に示すステップＳ４１〜Ｓ４３と同じである。ステップＳ１０４では、受信パケットのデータ部に格納されている画像データに対してパターン認識処理を実行し、その中から特定の記号もしくは色を検出する。ステップＳ１０５では、検出した記号の内側の領域の画像データもしくは特定の色に対して文字認識処理を実行し、ユーザが指定したサービスを認識する。図１８(a) もしくは図１８(b) に示した例では、「翻訳」という文字を検出し、ユーザが翻訳サービスを要求していることを認識する。

ステップＳ１０６では、認識されたサービスに従った処理を実行する。なお、ステップＳ１０６の処理は、図１２〜図１４のステップＳ４８以降の処理に相当する。この結果、たとえば、携帯端末６１において取り込んだ画像データが図１８(a) もしくは図１８(b) に示す文字等であった場合、「同報通信」が“multi-cast communication”に翻訳される。そして、ステップＳ１０７において、処理結果をパケットに格納して携帯端末６１に送出する。

携帯端末６１は、ホスト端末３による処理結果が格納されたパケットを受信すると、その処理結果を表示する。このように、携帯端末６１は、カメラ６２で撮影した画像データに所定のサービスを施した結果（この例では、翻訳結果）を表示することができる。

なお、上記実施形態において、ホスト端末３において実行される処理プログラム、すなわち、図１２〜図１５、図２０のフローチャートで示す各機能を実現するプログラム、および携帯端末１または６１から転送されてくるコマンドを解釈して処理するプログラム等は、ＣＰＵ５５が読み取り可能なプログラムコードの形態で記憶装置５１あるいは可搬性記録媒体５３に格納されている。あるいは、ネットワークを介して接続される他の装置に格納されているものを利用する。

なお、上記実施形態では、カメラを用いて画像データを取り込む構成を示したが、本発明はこの構成に限定されず、たとえば、イメージスキャナを用いて読み込んだ画像データをホスト端末に転送するようにしてもよい。

このように、本実施形態の画像データ処理システムは、携帯端末で取り込んだ画像データをホスト端末へ転送し、ホスト端末がその画像データに含まれている文字を認識して処理する構成である。このため、携帯端末には、画像データなどを取り込んでホスト端末へ転送する機能、ホスト端末３に処理を依頼する機能、およびホスト端末から転送されてくるデータを表示する機能のみを持たせればよい。すなわち、携帯端末は、高速処理が要求される高精度のパターン認識処理や各種処理を実行する必用がない。このため、携帯端末は、大容量のメモリや高性能プロセッサを設けることなく、高度な画像処理結果を得ることができる。

本実施形態のシステム構成図である。 本実施形態のシステムの全体フローチャートである。 携帯端末の外観図である。 携帯端末の構成図である。 携帯端末においてカメラ撮影により取り込んだ画像データをホスト端末に転送して所望のサービスを要求する処理のフローチャートである。 (a) は、カメラ撮影した画像データを携帯端末の表示部に表示した例であり、(b) および(c) は、携帯端末上で画像データを修正する動作例を説明する図である。 ユーザに所望のサービスを指定させるための画面例を示す図である。 携帯端末から送出されるパケットの構造を示す図である。 パケットに設定される各種情報を説明する図である。 パケット作成処理の詳細フローチャートである。 ホスト端末の構成図である。 ホスト端末の処理を説明するフローチャートである。 翻訳処理のフローチャートである。 検索処理のフローチャートである。 パターン認識処理の一実施例のフローチャートである。 端末ＩＤ毎に格納されるデータを模式的に示す図である。 腕時計型の携帯端末の外観図である。 サービス指定方法の例を示す図である。 図１７に示す携帯端末の動作フローチャートである。 図１８(a) もしくは図１８(b) に示すサービス指定方法に対応するホスト端末の処理を説明するフローチャートである。

符号の説明

１、６１ 携帯端末
２ ネットワーク
３ ホスト端末
４ 翻訳サーバ
５ 検索サーバ
１１ ＬＣＤ表示部
１２、６２ カメラ
２１ ＣＰＵ
２２ 記憶装置
２３ バス
２４ 記録媒体ドライバ
２５ 可搬性記録媒体
３１ 液晶ディスプレイ
３５ タッチパネル部
４０ 通信制御部
４１、４２ 無線トランシーバ
４３ 有線トランシーバ
４４ 時計
５１ 記憶装置
５２ 記録媒体ドライバ
５３ 可搬性記録媒体
５４ 通信制御部
５５ ＣＰＵ
５６ メモリ

Claims (4)

1. 文字を含む画像データを撮影する撮影手段と、
   この撮影された画像データに対する複数の処理をホスト装置へ依頼する複数のサービスの中から所望のサービスを指定するサービス指定手段と、
   前記ホスト装置へ依頼した前記サービスの処理結果を前記携帯端末装置へ表示するか否かを示す情報を指定する表示指定手段と、
   前記指定されたサービスを示すサービスコード、前記表示指定手段で指定された情報および前記撮影された画像データを前記ホスト装置へ通信ネットワークを介して送信する送信手段と、
   前記画像データを受けた前記ホスト装置において、この画像データから認識された文字に対して前記指定されたサービスに基づく処理を実行した処理結果のデータを、前記指定された情報に応じて前記通信ネットワークを介して前記ホスト装置から受信する受信手段と、
   前記受信した処理結果のデータを表示する表示手段と、
   を具備したことを特徴とする携帯端末装置。
2. 前記サービス指定手段は、前記ホスト装置へ依頼するサービスの指定画面を表示し、翻訳、検索、認識を含む何れか複数のサービスの中から所望のサービスを指定することを特徴とする請求項１記載の携帯端末装置。
3. 前記撮影手段で撮影された画像データを画面に表示し、この画像データの文字を修正する手段を有することを特徴とする請求項１記載の携帯端末装置。
4. 携帯端末装置から通信ネットワークを介して送信されたデータを受信する受信手段と、
   前記受信したデータに含まれているサービスコードの種類を判断する判断手段と、
   前記受信したデータに含まれている画像データから文字を認識し、この文字に対して前記判断されたサービスコードに応じた処理を実行する処理手段と、
   前記受信したデータに前記処理の結果を前記携帯端末装置へ表示する情報が含まれていれば、前記処理手段による処理結果のデータを前記携帯端末装置へ送信する送信手段と、
   を具備したことを特徴とするホスト装置。

Images