JP2008021173A - 携帯情報端末および電子メールシステム - Google Patents

Abstract

【課題】操作者の操作負担が軽減させるとともに、データ量の少ない読み易い文書画像による電子メールの送受信を提供すること。
【解決手段】携帯情報端末１の制御部１７の画像処理手段が、カメラ部（撮影部）１４で撮影した画像情報に含まれる文字を所定の画素の太さにするとともに各文字の大きさを揃えた文字毎の画像情報を生成し、その文字毎の画像情報を整列させた画像情報を記憶部１６に記憶させるようにした。
【選択図】 図１

Description

本発明は、カメラ等の撮影機能を有する携帯電話、ＰＨＳ（登録商標）、またはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）等の携帯情報端末および電子メールシステムに関し、特に文章の文字の大きさを携帯情報端末の画面の大きさに合わせて表示させる携帯情報端末および電子メールシステムに関する。

従来の携帯情報端末は、電子メールを送信する際、テンキー等のキー入力、またはタブレットを利用した手書き入力により文字を入力するようにしていた。しかし、小型の携帯情報端末での文字の入力操作は、電話番号入力用のテンキーで文字を入力しなければならず、またタブレットを携帯情報端末に接続する必要があり、操作者に対する負担は大きなものであった。

このような問題に鑑み、カメラ等の撮影機能を有する携帯情報端末で手書きの文字列を撮影し、光学的文字読取装置（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）などで用いられる周知の文字パターンとの照合方法を用いて撮影した画像から文字列を認識するようにし、操作者の文字の入力操作を簡便にしたものがある（例えば、特許文献１参照）。
特開２００４−３４１９７７号公報（段落「０００９」〜段落「００３６」、図１、図４、図１０）

しかしながら、上述した従来の技術においては、手書きの文字列を撮影し、周知の文字パターンとの照合方法を用いて撮影した画像から文字列を認識するようにしても手書きの漢字やカタカナ、数字、ひらがな等はすべて正確に認識することは難しく、認識することができない文字等が存在する場合、その文字をキー操作により入力する必要があり、操作者に負担がかかるという問題がある。

また、文字列の認識には高画質、高解像度の画像が要求されるため、一般の携帯情報端末に付随しているカメラの性能では文字列の一部分の文字に接近させて撮影する操作を繰り返す必要がある場合があり、操作者に負担がかかるという問題がある。
さらに、携帯情報端末で文字列の認識を行う場合、認識用の辞書データが必要になり、高性能な認識を実現するためにはデータ量が膨大な辞書データを記憶部に記憶させる必要があるという問題がある。

本発明は、このような問題を解決することを課題とする。

そのため、本発明は、文字が記載された用紙を撮影する撮影部を備えた携帯情報端末において、撮影部で撮影した画像情報から文字毎の画像情報を生成する文字抽出処理と、前記文字抽出処理で生成された文字毎の画像情報の文字の太さを所定の画素数にした文字毎の画像情報を生成する細線化処理と、前記細線化処理で生成された文字毎の画像情報を予め記憶部に記憶した文字の大きさに伸縮させた文字毎の画像情報を生成する正規化処理とからなる画像処理手段を設け、前記画像処理手段が、前記撮影部で撮影した画像情報に含まれる文字を所定の画素数の太さにするとともに各文字の大きさを揃えた文字毎の画像情報を生成し、その文字毎の画像情報を整列させた画像情報を記憶部に記憶させるようにしたことを特徴とする。

このようにした本発明は、認識できなかった文字をキー操作により入力する必要がなく、また一部分の文字に接近させて撮影する操作を繰り返す必要もなく、操作者の負担が軽減されるという効果が得られる。
また、データ量が膨大な辞書データを記憶部に記憶させる必要がないという効果が得られる。

さらに、携帯情報端末の表示部の大きさに合わせた読み易い文字の画像を電子メールで送受信することができるという効果が得られる。

以下、図面を参照して本発明による携帯情報端末および電子メールシステムの実施例を説明する。

まず、第１の実施例を説明する。
図１は第１の実施例における携帯情報端末の構成を示すブロック図、図２は第１の実施例における電子メールシステムの構成を示すブロック図である。
図２において、１は携帯情報端末であり、いわゆるデジタルカメラ付きの端末装置である。この携帯情報端末１は携帯電話、ＰＨＳ（登録商標）やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等であり無線通信が可能なものである。

また、この携帯情報端末１は基地局３および通信回線２を介して他の携帯情報端末１や図示しないメールサーバと無線通信が可能であり、そのメールサーバを介して携帯情報端末１間で文字や画像等の情報を送受信する電子メール機能を有するものである。
このように電子メールシステムは、携帯情報端末１や通信回線２等で構成され、電子メール機能を有する携帯情報端末１間で文字や画像等の情報を交換することができるものである。

次に、携帯情報端末１の構成を説明する。
図１において、１１は音声入出力部であり、利用者の通話音声等の音声を入力し、また通話音声等の音声を出力するものである。この音声入出力部１１はマイクロホン等の音声入力部、およびイヤホンやスピーカ等の音声出力部で構成されたものである。
１２は表示部であり、液晶ディスプレイ等で構成されたものである。この表示部１２は、例えば横方向２４０画素、縦方向３２０画素のドットマトリクスで構成され、文字や図柄、画像等で各種情報や携帯情報端末１の動作状態等を表示する。

１３はキー入力部であり、カメラで撮影を行うためのシャッタキー等の操作キーやテンキー、確定キー等の各種キーで構成され、その各種キーの押下を検知するものである。
１４はカメラ部（撮影部）であり、レンズ付きＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラ等のいわゆるデジタルカメラで構成されたものである。このカメラ部１４はキー入力部１３のシャッタキーを押下することにより静止画像を撮影することができ、その撮影した静止画像を画像処理が可能なイメージデータ（以下、「画像情報」という。）として取り込むことができるものである。

なお、画像情報を構成する各画素の明暗を示す階調は、２５６階調等で表現されるものが望ましい。
１５は無線通信部であり、基地局３との間で相互に無線通信を行うものである。この無線通信部１５により、基地局３および通信回線２を介して他の携帯情報端末１や図示しないメールサーバとの間で情報の授受を行うことができる。また、上述したように電子メール機能を有する携帯情報端末１間で文字や画像等の情報を交換することができる。

１６は記憶部であり、半導体メモリ（フラッシュメモリ）等の記憶素子で構成され、情報を記憶し、また、記憶した情報を読み出すことができるものである。この記憶部１６にはカメラ部１４で撮影した画像情報や通信回線２および基地局３を介して他の携帯情報端末１から受信した文字情報や画像情報等の各種情報を記憶することができ、また、携帯情報端末１全体の動作を制御する制御プログラム（ソフトウェア）等を記憶することができる。

１７は制御部であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算および制御手段等で構成されたものである。この制御部１７は音声入出力部１１、表示部１２、キー入力部１３、カメラ部１４、無線通信部１５および記憶部１６を含めて携帯情報端末１全体の動作を記憶部１６に格納された制御プログラム（ソフトウェア）に基づいて制御する。

また、制御部１７はカメラ部１４で撮影された手書き文章の画像情報から表示部１２の画面の大きさに合わせた文字の大きさに加工する画像処理手段を備えている。
このように構成された携帯情報端末１は、制御部１７の制御により、カメラ部１４で撮影した手書き文章の画像情報から文字を抽出し、その抽出した文字を表示部１２の画面の大きさに合わせた大きさに加工した画像情報を生成し、その画像情報を携帯情報端末１間で授受することができる。

上述した構成の作用について説明する。

図３は第１の実施例における電子メール送信処理を示すフローチャートであり、Ｓで表すステップにしたがって説明する。
Ｓ１：電子メールを送信する利用者は送信する文章をペン等の筆記具を使用して手書きで用紙に記入する。
Ｓ２：文章を用紙に記入すると利用者は携帯情報端末１のキー入力部１３等を操作してカメラ部１４で文章が記入された用紙を撮影する。すなわち、利用者の操作により携帯情報端末１のキー入力部１３でシャッタキーが押下されたことを検知すると制御部１７の指示によりカメラ部１４は、図４に示すように文章が記入された用紙の静止画像を撮影し、その撮影した静止画像を画像情報として記憶部１６に記憶させる。

なお、図４において斜線は撮影された静止画像の背景を示している。
Ｓ３：画像情報を記憶部１６に記憶させると制御部１７の画像処理手段はその画像情報から文字と背景とを分離する二値化処理を行う。
この二値化処理は、一般に文字認識処理等で行われる処理であり、例えば画像情報を複数の矩形領域に分割し、その矩形領域毎に画素の階調分布から暗い画素が頻出する文字とその文字より明るい画素が頻出する背景とを分離する閾値を求め、その閾値以上の階調を有する画素（明るい画素）を「０」、すなわち「明」を表すようにし、その閾値未満の階調を有する画素（暗い画素）を「１」、すなわち「暗」を表すように、一つの画素を「０」または「１」のいずれかの値で表現する処理である。

この二値化処理をすべての画像情報に対して行うことで文字を表す画素が「１」、背景を表す画素が「０」となり文字と背景を分離することができる。例えば、図４に示す背景を含む画像情報を図５に示すように背景を分離し、文字だけの画像情報とすることができる。
制御部１７の画像処理手段はこのように二値化された画像情報を記憶部１６に記憶させる。

Ｓ４：画像情報から文字と背景とを分離する二値化処理を行うと制御部１７の画像処理手段は二値化された画像情報から行を抽出する行抽出処理を行う。
この行抽出処理は、二値化された画像情報の水平方向の１画素列毎に黒画素（「１」で表される画素）が出現する度数の分布から文字列領域である「行」と判定するための閾値を求め、その閾値以上の黒画素が出現する画素列を行の画像情報として抽出する処理である。

制御部１７の画像処理手段はこのように抽出されたすべての行の画像情報を記憶部１６に記憶させる。なお、「行」と判定されなかった画素列は記憶部１６に記憶させず、抽出された行の画像情報だけを記憶部１６に記憶させるものとする。
したがって、記憶部１６には行間の画素列が間引かれ、抽出された行の画像情報が詰めて記憶される。

Ｓ５：二値化された画像情報からすべての行を抽出する行抽出処理を行うと制御部１７の画像処理手段は抽出された行の画像情報から文字を抽出する文字抽出処理を行う。
この文字抽出処理は、抽出した行毎の画像情報の垂直方向の１画素行毎に黒画素（「１」で表される画素）が出現する度数の分布から文字領域と判定するための閾値を求め、その閾値以上の黒画素が出現する連続した画素行を抽出する。これにより、文字領域の水平方向が切り出される。

さらに、抽出したそれぞれの画素行の水平方向の１画素列毎に黒画素が出現する度数の分布から文字領域と判定するための閾値を求め、その閾値以上の黒画素が出現する連続した画素列を抽出する。これにより、文字の垂直方向が切り出される。
このようにして文字の画像情報、すなわち１文字を矩形の画像情報として抽出する。
なお、「い」のように文字を構成する線が分離した文字の場合、前後の矩形のサイズや行の高さを考慮して文字を抽出するものとする。

制御部１７の画像処理手段はこのように抽出されたすべての文字の画像情報を記憶部１６に記憶させる。なお、「文字」と判定されなかった画素行および画素列は記憶部１６に記憶させず、抽出された文字の画像情報だけを記憶部１６に記憶させるものとする。
したがって、記憶部１６には文字間の画素行および画素列が間引かれ、抽出された文字の画像情報が詰めて記憶される。

Ｓ６：行の画像情報から文字を抽出する文字抽出処理を行うと制御部１７の画像処理手段は抽出された文字の画像情報で表される文字の太さを１画素にする文字の細線化処理を行う。
この細線化処理は、文字の画像情報に含まれた各々の連結図形（文字を構成する黒画素の集合）に対し、連結性を失うことなく線幅を細めて１画素の中心線を抽出する周知な処理である。例えば、文字を構成する黒画素の集合の境界画素の列を連結数に基づく削除可能性を考慮しながら１画素ずつ削り（「１」で表される画素を「０」で表される画素に置換し）、残された1画素の集合で文字を表す処理である。

例えば、図６（ａ）に示す文字の画像情報の「電」の文字を細線化すると図６（ｂ）に示すように文字の太さが１画素の「電」の文字が生成される。
なお、本実施例では、細線化処理を1画素の集合で文字を表す処理として説明したが、１画素に限られることなく、２画素等の所定の画素数の集合で文字を表す処理としてもよい。

制御部１７の画像処理手段はこのように細線化されたすべての文字の画像情報を記憶部１６に記憶させる。
Ｓ７：文字の細線化処理を行うと制御部１７の画像処理手段は細線化処理がされた各々の文字の大きさを揃える文字の正規化処理を行う。この正規化処理は、細線化された文字の画像情報を所定の大きさの文字の画像情報に伸縮させる処理である。

例えば、携帯情報端末１の表示部１２の横方向に約１５文字表示させるとすると、横方向が２４０画素、縦方向が３２０画素の表示部１２の場合、横方向１６画素、縦方向１６画素の大きさの文字の画像情報にする。なお、表示部１２の横方向および縦方向の画素数は予め記憶部１６に記憶されているものとする。
図６の（ｂ）で示す文字が横方向１６画素、縦方向１６画素より大きな細線化された文字とすると図６の（ｃ）で示すように横方向１６画素、縦方向１６画素の文字に縮小され、正規化される。

なお、正規化処理を行う場合、句読点の「。」、「、」、細い文字「１」、「−」等は、行の高さや行の中心位置より位置を判断し、細い文字と判断される「１」や「−」等の文字は行や文字の中心に位置するように、また、行の中心位置より低い位置に判断される「。」や「、」等の文字は行の下方に位置するように処理するものとする。
Ｓ８：制御部１７の画像処理手段はこのように正規化されたすべての文字の画像情報を図６（ｄ）に示すように予め記憶部１６に記憶された表示部１２の横方向および縦方向の画素数に応じて整列した（詰めて並べた）メール画像情報を記憶部１６に記憶させるとともに表示部１２に表示させる（整列処理）。例えば、図７に示すように正規化された文字が整列されて表示部１２に表示される。

Ｓ９：利用者の電子メールの送信を指示する操作をキー入力部１３で検知すると制御部１７の指示により無線通信部１５は記憶部１６に記憶されたメール画像情報をさらに圧縮し、電子メールとして送信するものとする。なお、送信される電子メールには上述したメール画像情報が送付される旨の情報が付加されるものとする。
この電子メールを受信した携帯情報端末１がメール画像情報を伸張して表示部に表示させることにより、利用者は通常の文字情報で送信された電子メールと同じ感覚で電子メールを読むことができる。

このようにして、携帯情報端末１のキー入力１３を操作して文字の入力を行うことなく、用紙に記入した文章を携帯情報端末１のカメラ部１４で撮影することにより、携帯情報端末１の表示部１２の大きさに合わせた読み易い文字で構成された電子メールを送受信することができる。
また、携帯情報端末１に備えたカメラ部１４で用紙に記入した文章を撮影した画像をそのまま送信する場合、文字が読める程度の高解像度の画像が必要とされ、その情報量は膨大なものとなるところ、本実施例では縦方向２４０画素、横方向３２０画素の表示部の場合、縦方向１６画素、横方向１６画素の文字に正規化し、文字間に１画素のスペースを入れるとすると約２５２文字を表示することができ、情報量は９６００バイト程度となる。さらに圧縮することにより情報量を４８００バイト程度にすることが可能である。

さらに、電子メールを受信した携帯情報端末１で利用者の操作を受け付けて受信したメール画像情報を記憶部１６に記憶させておき、必要なときに閲覧することもできる。
以上説明したように、第１の実施例では、用紙に記入した文章を携帯情報端末１のカメラ部１４で撮影し、撮影した画像情報から文字を抽出、細線化、正規化する処理を行うことにより、文字を認識することなく、携帯情報端末１の表示部１２の大きさに合わせた読み易い文字で構成された電子メールを送受信することができるという効果が得られる。

撮影した画像情報に含まれる文字を認識しないため、認識できなかった文字をキー操作により入力する必要がなく、また一部分の文字に接近させて撮影する操作を繰り返す必要もなく操作者の負担が軽減されるという効果が得られる。さらに、データ量が膨大な辞書データを記憶部に記憶させる必要がないという効果が得られる。
また、用紙に記入した文章を携帯情報端末１のカメラ部１４で撮影し、撮影した画像情報から文字を抽出、細線化、正規化する処理を行うことにより、文章を表現できる最適化された画像となり情報量を削減することができるという効果が得られる。それにより通信費用を低減させることができるという効果も得られる。

次に、第２の実施例を説明する。

図８は第２の実施例における電子メールシステムの構成を示すブロック図である。
なお、上述した第１の実施例と同様の部分は、同一の符号を付してその説明を省略する。
図８において、４はファクシミリであり、通常のファクシミリ装置である。このファクシミリ４は送信先の電話番号等を入力する入力部、入力された電話番号等を表示する表示部、一般公衆回線５に接続され通信機能を果たす通信部、受信データに基づき文書を印刷するプリンタ部、送信する文書を読み取るスキャナ部、スキャナ部で読み取った画像情報や通信部で受信した画像情報と制御プログラム等を記憶しておく記憶部、ならびに上述した入力部、表示部、通信部、プリンタ部、スキャナ部、および記憶部等のファクシミリ４全体を制御するＣＰＵ等の制御部で構成されている。

６はサーバであり、通信サービスを提供する携帯電話事業者のサービスセンタ等のセンタに設置されるものである。このサーバ６は一般公衆回線５に接続されたファクシミリ４との通信、および通信回線２および基地局３を介して携帯情報端末１との通信を行なう通信部、通信部で受信した画像情報と制御プログラム等を記憶しておく記憶部、ならびに上述した通信部、および記憶部等のサーバ６全体を制御するＣＰＵ等の制御部で構成されている。

また、サーバ６の制御部は、第１の実施例で説明したように、ファクシミリ４のスキャナ部で読取られた手書き文書の画像情報から文字の画像情報を抽出し、その文字の画像情報を携帯情報端末１の表示部１２の画面の大きさに合わせた文字の大きさに加工する画像処理手段を備えている。さらに、ファクシミリ４で読取られた画像情報から文字を認識する通常の文字認識処理手段（ＯＣＲ機能）も備えている。

このように電子メールシステムは、サーバ６が一般公衆回線５を介してファクシミリ４と、また基地局３および通信回線２を介して携帯情報端末１と通信可能に構成されている。
上述した構成の作用について説明する。
利用者は所定の形式の用紙に、電子メール送信先アドレスと文章を記入する。利用者の操作によりファクシミリ４のスキャナ部でその用紙を読取り、読取った画像情報をサーバ６へ送信する。

画像情報を受信したサーバ６の制御部は、第１の実施例で説明した画像処理手段により二値化処理、行抽出処理、文字抽出処理、細線化処理、および正規化処理を行い予め記憶部に記憶された携帯情報端末１の表示部１２の横方向および縦方向の画素数に応じて整列した（詰めて並べた）メール画像情報を生成する。
次に、画像情報を受信したサーバ６の制御部は、文字認識手段により電子メール送信先アドレスが記入されている所定の領域に記入された文字を認識する処理を行い、認識された電子メール送信先アドレスに生成したメール画像情報を送信する。

なお、このメール画像情報はさらに圧縮されて送信されるものとする。なお、送信される電子メールには上述したメール画像情報が送付される旨の情報が付加されるものとする。
この電子メールを受信した携帯情報端末１はメール画像情報を伸張して表示部に表示することにより、利用者は通常の文字情報で送信された電子メールと同じ感覚で電子メールを読むことができる。

以上説明したように、第２の実施例では、用紙に記入された文章をファクシミリ４のスキャナ部で読取り、読取った画像情報から文字を抽出、細線化、正規化する処理を行うことにより、携帯情報端末１の表示部１２の大きさに合わせた読み易い文字の電子メールを送受信することができるという効果が得られる。
また、第１の実施例と同様に、文章を表現できる最適化された画像となり情報量を削減することができるという効果が得られる。それにより通信費用を低減させることができるという効果も得られる。

第１の実施例における携帯情報端末の構成を示すブロック図 第１の実施例における電子メールシステムの構成を示すブロック図 第１の実施例における電子メール送信処理を示すフローチャート 第１の実施例における撮影画像の説明図 第１の実施例における撮影画像を二値化した画像情報の説明図 第１の実施例における文字を正規化する処理の説明図 第１の実施例における電子メールで送信する画像情報の説明図 第２の実施例における電子メールシステムの構成を示すブロック図

符号の説明

１ 携帯情報端末
２ 通信回線
３ 基地局
４ ファクシミリ
５ サーバ
１１ 音声入出力部
１２ 表示部
１３ キー入力部
１４ カメラ部
１５ 無線通信部
１６ 記憶部
１７ 制御部

Claims (5)

1. 文字が記載された用紙を撮影する撮影部を備えた携帯情報端末において、
   撮影部で撮影した画像情報から文字毎の画像情報を生成する文字抽出処理と、
   前記文字抽出処理で生成された文字毎の画像情報の文字の太さを所定の画素数にした文字毎の画像情報を生成する細線化処理と、
   前記細線化処理で生成された文字毎の画像情報を予め記憶部に記憶した文字の大きさに伸縮させた文字毎の画像情報を生成する正規化処理とからなる画像処理手段を設け、
   前記画像処理手段が、前記撮影部で撮影した画像情報に含まれる文字を所定の画素数の太さにするとともに各文字の大きさを揃えた文字毎の画像情報を生成し、その文字毎の画像情報を整列させた画像情報を記憶部に記憶させるようにしたことを特徴とする携帯情報端末。
2. 請求項１の携帯情報端末において、
   前記所定の画素数を、１画素としたことを特徴とする携帯情報端末。
3. 撮影部で撮影した画像情報を送信する第１の携帯情報端末と、その画像情報を受信して表示部に表示させる第２の携帯情報端末とからなる電子メールシステムにおいて、
   第１の携帯情報端末が、撮影部で撮影した画像情報に含まれる文字を所定の画素数の太さにするとともに各文字の大きさを揃えた文字毎の画像情報を生成し、その文字毎の画像情報を整列させた画像情報を第２の携帯情報端末へ送信し、第２の携帯情報端末が、受信した画像情報を表示部に表示させるようにしたことを特徴とする電子メールシステム。
4. 電子メールの送信先および電子メールの本文が記載された用紙をスキャナで読取った画像情報を送信するファクシミリと、
   前記ファクシミリから受信した画像情報から電子メールの送信先を文字認識するとともにその画像情報に含まれる電子メールの本文の文字を所定の画素数の太さにするとともに各文字の大きさを揃えた文字毎の画像情報を生成し、その文字毎の画像情報を整列させた画像情報を前記文字認識した電子メールの送信先へ送信するサーバと、
   前記サーバから受信した画像情報を表示部に表示させる携帯情報端末とを備えたことを特徴とする電子メールシステム。
5. 請求項４の電子メールシステムにおいて、
   前記所定の画素数を、１画素としたことを特徴とする電子メールシステム。