JP2008250375A - 文字入力装置、方法およびプログラム - Google Patents

Abstract

【課題】装飾付きの筆跡を確認しつつ装飾付きの文字を文字入力する。
【解決手段】筆跡の座標データを検知する検知手段１０１と、指定された文字装飾にしたがい、筆跡に文字装飾を施した装飾筆跡を筆記途中から逐次表示する筆跡表示手段１０４と、筆跡に対応する１文字を認識する認識手段１０２と、文字装飾にしたがい、認識された文字に装飾を施した装飾文字を表示する文字表示手段１０５と、を具備する。
【選択図】図１

Description

本発明は、タッチパネルやタブレットのような座標入力装置へ入力される筆跡から文字を認識し、その結果を表示画面に表示する文字入力装置、方法およびプログラムに関する。

近年、携帯電話によるメールにおいて、文字に装飾をしたメール（デコメール）が普及している（例えば、非特許文献１参照）。
ＫＤＤＩホームページ、［平成１９年３月１日検索］、インターネット＜URL：http://www.au.kddi.com/email/pastel_mail/index.html＞

従来、認識処理後に認識結果である文字に装飾をつけて表示することは可能である。この場合、認識処理後、認識結果である文字が表示されて初めて、どのような装飾がなされるのかを確認できる。筆跡を入力している間や認識処理が行われている間は、ユーザは最終的に文字がどのような装飾になるのかを確認することはできない。

文字認識を使い文字を筆記することで入力する文字入力装置において、入力した文字に対して、色や大きさ、太さ、フォントの種類といった装飾がどのようにつけられるかを、筆跡入力している時点から目で確認したい。

この発明は、上述した事情を考慮してなされたものであり、装飾付きの筆跡を確認しつつ装飾付きの文字を文字入力できる文字入力装置、方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明の文字入力装置は、筆跡の座標データを検知する検知手段と、指定された文字装飾にしたがい、前記筆跡に装飾を施した装飾筆跡を筆記途中から逐次表示する筆跡表示手段と、前記筆跡に対応する文字を認識する認識手段と、前記文字装飾にしたがい、認識された前記文字に装飾を施した装飾文字を表示する文字表示手段と、を具備することを特徴とする。

また、本発明の文字入力装置は、筆跡の座標データを検知する検知手段と、前記座標データから文字装飾を決定する決定手段と、前記文字装飾にしたがい、前記筆跡に装飾を施した装飾筆跡を筆記途中から逐次表示する筆跡表示手段と、前記筆跡に対応する文字を認識する認識手段と、前記文字装飾にしたがい、認識された前記文字に装飾を施した装飾文字を表示する文字表示手段と、を具備することを特徴とする。

本発明の文字入力装置、方法およびプログラムによれば、装飾付きの筆跡を確認しつつ装飾付きの文字を文字入力できる。

以下、図面を参照しながら本発明の実施形態に係る文字入力装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
本実施形態の文字入力装置、方法およびプログラムは、ユーザが、筆跡を入力している間や認識処理が行われている間にも、文字装飾手法（文字色、フォントの種類、文字の大きさ、線の太さ（あるいは、ボールド体の有無）、下線の有無、点滅の有無、斜字体の有無など）を確認できるように、文字の装飾手法と同じ形式で、筆跡を画面上に逐次表示する。

（第１の実施形態）
本実施形態の文字入力装置について図１を参照して説明する。
本実施形態の文字入力装置は、筆跡検知部１０１、文字認識部１０２、文字装飾制御部１０３、筆跡表示部１０４、装飾文字表示部１０５、表示画面１０６を含む。

筆跡検知部１０１は、ペンあるいは指がセンサに接触しているかどうかを検知し、ユーザがペンあるいは指などで筆記する筆跡の座標データを取得する。そして、筆跡検知部１０１は、接触している間の座標列を１画分の筆跡データとして受け付ける。
例えば、ｎ画で構成される１文字分の筆跡データは以下の時系列で表現される。
１画目：(X[1][1], Y[1][1])、(X[1][2], Y[1][2])、…、(X[1][N[1]], Y[1][N[1]])
２画目：(X[2][1], Y[2][1])、(X[2][2], Y[2][2])、…、(X[2][N[2]], Y[2][N[2]])
…
n画目：(X[n][1], Y[n][1])、(X[n][2], Y[n][2])、…、(X[n][N[n]], Y[n][N[n]])
ここで、X[i][j]、Y[i][j]はそれぞれｉ画目のｊ番目のｘ座標、ｙ座標である。また、N[i]はｉ画目の画の点数である。
筆圧を同時に取得できる場合には、ｎ画で構成される１文字分の筆跡データは以下のように表すことができる。
１画目：(X[1][1], Y[1][1], Z[1][1])、…、(X[1][N[1]], Y[1][N[1]], Z[1][N[1]])
…
n画目：(X[n][1], Y[n][1], Z[n][1])、…、(X[n][N[n]], Y[n][N[n]], Z[n][N[n]])
ここで、Z[i][j]は、ｉ画目のｊ番目の筆圧を表す。
また、筆跡検知部１０１は、筆跡の幅も検出する。この場合、ｉ画目のｊ番目のｘ座標、ｙ座標がそれぞれ複数になる。すなわち、例えば、ｉ画目のｊ番目のｘ座標、ｙ座標の数が多くなるほど、筆跡の幅が大きいことになる。

文字認識部１０２は、文字を認識する。文字認識部１０２は、例えば、筆跡データを取得するたびに、それまでに入力された筆跡データから、文字構造辞書（図示せず）および文字間構造辞書（図示せず）を用いて、それまでに入力された筆跡の形状および筆跡間の位置関係に基づき、最も確からしい、最適な文字列を求める。文字構造辞書は、認識対象となる各文字の構造が表現されたデータ（文字構造辞書情報）、すなわち、各文字について、その文字を構成する筆跡の形状や筆跡間の位置関係（構造）などの特徴情報を登録した辞書である。文字間構造辞書は、文字構造辞書に登録された複数の文字のうちの続けて筆記される各２文字の組み合わせについて、その２文字の間の構造関係が表現されたデータ（文字間辞書情報）を登録した辞書である。ただし、文字が認識できればこの他の手法でもよい。
文字装飾制御部１０３は、ユーザからの指示にしたがって、例えば、
・文字色
・文字フォントの形式変更（斜字体の有無、下線の有無、ボールドの有無など）
・点滅表示
・文字の表示サイズ
・フォント表示と筆跡表示との切り替え
・フォントと筆跡との交互表示
の文字装飾を決定する。文字装飾の指定手法についてはユーザからの指示に限定しない。

筆跡表示部１０４は、文字装飾制御部１０３で決められた表示手法で、表示画面１０６に、入力データに基づいて筆記途中の筆跡を逐次表示する。筆跡表示部１０４は、筆跡データである座標の集合を画ごとに連結した線分集合を文字装飾制御部１０３が指定した文字装飾にしたがって表示する。ただし、文字装飾によっては、筆跡のサイズ、形状、表示位置、筆跡表示手法を変更する必要がある。
装飾文字表示部１０５は、文字装飾制御部１０３で決められた装飾手法にしたがってフォントの種類と形式、サイズ、表示色などの表示手法を定め表示画面１０６に文字を表示する。

以下、筆跡表示部１０４の表示動作について説明する。
文字色が指定された場合、筆跡表示部１０４は線分集合の色を指定された文字色にする。
文字フォントの形式を変更する旨が指定された場合は変更先のフォントの形式によって処理が異なる。以下、いくつかの例を挙げる。

＜斜字体＞
斜字体のフォントに変更する場合は、図２に示すように、筆跡データの座標を線形変換してから表示する。筆跡表示部１０４は、入力された筆跡の左下点を（０，０）として場合の入力された筆跡のある点の座標を（ｘ，ｙ）とすると、（ｘ，ｙ）→（ｘ＋ｋｙ，ｙ）となるように変換する。ただし、ｋは実数で傾き具合を調整するパラメータであり、ｋが大きくなるほど傾きが大きくなる。

＜下線＞
筆跡に下線を付す場合は、図３に示すように、筆跡の下側に線を追加して表示する。筆跡表示部１０４は、例えば、筆跡データの最下部の座標を参照して、その座標が示す位置の少し下に、筆跡データの複数の最下部の座標を結ぶ直線に平行になるように、線分の位置を特定し、この線分を下線として表示する。

＜ボールド＞
筆跡をボールドに変更する場合は、図４に示すように、筆跡表示の線分集合を太くする。筆跡表示部１０４は、例えば、入力された筆跡データから筆跡の座標を検出し、これらの座標の周囲の座標も筆跡として扱うようにして、入力された筆跡を太くする。入力された筆跡データからの筆跡の座標からどの程度離れた座標まで筆跡とするかを決定することで、筆跡をどの程度太くするかを調整することができる。

＜点滅＞
筆跡を点滅させる場合は、一定時間ごとに、筆跡の表示と非表示を繰り返す。筆跡表示部１０４は、例えば、点滅させる筆跡データを検出し、時間を計測できるタイマー（図示せず）から時間を取得し、一定時間が経過するごとに、筆跡データに対応する筆跡を表示、非表示に設定する。

＜表示サイズ＞
表示サイズが指定された場合は、図５に示すように、入力された筆跡の大きさに依存しないように、いったん入力された１文字分の筆跡の大きさが一定になるように正規化をした後で、指定された大きさになるよう変換を行う。筆跡表示部１０４は、例えば、入力された１文字分の筆跡データの座標を検出し、この座標が分布する面積を計算し、この面積が一定の大きさになるように、筆跡を拡大、縮小する。その後、例えば、文字が表示される面積で決定される大中小のサイズに正規化された筆跡を拡大、縮小する。

ただし、実際には、１文字分が入力されないと入力文字の大きさが決定できないので、それまでに入力された文字の大きさで代用すればよい。例えば、図６に示すように、１画目が入力された時には、直前の文字の大きさに合わせて正規化する。

次に、フォント表示と筆跡表示との切り替え、フォントと筆跡の交互表示について説明する。
＜フォント表示と筆跡表示＞
フォント表示の場合は、文字認識部１０２が筆跡によるフォントを認識して、装飾文字表示部１０５が認識したフォントをそのフォントに対応する形式に変換して表示する。筆跡表示の場合は、文字認識部１０２が筆跡によるフォントを認識するが、筆跡表示部１０４が筆跡はそのまま残して筆跡の形を表示する。すなわち、筆跡表示の場合は、手書きの筆跡がそのまま表示される。フォント表示から筆跡表示へ切り替わった場合には、筆跡表示部１０４は、フォントが表示される位置にフォントと同じ大きさで、フォントの代わりに筆跡を表示する。

＜フォントと筆跡の交互表示＞
フォントと筆跡の交互に表示する場合は、筆跡表示部１０４は、装飾文字表示部１０５によりフォントが表示される位置にフォントと同じ大きさで、一定時間ごとにフォントと筆跡を交互に表示する。

次に、従来の文字入力装置による表示例と、本実施形態の文字入力装置による表示例との相違点について図７、図８を参照して説明する。ここでは、装飾として文字をボールドにする場合を例として説明する。
従来の文字入力装置では、図７に示すように、筆記途中の筆跡を逐次表示していても、筆跡による文字認識が完了しないと、表示画面に装飾が反映されない。すなわち、文字認識後初めて表示画面にボールドの「と」が表示される。
一方、本実施形態の文字入力装置によれば、図８に示すように、文字装飾制御部１０３で指示された装飾を筆跡表示部１０４が取得して、筆跡表示部１０４が筆記途中の筆跡でも表示画面１０６に筆記途中の筆跡を太字で示すことができる。

次に、筆跡表示部１０４による筆跡の表示位置と、装飾文字表示部１０５による装飾文字の表示位置について図９、図１０を参照して説明する。図９、図１０ともに筆跡の表示位置と文字の表示位置とが一致するように表示を行う場合を示している。
図９では、筆跡表示部１０４が、筆跡の表示を装飾文字表示部１０５が装飾文字を表示する位置に表示させる。筆跡表示部１０４は、次の文字が表示される位置（通常はカーソル位置）と大きさをあらかじめ求め、その位置と大きさで筆跡を表示する。

図１０では、装飾文字表示部１０５が、装飾文字を表示する位置を、筆跡表示部１０４が筆跡を表示する位置に表示させる。表示一体型の文字入力装置（筆跡検知部が筆跡を検出する画面と表示画面が重なっている）の場合には、こちらが適している。

以上の第１の実施形態によれば、ユーザが、筆跡を入力している間や認識処理が行われている間にも、ユーザにより指定された文字装飾で筆跡を画面上に逐次表示することにより、ユーザは、装飾付きの筆跡を確認しつつ装飾付きの文字を入力することができる。

（第２の実施形態）
本実施形態の文字入力装置について図１１を参照して説明する。
本実施形態の文字入力装置は、第１の実施形態の文字装飾制御部１０３に代わって、文字装飾決定部１１０１と文字装飾制御部１１０２を含んでいる。第１の実施形態では、外部からの指示、例えば、ユーザの指示によって文字装飾が決定されていたが、本実施形態では、文字装飾決定部１１０１が文字装飾を決定する。文字装飾制御部１１０２は、文字装飾決定部１１０１が決定した文字装飾を行うように筆跡表示部１０４と装飾文字表示部１０５に指示する。筆跡表示部１０４は、入力された筆跡に対して、そのままの形状で表示すればよい。筆跡表示部１０４は、筆跡の表示色や線種、線の太さについて、文字装飾制御部１１０２で指定されている手法で表示する。

文字装飾決定部１１０１は、筆跡検知部１０１からの筆記途中の筆跡データに基づいて文字の装飾手法を決定する。
＜ボールド＞
文字装飾決定部１１０１が、筆記途中の筆跡から装飾手法がボールドであると決定する場合について説明する。文字装飾決定部１１０１は、例えば、筆跡データのうちの筆圧を示すデータが閾値以上のものがある文字を筆跡表示部１０４にボールド表示するように指示する。また、文字装飾決定部１１０１は、筆圧データにより線の太さを連続的に変化させるように筆跡表示部１０４に指示することもできる。文字装飾決定部１１０１が、例えば、筆圧データによる筆圧が大きいほどその線の太さを太くするように筆跡表示部１０４に指示する。その結果、同じ線分でも太い部分と細い部分を混在させることができる。

＜斜字体＞
文字装飾決定部１１０１が、筆記途中の筆跡から装飾手法が斜字体であると決定する場合について説明する。文字装飾決定部１１０１は、例えば、斜字体のテンプレートを含むデータベース（図示せず）を参照して、筆跡とテンプレートを比較して、該当するテンプレートがあるか検出し、該当するテンプレートがある場合には、筆跡が斜字体であると決定し筆跡表示部１０４に斜字体の表示をするように指示する。

＜下線＞
文字装飾決定部１１０１が、筆記途中の筆跡から装飾手法が下線であると決定する場合について説明する。文字装飾決定部１１０１は、筆跡検知部１０１で検知した筆記途中の筆跡データによる文字の行の方向にしたがって、射影などを用いて長く連なっている線を下線と認識し、下線を付ける指示を筆跡表示部１０４に指示する。行からどのくらい下線が離れているかがわかれば、その後、下線の始点と終点を求めるのは容易である。基本的に２重下線も同じ手法で抽出できる。

＜波線、破線＞
文字装飾決定部１１０１が、筆記途中の筆跡から装飾手法が波線、破線であると決定する場合について説明する。波線、破線は、下線と同じ手法で大体の位置を決定した後、予め用意した複数種類の波線パターンおよび破線パターンとマッチングをとり、位置を決定する。
破線の場合、文字装飾決定部１１０１は、その部分をラベリングした結果が細かく別れている事で破線と特定でき、その場合はその部分でのラベルの大きさと数によって種類を特定した上で筆跡表示部１０４に破線を付ける指示をする。
波線の場合、文字装飾決定部１１０１は、ラベリングの結果、横に長いラベルが取れ、しかも黒画素の数がラベル全体よりも小さい事から波線である事が特定でき、線の高さの半分の所を横にサーチしてゆき、終りまで来るまでに何度黒画素と白画素が反転したかを数える事によって種類を特定した上で筆跡表示部１０４に破線を付ける指示をする。

なお、表示一体型の文字入力装置の場合には、筆跡の入力位置にそのまま筆跡を表示してもよい。

以上の第２の実施形態によれば、ユーザが、筆跡を入力している間や認識処理が行われている間にも、文字入力装置が指定された文字装飾を判定して、この文字装飾で筆跡を画面上に逐次表示することにより、ユーザは、装飾付きの筆跡を確認しつつ装飾付きの文字を入力することができる。

以上に示した実施形態によれば、文字装飾と同様の形式で筆跡表示をリアルタイムで行うことで、ユーザは、表示される筆跡の装飾を見ながら筆跡を入力できるので、ユーザが文字を筆記途中の段階から自分の書いた文字がどのような形で装飾されるかをリアルタイムに目で確認することができる。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の文字入力装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の文字入力装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、記憶媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明におけるコンピュータまたは組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態に係る文字入力装置のブロック図。 文字装飾が斜字体の場合に図１の筆跡表示部が行う処理を説明するための図。 文字装飾が下線の場合に図１の筆跡表示部が行う処理を説明するための図。 文字装飾がボールドの場合に図１の筆跡表示部が行う処理を説明するための図。 文字装飾が斜字体の場合に図１の筆跡表示部が行う処理を説明するための図。 表示サイズが指定された場合に図１の筆跡表示部が行う処理を説明するための図。 認識後初めて装飾文字が表示される場合の一例を示す図。 筆跡を入力しつつある時も装飾文字が表示される場合の一例を示す図。 文字表示位置に筆跡表示位置を合わせる場合の一例を示す図。 筆跡表示位置に文字表示位置を合わせる場合の一例を示す図。 第２の実施形態の文字入力装置のブロック図。

符号の説明

１０１・・・筆跡検知部、１０２・・・文字認識部、１０３、１１０２・・・文字装飾制御部、１０４・・・筆跡表示部、１０５・・・装飾文字表示部、１０６・・・表示画面、１１０１・・・文字装飾決定部。

Claims (11)

1. 筆跡の座標データを検知する検知手段と、
   指定された文字装飾にしたがい、前記筆跡に装飾を施した装飾筆跡を筆記途中から逐次表示する筆跡表示手段と、
   前記筆跡に対応する文字を認識する認識手段と、
   前記文字装飾にしたがい、認識された前記文字に装飾を施した装飾文字を表示する文字表示手段と、を具備することを特徴とする文字入力装置。
2. 前記検知手段はさらに筆跡の筆圧データを検知することを特徴とする請求項１に記載の文字入力装置。
3. 筆跡の座標データを検知する検知手段と、
   前記座標データから文字装飾を決定する決定手段と、
   前記文字装飾にしたがい、前記筆跡に装飾を施した装飾筆跡を筆記途中から逐次表示する筆跡表示手段と、
   前記筆跡に対応する文字を認識する認識手段と、
   前記文字装飾にしたがい、認識された前記文字に装飾を施した装飾文字を表示する文字表示手段と、を具備することを特徴とする文字入力装置。
4. 前記検知手段はさらに筆跡の筆圧データを検知し、前記決定手段は前記座標データと前記筆圧データから文字装飾を決定することを特徴とする請求項３に記載の文字入力装置。
5. 前記文字表示手段は、前記筆跡表示手段が表示した筆跡の表示位置と同一の位置に装飾文字を表示することを特徴とする請求項１から請求項３のいずれか１項に記載の文字入力装置。
6. 前記文字表示手段は、認識結果を文字フォントで表示しないで筆跡をそのまま表示する旨の装飾の指定を受けた場合には、筆跡をそのまま表示することを特徴とする請求項１から請求項３のいずれか１項に記載の文字入力装置。
7. 前記文字表示手段は、認識結果を文字フォントで表示しないで筆跡をそのまま表示することと、認識結果を文字フォントで表示することを交互に行う旨の装飾の指定を受けた場合には、認識結果を文字フォントで表示しないで筆跡をそのまま表示することと、認識結果を文字フォントで表示することを交互に行うことを特徴とする請求項１から請求項３のいずれか１項に記載の文字入力装置。
8. 筆跡の座標データを検知し、
   指定された文字装飾にしたがい、前記筆跡に装飾を施した装飾筆跡を筆記途中から逐次表示し、
   前記筆跡に対応する文字を認識し、
   前記文字装飾にしたがい、認識された前記文字に装飾を施した装飾文字を表示することを特徴とする文字入力方法。
9. 筆跡の座標データを検知し、
   前記座標データから文字装飾を決定し、
   前記文字装飾にしたがい、前記筆跡に装飾を施した装飾筆跡を筆記途中から逐次表示し、
   前記筆跡に対応する文字を認識し、
   前記文字装飾にしたがい、認識された前記文字に装飾を施した装飾文字を表示することを特徴とする文字入力方法。
10. コンピュータを、
    筆跡の座標データを検知する検知手段と、
    指定された文字装飾にしたがい、前記筆跡に装飾を施した装飾筆跡を筆記途中から逐次表示する筆跡表示手段と、
    前記筆跡に対応する文字を認識する認識手段と、
    前記文字装飾にしたがい、認識された前記文字に装飾を施した装飾文字を表示する文字表示手段として機能させるための文字入力プログラム。
11. コンピュータを、
    筆跡の座標データを検知する検知手段と、
    前記座標データから文字装飾を決定する決定手段と、
    前記文字装飾にしたがい、前記筆跡に装飾を施した装飾筆跡を筆記途中から逐次表示する筆跡表示手段と、
    前記筆跡に対応する文字を認識する認識手段と、
    前記文字装飾にしたがい、認識された前記文字に装飾を施した装飾文字を表示する文字表示手段として機能させるための文字入力プログラム。

Images