JP2019220155A - 手書き入力表示装置、手書き入力表示方法およびプログラム - Google Patents

Abstract

【課題】手書き入力のスピードを落とすことなく、自動的に推奨する手書き認識候補を表示し、必要に応じて手書き認識候補から文字列を選択して変換することができる装置を提供する。【解決手段】手書き入力装置２は、手書きオブジェクトが所定時間変化しない場合、手書きオブジェクトを文字列として認識させた手書き認識文字列候補を含む文字列候補を、ディスプレーに表示させる手書き入力表示制御部２３を備え、手書き認識文字列候補が選択された場合、手書き入力表示制御部２３は、文字列候補の表示と手書きオブジェクトの表示を消去させるとともに、消去させた手書きオブジェクトの表示位置に、選択された手書き認識文字列候補によって示される文字列である文字列オブジェクトを表示させ、手書き認識文字列候補が所定時間選択されず、かつ文字列候補の表示が消去された場合、手書きオブジェクトの表示を維持する。【選択図】図１５

Description

本開示内容は、手書き入力表示装置、手書き入力表示方法およびプログラムに関する。

キーボードを備えていないタッチパネル操作型のコンピューター（以下、「タブレットPC」と記す）では、図２２（ａ）に示されているように、手書き入力画面例のようなタブレットPC向けの入力ソフトウェアが用意されており、ソフトウェアキーボード入力と手書き入力を選択して現在カーソル位置に文字列を入力できる。また、図２２（ｂ）に示されているように、タブレットPCに付属している電子ペンを用いて、枠内に手書きで文字を記入していくと、文字列として認識され、挿入ボタンを押下すると、認識された文字列を現在カーソル位置に入力することができる。

特許文献１には、入力枠へ手書きと、認識された文字列を同時に表示することが記載されており、最終的には、認識した文字列を指定領域に入力することができるが、タブレットPCと同様に、手書きを文字として認識するための入力枠がある。

また、特許文献２には、枠のない文字認識技術が開示されているが、認識した文字列をどのように扱うかについては記載されていない。

上述の従来技術では、入力枠内への手書きを文字として認識して、現在カーソル位置に入力でき、手書き範囲を後から選択して文字に変換でき、清書モードを選択して入力枠への手書きを文字に変換できる。しかし、いずれのケースでも、文字列を入力するための特別な手続きがあり、所望の文字列を認識できない場合には、さらに複雑な手続きを踏んで文字列を認識させるか、文字列の認識をあきらめて手書き入力モードに切り替えて手書きのまま入力するしかない。

コンピューターによる手書き文字の認識率は向上してきているものの、ユーザーが手書きしたクセ字を認識できないこともまだ多く、上述の複雑な手続きやモード切り替えが頻繁に発生する可能性がある。清書が目的であれば、このような複雑な手続きやモード切り替えに時間をかけても問題はないが、手書きボードを囲んで議論する場合など意思疎通が目的の場合は、複雑な手続きやモード切り替えをしている時間はほとんどない。

本願発明は、手書き入力のスピードを落とすことなく、自動的に推奨する手書き認識候補を表示し、必要に応じて手書き認識候補から文字列を選択して変換することができ、必要がなければ手書き認識候補を無視して手書き入力を先に書き進めることができる装置及び方法を提供することを目的とする。

請求項１に係る発明は、表示手段が有する画面への入力手段を用いた入力によって生成されるストロークを、手書きオブジェクトとして前記表示手段に表示させる手書き入力表示装置において、前記手書きオブジェクトが所定時間変化しない場合、前記手書きオブジェクトを文字列として認識させた手書き認識候補を含む文字列候補を、前記表示手段に表示させる表示制御手段を備え、前記手書き認識候補が選択された場合、前記表示制御手段は、前記文字列候補の表示と前記手書きオブジェクトの表示を消去させるとともに、消去させた前記手書きオブジェクトの表示位置に、選択された前記手書き認識候補によって示される文字列である文字列オブジェクトを表示させ、前記手書き認識候補が所定時間選択されず、かつ前記文字列候補の表示が消去された場合、前記表示制御手段は、前記手書きオブジェクトの表示を維持する手書き入力表示装置である。

以上説明したように本発明によれば、手書き入力のスピードを落とすことなく、自動的に推奨する手書き認識候補を表示し、必要に応じて手書き認識候補から文字列を選択して変換することができ、必要がなければ手書き認識候補を無視して手書き入力を先に書き進めることができる方法を提供することができるという効果を奏する。

本発明の実施形態に係る手書き入力装置の全体構成の一例を示す図である。 本発明の実施形態に係る手書き入力装置の全体構成の別の例を示す図である。 電子ペンの斜視図の一例を示す図である。 手書き入力装置のハードウェア構成の一例を示す図である。 手書き入力装置の機能ブロックの一例を示す図である。 本実施形態の処理を示したシーケンス図である。 本実施形態の処理を示したシーケンス図である。 本実施形態の処理を示したシーケンス図である。 本実施形態の処理を示したシーケンス図である。 本実施形態の処理を示したシーケンス図である。 本実施形態の処理を示したシーケンス図である。 定義済み制御データの例を示した図である。 文字列候補表示領域の構成例を示した図である。 辞書データの例を示した図である。 文字列候補表示領域の操作例を示した図である。 予測変換及びかな変換の操作例を示した図である。 手書きオブジェクトの新規生成例を示した図である。 横書き文字サイズの自動判定例を示した図である。 縦書き文字サイズの自動判定例を示した図である。 文字列候補表示領域の表示位置例を示した図である。 手書きオブジェクトの編集操作例を示した図である。 従来の手書き入力画面例を示した図である。

以下に、図面を用いて、本発明の実施の形態について説明する。

＜装置の全体構成＞
まず、図１および図２を用いて、本発明の実施形態に係る手書き入力装置の全体構成を説明する。図１は、手書き入力装置の全体構成の一例を示した図である。ここでは、手書き入力装置の一例として、電子黒板を示している。

図１に示されているように、手書き入力装置２の上部には表示装置の一例としてのディスプレー２２０が設置されている。ユーザーは、電子ペン２５００を用いて、ディスプレー２２０に文字等を入力（描画）することができる。

図２は、手書き入力装置２の全体構成の別の例を示した図である。図２（ａ）では、手書き入力装置２の一例として、壁につり下げられた横長の電子黒板として使用される手書き入力装置２を示している。図２（ｂ）は壁につり下げられた縦長の電子黒板として使用される手書き入力装置２を示している。図２（ｃ）は机２３０に平置きされた手書き入力装置２を示す。手書き入力装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。

＜電子ペンの外観の一例＞
図３は、電子ペン２５００の斜視図の一例を示す。図３は多機能な電子ペン２５００の一例を示す。電源を内蔵して手書き入力装置２に命令を送信できる電子ペン２５００をアクティブペンという（電源を内蔵しない電子ペンをパッシブペンという）。図３の電子ペン２５００は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。

なお、スイッチ付きの電子ペンであれば、ユーザーの手書き入力装置２の操作手順を減らすことも可能である。スイッチ付きの電子ペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもＬＣ回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのある電子ペンはアクティブペンである。

ユーザーはペン側面スイッチのうちの一つをペン機能メニュー、もう一つを編集機能メニューに割り当てることができる。ペン機能メニューでは、ユーザーがペンの色、太さ、動作モードを選択できる。また、編集機能メニューでは、オブジェクトの消去、選択、切り取り、コピー、及び貼り付けを選択できる。ユーザーが手に持った電子ペン２５００の側面ボタンを押すことによってペン機能メニュー又は編集機能メニューを表示させることができる点で便利にはなるが、操作の対象となるオブジェクトを変更するたびにユーザーが側面ボタンを押下してペン機能メニュー又は編集機能メニューを開く煩雑さは変わらない。一方、消去用のペン尻のスイッチを使用すると、ペン先の代わりにペン尻を使えばよく、消去に要する操作手順を１ステップに短縮できる。

なお、電子ペン２５００のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様であるとする。電子ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、電子ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置のハードウェア構成＞
続いて、図４を用いて、手書き入力装置のハードウェア構成を説明する。手書き入力装置２は図示するように情報処理装置又はコンピューターの構成を有している。図４は、手書き入力装置２のハードウェア構成図の一例である。図４に示されているように、手書き入力装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、手書き入力装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、手書き入力装置２用のプログラム等の各種データを記憶する。

また、手書き入力装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上に電子ペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａ
を有しており、電子ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上の電子ペン２５００を登録しておくと、ユーザーは電子ペン２５００を手書き入力装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、手書き入力装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、手書き入力装置２の傾き角度を検出するセンサーである。主に、手書き入力装置２が図２（ａ）、図２（ｂ）、又は、図２（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi−FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣りに配置された手書き入力装置２を検出する。赤外線の直進性を利用して、隣りに配置された手書き入力装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、手書き入力装置２のどの方向に他の手書き入力装置２が配置されたのかを検出できる。これにより画面が広がり、隣りの手書き入力装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は手書き入力装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で手書き入力装置２を使用することが可能になる。

更に、手書き入力装置２は、バスライン２１０を備えている。バスライン２１０は、図４に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、電子ペン２５００は、細長いペン型である必要はない。

＜装置の機能構成＞
続いて、図５を用いて、手書き入力装置２の機能構成について説明する。図５は、手書き入力装置の機能ブロック図である。

手書き入力装置２は、手書き入力部２１、表示部２２、手書き入力表示制御部２３、候補表示タイマー制御部２４、手書き入力保存部２５、手書き認識制御部２６、手書き認識辞書部２７、文字列変換制御部２８、文字列変換辞書部３０、予測変換制御部３１、及び予測変換辞書部３２を備えている。手書き入力装置２が有する各機能は、図４に示されているハードウェア構成の一部及びプログラムの実行によって実現される。

手書き入力部２１は、タッチセンサー２１６等によって実現され、手書き入力を受け付ける。手書き入力部２１は、ユーザーによる電子ペン２５００の操作(S201)をペン操作データ（ペンアップ／ペンダウン／ペン座標データ）に変換し、手書き入力表示制御部２３に送信する(S202)。通常、ペン座標データは定期的に離散値として送信され、離散値間の座標は補完計算される。ここで、ペンアップ状態は、後述の手書き入力部２１によって、電子ペン２５００がディスプレー２２０の手書き面から離れていると判定された状態である。ペンダウン状態は、後述の手書き入力部２１によって、電子ペン２５００がディスプレー２２０の手書き面に接触されていると判定された状態である。

電子ペン２５００は、入力手段の一例であり、ペン形状になっていなくてもよい。入力手段は、タッチパネルに手書きが可能な手段であればよく、例えば、ペン、人の指や手、棒状部材などであってもよい。ペンアップ状態は入力手段アップ状態の一例であり、ペンダウン状態は入力手段ダウン状態の一例である。

表示部２２は、ディスプレー２２０等によって実現される。表示部２２は、手書き入力表示制御部２３がビデオメモリーに書き込んだ描画データを受信し(S203)、ディスプレーの特性に応じたデータに変換して表示する。

手書き入力表示制御部２３は、ＣＰＵ２０１からの命令によって実現される。手書き入力表示制御部２３は、本実施形態の特徴である手書き入力表示制御部であり、手書き入力と表示に関する全体的な制御を行う。手書き入力表示制御部２３は、手書き入力部２１からのペン操作データを処理し、表示部２２に送信する。そして、表示部２２は、受信したペン操作データに基づくストロークを表示する。ペン操作データの処理及びストロークの表示の詳細は図６乃至図１１を用いて後述する。

候補表示タイマー制御部２４は、ＣＰＵ２０１からの命令によって実現される文字列候補の表示制御タイマーである。候補表示タイマー制御部２４は、タイマーを開始又は停止して文字列候補の表示を開始するタイミングと表示を消去するタイミングを生成する。文字列候補とは、後述する操作ガイド５１０(図１３参照)に選択可能に表示される手書き認識文字列/言語文字列候補、変換文字列候補、文字列/予測変換の候補である。候補表示タイマー制御部２４は、手書き入力表示制御部２３からタイマー開始要求（またはタイマー停止要求）を受信し(S204)、手書き入力表示制御部２３にタイムアウトイベントを送信する(S205)。

手書き入力保存部２５は、ＲＡＭ２０３等により実現され、ユーザーデータ（手書きオブジェクト/文字列オブジェクト）を保存しておくストレージである。ここで、手書きオブジェクトは、手書き入力部２１に対する電子ペン２５００の操作を示すペン操作データに基づいて確定するものであり、電子ペン２５００により描画されたストローク（ストロークデータ）を含む。手書きオブジェクトは、ストローク（ストロークデータ）によって表される文字、数字、記号または図形であり、後述する手書き認識制御部２６による手書き認識の対象となるデータである。また、文字列オブジェクトは、手書きオブジェクトに基づく文字列変換の結果として、ディスプレー２２０に表示されるデータである。手書き入力保存部２５は、手書き入力表示制御部２３からユーザーデータを受信して保存する。また、手書き入力保存部２５は、手書き入力表示制御部２３から取得要求を受け取り(S206)、手書き入力表示制御部２３に対して、保存していたユーザーデータを送信する(S207)。

手書き認識制御部２６は、ＣＰＵ２０１からの命令によって実現されるオンライン手書き認識を行う認識エンジンである。手書き認識制御部２６は、紙原稿を読み取って認識するOCR(Optical Character Reader)とは異なり、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが発案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。また、手書き認識制御部２６は、ペン操作データを手書き入力表示制御部２３から受信し(S208)、手書き認識を実行して手書き認識文字列候補を保持する。更に、手書き認識制御部２６は、手書き認識辞書部２７を使用して手書き認識文字列候補から変換した言語文字列候補を保持しておく。手書き認識制御部２６は、別途、取得要求を手書き入力表示制御部２３から受信した場合(S208)、保持している手書き認識文字列候補と言語文字列候補を手書き入力表示制御部２３に送信する(S209)。

手書き認識辞書部２７は、手書き認識の言語変換用の辞書データであり、ＳＳＤ２０４等に記憶されている。手書き認識辞書部２７は、手書き認識文字列候補を手書き認識制御部２６から受信し(S212)、言語的に確からしい言語文字列候補に変換して、手書き認識制御部２６に送信する(S213)。例えば、日本語の場合は、手書き認識辞書部２７は、平仮名を漢字や片仮名へ変換する。

文字列変換制御部２８は、ＣＰＵ２０１からの命令によって実現され、文字列の変換の制御を行う。文字列変換制御部２８は、手書き認識文字列候補を手書き認識制御部２６から受信し(S211)、文字列変換辞書部３０を使用して変換文字列候補に変換して保持しておく。文字列変換制御部２８は、別途、取得要求をから受信した場合(S214)、保持している変換文字列候補を手書き入力表示制御部２３に送信する(S215)。

文字列変換辞書部３０は、文字列変換用の辞書データであり、ＳＳＤ２０４等に記憶されている。文字列変換辞書部３０は、文字列変換制御部２８から手書き認識文字列候補を受信し(S217)、変換文字列候補を文字列変換制御部２８に送信する(S218)。

予測変換制御部３１は、ＣＰＵ２０１からの命令によって実現され、予測変換を制御する。予測変換制御部３１は、手書き認識文字列候補を手書き認識制御部２６から受信し(S210)、変換文字列候補を文字列変換制御部２８から受信し(S216)、それぞれ予測変換辞書部３２を使用して予測文字列候補に変換しておく。予測変換文字列とは手書き認識文字列、又は変換文字列を含んで生成される可能性が高い文字列である。予測変換制御部３１は、別途、取得要求を手書き入力表示制御部２３から受信した場合(S219)、予測文字列候補を手書き入力表示制御部２３に送信する(S220)。

予測変換辞書部３２は、予測変換用の辞書データであり、ＳＳＤ２０４等に記憶されている。予測変換辞書部３２は、手書き認識文字列候補と変換文字列候補を予測変換制御部３１から受信し(S221)、予測文字列候補を予測変換制御部３１に送信する(S222)。

＜実施形態の処理又は動作＞
続いて、図６乃至図２１を用いて、本実施形態の処理又は動作について説明する。

（制御シーケンス）
まずは、図６乃至図１１を用いて、本実施形態の制御シーケンスについて説明する。図６乃至図１１は、本実施形態の処理を示したシーケンス図である。

最初に、手書き入力表示制御部２３が、手書きオブジェクト開始情報を手書き入力保存部２５に送信し、手書き入力保存部２５は手書きオブジェクト領域（手書きオブジェクトを保存するメモリー領域）を確保する(S1)。なお、手書き入力保存部２５は、ユーザーが電子ペン２５００を手書き入力部２１に接触させてから手書きオブジェクト領域を確保してもよい。

次に、ユーザーが手書き入力部２１に電子ペン２５００を接触させると、手書き入力部２１は、ペンダウンを手書き入力表示制御部２３に送信する(S2)。手書き入力表示制御部２３は、手書き入力保存部２５に、電子ペン２５００により描画されたストロークの開始を示すストローク開始情報を送信し(S2.1)、手書き入力保存部２５はストローク領域を確保する。ストローク（ストロークデータ）は、ユーザーが自由に手書きされた線である。連続した点の集合を有し、適宜、補間されてよい。

ユーザーが、電子ペン２５００を手書き入力部２１に接触させたまま移動させると、手書き入力部２１、ペン座標を手書き入力表示制御部２３に送信する(S3)。手書き入力表示制御部２３は、ペン座標補完表示データ（離散的なペン座標を補間したストロークデータ）を表示部２２に送信し、表示部２２は、ペン座標補完表示データを用いてペン座標を補間して線（ストローク）を表示する(S3.1)。更に、手書き入力表示制御部２３は、ペン座標とその受信時刻を手書き入力保存部２５に送信する。手書き入力保存部２５は、ペン座標をストロークに追加する(S3.2)。ユーザーが電子ペン２５００を動かしている間は、手書き入力部２１は、定期的に手書き入力表示制御部２３へのペン座標の送信を繰り返すため(S3)、S3〜S3.2の処理がペンアップされるまで繰り返される。

一方、ユーザーが手書き入力部２１から電子ペン２５００を離すと、手書き入力部２１は、ペンアップを手書き入力表示制御部２３に送信する(S4)。手書き入力表示制御部２３は、手書き入力保存部２５にストローク終了情報を送信する。そして、手書き入力保存部２５は、ストロークのペン座標を確定させる(S4.1)。ストロークのペン座標の確定により以降はストロークにペン座標を追加できなくなる。次に、手書き入力表示制御部２３は、手書きオブジェクト近傍矩形領域とストローク矩形領域の重なり状況取得情報を手書き入力保存部２５に送信し(S4.2)、手書き入力保存部２５は、これらの矩形領域を計算して重なり状況情報を手書き入力表示制御部２３に送信する。

これらの矩形領域が重なっていない場合、１つの手書きオブジェクトが確定するので、図７に示されているように、手書き入力表示制御部２３は、保持データクリア情報を手書き認識制御部２６に送信する(S4.3)。手書き認識制御部２６は、保持データクリア情報を、文字列変換制御部２８に送信する。そして、文字列変換制御部２８は、これまで保持していた変換文字列候補に係るデータをクリアする(S4.3.1)。また、手書き認識制御部２６は、保持データクリア情報を、予測変換制御部３１に送信する。そして、予測変換制御部３１は、これまで保持していた予測列候補に係るデータをクリアする(S4.3.2)。なお、クリアの時点では最後に手書きされたストロークは、手書きオブジェクトに追加されていない。

手書き入力表示制御部２３は、手書きオブジェクト終了情報を手書き入力保存部２５に送信し、手書き入力保存部２５は、手書きオブジェクトを確定させる(S4.4)。手書きオブジェクトの確定とは、１つの手書きオブジェクトが完成したこと（これ以上、ストロークが追加されないこと）をいう。更に、手書き入力表示制御部２３は、手書きオブジェクト開始情報を手書き入力保存部２５に送信し、手書き入力保存部２５は、次の手書きオブジェクトの手書きの開始（ペンダウン）に備えて、新しい手書きオブジェクト領域を確保する(S4.5)。

次に、図８に示されているように、手書き入力表示制御部２３は、S4.1で終了したストロークに関してストロークの追加データを手書き入力保存部２５に送信する。S4.3〜S4.6が実行された場合、追加されるストロークは、手書きオブジェクトの最初のストロークであり、手書き入力保存部２５は、開始中の手書きオブジェクトにストロークデータを追加する(S4.6)。S4.3〜S4.6が実行されていない場合、追加されるストロークは、既に手書き中の手書きオブジェクトに追加される。続いて、手書き入力表示制御部２３は、ストロークの追加データを手書き認識制御部２６に送信する。手書き認識制御部２６は、文字列候補に係るストロークデータ保持領域（ストロークデータが一時的に格納される領域）にストロークデータを追加する(S4.7)。

次に、手書き認識制御部２６は、このストロークデータ保持領域に対して、手書き認識を実行する(S4.7.1)。手書き認識制御部２６は、この実行結果である手書き認識文字列候補を手書き認識辞書部２７に送信する(S4.7.2)。そして、手書き認識辞書部２７は、言語的に確からしい言語文字列候補を手書き認識制御部２６に送信する。

次に、手書き認識制御部２６は、手書き認識文字列候補及び受信した言語文字列候補を文字列変換制御部２８に送信する(S4.7.3)。文字列変換制御部２８は、手書き認識文字列候補及び言語文字列候補を文字列変換辞書部３０に送信する(S4.7.3.1)。また、文字列変換辞書部３０は、変換文字列候補を文字列変換制御部２８に送信する。さらに、文字列変換制御部２８は、受信した変換文字列候補を予測変換制御部３１に送信する(S4.7.3.2)。予測変換制御部３１は、変換文字列候補を予測変換辞書部３２に送信する(S4.7.3.2.1)。そして、予測変換辞書部３２は予測文字列候補を予測変換制御部３１に送信する。

ここで、手書き認識制御部２６、文字列変換制御部２８、及び予測変換制御部３１は、それぞれ手書き認識文字列候補、言語文字列候補、変換文字列候補、予測文字列候補を後述のS4.8.1.2〜S4.8.1.3の処理で取得できるようにするために保持しておく。

更に、手書き入力表示制御部２３は、ストロークの追加データを手書き認識制御部２６に送信した(S4.7)直後、文字列候補表示タイマー開始情報を候補表示タイマー制御部２４に送信する。候補表示タイマー制御部２４は、このタイマーのカウントを開始する(S4.8)。このタイマーがタイムアウトする前に、ユーザーが手書き入力部２１に電子ペン２５００を接触させた場合、図９に示されているように、手書き入力部２１は、ペンダウン情報（S2と同じイベント）を手書き入力表示制御部２３に送信する(S5)。手書き入力表示制御部２３は、ストローク開始情報（S2.1と同じ）を手書き入力保存部２５に送信し(S5.1)、この後のシーケンスは上述のS2.1以降の処理と同じである。

更に、手書き入力表示制御部２３は、文字列候補表示タイマー停止情報を候補表示タイマー制御部２４に送信する。候補表示タイマー制御部２４は、タイマーを停止させる(S5.2)。ペンダウンが検出されたのでタイマーが不要になるからである。

以降S4.8.1〜S7.10は、一定時間が経過する前に（タイマーがタイムアウトする前に）ペンダウンが発生しない場合に実行される。したがって、後述する図１３に示されているような操作ガイド５１０が表示部２２に表示される。文字列候補表示タイマー開始中に(S4.8)、ユーザーがペン操作をしなかった場合（手書き入力部２１に電子ペン２５００を接触させなかった場合）は、候補表示タイマー制御部２４は、タイムアウト情報を手書き入力表示制御部２３に送信する(S4.8.1)。

手書き入力表示制御部２３は、手書き認識文字列候補又は言語文字列候補の取得情報を手書き認識制御部２６に送信する(S4.8.1.1)。そして、手書き認識制御部２６は、現在保持している手書き認識文字列候補又は言語文字列候補を手書き入力表示制御部２３に送信する。

次に、手書き入力表示制御部２３は、変換文字列候補の取得情報を文字列変換制御部２８に送信する(S4.8.1.2)。そして、文字列変換制御部２８は、現在保持している変換文字列候補を手書き入力表示制御部２３に送信する。

更に、手書き入力表示制御部２３は、予測文字列候補の取得情報を予測変換制御部３１に送信する(S4.8.1.3)。そして、予測変換制御部３１は現在保持している予測文字列候補を手書き入力表示制御部２３に送信する。

また、手書き入力表示制御部２３は、推定書字方向の取得情報を手書き入力保存部２５に送信する(S4.8.1.4)。そして、手書き入力保存部２５は、手書きオブジェクト矩形領域のストローク追加時間と水平距離と垂直距離から判定して、推定書字方向を手書き入力表示制御部２３に送信する。

次に、手書き入力表示制御部２３は、これらの手書き認識文字列候補（図１３では「ぎ」）、言語文字列候補（図１３では表示がないが、例えば「議」）、変換文字列候補（図１３では「議事録」「技量試」）、予測文字列候補（図１３では「技量試を決済」「議事録の送付先」）、各選択確率、及び推定書字方向から、文字列候補表示データを作成し、文字列候補表示データを表示部２２に送信する。そして、表示部２２は、文字列候補５０９(図１３参照)を表示する(S4.8.1.5)。また、手書き入力表示制御部２３は、オブジェクト矩形領域表示データを表示部２２に送信する。そして、表示部２２は、手書きオブジェクト矩形領域５０３（図１３参照）を表示する(S4.8.1.6)。

更に、手書き入力表示制御部２３は、文字列候補を表示から一定時間後に商況するための文字列候補表示消去タイマー開始情報を候補表示タイマー制御部２４に送信する。手書き入力表示制御部２３は、このタイマーのカウントを開始する(S4.8.1.7)。

ここで、S4.8.1.7の処理による文字列候補消去タイマー開始中に、ユーザーが表示部２２に表示された文字列候補表示を消去したか、又は手書きオブジェクトの変化が発生した場合（即ち手書きオブジェクトのストロークの追加、削除、移動、変形又は分割された場合）、図１０に示されているように、手書き入力部２１は、文字列候補表示の消去情報、又は手書きオブジェクトの変化の発生情報を手書き入力表示制御部２３に送信する(S6)。手書き入力表示制御部２３は、文字列候補消去タイマーの停止情報を候補表示タイマー制御部２４に送信する。手書き入力表示制御部２３は、そのタイマーを停止する(S6.1)。一定時間内に手書きオブジェクトに対し操作があったためタイマーが不要になるからである。また、手書き入力表示制御部２３は、表示部２２に、文字列候補表示データの消去情報を送信することで、表示を消去させる(S6.2)。更に、手書き入力表示制御部２３は、表示部２２に、手書きオブジェクト矩形領域表示データの消去情報を送信することで、表示を消去させる(S6.3)。

一方、文字列候補表示消去も手書きオブジェクトの変化も発生しなかった場合（ユーザーがペン操作をしなかった場合）には、候補表示タイマー制御部２４は、タイムアウト情報を手書き入力表示制御部２３に送信する(S4.8.1.7.1)。これにより、手書き入力表示制御部２３は、表示部２２に、文字列候補表示データの消去情報を送信することで、表示を消去させる(S6.2)。また、手書き入力表示制御部２３は、表示部２２に、手書きオブジェクト矩形領域表示データの消去情報を送信することで、表示を消去させる(S6.3)。

また、図９において、S4.8.1.7の処理による文字列候補消去タイマー開始中に、ユーザーが文字列候補を選択した場合は、図１１に示されているように、手書き入力部２１は文字列候補選択情報を手書き入力表示制御部２３に送信する(S7)。そして、手書き入力表示制御部２３は、文字列候補表示消去タイマーの停止情報を候補表示タイマー制御部２４に送信する。候補表示タイマー制御部２４は、このタイマーのカウントを停止する(S7.1)。

次に、手書き入力表示制御部２３は、保持データクリア情報を手書き認識制御部２６に送信する(S7.2)。手書き認識制御部２６は、保持データクリア情報を、文字列変換制御部２８に送信するとともに(S7.2.1)、予測変換制御部３１に送信する(S7.2.2)。これにより、手書き認識制御部２６、文字列変換制御部２８、及び予測変換制御部３１は、これまで保持していた文字列候補に係るデータをクリアする。

次に、手書き入力表示制御部２３は、表示部２２に対して、文字列候補表示データの消去情報を送信することで、文字列候補表示を消去させる(S7.3)。また、手書き入力表示制御部２３は、表示部２２に対して、手書きオブジェクト矩形領域表示データの消去情報を送信することで、表示を消去させる(S7.4)。さらに、手書き入力表示制御部２３は、表示部２２に対して、手書きオブジェクト表示データの消去情報（S3.1:ペン座標補完表示データの消去情報）を送信することで、表示を消去させる(S7.5)。文字列候補が選択されたため、手書きオブジェクト等が不要になるためである。

更に、手書き入力表示制御部２３は、手書き入力保存部２５に対して、手書きオブジェクトの削除情報を送信する(S7.6)。また、手書き入力表示制御部２３は、手書き入力保存部２５に対して、文字列オブジェクトの追加情報を送信する(S7.7)。更に、手書き入力表示制御部２３は、手書き入力保存部２５に対して、文字列オブジェクトフォントの取得情報を送信する(S7.8)。これにより、手書き入力保存部２５は、手書きオブジェクトの推定文字サイズから定義済みフォントを選択して、手書き入力表示制御部２３に送信する。

最後に、手書き入力表示制御部２３は、手書き入力保存部２５から受信した定義済みフォントを使用し、表示部２２に対して、手書きオブジェクトと同じ位置に表示させる文字列オブジェクト表示データを送信する。そして、表示部２２は、文字列オブジェクトを表示する(S7.9)。また、手書き入力表示制御部２３は、次の手書きオブジェクトのために、手書きオブジェクトの開始情報を手書き入力保存部２５に送信する。手書き入力保存部２５は、手書きオブジェクト領域を確保する(S7.10)。これ以降、図６のS2〜図１１のS7.10の処理が繰り返される。

（定義済みデータ例）
次に、図１２を用いて、手書き入力装置２が各種の処理に使用する定義済みデータについて説明する。図１２は、定義済み制御データの例を示した図である。図１２の例では、定義済み項目ごとに定義済みデータを示す。

文字列候補表示タイマー４０１は、文字列候補を表示するまでの時間を定義する。手書き中に文字列候補を示しないためである。文字列候補表示タイマー４０１は、図８のS4.8において、文字列候補表示タイマー開始時に使用される。この例では、ペンアップから500ms(TimerValue)以内にペンダウンが発生しなければ文字列候補が表示される。文字列候補表示タイマー４０１は、候補表示タイマー制御部２４が保持している。

文字列候補消去タイマー４０２は、表示した文字列候補を消去するまでの時間を定義する。ユーザーが文字列候補を選択しない場合に文字列候補を消去するためである。文字列候補消去タイマー４０２は、図９のS4.8.1.7において、文字列候補表示消去タイマー開始時に使用される。この例では、文字列候補の表示から5000ms(TimerValue)以内に文字列候補が選択されなければ文字列候補表示が消去される。文字列候補消去タイマー４０２は候補表示タイマー制御部２４が保持している。

手書きオブジェクト近傍矩形領域４０３は、手書きオブジェクトの近傍とみなす矩形領域を定義する。手書きオブジェクト近傍矩形領域４０３は、図６のS4.2において、手書きオブジェクト近傍矩形領域とストローク矩形領域の重なり状況の判定で使用される。この例では、手書きオブジェクト近傍矩形領域４０３は、手書きオブジェクトの矩形領域を水平方向に推定文字サイズの50%(Horizontal)拡大し、垂直方向に推定文字サイズの80%(Vertical)拡大した矩形領域となる。この例では推定文字サイズの割合（％指定）となっているが、単位を”mm”とすれば固定長にすることも可能である。手書きオブジェクト近傍矩形領域４０３は、手書き入力保存部２５が保持している。

推定書字方向/文字サイズ判定条件４０４は、書字方向と文字サイズの測定方向を判定するための定数を定義する。推定書字方向/文字サイズ判定条件４０４は、図９のS4.8.1.4における推定書字方向取得と、図１１のS7.8における文字列オブジェクトフォント取得で使用される。この例では、手書きオブジェクト矩形領域の最初にストロークが追加された時刻と最後にストロークが追加された時刻の差分が1000ms(MinTime)以上で、手書きオブジェクト矩形領域の水平距離（幅）と垂直距離（高さ）の差分が10mm(MinDiff)以上あり、水平距離が垂直距離より長い場合は、推定書字方向は「横書き」、推定文字サイズは垂直距離と判定する。水平距離が垂直距離より短い場合は、推定書字方向は「縦書き」、推定文字サイズは水平距離と判定する。以上の条件を満たさない場合は、推定書字方向は「横書き」(DefaultDir=”Horizontal”)、推定文字サイズは水平距離と垂直距離の長い方の距離と判定する。次に、推定文字サイズを推定文字サイズ４０５のFontSizeの最小値（以下、「最小フォントサイズ」）と最大値（以下、「最大フォントサイズ」）と比較し、推定文字サイズが最小フォントサイズより小さいときは、推定文字サイズは最小フォントサイズと判定し、推定文字サイズが最大フォントサイズより大きいときは、推定文字サイズは最大フォントサイズと判定する。推定書字方向/文字サイズ判定条件４０４は、手書き入力保存部２５が保持している。

推定文字サイズ４０５は、文字等のサイズを推定するためのデータを定義する。推定文字サイズ４０５は、図６のS4.2において、手書きオブジェクト近傍矩形領域とストローク矩形領域の重なり状況取得、図１１のS7.8において、文字列オブジェクトフォント取得で使用される。この例では、推定書字方向/文字サイズ判定条件４０４で判定された推定文字サイズが、推定文字サイズ４０５の小さめ文字４０５ａ（以下、最小フォントサイズ、と呼ぶ）と大きめ文字４０５ｃ（以下、最大フォントサイズ）と比較されることを意味する。推定文字サイズが最小フォントサイズより小さい場合、推定文字サイズは、最小フォントサイズと判定される。推定文字サイズが最大フォントサイズより大きい場合、推定文字サイズは、最大フォントサイズと判定される。それ以外は、中くらい文字４０５ｂの文字サイズと判定される。推定文字サイズ４０５は、手書き入力保存部２５が保持している。

具体的には、手書き入力保存部２５は、推定書字方向/文字サイズ判定条件４０４で判定された推定文字サイズを推定文字サイズ４０５のFontSizeと比較して、最も近いフォントを使用する。即ち、推定文字サイズが25mm(小さめ文字のFontSize)以下の場合は「小さめ文字」、推定文字サイズが25mm超50mm(中くらい文字のFontSize)以下の場合は「中くらい文字」、推定文字サイズが100mm(大きめ文字のFontSize)超のときは「大きめ文字」と判定する。「小さめ文字」４０５ａは明朝体の25mmフォント(FontStyle=”明朝体” FontSize=”25mm”)、「中くらい文字」４０５ｂは明朝体の50mmフォント(FontStyle=”明朝体” FontSize=”50mm”)、「大きめ文字」４０５ｃはゴシック体の100mmフォント(FontStyle=”ゴシック体” FontSize=”100mm”)を使用する。もっとフォントのサイズ又はスタイルの種類を増やしたい場合は、推定文字サイズ４０５の種類を増やせばよい。推定文字サイズ４０５として定義されるフォントスタイル（ＦｏｎｔＳｔｙｌｅ）は、定義済みフォントスタイルの一例である。また、推定文字サイズ４０５として定義されるフォントサイズ（ＦｏｎｔＳｉｚｅ）は、定義済みフォントサイズの一例である。

（文字列候補表示の構成例）
図１３は、文字列候補表示領域の構成例を示した図である。ユーザーが手書きオブジェクト５０４を手書きすることで（文字例候補表示タイマーのタイムアウトにより）、操作ガイド５１０が表示される。操作ガイド５１０は、操作ヘッダー５２０、手書きオブジェクト矩形領域５０３、手書きオブジェクト５０４、文字列候補５０９を有している。操作ヘッダー５２０には、予測変換／かな変換の切り替え操作部５０１、候補表示ページ操作部５０２、文字列候補表示消去操作部５０５が含まれている。文字列候補５０９には、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８が含まれている。この例では言語変換文字列がないが表示される場合もある。

予測変換／かな変換の切り替え操作部５０１は、予測変換とかな変換の切り替え操作を受け付けるボタンである。この例では、ユーザーが電子ペン２５００等で「予測変換」と表示されているボタンを押下すると、手書き入力部２１がそれを受け付けて手書き入力表示制御部２３にその旨を通知する。手書き入力表示制御部２３は、表示部２２に対して、切り替え通知を送信する。そして、表示部２２は、「かな変換」というボタンに表示を変更する。これにより、文字列候補が、かな変換の確率降順で並ぶ。

候補表示ページ操作部５０２は、候補表示のページ操作を受け付けるボタンである。この例では候補表示ページは３ページあり、現在は1ページ目を表示している。

手書きオブジェクト矩形領域５０３は、手書きオブジェクト５０４を囲む領域である。この例では点線枠で手書きオブジェクト矩形領域５０３が表示されている。

手書きオブジェクト５０４は、ユーザーが手書きした「ぎ」という文字である。

文字列候補表示消去操作部５０５は、文字列候補５０９の消去を受け付けるボタンである。この例では、ユーザーが電子ペン２５００等で「X」を押下すると、手書き入力部２１がそれを受け付けて手書き入力表示制御部２３にその旨を通知する。手書き入力表示制御部２３は、表示部２２に対して、文字列候補表示データの消去情報を送信する。そして、表示部２２は、手書きオブジェクト以外の表示を消去する。

手書き認識文字列候補５０６、変換文字列候補５０７、文字列／予測変換の候補５０８には、それぞれの文字列候補が確率降順で並んでいる。

手書き認識文字列候補５０６の「ぎ」は手書き認識の認識結果の候補である。この例では正しく「ぎ」を認識している。

変換文字列候補５０７は、言語文字列候補から変換された変換文字列候補である。変換文字列候補５０７の「技量試」は文字列変換の候補である。この例の「技量試」とは「技術量産試作」の略名である。

文字列／予測変換の候補５０８は、言語文字列候補又は変換文字列候補から変換された予測文字列候補である。文字列／予測変換の候補５０８の「技量試を決裁」と「議事録の送付先」は文字列又は予測変換の候補である。

（辞書データ例）
図１４は、辞書データの例を示した図である。（ａ）は手書き認識辞書部２７に係る手書き認識辞書データ６０１を示した例、（ｂ）は文字列変換辞書部３０に係る文字列変換辞書データ６０２を示した例、（ｃ）は予測変換辞書部３２に係る予測変換辞書データ６０３を示した例である。これらは、それぞれ図８のS4.7.2〜S4.7.4の処理で使用される。本実施形態では、図１４（ａ）の手書き認識辞書部２７に係る手書き認識辞書データ６０１による変換結果を言語文字列候補、図１４（ｂ）の文字列変換辞書部３０に係る文字列変換辞書データ６０２による変換結果を変換文字列候補、図１４（ｃ）の予測変換辞書部３２に係る予測変換辞書データ６０３による変換結果を予測文字列候補と呼ぶ。それぞれの辞書データの「変換前」は辞書データを検索する文字列、「変換後」は検索する文字列に対応した変換後の文字列、「確率」はユーザーが選択する確率を表す。

図１４（ａ）に示されている手書き認識辞書データ６０１の例では、手書きの「ぎ」は、確率0.55で「議」、確率0.4で「技」、手書きの「ぎし」は、確率0.5で「技士」、確率0.4で「技師」に変換することを示す。以下同様である。この例ではすべて手書きが平仮名となっているが、平仮名以外を登録しても問題ない。

図１４（ｂ）に示されている文字列変換辞書データ６０２の例では、文字列「議」は、確率0.9で「議事録」、文字列「技」は確率0.8で「技量試」に変換することを示す。以下同様である。

図１４（ｃ）に示されている予測変換辞書データ６０３の例では、文字列「議事録」は、確率0.5で「議事録の送付先」、文字列「技量試」は、確率0.7で「技量試を決裁」に変換することを示す。この例では変換前がすべて漢字になっているが、漢字以外を登録しても問題ない。

確率の計算方法は、様々なアルゴリズムが発案されているが、本実施形態の特徴ではないので、ここでは説明を割愛する。本実施形態では、推定書字方向から文字列候補を選択確率降順で表示することを特徴とする。なお、辞書データに言語依存はなく、変換前と変換後にどのような文字列が登録されていても問題はない。

（文字列候補表示の操作例）
図１５は、文字列候補表示領域の操作例を示した図であり、図１４における辞書データの例を使用して文字列候補を表示した例を示している。

図１４における各辞書データの例を使用した変換結果である、言語文字列候補、変換文字列候補、予測文字列候補は、図９のS4.8.1.1〜S4.8.1.3の処理で取得され、選択確率降順に並べて文字列候補として表示される。

(S701)は「ぎ」を手書きした場合の文字列候補の表示例である。まず、手書き認識制御部２６で手書き認識を実行して「ぎ」が取得される。次に、手書き認識辞書部２７で手書き認識文字列候補の「ぎ」を検索すると、手書き認識辞書データ６０１に含まれる６０４の「議」「技」がヒットする。これが言語文字列候補である。次に、文字列変換辞書部３０で手書き認識辞書データ６０１に含まれる６０４の「議」「技」を検索すると、文字列変換辞書データ６０２に含まれる６０７の「議事録」「技量試」がヒットする。これが変換文字列候補である。次に、予測変換辞書部３２で文字列変換辞書データ６０２に含まれる６０７の「議事録」「技量試」を検索すると、予測変換辞書データ６０３に含まれる６１１の「議事録の送付先」「技量試を決裁」がヒットする。これが予測文字列候補である。本実施例では、文字列候補の1番目に手書き認識文字列候補をおき、2番目以降に手書き認識辞書データ６０１に含まれる６０４，文字列変換辞書データ６０２に含まれる６０７，予測変換辞書データ６０３に含まれる６１１の「変換後」を「確率」降順に並べる。この結果が(S701)の文字列候補表示となる。

(S702)は(S701)に手書きで「し」を追加した場合の文字列候補の表示例である。(S701)と同様に処理をすると、文字列候補の1番目に「ぎし」をおき、2番目以降に手書き認識辞書データ６０１に含まれる６０５，文字列変換辞書データ６０２に含まれる６０８，予測変換辞書データ６０３に含まれる６１２の「変換後」を「確率」降順に並べて(S702)の文字列候補表示になる。

(S703)は(S702)に手書きで「濁点」を追加した場合の文字列候補の表示例である。(S701)，(S702)と同様に処理をすると、文字列候補の１番目に「ぎじ」をおき、２番目以降に手書き認識辞書データ６０１に含まれる６０６，文字列変換辞書データ６０２に含まれる６０９，６１０,予測変換辞書データ６０３に含まれる６１３，６１４の「変換後」を「確率」降順に並べて(S703)の文字列候補表示になる。

(S704)は(S703)から一定時間（例えば図１２の文字列候補消去タイマー４０２の例では5秒間）内に文字列候補が選択されない場合の表示例である。手書きオブジェクト矩形領域５０３、操作ヘッダー５２０及び文字列候補５０９の表示が消去される。(S703)で、ユーザーが「Ｘ」を押下するか、手書きオブジェクトの変化が発生しても(S704)になる。

(S705)は(S703)で文字列候補の「議事録」が選択された場合の表示例である。手書きオブジェクト５０４と手書きオブジェクト矩形領域５０３、操作ヘッダー５２０、文字列候補５０９の表示が消去され、手書きオブジェクトの推定文字サイズから選択した定義済みフォントを使用して、推定書字方向が横書きの場合は手書きオブジェクトの左上座標から、推定書字方向が縦書きの場合は手書きオブジェクト矩形領域の右上座標から、文字列オブジェクトの「議事録」が表示される。

（予測変換とかな変換の操作例）
図１６は、予測変換及びかな変換の操作例を示した図であり、図１４における辞書データの例を使用して文字列候補を表示した例を示している。

(S801)は「ぎじ」を手書きした場合の文字列候補の表示例である。これは(S703)と同じ表示である。

(S802)は、ユーザーが(S801)の切り替え操作部５０１を押下して、予測変換モードから、かな変換モードに変更した場合の文字列候補の表示例である。「かな変換」では言語文字列候補だけを選択確率降順で表示する。変換文字列候補や予測文字列候補によらず、確実に言語的に確からしい言語文字列候補を表示するためにある。この例では、文字列候補の1番目に手書き認識実行結果である「ぎじ」おき、２番目以降に「ぎじ」を手書き認識辞書部２７で検索してヒットした手書き認識辞書データ６０１に含まれる６０６の「変換後」を「確率」降順で並べて(S802)の文字列候補表示になる。

(S803)は、(S802)で「擬似」を選択した場合の文字列候補表示である。この例では、手書きの「ぎじ」は「疑似」に変換されため、手書きオブジェクトの「きじ」を文字列オブジェクトの「擬似」の表示に置き換える。即ち、手書きオブジェクトと矩形領域の表示を消去し、図１２に示されている定義済み制御データの推定文字サイズ４０５のフォントで「擬似」を表示し、文字列オブジェクト矩形領域を表示する。次に、文字列変換辞書部３０，予測変換辞書部３２で「疑似」を検索すると文字列変換辞書データ６０２に含まれる６１０，予測変換辞書データ６０３に含まれる６１４がヒットする。次に、予測変換辞書部３２で文字列変換辞書データ６０２に含まれる６１０の「変換後」を検索すると何もヒットしない。つまり、変換文字列候補の予測文字列候補はない。この実施例では、文字列候補の1番目に手書き認識文字列をおくが、この例ではすでに「擬似」に変換されているため手書き文字列はおかず、1番目から文字列変換辞書データ６０２に含まれる６１０，予測変換辞書データ６０３に含まれる６１４の「変換後」を「確率」降順に並べる。この結果が(S803)の文字列候補になる。

(S804)は、(S803)から一定時間（例えば図１２の文字列候補消去タイマー４０２の例では5秒間）内に文字列候補が選択されない場合の表示例である。文字列オブジェクト矩形領域が消去され、文字列オブジェクトだけが残る。(S803)でユーザーが「Ｘ」を押下しても(S804)となる。

(S805)は(S803)から文字列候補の「疑似逆行列」が選択された場合の表示例である。文字列オブジェクトを「疑似」から「擬似逆行列」置き換え、文字列オブジェクト矩形領域表示を消去する。

（手書きオブジェクトの新規生成例）
図１７は、手書きオブジェクトの新規生成例を示した図である。図１７において、「ぎ」「し」「じ」は手書き、点線枠は手書きオブジェクト矩形領域９１１ａ、グレー網掛け部分は手書きオブジェクト近傍矩形領域９２１ａを示す。近傍矩形領域の計算方法は、図１２の定義済み制御データの例(手書きオブジェクト近傍矩形領域４０３)を参照。

(S901)，(S902)，(S903)は、「ぎ」の手書きオブジェクト近傍矩形領域９２１ａ内に「じ」が追加された例である。(S902)は「ぎ」の手書きオブジェクト近傍矩形領域９２１ａ内に「し」が追加された例である。(S902)は「ぎ」と「し」の手書きオブジェクトがマージされて、拡大された手書きオブジェクト矩形領域９１１ｂが表示されるとともに、拡大された手書きオブジェクト近傍矩形領域９２１ｂも表示され、次に「濁点」が追加された例である。

(S903)は、「ぎし」と「濁点」の手書きオブジェクトがマージされて、拡大された手書きオブジェクト矩形領域９１１ｃが表示された例である。(S903)のままユーザーがペン操作をしないと「ぎじ」の文字列候補が表示される。このように、手書きオブジェクト近傍矩形領域内にストロークが追加されると、同じ手書きオブジェクトにストロークが追加され、その手書きオブジェクトで文字列候補が表示される。

(S904)，(S905)，(S906)は「ぎ」の手書きオブジェクト近傍矩形領域９２１ａ外に「じ」が追加された例である。(S904)は「ぎ」の手書きオブジェクト近傍矩形領域９２１ａ外に「し」が追加された例である。(S905)は「し」だけで手書きオブジェクト矩形領域９１２ａが新規生成され、「し」の手書きオブジェクト近傍矩形領域９２２ａ内に「濁点」が追加された例である。(S906)は「し」の手書きオブジェクト矩形領域９１２ａが拡大され、「じ」の手書きオブジェクト矩形領域９１２ｂが表示されている例である。(S906)のままユーザーがペン操作をしないと「じ」の文字列候補が表示される。このように、手書きオブジェクト近傍矩形領域９２１ａ外にストロークが追加されると、新規生成された手書きオブジェクト矩形領域９１２ａにストロークが追加され、新規生成された手書きオブジェクトで文字列候補が表示される。

（文字サイズの自動判定例）
図１８は、横書き文字サイズの自動判定例を示した図である。なお、手書きオブジェクトから推定文字サイズを計算しフォントを計算する方法は、図１２に示されている定義済み制御データ例の(推定文字サイズ４０５)を参照。

(S1001)は小サイズの「ぎじ」の手書きオブジェクトの文字列候補の「技術」が選択され、「ぎじ」の手書きオブジェクト矩形領域１０１１ａの左上座標から小さめフォントで「技術」の文字列オブジェクトが表示された例である。(S1002)は中サイズの「ぎじ」の例、(S1003)は大サイズの「ぎじ」の例である。

図１２に示されている推定文字サイズ４０５の例では、どのような大きさの手書きオブジェクトであっても、小サイズ、中サイズ、大サイズ、いずれかのフォントが使用されるため、必ずしも手書きオブジェクト矩形領域に収まるとは限らない。

縦書き文字サイズの自動判定例を図１９に示す。図１９は、縦書き文字サイズの自動判定例を示した図である。(S1101)は小サイズの「ぎじ」、(S1102)は中サイズの「ぎじ」、(S1103)は大サイズの「ぎじ」の例である。

（文字列候補表示の表示位置例）
図２０は、文字列候補表示領域の表示位置例を示した図である。なお、文字列候補表示領域の表示位置例を図２０に示す手書きオブジェクトから推定書字方向を計算する方法は図１２に定義済み制御データ例の(推定書字方向/文字サイズ判定条件４０４)を参照。

(S1201)は画面上部以外で推定書字方向が横書きの場合の文字列候補表示例である。横書きの場合は、手書き位置より下側は腕で隠れる可能性があり、次行が下側に伸びるため、手書き位置の下側を避けて上側に文字列候補が表示される。手書き位置から近い位置の文字列を選択できるようにするため、候補の文字列は下から上に選択確率降順で表示される。

(S1202)は画面上部付近で推定書字方向が横書きの場合の文字列候補表示例である。画面上部付近では手書き位置の上側に余裕がないため文字列候補は下側に表示される。これに伴って候補の文字列は上から下に選択確率降順で表示される。

(S1203)は画面右部以外で推定書字方向が縦書きの場合の文字列候補表示例である。縦書きの場合は、次行が右側に伸びるため、手書き位置の右側を避けて左側に文字列候補が表示される。手書き位置から近い位置の文字列を選択できるようにするため、候補の文字列は左から右に選択確率降順で表示される。

(S1204)は画面右部付近で推定書字方向が縦書きの場合の文字列候補表示例である。画面右部付近は手書き位置の右側に余裕がないため文字列候補は左側に表示される。これに伴って候補の文字列は右から左に選択確率降順で表示される。

（手書きオブジェクトの編集操作例）
図２１は、手書きオブジェクトの編集操作例を示す。

(S1301)は手書きオブジェクトの「ぎし」を選択した場合の編集ボックスの表示例である。この例では、手書きオブジェクトを長押しすることによって手書きオブジェクトが選択状態になり、編集ボックス１３１１が表示される。編集ボックス１３１１は、手書きオブジェクト矩形領域を表す点線枠と、手書きオブジェクト矩形領域の４つの角と４つの辺の中心に表示される操作用の四角から構成される。ユーザーは、この点線上に電子ペン２５００を接触させながらペンを移動させる（以下、「ドラッグする」と記す）と、手書きオブジェクトは移動方向に移動され、四角をドラッグすると手書きオブジェクトは移動方向に変形され、四角のすぐ外側をドラッグすると手書きオブジェクトが回転される。

(S1302)は(S1301)の「し」の上に電子ペン２５００を接触させ上下ジグザグに移動させた場合の表示例である。この例では、上下にジグザグするペン操作は削除操作とみなされる。

(S1303)は(S1302)から「し」のストロークが削除された場合の表示例である。手書きオブジェクトに変化が発生したため、「ぎ」の文字列候補が表示される。

(S1304)は(S1301)から「しの濁点」が追加された場合の表示例である。手書きオブジェクトの変化が発生したため、「ぎじ」の文字列候補が表示される。

＜実施形態の効果＞
以上説明したように、本発明の一実施形態に係る手書き入力装置２は、ディスプレー２２０（表示手段の一例）が有する画面への電子ペン２５００（入力手段の一例）を用いた入力によって生成されるストロークを、手書きオブジェクト５０４としてディスプレー２２０に表示させる手書き入力表示装置であって、手書きオブジェクト５０４が所定時間変化しない場合、手書きオブジェクト５０４を文字列として認識させた手書き認識文字列候補５０６（手書き認識候補の一例）を含む文字列候補５０９を、ディスプレー２２０に表示させる手書き入力表示制御部２３（表示制御手段の一例）を備える。そして、手書き認識文字列候補５０６が選択された場合、手書き入力表示制御部２３は、文字列候補５０９の表示と手書きオブジェクト５０４の表示を消去させるとともに、消去させた手書きオブジェクト５０４の表示位置に、選択された手書き認識文字列候補５０６によって示される文字列である文字列オブジェクトを表示させ、手書き認識文字列候補５０６が所定時間選択されず、かつ文字列候補５０９の表示が消去された場合、手書き入力表示制御部２３は、手書きオブジェクト５０４の表示を維持する。これにより、手書き入力装置２は、必ずしも手書き認識候補を選択する必要はないので、議論の内容やスピードに合わせて、必要に応じて自由に手書きと文字列を選択できる。

また、本発明の一実施形態に係る手書き入力装置２（手書き入力表示装置の一例）において、手書き入力表示制御部２３（表示制御手段の一例）は、手書き認識文字列候補５０６（手書き認識候補の一例）を別の文字列に変換させた言語文字列候補（認識変換候補の一例）を含む文字列候補５０９を、ディスプレー２２０（表示手段の一例）に表示させ、言語文字列候補が選択された場合、手書き入力表示制御部２３は、文字列候補５０９の表示と手書きオブジェクト５０４の表示を消去させるとともに、消去させた手書きオブジェクト５０４の表示位置に、選択された言語文字列候補によって示される文字列である文字列オブジェクトを表示させ、言語文字列候補が所定時間選択されず、かつ文字列候補５０９の表示が消去された場合、手書き入力表示制御部２３は、手書きオブジェクト５０４の表示を維持する。これにより、手書き入力装置２は、手書き認識結果を言語的に関係のない別の文字列に変換できるので、手書きオブジェクトをその現場特有の短縮形や業界用語に変換できる。

さらに、本発明の一実施形態に係る手書き入力装置２（手書き入力表示装置の一例）において、手書き入力表示制御部２３（表示制御手段の一例）は、手書き認識文字列候補５０６（手書き認識候補の一例）から予測変換された変換文字列候補５０７（認識予測候補の一例）を含む文字列候補５０９を、ディスプレー２２０（表示手段の一例）に表示させ、変換文字列候補５０７が選択された場合、手書き入力表示制御部２３は、文字列候補５０９の表示と手書きオブジェクト５０４の表示を消去させるとともに、消去させた手書きオブジェクト５０４の表示位置に、選択された変換文字列候補５０７によって示される文字列である文字列オブジェクトを表示させ、変換文字列候補５０７が所定時間選択されず、かつ文字列候補５０９の表示が消去された場合、手書き入力表示制御部２３は、手書きオブジェクト５０４の表示を維持する。これにより、手書き入力装置２は、手書き認識結果の文字列から始まる長い文字列に変換できるので、その長い文字列の入力にかかる時間を大幅に短縮できる。

また、本発明の一実施形態に係る手書き入力装置２（手書き入力表示装置の一例）において、手書き入力表示制御部２３（表示制御手段の一例）は、変換文字列候補５０７（認識予測候補の一例）から予測変換された文字列/予測変換の候補（変換予測候補の一例）を含む文字列候補５０９を、ディスプレー２２０（表示手段の一例）に表示させ、文字列/予測変換の候補が選択された場合、手書き入力表示制御部２３は、文字列候補５０９の表示と手書きオブジェクト５０４の表示を消去させるとともに、消去させた手書きオブジェクト５０４の表示位置に、選択された文字列/予測変換の候補によって示される文字列である文字列オブジェクトを表示させ、文字列/予測変換の候補が選択されず、かつ文字列候補５０９の表示が消去された場合、手書き入力表示制御部２３は、手書きオブジェクト５０４の表示を維持する。これにより、手書き入力装置２は、言語的に関係のない別の文字列から始まる長い文字列に変換できるので、現場特有の短縮形や業界用語から始まる長い文字列の入力にかかる時間を大幅に短縮できる。

（開示された発明）
上記実施形態は、以下に示されているような側面の発明も開示されている。

〔付記項１〕
上述の従来技術では、入力枠内への手書きを文字として認識して、現在カーソル位置に入力でき、手書き範囲を後から選択して文字に変換でき、清書モードを選択して入力枠への手書きを文字に変換できる。しかし、いずれのケースでも、文字列を入力するための特別な手続きがあり、所望の文字列を認識できない場合には、さらに複雑な手続きを踏んで文字列を認識させるか、文字列の認識をあきらめて手書き入力モードに切り替えて手書きのまま入力するしかない。

コンピューターによる手書き文字の認識率は向上してきているものの、人が手書きしたクセ字を認識できないこともまだ多く、前記の複雑な手続きやモード切り替えが頻繁に発生する可能性がある。清書が目的であれば、このような複雑な手続きやモード切り替えに時間をかけても問題はないが、手書きボードを囲んで議論する場合など意思疎通が目的の場合は、複雑な手続きやモード切り替えをしている時間はほとんどない。

本願発明は以上の課題を解決するために発案された。即ち、手書き入力のスピードを落とすことなく、自動的に推奨する手書き認識候補を表示し、必要に応じて手書き認識候補から文字列を選択して変換することができ、必要がなければ手書き認識候補を無視して手書き入力を先に書き進めることができる方法を提供する。

そのため〔付記項１〕は、手書きする入力手段と手書き面が接触していると判定できる入力手段ダウン状態（例えば、ペンダウン状態）と、入力体が手書き面から離れていると判定できる入力手段アップ状態（例えば、ペンアップ状態）と、手書き面上の入力手段の接触位置である入力座標（例えば、ペン座標）を定期的に通知できる手書き入力部２１から取得したデータを保存し、当該データを加工して表示装置（例えば、ディスプレー２２０）に表示する手書き入力表示装置（例えば、手書き入力装置２）において、手書き入力部２１から通知された入力手段ダウン状態から入力手段アップ状態までの時間内に、定期的に通知された入力座標の間の座標を補完して、直線又は曲線に係るストロークとして表示装置に表示し、単数又は複数のストロークの変化により手書きオブジェクトが変化されてから一定時間（例えば、５秒間）、手書きオブジェクトの新たな変化が発生しなかった場合に、手書きオブジェクトを文字列として認識した結果を複数の手書き認識文字列候補５０６（手書き認識候補の一例）として表示し、手書き認識文字列候補５０６の一つが選択された場合に、手書き認識文字列候補５０６の表示と手書きオブジェクトの表示を消去して、消去した手書きオブジェクトの表示位置に、選択された手書き認識文字列候補５０６の文字列である文字列オブジェクトを表示し、手書き認識文字列候補５０６が一定時間選択されなかった場合、手書き認識文字列候補５０６の表示を消去する選択がされた場合、又は手書きオブジェクトの変化が発生した場合に、手書き認識文字列候補５０６の表示を消去し、手書き認識文字列候補５０６が選択される以外の条件で、手書き認識文字列候補５０６の表示が消去された場合に、手書きオブジェクトの表示をそのまま維持することを特徴とする手書き入力表示装置である。

これにより、必ずしも手書き認識候補を選択する必要はないので、議論の内容やスピードに合わせて、必要に応じて自由に手書きと文字列を選択できる。

〔付記項２〕
上記〔付記項２〕では、手書き文字列を言語的にもっともらしい活字文字列に変換することしかできない。会社の業種業務や組織体制、議論する内容によっては、その現場特有の短縮形や業界用語など、言語的な変換ではない文字列への変換が必要になる場合がある。この課題を解決するため、手書き認識候補それぞれから別の文字列に変換できる方法を提供する。

そのため〔付記項２〕は、〔付記項１〕に記載の手書き入力表示装置（例えば、手書き入力装置２）であって、手書き認識文字列候補５０６（手書き認識候補の一例）をそれぞれ別の文字列に変換した結果を複数の言語文字列候補（認識変換候補の一例）として表示し、言語文字列候補の一つが選択された場合に、手書き認識文字列候補５０６及び言語文字列候補としての文字列候補５０９（手書き認識変換候補の一例）の表示と手書きオブジェクトの表示を消去して、消去した手書きオブジェクトの表示位置と同じ位置に、選択された言語文字列候補を文字列とする文字列オブジェクトを表示し、文字列候補５０９が一定時間（例えば、５秒間）選択されなかった場合、文字列候補５０９の表示を消去する選択がされた場合、又は手書きオブジェクトの変化が発生した場合に、文字列候補５０９の表示を消去し、文字列候補５０９が選択される以外の条件で、文字列候補５０９の表示が消去された場合に、手書きオブジェクトの表示をそのまま維持することを特徴とする手書き入力表示装置である。

これにより、手書き認識結果を言語的に関係のない別の文字列に変換できるので、手書きオブジェクトをその現場特有の短縮形や業界用語に変換できる。

〔付記項３〕
上記〔付記項２〕では、その現場で頻繁に使用されている長い文字列であっても最後まで手書き文字列を入力する必要がある。この課題を解決するため、手書き文字列それぞれから予測される文字列候補から一つ選んで活字文字列に変換できる方法を提供する。

そのため〔付記項３〕は、〔付記項２〕に記載の手書き入力表示装置（例えば、手書き入力装置２）であって、手書き認識文字列候補５０６（手書き認識候補の一例）から予測できる文字列を複数の変換文字列候補５０７（認識予測候補の一例）として表示し、変換文字列候補５０７の一つが選択された場合に、手書き認識文字列候補５０６及び変換文字列候補５０７としての文字列候補５０９（手書き認識予測候補の一例）の表示と手書きオブジェクトの表示を消去して、消去した手書きオブジェクトの表示位置と同じ位置に、選択された変換文字列候補５０７を文字列とする文字列オブジェクトを表示し、文字列候補５０９が一定時間（例えば、５秒間）選択されなかった場合、文字列候補５０９の表示を消去する選択がされた場合、又は手書きオブジェクトの変化が発生した場合に、文字列候補５０９の表示を消去し、文字列候補５０９が選択される以外の条件で、文字列候補５０９の表示が消去された場合に、手書きオブジェクトの表示をそのまま維持することを特徴とする手書き入力表示装置である。

これにより、手書き認識結果の文字列から始まる長い文字列に変換できるので、その長い文字列の入力にかかる時間を大幅に短縮できる。

〔付記項４〕
上記〔付記項３〕では、手書き文字列を言語的にもっともらしい活字文字列から予測できる文字列にしか変換できない。例えば、その現場特有の短縮形や業界用語から予測される文字列に変換することはできない。この課題を解決するため、手書き認識候補それぞれを別の文字列に変換し、その別の文字列か予測される文字列に変換することができる方法を提供する。

そのため〔付記項４〕は、〔付記項３〕に記載の手書き入力表示装置（例えば、手書き入力装置２）であって、言語文字列候補（認識変換候補の一例）それぞれを含んだ長い文字列を複数の文字列/予測変換の候補５０８（変換予測候補の一例）として表示し、文字列/予測変換の候補５０８が選択された場合に、手書き認識文字列候補５０６（手書き認識候補の一例）、言語文字列候補及び文字列/予測変換の候補５０８としての文字列候補５０９（手書き認識変換予測候補の一例）を表示するとともに、手書きオブジェクトの表示を消去して、消去した手書きオブジェクトの表示位置と同じ位置に、選択された文字列/予測変換の候補５０８を文字列とする文字列オブジェクトを表示し、文字列候補５０９が一定時間（例えば、５秒間）選択されなかった場合、文字列候補５０９の表示を消去する選択がされた場合、又は手書きオブジェクトの変化が発生した場合に、文字列候補５０９の表示を消去し、文字列候補５０９が選択された以外の条件で、文字列候補５０９の表示が消去された場合に、手書きオブジェクトの表示をそのまま維持することを特徴とする手書き入力表示装置である。

これにより、言語的に関係のない別の文字列から始まる長い文字列に変換できるので、現場特有の短縮形や業界用語から始まる長い文字列の入力にかかる時間を大幅に短縮できる。

〔付記項５〕
上記〔付記項１〕〜〔付記項４〕では、一つの手書きオブジェクトを文字列オブジェクトに変換するかどうかしか選択できない。ホワイトボードなど手書き入力領域が広い場合には、複数の手書きオブジェクトと文字列オブジェクトが必要になる場合がある。この課題を解決するため、現在の手書きオブジェクトとこれから追加しようとしているストロークの距離が遠いときに、新規手書きオブジェクトを生成できる方法を提供する。

そのため〔付記項５〕は、〔付記項４〕に記載の手書き入力表示装置（例えば、手書き入力装置２）であって、手書きオブジェクトに次のストロークを追加しようとした場合であって、最後に追加されたストロークが含まれる手書きオブジェクトである現在の手書きオブジェクトの各ストロークを含む最小の矩形領域としての手書きオブジェクト矩形領域を垂直方向と水平方向にそれぞれ一定距離（例えば、〔付記項７〕の推定文字サイズを水平方向に５０％拡大し、垂直方向に８０％拡大した領域）だけ拡大した矩形領域である手書きオブジェクト近傍矩形領域と、次に追加しようとしたストロークである追加ストロークを含む最小の矩形領域としてのストローク矩形領域とが重なっている場合、現在の手書きオブジェクトに追加ストロークを追加し、手書きオブジェクト近傍矩形領域とストローク矩形領域とが重なっていない場合、現在手書きオブジェクトとは異なる新規手書きオブジェクトに追加ストロークを追加し、手書き認識文字列候補５０６（手書き認識候補の一例）、言語文字列候補（認識変換候補の一例）、変換文字列候補５０７（認識予測候補の一例）、又は文字列/予測変換の候補５０８（変換予測候補の一例）としての文字列候補５０９の表示を消去することを特徴とする手書き入力表示装置である。

これにより、言語的に関係のない別の文字列から始まる長い文字列に変換できるので、現場特有の短縮形や業界用語から始まる長い文字列の入力にかかる時間を大幅に短縮できる。

〔付記項６〕
上記〔付記項１〕〜〔付記項５〕では、複数の手書きオブジェクトと文字列オブジェクトが表示されている状況で、文字列候補が表示されたとき、どの手書きオブジェクトを手書き認識したのか分かりにくい状況が発生しうる。この課題を解決するため、文字列候補が表示されたときに、その文字列候補の元となった手書きオブジェクトの矩形領域の表示に変化をつけ、文字列候補の表示が消去されたときに、前記の表示の変化を解除できる方法を提供する。

そのため〔付記項６〕は、〔付記項５〕に記載の手書き入力表示装置（例えば、手書き入力装置２）において、文字列候補５０９が表示された場合、手書きオブジェクト矩形領域の表示を変化させて表示し、文字列候補５０９の表示が消去された場合、手書きオブジェクト矩形領域の表示の変化を解除することを特徴とする手書き入力表示装置である。

これにより、複数の手書きオブジェクトと文字列オブジェクトが表示されているときでも、文字列候補の元となった手書きオブジェクト矩形領域の表示に変化がついているので、文字列候補を選択したとき、どの手書きオブジェクトが文字列オブジェクトに変換されるかを直感的に判断できる。

〔付記項７〕
上記〔付記項１〕〜〔付記項４〕では、文字列オブジェクトを表示するときの文字サイズについては記載がないが、文字サイズを変更する毎に、文字サイズを指定させる操作をする方法をとると、意思疎通を目的とする場合には、切り替え操作そのものが時間的に許容しにくい場合がある。この問題を解決するため、手書きオブジェクト矩形領域から書字方向と文字サイズを推定し、定義済みのフォントスタイルとフォントサイズから自動的に選択できる方法を提供する。

そのため〔付記項７〕は、〔付記項６〕に記載の手書き入力表示装置（例えば、手書き入力装置２）において、文字列候補５０９の一つが選択され、手書きオブジェクトを消去した位置に、選択された文字列候補５０９を文字列とする文字列オブジェクトを表示する場合であって、手書きオブジェクトの最初にストロークが追加された時刻と最後にストロークが追加された時刻の差分が一定時間（例えば、１０秒間）以上あり、手書きオブジェクトを含む最小の矩形領域である手書きオブジェクト矩形領域の水平方向の距離としての水平距離と垂直方向の距離としての垂直距離との差分が一定距離（例えば、１０ｍｍ）以上である場合、水平距離が垂直距離より長い場合は垂直距離を推定文字サイズとみなし、水平距離が垂直距離より短い場合は水平距離を推定文字サイズとみなし、推定文字サイズと予め定義された複数の種類のフォントサイズである定義済みフォントサイズ（例えば、図１２に示されている推定文字サイズ４０５として定義されるフォントサイズ（ＦｏｎｔＳｉｚｅ））とを比較し、推定文字サイズから定義済みフォントサイズを自動的に選択して、予め定義されたフォントスタイルである定義済みフォントスタイル（例えば、図１２に示されている推定文字サイズ４０５として定義されるフォントスタイル（ＦｏｎｔＳｔｙｌｅ））の定義済みフォントサイズで、文字列オブジェクトを表示することを特徴とする手書き入力表示装置である。

これにより、手書きオブジェクト矩形領域から文字サイズを推定して文字列オブジェクトを表示できるので、前もって文字サイズを選択する操作を省くことができ、直感的に文字サイズを指定できる。

〔付記項８〕
上記〔付記項５〕〜〔付記項７〕では、文字列候補の表示位置については記載がない。文字列候補の表示が手書き方向と重なると文字列候補が邪魔となり自由な手書きを損なう可能性がある。この課題を解決するため、手書きオブジェクトの書字方向を推定し、横書きの場合は手書きオブジェクトの上下方向に文字列候補を表示し、縦書きの場合は手書きオブジェクトの左右方向に文字列候補を表示できる方法を提供する。

そのため〔付記項８〕は、〔付記項５〕乃至〔付記項７〕のいずれか一項に記載の手書き入力表示装置（例えば、手書き入力装置２）において、手書きオブジェクトの最初にストロークが追加された時刻と最後にストロークが追加された時刻の差分が一定時間（例えば、１０秒間）以上ある場合、手書きオブジェクトを含む最小の矩形領域である手書きオブジェクト矩形領域の水平方向の距離としての水平距離が水平距離と垂直方向の距離としての垂直距離より長い場合は推定書字方向を横書きとみなし、水平距離が垂直距離より短い場合は推定書字方向を縦書きとみなし、推定書字方向が横書きの場合は手書きオブジェクト矩形領域の上方向又は下方向に文字列候補５０９を表示し、推定書字方向が縦書きの場合は手書きオブジェクト矩形領域の左方向又は右方向に文字列候補５０９を表示することを特徴とする手書き入力表示装置である。

これにより、手書きオブジェクトの推定書字方向を避けて文字列候補を表示できるので、そのまま手書きを続けやすく、必要に応じて文字列候補を選択できる。

〔付記項９〕
上記〔付記項８〕では、複数の文字列候補の表示順については記載がない。意思疎通が目的の場合は文字列候補の選択操作そのものが時間的に許容しにくい場合がある。この課題を解決するため、手書きオブジェクトに最も近い位置に最も確率の高い文字列候補を配置できる方法を提供する。

そのため〔付記項９〕は、〔付記項８〕に記載の手書き入力表示装置（例えば、手書き入力装置２）において、文字列候補５０９が手書きオブジェクト矩形領域の上方向に表示された場合、文字列候補５０９が選択される確率が高い順である選択確率降順に、下から上に文字列候補を表示し、文字列候補５０９が手書きオブジェクト矩形領域の下方向に表示された場合、選択確率降順に、上から下に文字列候補を並べて表示し、文字列候補５０９が手書きオブジェクト矩形領域の右方向に表示された場合、選択確率降順に、左から右に文字列候補５０９を並べて表示し、文字列候補５０９が手書きオブジェクト矩形領域の左方向に表示された場合、選択確率降順に、右から左に文字列候補５０９を並べて表示することを特徴とする手書き入力表示装置である。

これにより、手書きオブジェクトの推定書字方向に最も近い文字列候補の選択確率が高いため、手書きしている位置から手書きに近い操作で文字列候補を選択できる確率が高くなる。

〔付記項１０〕
上記〔付記項８〕〜〔付記項９〕では、文字列候補の書字方向については記載がない。意思疎通が目的の場合は、文字列候補を短時間で判断したい場合がある。この課題を解決するため、手書きオブジェクトの書字方向を推定し、それと同じ方向に文字列候補を表示して選択後をイメージできる方法を提供する。

そのため〔付記項１０〕は、〔付記項８〕又は〔付記項９〕に記載の手書き入力表示装置（例えば、手書き入力装置２）であって、文字列候補５０９が前記手書きオブジェクト矩形領域の上方向又は下方向に表示された場合、文字列候補５０９を横書きに表示し、文字列候補５０９が手書きオブジェクト矩形領域の右方向又は左方向に表示された場合、文字列候補５０９を縦書きに表示すること特徴とする手書き入力表示装置である。

これにより、手書きオブジェクトの推定書字方向で文字列候補を表示できるので、文字列候補を選択したとき、手書きオブジェクトがどのような文字列オブジェクトの表示になるかを直感的に判断できる。

〔付記項１１〕
上記〔付記項１〕〜〔付記項４〕では、手書きオブジェクトをあとから文字列オブジェクトに変更する方法については記載がない。この課題を解決するために、手書きオブジェクトをあとから編集して文字列候補を表示できる方法を提供する。

そのため〔付記項１１〕は、〔付記項５〕乃至〔付記項１０〕のいずれか一項に記載の手書き入力表示装置（例えば、手書き入力装置２）であって、手書きオブジェクトを選択し、選択された手書きオブジェクトを、削除、移動、変形又は分割し、選択された手書きオブジェクトへ、ストロークを追加し、選択された手書きオブジェクト内のストロークを、削除、移動、変形又は分割し、手書きオブジェクトへのストローク追加、若しくは手書きオブジェクト内のストロークの削除、移動、変形又は分割が発生した場合、文字列候補５０９を表示できることを特徴とする手書き入力表示装置である。

これにより、あとから手書きオブジェクトを編集できるので、あとから選択的に手書きオブジェクトを再配置でき、選択的に文字列ブジェクトに変換できる。

〔付記項１２〕
〔付記項１２〕は、〔付記項１〕〜〔付記項１１〕に記載のストロークの変化の具体例を示す。

そのため〔付記項１２〕は、〔付記項１〕乃至〔付記項１１〕のいずれか一項に記載の手書き入力表示装置（例えば、手書き入力装置２）であって、ストロークの変化は、ストロークの追加、削除、移動、変形又は分割であることを特徴とする手書き入力表示装置である。

２ 手書き入力装置（手書き入力表示装置の一例）
２１ 手書き入力部
２２ 表示部
２３ 手書き入力表示制御部（表示制御手段の一例）
２４ 候補表示タイマー制御部
２５ 手書き入力保持部
２６ 手書き認識制御部
２７ 手書き認識辞書部
２８ 文字列変換制御部
３０ 文字列変換辞書部
３１ 予測変換制御部
３２ 予測変換辞書部
２２０ ディスプレー（表示装置の一例）
２５００ 電子ペン（入力手段の一例）

特開２００２−７９６２号公報 特開２００３−２７１８９９号公報

Claims (18)

1. 表示手段が有する画面への入力手段を用いた入力によって生成されるストロークを、手書きオブジェクトとして前記表示手段に表示させる手書き入力表示装置において、
   前記手書きオブジェクトが所定時間変化しない場合、前記手書きオブジェクトを文字列として認識させた手書き認識候補を含む文字列候補を、前記表示手段に表示させる表示制御手段を備え、
   前記手書き認識候補が選択された場合、前記表示制御手段は、前記文字列候補の表示と前記手書きオブジェクトの表示を消去させるとともに、消去させた前記手書きオブジェクトの表示位置に、選択された前記手書き認識候補によって示される文字列である文字列オブジェクトを表示させ、
   前記手書き認識候補が所定時間選択されず、かつ前記文字列候補の表示が消去された場合、前記表示制御手段は、前記手書きオブジェクトの表示を維持する手書き入力表示装置。
2. 請求項１に記載の手書き入力表示装置であって、
   前記表示制御手段は、前記手書き認識候補を別の文字列に変換させた認識変換候補を含む前記文字列候補を、前記表示手段に表示させ、
   前記認識変換候補が選択された場合、前記表示制御手段は、前記文字列候補の表示と前記手書きオブジェクトの表示を消去させるとともに、消去させた前記手書きオブジェクトの表示位置に、選択された前記認識変換候補によって示される文字列である文字列オブジェクトを表示させ、
   前記認識変換候補が所定時間選択されず、かつ前記文字列候補の表示が消去された場合、前記表示制御手段は、前記手書きオブジェクトの表示を維持する手書き入力表示装置。
3. 請求項１または２に記載の手書き入力表示装置であって、
   前記表示制御手段は、前記手書き認識候補から予測変換された認識予測候補を含む前記文字列候補を、前記表示手段に表示させ、
   前記認識予測候補が選択された場合、前記表示制御手段は、前記文字列候補の表示と前記手書きオブジェクトの表示を消去させるとともに、消去させた前記手書きオブジェクトの表示位置に、選択された前記認識予測候補によって示される文字列である文字列オブジェクトを表示させ、
   前記認識予測候補が所定時間選択されず、かつ前記文字列候補の表示が消去された場合、前記表示制御手段は、前記手書きオブジェクトの表示を維持する手書き入力表示装置。
4. 請求項３に記載の手書き入力表示装置であって、
   前記表示制御手段は、前記認識変換候補から予測変換された変換予測候補を含む前記文字列候補を、前記表示手段に表示させ、
   前記変換予測候補が選択された場合、前記表示制御手段は、前記文字列候補の表示と前記手書きオブジェクトの表示を消去させるとともに、消去させた前記手書きオブジェクトの表示位置に、選択された前記変換予測候補によって示される文字列である文字列オブジェクトを表示させ、
   前記変換予測候補が選択されず、かつ前記文字列候補の表示が消去された場合、前記表示制御手段は、前記手書きオブジェクトの表示を維持する手書き入力表示装置。
5. 請求項１乃至４のいずれか一項に記載の手書き入力表示装置であって、
   前記手書きオブジェクトに次のストロークを追加しようとした場合であって、
   前記手書きオブジェクトに示される前記ストロークを含む最小の矩形領域としての手書きオブジェクト矩形領域を垂直方向と水平方向にそれぞれ一定距離だけ拡大した矩形領域である手書きオブジェクト近傍矩形領域と、前記手書きオブジェクトとは異なるストロークである追加ストロークを含む最小の矩形領域であるストローク矩形領域とが重なっている場合、前記表示制御手段は、前記手書きオブジェクトに前記追加ストロークを追加して表示させ、
   前記手書きオブジェクト近傍矩形領域と前記ストローク矩形領域とが重なっていない場合、前記表示制御手段は、前記追加ストロークを前記手書きオブジェクトとは異なる手書きオブジェクトとして表示させるとともに、前記文字列候補の表示を消去させる手書き入力表示装置。
6. 請求項５に記載の手書き入力表示装置において、
   前記表示制御手段は、前記文字列候補が表示された場合、前記手書きオブジェクト矩形領域の表示を変化させて表示し、前記文字列候補の表示が消去された場合、前記表示の変化を解除する手書き入力表示装置。
7. 請求項５または６に記載の手書き入力表示装置において、
   前記表示制御手段は、
   前記手書きオブジェクトに示される前記ストロークが最初に追加された時刻と最後に追加された時刻の差分が所定時間以上であり、前記手書きオブジェクト矩形領域の水平方向の距離としての水平距離と垂直方向の距離としての垂直距離との差分が所定距離以上である場合、前記水平距離が前記垂直距離より長い場合は前記垂直距離を推定文字サイズとみなし、前記水平距離が前記垂直距離より短い場合は前記水平距離を推定文字サイズとみなし、
   前記推定文字サイズに基づいて、複数の種類のフォントサイズを示す定義済みフォントサイズのうち、特定の定義済みフォントサイズを選択し、予め定義されたフォントスタイルである定義済みフォントスタイルの前記特定の定義済みフォントサイズで、前記文字列オブジェクトを表示させる手書き入力表示装置。
8. 請求項５乃至７のいずれか一項に記載の手書き入力表示装置において、
   前記表示制御手段は、
   前記手書きオブジェクトに示される前記ストロークが最初に追加された時刻と最後に追加された時刻の差分が所定時間以上である場合、前記手書きオブジェクト矩形領域の水平方向の距離としての水平距離が前記水平距離と垂直方向の距離としての垂直距離より長い場合は推定書字方向を横書きとみなし、前記水平距離が前記垂直距離より短い場合は前記推定書字方向を縦書きとみなし、
   前記推定書字方向が横書きの場合、前記手書きオブジェクト矩形領域の上方向又は下方向に前記文字列候補を表示させ、前記推定書字方向が縦書きの場合、前記手書きオブジェクト矩形領域の左方向又は右方向に前記文字列候補を表示させる手書き入力表示装置。
9. 請求項８に記載の手書き入力表示装置において、
   前記表示制御手段は、
   前記文字列候補が前記手書きオブジェクト矩形領域の上方向に表示された場合、前記文字列候補が選択される確率が高い順である選択確率降順に、下から上に前記文字列候補を表示させ、
   前記文字列候補が前記手書きオブジェクト矩形領域の下方向に表示された場合、前記選択確率降順に、上から下に前記文字列候補を表示させ、
   前記文字列候補が前記手書きオブジェクト矩形領域の右方向に表示された場合、前記選択確率降順に、左から右に文字列候補を表示させ、
   前記文字列候補が前記手書きオブジェクト矩形領域の左方向に表示された場合、前記選択確率降順に、右から左に文字列候補を表示させる手書き入力表示装置。
10. 請求項８又は９に記載の手書き入力表示装置であって、
    前記表示制御手段は、
    前記文字列候補が前記手書きオブジェクト矩形領域の上方向又は下方向に表示された場合、前記文字列候補を横書きに表示させ、
    前記文字列候補が前記手書きオブジェクト矩形領域の右方向又は左方向に表示された場合、前記文字列候補を縦書きに表示させる手書き入力表示装置。
11. 前記手書きオブジェクトが選択され、選択された前記手書きオブジェクトへの前記ストロークの追加、又は前記手書きオブジェクト内の前記ストロークの削除、移動、変形若しくは分割が発生した場合、前記表示制御手段は、前記文字列候補を前記表示手段に表示させる請求項１乃至１０のいずれか一項に記載の手書き入力表示装置。
12. 前記手書きオブジェクトの変化は、前記手書きオブジェクトへの前記ストロークの追加、又は前記手書きオブジェクト内の前記ストロークの削除、移動、変形若しくは分割である請求項１乃至１１のいずれか一項に記載の手書き入力表示装置。
13. 入力手段と手書き面が接触していると判定される入力手段ダウン状態から前記入力手段が前記手書き面から離れていると判定される入力手段アップ状態までの時間において前記手書き面における前記入力手段の接触位置である入力座標に基づいて生成されるストロークを、手書きオブジェクトとして表示手段に表示させる手書き入力表示方法において、
    前記手書きオブジェクトが所定時間変化しない場合、前記手書きオブジェクトを文字列として認識させた手書き認識候補を含む文字列候補を、前記表示手段に表示させ、
    前記手書き認識候補が選択された場合、前記文字列候補の表示と前記手書きオブジェクトの表示を消去させるとともに、消去させた前記手書きオブジェクトの表示位置に、選択された前記手書き認識候補によって示される文字列である文字列オブジェクトを表示させ、
    前記手書き認識候補が所定時間選択されず、かつ前記文字列候補の表示が消去された場合、前記手書きオブジェクトの表示を維持する手書き入力表示方法。
14. コンピューターに、請求項１３に記載の方法を実行させるプログラム。
15. 表示手段が有する画面への入力手段を用いた入力によって生成されるストロークを、前記表示手段に表示させる手書き手書き入力表示装置において、
    前記ストロークが所定時間変化しない場合、前記ストロークを文字列として認識させた手書き認識候補を含む文字列候補を、前記表示手段に表示させる表示制御手段を備え、
    前記手書き認識候補が選択された場合、前記表示制御手段は、前記文字列候補の表示と前記ストロークの表示を消去させるとともに、消去させた前記ストロークの表示位置に、選択された前記手書き認識候補によって示される文字列である文字列オブジェクトを表示させ、
    前記手書き認識候補が所定時間選択されず、かつ前記文字列候補の表示が消去された場合、前記表示制御手段は、前記ストロークの表示を維持する手書き入力表示装置。
16. 請求項１５に記載の手書き入力表示装置であって、
    前記表示制御手段は、前記手書き認識候補を別の文字列に変換させた認識変換候補を含む前記文字列候補を、前記表示手段に表示させ、
    前記認識変換候補が選択された場合、前記表示制御手段は、前記文字列候補の表示と前記ストロークの表示を消去させるとともに、消去させた前記ストロークの表示位置に、選択された前記認識変換候補によって示される文字列である文字列オブジェクトを表示させ、
    前記認識変換候補が所定時間選択されず、かつ前記文字列候補の表示が消去された場合、前記表示制御手段は、前記ストロークの表示を維持する手書き入力表示装置。
17. 請求項１５または１６に記載の手書き入力表示装置であって、
    前記表示制御手段は、前記手書き認識候補から予測変換された認識予測候補を含む前記文字列候補を、前記表示手段に表示させ、
    前記認識予測候補が選択された場合、前記表示制御手段は、前記文字列候補の表示と前記ストロークの表示を消去させるとともに、消去させた前記ストロークの表示位置に、選択された前記認識予測候補によって示される文字列である文字列オブジェクトを表示させ、
    前記認識予測候補が所定時間選択されず、かつ前記文字列候補の表示が消去された場合、前記表示制御手段は、前記ストロークの表示を維持する手書き入力表示装置。
18. 請求項１７に記載の手書き入力表示装置であって、
    前記表示制御手段は、前記認識変換候補から予測変換された変換予測候補を含む前記文字列候補を、前記表示手段に表示させ、
    前記変換予測候補が選択された場合、前記表示制御手段は、前記文字列候補の表示と前記ストロークの表示を消去させるとともに、消去させた前記ストロークの表示位置に、選択された前記変換予測候補によって示される文字列である文字列オブジェクトを表示させ、
    前記変換予測候補が選択されず、かつ前記文字列候補の表示が消去された場合、前記表示制御手段は、前記ストロークの表示を維持する手書き入力表示装置。