JP2007265171A - 入力装置およびその方法 - Google Patents

Abstract

【課題】電子ホワイトボードなどの手書き入力装置における入力をより簡易にする技術を提供すること。
【解決手段】手書き文字の入力が可能な入力部１０と、前記入力部１０の入力を表示する表示部４０と、前記入力された手書き文字をストロークデータとして蓄積する蓄積部１５と、前記入力部１０の新たな入力に対して、前記蓄積部１５から特徴に共通点があるストロークデータを検索して、その結果を前記表示部４０に候補として提示する検索部２０と、提示された候補の１つを選択して、当該選択した候補を表示部４０に反映する選択部３０と、を有する入力装置であって、前記入力装置の利用状況情報を管理する管理部５０をさらに備え、前記蓄積部１５は、管理部５０から利用状況情報を入力して、ストロークデータと利用状況情報とを関連づけて記録する。
【選択図】 図１

Description

本発明は、タブレットＰＣ（パーソナルコンピュータ）や電子ホワイトボードなどのペン入力に係る技術に関する。

ペン入力方式の装置において、手書き文字のストローク情報を検索キーとして入力文字列（複数文字からなる文字列を含む）候補を辞書中から検索して提示し、それを選択することにより入力できる入力方式として“ＰＯＢｏｘ”（非特許文献１）がある。

さらに、ペン入力方式の装置においてはソフトウェアキーボードによる操作も一般的であり、ソフトウェアキーボードのあるキーを押下した際に入力候補文字列を検索し、提示する装置も考案されている（特許文献１）。
特開２００２−３４２３２０号公報 Toshiyuki Masui. POBox: An Efficient Text Input Method for Handheld and Ubiquitous Computers. In Proceedings of the International Symposium on Handheld and Ubiquitous Computing (HUC'99), pp. 289-300, September 1999.

本発明は、電子ホワイトボードなどの手書き入力装置における入力をより簡易にする技術を提供することを目的とする。

手書き入力の筆跡情報であるストロークデータの履歴を蓄積し、次の入力に対して蓄積した履歴のストロークデータとの共通性に基づいて入力候補を提示し、選択（或いは範囲指定）するのみで入力を可能とする。この際に、入力者や会議の内容などの利用状況、オブジェクトの操作履歴或いは候補の選択履歴によって候補の優先順位を変えて提示する。

本発明の局面に係る発明は、手書き文字の入力が可能な入力部と、前記入力部の入力を表示する表示部と、前記入力された手書き文字をストロークデータとして蓄積する蓄積部と、前記入力部の新たな入力に対して、前記蓄積部から特徴に共通点があるストロークデータを検索して、その結果を前記表示部に候補として提示する検索部と、提示された候補の１つを選択して、当該選択した候補を表示部に反映する選択部と、を有する入力装置であって、前記入力装置の利用状況情報を管理する管理部をさらに備え、前記蓄積部は、管理部から利用状況情報を入力して、ストロークデータと利用状況情報とを関連づけて記録することを特徴とする。

本発明によれば、ペンやタッチパネルを介して入力を行う場合に入力予測に基づいた候補表示するシステムにおいて、利用状況などに合わせた精度の高い予測を表示した上でその部分的な再利用などを可能とした利用しやすい入力装置を提供することができる。

図面を参照して本発明の実施の形態を説明する。図１は、本実施の形態に係わる入力装置の概略構成を示すブロック図である。図２は、本発明の一実施形態に係る情報検索装置の概略動作例を示した図である。

図１に示すように、本発明の一実施形態に係る入力装置は、ストローク入力部１０と、ストロークデータ蓄積部１５と、ストロークオブジェクト検索部２０と、入力候補選択部３０と、表示部４０と、利用状況管理部５０と、ストロークオブジェクト操作部６０とを備えている。入力候補選択部３０は、入力候補範囲指定部３５を備えている。なお、入力候補範囲指定部３５は、入力候補選択部３０に含まれていなくてもかまわない。図２に示すように、ストローク入力部１０を介して手書き入力を行った場合に、その手書き入力に応じた候補が、ストロークオブジェクト検索部２０よって検索されて、表示部４０に表示される。その表示された候補を入力候補選択部３０で選択したり、入力候補範囲指定部３５で範囲指定による選択をしたりすることにより、入力が完了する。これにより、手書き入力が非常に簡単になる。以下、各部の動作について、詳細に説明する。

ストローク入力部１０は、ペン型のデバイスやタッチパネルなどにより少なくとも手書きの文字の入力が可能な入力装置であり、入力デバイスおよびそれを制御するＣＰＵやメモリを備えている。ここで、「ストローク」とは、印刷または手書きされた文字などの一部分で、解析するために、他の部分と一時的に分けられるものであって、例えば、文字の１画に相当する。このストロークが１つのまとまりとなって、文字やオブジェクトになる。ストローク入力部１０としては、例えば電子ホワイトボードやタブレットＰＣ（パーソナルコンピュータ）、ＰＤＡなどの専用ペンによる入力が可能な装置の他に、ペンやホワイトボードマーカーなどの動きをカメラで検出しその動作を電子的に処理する方式の装置、さらにタッチパネル液晶のような指による入力が可能な装置などが、これに該当する。本実施態様では、タブレットＰＣによる入力と表示、そしてそれに接続されたプロジェクターにより映像が投影されている構成を例にとって説明する。この場合において、ストローク入力部１０は、タブレットＰＣのペンおよび画面、そしてそれを制御するＰＣのＣＰＵなどが該当する。

ストロークデータ蓄積部１５は、ストローク入力部１０による入力履歴を蓄積する。なお、ストロークデータ蓄積部１５に、入力されたデータ以外を追加することも可能であって、公知の入力予測装置と同様に用意された文字、文字列、記号のデータにストローク情報が付加されたデータから構成されるあらかじめ用意された辞書データを含むことも可能である。ストロークデータ蓄積部１５は、ハードディスクやメモリなどの記憶装置に前記データを記録することにより実現される。

ストロークオブジェクト検索部２０は、前記公知の入力予測装置と同様に入力中の一連のストローク群を検索キーとして、ストロークデータ蓄積部１５から類似したパターンを含むストロークデータを検索し、検索結果を候補として表示部４０に出力する。このストロークオブジェクト検索部２０は、基本的にＣＰＵとメモリにより構成される。この検索処理の概要について説明する。

まず、ストロークオブジェクト検索部２０に入力されたストロークは、時間情報および位置情報によりいくつかのまとまりに区切られる。この動作は、現在書かれている文字列や記号列などを予測するために、その前までの余分な情報を切り捨てるための処理である。この区切り方式として、例えば以下の方式があげられる。
（１）特定の枠を定義し、その枠内に書かれている限りは一連の入力ストローク列であるが、枠外に入力された場合にはそこを区切りとみなす方式、
（２）所定時間（例えば１．０秒）以上入力されなかった場合には別の文字列であるとみなすためにストローク列を区切る方式
（３）ｘ座標の座標値或いはｙ座標の座標値が前回入力されたストロークの最も近い部位が１００ピクセル以上離れている場合には別のストロークとみなすなどの方式
なお、ストローク列の区切りはストロークデータ蓄積部１５にデータとして保持しても良いし、逐次計算してもよい。本実施態様では逐次計算して区切りを求めるものとする。

次に、現在入力中のストローク列を元に、入力対象である可能性が高いと予測されるデータを、そのストロークの類似性に基づいてストロークデータ蓄積部１５の中から検索する。この検索方式には例えば手書き文字認識の技術を適用することが可能であり、例えばストロークデータ蓄積部１５のデータを辞書データとみなして入力中のストローク列を検索キーとして既存の手書き文字認識を実行することによって実現可能である。また、手書き文字認識に限らず、ＯＣＲで用いられるような文字や図形の類似判定技術を活用して実現しても良い。このようにして検索された結果のストロークデータは候補リストとして表示部４０に表示される。典型的には、画面の最下部や右端など邪魔にならない場所に候補を提示する方式などがある。この検索に用いられる入力ストロークも入力直後にストロークデータ蓄積部１５に登録されるが、これは検索結果からは除外するものとする。

ストロークオブジェクト検索部２０による検索において、検索キーおよび検索対象のデータ、そして表示する出力データは、共に文字に限定されるものではない。上記のように図形の類似判定技術を実装すれば、図形の予測入力としての活用も可能であり、例えば図形の一部分を描いた時点で、以前に描いた全体像が候補提示され、その以前の全体像を選択するだけで再利用できるようになるので、描くことを省略することが可能となる。

入力候補選択部３０は、提示された候補を利用者のペンによるタッチなどの検出により選択する。典型的には、リスト表示された候補のいずれか１つをペンや指によりタッチすることで選択とみなすようにすればよい。もちろん、キーボードで実現することも可能であり、例えば、矢印キーにより所望のオブジェクトを候補の中から指定し、決定に相当する「Enter」ボタンを用いて、表示された候補の中から１つのオブジェクトを選択するようにしても良い。

表示部４０は、文字や画像を表示する表示装置である。この表示部４０には、ストローク入力部１０によって入力された手書きの文字や絵を表示したり、入力に対して検索された入力予測候補のリストも表示したりする。表示部４０は、液晶ディスプレイやプロジェクターによる投影などと、映像データを作成する制御部分により実現される。本実施形態では、電子ホワイトボードやタブレットＰＣの画面のように入力を検出できるようなストローク入力部１０を兼ねたような画面自体にペンや指で入力できる構成が典型的である。

利用状況管理部５０は、利用状況に応じた入力予測を行う。利用状況管理部５０は、利用状況データを保持するメモリやハードディスクなどの記憶装置と、それを制御するＣＰＵなどを備えている。利用状況管理部５０で管理する利用状況データには、例えば以下のようなものがある。
（１）現在入力を行っている利用者のＩＤ
（２）現在表示部４０を見ている利用者あるいは利用者たちのＩＤ
（３）講義やプロジェクトなどの単位に対して割り振られる利用目的ＩＤ
（４）入力している装置やその種別毎に割り当てられる入力装置ＩＤ
（５）利用時刻を表す時刻データ
（６）利用者あるいは装置の位置を特定する位置エリアＩＤ
上記の各データは、何らかの手段で外部から入力されるものであり、表示部４０に表示された利用状況の候補を利用者が選択することにより、その結果を利用状況データとして利用状況管理部５０に入力されるようにしても良い。また、スケジュール情報中に含まれる時間情報と場所情報と結びつけて、現在その場所で行われている会議や講義の内容や出席者情報を得るようにしても良い。例えば、図３に示すように、電子ホワイトボード装置の利用開始時に利用状況データの入力を促すようにしても良い。図３に示すように、表示部４０に会議名、出席者、日時、場所の候補を表示している。このような画面において、ストローク入力部１０を介して、これらの項目を設定した上で、利用状況を登録すれば良い。これらの項目において、「会議名」としては、これまでに入力されたことのある会議名の一覧が表示され、「その他」の選択肢を選択すると新たな会議名の入力が可能である。「出席者情報」は、例えば、外部のスケジュール管理ソフトウェアに登録された会議予定情報から参照した情報である。「日時」は時刻データから現在時刻を取得して特定する。「場所」は、あらかじめ電子ホワイトボードが設置されている会議室名として特定する。図３は、これらの日時と場所を含むスケジュール情報に付随した参加者リストとしてＡさん以下４名の出席予定者名称をリスト表示している。そして、利用者がこの出席予定者のチェックボックスのＯＮ／ＯＦＦを切り替え、最終的に登録ボタンを押すことで、会議名、出席者情報、時刻情報、場所情報が利用状況データとして利用状況管理部５０に登録される。また利用状況データとしてはその他にも、会議中のその時点での話題データ、開始直後／説明中／議論中／まとめ中といった会議のフェーズデータ、記入者の役割が司会進行者であるといったような役割データなどが得られる場合には同様に用いることが可能である。

上記のような利用状況データは、入力予測の精度を高めるために、次のように用いられる。図４に示すように、ストロークデータ蓄積部１５に保持された各ストロークデータに対して、利用状況データの各項目（例えば、図３の利用者ＩＤ、会議ＩＤに加えて入力者ＩＤ）に対応付けられたデータを付加して管理する。そして、例えば、ストロークの入力を開始してストロークオブジェクト検索部２０により候補が検索された際に、候補のストロークデータに付随した入力者ＩＤと現在の利用者ＩＤが一致するものは優先度を高める。また同様に、会議ＩＤが一致したデータは優先して候補提示する。さらに、利用者ＩＤ間の関係データを別途用意しておくことにより、特定の利用者ＩＤに対しては、入力者ＩＤが利用者ＩＤとは異なる値であってもその２つのＩＤ間に例えば同じグループの上司と部下であるなどの関係があれば優先的に出すなどの操作も可能である。こういった制御により、会議室に置いてある白板は多数の人が多数の目的で使うという状況においても、入力者、出席者、利用目的などが共通する入力内容の再利用が促進されることになる。

ストロークオブジェクト操作部６０は、入力したストロークの移動や拡大縮小などの操作を行う。本実施形態においては、このストロークオブジェクト操作部６０によって、入力したストロークオブジェクトに対して移動や拡大縮小などの操作をすることが可能である。具体的には、ペン入力モードと操作モード（マウスモードとも呼ばれる）の２つのモードが用意されており、ペン入力モードでは、ペンで入力した動作はストロークとして検出され、表示部４０に表示されると同時にストロークデータ蓄積部１５に蓄積される。一方、操作モードでは、一般的なマウス操作のように、１組（すなわち、ストロークの集まりとして）のオブジェクトの移動や、あるいはオブジェクトを選択することで表示される拡大縮小操作マークをドラッグすることによる拡大縮小や、回転操作、或いは、オブジェクト単位のグループ化やグループ解除操作が可能である。グループ化操作は、例えば、操作モードにおいて複数のオブジェクトを囲むように選択した上で、ソフトウェアメニューからグループ化メニューを選択することにより実行され、結果としてこれまでとは異なる単位でストローク群を１つの集まり（１組）として扱うことが可能となる。これは一般的なドローイングソフトに備えられている機能である。

本実施形態においては、例えば上記のような移動操作や拡大縮小操作を施したオブジェクトは、少なくともすぐに消される落書きではなく操作する価値があったものとみなし、その重要度を上昇させるべく、ストロークデータ蓄積部１５の各ストロークデータに付随しているストロークデータ付随情報を変更する。具体的には、図４に示すように、操作ポイントに係る項目を設けておき、オブジェクトが操作されるたびに、そのオブジェクトを意味するストロークデータに対応付けられている操作ポイントについて、あらかじめ操作種別に対応して決められている操作ポイントを加算することが好ましい。この場合において、例えば、移動は１点、拡大は３点、縮小は１点、回転は５点、グループ化およびグループ化解除は１０点のように操作ポイントを、その操作毎に加算していく。そして、この操作ポイントに係る付随情報は、前記ストロークオブジェクト検索部２０で、候補を検索する際の候補選出の優先度判定に用いられ、結果としてグループ化を明示的に行ったオブジェクトに対しては、そのまとまりの単位で扱われるという効果と共に、再利用のための検索における重要度が高いとみなし優先して提示されるという効果が得られる。また、このようなグループ化などの操作に係る操作ポイントの付加や優先度の付加により、文字列の再利用のみではなく、サイズの大きい絵の再利用も比較的容易に実現できるようになる。

入力候補範囲指定部３５は、提示された候補の１項目中の特定の部位を選択的に指定する。上記の入力候補選択部３０による選択では、候補が提示された場合にいずれかの候補を使用するか、あるいはいずれの候補も選択せずに使用しないかのいずれかの動作を選択することが可能である。入力候補範囲指定部３５は、入力候補選択部３０の機能に加えて、提示された候補の一部分を選択して使用する（すなわち、入力として再利用する）ために設けられている。すなわち、図５に示すように、例えば、「特」の途中まで入力した時点で、４つの候補である「特許明細書」、「特許」、「特別席」、「物入れ」が表示されたものとする。このとき、候補のうち「特別席」の「特別」の文字だけを抽出したい場合に、「特別」の文字の部分を丸で囲むことにより（範囲を指定することにより）、「特別」の文字のみを抽出して表示されることができる。このように、候補データの一部のみを容易に再利用することができる。なお、この範囲指定は、指定した部分が明示できればよいので、丸で囲むのみでなく、矩形やその他の図形で囲んだり、アンダーラインを引いたり、その他の方法で範囲を指定したりすることによって、任意の部分の範囲指定をすることができる。

上記のように構成された本発明の一実施形態に係る入力装置の動作を、図６を参照して説明する。図６は、本発明の一実施形態に係る入力装置の動作を示すフローチャートである。この場合において、電子ホワイトボード上に、ストロークデータを入力する場合について説明する。ここで、電子ホワイトボードとは、ＰＣの画面のように電子的に生成されたデータの表示が可能であり、またペン型の機器により書き込みが可能である装置である。電子ホワイトボード装置も存在するが、例えばＰＣの画面をプロジェクターで専用のボードに投影し、ボード上のどの点に利用者が書き込んだかをカメラで監視し、書き込みデータをＰＣに送信することにより、ＰＣで変更した画面がプロジェクターにより投影されるような装置でも良い。

通常、利用者が電子ホワイトボードに文字列や絵を書き込む際には、ペン型の機器により入力することになるが、入力予測の既存技術によってこれを簡易化することができる。この技術は本発明の前提となる公知技術である。この技術を含めて以下説明する。

ペン入力による入力予測装置においては、提示する入力候補のデータは、記憶装置である例えばハードディスクに格納されており、各入力候補データにはストローク情報が付随されている。これが本実施態様に係るストロークデータ蓄積部１５に相当する。本実施態様では、まず、利用開始に当って、状況情報を登録して（ステップＳ１）、予測した場合のヒット率を高めるようにしている。そして、ストローク入力部１０に相当するペン入力装置に対して入力が行われた場合には（ステップＳ２）、それを例えば一定時間入力されなかった場合を区切りとしていくつかのストローク群に分割する。この入力が、ストローク入力ではないと判定した場合には、操作によりストロークデータ付随情報を変更して（ステップＳ９）、その操作が終了操作であれば、（ステップＳ１０のＹｅｓ）、ステップＳ１に戻り、そうでなければ（ステップＳ１０のＮｏ）、ステップＳ２に戻る。

ストローク入力部１０からの入力がストローク入力であれば（ステップＳ３のＹｓｅ）、ストロークデータをストロークデータ蓄積部１５に蓄積すると共に、当該データが表示部４０に表示される（ステップＳ４）。そして、このストロークデータに基づいて、ストロークオブジェクト検索部２０が、このストロークデータをキーとして検索を実行する（ステップＳ５）。これは、入力されたストローク群と類似した部分をストローク情報に持つストロークデータをストロークデータ蓄積部１５の中から検索する曖昧検索技術により実現される。この場合において、本実施態様では、利用の開始に当って、状況情報を登録しているので、この登録情報を用いて、例えば、利用情報や操作情報によって優先度を決定、変更して、この優先度に基づいて類似度の高いいくつかの候補が入力候補として提示される（ステップＳ６）。利用者は提示された入力候補のリストから１つを選択することにより、それ以上のストロークによる入力をせずに選択した文字列の入力を完了することができる。

なお、入力候補のリストからそのまま候補を選択するのではなく、候補の一部を選択したい場合には、入力候補範囲指定部３５で候補の一部分（範囲）を選択することにより（ステップＳ７のＹｅｓ）、選択候補の範囲が選択入力されると共に、表示部４０に表示される。

本発明の一実施形態によれば、ペン型のデバイスあるいは指を用いて入力するシステムでの入力を簡易化する予測入力方式において、利用状況や操作履歴や候補選択履歴なども考慮に入れた候補を表示するようにしたので、精度の高い予測候補を提示し、また使いやすいものとすることができる。

なお、本実施例ではタブレットＰＣ１台とプロジェクターにより構成される場合について説明を行ったが、例えばＰＣに接続して表示し電子ペンにより入力が可能な電子ホワイトボードや、単体でＰＣと同等の機能を持つ電子ホワイトボードについても同様に実現可能である。さらに電子ホワイトボード端末あるいはＰＣ端末がサーバに接続する構成であっても良いし、その場合はサーバ・クライアントシステムによりストロークデータ蓄積部１５やストロークオブジェクト検索部２０などがサーバにあるような構成でも構わない。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本実施の形態に係わる入力装置の概略構成を示すブロック図である。 本発明の一実施形態に係る情報検索装置の概略動作例を示した図である。 電子ホワイトボード装置の利用開始時における利用状況データの入力を促す画面例である。 利用状況データの構成例を示す図である。 入力候補範囲指定部３５の動作を説明するための図である。 本発明の一実施形態に係る入力装置の動作を示すフローチャートである。

符号の説明

１０…ストローク入力部
１５…ストロークデータ蓄積部
２０…ストロークオブジェクト検索部
３０…入力候補選択部
３５…入力候補範囲指定部
４０…表示部
５０…利用状況管理部
６０…ストロークオブジェクト操作部

Claims (7)

1. 手書き文字の入力が可能な入力部と、
   前記入力部の入力を表示する表示部と、
   前記入力された手書き文字をストロークデータとして蓄積する蓄積部と、
   前記入力部の新たな入力に対して、前記蓄積部から特徴に共通点があるストロークデータを検索して、その結果を前記表示部に候補として提示する検索部と
   提示された候補の１つを選択して、当該選択した候補を表示部に反映する選択部と、を有する入力装置であって、
   前記入力装置の利用状況情報を管理する管理部をさらに備え、
   前記蓄積部は、管理部から利用状況情報を入力して、ストロークデータと利用状況情報とを関連づけて記録することを特徴とする入力装置。
2. 請求項１に記載の入力装置において、前記検索部は、蓄積部から候補を検索する場合に、前記利用状況情報を用いて優先順位を算出することを特徴とする入力装置。
3. 手書き文字の入力が可能な入力部と、
   前記入力部の入力を表示する表示部と、
   前記入力された手書き文字をストロークデータとして蓄積する蓄積部と、
   前記入力部の新たな入力に対して、前記蓄積部から特徴に共通点があるストロークデータを検索して、その結果を前記表示部に候補として提示する検索部と
   提示された候補の１つを選択して、当該選択した候補を表示部に反映する選択部と、を有する入力装置であって、
   前記入力装置のストロークオブジェクトに対する操作を行う操作部をさらに備え、
   蓄積部は、操作部からの操作情報に基づいてストロークデータの付随情報を変更することを特徴とする入力装置。
4. 請求項３に記載の入力装置において、前記操作情報は、ストロークオブジェクトの拡大縮小操作、回転操作、並びにオブジェクトのグループ化及びその解除操作を含むことを特徴とする入力装置。
5. 手書き文字の入力が可能な入力部と、
   前記入力部の入力を表示する表示部と、
   前記入力された手書き文字をストロークデータとして蓄積する蓄積部と、
   前記入力部の新たな入力に対して、前記蓄積部から特徴に共通点があるストロークデータを検索して、その結果を前記表示部に候補として提示する検索部と
   提示された候補の１つを選択して、当該選択した候補を表示部に反映する選択部と、を備え、
   蓄積部は、選択部がある候補を選択した場合に、当該候補の付随情報を変更することを特徴とする入力装置。
6. 請求項３又は請求項５に記載の入力装置において、前記検索部は、蓄積部から候補を検索する場合に、前記付随情報を用いて優先順位を算出することを特徴とする入力装置。
7. 手書き文字の入力が可能な入力部と、
   前記入力部の入力を表示する表示部と、
   前記入力された手書き文字をストロークデータとして蓄積する蓄積部と、
   前記入力部の新たな入力に対して、前記蓄積部から特徴に共通点があるストロークデータを検索して、その結果を前記表示部に候補として提示する検索部と
   提示された候補の一部分を、範囲を指定することにより選択して、当該選択した範囲を前記表示部に反映する入力候補範囲指定部と、を備えたことを特徴とする入力装置

Images