JP2013012134A - 手書き入力機能付表示装置 - Google Patents

Abstract

【課題】直感的かつ簡便な操作で表示部に表示された線の消去をユーザーが指示できる表示装置を提供する。
【解決手段】手書き文字、および手書き線画を表示し得る表示部と、前記表示部に触れられた位置が時間とともに移動するときその位置を手書き軌跡として検出する検出部と、前記検出部および前記表示部を制御し、前記手書き軌跡に対応する線を前記表示部に表示させかつジェスチャーとして予め定められたパターンとその手書き軌跡が一致すると判断したとき、そのジェスチャーに対応付けられた処理を実行する制御部とを備え、前記制御部は、手書き軌跡が新たに検出されたとき、その手書き軌跡が、消去ジェスチャーのパターンと一致すると判断したときにその手書き軌跡に重なる線を消去し、異なるパターンであると判断したときは、前記手書き軌跡に重なる線を表示させることを特徴とする手書き入力機能付表示装置。
【選択図】図４

Description

この発明は、表示部に触れられた位置の変化を手書き軌跡として検出し、対応する箇所に線を表示する手書き入力機能付表示装置に関する。

近年、液晶表示装置を代表例とする表示装置の薄型化、高画質化、大型化および低コスト化が進み、新たな用途が生まれている。
例えば、携帯情報端末の発展形ともいえるスマートフォンや電子書籍端末への用途がある。また、従来のポスターや看板の発展形ともいえるインフォメーションあるいはデジタルサイネージへの用途がある。さらに、タッチパネル等を備えた大型の表示装置を用いた、いわゆる電子黒板の発展形といえるシステムが提案されている。

ここで挙げたように、表示装置上にタッチパネル等のセンサを用いて入力を検出することで、ユーザーの直感的な操作を実現する種々の用途がある。その中には、電子黒板等のように、手書き入力に対応したものがある。また、インフォメーションディスプレイやデジタルサイネージ用の表示装置でも、単に画面に表示されたボタンへのタッチを検出するだけでなく、指で手書き文字入力を行うといった用途が考えられる。
このような手書き入力では、表示部に触れられた箇所に対応した線を表示させて、ユーザーの入力が受付けられたことを示すことが通常である。さらに、書き間違いがあった場合に消去または修正を行うための、いわゆる消しゴム機能を備えるのが通常である。しかし、この消しゴム機能を使うために、従来は入力のモードを切り換える必要があった。

手書き入力に関する技術としては、携帯情報端末の分野において種々の提案がなされている。消しゴム機能に関しては、ジェスチャーを対象となる文字上に書くことでその文字の削除を実行する技術点が知られている（例えば、特許文献１参照）。
また、表示部に触れられた領域の大きさを検出し、入力用の専用ペンのペン先の大きさより大きい場合は、ペンとして線を描く機能から消しゴムとして線を消去する機能に切り換える技術がある。

特開平６−１４９４６７号公報

電子黒板等、大型の表示装置を用いた手書き入力において、ユーザーが文字等を書き間違えた場合、使い慣れた黒板や白板の感覚で、手や指で間違えた箇所をこすって消そうとしがちである。ところが、従来は消しゴム機能を使用するためにモードを切り換える操作を必要とする。それを知らずに、あるいは知っていてもとっさの場合に手指でこすって消そうとすると、表示装置は、その指でこする操作を書き込みのアクションとして認識する。その結果、ユーザーがこすった箇所に線が描かれてしまい、文字等を消すというユーザーの意図に沿った処理がなされない。

このように、電子黒板等は、誰もが簡単に使えるように直感的で簡便な操作が重視されるべきところ、消しゴム機能を使う際には、いちいち機能切り替える必要がある。即ち、消去を指示する操作が直感的でないため、使い手に知識および慣れが必要である。また、たとえその操作を覚えたとしても、指示に係る操作が煩雑であるという問題があった。
この発明は、以上のような事情を考慮してなされたものであって、直感的かつ簡便な操作で表示部に表示された線の消去をユーザーが指示できる表示装置を提供するものである。

この発明は、手書き文字、および手書き線画を表示し得る表示部と、前記表示部に触れられた位置が時間とともに移動するときその位置を手書き軌跡として検出する検出部と、前記検出部および前記表示部を制御し、前記手書き軌跡に対応する線を前記表示部に表示させかつジェスチャーとして予め定められたパターンとその手書き軌跡が一致すると判断したとき、そのジェスチャーに対応付けられた処理を実行する制御部とを備え、前記ジェスチャーは、表示部に既に表示されている線を消去する消去ジェスチャーを含み、前記制御部は、手書き軌跡が新たに検出されたとき、その手書き軌跡が、消去ジェスチャーのパターンと一致すると判断したときにその手書き軌跡に重なる線を消去し、前記手書き軌跡が消去ジェスチャーと異なるパターンであると判断したときは、前記手書き軌跡に重なる線を表示させることを特徴とする手書き入力機能付表示装置を提供する。

この発明において、制御部は、手書き軌跡が新たに検出されたとき、その手書き軌跡が、消去ジェスチャーのパターンと一致すると判断したときにその手書き軌跡に重なる線を消去し、前記手書き軌跡が消去ジェスチャーと異なるパターンであると判断したときは、前記手書き軌跡に重なる線を表示させるので、ジェスチャーという直感的な指示態様によって、表示部に既に表示されている線を消去することができる。従来のように、消しゴム機能のモードに切り換える操作をいちいち行う必要がないので、操作が簡便である。

即ち、従来の黒板や白板と同様に、表示部に既に表示されている線を指でこするという操作によってユーザーが消したい線を消去することができ、ユーザーの意図に沿った処理が実現される。

この発明において、手書き文字は、ユーザーがフリーハンドで入力した文字である。表示部に表示される態様が、ユーザーがフリーハンドで描いた通りの線からなる文字か、あるいは手書き文字認識を行って所定のフォントにより表示される文字かを問わない。
また、手書き線画は、ユーザーがフリーハンドで入力した線で構成される画像である。表示部に表示される態様が、ユーザーがフリーハンドで描いた通りの線か、あるいはゆがみの補正などある程度整形を行って表示される線であるかを問わない。

また、表示部は、情報を表示するものであり、少なくとも前述の手書き文字および手書き線画を表示する。その他、入力された信号やメモリに格納されたデータに応じた映像や画像を表示してもよい。その具体的な態様は、例えば、液晶パネルを用いたインフォメーションディスプレイや液晶パネルを用いた電子黒板である。
また、検出部は、表示部に触れられたことおよび触れられた箇所を検出し、前記箇所の経時的変化を検出するものである。その具体的な態様は、例えば、タッチパネルセンサとその信号を処理する処理回路である。検出の原理は静電式、光学式などの方式を問わない。

また、手書き軌跡は、ユーザーの手指やタッチペンなどで表示部に触れられた位置の履歴である。軌跡という文言を用いているが、手書き軌跡それ自体は目視できるものでない。ただし、この発明に係る制御部は、表示部のうち手書き軌跡が描かれた箇所に線を表示させることができる。その場合、表示された線が手書き軌跡を示す。ただし、手書き文字認識を行って所定のフォントによる文字を表示する態様において、制御部は、手書き入力後文字認識までの期間は表示部のうち手書き軌跡に対応する箇所に線を表示させる。しかし、文字認識後はその線に代えて所定のフォントによる文字を表示させる。フリーハンドで描いた線の整形を行う場合も同様である。

また、ジェスチャーは、情報携帯端末など手書き入力機能を備える装置において、予め特定のパターンと特定の指示とを対応付けておくものである。そして、該当するパターンが描かれたときにそのパターンに対応付けられた指示がなされたものとして処理するものである。
また、軌跡に対応する箇所とは、具体的には、表示部が縦横に並ぶ複数の画素から構成されるとき、表示部に触れられた箇所に該当する画素を指す。軌跡は表示部に触れられた箇所が時間とともに移動した跡といえる。しかし、一つの画素がカバーする領域は微少であるため、ある時点において触れられた箇所には複数の画素が対応する。さらに、その箇所が時間と共に移動した跡としての軌跡には、より多くの画素が対応する。

この発明の表示装置の外観を示す説明図である。 図１に示す表示装置１１の電気的な構成を示すブロック図である。 この発明に係る制御部が、操作に応じて液晶ディスプレイに表示させる内容示す第１の説明図である。 この発明に係る制御部が、操作に応じて液晶ディスプレイに表示させる内容示す第２の説明図である。 この発明に係る制御部が実行する処理を示す第１のフローチャートである。 この発明に係る制御部が実行する処理を示す第２のフローチャートである。 この発明に係る制御部が実行する処理を示す第３のフローチャートである。 この発明に係る制御部が実行する処理を示す第４のフローチャートである。 この発明に係る制御部が消去対象を決定する態様の例を示す第１の説明図である。 この発明に係る制御部が消去対象を決定する態様の例を示す第２の説明図である。

以下、この発明の好ましい態様について説明する。
前記制御部は、前記手書き軌跡が描き始めてから描き終えるまでの期間が所定の時間内であるときに限りその手書き軌跡が消去ジェスチャーのパターンと一致するかを判断し、所定時間内に描かれていないときは消去ジェスチャーとしないようにしてもよい。このようにすれば、消去ジェスチャーとパターンが一致し、かつ、その線が描かれてから所定の時間内に描かれたものであると判断したときにその線を消去することができる。即ち、形態的、時間的条件を組みあわせた判定により通常の書き込みと判別しているので、よりユーザーの意図に沿った処理が実現される。
前記消去ジェスチャーのパターンは、所定数以上の折り返しを有する屈曲線であってもよい。このようにすれば、従来の黒板や白板と同様、消したい部分の表示部を指でこするという操作を一筆書きされた屈曲線、即ち、折り返し点を含む折り返し線として検出し、消去ジェスチャーと判断することができる。即ち、従来の白板や黒板に描かれた線を消そうとするときは通常、その線が既に描かれている白板や黒板のうえを鋸歯状の屈曲線を描くようにユーザーがこするところ、制御部は、そのようなユーザーによる直感的あるいは反射的な操作の検出に応答して、ユーザーの意図に沿った線の消去を行うことができる。

あるいは、前記検出部は、太さを有する手書き軌跡を検出し、前記制御部は、前記手書き軌跡と交差すると判断された線のうち、前記太さを有する手書き軌跡と重なる部分を消去し重ならない部分は消去しないようにしてもよい。このようにすれば、ユーザーは、既に描かれた線の一部分に交差するように消去ジェスチャーの手書き軌跡を描くことによって、その手書き軌跡と重なる部分を消去し他の部分は残すように線を消去することができる。よって、従来の白板や黒板と同様の間隔で線の消去を行うことができる。

また、前記制御部は、前記手書き軌跡と重なると判断された部分に連結する線の全体を消去してもよい。このようにすれば、既に描かれた線の全体にわたって消去ジェスチャーの手書き軌跡が描かれなくても、制御部は手書き軌跡と重なる部分に連結する線の全体を消去するので、ユーザーにとって簡便な操作で線の全体を消去することができる。

あるいはまた、前記検出部は、前記手書き軌跡と重なると判断された線のうち、前記太さを有する手書き軌跡と重なる部分を消去し重ならない部分は消去しない態様か、あるいは、前記手書き軌跡と重なると判断された部分に連結する線の全体を消去する態様かの選択を受付け、選択された態様で線を消去するようにしてもよい。このようにすれば、制御部は、その線が手書き軌跡と重なる部分のみを消去するか、消去ジェスチャーにより線の全体を消去するかを、ユーザーの選択に応じて切り換えることができる。

また、前記制御部は、前記手書き軌跡が描き始められてから描き終えられるまでの時間が、予め定められた期間より短いときに限ってその手書き軌跡が消去ジェスチャーと一致するかを判断し、前記期間より長いときは前記手書き軌跡に対応する箇所に線を表示させてもよい。このようにすれば、手書き軌跡が描き始められてから描き終えられるまでの時間に基づいて、反射的に線を消そうとする操作と線を描く操作とをより確実に判別することができる。
この発明の好ましい態様は、ここで示した複数の態様のうち何れかを組み合わせたものも含む。

以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
≪表示装置の構成≫
図１は、この発明の表示装置の外観を示す説明図である。図１に示すように、この発明の表示装置１１は、表示部としての液晶ディスプレイ１３、液晶ディスプレイ１３上に配置された検出部としてのタッチパネル１５を備える。さらに、液晶ディスプレイ１３を指示するスタンド１７、制御部および記憶部としてのコントロール・ユニット（図１に図示せず）を備える。前記コントロール・ユニットは、液晶ディスプレイ１３の背面に配置されている。

タッチパネルは、液晶ディスプレイ１３の画面にユーザー指あるいは入力ペンが触れたとき、その位置を検出する。複数の位置が同時に触れられた場合は、それぞれの位置を検出することができる。位置が時間的に変化するとき、それを手書き軌跡として検出する。広がりのある領域が触れられたとき、その領域を検出する。例えば、入力ペンのペン先の太さに応じた領域を検出する。よって、ペン先の太さが異なると手書き軌跡の太さが異なる。

スタンド１７は、必要に応じて移動できるようにキャスターが付いている。ただし、異なる態様として表示装置１１はスタンドを備えず、壁や柱に固定されてもよい。
図２は、図１に示す表示装置１１の電気的な構成を示すブロック図である。図２に示すように、表示装置１１は、液晶ディスプレイ１３、タッチパネル１５、制御部１９および記憶部２１を備える。制御部１９のハードウェア構成としては、記憶部２１に格納された制御プログラムを実行するＣＰＵ、前記ＣＰＵのワークエリアを提供するＲＡＭおよび液晶ディスプレイ１３への映像信号を生成する表示制御回路を含んでなる。さらに、液晶ディスプレイ１３およびタッチパネル１５との間の信号が接続される入出力回路やタイマーを含んでなる。記憶部２１のハードウェア構成は、前記ＣＰＵが実行すべき制御プログラム、ジェスチャーに係るパターンと処理の定義および液晶ディスプレイ１３の表示データ、その他のデータを格納する不揮発性メモリである。

また、制御部１９の機能的構成として、表示制御部１９ａ、入力検出部１９ｂを備える。前記表示制御部１９ａは、液晶ディスプレイ１３に情報を表示させる制御を行なう。例えば、ウェブページを構成するＨＴＭＬデータが入力されると、そのＨＴＭＬデータに応じた文字や画像を液晶ディスプレイ１３に表示させる。より詳細には、表示制御部１９ａは図形描画部、位置決定部を含む。図形描画部は、液晶ディスプレイ１３に表示させるべき図形を作成および消去する。位置決定部は、手書き線等のオブジェクトを表示させる位置、サイズ、範囲を決定する。

入力検出部１９ｂは、タッチパネル１５からの検出信号に基づいて、ユーザーの操作を検出する。より詳細には、入力検出部１９ｂは位置検出部、接触検出部、サイズ検出部、ジェスチャー検出部および時間測定部即ちタイマーを含む。位置検出部は、タッチパネル１５がタッチされた位置の座標を取得する。接触検出部は、タッチパネル１５へのタッチの有無を検出する。サイズ検出部は、タッチされた領域のサイズを検出する。ジェスチャー検出部は、手書き軌跡が予め定められたジェスチャーのパターンと一致する場合にその一致を検出する。時間測定部は、タッチパネルへのタッチがなされたときに時間測定を開始し、そのタッチが継続している間は測定を続け、タッチがなくなったときに測定を停止する。

記憶部２１の機能的構成として、入力座標記憶部２１ａ、図形描画情報記憶部２１ｂおよび時間記憶部２１ｃを備える。入力座標記憶部２１ａは、タッチパネル１５へのタッチがなされた位置の座標を入力座標として格納する。タッチされた位置の移動に伴って、複数の入力座標が関連づけられて格納される。一連の入力座標が手書き軌跡の形状を表す。図形描画情報記憶部２１ｂは、液晶ディスプレイ１３に表示させるオブジェクトに係る情報を格納する。時間記憶部２１ｃは、前記時間測定部により測定された時間のデータを格納する。

≪表示の制御≫
図３および図４は、制御部１９がユーザーの操作に応じて液晶ディスプレイ１３に表示させる内容の例を示す説明図である。図３および図４に示すように、液晶ディスプレイ１３の表示領域は、ツールバー３３と作業領域３５に大別される。ツールバー３３は、表示装置が受付ける指示が複数のボタンとして表示されている。前記ボタンの例は次のとおりである。電子黒板としてのアプリケーションの終了を指示する「終了」ボタンがある。また、電子黒板アプリケーションのファイルを開く「開く」ボタンがある。さらに、前記ファイルを保存する「保存」ボタンがある。そして、線を描く「ペン」ボタンがある。さらに、描かれた線を消す「消しゴム」ボタンがある。また、描かれたオブジェクトを選択する「選択」ボタンがある。そして、作業領域３５を印刷する「印刷」ボタンがある。また各種設定を行うための「設定」ボタンがある。ユーザーにより各ボタンがタッチされると、制御部１９は、タッチパネル１５の検出信号に基づいてタッチされたボタンを認識し、そのボタンに対して予め定義された指示を実行する。

ユーザーが「ペン」ボタンをタッチした後、図示しない入力ペンを用いて作業領域３５に文字を書くと、タッチパネル１５は入力ペンのペン先が触れた位置と時間に伴う位置の変化を検出する。タッチパネル１５からの信号を受領した制御部１９は、検出された位置の変化、即ち、手書き軌跡を決定する。そして、手書き軌跡が予め定められたジェスチャーとしてのパターンと一致するか否かを判断する。
ジェスチャーと一致する場合、制御部１９は、そのジェスチャーに対して予め定義された処理を実行する。ジェスチャーの一例は、後述するように線の消去である。一方、手書き軌跡がどのジェスチャーとも一致しない場合、制御部１９は、手書き軌跡に対応する線を液晶ディスプレイ１３に表示させるように制御する。その結果、手書きの線として文字が描かれる。好ましくは、制御部１９は、各線すなわち各手書き軌跡をオブジェクトとして記憶部２１にそれぞれ格納する。

また、ユーザーが「消しゴム」ボタンをタッチした後、前記入力ペンあるいは手指で作業領域３５が拭かれたことをタッチパネル１５からの検出信号に基づいて認識すると、制御部１９は、拭かれた部分に線が描かれている場合はその部分の線を消去する。即ち、拭かれた部分の画素のデータを初期化して何も描かれていない状態にする。
図３の（ａ）は、制御部１９が、手書き軌跡に対応する手書きの文字を作業領域３５に表示させた例を示している。（ｂ）は、ユーザーがさらに「と」の文字を書いた状態を示している。このときユーザーは、最後に書いた「と」の文字は誤りであることに気づいたものとする。勿論、「消しゴム」ボタンにタッチした後に「と」の文字を拭けば、制御部１９はその部分を消去する。しかしこの場合、ユーザーは、慌てて「消しゴム」ボタンにタッチすることなく「と」の文字を拭いたものとする。

図３（ｃ）、図４（ａ）、（ｂ）は、そのときの作業領域３５の表示を示している。図３（ｃ）は、ユーザーが「と」の文字をなぞる直前の状態であり、手指３１は、「と」の文字のすぐ上方にある。図４（ａ）は、上方から下方へ向かう矢印Ａの方向に手指３１の先が移動して「と」の文字が拭かれた直後の状態を示している。このとき、制御部１９は、手指３１の先が触れた部分をタッチパネル１５からの検出信号に基づいて認識し、手書き軌跡に対応する線を液晶ディスプレイ１３に表示させる。図４（ｂ）は、その後、下方から上方へ向かう矢印Ａ’の方向に手指３１が移動し、「と」の文字が拭かれた直後の状態を示している。

図４（ｃ）は、その後さらに、上方から下方へ向かう矢印Ａの方向に手指３１の先が移動して「と」の文字が拭かれた直後の状態を示している。このとき、制御部１９は、ほぼ同じ位置で往復往が繰り返されて触れられたことを、タッチパネル１５からの検出信号に基づいて認識する。そして、このパターンが記憶部２１に格納された消去ジェスチャーのパターンに該当すると判断する。制御部１９は、その判断に基づいて、図４（ａ）および（ｂ）のタイミングで「と」の文字に重ねて描いた線およびその線に重なる「と」の文字の線を消去する。即ち、図４（ａ）および（ｂ）のタイミングで拭かれた部分の線を消去する。

ここで制御部１９は、拭かれていない部分を消去せずに残してもよい。しかし、別の態様として拭かれた部分と少なくとも一部が重なる手書きの線のオブジェクトを、オブジェクト単位で消去してもよい。さらに別の態様として、拭かれた部分と少なくとも一部が重なる手書き線と連続する線を消去してもよい。この態様によれば例えば、「と」の文字は、文字を構成する線が連続しているので「と」の文字全体を消去する。これに対して例えば「ど」の文字の場合は「と」と濁点の２本の線は連続しておらず孤立しているため、「と」の部分のみが拭かれた場合は濁点の２本の線を消去せずに残す。
なお、ユーザーの選択によっていずれかの態様を選択できるようにしてもよい。選択を行う手段としては、次のものが考えられる。ツールバー３３中の「設定」ボタンがタッチされると、それに応答して制御部１９は、設定メニューを実行する。その設定メニューに、前記選択を受付けるメニューが用意されている。ユーザーが、作業領域３５に表示されるメニューの画面を見ながら選択を行うと、制御部１９は、タッチパネル１５からの検出信号に基づいてユーザーの選択を認識する。ユーザーの指示により設定メニューを終了した後、制御部１９は、選択された態様に従って消去の処理を行う。

≪フローチャート≫
図５〜図８は、制御部１９が実行する処理を示すフローチャートである。フローチャートに沿って、処理の手順を説明する。なお、フローチャートは、同時に触れられる箇所が１箇所のみの態様を示しているが、これを複数箇所に拡張する場合は、図５〜図８の処理をそれらの箇所の数だけ並列に処理すればよい。また、フローチャートはこの発明の特徴を分かり易くするために描画処理のみを逐次処理的に記載しているが、制御部１９は、ツールバー３３のボタンが押されたか否かのモニタ等、他の処理をマルチタスクで行っている。

まず図５で、制御部１９は、タッチパネルからの検出信号に基づいて、新たな線が描かれ始めたか否かをモニタする（ステップＳ１１）。新たな線が描かれたとは、いずれの手書き軌跡とも連続しない新たな位置に触れられたと制御部１９が判断したということである。
新たな線が描かれ始めたと判断すると（ステップＳ１１のＹｅｓ）、次に制御部１９は、折り返し線が描かれるとき、折り返し点で区分される線数を数えるための変数ｎに初期値として１をセットする（ステップＳ１３）。変数ｎは、ワークエリアを提供するＲＡＭに、特定の記憶領域として確保される。そして、折り返し線が描かれるときに描画の開始から終了までの時間を得るためのタイマーをスタートさせる（ステップＳ１５）。
さらに制御部１９は、前記ステップＳ１１の判断を行った時点でタッチパネルから得た検出信号に基づいて、タッチされた位置を求める（ステップＳ１７）。その位置を、始点座標として記憶部２１に格納する（ステップＳ１９）。

続いて、制御部１９は、タッチパネルからの検出信号に基づいて、現時点でタッチが継続されているか否かを調べる（ステップＳ２１）。タッチが継続されていない場合（ステップＳ２１のＮｏ）、ルーチンはステップＳ１１に戻り、新たな線が描き始められるのを待つ。一方、タッチが継続されている場合（ステップＳ２１のＹｅｓ）、現時点でタッチされている位置の座標を求める（ステップＳ２３）。タッチされている位置が変化している場合に、その位置を追跡するためである。求めた座標が前の座標と異なる場合、求めた座標を一つ前の座標と関連づけて記憶部２１に格納する（ステップＳ２５）。記憶部２１に格納される一連の座標が手書き軌跡になる。そして、一つ前の座標との間を結ぶ線を作業領域３５に表示させる（ステップＳ２７）。表示される一連の線が、手書き軌跡に対応する線になる。

続いて、制御部１９は、スイッチバックにより区分される線の数（折り返し線数）を格納する変数ｎの値が３か否かを調べる（ステップＳ２９）。変数ｎが３の場合は、消去ジェスチャーの可能性があると判断する（ステップＳ２９のＹｅｓ）。そして、ルーチンは図７に示すステップＳ４１に進み、消去ジェスチャーか否かの判断に係る処理を実行する。勿論、変数ｎの値「３」は閾値の一例である。折れ線の描画と描いた線を消そうとする動作とを区別できればよく、前記閾値は「３」以外の値であってもよい。なお、このフローチャートでは、この発明の特徴に係る消去ジェスチャーの処理のみを示し、他のジェスチャーに係る処理を省略している。ただし、他のジェスチャーを認識する場合、そのパターンと手書き軌跡が一致するか否かの判断もこの部分で行うべきである。

一方、前記ステップＳ２９で、変数ｎの値が３でなければ（ステップＳ２９のＮｏ）、制御部１９は、一つ前の座標との移動の方向が、それ以前の移動の方向と反対方向になっているか否かを調べる（ステップＳ３１）。即ち、新たなスイッチバックが行われたか否かを調べる。ここで、反対方向は、真逆の方向でなくても角度が一定の範囲にあればスイッチバックと判断する。一例は、１３５°以上、２２５°以下の範囲である。

スイッチバックでないと判断した場合（ステップＳ３１のＮｏ）、ルーチンは前述のステップＳ２１へ戻ってループする。このループ処理で制御部１９は、手書き軌跡を記憶部２１に格納していき、対応する線を表示させていく。一方、新たなスイッチバックであると判断した場合（ステップＳ３１のＹｅｓ）、ルーチンは図６のステップＳ３３へ進む。

ステップＳ３３で、制御部１９は、折り返しの線数を格納する変数ｎの値を確認する。変数ｎが２の場合、折り返し点で区分される２本の線、即ち、一往復の線が描かれたことになるので、現時点の座標と始点座標とを比較する（ステップＳ３５）。もし、始点座標から所定の範囲内になく、離れた位置であれば、消去ジェスチャーに該当しないと判断し（ステップＳ３５のＹｅｓ）、ルーチンは前述のステップＳ１１へ戻る。即ち、消去ジェスチャーの判定をリセットし、手書き軌跡を得る処理を始める。始点座標から所定の範囲内にあれば、変数ｎの値を１増加させて（ステップＳ３９）、前述のステップＳ２１へ戻り、手書き軌跡を得る処理を継続する。

一方、前記ステップＳ３３で、変数ｎの値が２でないと判断した場合、即ち、変数ｎの値が１と判断した場合は、最初にスイッチバックが行われた座標を折り返し点の座標として記憶部２１に格納する（ステップＳ３７）。そして、変数ｎの値を１増加させて（ステップＳ３９）、前述のステップＳ２１へ戻り、手書き軌跡を得る処理を継続する。
また、前述のステップＳ２９で、変数ｎの値が３であると判断した場合、制御部１９は、以下の処理を実行する。まず、現在の座標を、終点座標として記憶部に格納する（ステップＳ４０）。そして、終点座標を最初のスイッチバックの時点で記憶部２１に格納されている折り返し点座標の位置と比較する（ステップＳ４１）。この比較は、前述のステップＳ３５に対応している。もし、終点座標が折り返し点座標から所定の範囲内になく、離れた位置であれば、消去ジェスチャーに該当しないと判断し（ステップＳ４１のＮｏ）、ルーチンは前述のステップＳ２１へ戻る。即ち、消去ジェスチャーでないと判断し、手書き軌跡を得る処理を継続する。

折り返し点座標から所定の範囲内にあれば（ステップＳ４１のＹｅｓ）、制御部１９は、タイマーを調べ、線が描き始められてから所定時間内か否かを確認する（ステップＳ４３）。所定時間内でなければ、消去ジェスチャーでないと判断して、ルーチンは前述のステップＳ１１へ戻る。即ち、消去ジェスチャーの判定をリセットし、手書き軌跡を得る処理を新たに始める。
一方、所定時間内であれば、制御部１９は、現在の座標を終点座標として記憶部２１に格納する（ステップＳ４４）。次に制御部１９は、始点座標と終点座標の間の距離を求め、所定の距離と比較する。所定距離未満の場合（ステップＳ４５のＮｏ）、消去ジェスチャーが楕円状であると判断する。そして、ルーチンは図８のステップＳ５３へ進む。前記所定距離は、例えば、始点と終点の距離の１０％といったように予め定めておけばよい。

一方、両者が所定距離以上の場合（ステップＳ４５のＹｅｓ）、制御部１９は、消去ジェスチャーが折り返し線状であると判断し、折り返し線状の消去ジェスチャーに対応付けられた処理を実行する。即ち、始点と終点を結ぶ直線を基準方向とし、それに直行する方向を幅方向として定める。そして、消去ジェスチャーと判断した折り返し線の各部、即ち記憶部２１に記憶された各座標の幅方向の分布を求める。各座標が幅方向において所定距離内にあれば、折り返し線は同じ箇所をなぞるものであり最終的に真の消去ジェスチャーであると判断する（ステップＳ４７のＹｅｓ）。そして、ルーチンはステップＳ４９へ進む。

一方、各座標が前記幅方向において所定距離内になければ、描かれた折り返し線は同じ箇所をなぞるものでないと判断し、ルーチンはステップＳ１１へ戻る。ここで、消去ジェスチャーでないと判断した旨のメッセージを表示装置１１に表示させるようにしてもよい。この場合、制御部１９は、消去ジェスチャーに応答した消去の処理は行わない。そうすると、前述のステップＳ２７で線を表示しているので折り返し線の描画がなされる。

なお、ルーチンがステップＳ１１へ戻った後もなお、折り返し線が描き続けられていると、制御部１９は新たに消去ジェスチャーの判定を行う。
ステップＳ４９で、制御部１９は、始点と折り返し点を結んでこれまで描かれた手書き軌跡に属する領域を抽出する。前記領域の具体的な抽出のやり方はいくつかの態様が考えられる。これについては、後述する。制御部１９は、抽出された領域に描かれている線を消去する。即ち、前記手書き軌跡を削除し、さらに、その手書き軌跡と交わるように描かれた線を消去する（ステップＳ５１）。そして、ルーチンはステップＳ１１へ戻る。

一方、前述のステップＳ４５で、消去ジェスチャーが楕円状であると判断した場合、制御部１９は次の処理を実行する。まず、制御部１９は、記憶部に記憶された手書き軌跡の座標のうちで、最も外側に描かれた位置を探す。処理を簡単にするため、最も外側の領域の代表として最上、最下、最左、最右の各点の座標を得る（ステップＳ５３）。さらに、記憶部に記憶された線の座標のうち、描かれた線の最も内側の領域を示す上下左右の座標を得る（ステップＳ５５）。処理を簡単にするため、前述のステップＳ５３で求めた最上、最下、最左、最右の各点に対応する上、下、左、右の４つの内側の点を代表として求める。そして、上、下、左、右の４組の代表点の座標に基づいて、最も外側の領域と最も内側の
領域の大きさの差異が閾値以内かを判断する（ステップＳ５７）。

前記閾値は、例えば、最上点と最下点の距離に対する内側の上下点間距離の割合として予め定めおけばよい。あるいは、最左点と最右点の距離に対する内側の左右点間の距離の割合として予め定めておいてもよい。両者の組み合わせとして予め定めておいてもよい。

前記判断の結果、最も外側の領域と最も内側の領域の大きさの差異が閾値以内でなければ、描かれた楕円状の線は同じ箇所をなぞるものでないと判断し、ルーチンはステップＳ１１へ戻る。ここで、消去ジェスチャーでないと判断した旨のメッセージを表示装置１１に表示させるようにしてもよい。この場合、制御部１９は、消去ジェスチャーに応答した消去の処理は行わない。そうすると、前述のステップＳ２７で線を表示しているので楕円状の線の描画がなされる。

一方、前記ステップＳ５７の判断で、最も外側の領域と最も内側の領域の大きさの差異が閾値以内の場合、制御部１９は、描かれた線で囲まれた領域を抽出し（ステップＳ５９）、抽出された領域に既に描かれている線を消去する（ステップＳ６１）。

≪消去すべき線の決定≫
ここでは、手書き軌跡が消去ジェスチャーであると判断した場合、制御部１９が消去すべき線を決定するいくつかの態様を説明する。
まず、折り返し線状の消去ジェスチャーの場合について説明する。
制御部１９は、前述した図７のステップＳ４９で述べたように、手書き軌跡がカバーする領域を抽出する。この領域を決定する第１の態様は、２つの折り返し点で区分される３本の線が重なる部分を前記領域として抽出するものである。つまり、３回ともなぞった部分を抽出する態様である。

第２の態様は、３本の線のいずれかが描かれた領域を前記領域として抽出するものである。つまり、手書き軌跡のいずれかの線が描かれた部分を前記領域として抽出するものである。
何れの態様を適用するかを、ユーザーが設定メニューを用いて選択できるようにしてもよい。

このようにして手書き軌跡がカバーする領域を抽出したら、制御部１９は、ステップＳ５１で述べたごとく、前記領域との関係に基づいて消去すべき線を決定する。手書き軌跡が描かれたとき既に描かれている線が消去の対象となる。
制御部１９が消去対象を決定するに際して、いくつかの態様が挙げられる。第１の態様は、前記ステップＳ４９の処理で抽出された領域と交わる部分の画素みを消去する態様である。

図９は、この発明に係る制御部が消去対象を決定する態様の例を示す説明図である。図９（ａ）は、すでに描かれている「と」の文字の上に描かれた折れ線状の消去ジェスチャーから手書き軌跡がカバーする領域（カバー領域）が抽出された様子を示している。カバー領域３７は、灰色で示す領域である。図９（ｂ）は、前述の第１の態様の場合に制御部１９が決定する消去対象を示している。「と」の文字を構成する線のうちカバー領域３７と交わる部分の画素のみを消去の対象とする。

第２の態様は、カバー領域３７と交わる部分に連結された線をすべて消去する態様である。この態様によれば、図９（ａ）のカバー領域３７と交わる「と」の文字全体が消去の対象となる。
ただし、この態様によれば、一文字が複数の孤立した線（連結成分）で構成される場合は文字の一部が消去される。

図１０は、この発明に係る制御部が消去対象を決定する態様の異なる例を示す説明図である。図１０（ａ）は、すでに描かれている「は」の文字の上にカバー領域３７が位置する場合を示している。図１０（ｂ）は、前述の第１の態様を示しており、「は」の文字を構成する線のうちカバー領域３７と交わる画素のみが消去の対象となる。図１０（ｃ）は、第２の態様を示しており、「は」の文字を構成する線のうちカバー領域３７と交わる右側の連結成分が消去の対象となるが、左側の連結成分は消去対象とならずに残る。

第３の態様は、消去対象をオブジェクト単位で判断する態様である。たとえば、図１０で「は」の文字が一つのオブジェクトであれば、カバー領域３７と交わるオブジェクトの「は」の文字全体が消去の対象となる。ここでいうオブジェクトは、ツールバー３３の「選択」ボタンを用いて選択される単位を指す。即ち、作業領域３５に手書き軌跡が描かれる際に、制御部１９が一連の手書き軌跡として処理する単位がオブジェクトである。例えば、ツールバー３３の「ペン」ボタンがタッチされた後に他のボタンがタッチされるまで描かれる一連の手書き軌跡が一つのオブジェクトである。
これら第１〜３の態様の何れを適用するかを、ユーザーが設定メニューを用いて選択できるようにしてもよい。

次に、楕円状の消去ジェスチャーの場合について説明する。
制御部１９は、前述した図８のステップＳ５９で、楕円に囲まれた領域を抽出する。この際、手書き軌跡の始点と終点が少し離れており完全な閉鎖領域が形成されていなくても、それを結ぶ直線または曲線で補完して閉鎖領域を決定する。また、楕円の最も外側の領域により構成される閉鎖領域を、前記領域の境界とすればよい。異なる態様として、最も内側の領域により構成される閉鎖領域を前記領域の境界とすることもできる。何れを適用するかを、ユーザーが設定メニューを用いて選択できるようにしてもよい。

このようにして手書き軌跡で囲まれる領域を抽出したら、制御部１９は、ステップＳ６１で述べたごとく、前記領域との関係に基づいて消去すべき線を決定する。この処理については、折り返し線におけるステップＳ５１と同様に、（１）抽出された領域と交わる部分の画素みを消去する態様、（２）前記領域と交わる部分に連結された線をすべて消去する態様、（３）オブジェクト単位で消去対象を判断する態様が適用可能である。何れを適用するかを、ユーザーが設定メニューを用いて選択できるようにしてもよい。

≪変形例≫
これまでに述べた実施形態の変形例を幾つか挙げておく。
まず、消去ジェスチャーの折り返し点は２つに限定されず、３つや４つなど異なる自然数であってもよい。折り返し点の数をユーザーが設定できるようにしてもよい。
また、制御部１９は、消去ジェスチャーと判断された手書き軌跡と交わる線が、いずれも手書き軌跡が描かれた時点から遡って所定時間より前に描かれたものである場合、手書き軌跡を消去ジェスチャーでないと判断し、通常の書き込みとして扱うようにしてもよい。これは、線を描いた直後にそれを消そうとしてとっさにその線の上をなぞったアクションでないと判断するためである。

また、折り返し線状の消去ジェスチャーと楕円状の消去ジェスチャーを挙げたが、異なるジェスチャーとして、エックス字（Ｘあるいは×印）状のジェスチャーが考えられる。そして、Ｘ字状の前記ジェスチャーに対して消去ジェスチャーでなく、アンドゥーの処理を対応付けてもよい。アンドゥー機能は、前記ジェスチャーが描かれる前に行った処理を元に戻す機能である。
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。

１１：表示装置
１３：液晶ディスプレイ
１５：タッチパネル
１７：スタンド
１９：制御部
２１：記憶部
１９ａ：表示制御部
１９ｂ：入力検出部
２１ａ：入力座標記憶部
２１ｂ：図形描画情報記憶部
２１ｃ：時間記憶部
３１：手指
３３：ツールバー
３５：作業領域
３７：カバー領域

Claims (7)

1. 手書き文字、および手書き線画を表示し得る表示部と、
   前記表示部に触れられた位置が時間とともに移動するときその位置を手書き軌跡として検出する検出部と、
   前記検出部および前記表示部を制御し、前記手書き軌跡に対応する線を前記表示部に表示させかつジェスチャーとして予め定められたパターンとその手書き軌跡が一致すると判断したとき、そのジェスチャーに対応付けられた処理を実行する制御部とを備え、
   前記ジェスチャーは、表示部に既に表示されている線を消去する消去ジェスチャーを含み、
   前記制御部は、手書き軌跡が新たに検出されたとき、
   その手書き軌跡が、消去ジェスチャーのパターンと一致すると判断したときにその手書き軌跡に重なる線を消去し、前記手書き軌跡が消去ジェスチャーと異なるパターンであると判断したときは、前記手書き軌跡に重なる線を表示させることを特徴とする手書き入力機能付表示装置。
2. 前記制御部は、前記手書き軌跡が描き始めてから描き終えるまでの期間が所定の時間内であるときに限りその手書き軌跡が消去ジェスチャーのパターンと一致するかを判断し、所定時間内に描かれていないときは消去ジェスチャーとしない請求項１に記載の表示装置。
3. 前記消去ジェスチャーのパターンは、所定数以上の折り返しを有する屈曲線である請求項１または２に記載の表示装置。
4. 前記検出部は、太さを有する手書き軌跡を検出し、
   前記制御部は、前記手書き軌跡と重なると判断された線のうち、前記太さを有する手書き軌跡と重なる部分を消去し重ならない部分は消去しない請求項１〜３のいずれか一つに記載の表示装置。
5. 前記制御部は、前記手書き軌跡と重なると判断された部分に連結する線の全体を消去する請求項１〜３のいずれか一つに記載の表示装置。
6. 前記検出部は、太さを有する手書き軌跡を検出し、
   前記制御部は、前記手書き軌跡と重なると判断された線のうち、前記太さを有する手書き軌跡と重なる部分を消去し重ならない部分は消去しない態様か、あるいは、前記手書き軌跡と重なると判断された部分に連結する線の全体を消去する態様かの選択を受付け、選択された態様で線を消去する請求項１〜３のいずれか一つに記載の表示装置。
7. 前記制御部は、前記手書き軌跡が描き始められてから描き終えられるまでの時間が、予め定められた期間より短いときに限ってその手書き軌跡が消去ジェスチャーと一致するかを判断し、前記期間より長いときは前記手書き軌跡に対応する箇所に線を表示させる請求項１〜６のいずれか一つに記載の表示装置。