JP2006260573A - 単語または文字の境界ベースのスクラッチアウトジェスチャ認識 - Google Patents

単語または文字の境界ベースのスクラッチアウトジェスチャ認識 Download PDF

Info

Publication number
JP2006260573A
JP2006260573A JP2006075332A JP2006075332A JP2006260573A JP 2006260573 A JP2006260573 A JP 2006260573A JP 2006075332 A JP2006075332 A JP 2006075332A JP 2006075332 A JP2006075332 A JP 2006075332A JP 2006260573 A JP2006260573 A JP 2006260573A
Authority
JP
Japan
Prior art keywords
scratch
ink
word
gesture
stroke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006075332A
Other languages
English (en)
Other versions
JP4936753B2 (ja
JP2006260573A5 (ja
Inventor
Adrian J Garside
ジェイ.ガーサイド エイドリアン
Daphne Guericke
ゲーリケ ダフネ
Ernest L Pennington
エル.ペニントン アーネスト
Shou-Ching Schilling
シリング ショウ−チン
Takanobu Murayama
ムラヤマ タカノブ
Tracy Schultz
シュルツ トレイシー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2006260573A publication Critical patent/JP2006260573A/ja
Publication of JP2006260573A5 publication Critical patent/JP2006260573A5/ja
Application granted granted Critical
Publication of JP4936753B2 publication Critical patent/JP4936753B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】スクラッチアウトジェスチャを検出し、例えばペンを介して入力された他の電子インクからスクラッチアウトジェスチャを区別するコンピュータ実装のシステムおよび方法を提供すること。
【解決手段】本システムおよび方法は、境界ベースの基準を比較して区別するので、特別な形のスクラッチアウトパターンを有する必要がなく、広範囲にわたる様々なスクラッチアウトスタイルの検出を可能にする。基準には、潜在的なスクラッチアウトジェスチャが既に認識されている単語または文字と交差するか否か、スクラッチアウトジェスチャが単語または文字の境界ボックス幅の少なくとも閾値割合である幅を有するか否か、電子インクが境界ボックスの中心点を超えて延びているか否か、およびスクラッチアウトジェスチャの少なくともいくらかの部分が単語または文字のベースラインより上方にあるか否か等の境界ベースの評価が含まれる。
【選択図】図2

Description

本発明は一般的にコンピューティング装置に関し、より詳細にはコンピューティング装置とのユーザ相互作用に関する。
現代のコンピューティング装置によりユーザは数多くの方法で情報を入力できる。その方法には、キーボード経由、1つまたは複数のタイプのポインティング装置の使用、および(通常ポータブル装置上の)専用ハードウェアボタンの使用が含まれる。ポインティング装置に関して、コンピュータシステムはマウスおよび/またはタッチパッドからユーザ入力を受信でき、デジタイザで構成されている場合、ペンおよびタッチデータを感知することによって、例えばスタイラス(ペン)または指経由で入力されたユーザ入力を受信できる。
パーソナルコンピュータには、タブレットベースのパーソナルコンピュータ等、デジタイザをディスプレイスクリーンに組み込んだものがある。このようなコンピューティング装置は、キーボードの有無にかかわらず、操作が可能で、多くのユーザにとって非常に有益である。タブレットベースのパーソナルコンピュータおよび同様な手書き文字受容コンピュータ装置により、ユーザは印刷文字、筆記体の語等の手書き文字を入力できる。手書き文字をコンピューティング装置に入力できることの価値ある一態様は、書かれた単語をテキストとして認識し、その後そのテキストを検索、提示して、テキスト編集プログラム等によって編集できるということである。
いくつかの装置上でユーザに提供される特徴は、入力した文字および単語をスクラッチアウトできることである。紙上のインクとは異なり、インク入力システムは、ユーザが取り除くべきであると考えるスクラッチアウトされた文字および単語を自動的に取り除く。この目的のため、現代の装置はインクを消去するスクラッチアウトジェスチャを検出するよう構成されている。このスクラッチアウトジェスチャは、基本的に、スクラッチアウトする単語または文字を“通って”タブレットスクリーンに描かれた特定の記号、またはタブレットペンの特定の動きである。
既存のスクラッチアウトジェスチャ認識システムはニューラルネットワークに基づいており、いくつかの重大なユーザビリティの問題をかかえている。その問題の主な原因は、一般的に(および通常は水平方向に引き延ばされた)Z形のジェスチャを要求することから生じる。ニューラルネット認識器は、スクラッチアウトジェスチャを構成するものに対する要件が厳しいので、比較的に高い割合でフォールスネガティブを引き起こす(例えば、ユーザはあるインクをスクラッチアウトしたいのに、そのジェスチャがインクのストロークとして認識される)。加えて、そのジェスチャ要件は、要求されるスクラッチアウトジェスチャが、ユーザの学習を必要とするものであるため、ユーザを不自然に制限する。通常のユーザは、スクラッチアウトジェスチャの何らかの形態を試すかもしれない。しかしながら、Z形ジェスチャは、大多数のユーザにとって直感的でも自然でもない。
必要とされているのは、大多数のユーザの個人的なテキスト取り消しスタイルで動作する、より自然なスクラッチアウトジェスチャ(またはジェスチャ群)である。そのようなスクラッチアウトジェスチャはいずれも、ユーザにとって直感的で、学習することなしに発見可能でなければならず、かつ、一般的に手入力の削除操作に関するユーザの満足度を高めるものでなければならない。同時に、他のインク入力からスクラッチアウトジェスチャを正確に区別する割合も改善されるべきである。
簡潔に述べると、本発明は、潜在的なスクラッチアウトジェスチャの位置および水平方向の幅を、スクラッチアウトされうる単語または文字の境界に対して評価することによって、スクラッチアウトジェスチャの形態をとる一定の電子インクを他のインクから区別するシステムおよび方法を提供する。閾値となる量および比率を使用して、ジェスチャがスクラッチアウトか追加のインクかを決定する。
ユーザがストロークに対応する電子インクデータを入力すると、スクラッチアウトジェスチャ検出器が様々な閾値ベースのルールを適用して、スクラッチアウトジェスチャと他のインク入力とを区別する。スクラッチアウトは既存のインクを消去するために使用され、ノンスクラッチアウトはインクストロークを文字または単語を表す他のストロークに加える。スクラッチアウトジェスチャ検出器は、ジェスチャの決定に単語および文字の境界を使用するので、スクラッチアウトは所定のどのスクラッチアウトジェスチャの制限も受けない。従って、数個のスクラッチアウトスタイルのいずれを使用してもよい。これらのスタイルには、取り消し線ジェスチャ、Z形ジェスチャ、垂直スクラッチアウトジェスチャ、円形スクラッチアウトジェスチャ、斜めスクラッチアウトジェスチャ、およびX形ジェスチャもしくは2重取り消し線ジェスチャを含むクロスアウトが含まれる。
一般に、単一のストロークはいずれもスクラッチアウトジェスチャとして認識される可能性がある。インクストロークからスクラッチアウトストロークを区別する基準の例は、スクラッチアウトが既に認識されている単語もしくは文字の上にある(その単語もしくは文字の境界ボックスと交差する)必要があること、および/またはスクラッチアウトストロークの幅が既に認識されている単語もしくは文字の幅に対して(水平方向に)一定の割合を有する必要があることなどである。単語のクロスアウト(Xアウト、2重取り消し線のアプローチ)等のスクラッチアウトスタイルを可能にするため、前のスクラッチアウトジェスチャに対するストロークの出合いのタイミングおよび/またはストロークの近接基準を、同じスクラッチアウトジェスチャの一部として考慮する。
一態様においては、フリーフォームの線引きされた書き込み領域内で、ストロークはある条件を満たすとき単語または単語群に関するスクラッチアウトジェスチャとみなすことができる。その条件とは、そのスクラッチアウトジェスチャストロークが既に認識されている単語の1つまたは複数と交差すること、およびそのストロークの境界ボックス幅が、そのストロークが交差する既に認識されている単語または単語群の境界ボックス幅の少なくとも閾値の割合に達することである。また、スクラッチアウトジェスチャのストロークは、単語の境界ボックスと、その単語の境界ボックス幅のある量(例えば半分)以上交差する必要があり、スクラッチアウトストロークの1部分が単語または単語群が載る線に対するベースライン上方にあることを必要とする。実際に測定した単語の長さに基づいて、距離(ピクセル等の相対距離を含んでもよい)において異なる閾値を使用してもよい。
別種の文章入力面は、ボックス書き込み領域を備える。この領域では、ユーザがボックスあたり1文字を入力する。一態様においては、スクラッチアウトジェスチャの基準は、ストロークが1つまたは複数の既に認識されている文字と交差する必要があること、および、そのストロークが有する境界ボックス幅は、ストロークが交差する既に認識されている文字または文字群のボックス幅の少なくともある閾値の割合であることを含む。さらに、ストロークは、それが交差する文字または文字群のボックスまたはボックス群の中央垂直軸(幅の半分)等の点と交わる必要がある。さらに、スクラッチアウトストロークの一部は、文字または文字群が載る線に対するベースラインの上方にあることを必要とする。
フリーフォームの線引きされた領域およびボックス書き込み領域において、単一のストロークによって、複数の線にわたるボックスを含む、複数のボックスをスクラッチアウトすることができる。単一のストロークを使用して1本の線上にある複数の単語または文字をスクラッチアウトする時、スクラッチアウトされた最初と最後の単語もしくは文字の間にある単語もしくは文字は、たとえそのストロークがそれらのボックスの1つまたは複数と交差しなくても、または、ストロークがそれらの1つまたは複数に対するスクラッチアウトと見なされなくても、削除される。同様に、単一のストロークを使用して複数の線上にある単語もしくは文字をスクラッチアウトする時、スクラッチアウトされた最初と最後の単語もしくは文字の間にある単語もしくは文字は、たとえストロークがそれらの1つまたは複数と交差しなくても、または、ストロークが交差し、それらの1つまたは複数に関するスクラッチアウトと見なされなくても、削除される。
スクラッチアウトされた単語が最後の単語でない時、その単語が1文字からなっており、かつその前の単語との間にスペースがなければ、次の単語も、スクラッチアウトされる。従って、文章の最後にあるピリオド等の句読点は、スクラッチアウトジェスチャがその前の単語を削除するとスクラッチアウトされが、必ずしも次の単語と交差していなくてもよい。
他の利点は、図面に関連させて行われる以下の詳細な記述から明らかになるであろう。
図1に、本発明を実装することができる適切なコンピューティングシステム環境100の一例を示す。コンピューティングシステム環境100は適切なコンピューティング環境の一例にすぎず、本発明の用途または機能性の範囲に関して、いかなる制限をも示唆することを意図してはいない。さらに、コンピューティング環境100は、例示的動作環境100内で示されたコンポーネントまたはコンポーネントの組み合わせのいずれに関しても、いかなる依存性または要件を有するものと解釈するべきではない。
本発明は、数多くの他の汎用もしくは特殊目的のコンピューティングシステム環境または構成で動作可能である。本発明とともに使用するのに適した周知のコンピューティングシステム、環境、および/または構成は、これらに限定はしないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップ装置、タブレット装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家電製品、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、任意の上記システムもしくは装置を含む分散コンピューティング環境、などを含む。
本発明は、プログラムモジュール等の、コンピュータが実行するコンピュータ実行可能命令の一般的な文脈で記述できる。一般的に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含み、それらは特定のタスクを行うかまたは特定の抽象データ型を実装する。本発明は、さらに、通信ネットワークを通してリンクしたリモート処理装置がタスクを実行する分散コンピューティング環境において実践してもよい。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含むローカルおよびリモートコンピュータ記憶媒体両方に存在してもよい。
図1を参照すると、本発明を実装するための例示的なシステムは、コンピュータ110の形態の汎用コンピューティング装置を含む。コンピュータ110のコンポーネントは、これらに限定はしないが、処理装置120、システムメモリ130、および、システムメモリを含む様々なコンポーネントを処理装置120に結合するシステムバス121を含んでよい。システムバス121は、何種類かのバス構造のいずれかであってよく、それらバス構造には、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスが含まれる。例えば、このようなアーキテクチャは、これらに限定はしないが、業界標準アーキテクチャ(ISA)バス、マイクロチャネルアーキテクチャ(MCA)バス、拡張ISA(EISA)バス、ビデオエレクトロニクス規格協会(VESA)ローカルバス、メザニンバスとしても知られる周辺コンポーネント相互接続(PCI)バスを含む。
コンピュータ110は、通常、様々なコンピュータ読取可能媒体を含む。コンピュータ読取可能媒体は、コンピュータ110がアクセス可能な任意の入手可能な媒体であってよく、揮発性および不揮発性媒体、取り外し可能および固定の媒体を含む。例えば、コンピュータ読取可能媒体は、これらに限定しないが、コンピュータ記憶媒体、および通信媒体を備えてよい。コンピュータ記憶媒体は、コンピュータ読取可能命令、データ構造、プログラムモジュールまたは他のデータ等の情報を格納するための任意の手法または技術で実装された、揮発性および不揮発性、取り外し可能および固定の媒体を含む。コンピュータ記憶媒体は、これらに限定しないが、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)もしくはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または目的の情報を格納するために使用でき、かつコンピュータ110がアクセス可能な任意の他の媒体を含む。通信媒体は、通常、コンピュータ読取可能命令、データ構造、プログラムモジュールまたはその他のデータを、搬送波等の変調データ信号または他のトランスポートメカニズムに具現化するものであり、任意の情報伝達媒体を含む。「変調データ信号」という用語は、信号内の情報を符号化する方法によりその特性の1つまたは複数を設定または変更した信号を意味する。例えば、通信媒体は、これらに限定しないが、有線ネットワークまたは直接有線接続などの有線媒体、および音響、RF、赤外線、およびその他の無線媒体などの無線媒体がある。上記のいずれの通信媒体を組み合わせたものも、コンピュータ読取可能媒体の範囲に含まれる。
システムメモリ130は、読取専用メモリ(ROM)131およびランダムアクセスメモリ(RAM)132等、揮発性および/または不揮発性メモリの形態のコンピュータ記憶媒体を含む。起動時等にコンピュータ110内の要素間の情報転送を補助する基本ルーチンを含む基本入出力システム133(BIOS)は、通常、ROM131に格納される。通常、RAM132は、処理装置120に即座にアクセス可能な、および/または処理装置120が現在操作しているデータおよび/またはプログラムモジュールを含む。例として、図1は、これらに限定しないが、オペレーティングシステム134、アプリケーションプログラム135、他のプログラムモジュール136およびプログラムデータ137を示す。
コンピュータ110は、他の取り外し可能/固定の揮発性/不揮発性コンピュータ記憶媒体も含んでもよい。一例として、図1は、固定の不揮発性磁気媒体へ読み書きするハードディスクドライブ141、取り外し可能な不揮発性磁気ディスク152へ読み書きする磁気ディスクドライブ151、およびCD−ROMまたは他の光媒体等の取り外し可能な不揮発性光ディスク156へ読み書きする光ディスクドライブ155を示す。その例示的な動作環境で使用できる他の取り外し可能/固定の揮発性/不揮発性コンピュータ記憶媒体は、これらに限定しないが、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、半導体RAM、半導体ROMなどを含む。ハードディスクドライブ141は、通常、インタフェース140等の固定のメモリインタフェースを通してシステムバス121に接続され、磁気ディスクドライブ151と光ディスクドライブ155は、通常、インタフェース150等の取り外し可能メモリインタフェースによってシステムバス121に接続される。
上で記述し、図1に示したドライブとそれに関連するコンピュータ記憶媒体は、コンピュータ110のためにコンピュータ読取可能命令、データ構造、プログラムモジュールおよび他のデータを格納する。図1においては、例えば、ハードディスクドライブ141は、オペレーティングシステム144、アプリケーションプログラム145、他のプログラムモジュール146およびプログラムデータ147を格納するとして示されている。これらのコンポーネントは、オペレーティングシステム134、アプリケーションプログラム135、他のプログラムモジュール136、およびプログラムデータ137と同じであってもよいし、異なってもよいことに留意されたい。オペレーティングシステム144、アプリケーションプログラム145、他のプログラムモジュール146、およびプログラムデータ147は、少なくともそれらが異なるコピーであることを示すために、ここでは異なった番号が与えられている。ユーザは、タブレット(電子デジタイザ)164、マイクロフォン163、キーボード162、および、マウス、トラックボールまたはタッチパッドと普通呼ばれるようなポインティング装置161等の入力装置を通してコンピュータ120に命令および情報を入力できる。他の入力装置(図示せず)は、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナ等を含んでよい。これらおよび他の入力装置は、システムバスに結合されるユーザ入力インタフェース160を通して処理装置120に接続されることが多いが、パラレルポート、ゲームポートまたはユニバーサルシリアルバス(USB)等の他のインタフェースおよびバス構造によって接続してもよい。モニタ191または他のタイプの表示装置も、ビデオインタフェース190等のインタフェース経由でシステムバス121に接続される。手書き文字等のデジタル化された入力を、タッチスクリーンインタフェース192等のインタフェース経由でコンピュータシステム110に入力できるタッチスクリーンパネル193等と、モニタ191は統合されてもよい。留意されたいのは、モニタおよび/またはタッチスクリーンパネルは、筐体に物理的に結合することができ、この筐体において、コンピューティング装置110は例えばタブレットタイプパーソナルコンピュータの中に組み込まれることである。タブレットタイプパーソナルコンピュータ内では、タッチスクリーンパネル193が原則的にタブレット164の役割を果たす。さらに、コンピューティング装置110等のコンピュータは、スピーカ195およびプリンタ196等の他の周辺出力装置を含んでもよく、それら周辺出力装置は出力周辺インタフェース194等を通して接続することができる。
コンピュータ110は、リモートコンピュータ180等のリモートコンピュータの1つまたは複数に対する論理接続を使用して、ネットワーク環境内で動作することができる。リモートコンピュータ180は、パーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ピア装置または他の共通ネットワークノードであってよく、図1においてはメモリ記憶装置181のみを示すけれども、通常はコンピュータ110に関して上述した要素の多くまたは全てを含む。図1に描かれている論理接続はローカルエリアネットワーク(LAN)171および広域ネットワーク(WAN)173を含むが、他のネットワークも含んでよい。そのようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネットおよびインターネットにおいてごく普通である。
LANネットワーキング環境において使用されるとき、コンピュータ110はLAN171にネットワークインタフェースまたはアダプタ170を通して接続される。WANネットワーキング環境において使用されるとき、コンピュータ110は、通常、モデム172、またはインターネット等のWAN173上の通信を確立するための他の手段を含む。モデム172は、内部にあっても外部にあってもよく、ユーザ入力インタフェース160または他の適切なメカニズム経由でシステムバス121に接続できる。ネットワーク環境においては、コンピュータ110に関して描かれているプログラムモジュール、またはその一部は、リモートメモリ記憶装置に格納されてよい。図1は、例として、これに限定するわけではないが、メモリ装置181に常駐するとしてリモートアプリケーションプログラム185を示す。図示したネットワーク接続は例示的であり、コンピュータ間に通信リンクを確立する他の手段を使用してもよいことは理解されるであろう。
(スクラッチアウトの検出)
本発明は、主に、電子インク経由で入力されたユーザ入力データ、一般的にはペンデジタイザで電子インクとして受信されたコンピュータペン(スタイラス)入力に関する。一般に、インクはフリーフォーム入力領域で受信でき、そこで単語と認識される。ここで使用される「単語」とは、たとえ実際の単語でなくとも、1つまたは複数の文字、記号等の任意の組み合わせまたは順列であってよく、他の単語から何らかの方法で論理的に分離されるものである。インクはボックス書き込み領域で受信されてもよく、この領域内でボックスあたり(通常)1文字が入力される。単語と文字の入力に加えて、本発明は、スクラッチアウトジェスチャの形の特定の電子インクを検出および区別する。この電子インクは、ユーザが既に入力している単語または文字を消去しようとして入力するもので、例えば、1つまたは複数の既に入力している単語群もしくは文字群を通る線を引くことによって、または削除するべきタイプ(もしくは認識)されているテキストを通る線を引くことによって行われる。その区別は、ジェスチャの位置および水平方向幅を、スクラッチアウトの可能性がある単語または文字の境界に対して評価し、閾値量および閾値比率を使用して、ジェスチャがスクラッチアウトなのか追加のインクなのかを決定する。
理解されるであろうが、本発明は多数の方法で実施でき、ここに記述するのはその代替実施形態のほんの一部にすぎない。例えば、一実施形態では、単語の境界は手書き‐テキスト認識器が判定する。しかしながら、認識器を利用できない時、または認識器がユーザの入力速度に追いつかない時などに、手書き入力間の余白を評価する方法等、単語の境界を画定する他の方法を採用してもよい。実際、本発明に認識器は必要でない。例えば、ユーザは、システムが認識器を有するか否かに関係なく、手書き入力をスクラッチアウトでき、その結果、その手書き入力は消去される。さらに、この例では英単語が使用されているが、本発明は言語独立である。このように、本発明はここで使用される特定の例のいずれにも限定されず、一般にコンピューティングにおいて利点と有利性を提供する様々な方法で使用することができる。
図2はアーキテクチャの例を示す。この例では、ペンデジタイザ202およびタッチデジタイザ204が、適切なドライバ206および208を通して、タブレット入力パネル210と呼ばれるオペレーティングシステムレベルコンポーネントに結合されている。例示目的で、入力装置の各々が自身のドライバを有するとして示されているが、1つのドライバは複数の装置の入力を扱ってもよいことに留意されたい。
図2に示すように、タブレット入力パネル210は、ユーザがストロークに対応する電子インクデータを入力する、手書き入力面212を含むオブジェクト等を備えてよい。既知のように、このようなストロークを認識器216に送信することができ、認識器は例えば1つまたは複数の単語といった、それらのストロークに基づくテキストを返す。複数の単語が返される場合、単語は通常何らかの確率データまたはランキングと関連付けられ、最も可能性の高い単語がデフォルトでユーザのために自動的に選択される。認識は瞬時に起こらないため、任意のある時点では認識されたストロークデータ(テキスト)220と未認識のストロークデータ222が存在することがある。
タブレット入力パネル210は異なる種類の手書き面をサポートする。手書き面はフリーフォーム書き込み領域320(図3)を含み、この書き込み領域は、文字入力に関する編集能力を備えるフリーフォームテキスト認識パネル、ソフト(例えば、QWERTY)キーボード、および、例えばフォーマットされたフィールドを完成するためなどに、手書き文字を個々の文字として入力するボックス入力領域430(図4)として設定(例えば、線引き)してよい。留意して頂きたいのは、インクはフリーフォームインク入力領域で受信できるが、一実施形態においては、ユーザは、線引きされた入力領域へのフリーフォーム書き込みに制限され、その領域ではユーザは1度に1つの線にインクを入力する。このことにより、単語間の境界の判定が容易になる。さもなければ、ユーザが任意の方向におよび/または任意の構成で書くことできるとき、単語間の境界判定はより困難になる。
本発明の様々な態様に従って、スクラッチアウト検出器224は様々な閾値ベースのルールを適用し、スクラッチアウトジェスチャと他のインク入力を区別し、さらに閾値ベースのルールを適用して、スクラッチアウトジェスチャがどの単語またはボックスに向けられているのかを決定する。この目的のため、手書き入力面212は未認識のストロークデータをスクラッチジェスチャ検出器224に提供し、次に、検出器224はそのストロークデータを認識されているストロークデータ(テキスト単語またはテキスト単語群またはボックス内の文字またはボックス内の文字群)220と比較し、ストロークがスクラッチジェスチャを構成するかどうかを判定する。スクラッチアウトジェスチャ検出器224は手書き入力面212に結果を返す。スクラッチアウトジェスチャに関しては、その結果は消去すべき単語群およびストロークまたはストローク群を含む。ノンスクラッチアウトジェスチャに関しては、結果は、ストロークを認識器216に送信されたインクデータの一部として提供するというものである。これはストローク処理の単なる1つのメカニズム例であることに留意されたい。
例えば、代替的なメカニズムは、認識器がユーザより遅く、ストロークを認識しての処理が、ユーザが戻ってそれらのストロークをスクラッチアウトするよりも遅い状況を扱うことができる。例えばジェスチャ認識よりも間隔に基づいて単語境界を評価できるオプション的な(図2中で点線のボックスと線で示される)境界検出器226は、スクラッチアウトを他のジェスチャから区別するためにスクラッチアウトジェスチャ認識検出器224によって使用できる。このような境界検出器226は、例えば認識結果と共になど、他の時にも使用できることに留意されたい。いずれにせよ、何らかの認識前の境界定義がある限り、未認識のストロークにスクラッチアウト検出を代替的に実装することは容易である。
上述のように、他の(例えばニューラルネットワークベースの)システムと違って、本発明のスクラッチアウトジェスチャ検出器224は、決定に単語および文字境界を使用することよって、スクラッチアウトが前もって定義されたスクラッチアウトジェスチャのいずれにも限定されない。例えば、ストロークの方向、ストロークの順序、ジグザグの数に制約はない。その代わりに、スクラッチアウト検出器224は原則的に次の仮定をする。すなわち、線引きされた書き込み領域320内では、スクラッチアウトジェスチャを単語またはボックス内の文字から区別するため、ユーザは(絵や図を描くのではなく)テキストを書き込むだけであると仮定する。従って、数個のスクラッチアウトスタイルのいずれを使用してもよい。スクラッチアウトジェスチャとして認識されるいくつかのスタイルには、取り消し線ジェスチャ、Z形ジェスチャ、垂直スクラッチアウトジェスチャ(例えば、MまたはWという一般的パターン)、円形スクラッチアウトジェスチャ、斜めスクラッチアウトジェスチャ、およびX形ジェスチャもしくは2重取り消し線ジェスチャを含むクロスアウトが含まれる。ユーザの個人的なスクラッチアウトスタイルもスクラッチアウトジェスチャとして機能する、または機能するよう構成できる。
一般に、任意の単一のストロークは、例えば前もって定義された基準やシステムをトレーニングするユーザに基づく基準等、確立された基準に基づいてスクラッチアウトジェスチャとして認識されうる。一実施形態においては、クロスアウト(例えば、X形または2重取り消し線)ジェスチャは、第1ストロークがスクラッチアウトに対して分析されることとなり、第1ストロークがスクラッチアウトと判定されると、以下で記述するように、第2ストロークが消去されるか後のインクストロークとみなされるかは、第2ストロークのスクラッチアウトストロークに対するタイミングと近さに基づいている。従って、2つの(より多くも可能)素早く近いスクラッチアウトストロークは単一のスクラッチアウトとみなされる。一方、スクラッチアウトストロークの後かなり経った後の次のストローク、および/またはスクラッチストロークから遠く離れたスクラッチアウトストロークは新しいインクであるとみなされる。このように、ユーザは他のインクをスクラッチアウトした少し後にインクを入力でき、さらにまた、複数の素早いスクラッチアウトストロークを使用することができる。
インクストロークからスクラッチアウトストロークを区別する基準例は、スクラッチアウトが既に認識されている単語または文字の上にあること、および/またはスクラッチアウトストロークの幅(即ち、ストロークの太さでなく、水平方向の長さ)が既に認識されている単語または文字の幅(水平方向の長さ)に対して一定の割合を有する必要があることを含んでよい。比較のため、境界ボックスを計算してもよい。
一実施形態では、図3に表されている領域320等のフリーフォームの線引きされた書き込み領域においては、ストロークは多くの基準を満たすとき、単語または単語群に関するスクラッチアウトジェスチャと見なされる。フリーフォームの単語入力に対する基準は、スクラッチジェスチャストロークが1つまたは複数の既に認識されている(少なくとも1つの文字を有する)単語と交差すること、および、そのストロークの有する境界ボックス幅が、そのストロークが交差する既に認識されている単語または単語群の境界ボックス幅の少なくとも閾値の割合(例えば、80パーセント)に達することを含む。これは図5A中で一般的に表されており、ストロークの長さが十分でない図5Bと比較して、手書き単語“クリーム”に十分にかかっている長いストロークはスクラッチアウトジェスチャとみなされる。
さらに、この実施形態では、ストロークは単語の境界ボックスと、その境界ボックス幅のいくらかの量(例えば半分)以上交差する必要があり、かつ、例えばスクラッチアウトジェスチャを下線および/または文字のディセンダと混同しないように、スクラッチアウトストロークの一部分は単語または単語群が載る線に対するベースライン上方にあることを必要とする。従って、図6Aおよび図7Aのジェスチャはスクラッチアウトジェスチャであり、図6Bおよび図7Bのはそうではない。ここで、図6Aおよび図6Bにおいて点線は幅方向の中心を示し、図7Aおよび7Bにおける点線はベースラインを示す。
インチやピクセル等のなんらかの閾値距離単位に対して測定したときに幅が短い単語、例えば“it”等の1文字または2文字単語では、上述した閾値割合より大きい閾値割合、通常は単語幅の100パーセントより大きい境界ボックス幅を有するストロークが要求される。例えば、ある実施形態においては、(適切なサイズのタブレット上で)半インチ等の何らかの閾値長に達しない単語に関して、スクラッチアウトジェスチャと見なされるためには、ストローク幅は何らかの他の割合の値、例えば、そのストロークが交差する既に認識されている単語または単語群のボックス幅の(上の例の80パーセントという値ではなく)少なくとも120パーセントといった値等であることが必要である。従って、図8Aの例においては、ストロークはこの基準を満たすが、図8Bでは満たさない。図8Bにおいて、短いストロークは、誤認識後のユーザの“修正”操作等で、小文字の“l”を“T”または“t”に変換する試みのようにある程度みえることに留意されたい。容易に理解できるように、他のサイズ基準は他の割合の値を有してよい。例えば、幅が半インチより大きく3分の2インチ以下の単語をスクラッチアウトする目的で、スクラッチジェスチャと見なされるためには、ストロークは、そのストロークが交差する既に認識されている単語のボックス幅の100パーセント以上のボックス幅を有する必要があり、図6Aおよび図6Bの80パーセント閾値の例でも、図8Aおよび図8Bの120パーセント閾値の例でもない。例えば、幅が半インチ未満の単語に対しては、スクラッチアウトストロークを、その単語の中央垂直軸上に一般的に中寄せする必要があるといったように、他の基準を採用してもよい。
上述のように、別の種類の文章入力面は、図4に表されるようなボックス書き込み領域を備える。ボックス書き込み領域においては、ストロークはそれが一定の他の基準を満たす場合に、ボックスまたはボックス群に関するスクラッチアウトジェスチャと定義される。一実施形態においては、そのような基準は、ストロークが1つまたは複数の既に認識されている文字と交差し、かつ、そのストロークの有するボックス幅が、そのストロークが交差する既に認識されている文字または文字群のボックス幅の少なくともある閾値割合(例えば、120パーセント)であることを含む。さらに、ストロークは、それが交差する文字または文字群に対するボックスまたはボックス群の中央垂直軸(幅の半分)と交わる必要がある。スクラッチアウトストロークの一部分は、文字または文字群が載る線に対するベースラインの上方にあることを必要とする。
スクラッチアウトはボックスの内容全体を削除することに留意されたい。従って、ボックス入力領域内のボックスが複数の文字を含む場合、スクラッチアウトジェスチャはボックス内の全ての文字を削除する。単一ストロークは、複数の線にわたるボックスを含む、複数のボックスをスクラッチアウトできる。
フリーフォームの線引きされた書き込み領域およびボックス書き込み領域に対して一定のルールが適用できる。例えば、単語のクロスアウト(Xアウトまたは2重取り消し線のアプローチ)等のスクラッチアウトスタイルを可能にするため、一定の基準を満たすストロークは、たとえそれが別のインクストロークと交差しなくても、スクラッチアウトジェスチャと見なされる。従って、その前のストロークがスクラッチアウトジェスチャであった時、そのストロークからペンが離れた後、ごく短時間(例えば、1秒)でストロークが追加される場合、そのストロークは同じストロークジェスチャの1部とみなすことができる。評価してよい他の基準は、ストロークが、既にスクラッチアウトされた境界ボックスを結合したものと、その結合した境界ボックスの幅のある割合(例えば、80パーセント)以上交差すること、およびストロークが、交差されたインクストロークの代わりに、既に削除されているインクの境界ボックスを使用して、スクラッチアウトジェスチャであるための他の基準を満たすことを含む。
スクラッチアウトされた単語が最後の単語でない時、次にくる語の長さが1文字で、前の単語との間にスペースがなければ、その語は同様に削除される。従ってピリオドは、たとえ前の単語を削除したスクラッチアウトジェスチャが、ピリオドとは必ずしも交差しなくても、文末でスクラッチアウトされる。
単一のストロークを使用して1本の線上の複数の単語または文字をスクラッチアウトするとき、スクラッチアウトされた最初と最後の単語間または最初と最後の文字間にある単語または文字は、たとえそのストロークがその単語または文字の境界ボックスの1つまたは複数と交差していなくても、または、それらの1つまたは複数に関するスクラッチアウトと見なされなくても、削除される。従って、例えば、図9において、真ん中の単語“Ice”は、ストロークがその単語のベースラインより下にあり、かつ、境界ボックスと十分に交差していないが、単一のジェスチャでスクラッチアウトされた2つの単語間にあるのでスクラッチアウトされる。同様に、単一のストロークを使用して複数の線上にある単語または文字をスクラッチアウトするとき、スクラッチアウトされた最初と最後の単語間もしくは最初と最後の文字間にある単語もしくは文字は、たとえそのストロークがその単語もしくは文字の1つまたは複数と交差しなくても、または交差はするが、その単語もしくは文字の1つまたは複数に関するスクラッチアウトと見なされなくても、削除される。
スクラッチアウト検出メカニズムの動作説明に移る。図10は、ステップ1002によって表される、新しいストロークを受信したときの処理例を示す。ステップ1004は、ストロークが前のスクラッチアウトジェスチャの第2ストロークか否かをテストする。上述のように、第2ストロークは、ユーザが最初のスクラッチアウトジェスチャを行い、ペンを上げ、そして第2ジェスチャを行うときに生じる。上述のように、ステップ1004で考慮事項を使用して、ユーザがマルチストロークジェスチャを意図したのか、それともスクラッチアウトジェスチャに続く新しいストロークを意図したのかを区別する。ストロークがスクラッチアウトジェスチャの第2ストロークである場合、第1ストロークはすでにスクラッチアウトジェスチャであったと判定されているので、スクラッチアウトすべき単語もしくは単語群(またはボックスもしくはボックス群)が分かり、そのため、新しいストロークをステップ1006で自動的に消去することができる。その後、その処理は、別の新しいストロークが検出されると終了する。
ステップ1004に戻って、スクラッチアウトの第2ストロークでない場合、代わってステップ1008を実行し、可能なスクラッチアウトジェスチャを原則的に適用する単語群またはボックス群のリスト、すなわちストロークが交差する単語群またはボックス群のリストを生成する。フリーフォーム(例えば、線引きされた面)入力に関する図11Aおよび図11B、およびボックス入力に関する図13を参照して以下で記述するように、様々な評価を行い、ストロークがスクラッチアウトジェスチャであるか否か、もしそうならばどの単語(群)またはボックス(群)に対してストロークが適用されるのかを判定する。ステップ1008は、本来、ユーザが書いているのがフリーフォーム入力面上かボックス入力面上かの判定を含み、そのステップ1008経由で呼び出された場合、図11Aおよび11Bは0個以上の単語リストを生成して返す。ステップ1008経由で代替的に呼び出された場合、図13は0個以上のボックスのリストを生成して返す。
図11Aと図11Bまたは図13を呼び出した後、必要に応じて、ステップ1010は単語またはボックスのリストが空か否かを評価する。空の場合、ステップ1010はステップ1012に分岐し、ストロークをインクストロークとして扱う。空でない場合、ステップ1014を実行し、ストロークおよび、リスト中の単語またはボックスを消去する。その後、処理は終了する。
上述したように、図11Aおよび図11Bに示すのは、ユーザが新しいストロークをフリーフォーム入力面上に入力するときに呼び出される処理の一部である。この処理は、ストロークがスクラッチアウトジェスチャか否かを判定し、スクラッチアウトジェスチャの場合、削除すべき単語のリストを生成する。この目的のため、図11Aおよび図11Bは、閾値評価に基づいた単語ルールを含む様々なルールに対してストロークを評価する。この閾値評価については、図12Aおよび図12Bを参照して以下で一般的に記述する。
図11Aは、ストロークが複数の線と交差するか否かをステップ1102で判定することにより評価を開始する。ストロークが複数の線と交差する場合、ステップ1104で線の境界を1本の線から複数の線へ変更する。この変更は、原則的に、全ての単語に対する仮想インク境界ボックスを、ストロークが交差する最も上の線の上端および最も下の線の下端まで延ばすことによって行う。複数の線と交差しない場合、ステップ1104はバイパスされる。
その後、ステップ1106は、通常閾値でストロークと交差する境界ボックスを有する線にある全ての単語を、少なくとも現時点ではリストに追加する。単語がストロークと交差するには、境界ボックスがストロークと一定閾値量で交差することが要求される。
ステップ1108は、リストが1つの単語のみを含むか否かをテストする。リストが含む単語が1つでなければ、処理は以下で記述するように図11Bに続く。そうでなければ、リスト内には1つの単語のみが存在し、ステップ1110を実行する。ステップ1110は、上述したように、また、図12Aおよび図12Bを参照して以下で記述するように、ストローク長、およびストローク長が少なくとも境界ボックスの中心まで延びているか否かをテストする。延びていない場合、スクラッチアウトする単語はなく、処理は図10に戻り、終了する。延びている場合、処理は図11Bに続く。
図11Bは、例外をテストする。すなわち、リスト中の最後の単語に、後ろにスペースのない1文字単語が続くか否かというテストをする。同様に、最初の単語は先行文字に対して評価される。上述したように、これは、ピリオド、クエスチョンマーク、感嘆符、アポストロフィ、コンマ、引用符等の(単語の前後の)句読点、およびそれ以外の文字を扱う。先行および後続の1文字単語を処理することは、言語独立性も助けることに留意されたい。例えば、スペイン語のクエスチョンマーク文字は、クエスチョンマーク文字(“?”)が文章を終わらせるように現れる方法に対して、文章の前に上下逆で現れる。これは、さらに、アラビア語ベースの言語またはヘブライ語等、右から左(RTL)の言語においてスクラッチアウト動作を扱う。1文字単語は、ある単語の一部である可能性があるので、ステップ1120はこの状況を探す。この状況が発見された場合、先行および/または後続の1文字単語(または単語群)をステップ1122でリストに追加する。
ステップ1124は複数の線にわたるスクラッチアウトを探して(1本の線上にある最初の単語と最後の単語の間に単語が存在するか否かを探すこともできるが)、複数の線にわたるスクラッチアウトがある場合、スクラッチアウトされる最初の単語と最後の単語間にある単語は全てリストに加える。この時点で、削除すべき単語のリストが分かり、処理は図10のステップ1010に戻る。
図12Aおよび図12Bは、1本の線上の、1つの単語のスクラッチアウトの評価の例をより詳細に表す。図12において、以下の略語を使用する。
Figure 2006260573
図12Aにおいて、ステップ1202は単語のインク境界ボックスを、例えば上述のように半インチといった、最小値に対して評価する。最小値を下回れば、ステップ1202はステップ1204に分岐し、そこでスクラッチアウトストローク幅を、単語幅に対するスクラッチアウトストローク幅の閾値と(例えば割合で)比較する。閾値を上回る場合、処理は以下に記述するように図12Bへ続く。上回らない場合、ステップ1204は、ステップ1210に分岐し、単語はそのリストに含まれない。
ステップ1202に戻って、最小値に達する場合、ステップ1206が実行され、単語のインク境界ボックスを、その単語のインク境界ボックスの閾値に対して評価する。閾値未満の場合、ステップ1206はステップ1208に分岐し、そこでスクラッチアウトストロークの幅をさらなる基準に対して評価する。ステップ1208で表されているように、ストローク幅は最小スクラッチアウトストローク幅以上であることを必要とし、かつ単語のインク境界ボックスに、その単語幅に関するスクラッチアウトストローク幅の割合の閾値を掛けた値より大きい必要がある。そうでなければ、その単語はステップ1210経由ではリストに含まれない。ステップ1208で両方の基準を満たす場合、以下で記述するように処理は図12B経由で評価を続ける。
ステップ1206に戻って、インク境界ボックスが閾値を超えるとき、ステップ1212が実行され、その境界ボックスをその単語の境界ボックスの閾値(単語T1<T2)に対して比較する。単語T1<T2の場合、処理はステップ1214へと続き、単語T1<T2でなければ、処理は通常閾値に対するハンドラであるステップ1216へと続く。ステップ1216で、スクラッチアウトストロークの幅を、その単語のインク境界ボックスの閾値に単語幅T2に関するスクラッチアウトストローク幅の閾値(割合)を掛けたものに対して評価を行い、さらに単語のインク境界ボックス、およびT2より大きい単語幅に関するスクラッチアウトストローク幅の閾値(割合)とも評価を行う。ストローク幅が両方閾値未満の場合、その単語はステップ1218経由ではリストに含まれず、ストローク幅が両方閾値以上の場合、処理はストロークデータをさらに処理するために図12Bへと続く。
ステップ1212の“はい”分岐は代わりにステップ1214に分岐し、スクラッチアウトストロークの幅を分析する。詳細にいうと、ステップ1214では、スクラッチアウトストロークは、その単語のインク境界ボックスの閾値に、単語幅に関するスクラッチアウトストローク幅の割合の閾値を掛けたものと少なくとも同じ幅である必要があり、かつ、境界ボックスに、その単語幅に関するスクラッチアウトストローク幅の割合閾値を掛けたものと少なくとも同じ幅であることを必要とする。その要件を満たさない場合、その単語はステップ1218経由ではリストに含まれず、満たす場合、処理は図12Bへと続く。
図12Bで、ステップ1220は複数の線のスクラッチアウトに関するストロークを評価する。複数の線のスクラッチアウトの場合、単語はステップ1226経由でスクラッチアウトリストに追加され、処理は原則的に図11Aのステップ1110に戻る。複数の線のスクラッチアウトでなければ、ステップ1224は、スクラッチアウトストロークが単語の境界ボックスに対して中央寄せ(例えば、ストロークのいくらかの部分が垂直軸と交わる)されたか否かを判定する。中央寄せされていれば、単語はスクラッチアウトリストにステップ1226経由で追加される。中央寄せされていなければ、単語はステップ1228経由ではリストに含まれない。以上のように、フリーフォームで入力された単語はこのように、境界ボックスおよび可能な単数および複数のスクラッチアウトストロークに関する様々な閾値ルールに基づいて扱われる。従って、様々なスタイルのストロークが、スクラッチアウトストロークとして受け入れ可能である。
図10のステップ1008に戻ると、ステップ11A経由での処理の代わりに、ボックス入力領域に対してリストを図13経由で生成する。ステップ1302は、通常閾値でストロークと交差するテキストを有するボックスを、一般的に図14経由で判定されるように、リストに追加することを表す。図14において、以下の略語を使用する。
Figure 2006260573
処理はステップ1402で始まり、ボックス幅が、広いボックスの閾値を超えているか否かを評価する。超えていれば、ステップ1404は、ボックス幅に通常ボックスに関するスクラッチアウトストローク幅の割合の閾値を掛けた値に対してストローク幅を比較する。ステップ1404でストローク幅が十分に長い場合、ステップ1404はステップ1410に分岐して、ボックスをリストに追加する。そうでない場合、ボックスはリストに含まれない。
代わりにステップ1402で、ボックス幅が、広いボックスの閾値を超えなかった場合、ステップ1402はステップ1406に分岐し、ボックス幅と広いボックスに関するスクラッチアウトストローク幅の割合の閾値を掛けた積に対してストローク幅を比較する。ストローク幅がこの閾値に達する場合、ボックスはステップ1410でリストに追加され、達しない場合、ボックスはステップ1408経由ではリストに含まれない。
図13に戻って、ステップ1304はストロークが複数の線と交差するか否かを判定する。複数の線と交差する場合、ステップ1306を実行し、間にあるボックスがリストに含まれる。複数の線と交差しない場合、そのステップはバイパスされる。いずれにせよ、ステップ1308で表されるように、削除すべき(0個以上の)ボックスのリストは現時点で完成しており、処理は図10に戻って、リストは上述のように使用される。このように、ボックス書き込み領域内のスクラッチアウトジェスチャは、様々なスクラッチアウトジェスチャの検出を可能にする境界/閾値ベースの方法で、同様に扱われる。
前述の詳細な記述から分かるように、境界ボックスと閾値を使用してスクラッチアウトジェスチャに関するユーザの意図を評価する方法およびシステムを提供する。スクラッチアウトジェスチャのスタイルは、スクラッチアウトジェスチャを他のインク入力から区別するために、ほとんど制限を受けず、手書き時に、ユーザのより良いペン操作が可能になる。
本発明は様々な修正および代替構成が可能であるが、本発明の特定の実施形態を図面で示し、詳細に記述してきた。しかしながら、理解していただきたいのは、本発明を開示した特定の形態または形態群に限定する意図はなく、それとは反対に、本発明の精神と範囲に収まる修正、代替構成、および等価物の全てを包含することを意図するものである。
本発明を組み込むことができる例示的コンピュータシステムを表すブロック図である。 本発明の様々な態様に従って、ペン入力を含むユーザ入力を扱うため、およびスクラッチアウトジェスチャを検出するためのコンポーネントを一般的に表すブロック図である。 本発明の様々な態様に従ってスクラッチアウトジェスチャを入力できるフリーフォームの(線引きされた)書き込み領域の例を表した図である。 本発明の様々な態様に従ってスクラッチアウトジェスチャを入力できるボックス書き込み領域の例を表した図である。 本発明の様々な態様に従って様々な基準に基づいて決定されるスクラッチアウトジェスチャおよびノンスクラッチアウトジェスチャの例を表した図である。 本発明の様々な態様に従って様々な基準に基づいて決定されるスクラッチアウトジェスチャおよびノンスクラッチアウトジェスチャの例を表した図である。 本発明の様々な態様に従って様々な基準に基づいて決定されるスクラッチアウトジェスチャおよびノンスクラッチアウトジェスチャの例を表した図である。 本発明の様々な態様に従って様々な基準に基づいて決定されるスクラッチアウトジェスチャおよびノンスクラッチアウトジェスチャの例を表した図である。 本発明の様々な態様に従って様々な基準に基づいて決定されるスクラッチアウトジェスチャおよびノンスクラッチアウトジェスチャの例を表した図である。 本発明の様々な態様に従って様々な基準に基づいて決定されるスクラッチアウトジェスチャおよびノンスクラッチアウトジェスチャの例を表した図である。 本発明の様々な態様に従って様々な基準に基づいて決定されるスクラッチアウトジェスチャおよびノンスクラッチアウトジェスチャの例を表した図である。 本発明の様々な態様に従って様々な基準に基づいて決定されるスクラッチアウトジェスチャおよびノンスクラッチアウトジェスチャの例を表した図である。 本発明の様々な態様に従って様々な基準に基づいて決定されるスクラッチアウトジェスチャおよびノンスクラッチアウトジェスチャの例を表した図である。 本発明の様々な態様に従って、スクラッチアウトジェスチャを他のインクから区別するため、およびスクラッチアウトジェスチャが検出された際に削除する1つまたは複数の単語またはボックスのリストを構築するための、ステップの例を一般的に表すフロー図である。 本発明の様々な態様に従って、スクラッチアウトジェスチャを他のインクから区別するため、およびスクラッチアウトジェスチャが検出された際に削除する1つまたは複数の単語またはボックスのリストを構築するための、ステップの例を一般的に表すフロー図である。 本発明の様々な態様に従って、スクラッチアウトジェスチャを他のインクから区別するため、およびスクラッチアウトジェスチャが検出された際に削除する1つまたは複数の単語またはボックスのリストを構築するための、ステップの例を一般的に表すフロー図である。 本発明の様々な態様に従って、スクラッチアウトジェスチャを他のインクから区別するため、およびスクラッチアウトジェスチャが検出された際に削除する1つまたは複数の単語またはボックスのリストを構築するための、ステップの例を一般的に表すフロー図である。 本発明の様々な態様に従って、スクラッチアウトジェスチャを他のインクから区別するため、およびスクラッチアウトジェスチャが検出された際に削除する1つまたは複数の単語またはボックスのリストを構築するための、ステップの例を一般的に表すフロー図である。 本発明の様々な態様に従って、スクラッチアウトジェスチャを他のインクから区別するため、およびスクラッチアウトジェスチャが検出された際に削除する1つまたは複数の単語またはボックスのリストを構築するための、ステップの例を一般的に表すフロー図である。 本発明の様々な態様に従って、スクラッチアウトジェスチャを他のインクから区別するため、およびスクラッチアウトジェスチャが検出された際に削除する1つまたは複数の単語またはボックスのリストを構築するための、ステップの例を一般的に表すフロー図である。
符号の説明
320 フリーフォーム書き込み領域
430 ボックス入力領域

Claims (21)

  1. デジタイザを介して入力されたインクデータに対応するユーザ入力を受信するステップと、
    少なくとも1つの対応する単語または文字の境界閾値データに基づいて、前記インクデータを評価して、前記ユーザ入力がスクラッチアウトジェスチャか否かを判定するステップと、
    a)前記インクデータがスクラッチアウトジェスチャの場合、前記スクラッチアウトジェスチャに対応する既に入力されているインクを消去するステップと、
    b)前記インクデータがスクラッチアウトジェスチャでない場合、前記インクデータを単語または文字の少なくとも一部のインクストロークデータとして処理するステップと
    を有することを特徴とするコンピューティング装置における、コンピュータ実装方法。
  2. デジタイザを介して入力されたインクデータに対応するユーザ入力の受信は、コンピュータペン入力のデータの受信に対応することを特徴とする請求項1に記載の方法。
  3. 前記インクデータは、フリーフォーム書き込み領域において、可能なスクラッチアウトジェスチャとして受信され、前記境界閾値データは、既に入力されている単語または文字の境界ボックスに基づき、および前記インクデータを評価するステップは、前記ジェスチャの幅を前記境界ボックスの幅に対して比較するステップを含むことを特徴とする請求項1に記載の方法。
  4. 前記インクデータを境界閾値データに基づいて評価するステップは、既に入力されている単語または文字の境界ボックス内に、ある特定の点を越えて前記ジェスチャが延びているか否かを判定するステップを含むことを特徴とする請求項1に記載の方法。
  5. 前記インクデータは、可能なスクラッチアウトジェスチャとしてフリーフォーム書き込み領域で受信され、前記境界閾値データは、既に入力されている単語または文字の境界ボックスに基づき、および前記インクデータを評価するステップは、前記境界ボックスの幅を最小の大きさと比較し、前記境界ボックスの幅が前記最小の大きさを下回る場合、第1の閾値を前記ジェスチャの幅との比較用に選択し、前記境界ボックスの幅が前記最小の大きさを上回る場合、異なる閾値を前記ジェスチャの幅との比較用に選択するステップを含むことを特徴とする請求項1に記載の方法。
  6. 前記インクデータを評価するステップは、前記ジェスチャの少なくとも一部分が既に入力されている単語または文字のベースラインの上方にあるか否かを判定するステップを含むことを特徴とする請求項1に記載の方法。
  7. 前記インクデータは、少なくとも2つの別個の単語または文字に対して適用するスクラッチアウトジェスチャであることを判定し、および前記別個の単語または文字に対応する既に入力されているインクを消去するステップと、前記別個の単語または文字の間に入る単語または文字の全てを消去するステップとをさらに有することを特徴とする請求項1に記載の方法。
  8. 前記ジェスチャは、少なくとも1つの別個の追加ジェスチャストロークを含み、前記インクデータを評価するステップは、前記ジェスチャの第1ストロークを評価して前記インクデータがスクラッチアウトジェスチャであるか否かを判定し、スクラッチアウトジェスチャと判定された場合、前記ジェスチャの追加ストロークの各々を、該追加ストロークの各々を消去することを含めて、前記ジェスチャの第1ストロークの一部として処理するステップを含むことを特徴とする請求項1に記載の方法。
  9. 前記インクデータをインクストロークデータとして処理するステップは、前記インクデータを認識器に送信するステップを含むことを特徴とする請求項1に記載の方法。
  10. 前記インクデータは、可能なスクラッチアウトジェスチャとしてボックス書き込み領域で受信され、および前記境界閾値データは、前記ストロークが交差する既に認識されている文字のボックス幅に基づくことを特徴とする請求項1に記載の方法。
  11. 前記インクデータを境界閾値データに基づいて評価するステップは、前記ジェスチャが閾値距離を超えて前記ボックス内に延びているか否かを判定するステップを含むことを特徴とする請求項1に記載の方法。
  12. 実行時に請求項1に記載の方法を行う、コンピュータ実行可能命令を有するコンピュータ読取可能媒体。
  13. デジタイザを介して受信されたインクデータを、単語または文字の境界コンテナの境界に対応する境界ベースの基準を使用して評価し、前記ユーザ入力がスクラッチアウトジェスチャか否かを判定するステップと、
    前記基準を満たすとき、前記スクラッチアウトジェスチャに対応する位置にある既に入力されているインクを消去することを含めて、前記インクデータをスクラッチアウトジェスチャとして処理するステップと、
    前記基準を満たさないとき、前記インクデータを単語または文字の少なくとも一部分のインクストロークとして処理するステップと
    を有するステップを実行時に行うことを特徴とするコンピュータ実行可能命令を有するコンピュータ読取可能媒体。
  14. 前記インクデータを評価するステップは、前記基準を満たすか否かを前記インクデータの水平方向のストローク幅と前記境界コンテナの水平方向の幅との比率に基づいて判定することを特徴とする請求項13に記載のコンピュータ読取可能媒体。
  15. 前記境界コンテナは、フリーフォーム書き込み領域内のインク経由で入力された単語を論理的に囲む境界ボックス含み、および前記インクデータを評価するステップは、前記境界ボックスの水平方向の幅と、距離に対応する固定値との閾値比率を選択するステップを含むことを特徴とする請求項14に記載のコンピュータ読取可能媒体。
  16. デジタイザからの電子インクを受信する手書き面コンポーネントと、
    単語または文字の境界に対応する境界情報を提供するコンポーネントと、
    前記手書き面コンポーネントと、前記境界情報を提供するコンポーネントとに結合されたスクラッチアウトジェスチャ検出器であって、前記手書き面で受信した電子インクを前記境界情報に基づく基準に対して評価して、前記電子インクがスクラッチアウトジェスチャに対応するか否かを判定する前記スクラッチアウトジェスチャ検出器と
    を備えたことを特徴とするコンピューティング装置におけるシステム。
  17. 境界情報を提供する前記コンポーネントは、手書き認識器を含むことを特徴とする請求項16に記載のシステム
  18. 前記基準は、一群の基準のうち少なくとも1つの基準を含み、前記一群の基準は、前記電子インクが1つまたは複数の既に認識されている単語または文字と交差するか否か、前記電子インクの有する境界ボックス幅が、電子インクが交差する少なくとも1つの既に認識されている単語または文字の境界ボックス幅の少なくとも閾値割合であるか否か、前記電子インクは、電子インクが交差する少なくとも1つの既に認識されている単語または文字の境界ボックス内に閾値の範囲を超えて延びているか否か、および前記電子インクの少なくともいくらかの部分が、電子インクが交差する少なくとも1つの既に認識されている単語または文字のベースラインの上方にあるか否かを含むことを特徴とする請求項16に記載のシステム。
  19. 手書き面コンポーネントは、フリーフォーム書き込み領域またはボックス書き込み領域に対応することを特徴とする請求項16に記載のシステム。
  20. 前記インクデータを評価するステップは、前記インクデータの水平方向のストロークが一定の水平範囲を超えて前記境界ボックス内に延びているか否かに基づいて、前記基準が満たされているか否かを判定することを特徴とする請求項13に記載のコンピュータ読取可能媒体。
  21. 前記インクデータを評価するステップは、スクラッチアウトジェスチャに対する前記基準を満たしていることを判定し、および既に入力されているインクを消去するステップは、消去される他の2つの単語または2つの文字の間にある少なくとも1単語または1文字を消去するステップ、および/または消去される単語の直前または直後にある1文字単語を消去するステップを含むことを特徴とする請求項13に記載のコンピュータ読取可能媒体。
JP2006075332A 2005-03-17 2006-03-17 単語または文字の境界ベースのスクラッチアウトジェスチャ認識 Expired - Fee Related JP4936753B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/083,773 2005-03-17
US11/083,773 US7551779B2 (en) 2005-03-17 2005-03-17 Word or character boundary-based scratch-out gesture recognition

Publications (3)

Publication Number Publication Date
JP2006260573A true JP2006260573A (ja) 2006-09-28
JP2006260573A5 JP2006260573A5 (ja) 2010-02-12
JP4936753B2 JP4936753B2 (ja) 2012-05-23

Family

ID=36204759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006075332A Expired - Fee Related JP4936753B2 (ja) 2005-03-17 2006-03-17 単語または文字の境界ベースのスクラッチアウトジェスチャ認識

Country Status (5)

Country Link
US (1) US7551779B2 (ja)
EP (1) EP1703364B1 (ja)
JP (1) JP4936753B2 (ja)
KR (1) KR101203321B1 (ja)
CN (1) CN1834872B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014174665A1 (ja) * 2013-04-26 2014-10-30 株式会社 東芝 システムおよび筆跡検索方法
JP2015026307A (ja) * 2013-07-29 2015-02-05 富士通株式会社 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置
JP2015072622A (ja) * 2013-10-03 2015-04-16 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2017215807A (ja) * 2016-05-31 2017-12-07 富士ゼロックス株式会社 プログラムおよび情報処理装置

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970210B2 (en) * 2005-10-17 2011-06-28 Is2Be Method of and apparatus for capturing, recording, displaying and correcting information entered on a printed form
KR100771626B1 (ko) * 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
JP5034398B2 (ja) * 2006-09-14 2012-09-26 富士通株式会社 文字認識プログラム、文字認識方法および文字認識装置
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
CN101601050B (zh) * 2007-04-27 2019-09-20 神形互联有限公司 对字进行预览和选择的系统及方法
US8661340B2 (en) 2007-09-13 2014-02-25 Apple Inc. Input methods for device having multi-language environment
US8232973B2 (en) 2008-01-09 2012-07-31 Apple Inc. Method, device, and graphical user interface providing word recommendations for text input
US8700984B2 (en) * 2009-04-15 2014-04-15 Gary Siegel Computerized method and computer program for displaying and printing markup
KR101678549B1 (ko) * 2010-02-02 2016-11-23 삼성전자주식회사 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
US8749531B2 (en) * 2010-03-31 2014-06-10 Blackberry Limited Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
US20110307840A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures
US20120092268A1 (en) * 2010-10-15 2012-04-19 Hon Hai Precision Industry Co., Ltd. Computer-implemented method for manipulating onscreen data
CN102467297A (zh) * 2010-11-11 2012-05-23 富泰华工业(深圳)有限公司 具文本输入功能的电子装置及方法
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
CN102455869B (zh) * 2011-09-29 2014-10-22 北京壹人壹本信息科技有限公司 一种利用手势编辑文字的方法及装置
KR101457116B1 (ko) * 2011-11-07 2014-11-04 삼성전자주식회사 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법
JP5822677B2 (ja) * 2011-11-24 2015-11-24 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation デジタルペンを用いて手書き可能な物理的媒体上の情報を修正することによって、記憶手段内に格納された情報を修正する方法、並びに、その装置及びコンピュータ・プログラム
US9075519B2 (en) 2012-10-11 2015-07-07 Apple Inc. System and method for interacting with a displayed work space
US20140223382A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Z-shaped gesture for touch sensitive ui undo, delete, and clear functions
KR20140139247A (ko) * 2013-05-27 2014-12-05 삼성전자주식회사 오브젝트 운용 방법 및 그 전자 장치
CN104346066A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种信息处理方法和电子设备
US20160154555A1 (en) * 2014-12-02 2016-06-02 Lenovo (Singapore) Pte. Ltd. Initiating application and performing function based on input
US10614300B2 (en) * 2014-12-23 2020-04-07 Lenovo (Singapore) Pte. Ltd. Formatting handwritten content
JPWO2016170691A1 (ja) * 2015-04-24 2018-02-01 富士通株式会社 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法
CN105279506B (zh) * 2015-09-29 2018-07-03 大连民族大学 满文单词中轴线的定位方法
US9940513B2 (en) * 2016-03-11 2018-04-10 Microsoft Technology Licensing, Llc Intuitive selection of a digital stroke grouping
KR102548083B1 (ko) 2016-03-14 2023-06-27 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102551568B1 (ko) 2016-07-11 2023-07-06 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108132725A (zh) * 2016-12-01 2018-06-08 珠海金山办公软件有限公司 一种识别触碰轨迹的方法及装置
US10402642B2 (en) * 2017-05-22 2019-09-03 Microsoft Technology Licensing, Llc Automatically converting ink strokes into graphical objects
US10429954B2 (en) 2017-05-31 2019-10-01 Microsoft Technology Licensing, Llc Multi-stroke smart ink gesture language
US11543888B2 (en) 2019-06-27 2023-01-03 Google Llc Intent detection with a computing device
EP4130966A1 (en) * 2019-11-29 2023-02-08 MyScript Gesture stroke recognition in touch-based user interface input
US11531454B2 (en) 2020-12-10 2022-12-20 Microsoft Technology Licensing, Llc Selecting content in ink documents using a hierarchical data structure
US11587346B2 (en) * 2020-12-10 2023-02-21 Microsoft Technology Licensing, Llc Detecting ink gestures based on spatial and image data processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283109A (ja) * 1997-04-01 1998-10-23 Casio Comput Co Ltd 筆記データ入力装置およびそのプログラム記録媒体
JP2001014096A (ja) * 1999-06-25 2001-01-19 Toshiba Corp ペン入力装置、及び同装置に於ける文字入力方法
JP2003115032A (ja) * 2001-10-05 2003-04-18 Fujitsu Ltd 手書き文字入力装置及びそれを実現するプログラム
JP2004062891A (ja) * 2002-06-28 2004-02-26 Microsoft Corp フリーフォーム文書エディタ用のライティングガイドを表示するための方法
JP2005004732A (ja) * 2003-06-09 2005-01-06 Microsoft Corp ペンの動きに関連するパラメータを検討することによるドウェルジェスチャの検出

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US5666139A (en) * 1992-10-15 1997-09-09 Advanced Pen Technologies, Inc. Pen-based computer copy editing apparatus and method for manuscripts
US5500937A (en) * 1993-09-08 1996-03-19 Apple Computer, Inc. Method and apparatus for editing an inked object while simultaneously displaying its recognized object
JPH07160827A (ja) * 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 手書きストローク編集装置及び方法
US5991441A (en) * 1995-06-07 1999-11-23 Wang Laboratories, Inc. Real time handwriting recognition system
US7036077B2 (en) * 2002-03-22 2006-04-25 Xerox Corporation Method for gestural interpretation in a system for selecting and arranging visible material in document images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283109A (ja) * 1997-04-01 1998-10-23 Casio Comput Co Ltd 筆記データ入力装置およびそのプログラム記録媒体
JP2001014096A (ja) * 1999-06-25 2001-01-19 Toshiba Corp ペン入力装置、及び同装置に於ける文字入力方法
JP2003115032A (ja) * 2001-10-05 2003-04-18 Fujitsu Ltd 手書き文字入力装置及びそれを実現するプログラム
JP2004062891A (ja) * 2002-06-28 2004-02-26 Microsoft Corp フリーフォーム文書エディタ用のライティングガイドを表示するための方法
JP2005004732A (ja) * 2003-06-09 2005-01-06 Microsoft Corp ペンの動きに関連するパラメータを検討することによるドウェルジェスチャの検出

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014174665A1 (ja) * 2013-04-26 2014-10-30 株式会社 東芝 システムおよび筆跡検索方法
JP2015026307A (ja) * 2013-07-29 2015-02-05 富士通株式会社 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置
JP2015072622A (ja) * 2013-10-03 2015-04-16 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2017215807A (ja) * 2016-05-31 2017-12-07 富士ゼロックス株式会社 プログラムおよび情報処理装置

Also Published As

Publication number Publication date
EP1703364A3 (en) 2012-07-25
CN1834872B (zh) 2010-06-16
JP4936753B2 (ja) 2012-05-23
KR20060101239A (ko) 2006-09-22
EP1703364B1 (en) 2018-02-28
CN1834872A (zh) 2006-09-20
KR101203321B1 (ko) 2012-11-20
US20060210163A1 (en) 2006-09-21
EP1703364A2 (en) 2006-09-20
US7551779B2 (en) 2009-06-23

Similar Documents

Publication Publication Date Title
JP4936753B2 (ja) 単語または文字の境界ベースのスクラッチアウトジェスチャ認識
US9911052B2 (en) System and method for superimposed handwriting recognition technology
US10007859B2 (en) System and method for superimposed handwriting recognition technology
JP7065023B2 (ja) 手書き図入力を導くシステム及び方法
JP7105695B2 (ja) デジタルインク対話性のためのシステムおよび方法
JP6987067B2 (ja) 複数の入力管理のためのシステムおよび方法
JPH1083245A (ja) コンピュータでジェスチャと手書き文字を区別する方法及びシステム
US10996843B2 (en) System and method for selecting graphical objects
JPH1069344A (ja) コンピュータでジェスチャと手書き文字を区別する方法及びシステム
KR20180077152A (ko) 핸드라이팅 입력을 가이드하는 시스템 및 방법
JP2011511370A (ja) ダイナミックソフトキーボード
US7142715B2 (en) Arabic handwriting recognition using feature matching
US20190196712A1 (en) Systems and Methods for Facilitating Data Entry into Small Screen Electronic Devices
JP2019508770A (ja) デジタルインクを美しくするためのシステム及び方法
JP6735775B2 (ja) 重畳手書き入力認識技術のためのシステム及び方法
JP6772629B2 (ja) 情報処理装置、文字入力プログラムおよび文字入力方法
KR102138095B1 (ko) 음성 명령 기반의 가상 터치 입력 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110722

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111021

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4936753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees