JP2013546081A - 重ね書き入力に関する方法,装置,コンピュータプログラム製品 - Google Patents

重ね書き入力に関する方法,装置,コンピュータプログラム製品 Download PDF

Info

Publication number
JP2013546081A
JP2013546081A JP2013541170A JP2013541170A JP2013546081A JP 2013546081 A JP2013546081 A JP 2013546081A JP 2013541170 A JP2013541170 A JP 2013541170A JP 2013541170 A JP2013541170 A JP 2013541170A JP 2013546081 A JP2013546081 A JP 2013546081A
Authority
JP
Japan
Prior art keywords
segment
code
computer program
response
program product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013541170A
Other languages
English (en)
Inventor
イエンミーン ゾウ
イーンフェイ リウ
シエンタオ チェン
イーン リウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2013546081A publication Critical patent/JP2013546081A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

本発明の実施形態は、重ね書き入力(Overlapped Handwriting)で使用される方法,装置,コンピュータプログラム製品に関する。この方法は、重ね書き入力のセグメント化により得られた少なくとも一つのセグメントが表示されることを生じさせることと;前記セグメント化を訂正するための要求を受け取ることと;前記受け取った要求に応じて、前記少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得ることと;を含む。

Description

本発明の実施形態は、一般的には情報処理に関する。より詳細には、本発明の実施形態は、重ね書き入力(Overlapped Handwriting)に関する方法,装置,コンピュータプログラム製品に関する。
発明の背景
知られているように、手書き入力は、デスクトップコンピュータやタブレットコンピュータ、ラップトップコンピュータ、PDF、携帯電話のような電子機器に情報を入力する方法として、自然で便利なメカニズムである。特に、テキストを入力するために、適切な文字認識エンジンと共に手書き入力を使用することができる。それは、様々な目的に対して利用可能であり、例えば電子機器内で文字を編集したり処理したりするために使用することができる。
手書き入力処理において、ユーザは書くためのツールを利用して、書くことを行うかもしれない。そのようなツールはスタイラスであったりペンであったり、又は単に指であったりするだろう。そのようなツールを利用して、通常の紙に書くように、目的のデバイスの上で書くことを行うかもしれない。手書き領域における当該ツールの軌跡(以下ペンの軌跡という)は記録され、それに対して一つ又は複数の文字認識エンジンが適当な文字認識アルゴリズムを実行し、記録されたペンの軌跡を文字に変換する。既に、利用可能な文字認識アルゴリズムや文字認識のため製品がいくつか利用可能である。これらは例えば、形態的な認識に基づいていたり、隠れマルコフモデルのような統計モデルに基づいていたり、ニューラルネットワークに基づいていたりする。その自然さ及び便利さのため、手書き入力はますます多くのコンピューティングデバイスで使用されるようになってきており、特に携帯端末においてよく使用されるようになってきている。
最近、重ね書き入力(Overlapped Handwriting)と呼ばれる技術が提案された。この技術は、ユーザが単一の手書き領域に1つ以上の文字を続けて書くことを可能にする。図1に描かれるように、入力される個々の文字は、前に入力された文字の上に重ねられる。重ね書き入力を使用することにより、ユーザは、個々の文字を認識するためのタイムアウトを待たずに連続して書くことができる。このため、複数の文字を中断なしに一度にスムーズに書くことができ、処理の効率も向上させることができる。また、連続した手書き入力をサポートするために複数の手書き領域を用意するタイプの別の手書き入力ソリューションに比べて、重ね書き入力によるソリューションは、比較的小さな手書き領域しか必要とせず、それはサイズが限られたデバイスにとって非常に重要なことである。
図1には、重ね書き入力の一般的なプロセスを例示した高次レベルの概略図が示されている。図示されるように、重ね書き入力においては、ストロークにより構成される少なくとも一つの文字のためのペンの軌跡102が、少なくとも一つのセグメント104へと分割される。このプロセスはセグメント化と呼ばれる。すると認識エンジンは、一つ又は複数のセグメントを認識された文字106へと変換し、それを出力する。先行技術においては、セグメント化処理はバックグラウンドで実行される。言葉を変えれば、重ね書き入力された元のものはユーザに表示されず、直接認識される。通常、セグメント化及び認識は、特定の言語モデルのサポートを得て同時に実行される。このとき、認識エンジンは、入力されたペンの軌跡及び対応するセグメント化の結果に基づいて、最も意味のある文字を出力することが期待される。もちろん、最終的な認識精度はセグメント化処理の質に大きく依存する。
理想的には、認識された文字列は、ユーザがもともと入力したいと欲していた文字列と正確に同じであるべきである。しかし残念ながら、重ね書き入力の認識精度を向上させるためのいくつものソリューションが提案されてきたにも関わらず、エラーが起こることはある程度避けられない。セグメント化処理及び認識処理の両方が、エラーにより悪影響を被る。実際には、セグメント化が正しく行われるのに認識された文字列が正しくない場合、いくつかの既存の訂正方法がそれにうまく対応することができる。そのような訂正方法には、例えば、候補リストや文字を一つ書き直すことが含まれる。しかし、セグメント化処理にエラーが生じ、それによって認識された文字列にエラーが生じた場合には、候補リストなどの既存の訂正方法は、普通は好ましい結果をもたらすことができない。
例えば、セグメント化においてよく生じるタイプのエラーに、"ワンストローク・エラー"(one-stroke error)と呼ばれるものがある。これは、セグメントにストロークが一つ余計に加えられていたり、ストロークが一つ足りなかったりするエラーである。統計によれば、セグメント化において生ずる全てのエラーのうち、ワンストローク・エラーが最も多い。とはいえ、後に述べるように、セグメント化において生じるエラーには他のタイプのものもある。セグメント化処理においてエラーが発生すると、最終的な認識結果も正しくないことが多い。このような場合、先行技術には、ユーザが認識結果を効率的に訂正する方法は存在しなかった。このためユーザは一つ又は複数の文字を書き直さねばならず、それは処理効率に悪影響を及ぼし、したがってユーザ体験にも悪影響を及ぼす。
重ね書き入力についての既存のアプローチにおける上のような事情に鑑みると、この技術分野には、重ね書き入力認識において不適切なセグメント化により生ずるエラーを訂正するための方法,装置,コンピュータプログラム製品を提供し、かかる問題を解決する必要性が存在する。
一つの見方によれば、本発明の実施形態は、重ね書き入力で使用される方法を提供する。この方法は、重ね書き入力のセグメント化により得られた少なくとも一つのセグメントが表示されることを生じさせることと;前記セグメント化を訂正するための要求を受け取ることと;前記受け取った要求に応じて、前記少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得ることと;を含む。
別の見方によれば、本発明の実施形態は、重ね書き入力で使用される装置を提供する。この装置は、少なくとも一つのプロセッサと、コンピュータ実行可能なコードによるプログラムを格納する少なくとも一つのメモリとを備える。前記少なくとも一つのメモリ及び前記コンピュータ実行可能なコードは、前記少なくとも一つのプロセッサと共に、前記装置に、少なくとも、重ね書き入力のセグメント化により得られた少なくとも一つのセグメントが表示されることを生じさせることと;前記セグメント化を訂正するための要求を受け取ることと;前記受け取った要求に応じて、前記少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得ることと;を実行させるように構成される。
さらに別の見方によれば、本発明の実施形態は、コンピュータ読み取り可能なプログラムコード部分がその中に格納された、少なくとも一つのコンピュータ読み取り可能な記憶媒体を備えるコンピュータプログラム製品を提供する。前記コンピュータ実行可能なコード部分は、重ね書き入力のセグメント化により得られた少なくとも一つのセグメントが表示されることを生じさせるコードと;前記セグメント化を訂正するための要求を受け取るコードと;前記受け取った要求に応じて、前記少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得るコードと;を備える。
さらに別の見方によれば、本発明の実施形態は、重ね書き入力で使用される装置を提供する。前記装置は、重ね書き入力のセグメント化により得られた少なくとも一つのセグメントが表示されることを生じさせる手段と;前記セグメント化を訂正するための要求を受け取る手段と;前記受け取った要求に応じて、前記少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得る手段と;を備える。
本発明の実施形態を用いることにより、例えば、認識された文字列にエラーが含まれている場合、セグメント化処理の結果(すなわち少なくとも一つのセグメント)が、修正可能又は編集可能な形でユーザに提示されうる。このため、セグメント化においてエラーが存在する場合、ユーザはそれを直感的に発見しうる。そしてユーザは、効率的で簡単な方法で、セグメント化エラーの訂正を要求しうる。例えば、わずか2〜3回のアクションで要求しうる。本発明のある実施形態によれば、ユーザは、セグメント化の結果の訂正や修正を、ドラッグやクリック、スウェイ(sway)のような、予め定められたジェスチャのセットを用いて開始することができるようにされる。そのようなジェスチャに応じて、セグメント化の結果の訂正や修正が、ユーザの要求に基づいて実行されてもよい。
当業者には理解されうるように、本発明の実施形態は、エラーを含むセグメントにより生ずる認識エラーを訂正するために、セグメント化エラーをインタラクティブに訂正しうる便利なメカニズムをユーザに提供する。そのようにして、エラーを含むセグメント化処理によって生ずる認識エラーをユーザが訂正しうる効率的なソリューションが提供される。したがって、ユーザ体験が著しく向上する。代替的に又は追加的に、ユーザはまた、認識を実行する前にセグメント化の結果を確認したり訂正したりすることができるようにされてもよい。そのようにして、認識されるべきセグメントがエラーを含まないことが確かにされてもよい。さらに、本発明の実施形態によっては、ユーザは、自発的に入力を変更してもよい。例えば、一つ又は複数のストローク(筆画)を既にあるセグメントに追加することにより、自発的に入力変更してもよい。
本発明の実施形態のその他の特徴や利点は、以下の具体的な実施形態の説明を添付図面と共に検討することになり理解されうるであろう。添付図面は本発明の実施形態の原理を例を用いて描いている。
以下、添付図面を参照しつつ、例を用いて本発明のいくつかの実施形態やそれらの利点を詳細に説明する。
重ね書き入力の一般的なプロセスを図示する高次レベルの概略図である。
本発明の実施形態に従う重ね書き入力で使用される方法のフローチャートを示す。
本発明の実施形態に従い、セグメント化の訂正や対応する修正を要求するために使用されうるジェスチャの例を示す。 本発明の実施形態に従い、セグメント化の訂正や対応する修正を要求するために使用されうるジェスチャの例を示す。 本発明の実施形態に従い、セグメント化の訂正や対応する修正を要求するために使用されうるジェスチャの例を示す。 本発明の実施形態に従い、セグメント化の訂正や対応する修正を要求するために使用されうるジェスチャの例を示す。 本発明の実施形態に従い、セグメント化の訂正や対応する修正を要求するために使用されうるジェスチャの例を示す。 本発明の実施形態に従い、セグメント化の訂正や対応する修正を要求するために使用されうるジェスチャの例を示す。
本発明の実施形態に従い、操作されている部分又はセグメントがハイライトされている例を示している。
本発明の具現化形態の実施に使用されるために適しているグラフィカル・ユーザ・インタフェース(GUI)の概略図である。
本発明の実施形態に従う重ね書き入力で使用する装置の簡単なブロック図である。
本発明の具現化形態の実施に使用するために適している装置の簡単なブロック図である。
実施形態の詳細な説明
本発明の実施形態は、重ね書き入力で使用される方法,装置,コンピュータプログラム製品を提供し、特に、ユーザにセグメント化エラーをインタラクティブに訂正することを可能にする方法,装置,コンピュータプログラム製品を提供する。本発明の実施形態によれば、重ね書き入力のセグメント化により得られたセグメントは、修正可能又は編集可能な形でユーザに表示されうる。特に、個々のセグメントに含まれる個々の部分(すなわち一つ又は複数のストローク)についての位置的および時間的情報が利用可能になる。このためユーザは、どのセグメントのどの部分を選択することも可能になり、またその部分を望みのように修正することも可能になる。その修正においては所定のジェスチャの組を使用してもよい。その結果、ユーザは、いかなるセグメント化エラーをも効率的に訂正することが可能になり、したがって最終的な認識結果を訂正することが可能。代替的に又は追加的に、ユーザはまた、認識を実行する前にセグメント化の結果を確認したり訂正したりすることができるようにされてもよい。それによって、認識されるべきセグメントにエラーが含まれていないことが確かとなり、最終的な認識精度が向上しうる。
以下、本発明の実施形態を図面を参照して説明する。なお、以下では中国語を主に用いて本発明の具体的な実施形態がされるが、本発明の範囲はそれに限定されるわけではないことは理解されたい。本発明の実施形態は重ね書き入力に適するいかなる言語の文字にも同様に適用可能である。
前述のように、図1は、重ね書き入力の一般的なプロセスを図示する高次レベルの概略図である。従来技術においては、セグメント化の中間的な結果はユーザに表示されない。これに対して本発明の実施形態によれば、以下に説明するように、そのようなセグメント化の結果、つまり、元の重ね書き入力のセグメント化により得られた一つ又は複数セグメントがユーザに提示されてもよく、またユーザにより修正されてもよい。
図2は、本発明の実施形態に従う重ね書き入力で使用される方法200のフローチャートを示す。図示されるように、方法200はステップS205から開始する。ここでは、重ね書き入力のセグメント化により得られた少なくとも一つのセグメントがユーザに表示される。この少なくとも一つのセグメントは、例えば、セグメント化モジュールから得られる。セグメント化モジュールは、重ね書き入力のセグメント化処理を実行し、一つ又は複数のセグメントを生成することができる。なお、セグメントはユーザの要求に応じて表示されてもよいことを理解されたい。例えば、ユーザが認識された文字列を訂正することを欲するときに表示されてもよい。追加的に又は代替的に、セグメントは、最終的な認識文字列と一緒に自動的に表示されてもよい。実施形態によっては、セグメントは、図5に示されるようなグラフィカル・ユーザ・インタフェースを通じて表示されてもよい。図5のグラフィカル・ユーザ・インタフェースについては後に詳細に説明される。
セグメントは、後続の文字認識の基本的な単位として扱われる。したがって、前述のように、理想的な場合においては文字一つ又は文字全体に対応する。セグメントは一つ又は複数のストロークにより構成される。本明細書において、ストローク(筆画,stroke)との語句は、文字又はセグメントにおける基本的且つ分離不能な要素をいう。
ステップS205において、少なくとも一つのセグメントが修正可能又は編集可能な形で表示されることを理解しなければならない。つまり、ユーザは、セグメントの一つ又は複数のストロークやセグメント全体を選択し、そして操作することを可能にされる。これを実現にするために、セグメントストロークの位置情報が必要である。この情報は、先行するセグメント化処理から得られてもよい。本願の技術分野で既に知られているように、ユーザの重ね書き入力のセグメント化を行っている間に、その結果として得られるセグメントの各々について、セグメントに含まれる各ストロークの位置情報が決定されることができる。これは、使用されるアルゴリズムに関わらず可能である。別の言葉でいえば、セグメント化処理に基づいて、各ストロークの位置情報が更なる使用のために利用可能になる。このさらなる使用は、例えば以下に述べるように、ストロークを選択したり摘んだりすることでありうる。従って、ペンの軌跡の各点について、その点が属するセグメント又はストロークが決定されうる。
それに加えて、各ストロークの時間的情報もまた利用可能である。例えば、ストロークの時間的情報は、手書き入力中のユーザの書き順を記録することにより得られてもよい。実際、位置情報のみに基づいてセグメントから特定のストロークを選択することは、ユーザにとって難しい場合がある。例えば、セグメントの構成が複雑な場合などである。しかしここで、ストロークを選択するために、ストロークの時間的情報が利用可能でありうる。その情報は単独で、または位置情報と共に使用されうる。例えば、好適な実施形態では、各セグメントの下にストロークの時系列が描かれ、ユーザがその時系列の部分を選択して当該セグメントの対応する一つ又は複数のストロークを選択することができるようにされる。別の代替例では、ストローク又は部分を選択することが、位置情報及び/又は時間情報に基づいて行われてもよい。
なお、重ね書き入力のセグメント化を行うためには、既存の方法や将来提供される方法の如何なるものを用いてもよいことは注意されたい。またそれに応じて、ストロークの位置情報や時間情報も様々な手法によって取得しうることも注意されたい。本発明の範囲はそれらによって限定されるものではない。
次に、ステップS210において、セグメント化を訂正する要求が受け取られる。利用者が、ステップS205で表示されたセグメントに一つ又は複数のエラーを見つけた場合、彼又は彼女は、いくつかの方法で訂正要求を出しうる。すると、S210で要求が受け取られたことに応じて少なくとも一つのセグメントが修正される(ステップS215)。それによって少なくとも一つの新しいセグメントが得られる。ステップS210およびS215の処理は以下に詳しく説明される。
本発明の好適な実施形態において、上記の要求は、ステップS205において、ユーザのジェスチャの既定のセットを通じて受け取られてもよい。また、セグメントの修正はそれに応じてステップS210で行われてもよい。セグメントを訂正するための要求に用いられうる、いくつかの典型的なジェスチャを図3A-3Fに示す。
まず図3Aを参照する。ある場合では、セグメント化処理が、一つの文字のペンの軌跡を、一つ以上の異なるセグメントに不適切に分割してしまうことがあり得る。例えば、図3Aに示されるように、利用者が重ね書き入力によって入力したいと欲する漢字が"明"であるとする。しかし、セグメント化処理において、この一つの文字のペンの軌跡は二つの異なるセグメントに分割されている。第1のセグメント310は"日"であり、第2のセグメント312は"月"である。本発明のある実施形態によれば、このエラーを訂正するために、方法200のステップS210において、ユーザは次の方法によってセグメント化を修正することを要求してもよい。
まずユーザは、第1のセグメント310選択または摘んでもよい。これは例えば、ペンやスタイラス、指、マウスのようなポインティングデバイスを用いて第1のセグメント310を囲むボックスの中やその付近をクリックすることで行ってもよい。または特定のボタンを押すことによって行ってもよい。するとユーザは、選択した第1のセグメント310を第2のセグメント312の所定の近傍へとドラッグできるようにされる。すなわち、ドラッグされた第1のセグメント310と第2のセグメント312との距離が所定の閾値距離以下となる位置へとドラッグすることができるようになる。それに応じて修正が実行され、図3Aに示されるように、第1のセグメント310と第2のセグメント312が一つのセグメント314"明"へと結合される。なお、上に説明されたジェスチャは単なる例であり、別のジェスチャも同様に用いることができる。
一方、 図3Aに例示された状況とは反対の別のタイプのセグメント化エラーも存在する。つまり、セグメント化処理において、2つまたはそれ以上の異なる文字が一つのセグメントとして誤って結合されてしまうことがある。図3Bはそのような例を示したものである。この例では、ユーザは、2つの漢字"日"と"月"を入力したいと欲しているが、セグメントエンジンは単一のセグメント320を生成してしまっている。本発明のある実施形態によれば、問題のセグメントに対して再セグメント化処理を実行することにより、そのようなエラーを訂正することができる。ユーザは、セグメントに対して所定のジェスチャを行うことにより、再セグメント化を要求することができてもよい。ある実施形態では、そのような所定のジェスチャは、例えばダブルクリックや長押し、またその他の適当なジェスチャであってもよい。図3Bに示されるように、ユーザは例えばダブルクリックのような所定のジェスチャをセグメント320の上で行ってもよい。すると、それに応じて再セグメント化処理が実行されてもよい。この再セグメント化処理は、関連するストロークの位置情報及び時間情報を用いて実行されてもよい。また、この再セグメント化処理は、セグメント320がいくつかのセグメントに分割されるように行われてもよい。 例えば図3Bに例示されるように二つのセグメント322及び324に分割されてもよい。なお、上の例でダブルクリックは、再セグメント化処理を要求するために使用されうる所定のジェスチャの単なる例であり、他のジェスチャも同様に使用されうる。
図3Cは図3Bと同様の状況を示しており、セグメントが処理において二つ又はそれ以上のセグメントが誤って一つに結合されてしまっている。しかし、図3Bの場合とは異なり、結合されたセグメントはかなり簡単であり、それぞれは少ない数のストロークにより構成されている。例えば、たった一つ又は二つのストロークから構成されている。本発明のある実施形態によれば、このような場合、ユーザは、再セグメント化処理を実行するためにセグメント化モジュールを呼び出すよりも、当該セグメントからそのような線部分を所定の領域(例えば空の領域)に単にドラッグして分離することを選んでもよい。
ここで「部分」との用語は、セグメントの部分を表し、一つ又は複数のストロークから構成される部分を表す。部分を選択することは、そのストロークを選択することにより行われてもよい。また、ストロークの選択は、その位置的及び/又は時間的情報を利用して行われてもよい。このような情報は、上述のように、セグメント化処理から利用可能になる。例えば、あるストロークのいずれかのポイントがクリックされた場合、そのストロークは選択されてもよい。
図3Cの例の説明を続ける。部分を選択して所定の領域にドラッグすると、その部分は元のセグメントから取り除かれ、その部分に基づいて新しいセグメントが得られる。そのようにして、一つのセグメントが二つに分割されることができる。このプロセスは結果が正しくなるまで繰り返されることができる。ここでは、図3Cに示されるように、漢字の"人"を表すペンの軌跡と漢字の終止符を示す"。"のペンの軌跡が誤って一つのセグメント330に結合されている。そこでユーザは、まず終止符のストロークを選択し、それを空の領域へとドラッグしてもよい。それに応じて、結合されたセグメント330から当該ストロークが取り除かれ、"人"のみが残される。さらに、ドラッグされた部分から構成される新しいセグメント334が生成されうる。この結果、二つの独立したセグメント332"人"およびセグメント334"。"が得られる。なお図3Cにおいて、上記ドラッグされた部分は一つのストロークしか含んでいないが、本発明の実施形態は、そのような部分が複数のストロークから構成されている場合であっても利用可能である。
別のタイプのセグメント化エラーには、2つまたはそれ以上のセグメントの順番に関するものがある。文字を一つ手書きするのとは異なり、重ね書き入力を利用する場合には、ユーザは通常複数の文字を入力したいと考えるだろう。例えば短い分節や、時には文章をも一度に入力したいと考えるだろう。従って、認識結果は、それぞれの文字の正確性のみならず、文字の順序の正しさも確かなものでなければならない。図3Dの例では、ユーザは本来、中国語のフレーズである
Figure 2013546081
を入力したいと欲していた。しかし、ユーザの書き方にエラーがあったか、又はセグメント化処理にエラーがあったかして、セグメント342
Figure 2013546081
とセグメント340
Figure 2013546081
の順序が反対になってしまった。本発明のある実施形態によれば、ユーザはセグメントの順序を訂正することを要求してもよい。これは例えば、セグメントを選択し、セグメントの列の任意の位置にそれをドラッグすることにより行ってもよい。それによって、目的の位置に基づいて、当該セグメント列におけるセグメント順序が変更される。より具体的に例示すると、図3Dに示されるように、ユーザはセグメント340
Figure 2013546081
を選択し、それをセグメント342
Figure 2013546081
の後ろの位置にドラッグする。この操作に応じて、セグメント340と342の順序が変更される。さらなる実施形態によれば、セグメントを例えば空の領域にある位置にドラッグすると、セグメント列における順序を指定し直す処理が行われてもよい。
図3Eを参照すると、セグメント化訂正処理の別の例が示されている。この例では、セグメント352"国"のストローク(縦のストローク又は'Shu')が、誤ってセグメント350に割り当てられている。つまり、セグメント化処理において上述の"ワンストローク・エラー"が発生している。その結果、セグメント350"中"はひとつ余計な筆画を有し、セグメント352は筆画が一つ足りなくなっている。このような状況では、2つのセグメントのいずれに対しても認識エラーを生じる可能性が非常に高い。本発明の実施形態によれば、ユーザは、このようなセグメント化エラーに対処するために、次のような方法で訂正の要求を行うことができてもよい。
ユーザは、第1のセグメントにおいて誤って割り当てられた部分を、選択することが可能にされる。そのような部分は一つだけでなく複数のストロークを含んでいてもよい。次に、第1のセグメントにおける選択された部分は、その部分が属するべき第2のセグメントの所定の近傍とドラッグされてもよい。このようなジェスチャに応じて、第1及び第2のセグメントの修正が実行されてもよい。これは、第1のセグメントから選択された部分が取り除かれ、それが第2の部分に加えられるというように実行されてもよい。この修正は、例えば、関連するストロークの位置的及び時間的情報に基づいて行われてもよい。より具体的に説明すると、図3Eに描かれるように、ユーザはセグメント350の縦の筆画を選択し、それをセグメント352の所定の近傍へとドラッグしてもよい。そのようにして、修正された二つの新しいセグメント354及び356が得られる。
実際には、最もエラーを起こしやすいストロークは,二つの文字の境界上に位置するストロークであることが分かっている。なぜなら、このようなストロークは、セグメント化処理において別のセグメントに誤って割り当てられる可能性が最も高いからである。例えば、セグメントの最初の一つ又はいくつかのストロークは、そのセグメントの直前のセグメントに割り当てられる可能性がある(例えば図3Eのように)。同様に、セグメントの最後の一つ又はいくつかのストロークは、そのセグメントの直後のセグメントにしばしば割り当てられる。本発明のある実施形態によれば、このようなしばしば発生する状況にうまく対処するために、ユーザが文字の最初又は最後のストロークを簡単且つ正確に選択するための特別のジェスチャが提供されてもよい。そのようなジェスチャの例にはスウェイ(sway;揺さぶること)がある。例えば、セグメントの最初の一つ又は複数のストロークを、そのセグメントを囲むボックスの中でクリックし、続いて素早く左方向へ動かすことで、選択することができてもよい。また、当該セグメントの最後の一つ又は複数のストロークを、上記ボックスの中でクリックし、続いて素早く右方向へ動かすことで、選択することができてよい。上述のように、個々のまた全てのストロークについての時間的情報(すなわち書き順)の利用可能性のために、セグメントについて、最初の又は最後の一つ又は複数のストロークを選択することが可能である。無論、最初のストローク及び/又は最後のストロークを選択するために、他のジェスチャを使用することも同様に可能である。本発明の範囲はそれらによって限定されるものではない。
なお、図3Eに描かれているものはワンストローク・エラーであるが、本発明の実施形態は、一つより多い数のストロークが誤って別のセグメントに割り当てられた場合にも適用可能である。
図3Fを参照する。本発明のある実施形態によれば、ユーザは、既にあるセグメントに一つまたは複数のストロークを追加することも許される。ユーザの書き方にエラーがあったりセグメント化にエラーがあったりして、一つまたは複数のストロークが文字から抜けてしまうことがありうる。そのため、ユーザがもともと入力したいと欲していた文字に比べて、セグメントには一つまたは複数のストロークが足りないことがありうる。また、入力したものを変更したいとユーザ自ら欲する場合もある。いずれの場合においても、ユーザは、初めから入力をやり直すのではなく、既存のセグメントに部分を(すなわち一つ又は複数の筆画を)直接加えてもよい。それに応じて、操作されたセグメント及び部分に基づいて、新しいセグメントが生成されてもよい。図3Fに示されるように、セグメント360"人"に筆画一つを加えることにより、別のセグメント362"大"が生成される。このセグメントは、セグメント360"人"と、追加された部分"一"とから構成されている。
上の説明から理解できるように、セグメントの訂正を要求するとき、ユーザは、一つ又は複数のストロークを含む特定の部分や、セグメント全体を選択することができるようにされる。これが可能であるように、部分を選択するためのジェスチャや、セグメントを選択するためのジェスチャは、十分明確に区別されうるものであるべきである。本発明のある実施形態によれば、そのような区別は、押下やクリックの長さによって達成されうる。例えば、短い押下やクリックは、ストロークを選択することに対応してもよい。一方、長い押下やクリップは、セグメント全体を選択することに対応してもよい。別の例では、ユーザが設定することが可能なオプションやフラグが提供されてもよい。そのようなオプション又はフラグが第1の状態に設定されている場合、ジェスチャは部分を選択するものと解釈される。一方、そのようなオプション又はフラグが第2の状態に設定されている場合、ジェスチャはセグメントを選択するものと解釈される。これらは単なる例であり、部分を選択することと、セグメント全体を選択することとを区別するために、どのような機構が用いられてもよい。
なお、上に説明されたジェスチャは、設定可能であることも理解しなければならない。つまり、ユーザは新しいジェスチャを追加してもよく、または既存のジェスチャを削除してもよく、さらに既存のジェスチャを修正してもよい。ユーザは、ユーザの好みやデバイスの状態などに応じて、そのような変更を行ってもよい。代替的に又は追加的に、ジェスチャに関連する様々なパラメータがユーザにより設定されることができてもよい。そのようなパラメータには、上述の所定の近傍(距離に関する閾値)や、所定の領域、所定の位置などがある。
さらに、当業者には理解されうるように、図3A−3Fに示されているものは、本発明の実施形態に従うジェスチャや、対応するセグメント化訂正の処理を説明するための、非限定的な例に過ぎない。上の教示に従って、当業者は、セグメント化訂正のための別のジェスチャを容易に構想することができるだろう。さらに、ジェスチャ以外の相互作用手段も、セグメント化訂正を要求するために使用されることができる。例えば、ボタンやソフトキー、ドロップダウンリストのような制御要素が使用されることができる。これらは単独で又は組み合わせて、訂正要求を入力するために使用されることができる。別の例では、ユーザは、予め定められた特定のコマンドを上記要求を行うために直接タイプしてもよい。本発明の範囲はそれらによって限定されるものではない。
図2に戻る。ステップS220において、操作されている部分又はセグメントは、修正中に強調される。操作されている要素を強調することによって、ユーザは、操作対象に既に注意を向けることができ、修正中に混乱することが防止される。この強調は様々な方法で行うことができる。例えば、処理中の要素の色や外観、影、フォント、サイズを変化させてもよい。代替的に又は追加的に、操作中の部分やセグメントにアニメーション効果を適用してもよい。
図4A,4Bには、操作中の部分又はセグメントが魚眼レンズによって強調される、本発明のある実施形態に従う例が示されている。示されている例においては、ユーザが特定の部分を操作しようとしている時(図4A)又はセグメントを操作しようとしている時(図4B)、操作されている部分又はセグメントは魚眼領域の中に表示される。魚眼領域は、例えば、操作されている部分又はセグメントの動きに従って、修正中に動いてもよい。位置に加えて、魚眼領域に表示されているコンテンツも、操作中に動的に更新されてもよい。例えば、ユーザがまずセグメント350のストロークを選択する、図3Eに示されている例において、セグメント350及び選択されたストロークが、魚眼領域に含められてもよい。ここで、選択されたストロークの色も変化させられてもよい。そして、セグメント352のほうへドラッグされている最中、選択されたストロークは魚眼領域の中で強調されてもよい。最後に、ストローク及びセグメント352が結合されると、結果として得られるセグメントも魚眼領域に表示されてもよい。なお、魚眼領域(Fish Eye)は単なる例示であり、たとえは図4A,Bに示されるように色を変えるなど、一つ又は複数の別の強調効果と共に使用されてもよい。
また、ステップS220はオプションであることにも注意されたい。ユーザは、操作中の要素を強調することを有効化したり無効化したりすることを選択できてもよい。さらに、強調効果も設定可能であってもよい。つまり、ユーザは、その好みやデバイスの状態に応じて、新しい効果を追加したり既存の効果を削除したり、関連する様々なパラメータを設定したりすることができてもよい。
次に、ステップS225において、ステップS215で得られた少なくとも一つの新しいセグメントが認識され、一つ又は複数の文字が出力される。その後方法200は終了する。前述のように、セグメントを文字に変換する手法としては、現時点で存在する認識手法のみならず、将来開発されるであろう認識手法を用いてもよく、本発明の範囲はそのような手法によって限定されるものではない。さらに、ステップS225を実装するかどうかはオプションである。なぜなら、利用の形態によっては、ユーザの元のペンの軌跡を表すセグメントが保存され、認識処理なしに直接使用されてもよいからである。そのような利用形態の例として、書く練習をするためのアプリケーションがある。
図5は、本発明の具現化形態を実施するために適しているグラフィカル・ユーザ・インタフェース(GUI)500を示している。本発明のある実施形態によれば、GUI500は方法200と共に使用されてもよく、例えば、図6や図7を参照して後述される装置により生成され表示されてもよい。
図示されるように、GUI500は編集領域505,候補文字領域510,セグメント化結果領域515,書き込み領域520,制御領域525を有する。動作中、ユーザは、書き込み領域520において重ね書きの形式で複数の文字を書いてもよい。ユーザの手書き入力に対して、セグメント化および認識処理が実行されてもよい。最終的な文字は編集領域505に表示されてもよく、候補文字領域510には候補リストが表示されてもよい。特に、本発明のある実施形態によれば、処理の結果として得られる一つ又は複数のセグメントが、セグメント化結果領域515に表示されてもよい。例えば、ユーザが、セグメント化の失敗により生じた認識エラーを見つけた場合、そのユーザは、セグメント化にエラーが存在するならばそれを訂正すべく、上に説明したやり方で、セグメント化結果領域515とやりとりを行ってもよい。訂正後、ユーザがセグメント化にエラーが含まれていないことを確かめると、それらのセグメントは認識処理へと渡されてもよい。すると、編集領域505及び候補文字領域510は、それに応じて更新されてもよい。代替的に又は追加的に、ユーザはまた、認識を実行する前に、セグメント化結果領域515に表示されているセグメント化の結果を、確認したり訂正したりすることができるようにされてもよい。制御領域525には、ボタンやソフトキーなどの一つ又は複数の制御要素やその他の好適な制御要素が提供されてもよい。ユーザはそれによって、重ね書き入力のプロセスを制御してもよい。
なお、図5に描かれるGUI500は、説明のための単なる例に過ぎないことは注意されたい。本発明の具現化形態を実施するために好適なGUIは、要素が少なかったり多かったり、又は異なる要素を有していたりしてもよい。代替的に又は追加的に、別の実施形態においては、GUIの要素の配置や構成は異なっていてもよい。
図6は、本発明の実施形態に従う重ね書き入力で使用する装置600の簡単なブロック図である。上述のように、装置600は、図5に示されるGUI500のようなGUIを生成し表示してもよい。図6に描かれるように、装置600は、セグメント表示手段605、訂正要求手段610、セグメント修正手段615、修正強調手段620、文字認識手段625を有する。ただし手段620及び625の実装はオプションである。
セグメント表示手段605は重ね書き入力のセグメント化により得られた少なくとも一つのセグメントについて、その表示が行われるように構成されてもよい。訂正要求手段610は、セグメント化の結果を訂正する要求を受け取るように構成されていてもよい。セグメント修正手段615は、上記要求を受け取ることに応じて、少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得るように構成されていてもよい。
特に、セグメント修正モジュール615は、次の処理のうち一つまたは複数を実行するように構成されていてもよい。
・ 第1のセグメントを第2のセグメントの所定の近傍へドラッグすることに応じて、前記第1及び第2のセグメントを一つのセグメントに結合すること;
・ 第1のセグメントの部分に対する所定のジェスチャに応じて、前記第1のセグメントの再セグメント化を行い、2つまたはそれ以上のセグメントを得ること;
・ 第1のセグメントの部分を所定の領域にドラッグすることに応じて、当該部分を前記第1のセグメントから取り除き、前記部分に基づいて新たなセグメントを作ること;
・ 第1のセグメントをセグメント列のある位置へとドラッグすることに応じて、前記セグメント列における前記第1のセグメントの順序を変更すること;
・ 第1のセグメントの部分を第2のセグメントの所定の近傍へドラッグすることに応じて、前記部分を前記第1のセグメントから取り除くと共に、前記部分を前記第2のセグメントに加えること;
・ 第1のセグメントに部分を加えることに応じて、前記第1のセグメント及び前記加えられた部分から構成される新しいセグメントを生成し、前記第1のセグメントを置き換えること。
修正強調手段620は、セグメント修正手段615が動作している間、処理されている部分又はセグメントを強調するように構成されていてもよい。文字認識手段625は、訂正されたセグメントを編集可能な文字へと変換するために、セグメント修正手段615と協調して認識処理を実行するように構成されていてもよい。
装置600は、ハードウェアや特定用途向け回路、ソフトウェア、ロジック、またはそれらの組み合わせにより具現化されてもよい。さらに、装置600の様々な手段は、ソフトウェアモジュール及び/又はハードウェアブロック、ユニット、コンポーネンツによって具現化されてもよい。
上述の方法(例えば図2に示される方法200)は、適当な如何なる装置によっても実装されることが可能である。図7は、本発明の具現化形態の実施に使用するために適した装置700の簡単なブロック図である。実施形態によっては、装置700は携帯端末として具現化されることができる。なお、携帯端末は、本発明の具現化から利益を享受しうるような装置の単なる例であり、本発明の実施形態の範囲を制限するものと受け取られてはならない。
携帯端末700は、送信機714及び受信機716と協働するアンテナ(または複数のアンテナ)712を備えてもよい。装置700はまら、少なくとも1つのプロセッサまたはコントローラ720を備える。コントローラ720は、重ね書き入力を実装するために必要な回路や、装置700の論理機能を実装するための回路を備えている。コントローラ720は、例えば、DSPやマイクロプロセッサ、種々のA/DコンバータやD/Aコンバータ、サポート回路を備えてもよい。装置700の制御及び情報処理機能は、それぞれの能力に従って、これらのデバイスの中に割り当てられている。
装置700はまた、イヤホンやスピーカ724のような出力デバイスや、リンガ722、マイクロホン726、ディスプレイ728、ユーザ入力インタフェースを備えており、これらは全てコントローラ720に接続されている。ユーザ入力デバイスは、装置700にデータを受信することを可能にするような様々なデバイスを含んでいてもよく、例えばキーパッドやキーボード730、書き込みデバイス731、その他の入力デバイスを含んでいてもよい。書き込みデバイス731は、例えば、タッチスクリーンや近接スクリーン(proximity screen)、書き込みパッド(writing pad)等を含んでいてもよい。書き込みデバイス731は、特に、ユーザにより入力される重ね書き入力を受け取る能力を有している。書き込みデバイス731は、重ね書き入力をサポートするための全てのハードウェアやソフトウェア及び/又はファームウェアを含んでいる。
それに加えて、又は代替的に、装置700は、ジョイスティックやユーザ入力インタフェースのようなインタフェースデバイスを備えてもよい。さらに装置700は、装置700を動作させるための様々な回路に電源を供給し、また検知可能な出力としての機械的な振動を提供する、振動バッテリパックのようなバッテリ734を備えてもよい。
ある実施形態において、装置700は、カメラモジュールやビデオモジュール、及び/又はオーディオモジュールのようなメディアキャプチャ要素を備えてもよい。メディアキャプチャ要素はコントローラ720と通信する。メディアキャプチャ要素は、画像や動画及び/又は音声をキャプチャして格納したり表示したり送信したりする如何なる手段であってもよい。例えば、メディアキャプチャ要素がカメラモジュール736である例示的実施形態では、カメラモジュール736は、キャプチャしたイメージからデジタル画像ファイルを形成しうるデジタルカメラを備えてもよい。携帯端末として具現化される場合、装置700は、ユニバーサル識別モジュール(UIM)738を備えてもよい。UIM738は、典型的には内蔵のプロセッサを有するメモリデバイスである。UIM738には、例えば、加入者識別モジュール(SIM)や、UICCカード、USIM、R−UIMなどが含まれる。UIM738は、典型的に、加入者に関する情報要素を格納する。
装置700は少なくとも一つのメモリを備えていてもよい。例えば装置700は、データの一時的な保管のためのキャッシュ領域を備えるランダムアクセスメモリ(RAM)のような揮発性メモリ740を備えてもよい。装置700は、内蔵の及び/又は着脱可能な不揮発性メモリ742を備えていてもよい。不揮発性のメモリ742は、追加的に又は代替的に、EEPROMやフラッシュメモリのようなものを備えていてもよい。これらのメモリは、装置700の機能を実装するために装置700に使用されるいかなる数の情報片やプログラム、データを格納してもよい。例えばこれらのメモリは、コンピュータ実行可能なコードによるプログラムを格納していてもよく、それらのコードはコントローラ720と共に、装置700に、上述の方法200の各ステップを少なくとも実行させるように構成されていてもよい。
本発明のある実施形態は、コンピュータ読み取り可能なプログラムコード部分がその中に格納された、少なくとも一つのコンピュータ読み取り可能な記憶媒体を備えるコンピュータプログラム製品として実装されうる。そのような実施形態においては、コンピュータ読み取り可能なプログラムコード部分は、上述の方法200の各ステップを実行するためのコードを少なくとも含む。
本発明の原理の説明の目的のために、いくつかの具体的な実施例が説明された。上述のように、本発明の実施形態は、重ね書き入力で使用される方法,装置,コンピュータプログラム製品を提供し、特に、ユーザにセグメント化エラーをインタラクティブに訂正することを可能にする方法,装置,コンピュータプログラム製品を提供する。本発明の実施形態によれば、ユーザによる入力としての重ね書き入力により得られたセグメントは、修正可能又は編集可能な形でユーザに表示されうる。特に、各セグメントに含まれる各部分(またはストローク(筆画))の位置情報および時間情報(書き順)が利用可能であり、ユーザがどのセグメントのどの部分をも選択して望むように修正しうるという形でそれらが利用可能であり、その修正は例えば所定のジェスチャのセットを用いて行うことができる。その結果、ユーザには、重ね書き入力の認識結果を訂正しうる効率的で便利な方法が提供される。代替的に又は追加的に、ユーザはまた、認識を実行する前にセグメント化の結果を確認し訂正することを選択してもよい。それによって、認識されるセグメントにエラーが含まれないことを確かにしてもよい。実際に、セグメント化の訂正は文字認識の前に行われてもよいし、文字認識と一緒に又はその後に行われてもよい。本発明の範囲はこれらによって限定されることはない。
本発明の実施形態によれば、セグメント化のエラーによって生じる重ね書き入力の認識エラーの訂正の効率が、従来技術における重ね書き入力のソリューションに比べて向上していることが、実験により示されている。さらに、認識エラーが発生した場合であっても、ユーザは一つ又は複数の文字を書き直す必要がないので、ユーザ体験や満足度も向上している。
種々の例示的実施形態は、一般的に、ハードウェアまたは特定用途向け回路、ソフトウェア、ロジック、またはそれらの組み合わせで実装されてもよい。例えば、ある場合ではハードウェアで実装されてもよく、一方別の場合では、コントローラやマイクロプロセッサ等のコンピュータデバイスによって実行されるファームウェアやソフトウェアで実装されてもよい。ただし、本発明はこれらに限定されるものではない。本発明の例示的実施形態の種々の側面は、ブロック図、フローチャート、または他の図的記述を使用して記述ないし示され得る。これらのブロック、装置、システム、技術、またはここで記述される方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特定用途向け回路やロジック、汎用ハードウェア、コントローラや他のコンピュータデバイス、またはそれらの組み合わせで実装されてもよいと理解されるべきである。
図2で示す種々のブロックは、方法ステップ、コンピュータプログラムコードの動作から生じる動作、関連する機能を実行するように構成される論理回路要素を複数繋げたものの何れか、または全てと見なされてもよい。本発明の例示的実施形態の少なくともある側面では、集積回路チップやモジュール等の種々の要素で実行されてもよい。本発明の例示的実施形態は、集積回路として実装される装置で実現され得ることも認識されるべきである。集積回路または回路は、少なくとも1つ以上のデータプロセッサ、デジタル信号プロセッサやプロセッサ、ベースバンド回路、および本発明の例示的実施形態に従って動作するように構成される無線周波数回路を実装する回路(ファームウェアである可能性もある)を含んでもよい。
上述した本発明の例示的実施形態への種々の修正変更は、添付図面と併せて上の説明を考慮すれば、本願に関連する技術分野の当業者には明らかになるだろう。如何なる全ての修正変更も本発明の非限定かつ例示的実施形態の範囲内である。さらに、ここで説明された発明の実施形態の多くの変形や別の実施形態が、本明細書や添付図面の教示から利益を受けうる、本発明に関連する当業者に想起されるであろう。
従って、本発明の実施形態は、ここで開示された特定の実施形態に制限されるものと理解されてはならず、上述の変形その他の実施形態も、添付の請求項の範囲に含まれるべきものである。本明細書では特定の語句が使用されているが、それは一般的かつ説明の意味で使われており、限定する目的で使われてはいない。

Claims (37)

  1. 重ね書き入力で使用される方法であって、
    重ね書き入力のセグメント化により得られた少なくとも一つのセグメントが表示されることを生じさせることと;
    前記セグメント化を訂正するための要求を受け取ることと;
    前記受け取った要求に応じて、前記少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得ることと;
    を含む、方法。
  2. 前記要求はユーザによるジェスチャを通じて受け取られる、請求項1に記載の方法。
  3. 前記修正することは、第1のセグメントを第2のセグメントの所定の近傍へドラッグすることに応じて、前記第1及び第2のセグメントを一つのセグメントに結合することを含む、請求項1に記載の方法。
  4. 前記修正することは、第1のセグメントの部分に対する所定のジェスチャに応じて、前記第1のセグメントの再セグメント化を行い、2つまたはそれ以上のセグメントを得ることを含む、請求項1に記載の方法。
  5. 前記修正することは、第1のセグメントの部分を所定の領域にドラッグすることに応じて、当該部分を前記第1のセグメントから取り除き、前記部分に基づいて新たなセグメントを作ることを含む、請求項1に記載の方法。
  6. 前記修正することは、第1のセグメントをセグメント列のある位置へとドラッグすることに応じて、前記セグメント列における前記第1のセグメントの順序を変更することを含む、請求項1に記載の方法。
  7. 前記修正することは、第1のセグメントの部分を第2のセグメントの所定の近傍へドラッグすることに応じて、前記部分を前記第1のセグメントから取り除くと共に、前記部分を前記第2のセグメントに加えることを含む、請求項1に記載の方法。
  8. 前記部分は前記第1のセグメントの最後の一つ又は複数のストロークを含み、前記第1のセグメントは前記第2のセグメントの直前のセグメントである、請求項7に記載の方法。
  9. 前記部分は前記第1のセグメントの最初の一つ又は複数のストロークを含み、前記第1のセグメントは前記第2のセグメントの直後のセグメントである、請求項7に記載の方法。
  10. 前記修正することは、第1のセグメントに部分を加えることに応じて、前記第1のセグメント及び前記加えられた部分から構成される新しいセグメントを生成し、該生成したセグメントで前記第1のセグメントを置き換えることを含む、請求項1に記載の方法。
  11. 前記修正の間に処理されている部分又はセグメントを強調することを含む、請求項1から10のいずれかに記載の方法。
  12. 前記得られた少なくとも一つの新しいセグメントを少なくとも一つの文字認識することを含む、請求項1から10のいずれかに記載の方法。
  13. 重ね書き入力で使用される装置であって、
    少なくとも1つのプロセッサと、コンピュータ実行可能なコードによるプログラムを格納する少なくとも一つのメモリとを備え、前記少なくとも一つのメモリ及び前記コンピュータ実行可能なコードが、前記少なくとも一つのプロセッサと共に、前記装置に、少なくとも、
    重ね書き入力のセグメント化により得られた少なくとも一つのセグメントが表示されることを生じさせることと;
    前記セグメント化を訂正するための要求を受け取ることと;
    前記受け取った要求に応じて、前記少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得ることと;
    を実行させる、装置。
  14. 請求項13に記載の装置であって、前記少なくとも一つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサと共に、前記装置に、ユーザによるジェスチャを通じて前記要求を受け取るように構成される、装置
  15. 前記修正することは、第1のセグメントを第2のセグメントの所定の近傍へドラッグすることに応じて、前記第1及び第2のセグメントを一つのセグメントに結合することを含む、請求項13に記載の装置。
  16. 前記修正することは、第1のセグメントの部分に対する所定のジェスチャに応じて、前記第1のセグメントの再セグメント化を行い、2つまたはそれ以上のセグメントを得ることを含む、請求項13に記載の装置。
  17. 前記修正することは、第1のセグメントの部分を所定の領域にドラッグすることに応じて、当該部分を前記第1のセグメントから取り除き、前記部分に基づいて新たなセグメントを作ることを含む、請求項13に記載の装置。
  18. 前記修正することは、第1のセグメントをセグメント列のある位置へとドラッグすることに応じて、前記セグメント列における前記第1のセグメントの順序を変更することを含む、請求項13に記載の装置。
  19. 前記修正することは、第1のセグメントの部分を第2のセグメントの所定の近傍へドラッグすることに応じて、前記部分を前記第1のセグメントから取り除くと共に、前記部分を前記第2のセグメントに加えることを含む、請求項13に記載の装置。
  20. 前記部分は前記第1のセグメントの最後の一つ又は複数のストロークを含み、前記第1のセグメントは前記第2のセグメントの直前のセグメントである、請求項19に記載の装置。
  21. 前記部分は前記第1のセグメントの最初の一つ又は複数のストロークを含み、前記第1のセグメントは前記第2のセグメントの直後のセグメントである、請求項19に記載の装置。
  22. 前記修正することは、第1のセグメントに部分を加えることに応じて、前記第1のセグメント及び前記加えられた部分から構成される新しいセグメントを生成し、該生成したセグメントで前記第1のセグメントを置き換えることを含む、請求項13に記載の装置。
  23. 請求項13から22のいずれかに記載の装置であって、前記少なくとも一つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサと共に、前記装置に、
    前記修正の間に処理されている部分又はセグメントを強調することを実行させるように構成される、装置。
  24. 請求項13から22のいずれかに記載の装置であって、前記少なくとも一つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサと共に、前記装置に少なくとも更に、
    前記得られた少なくとも一つの新しいセグメントを少なくとも一つの文字認識することを遂行させる、装置。
  25. コンピュータ読み取り可能なコード部分を格納するコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラム製品であって、前記コンピュータ読み取り可能なコード部分が、
    重ね書き入力のセグメント化により得られた少なくとも一つのセグメントが表示されることを生じさせるコードと;
    前記セグメント化を訂正するための要求を受け取るコードと;
    前記受け取った要求に応じて、前記少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得るコードと;
    を備える、コンピュータプログラム製品。
  26. 前記要求を受け取るコードは、ユーザによるジェスチャを通じて前記要求を受け取るコードを含む、請求項25に記載のコンピュータプログラム製品。
  27. 請求項25に記載のコンピュータプログラム製品であって、前記修正するコードが:
    第1のセグメントを第2のセグメントの所定の近傍へドラッグすることに応じて、前記第1及び第2のセグメントを一つのセグメントに結合するコードを含む、コンピュータプログラム製品。
  28. 請求項25に記載のコンピュータプログラム製品であって、前記修正するコードが:
    第1のセグメントの部分に対する所定のジェスチャに応じて、前記第1のセグメントの再セグメント化を行い、2つまたはそれ以上のセグメントを得るコードを含む、コンピュータプログラム製品。
  29. 請求項25に記載のコンピュータプログラム製品であって、前記修正するコードが:
    第1のセグメントの部分を所定の領域にドラッグすることに応じて、当該部分を前記第1のセグメントから取り除き、前記部分に基づいて新たなセグメントを作るコードを含む、コンピュータプログラム製品。
  30. 請求項25に記載のコンピュータプログラム製品であって、前記修正するコードが:
    第1のセグメントをセグメント列のある位置へとドラッグすることに応じて、前記セグメント列における前記第1のセグメントの順序を変更するコードを含む、コンピュータプログラム製品。
  31. 請求項25に記載のコンピュータプログラム製品であって、前記修正するコードが:
    第1のセグメントの部分を第2のセグメントの所定の近傍へドラッグすることに応じて、前記部分を前記第1のセグメントから取り除くと共に、前記部分を前記第2のセグメントに加えるコードを含む、コンピュータプログラム製品。
  32. 前記部分は前記第1のセグメントの最後の一つ又は複数のストロークを含み、前記第1のセグメントは前記第2のセグメントの直前のセグメントである、請求項31に記載のコンピュータプログラム製品。
  33. 前記部分は前記第1のセグメントの最初の一つ又は複数のストロークを含み、前記第1のセグメントは前記第2のセグメントの直後のセグメントである、請求項31に記載のコンピュータプログラム製品。
  34. 請求項25に記載のコンピュータプログラム製品であって、前記修正するコードが:
    第1のセグメントに部分を加えることに応じて、前記第1のセグメント及び前記加えられた部分から構成される新しいセグメントを生成し、前記第1のセグメントを置き換えるコードを含む、コンピュータプログラム製品。
  35. 請求項25から34のいずれかに記載のコンピュータプログラム製品であって、前記コンピュータ読み取り可能なプログラムコード部分はさらに、
    前記修正の間に処理されている部分又はセグメントを強調するコードを含む、コンピュータプログラム製品。
  36. 請求項25から34のいずれかに記載のコンピュータプログラム製品であって、前記コンピュータ読み取り可能なプログラムコード部分はさらに、
    前記得られた少なくとも一つの新しいセグメントを少なくとも一つの文字認識するコードを含む、コンピュータプログラム製品。
  37. 重ね書き入力で使用される装置であって、
    重ね書き入力のセグメント化により得られた少なくとも一つのセグメントが表示されることを生じさせる手段と;
    前記セグメント化を訂正するための要求を受け取る手段と;
    前記受け取った要求に応じて、前記少なくとも一つのセグメントを修正し、少なくとも一つの新しいセグメントを得る手段と;
    を備える、装置。
JP2013541170A 2010-12-02 2010-12-02 重ね書き入力に関する方法,装置,コンピュータプログラム製品 Pending JP2013546081A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/079383 WO2012071730A1 (en) 2010-12-02 2010-12-02 Method, apparatus, and computer program product for overlapped handwriting

Publications (1)

Publication Number Publication Date
JP2013546081A true JP2013546081A (ja) 2013-12-26

Family

ID=46171175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013541170A Pending JP2013546081A (ja) 2010-12-02 2010-12-02 重ね書き入力に関する方法,装置,コンピュータプログラム製品

Country Status (6)

Country Link
JP (1) JP2013546081A (ja)
KR (1) KR101548835B1 (ja)
CN (1) CN103299254B (ja)
HK (1) HK1189066A1 (ja)
TW (1) TW201237764A (ja)
WO (1) WO2012071730A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016181566A1 (ja) * 2015-05-14 2016-11-17 富士通株式会社 文字認識方法、文字認識装置及び文字認識プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014115894A (ja) * 2012-12-11 2014-06-26 Canon Inc 表示装置
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US9495620B2 (en) 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
KR102005878B1 (ko) * 2013-06-09 2019-07-31 애플 인크. 실시간 필기 인식 관리
US9881224B2 (en) * 2013-12-17 2018-01-30 Microsoft Technology Licensing, Llc User interface for overlapping handwritten text input
CN104504411B (zh) * 2014-12-24 2018-04-20 英华达(上海)科技有限公司 一种手写文字的三维打印建模装置及方法
US9524440B2 (en) * 2014-04-04 2016-12-20 Myscript System and method for superimposed handwriting recognition technology
DK179329B1 (en) 2016-06-12 2018-05-07 Apple Inc Handwriting keyboard for monitors
GB2565405A (en) 2017-08-08 2019-02-13 Education Index Man Asia Pacific Pte Ltd Language-adapted user interfaces
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737039A (ja) * 1993-07-26 1995-02-07 Sharp Corp オンライン手書き文字認識装置
JP2000227941A (ja) * 1999-01-13 2000-08-15 Internatl Business Mach Corp <Ibm> 手書き情報処理システムおよび方法
JP2009289188A (ja) * 2008-05-30 2009-12-10 Nec Corp 文字入力装置、文字入力方法および文字入力用プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW397951B (en) * 1995-06-05 2000-07-11 Motorola Inc Method and microprocessor for preprocessing handwriting having characters composed of a preponderance of straight line segments
AU2003900865A0 (en) * 2003-02-26 2003-03-13 Silverbrook Research Pty Ltd Methods, systems and apparatus (NPW010)
US7692636B2 (en) * 2004-09-30 2010-04-06 Microsoft Corporation Systems and methods for handwriting to a screen
JP2008250375A (ja) * 2007-03-29 2008-10-16 Toshiba Corp 文字入力装置、方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737039A (ja) * 1993-07-26 1995-02-07 Sharp Corp オンライン手書き文字認識装置
JP2000227941A (ja) * 1999-01-13 2000-08-15 Internatl Business Mach Corp <Ibm> 手書き情報処理システムおよび方法
JP2009289188A (ja) * 2008-05-30 2009-12-10 Nec Corp 文字入力装置、文字入力方法および文字入力用プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016181566A1 (ja) * 2015-05-14 2016-11-17 富士通株式会社 文字認識方法、文字認識装置及び文字認識プログラム
JPWO2016181566A1 (ja) * 2015-05-14 2018-03-29 富士通株式会社 文字認識方法、文字認識装置及び文字認識プログラム

Also Published As

Publication number Publication date
KR101548835B1 (ko) 2015-09-11
TW201237764A (en) 2012-09-16
KR20130093672A (ko) 2013-08-22
CN103299254B (zh) 2016-09-14
HK1189066A1 (zh) 2014-05-23
CN103299254A (zh) 2013-09-11
WO2012071730A1 (en) 2012-06-07

Similar Documents

Publication Publication Date Title
KR101548835B1 (ko) 중첩 수기를 위한 방법, 장치 및 컴퓨터 프로그램 제품
US20120131520A1 (en) Gesture-based Text Identification and Selection in Images
US9846536B2 (en) Composition of handwritten messages on mobile computing devices
JP6427559B6 (ja) 手書き入力のための永久同期システム
CN111770288B (zh) 视频编辑方法、装置、终端及存储介质
JP2003303047A (ja) 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
CN110045909B (zh) 基于书写轨迹的椭圆处理方法、装置、设备及存储介质
CN107688399B (zh) 一种输入方法和装置、一种用于输入的装置
RU2648616C2 (ru) Способ и устройство для добавления шрифта
CN107977155B (zh) 一种手写识别方法、装置、设备和存储介质
US20170344247A1 (en) Touch screen device enabling entity to be shifted or copied based on touch input, and operating method thereof
JP2022536320A (ja) オブジェクト識別方法と装置、電子機器及び記憶媒体
EP2965181A1 (en) Enhanced canvas environments
CN109165626A (zh) 电子白板的书写笔画处理方法、装置、设备和存储介质
US20110037731A1 (en) Electronic device and operating method thereof
CN113918030A (zh) 一种手写输入方法、装置和用于手写输入的装置
CN110858291A (zh) 字符切分方法及装置
US11232616B2 (en) Methods and systems for performing editing operations on media
CN111724455A (zh) 图像处理方法及电子设备
CN105843414A (zh) 输入法的输入修正方法和输入法装置
WO2023093809A1 (zh) 文件编辑处理方法、装置和电子设备
WO2023284640A9 (zh) 图片处理方法和电子设备
US20160132478A1 (en) Method of displaying memo and device therefor
CN114882915B (zh) 信息记录方法、装置以及电子设备
CN107977089B (zh) 一种输入方法和装置、一种用于输入的装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140417

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140818