JP2018067298A - 手書き内容編集装置および手書き内容編集方法 - Google Patents

Abstract

【課題】高精度で水平の行および垂直の列を区分し、より高精度で手書き文字を区分することができる手書き内容編集装置およびその方法を提供する。【解決手段】筆画からなる手書き内容が入力されるステップと、筆画をサンプリングすることで筆画の軌跡点を取得し、手書き内容の方向を検出して手書き内容をテキスト行またはテキスト列として区分するステップと、手書き内容を表示するステップと、筆画および区分結果を筆画順に記憶するステップとを含む。新たな行／列の筆画が入力されたとき、直前の行／列の全ての筆画の中心、並びに、該行／列の全ての筆画に関するＸ座標の偏差およびＹ座標偏差を特定すると共に、Ｘ座標の偏差がＹ座標の偏差よりも大きい場合には、直前の行／列をテキスト行であると特定し、そうでない場合には、直前の行／列をテキスト列であると特定する処理により、手書き内容をテキスト行またはテキスト列として区分する。【選択図】図５

Description

本発明は手書き内容の編集技術に関し、より具体的には、ユーザが垂直の列方向に手書き内容を入力および編集することが可能であり、かつより高精度で水平の行および垂直の列を区分し、さらに、より高精度で手書き文字を区分することができる、手書き内容編集装置およびその方法に関する。

情報技術の発展に伴い、電子機器（例えばＰＤＡ、携帯型コンピュータ、携帯電話）などの使用が人々の生活の中で普及しつつある。これらの電子機器の入力形式は、大別してキーボード入力および手書き入力の２種類に分けられる。キーボード入力形式は、利用者が電子機器上のキーボードを用い、キーボードの各ボタンをクリックすることにより入力を行う。手書き入力形式は、利用者からの入力を電子機器のタッチパネルを介して受け付け、処理することにより、ユーザから入力された内容を識別する。この場合、電子機器には高い識別能力が要求され、すなわち、その識別の精度が高く要求される。

中国特許出願００１０３４５８．８には、文字処理の過程において、ユーザがペンや編集用ジェスチャを用いて文字書きおよびテキスト編集を行う手書き文字編集システムが提案されている。このシステムは、ユーザがペン以外の対話装置を用いる必要のない入力モードおよび選択モードという２つのモードを有し、編集用ジェスチャおよび手書き入力モードが自動的に切り替わる。また、この特許出願には、複数種類の編集機能、例えばコピー、移動、削除、挿入などの機能が挙げられている。

また、中国特許出願２０１１１０１６１１３９．０には、少なくとも新規入力指示領域を含む文字入力領域を手書き領域内に表示するステップと、ユーザによる手書き文字を受け付けるステップと、ユーザの書込んだ文字が新規入力指示領域に位置するか否かを判断するステップと、ユーザの書込んだ文字が新規入力指示領域に位置する場合、ユーザの書込んだ文字を新規入力文字として特定するステップと、を含む手書き入力識別方法が提案されている。この方法は、書込み領域について新規入力文字指示領域を振り分けると共に、例えば文字および領域の位置を探し出すことにより、書込み領域内の筆跡の入力意図を特定することができ、新規文字の入力または識別に対する修正が実現される。言い換えれば、行入力領域ではなく、目的とする文字領域を示すものであった。

さらに、中国特許出願２０１４１００８６８２.４には、行入力領域に基づいて行の区分を行う手書き内容区分方法が開示されている。この方法は、ユーザがより規範的な内容を書くための手助けになり、さらに、行の区分精度を向上させることができる。

中国特許出願００１０３４５８．８ 中国特許出願２０１１１０１６１１３９．０ 中国特許出願２０１４１００８６８２.４

しかし、いずれの前記従来技術も、垂直方向に手書き内容を入力、編集することが提案されておらず、単に水平方向のみに手書き内容を入力、編集するものであった。さらに、前記従来技術では文字の区分精度が非常に低かった。従来の手書き内容編集装置は、隣接する筆画が互いに重なっているかどうかによって文字の区分を行うものが多かった。しかし、実際には、一般的にユーザによる手書き内容は規範的ではない。そのため、従来の方法では、手書き文字の区分精度が非常に低い。また、従来技術には、編集操作中に文字の区分の誤りを修正することが何ら提案されていないため、編集操作の効率は低い。

したがって、高効率、高精度で手書き内容を入力、編集するメカニズムが必要になる。

本発明は、ユーザが垂直の列方向に手書き内容を入力、編集することが可能で、より高精度で水平の行および垂直の列を区分し、さらに、より高精度で手書き文字を区分することができる、手書き内容編集装置およびその方法を提案する。

本発明の一態様によれば、筆画からなる手書き内容が入力され、筆画をサンプリングすることで筆画の軌跡点を取得し、手書き内容の方向を検出して手書き内容をテキスト行またはテキスト列として区分する入力モジュールと、手書き内容を表示する表示ディスプレイと、筆画と入力モジュールによる区分結果とを筆画順に記憶する記憶装置とを含む、手書き内容編集装置であって、前記入力モジュールは、新たな行／列の筆画が入力されたとき、直前の行／列の全ての筆画の中心、並びに、該行／列の全ての筆画に関するＸ座標の偏差およびＹ座標の偏差を特定する共に、Ｘ座標の偏差がＹ座標の偏差よりも大きい場合には直前の行／列をテキスト行であると特定し、そうでない場合には直前の行／列をテキスト列であると特定する処理により、手書き内容をテキスト行またはテキスト列として区分する、手書き内容編集装置を提供する。

本発明の他の態様によれば、筆画からなる手書き内容が入力されるステップと、筆画をサンプリングすることで筆画の軌跡点を取得し、手書き内容の方向を検出して手書き内容をテキスト行またはテキスト列として区分するステップと、手書き内容を表示するステップと、筆画および区分結果を筆画順に記憶するステップと、を含む手書き内容編集方法であって、新たな行／列の筆画が入力されたとき、直前の行／列の全ての筆画の中心、並びに、該行／列の全ての筆画に関するＸ座標の偏差およびＹ座標の偏差を特定する共に、Ｘ座標の偏差がＹ座標の偏差よりも大きい場合には直前の行／列をテキスト行であると特定し、そうでない場合には直前の行／列をテキスト列であると特定する処理により、手書き内容をテキスト行またはテキスト列として区分する、手書き内容編集方法を提供する。

従来技術と異なり、本発明の実施例にかかる手書き内容編集装置およびその方法は、少なくとも次の複数の面において手書き内容の入力、編集性能が改善されている。

（１）自動的に手書き内容の方向が検出される。水平方向に手書き内容を入力、編集することに加え、垂直方向に手書き内容を入力、編集することもできる。これは東アジア圏のユーザにとって便利である。

（２）文字の区分精度が向上している。筆画の結合化または他の方法によって各行／列の文字を区分する必要がなくなり、編集操作に関係する文字のみについて区分を行う。ユーザが編集位置を指示することが考慮されており、文字の区分精度が著しく向上している。

（３）編集操作中に文字の区分の誤りを修正するための対話方法を提供する。編集操作が完了するまで、文字の区分位置がハイライト表示される。また、ユーザの指示に基づき、ハイライト表示される文字区分位置を変更することができる。この方法により、ユーザが文字の区分に生じ得る誤りを修正することが可能になり、挿入等の編集操作においてはより高い効率が得られる。

以下、図面に基づいて本発明の好ましい実施例を説明する。これにより、本発明の前記のおよび他の目的、特徴や利点がより明白になる。

本発明の実施例にかかる手書き内容編集装置を示す概略ブロック図である。 本発明の実施例における入力領域Ａと境界領域Ｂとの関係の一例を示す図である。 水平方向の単点指示の一例を示す図である。 垂直方向の単点指示の一例を示す図である。 本発明の実施例にかかる手書き内容編集方法のフローチャートである。 本発明の実施例にかかる手書き内容編集方法を適用できるシステムを示すブロック図である。

以下、図面に基づいて本発明の実施例を詳細に説明する。なお、以下の説明における具体的な実施例は説明するためのものであり、本発明を限定するものではなく、本発明の例示にすぎない。また、本発明に対する理解に混同が生じ得る場合は、かかる一般的な構成または構造の説明を省略する。なお、以下の説明において、「行／列」は、「行および列の少なくとも何れか」であることを示す。

図１は、本発明の実施例にかかる手書き内容編集装置１００を示す概略ブロック図である。該手書き内容編集装置１００は、筆画からなる手書き内容が入力されると共に、筆画をサンプリングすることで筆画の軌跡点を取得し、手書き内容の方向を検出して手書き内容をテキスト行またはテキスト列として区分する入力モジュール１１０と、手書き内容を表示する表示ディスプレイ１２０と、筆画順に、筆画、および入力モジュールによる区分結果を記憶する記憶装置１３０とを含む。

本実施例にかかる手書き内容編集装置１００は、例えば、スマートフォン、入力パッド、電子ノート、または、手書き内容を入力することができる他の電子機器上で実現されてもよい。

入力モジュール１１０は手書き内容を入力するために用いられる。通常、ユーザは筆画に基づいて入力するため、手書き内容は筆画からなる。入力モジュール１１０としては、例えば、ユーザからの手書き内容を入力するための、電子機器に付される手書きペンを含んでもよい。また、入力モジュール１１０としては、例えば、ユーザが内容を入力するために操作するワイヤレスマウスを含んでもよい。

表示ディスプレイ１２０は、ユーザによる校閲または変更が可能なように、ユーザから入力された手書き内容をリアルタイムに表示してもよい。

入力モジュール１１０は、さらに、手書き内容をテキスト行またはテキスト列として区分する。入力モジュール１１０は、例えば電子機器内のプロセッサを含んでもよい。行／列の区分は通常、２つのステップを含む。第１のステップは入力領域の算出である。例えば、現在の行／列の境界領域をＢとすれば、Ｂとは所定の規則を満たす入力領域Ａを定義する。

例えば、Ｂの左上頂点および右下頂点の座標を（ｘ１、ｙ１）および（ｘ４、ｙ４）とすると、Ａの左上頂点および右下頂点の座標は、それぞれ（ｘ１−ｌ、ｙ１−ｔ）および（ｘ４＋ｒ、ｙ４＋ｂ）であってもよい（ｌ＞０、ｔ＞０、ｒ＞０、ｂ＞０）。なお、一般的に、ユーザが水平方向には上から下へ、垂直方向には左から右へ書き込むことを考慮し、ｒおよびｂは、それぞれｌおよびｔの値よりも大きい値を取る。

ここで、新たな筆画が入力されたとき、新たに入力された筆画をサンプリングし、新たに入力された筆画を内包する新規筆画領域Ｖを算出する。新規筆画領域ＶとＡとが互いに重なった場合、該新たな筆画を、現在の行／列に属するものとして区分すると共に、ＡおよびＢを再算出する。新規筆画領域ＶとＡとが重ならない場合、該新たな筆画を、新たな行／列の最初の筆画であると特定する。このとき、現在の行／列を直前の行／列とし、該新たな行／列を現在の行／列とし、新規筆画領域を現在の行／列の境界領域とし、ＡおよびＢが満たす前記所定の規則に基づいて新たな現在の行／列の入力領域を算出する。

いくつかの実施例において、前記の領域は矩形であってもよい。

所定の規則は、次のいずれか１つであってもよい。（１）入力領域が、その対応する境界領域に比べて所定の比率だけ大きい。（２）入力領域の高さが、その対応する境界領域に比べて第１の所定比率だけ大きく、幅が、その対応する境界領域に比べて第２の所定比率だけ大きい。（３）入力領域が、その対応する境界領域に比べて所定のサイズだけ大きい。（４）入力領域の高さが、その対応する境界領域に比べて第１の所定サイズだけ大きく、幅が、その対応する境界領域に比べて第２の所定サイズだけ大きい。

図２は本実施例における入力領域Ａと境界領域Ｂとの関係の一例を示す図である。

もちろん、本実施例にかかる手書き内容編集装置は、入力テキストの行／列を識別することができれば、他の手段により入力領域を特定してもよい。

いくつかの実施例において、現在の行／列の入力領域Ａを識別できたとき、表示ディスプレイ１２０上に現在の行／列の入力領域を表示してもよい。これにより、入力された筆画を初期的に行／列として区分することができるだけでなく、ユーザがより規範的な内容を書くための手助けにもなる。

第２のステップはテキスト方向を検出するステップである。欧米人が単に水平方向に文字を書くのと異なり、一部の中国人および日本人は依然として垂直方向の文字書きを好む。漢字および日本語の文字は、上下構造のものがあれば、左右構造のものもある。そのため、ユーザが内容を書込んだ後、テキスト方向を検出する必要がある。新たな行／列の作成後、直前の行／列の入力領域の方向を検出する。つまり、新たな行／列の筆画が入力されると、直前の行／列の全ての筆画の中心、並びに、該行／列の全ての筆画に関するＸ座標の偏差およびＹ座標の偏差を特定する。そして、Ｘ座標の偏差がＹ座標の偏差より大きい場合には、直前の行／列を水平方向のテキスト行であると特定し、そうでない場合には、直前の行／列を垂直方向のテキスト列であると特定する。

記憶装置１３０は、筆画順に、筆画、すなわち筆画の軌跡点を記憶すると共に入力モジュール１１０による区分結果を記憶する。

さらに、図１のように、本発明の実施例にかかる手書き内容編集装置１００は、入力モジュール１１０が動作する入力モードと、編集モードとの間で前記装置を切り替える切替モジュール１４０と、前記切替モジュールが編集モードに切り替えた場合に、ユーザの指示に基づいて、手書き内容に対する編集機能を実行する編集モジュール１５０とをさらに含む。例えば、入力モードは、手書き内容の入力を受け付け、さらに入力された手書き内容の筆画をサンプリングし、テキスト行／テキスト列を区別するためのモードであり、編集モードは、手書き内容を編集するためのモードである。

いくつかの実施例において、手書きペンは、編集モジュール１５０および入力モジュール１１０の一部を実現することができる。手書きペンの上のボタンは、切替モジュール１４０として用いられ、入力モードと編集モードとの間で手書き内容編集装置を切り替えることができる。

本発明の実施例において、行／列の区分後は、筆画の結合化または他の方法によって各行/列の文字を区分する必要がなくなり、編集操作に関係する文字のみについて区分を行う。例えば、“コピー→挿入”の操作において、コピーされた文字および挿入されるべき文字のみについて識別、区分を行う。編集機能は、カット、コピー、移動、ペースト、挿入のうちの少なくとも１つを含む。異なる編集操作に関するユーザ指示としては、単独の点を目標とする指示（以下、単点指示と称する）、および、範囲を目標とする指示（以下、範囲指示と称する）を含む。例えば、カット、コピー、移動等の編集機能に関する指示は範囲指示であるが、ペースト、挿入等の編集機能に関する指示は単点指示である。なお、範囲指示が２つの単点指示の組み合わせに相当することを考慮し、以下は単点指示のみについて説明する。

図３は水平方向における（つまり、テキスト行における）単点指示の一例を示す図である。この場合、表示ディスプレイ上における指示位置の座標を（Ｘ，Ｙ）とし、以下のステップに基づいて、単点指示された文字の区分位置を説明する。まず、指示位置が存在するテキスト行の中の全ての筆画をスキャンし、指示位置の左側に存在する最も近い軌跡点を取得する。そして、該最も近い軌跡点のＸ座標をＸｌｅｆｔと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録する。その後、行方向における筆画順に基づいてＳｔｅｍｐ以降の筆画をスキャンし、指示位置の左側に存在する最後の筆画Ｓｌｅｆｔ、および指示位置の右側に存在する最初の筆画Ｓｒｉｇｈｔを探し出す。最後に、筆画順に基づいてＳｒｉｇｈｔ以降の筆画をスキャンし、指示位置の右側に存在する最も近い軌跡点を取得する。該最も近い軌跡点のＸ座標をＸｒｉｇｈｔと記録する。そして、ＸｌｅｆｔとＸｒｉｇｈｔとの平均値Ｘｃを文字の区分位置のｘ座標とする。つまり、文字の区分位置は（Ｘｃ，Ｙ）となる。

いくつかの実施例において、部分的に重なっている文字に起因し得る問題を回避するために、筆画の中心によって筆画の位置を判断してもよい。筆画の中心が指示位置の左側にある場合、該筆画を指示位置の左側にあると特定し、そうでない場合、該筆画を指示位置の右側にあると特定する。

編集の効率を向上させるために、表示ディスプレイ１２０上において文字の区分位置Ｘｃに位置マークを表示し、ユーザに文字の区分位置を知らせてもよい。こうすれば、指示位置に起因した誤りが文字の区分に生じた場合、例えば、指示位置がちょうど左右構造の文字の中央に存在し、文字の区分位置もちょうど該文字の中央に存在する場合には、ユーザは、誤った文字区分位置を見た時、指示位置を微調整し、正確な文字区分結果を得ることができる。

前記と類似的に、ユーザの指示に基づいて、垂直方向の手書き内容（つまり、テキスト列）について区分を行うことができる。図４は垂直方向における単点指示の一例を示す図である。この場合、表示ディスプレイ上における指示位置の座標を（Ｘ，Ｙ）とし、以下のステップに基づいて、単点指示された文字の区分位置を説明する。まず、選択されたテキスト列の中の全ての筆画をスキャンし、指示位置の上側に存在する最も近い軌跡点を取得する。そして、該最も近い軌跡点のＹ座標をＹｕｐと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録する。その後、列方向における筆画順に基づいてＳｔｅｍｐ以降の筆画をスキャンし、指示位置の上側に存在する最後の筆画Ｓｕｐ、および指示位置の下側に存在する最初の筆画Ｓｄｏｗｎを探し出す。なお、部分的に重なっている文字に起因し得る問題を回避するために、筆画の中心によって筆画の位置を判断する。筆画の中心が指示位置の上側に位置する場合、該筆画を指示位置の上側に存在すると特定する。そうでない場合、該筆画を指示位置の下側に存在すると特定する。最後に、列方向における筆画順にＳｄｏｗｎ以降の筆画をスキャンし、指示位置の下側に存在する最も近い軌跡点を取得する。該最も近い軌跡点のＹ座標をＹｄｏｗｎと記録する。そして、ＹｕｐとＹｄｏｗｎとの平均値Ｙｃを文字の区分位置のＹ座標とする。つまり、文字の区分位置は（Ｘ，Ｙｃ）となる。

同様に、編集の効率を向上させるために、表示ディスプレイ１２０上において文字の区分位置に位置マークを表示し、ユーザに文字の区分位置を知らせてもよい。

図５は本発明の実施例にかかる手書き内容編集方法５００のフローチャートである。本発明の実施例にかかる手書き内容編集方法は、電子機器に用いられ、ユーザが電子機器上に手書き内容を入力した時点で開始する。まず、ステップＳ５１０では、筆画からなる手書き内容が入力される。その後、ステップＳ５２０では、筆画をサンプリングすることで筆画の軌跡点を取得し、手書き内容の方向を検出して手書き内容をテキスト行またはテキスト列として区分する。いくつかの実施例において、以下の動作により手書き内容をテキスト行またはテキスト列として区分する。すなわち、新たな行／列の筆画が入力されると、直前の行／列の全ての筆画の中心、並びに、該行／列の全ての筆画に関するＸ座標の偏差およびＹ座標の偏差を特定する。そして、Ｘ座標の偏差がＹ座標の偏差より大きい場合には、直前の行／列をテキスト行であると特定し、そうでない場合には、直前の行／列をテキスト列であると特定する。次に、ステップＳ５３０では、手書き内容を表示する。ステップＳ５４０では、筆画および区分結果を筆画順に記憶する。もちろん、本発明の実施例にかかる手書き内容編集方法は、ステップの順序間で妨げが生じなければ、必ずしも上述したステップ順通りに実行しなくてもよい。例えば、ステップＳ５３０とステップＳ５４０とを同時に実行してもよい。また、先にステップＳ５４０を実行し、その後にステップＳ５３０を実行してもよい。

本発明の実施例にかかる手書き内容編集方法は、入力モードと編集モードとの間で切り替えるステップＳ５０１をさらに含む。ステップＳ５０１で入力モードに切り替わった場合、次にステップＳ５１０を実行する。ステップＳ５０１で編集モードに切り替わった場合、次にステップＳ５５０を実行し、ユーザの指示に基づいて、手書き内容に対する編集機能を実行する。

編集機能の実行は、表示ディスプレイ上におけるユーザの指示位置を特定し、指示位置における手書き内容がテキスト行およびテキスト列のいずれであるかを特定する動作を含む。

テキスト行である場合には、指示位置の左側に存在する最も近い軌跡点を取得する。そして、該最も近い軌跡点のＸ座標をＸｌｅｆｔと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録する。続いて、行方向における筆画順に基づいてＳｔｅｍｐ以降の筆画をスキャンし、指示位置の左側に存在する最後の筆画Ｓｌｅｆｔ、および指示位置の右側に存在する最初の筆画Ｓｒｉｇｈｔを探し出す。次に、筆画順に基づいてＳｒｉｇｈｔ以降の筆画をスキャンし、指示位置の右側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＸ座標をＸｒｉｇｈｔと記録する。そして、ＸｌｅｆｔとＸｒｉｇｈｔとの平均値Ｘｃを文字の区分位置のＸ座標とする。

一方、テキスト列である場合には、指示位置の上側に存在する最も近い軌跡点を取得する。そして、該最も近い軌跡点のＹ座標をＹｕｐと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録する。続いて、列方向における筆画順に基づいてＳｔｅｍｐ以降の筆画をスキャンし、指示位置の上側に存在する最後の筆画Ｓｕｐ、および指示位置の下側に存在する最初の筆画Ｓｄｏｗｎを探し出す。次に、筆画順に基づいてＳｄｏｗｎ以降の筆画をスキャンし、指示位置の下側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＹ座標をＹｄｏｗｎと記録する。そして、ＹｕｐとＹｄｏｗｎとの平均値Ｙｃを文字の区分位置のＹ座標とする。

ステップＳ５５０の後、ステップＳ５３０に進み、決定された文字の区分位置に位置マークを表示する。その後、ステップＳ５４０では、特定された結果を記憶する。

図６は本発明の実施例にかかる手書き内容編集方法を適用できるシステムを示すブロック図である。該システムは、ユーザが簡単に内容を入力、編集することができる手書き入力ボードを備えたシステムであって、入力または編集された内容がシステム内のプロセッサおよび記憶装置によって処理、記憶されるシステムであってもよい。例えば、ユーザは、該システムを利用してお祝いカードを編集してもよい。また、例えば、ユーザは、手書き入力ボード上にＰＰＴを表示させながらＰＰＴを編集してもよい。

本発明の実施例の手書き内容編集方法およびその装置は、電子ホワイトボード、タブレットＰＣ、タッチパネル付きディスクトップＰＣ、携帯電話、ＰＤＡなど、テキストおよび画像の処理機能を有する電子機器に適用されてもよい。ユーザは、このような電子機器上で手書き入力、編集を行うことができる。また、電子機器は、高効率、高精度で手書き内容を区分することができる。

以上に説明した本発明の実施例における別の構成は、上述した方法の実施例におけるステップおよび処理を実行するソフトウェアプログラムを含む。より具体的には、該コンピュータプログラム製品とは、符号化されたコンピュータプログラムロジックを記録したコンピュータ読み取り可能な記録媒体を備え、該コンピュータプログラムロジックがコンピュータ機器上において実行されると、前記の技術的構成を実行する関連の処理が行われる製品である。また、該コンピュータプログラムロジックは、コンピュータシステムにおける少なくとも１つのプロセッサにより実行されると、本発明の実施例に記載の処理（方法）が実行されるようになる。本発明の前記構成に供される代表的なものとしては、例えば、光学媒体（例えばＣＤ−ＲＯＭ）や、フロッピ（登録商標）またはハードディスクのようなコンピュータ読み取り可能な記録媒体上に記録、または符号化されたソフトウェア、コード、および／若しくは他のデータ構成；或いは、１つまたは複数のＲＯＭ、ＲＡＭ若しくはＰＲＯＭチップ上のハードウェア構成やマイクロコードのような別の媒体、特定用途集積回路（ＡＳＩＣ）；或いは、１つまたは複数のモジュール内のダウンロード可能なソフトウェア画像や共有データベース等が挙げられる。また、ソフトウェアやハードウェアによる前記構成をコンピュータ機器に設け、本発明実施例に記載の技術的構成をコンピュータ機器内の１つまたは複数のプロセッサに実行させてもよい。また、データ通信機器群、または、別の実体における演算機器と共同で行われるソフトウェア処理プロセスを本発明に係る機器に提供してもよい。本発明に係る機器は、複数のデータ通信機器上の複数のソフトウェアプロセスの同士間、小型専用コンピュータ群上で動作するあらゆるソフトウェア処理プロセスの同士間、または、単独のコンピュータ上で動作するあらゆるソフトウェア処理プロセスの同士間に分散される形式で実現され得る。

厳密に言えば、本発明の実施例は、コンピュータ機器上のソフトウェアプログラム、ソフトウェアやハードウェア、或いは、独立ソフトウェアおよび／もしくは独立回路として実現され得ると理解される。

なお、以上は単に例示の形で本発明の技術的構成を説明したが、本発明が前記のステップおよびユニット構成に限定されることを意味するものではない。可能であれば、必要に応じてステップおよびユニットの構成を調整、取捨してもよい。したがって、一部のステップおよびユニットは、本発明のその思想全体に必要な要素を実施するものではない。そのため、本発明に必要な技術的特徴は、以上の具体的な実施例に限定されず、本発明の思想全体における最低限の要求を実現可能なもののみに限定される。

以上、好ましい実施形態を例示しながら本発明について説明したが、本発明の精神および範囲から逸脱しない限り、当業者が本発明に対して種々の変更、置換および追加を行うことが可能であると理解されるべきである。したがって、本発明の範囲は、上述した特定な実施例に限定されず、添付される特許請求の範囲により限定されるべきである。

〔まとめ〕
本発明の態様１に係る手書き内容編集装置（１００）は、筆画からなる手書き内容が入力され、前記筆画をサンプリングすることで当該筆画の軌跡点を取得し、前記手書き内容の方向を検出して当該手書き内容をテキスト行またはテキスト列として区分する入力モジュール（１１０）と、前記手書き内容を表示する表示ディスプレイ（１２０）と、前記筆画と前記入力モジュールによる区分結果とを筆画順に記憶する記憶装置（１３０）とを含む、手書き内容編集装置であって、前記入力モジュールは、新たな行／列の筆画が入力されたとき、直前の行／列の全ての筆画の中心、並びに、該行／列の全ての筆画に関するＸ座標の偏差およびＹ座標の偏差を特定する共に、Ｘ座標の偏差がＹ座標の偏差よりも大きい場合には直前の行／列をテキスト行であると特定し、そうでない場合には直前の行／列をテキスト列であると特定する処理により、手書き内容をテキスト行またはテキスト列として区分する、構成である。

本発明の態様２に係る手書き内容編集装置（１００）は、前記態様１において、前記入力モジュール（１１０）が動作する入力モードと、編集モードとの間で前記手書き内容編集装置を切り替える切替モジュール（１４０）と、前記手書き内容編集装置が編集モードに切り替えられたとき、ユーザの指示に基づいて、手書き内容に対する編集機能を実行する編集モジュール（１５０）と、をさらに含む、構成である。

本発明の態様３に係る手書き内容編集装置（１００）は、前記態様２において、前記編集モジュール（１５０）は、前記表示ディスプレイ（１２０）上におけるユーザの指示位置を特定する処理（１）と、前記指示位置における手書き内容がテキスト行およびテキスト列のいずれであるかを特定する処理（２）と、テキスト行については、前記指示位置の左側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＸ座標をＸｌｅｆｔと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録し、次に、行方向における筆画順にＳｔｅｍｐ以降の筆画をスキャンし、前記指示位置の左側に存在する最後の筆画Ｓｌｅｆｔ、および、前記指示位置の右側に存在する最初の筆画Ｓｒｉｇｈｔを探し出し、次に、筆画順にＳｒｉｇｈｔ以降の筆画をスキャンし、前記指示位置の右側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＸ座標をＸｒｉｇｈｔと記録し、次に、ＸｌｅｆｔとＸｒｉｇｈｔとの平均値Ｘｃを文字の区分位置のＸ座標とする処理（３）と、テキスト列については、前記指示位置の上側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＹ座標をＹｕｐと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録し、次に、列方向における筆画順にＳｔｅｍｐ以降の筆画をスキャンし、前記指示位置の上側に存在する最後の筆画Ｓｕｐ、および、前記指示位置の下側に存在する最初の筆画Ｓｄｏｗｎを探し出し、次に、筆画順にＳｄｏｗｎ以降の筆画をスキャンし、前記指示位置の下側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＹ座標をＹｄｏｗｎと記録し、次に、ＹｕｐとＹｄｏｗｎとの平均値Ｙｃを文字の区分位置のＹ座標とする処理（４）とにより、編集機能を実行する、構成である。

本発明の態様４に係る手書き内容編集装置（１００）は、前記態様３において、テキスト行内の筆画について、前記筆画の中心が前記指示位置の左側に位置する場合には、該筆画を前記指示位置の左側に存在すると特定し、そうでない場合には、該筆画を指示位置の右側に存在すると特定する規則（１）と、テキスト列内の筆画について、前記筆画の中心が前記指示位置の上側に位置する場合には、該筆画を前記指示位置の上側に存在すると特定し、そうでない場合には、該筆画を前記指示位置の下側に存在すると特定する規則（２）とにより、筆画の位置を判断する、構成である。

本発明の態様５に係る手書き内容編集装置（１００）は、前記態様３において、さらに、前記表示ディスプレイ（１２０）は、決定された、文字の前記区分位置に位置マークを表示する、構成である。

本発明の態様６に係る手書き内容編集装置（１００）は、前記態様５において、前記編集機能は、カット、コピー、移動、ペースト、挿入のうちの少なくとも１つを含む、構成である。

本発明の態様７に係る手書き内容編集装置（１００）は、前記態様１において、前記入力モジュール（１１０）は、新たに入力された筆画をサンプリングし、該新たに入力された筆画を内包する新規筆画領域を算出する処理と、前記新規筆画領域と現在の行／列の入力領域とが互いに重なった場合には、前記新たに入力された筆画を現在の行／列に属するものとして区分すると共に、前記現在の行／列の境界領域および入力領域を再算出する処理と、前記新規筆画領域と現在の行／列の入力領域とが重ならない場合には、前記新たに入力された筆画を新たな行／列を現在の行／列とし、前記新規筆画領域を現在の行／列の境界領域とし、所定の規則に基づいて現在の行／列の入力領域を算出する処理と、をさらに行い、前記入力領域は境界領域を内包する、構成である。

本発明の態様８に係る手書き内容編集装置（１００）は、前記態様６において、前記表示ディスプレイ（１２０）は、さらに、現在の行／列の入力領域を表示する、構成である。

本発明の態様９に係る手書き内容編集方法（５００）は、筆画からなる手書き内容が入力されるステップ（Ｓ５１０）と、筆画をサンプリングすることで筆画の軌跡点を取得し、前記手書き内容の方向を検出して該手書き内容をテキスト行またはテキスト列として区分するステップ（Ｓ５２０）と、前記手書き内容を表示するステップ（Ｓ５３０）と、筆画および区分結果を筆画順に記憶するステップ（Ｓ５４０）と、を含む手書き内容編集方法であって、新たな行／列の筆画が入力されたとき、直前の行／列の全ての筆画の中心、並びに、該行／列の全ての筆画に関するＸ座標の偏差およびＹ座標の偏差を特定する共に、Ｘ座標の偏差がＹ座標の偏差よりも大きい場合には該直前の行／列をテキスト行であると特定し、そうでない場合には該直前の行／列をテキスト列であると特定する処理により、前記手書き内容をテキスト行またはテキスト列として区分する、構成である。

本発明の態様１０に係る手書き内容編集方法（５００）は、前記態様９において、入力モードと編集モードとの間で切り替えるステップ（Ｓ５０１）と、前記編集モードに切り替えたとき、ユーザの指示に基づいて、前記手書き内容に対する編集機能を実行するステップ（Ｓ５５０）と、をさらに含む、構成である。

本発明の態様１１に係る手書き内容編集方法（５００）は、前記態様１０において、前記編集機能を実行するステップ（Ｓ５５０）は、表示ディスプレイ（１２０）上におけるユーザの指示位置を特定する処理（１）と、前記指示位置における前記手書き内容がテキスト行およびテキスト列とのいずれであるかを特定する処理（２）と、テキスト行については、前記指示位置の左側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＸ座標をＸｌｅｆｔと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録し、次に、行方向における筆画順にＳｔｅｍｐ以降の筆画をスキャンし、前記指示位置の左側に存在する最後の筆画Ｓｌｅｆｔ、および前記指示位置の右側に存在する最初の筆画Ｓｒｉｇｈｔを探し出し、次に、筆画順にＳｒｉｇｈｔ以降の筆画をスキャンし、前記指示位置の右側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＸ座標をＸｒｉｇｈｔと記録し、次に、ＸｌｅｆｔとＸｒｉｇｈｔとの平均値Ｘｃを文字の区分位置のＸ座標とする処理（３）と、テキスト列については、前記指示位置の上側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＹ座標をＹｕｐと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録し、次に、列方向における筆画順にＳｔｅｍｐ以降の筆画をスキャンし、前記指示位置の上側に存在する最後の筆画Ｓｕｐ、および前記指示位置の下側に存在する最初の筆画Ｓｄｏｗｎを探し出し、次に、筆画順にＳｄｏｗｎ以降の筆画をスキャンし、前記指示位置の下側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＹ座標をＹｄｏｗｎと記録し、次に、ＹｕｐとＹｄｏｗｎとの平均値Ｙｃを文字の区分位置のＹ座標とする処理（４）と、を含む、構成である。

本発明の態様１２に係る手書き内容編集方法（５００）は、前記態様１１において、テキスト行内の筆画について、筆画の中心が前記指示位置の左側に位置する場合には、該筆画を前記指示位置の左側に存在すると特定し、そうでない場合には、該筆画を前記指示位置の右側に存在すると特定する規則（１）、テキスト列内の筆画について、筆画の中心が前記指示位置の上側に位置する場合には、該筆画を前記指示位置の上側に存在すると特定し、そうでない場合には、該筆画を前記指示位置の下側に存在すると特定する規則（２）とにより、筆画の位置を判断する、構成である。

本発明の態様１３に係る手書き内容編集方法（５００）は、前記態様１１において、決定された、文字の区分位置に位置マークを表示するステップをさらに含む、構成である。

本発明の態様１４に係る手書き内容編集方法（５００）は、前記態様１３において、前記編集機能は、カット、コピー、移動、ペースト、挿入のうちの少なくとも１つを含む、構成である。

本発明の態様１５に係る手書き内容編集方法（５００）は、前記態様９において、新たに入力された筆画をサンプリングし、該新たに入力された筆画を内包する新規筆画領域を算出するステップと、前記新規筆画領域と現在の行／列の入力領域とが互いに重なった場合には、前記新たに入力された筆画を現在の行／列に属するものとして区分すると共に、前記現在の行／列の境界領域および入力領域を再算出するステップと、前記新規筆画領域と現在の行／列の入力領域とが重ならない場合には、前記新たに入力された筆画を新たな行／列に属するものとして特定すると共に、前記現在の行／列を直前の行／列とし、前記新たな行／列を現在の行／列とし、前記新規筆画領域を現在の行／列の境界領域とし、所定の規則に基づいて現在の行／列の入力領域を算出するステップと、をさらに含み、前記入力領域は前記境界領域を内包する、構成である。

本発明の態様１６に係る手書き内容編集方法（５００）は、前記態様１４において、現在の行／列の入力領域を表示するステップをさらに含む、構成である。

１００ 内容編集装置
１１０ 入力モジュール
１２０ 表示ディスプレイ
１３０ 記憶装置
１４０ 切替モジュール
１５０ 編集モジュール
５００ 内容編集方法

Claims (16)

1. 筆画からなる手書き内容が入力され、前記筆画をサンプリングすることで当該筆画の軌跡点を取得し、前記手書き内容の方向を検出して当該手書き内容をテキスト行またはテキスト列として区分する入力モジュールと、
   前記手書き内容を表示する表示ディスプレイと、
   前記筆画と前記入力モジュールによる区分結果とを筆画順に記憶する記憶装置とを含む、手書き内容編集装置であって、
   前記入力モジュールは、
   新たな行／列の筆画が入力されたとき、直前の行／列の全ての筆画の中心、並びに、該行／列の全ての筆画に関するＸ座標の偏差およびＹ座標の偏差を特定する共に、Ｘ座標の偏差がＹ座標の偏差よりも大きい場合には直前の行／列をテキスト行であると特定し、そうでない場合には直前の行／列をテキスト列であると特定する処理により、手書き内容をテキスト行またはテキスト列として区分する、手書き内容編集装置。
2. 前記入力モジュールが動作する入力モードと、編集モードとの間で前記手書き内容編集装置を切り替える切替モジュールと、
   前記手書き内容編集装置が編集モードに切り替えられたとき、ユーザの指示に基づいて、手書き内容に対する編集機能を実行する編集モジュールと、をさらに含む、請求項１に記載の手書き内容編集装置。
3. 前記編集モジュールは、
   前記表示ディスプレイ上におけるユーザの指示位置を特定する処理（１）と、
   前記指示位置における手書き内容がテキスト行およびテキスト列のいずれであるかを特定する処理（２）と、
   テキスト行については、
   前記指示位置の左側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＸ座標をＸｌｅｆｔと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録し、
   次に、行方向における筆画順にＳｔｅｍｐ以降の筆画をスキャンし、前記指示位置の左側に存在する最後の筆画Ｓｌｅｆｔ、および、前記指示位置の右側に存在する最初の筆画Ｓｒｉｇｈｔを探し出し、
   次に、筆画順にＳｒｉｇｈｔ以降の筆画をスキャンし、前記指示位置の右側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＸ座標をＸｒｉｇｈｔと記録し、
   次に、ＸｌｅｆｔとＸｒｉｇｈｔとの平均値Ｘｃを文字の区分位置のＸ座標とする処理（３）と、
   テキスト列については、
   前記指示位置の上側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＹ座標をＹｕｐと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録し、
   次に、列方向における筆画順にＳｔｅｍｐ以降の筆画をスキャンし、前記指示位置の上側に存在する最後の筆画Ｓｕｐ、および、前記指示位置の下側に存在する最初の筆画Ｓｄｏｗｎを探し出し、
   次に、筆画順にＳｄｏｗｎ以降の筆画をスキャンし、前記指示位置の下側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＹ座標をＹｄｏｗｎと記録し、
   次に、ＹｕｐとＹｄｏｗｎとの平均値Ｙｃを文字の区分位置のＹ座標とする処理（４）とにより、編集機能を実行する、請求項２に記載の手書き内容編集装置。
4. テキスト行内の筆画について、前記筆画の中心が前記指示位置の左側に位置する場合には、該筆画を前記指示位置の左側に存在すると特定し、そうでない場合には、該筆画を指示位置の右側に存在すると特定する規則（１）と、
   テキスト列内の筆画について、前記筆画の中心が前記指示位置の上側に位置する場合には、該筆画を前記指示位置の上側に存在すると特定し、そうでない場合には、該筆画を前記指示位置の下側に存在すると特定する規則（２）とにより、筆画の位置を判断する請求項３に記載の手書き内容編集装置。
5. さらに、前記表示ディスプレイは、決定された、文字の前記区分位置に位置マークを表示する、請求項３に記載の手書き内容編集装置。
6. 前記編集機能は、カット、コピー、移動、ペースト、挿入のうちの少なくとも１つを含む、請求項５に記載の手書き内容編集装置。
7. 前記入力モジュールは、
   新たに入力された筆画をサンプリングし、該新たに入力された筆画を内包する新規筆画領域を算出する処理と、
   前記新規筆画領域と現在の行／列の入力領域とが互いに重なった場合には、前記新たに入力された筆画を現在の行／列に属するものとして区分すると共に、前記現在の行／列の境界領域および入力領域を再算出する処理と、
   前記新規筆画領域と現在の行／列の入力領域とが重ならない場合には、前記新たに入力された筆画を新たな行／列に属するものとして特定すると共に、前記現在の行／列を直前の行／列とし、前記新たな行／列を現在の行／列とし、前記新規筆画領域を現在の行／列の境界領域とし、所定の規則に基づいて現在の行／列の入力領域を算出する処理と、をさらに行い、
   前記入力領域は境界領域を内包する、請求項１に記載の手書き内容編集装置。
8. 前記表示ディスプレイは、さらに、現在の行／列の入力領域を表示する、請求項６に記載の手書き内容編集装置。
9. 筆画からなる手書き内容が入力されるステップと、
   筆画をサンプリングすることで筆画の軌跡点を取得し、前記手書き内容の方向を検出して該手書き内容をテキスト行またはテキスト列として区分するステップと、
   前記手書き内容を表示するステップと、
   筆画および区分結果を筆画順に記憶するステップと、を含む手書き内容編集方法であって、
   新たな行／列の筆画が入力されたとき、直前の行／列の全ての筆画の中心、並びに、該行／列の全ての筆画に関するＸ座標の偏差およびＹ座標の偏差を特定する共に、Ｘ座標の偏差がＹ座標の偏差よりも大きい場合には該直前の行／列をテキスト行であると特定し、そうでない場合には該直前の行／列をテキスト列であると特定する処理により、前記手書き内容をテキスト行またはテキスト列として区分する、手書き内容編集方法。
10. 入力モードと編集モードとの間で切り替えるステップと、
    前記編集モードに切り替えたとき、ユーザの指示に基づいて、前記手書き内容に対する編集機能を実行するステップと、をさらに含む、請求項９に記載の手書き内容編集方法。
11. 前記編集機能を実行するステップは、
    表示ディスプレイ上におけるユーザの指示位置を特定する処理（１）と、
    前記指示位置における前記手書き内容がテキスト行およびテキスト列とのいずれであるかを特定する処理（２）と、
    テキスト行については、
    前記指示位置の左側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＸ座標をＸｌｅｆｔと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録し、
    次に、行方向における筆画順にＳｔｅｍｐ以降の筆画をスキャンし、前記指示位置の左側に存在する最後の筆画Ｓｌｅｆｔ、および前記指示位置の右側に存在する最初の筆画Ｓｒｉｇｈｔを探し出し、
    次に、筆画順にＳｒｉｇｈｔ以降の筆画をスキャンし、前記指示位置の右側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＸ座標をＸｒｉｇｈｔと記録し、
    次に、ＸｌｅｆｔとＸｒｉｇｈｔとの平均値Ｘｃを文字の区分位置のＸ座標とする処理（３）と、
    テキスト列については、
    前記指示位置の上側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＹ座標をＹｕｐと記録すると共に、該最も近い軌跡点を含んだ筆画をＳｔｅｍｐと記録し、
    次に、列方向における筆画順にＳｔｅｍｐ以降の筆画をスキャンし、前記指示位置の上側に存在する最後の筆画Ｓｕｐ、および前記指示位置の下側に存在する最初の筆画Ｓｄｏｗｎを探し出し、
    次に、筆画順にＳｄｏｗｎ以降の筆画をスキャンし、前記指示位置の下側に存在する最も近い軌跡点を取得し、該最も近い軌跡点のＹ座標をＹｄｏｗｎと記録し、
    次に、ＹｕｐとＹｄｏｗｎとの平均値Ｙｃを文字の区分位置のＹ座標とする処理（４）と、を含む、請求項１０に記載の手書き内容編集方法。
12. テキスト行内の筆画について、筆画の中心が前記指示位置の左側に位置する場合には、該筆画を前記指示位置の左側に存在すると特定し、そうでない場合には、該筆画を前記指示位置の右側に存在すると特定する規則（１）、
    テキスト列内の筆画について、筆画の中心が前記指示位置の上側に位置する場合には、該筆画を前記指示位置の上側に存在すると特定し、そうでない場合には、該筆画を前記指示位置の下側に存在すると特定する規則（２）とにより、筆画の位置を判断する、請求項１１に記載の手書き内容編集方法。
13. 決定された、文字の区分位置に位置マークを表示するステップをさらに含む、請求項１１に記載の手書き内容編集方法。
14. 前記編集機能は、カット、コピー、移動、ペースト、挿入のうちの少なくとも１つを含む、請求項１３に記載の手書き内容編集方法。
15. 新たに入力された筆画をサンプリングし、該新たに入力された筆画を内包する新規筆画領域を算出するステップと、
    前記新規筆画領域と現在の行／列の入力領域とが互いに重なった場合には、前記新たに入力された筆画を現在の行／列に属するものとして区分すると共に、前記現在の行／列の境界領域および入力領域を再算出するステップと、
    前記新規筆画領域と現在の行／列の入力領域とが重ならない場合には、前記新たに入力された筆画を新たな行／列に属するものとして特定すると共に、前記現在の行／列を直前の行／列とし、前記新たな行／列を現在の行／列とし、前記新規筆画領域を現在の行／列の境界領域とし、所定の規則に基づいて現在の行／列の入力領域を算出するステップと、をさらに含み、
    前記入力領域は前記境界領域を内包する、請求項９に記載の手書き内容編集方法。
16. 現在の行／列の入力領域を表示するステップをさらに含む、請求項１４に記載の手書き内容編集方法。

Images