JP2014186558A - 情報処理装置および情報処理装置の制御方法 - Google Patents

Abstract

【課題】処理が割り当てられたパターンの軌跡の入力を、通常の手書き入力として処理する。
【解決手段】情報処理装置（１）は、入力操作の軌跡が予め設定された複数の領域にまたがっているか判定する軌跡入力領域判定部（１４３）と、複数の領域にまたがっていると判定された軌跡が予め定められたパターンの軌跡であるときに、該パターンに予め対応付けられた処理を実行する編集処理実行部（１４５）とを備えている。
【選択図】図１

Description

本発明は、入力面にて受け付けた入力操作の軌跡を表示装置に表示させる情報処理装置に関する。

従来、ユーザの指などの指示体を入力面に接触あるいは近接させて移動させる操作（手書き入力操作）によって描かれた文字や図形などの軌跡を、そのまま表示画面に表示させる技術が広く知られている。また、予め定められたパターンの軌跡を手書き入力操作で描かれたときに、そのパターンに予め割り当てられた処理を実行するジェスチャ入力の技術も広く知られている。

例えば、下記特許文献１には、手書き入力された文字等を表示させると共に、手書きジェスチャに従って、手書きされた文書を編集する装置が開示されている。また、下記特許文献２には、消去、移動、および拡大・縮小などの編集処理のそれぞれについて、その編集内容をイメージさせる図形を手書き編集コマンドとして設定しておき、その図形が手書き入力されたときに図形に対応する編集処理を実行する装置が開示されている。また、これら以外の手書き入力やジェスチャ入力に関する文献としては、例えば下記特許文献３〜６が挙げられる。

特開２０１０−７３１８５号公報（２０１０年４月２日公開） 特開平８−２６３６８８号公報（１９９６年１０月１１日公開） 特開２００４−１０２４５５号公報（２００４年４月２日公開） 特開平６−３２４７９７号公報（１９９４年１１月２５日公開） 特開２００２−１３２４３８号公報（２００２年５月１０日公開） 特開平７−１６０８２７号公報（１９９５年６月２３日公開）

しかしながら、上記特許文献１および特許文献２の技術では、あるパターンの軌跡に対し、編集処理（コマンド）を割り当てたときには、その軌跡を通常の手書き入力（図形等の描画のための入力）として処理させることができないという問題がある。

これについて図８を参照して詳細に説明する。図８は、入力された軌跡を図形の描画として処理した場合と、ジェスチャとして処理した場合とを対比する図であり、同図の（ａ）は図形の描画として処理した例を示し、同図の（ｂ）はジェスチャとして処理した例を示している。同図の（ａ）（ｂ）では、何れも２つの丸を描き、それらの丸を矢印で結ぶ軌跡が描かれ、その軌跡が表示されている。

ここで、同図の（ａ）では、この軌跡を図形の描画として処理しているため、編集処理は行われず、描いた軌跡がそのまま表示された状態となっている。一方、同図の（ｂ）では、上記の軌跡をジェスチャとして処理しているため、矢印の根元側の丸で囲まれた数字「２０」を、矢印の先端側の丸で囲まれた位置にコピーするという編集処理が行われて、軌跡を描いた後で、表示内容が変化している。このように、同図の（ｂ）のように、あるパターンの軌跡に対して処理を割り当てたときには、同図の（ａ）のように、そのパターンの軌跡を通常の手書き入力として処理させることはできなくなる。特に、ジェスチャ入力に割り当てるパターンとしては、直感的な操作が可能になるように、通常の手書き入力でも入力されるようなパターンが好ましいため、上記の問題点が生じ易い。

ここで、上記特許文献１には、手書きによって文字および文章を入力する書き込みモードと、編集処理を行う編集モードとを切り替えることが記載されている。しかしながら、モード切り替えによって、入力した軌跡をどのように処理させるかを切り替える構成では、ユーザにモード切り替え操作を行わせる必要があり、ユーザ操作が煩雑になってしまう。

本発明は、上記課題を解決するためになされたものであり、その目的は、モード切り替えを行うことなく、処理が割り当てられた入力操作の軌跡を、通常の手書き入力として処理することができる情報処理装置等を実現することにある。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、入力面にて受け付けた入力操作の軌跡を表示装置に表示させる情報処理装置であって、入力操作の軌跡が予め設定された複数の領域にまたがっているか判定する判定手段と、上記判定手段が複数の領域にまたがっていると判定した軌跡が予め定められたパターンの軌跡であるときに、該パターンに予め対応付けられた処理を実行する対応処理実行手段とを備える。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置の制御方法は、入力面にて受け付けた入力操作の軌跡を表示装置に表示させる情報処理装置の制御方法であって、入力操作の軌跡が予め設定された複数の領域にまたがっているか判定する判定ステップと、上記判定ステップにて複数の領域にまたがっていると判定した軌跡が予め定められたパターンの軌跡であるときに、該パターンに予め対応付けられた処理を実行する対応処理実行ステップとを含む。

本発明の一態様によれば、モード切り替えを行うことなく、処理が割り当てられた入力操作の軌跡を、通常の手書き入力として処理することができるという効果を奏する。

本発明に係る情報処理装置の要部構成の一例を示すブロック図である。 上記情報処理装置にて表示される画像の遷移の一例を示す模式図である。 上記情報処理装置が備える軌跡情報格納部のデータ構造およびデータ例を示す模式図である。 （ａ）は、上記情報処理装置が備える領域情報格納部のデータ構造およびデータ例を示す模式図であり、（ｂ）は上記情報処理装置にて定められる領域の範囲を示す模式図である。 上記情報処理装置が備える入力領域判定情報格納部のデータ構造およびデータ例を示す模式図である。 上記情報処理装置が実行する手書き入力処理の流れの一例を示すフローチャートである。 上記情報処理装置が実行する編集処理の流れの一例を示すフローチャートである。 先行技術の課題を示す模式図である。

＜実施形態１＞
本発明の一実施形態について、図１〜図７に基づいて説明すれば、以下のとおりである。本実施形態では、本発明を、タッチパネルを備えた情報処理装置１に適用した例を説明する。また、以下では、入力面に対して、ユーザの指、またはタッチペンなどの指示体を接触（あるいは近接）させて行う入力操作を「手書き入力操作」と呼ぶ。なお、本発明は、手書き入力操作の軌跡を表示することが可能であり、かつ入力面に対するジェスチャ入力操作が可能な情報処理装置であれば適用することが可能であり、この例に限られない。ここで、ジェスチャ入力操作とは、予め定められたパターンの軌跡を入力面上で描くことによって、そのパターンに予め対応付けられた処理を、情報処理装置に実行させる入力操作である。

〔情報処理装置の機能概要〕
まず、図２を参照して、情報処理装置１の機能概要について説明する。図２は、情報処理装置１にて表示される画像の遷移の一例を示す模式図である。情報処理装置１は、同図の（ａ）に示すように、手書き入力が可能な領域（入力面）中に、２つの矩形領域（矩形領域２１、矩形領域２２）を予め設定している。このうち、広い方の領域である矩形領域２１は、板書などを書き写すための清書領域として使用されることを想定した領域であり、狭い方の領域である矩形領域２２は、メモなどを記入するためのメモ領域として使用されることを想定した領域である。何れの領域においても、同様の手書き入力が可能となっている。なお、矩形領域２１に手書き入力した情報は不揮発性の記録媒体への記録の対象とし、矩形領域２２に手書き入力した情報は記録の対象としない等、各領域に入力された情報の取り扱いに差異を設けてもよい。

ここで、同図の（ｂ）に示すように、手書き入力操作によって描かれたオブジェクトである手書きオブジェクト３１が、矩形領域２１および矩形領域２２をまたぐ場合、情報処理装置１は、手書きオブジェクト３１を描く手書き入力操作が、ジェスチャ入力操作であると判断する。なお、手書きオブジェクト３１は、同図の破線で示す範囲に含まれるオブジェクトのうち、２つの丸とそれらを結ぶ矢印のオブジェクトである。

そして、情報処理装置１は、同図の（ｃ）に示すように、描かれた軌跡に対応する編集処理を実行し、その後、手書きオブジェクト３１を削除する。なお、この例では、コピーしたい部分と、コピー先の位置とを丸で囲み、コピーしたい部分からコピー先の位置に向かう矢印を描くジェスチャ入力操作により、コピーを行う例を示している。

一方、同図の（ｄ）および（ｅ）に示すように矩形領域２１内で描かれた手書きオブジェクト（「メートル」の上に描かれた二重取り消し線）は、矩形領域２１および矩形領域２２をまたぐ軌跡ではないので、ジェスチャ入力を意図したものではないと判断する。このため、同図の（ｅ）の例では、当該手書きオブジェクト（二重取り消し線）がそのまま表示されている。

以上のように、情報処理装置１は、手書き入力操作の軌跡が複数の領域をまたぐか否かにより、その手書き入力操作がジェスチャ入力操作であるか否かを判断する。これにより、ユーザは、情報処理装置１に、ジェスチャが割り当てられているパターンの軌跡を、文字や図形を描画する通常の手書き入力の軌跡として処理させることが可能になる。

〔情報処理装置の構成〕
次に、図１を参照して、情報処理装置１の要部構成について詳細に説明する。図１は、情報処理装置１の要部構成の一例を示すブロック図である。なお、同図では、ブロック間の情報の流れを矢印で示しているが、図面が煩雑になることを避けるため、一部の矢印を省略している。

図１に示すように、情報処理装置１は少なくとも、入力部１１、表示部１２、記憶部１３、および制御部１４を備えている。入力部１１は、手書き入力操作を受け付ける入力デバイスである。例えば、入力部１１はタッチセンサであり、具体的には圧力センサ、静電容量センサ、光センサなどであってもよい。表示部１２は、制御部１４の制御に従って画像を表示する表示デバイスである。表示部１２には、後述する表示制御部１４６の制御に従って画像が表示される。表示部１２は、例えばＬＣＤ（液晶ディスプレイ）等の表示装置であってもよい。ここでは、表示部１２の表示面が、入力部１１の入力面を兼ねる例、すなわち入力部１１と表示部１２とでタッチパネルが構成されている例を説明する。

記憶部１３は、情報処理装置１にて使用される各種データを記憶する記憶デバイスである。図示のように、記憶部１３は、手書きデータ格納部１３１、軌跡情報格納部１３２、領域情報格納部１３３、入力領域判定情報格納部１３４、およびジェスチャ管理情報格納部１３５を含む。

手書きデータ格納部１３１は、手書き入力操作の内容を示す情報を格納するメモリである。また、軌跡情報格納部１３２は、手書きオブジェクトの軌跡を示す軌跡情報を格納している。そして、領域情報格納部１３３は、入力面上に設定する領域を規定する情報を格納している。また、入力領域判定情報格納部１３４は、手書きオブジェクトの軌跡が領域をまたぐか否かを判定するための情報を格納している。そして、ジェスチャ管理情報格納部１３５は、入力操作の軌跡からジェスチャを特定するための情報を格納している。

制御部１４は、情報処理装置１が備える各部を統括制御する。制御部１４は、手書きデータ処理部１４１、軌跡抽出部１４２、軌跡入力領域判定部１４３、ジェスチャ判定部１４４、編集処理実行部１４５、および表示制御部１４６を含んでいる。

手書きデータ処理部１４１は、入力部１１が受け付けた手書き入力操作の内容を示す情報を生成し、手書きデータ格納部１３１に格納する。

軌跡抽出部１４２は、手書きデータ格納部１３１に格納された情報を解析して手書きオブジェクトを特定し、特定した手書きオブジェクトの軌跡を示す軌跡情報を生成する。また、軌跡抽出部１４２は、領域情報格納部１３３を参照して、各手書きオブジェクトの始点および終点の座標が含まれる領域を特定する。

軌跡入力領域判定部１４３は、手書きオブジェクトの軌跡が複数の領域をまたぐか否かを判定する。具体的には、軌跡入力領域判定部１４３は、軌跡情報格納部１３２を参照して読み出した始点領域ＩＤと終点領域ＩＤの組み合わせと、入力領域判定情報格納部１３４に格納されている判定テーブルとを照合することによって上記の判定を行う。なお、判定テーブルの詳細は後述する。

ジェスチャ判定部１４４は、ジェスチャ管理情報格納部１３５を参照して、入力されたジェスチャを特定し、特定したジェスチャを、編集処理実行部１４５に通知する。そして、編集処理実行部１４５は、ジェスチャ判定部１４４から通知されたジェスチャに対応する編集処理を実行する。なお、編集処理実行部１４５が実行する編集処理の詳細は後述する。また、編集処理実行部１４５は、編集処理を実行した後、ジェスチャに対応する手書きオブジェクトを削除する。

表示制御部１４６は、表示部１２に画像を表示させる。例えば、表示制御部１４６は、手書きデータ格納部１３１を参照することにより、手書き入力操作の軌跡を表示部１２に表示させる。

〔軌跡情報格納部〕
次に、図３を参照して、軌跡情報格納部１３２に格納されている軌跡情報管理テーブルについて説明する。このテーブルは、軌跡抽出部１４２が手書きデータ格納部１３１に格納されているデータを解析して生成するものである。図３は、軌跡情報管理テーブルの一例を示す図である。なお、図３に示すデータ構造は一例であり、この例に限定されない。

「軌跡ＩＤ」のカラムには、各手書きオブジェクトを一意に識別する軌跡ＩＤが格納される。図３の軌跡ＩＤは英数字で構成されているが、各手書きオブジェクトを一意に識別できる情報であればよい。

「軌跡情報」のカラムには、各手書きオブジェクトの軌跡の座標が時系列で格納される。なお、「軌跡情報」は、手書きオブジェクトの軌跡を一意に特定できる情報であれば特に限定されない。

「始点領域ＩＤ」および「終点領域ＩＤ」のカラムには、手書きオブジェクトの始点および終点の座標が含まれる領域の領域ＩＤが格納される。なお、領域ＩＤについては後述する。

〔領域情報格納部の構成〕
次に、図４を参照して、領域情報格納部１３３に格納されている領域管理テーブルについて説明する。図４の（ａ）は、領域管理テーブルの一例を示しており、同図の（ｂ）は、領域管理テーブルによって規定される領域の一例を示している。領域管理テーブルは、領域を規定するテーブルであり、規定する各領域のＩＤと、その領域の範囲とを対応付けたテーブルである。

「領域ＩＤ」のカラムには、予め設定された領域を一意に識別する領域ＩＤが、予め設定された領域のそれぞれについて格納されている。図４の領域ＩＤは英数字で構成されているが、各領域を一意に識別できる情報であればよい。

「領域情報」のカラムには、各領域の範囲を特定するための論理座標が格納されている。図４の（ａ）の例では、同図の（ｂ）に示す矩形領域２１の左上の頂点の座標（ｌｔｘ＿１、ｌｔｙ＿１）と、該頂点と対向する頂点の座標（ｒｂｘ＿１、ｒｂｙ＿１）とで構成される領域情報が、ＡＩＤ＿１との「領域ＩＤ」と対応付けて格納されている。また、同図の（ｂ）に示す矩形領域２２の左上の頂点の座標（ｌｔｘ＿２、ｌｔｙ＿２）と、該頂点と対向する頂点の座標（ｒｂｘ＿２、ｒｂｙ＿２）とで構成される領域情報が、ＡＩＤ＿２との「領域ＩＤ」と対応付けて格納されている。なお、「領域情報」は、領域の範囲を一意に特定できる情報であれば特に限定されない。

ここで、領域管理テーブルにて設定する領域の形状は矩形に限られない。また、設定する領域の数は３以上であってもよい。そして、領域管理テーブルは、複数の領域をそれぞれ一意に特定したものであればよく、そのデータ構造は図４の（ａ）の例に限られない。

〔入力領域判定情報格納部の構成〕
次に、図５を参照して、入力領域判定情報格納部１３４に格納されている判定テーブルについて説明する。図５は、判定テーブルの一例を示す図である。判定テーブルは、手書きオブジェクトの軌跡をジェスチャとして処理するか、あるいは通常の手書き入力の軌跡として処理するかを判定するためのテーブルである。なお、図５に示すデータ構造は一例であり、この例に限定されない。

「始点領域ＩＤ」および「終点領域ＩＤ」のカラムには、領域情報格納部１３３の領域管理テーブルにて定義されている領域ＩＤがそれぞれ格納されている。また、「判定結果」のカラムには、「始点領域ＩＤ」と「終点領域ＩＤ」の組み合わせに応じて、「軌跡」または「ジェスチャ」が格納されている。ここで、「軌跡」は、手書きオブジェクトの軌跡を通常の手書き入力の軌跡として処理することを示し、「ジェスチャ」は、手書きオブジェクトの軌跡をジェスチャ入力の軌跡として処理することを示している。なお、「判定結果」は、手書きオブジェクトの軌跡を、通常の描画（ジェスチャではない）のための入力として処理するか、あるいはジェスチャ入力として処理するかを特定することができる情報であれば特に限定されない。

ここで、図４の（ｂ）に示す手書きオブジェクト３２は、その軌跡の始点の座標および終点の座標は共に矩形領域２１（領域ＩＤ：ＡＩＤ＿１）に含まれている。すなわち、手書きオブジェクト３２の始点領域ＩＤおよび終点領域ＩＤは共にＡＩＤ＿１である。この手書きオブジェクト３２を描く操作が行われたときには、図５の判定テーブルを参照することにより、判定結果が「軌跡」と特定される。よって、手書きオブジェクト３２の軌跡は、ジェスチャ入力ではない通常の描画の入力として処理される。

一方、手書きオブジェクト３３では、始点の座標は矩形領域２２（領域ＩＤ：ＡＩＤ＿２）に含まれ、終点の座標は矩形領域２１（領域ＩＤ：ＡＩＤ＿１）に含まれている。すなわち、手書きオブジェクト３３の始点領域ＩＤはＡＩＤ＿２であり、終点領域ＩＤはＡＩＤ＿１である。換言すれば、手書きオブジェクト３３の軌跡は、複数の領域をまたぐ軌跡である。ここで、図５を参照すると、始点領域ＩＤがＡＩＤ＿２であり、終点領域ＩＤがＡＩＤ＿１である場合、対応付けられた判定結果は「ジェスチャ」である。これにより、手書きオブジェクト３３は、手書きオブジェクト３２とその形状自体は同様であるが、その軌跡はジェスチャ入力として処理される。

〔手書き入力処理の流れ〕
図６を参照して、本実施形態における手書き入力処理の流れの一例について説明する。図６は、本実施形態における手書き入力処理の流れの一例を示すフローチャートである。入力部１１が手書き入力操作を検出すると（Ｓ１）、表示部１２に手書き入力操作の軌跡が表示される（Ｓ２）。具体的には、まず、手書きデータ処理部１４１が、入力部１１が受け付けた手書き入力操作の内容を示す情報を手書きデータ格納部１３１に格納し、その旨を表示制御部１４６および軌跡抽出部１４２に通知する。そして、通知を受けた表示制御部１４６は、手書きデータ格納部１３１に格納された情報に基づいて、手書き入力操作の軌跡を表示部１２に表示させる。

続いて、軌跡抽出部１４２は、手書きデータ格納部１３１に格納されている情報を解析し、所定時間以上の間隔を空けずに入力された一連の入力操作（時間的に連続して入力された一連の軌跡）を手書きオブジェクトと特定する（Ｓ３）。そして、軌跡抽出部１４２は、特定した手書きオブジェクトの軌跡を特定し（Ｓ４）、この軌跡の座標を時系列順に並べた軌跡情報を生成し、この軌跡情報に軌跡ＩＤを付して軌跡情報格納部１３２に格納する。また、軌跡抽出部１４２は、領域情報格納部１３３を参照して、手書きオブジェクトの始点および終点の座標が含まれる領域を特定し、当該座標の含まれる領域の領域ＩＤを先に格納した軌跡情報と対応付けて軌跡情報格納部１３２に格納する。そして、その軌跡ＩＤを軌跡入力領域判定部１４３に通知する。なお、手書きオブジェクトの始点は、その手書きオブジェクトを構成する座標のうち最も先に入力された座標とし、手書きオブジェクトの終点は、その手書きオブジェクトを構成する座標のうち最後に入力された座標とすればよい。

続いて、軌跡入力領域判定部１４３が、手書きオブジェクトの軌跡が領域をまたぐか否かを判定する（Ｓ５）。具体的には、軌跡入力領域判定部１４３は、軌跡情報格納部１３２を参照して、軌跡抽出部１４２から通知された軌跡ＩＤに対応付けられた始点領域ＩＤおよび終点領域ＩＤを読み出す。そして、入力領域判定情報格納部１３４に格納された判定テーブルを参照して、読み出した上記始点領域ＩＤおよび終点領域ＩＤの組み合わせに対応する判定結果が「軌跡」であるか「ジェスチャ」であるかを判定する。

ここで、上述のように、判定テーブルでは、手書きオブジェクトについて、その始点と終点とで領域ＩＤが異なっている組み合わせには「ジェスチャ」の判定結果が対応付けられている。また、始点と終点とが同じ領域ＩＤの組み合わせには「軌跡」の判定結果が対応付けられている。つまり、軌跡入力領域判定部１４３は、判定テーブルを参照することにより、当該手書きオブジェクトの軌跡が領域をまたぐか否かを判定する（Ｓ５）。

ここで、手書きオブジェクトの軌跡が領域をまたぐと判定した場合（Ｓ５でＹＥＳ）、つまり判定テーブルの判定結果が「ジェスチャ」である場合、軌跡入力領域判定部１４３は、当該手書きオブジェクトの軌跡ＩＤを、ジェスチャ判定部１４４に通知する。そして、ジェスチャ判定部１４４は、通知された軌跡ＩＤの軌跡に対応するジェスチャを特定する（Ｓ６）。具体的には、ジェスチャ判定部１４４は、軌跡情報格納部１３２を参照して、通知された軌跡ＩＤに対応付けられた軌跡情報を読み出す。そして、ジェスチャ管理情報格納部１３５を参照して、当該軌跡情報が示す軌跡に対応するジェスチャを特定する。

ここで、ジェスチャが特定された場合（Ｓ６でＹＥＳ）、ジェスチャ判定部１４４は、特定したジェスチャを編集処理実行部１４５に通知し、編集処理実行部１４５は通知されたジェスチャに応じた編集処理を実行する（Ｓ７）。この後、編集処理実行部１４５がジェスチャの軌跡を削除して（Ｓ８）、手書き入力処理は終了する。具体的には、編集処理実行部１４５は、手書きデータ格納部１３１から、ジェスチャとして処理された手書きオブジェクトに対応する情報を削除し、表示制御部１４６に、手書きデータ格納部１３１の情報を更新した旨を通知する。そして、通知を受けた表示制御部１４６は、手書きデータ格納部１３１を参照し、更新された情報を手書きデータ格納部１３１から読み出し、表示部１２に表示させる。これにより、表示部１２に表示される手書き入力操作の軌跡から、当該ジェスチャの軌跡が削除される。

一方、Ｓ５において手書きオブジェクトの軌跡が領域をまたがないと判定した場合（Ｓ５でＮＯ）、つまり判定テーブルの判定結果が「軌跡」である場合、軌跡入力領域判定部１４３は、ジェスチャ入力は行われていないと判定して手書き入力処理を終了する。また、Ｓ６において、ジェスチャが特定されなかった場合（Ｓ６でＮＯ）には、ジェスチャ判定部１４４が、ジェスチャ入力は行われていないと判定し、手書き入力処理を終了する。

〔編集処理の流れ〕
次に、図７を参照して、図６のＳ７で実行される編集処理の流れの一例について説明する。図７は、編集処理の流れの一例を示すフローチャートである。なお、ここでは、編集処理の一例として、図２の（ｂ）のジェスチャ（丸で囲んだ部分の画像を矢印の先の丸の位置にコピーするためのジェスチャ）が行われたときに実行される編集処理について説明する。

まず、編集処理実行部１４５は、コピー対象とコピー先を特定する（Ｓ１１）。具体的には、矢印の元の円形内に含まれる手書きオブジェクト（丸で囲んだ部分の画像）をコピー対象と特定し、また、矢印の先の円形の位置（丸で囲んだ位置）をコピー先と特定する。

次に、編集処理実行部１４５は、コピー先に手書きオブジェクトがあるか否かを判定する（Ｓ１２）。具体的には、編集処理実行部１４５は、手書きデータ格納部１３１を参照して、矢印の先の円形内の領域に手書きオブジェクトが含まれるか否かを判定する。ここで、手書きオブジェクトが含まれないと判定した場合（Ｓ１２でＮＯ）、コピー対象をコピー先にコピーする（Ｓ１５）。具体的には、編集処理実行部１４５は、手書きデータ格納部１３１に格納された情報をコピーの実行結果に応じて更新する。そして、編集処理実行部１４５は、表示制御部１４６に、手書きデータ格納部１３１に格納されている情報を更新した旨を通知し、通知を受けた表示制御部１４６が表示を更新することによって、コピー実行結果が表示に反映される（Ｓ１６）。これにより、編集処理は終了し、図６に示した手書き入力処理に戻る。

一方、Ｓ１２において、矢印の先の円形内に手書きオブジェクトが含まれると判定した場合（Ｓ１２でＹＥＳ）、編集処理実行部１４５は、矢印の先の円形内に含まれる手書きオブジェクトが縦書きか横書きかを判定し（Ｓ１３）、この判定の結果に応じた方向に手書きオブジェクトをシフトさせることで、コピー先にコピー対象をコピーするためのスペースを確保し（Ｓ１４）、その後、Ｓ１５およびＳ１６の処理を実行する。

〔実施形態２〕
軌跡が複数の領域にまたがっているか否かの判定方法は、上記実施形態に示した、軌跡の始点および終点の位置に基づく判定方法に限られない。例えば、領域の境界を通るか否かによって、軌跡が複数の領域にまたがっているか否かを判定してもよい。この場合、領域の境界位置を予め設定しておき、この境界位置を通過する軌跡を、複数の領域にまたがる軌跡と判定すればよい。例えば、図２の例のように隣接する領域を設定する場合、領域が隣接する部分（矩形領域２１の右端を規定する線分の位置または、矩形領域２２の左端を規定する線分の位置）を境界位置すればよい。

なお、境界を複数回またぐ軌跡（一方の領域を始点として、一度他の領域に入り、元の領域に戻る軌跡等）については、そのようなパターンをジェスチャに設定していなければ、例外的に複数の領域にまたがらないと判定してもよい。

〔実施形態３〕
また、ジェスチャ入力操作に割り当てる処理は、上記実施形態の例に限られず、処理を割り当てるジェスチャ（軌跡のパターン）も、上記実施形態の例に限られない。例えば、上記実施形態では、各領域を結ぶ線分を含む軌跡のパターンに対して、線分の一端に表示されている情報を、他端の位置にコピーする編集処理を割り当てた例を示したが、コピーの代わりに移動させる編集処理を割り当ててもよい。また、線分の端部に描く図形の形状を変えることによって、コピーと移動とを使い分けることができるようにしてもよい。例えば、線分の端部に矩形を描く軌跡に対して、矩形内部に表示される情報を、該線分の他端の位置に移動させる編集処理を割り当ててもよい。なお、編集の対象を確実に情報処理装置１に特定させるためには、上記の例のように編集の対象を囲む軌跡をジェスチャの一部とすることが好ましいが、線分または矢印線のみの軌跡をジェスチャとすることも可能である。この他にも、例えば双方向矢印を描く軌跡に対して、その矢印の端部に表示されている情報を置換する編集処理を割り当ててもよいし、例えば表示対象とする画像の切り替え等の編集処理以外の処理を割り当ててもよい。

また、ジェスチャの始点が含まれる領域と、終点が含まれる領域とにかかわらず同じ処理を行うようにしてもよいし、領域に応じて異なる処理を行うようにしてもよい。例えば、図２の例では、矩形領域２２を始点とし、矩形領域２１を終点とするジェスチャに対し、矩形領域２２内の情報を矩形領域２１内にコピーする例を示している。この例において、始点と終点とを入れ替えた場合にも同じくコピーを行うようにしてもよいし、入れ替えた場合には矩形領域２１内の丸で囲まれた範囲内の情報を削除する等、異なる処理が実行されるようにしてもよい。

〔ソフトウェアによる実現例〕
情報処理装置１の制御ブロック（特に手書きデータ処理部１４１、軌跡抽出部１４２、軌跡入力領域判定部１４３、ジェスチャ判定部１４４、編集処理実行部１４５、および表示制御部１４６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、情報処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る情報処理装置１は、入力面にて受け付けた入力操作の軌跡を表示装置（表示部１２）に表示させる情報処理装置であって、入力操作の軌跡が予め設定された複数の領域にまたがっているか判定する判定手段（軌跡入力領域判定部１４３）と、上記判定手段が複数の領域にまたがっていると判定した軌跡が予め定められたパターンの軌跡であるときに、該パターンに予め対応付けられた処理を実行する対応処理実行手段（編集処理実行部１４５）とを備えている。

また、本発明の態様１に係る情報処理装置の制御方法は、入力面にて受け付けた入力操作の軌跡を表示装置に表示させる情報処理装置の制御方法であって、入力操作の軌跡が予め設定された複数の領域にまたがっているか判定する判定ステップ（Ｓ５）と、上記判定ステップにて複数の領域にまたがっていると判定した軌跡が予め定められたパターンの軌跡であるときに、該パターンに予め対応付けられた処理を実行する対応処理実行ステップ（Ｓ７）とを含む。

上記の構成によれば、複数の領域にまたがっていると判定された軌跡が、予め定められたパターンの軌跡であるときに、該パターンに予め対応付けられた処理が実行される。逆に言えば、予め定められたパターンの軌跡の入力を受け付けた場合であっても、その軌跡が複数にまたがっていなければ、上記の処理は実行されない。したがって、ユーザは、処理が対応付けられたパターンを、複数の領域にまたがるように描くことによって上記処理を実行させることができると共に、複数の領域にまたがらないように（１つの領域内に）描くことによって上記処理を実行させずにその軌跡を表示させることもできる。つまり、上記の構成によれば、モード切り替えを行うことなく、処理が割り当てられたパターンの軌跡の入力を、通常の手書き入力として処理することができるという効果を奏する。

本発明の態様２に係る情報処理装置は、上記態様１において、上記複数の領域の少なくとも２つを結ぶ線分を含む軌跡のパターンに対して、上記表示装置に表示される情報に上記線分の両端の位置に応じた編集を施す編集処理が予め対応付けられており、上記対応処理実行手段は、上記判定手段が複数の領域にまたがっていると判定した軌跡が、上記複数の領域の少なくとも２つを結ぶ線分を含むパターンの軌跡であるときに、上記編集処理を実行する構成であってもよい。

上記の構成によれば、複数の領域の少なくとも２つを結ぶ線分を含む軌跡のパターンに対して、上記表示装置に表示される情報に上記線分の両端の位置に応じた編集を施す編集処理が予め対応付けられている。そして、複数の領域にまたがっていると判定した軌跡が、上記複数の領域の少なくとも２つを結ぶ線分を含むパターンの軌跡であるときに、上記編集処理を実行する。

よって、ユーザは、複数の領域の少なくとも２つを結ぶ線分を描くという直感的な入力操作により、線分の両端の位置に応じた編集を施すことができる。また、ユーザは、１つの領域内で２つの位置を結ぶ線分を描く入力操作を行った場合には、編集処理を実行させることなく、その軌跡を表示装置に表示させることができる。なお、線分の両端の位置に応じた編集は、その位置に表示されている情報に応じた編集とすることが好ましく、例えば線分の一端に表示されている情報を、他端の位置に移動またはコピーする編集であってもよい。これにより、極めて直感的な入力操作により、表示される情報の編集を行うことができる。

本発明の態様３に係る情報処理装置は、上記態様１または２において、上記判定手段は、上記複数の領域の１つに始点が位置し、上記複数の領域の他の１つに終点が位置している軌跡を、複数の領域にまたがっている軌跡と判定してもよい。

上記の構成によれば、複数の領域の１つに始点が位置し、複数の領域の他の１つに終点が位置している軌跡を、複数の領域にまたがっている軌跡と判定する。この判定方法は、例えば各領域に表示されている情報を関連付けるパターンの軌跡に対し、当該情報を編集する編集処理を割り当てた場合に好適である。

本発明の態様４に係る情報処理装置は、上記態様１から３において、上記判定手段は、時間的に連続して入力された一連の軌跡について、該軌跡が複数の領域にまたがっているか判定してもよい。

上記の構成によれば、時間的に連続して入力された一連の軌跡について、該軌跡が複数の領域にまたがっているか判定するので、表示したときに複数の部分に分かれるような軌跡を一連の軌跡と扱い、このような軌跡に処理を割り当てることができる。したがって、処理を対応付けるパターンのバリエーションを増やすことができる。

本発明の態様５に係る情報処理装置は、上記態様１から４において、上記対応処理実行手段が実行した処理に対応する軌跡を、上記表示装置に表示させる対象から削除する削除手段（編集処理実行部１４５）を備えていてもよい。

上記の構成によれば、実行した処理に対応する軌跡を、表示装置に表示させる対象から削除する。これにより、処理が対応付けられた軌跡を描く入力の際には、その軌跡が表示されるので、ユーザは表示を確認しながら意図する軌跡を確実に描くことができる。また、処理が実行された後にはその軌跡の表示が消えるため、通常の手書き入力の軌跡のみを確認することができる。

本発明の各態様に係る手書き入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記手書き入力装置が備える各手段として動作させることにより上記手書き入力装置をコンピュータにて実現させる手書き入力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）、ＰＣ等、入力面に対するジェスチャ入力操作が可能な情報処理装置に利用することができる。また、特に電子ノートや電子教科書などに好適に利用することができる。

１ 情報処理装置
１２ 表示部（表示装置）
１４３ 軌跡入力領域判定部（判定手段）
１４５ 編集処理実行部（対応処理実行手段）

Claims (5)

1. 入力面にて受け付けた入力操作の軌跡を表示装置に表示させる情報処理装置であって、
   入力操作の軌跡が予め設定された複数の領域にまたがっているか判定する判定手段と、
   上記判定手段が複数の領域にまたがっていると判定した軌跡が予め定められたパターンの軌跡であるときに、該パターンに予め対応付けられた処理を実行する対応処理実行手段とを備えていることを特徴とする情報処理装置。
2. 上記複数の領域の少なくとも２つを結ぶ線分を含む軌跡のパターンに対して、上記表示装置に表示される情報に上記線分の両端の位置に応じた編集を施す編集処理が予め対応付けられており、
   上記対応処理実行手段は、上記判定手段が複数の領域にまたがっていると判定した軌跡が、上記複数の領域の少なくとも２つを結ぶ線分を含むパターンの軌跡であるときに、上記編集処理を実行することを特徴とする請求項１に記載の情報処理装置。
3. 上記判定手段は、上記複数の領域の１つに始点が位置し、上記複数の領域の他の１つに終点が位置している軌跡を、複数の領域にまたがっている軌跡と判定することを特徴とする請求項１または２に記載の情報処理装置。
4. 上記判定手段は、時間的に連続して入力された一連の軌跡について、該軌跡が複数の領域にまたがっているか判定することを特徴とする請求項１から３の何れか１項に記載の情報処理装置。
5. 入力面にて受け付けた入力操作の軌跡を表示装置に表示させる情報処理装置の制御方法であって、
   入力操作の軌跡が予め設定された複数の領域にまたがっているか判定する判定ステップと、
   上記判定ステップにて複数の領域にまたがっていると判定した軌跡が予め定められたパターンの軌跡であるときに、該パターンに予め対応付けられた処理を実行する対応処理実行ステップとを含むことを特徴とする情報処理装置の制御方法。

Images