JP2000222130A

JP2000222130A - 入力装置および方法および記憶媒体

Info

Publication number: JP2000222130A
Application number: JP11024755A
Authority: JP
Inventors: Minako Hashimoto; 美奈子橋本; Koichiro Akiyama; 浩一郎秋山; Kazuyuki Goto; 和之後藤; Yoshihiro Omori; 善啓大盛
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-02-02
Filing date: 1999-02-02
Publication date: 2000-08-11

Abstract

(57)【要約】【課題】複数個のアイコンを選択する場合に、キーボ
ードでシフトキーを押しながら一つずつ順番に選択する
ことを必要とせず、片手で操作が行える入力装置および
方法および記憶媒体を提供する。【解決手段】複数の指をタッチパネル画面に同時に接
触させて、それらの軌跡パターンをジェスチャとして利
用することにより、複数個のアイコン等のオブジェクト
を片手で同時に選択して操作したり、ウィンドウの端を
複数個選んで一度に複数の方向にサイズ変更したりする
ことが可能となる。また、複数の指を表示画面に接触さ
せた時に得られる各指の接触順番を検出し、接触順番の
違いで引数の種類を区別することができ、接触順番で引
数を指定した指を複数の引数を必要とするプログラムの
アイコンにドラッグ＆ドロップすることにより、引数を
指定したプログラムの実行を片手でおこなうことができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、表示画面に指で接
触することで手書きデータやアイコン等のオブジェクト
の操作をおこなう複数接触点を利用した入力装置および
方法および記憶媒体に関する。

【０００２】

【従来の技術】タッチパネルは、コンピュータディスプ
レイとしての表示機能と共に、画面に指やペンで直接触
れることにより、画面に表示されたアイコンやウィンド
ウ等のオブジェクトを選択したり、手書き文字やイラス
ト等を描画したりできる入力機能を備えている。タッチ
パネルでは、従来のデスクトップコンピュータでのマウ
スの役割を、指やペンで代用することができる。

【０００３】従来のタッチパネルには、大きく分けて次
の二種類の入力モードがあった。

【０００４】第一の入力モードは、指で文字を書いたり
イラストを描いたりする描画モードである。第二の入力
モードは、指でアイコンを選択してクリックやドラッグ
＆ドロップをしたり、指で簡単な形を描いてその動きに
対応する操作をおこなう、ジェスチャモードである。ジ
ェスチャの例として、メモ帳などのエディタで文字列の
上からレ印を書くと文字列が削除されたり、アイコンや
文字列を○で囲むと囲みの中に入っているオブジェクト
が選択される等といったものがあった。

【０００５】

【発明が解決しようとする課題】これらの従来のジェス
チャは１本のペンや指で線を描くことを想定していた。
そのため、例えば複数個のアイコンを選択する場合に
は、キーボードでシフトキーを押しながら一つずつ順番
に選択する等としなければならず、片手で操作がおこな
えなかった。また、ウィンドウのサイズを変える場合に
はウィンドウの端を一つしか選択できなかったので一度
に一方向にしかサイズ変更できなかった。

【０００６】

【課題を解決するための手段】このような問題を解決す
るために、本願発明は、タブレットやタッチパネル画面
を直接接触して指示する入力装置であって、複数の接触
点を検出する検出手段と、この検出手段によって検出さ
れた複数の接触点の接触の順番を検出する順番検出手段
と、この順番検出手段によって検出された接触の順番に
対応するプログラムを判定するプログラム判定手段と、
このプログラム判定手段によって判定されたプログラム
の実行を指示するための出力命令を生成する生成手段と
を有することを特徴とする。

【０００７】また、前記プログラム判定手段は、接触順
番の違いで引数の種類を区別する手段を有し、この手段
によって区別され引数をもとに、複数の引数を必要とす
るプログラムを判定することを特徴とする。

【０００８】また、前記プログラム判定手段は、接触数
に応じて異なる入力モードを割り当て、対応する入力モ
ードに切替えをおこなうことを特徴とする。

【０００９】また、タブレットやタッチパネル画面を直
接接触して位置を指示する入力方法であって、複数の接
触点を検出し、検出された前記複数の接触点の接触の順
番を検出し、検出された前記接触の順番に対応するプロ
グラムを判定し、判定されたプログラムの実行を指示す
るための出力命令を生成することを特徴とする。

【００１０】また、タブレットやタッチパネル画面を直
接接触して指示された情報を入力情報として認識するコ
ンピュータ読取り可能なプログラムを記憶した記憶媒体
であって、複数の接触点を検出させ、検出された前記複
数の接触点の接触の順番を検出させ、検出された前記接
触の順番に対応するプログラムを判定させ、判定された
プログラムの実行を指示するための出力命令を生成させ
るプログラムを記憶した記憶媒体である。

【００１１】つまり、本発明では、複数の指をタッチパ
ネル画面に同時に接触させて、それらの軌跡パターンを
ジェスチャとして利用することにより、複数個のアイコ
ン等のオブジェクトを片手で同時に選択して操作した
り、ウィンドウの端を複数個選んで一度に複数の方向に
サイズ変更したりすることが可能となる。

【００１２】また、複数の指を表示画面に接触させた時
に得られる各指の接触順番を検出し、接触順番の違いで
引数の種類を区別することができ、接触順番で引数を指
定した指を複数の引数を必要とするプログラムのアイコ
ンにドラッグ＆ドロップすることにより、引数を指定し
たプログラムの実行を片手でおこなうことができる。

【００１３】また、画面に接触している指の本数の違い
で入力モード（描画モード、ジェスチャモード）を区別
することにより、メニューやボタンなどを使うことなく
片手で入力モードを切り替えることができる。

【００１４】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する（第一の実施例：複数接触点を利
用したジェスチャの例。複数の指で引数指定してプログ
ラムアイコンにドラッグ＆ドロップ）。

【００１５】第一の実施例では、タッチパネルに接触し
た順番に応じて各指に意味の異なる引数を割り当て、そ
れらの指を複数の引数を必要とするプログラム（アイコ
ン）にドラッグ＆ドロップすることにより、引数を指定
したプログラムの実行をおこなう例について述べる。例
えば、ファイルＡをファイルＢに書かれたキーで暗号化
するプログラムがあった場合に、（１）ファイルＡを一本目の指で指定（２）ファイルＢを二本目の指で指定（３）ファイルＡとファイルＢを指定した二本の指を
暗号化プログラムのアイコンにドラッグ＆ドロップをおこなうと、暗号化プログラムに指定した二引数が渡
されて暗号化が実行される。

【００１６】図１は本発明の入力方法を用いた、例えば
パーソナルコンピュータ、ノート型パソコンその他の情
報処理装置の機能ブロック図である。座標入力部１は、
タッチパネル装置等の入力装置であり、接触したユーザ
の手の熱や圧力などを検出する。

【００１７】座標情報検出装置部２は、座標入力装置部
１から得られる座標データから接触点の個数と軌跡を検
出し、さらに各接触点が何番目に接触されたものかをあ
らわす接触順番等の座標情報を検出する。また、入力さ
れた座標が座標情報設定開始をあらわすものであるかど
うかを判定する。

【００１８】座標情報処理部３は、接触点の個数や接触
順番や軌跡データに応じて入力する引数やプログラムを
区別する等の処理をおこなう。座標情報呈示部４は、座
標情報検出部２または座標情報処理部３から得られる、
ユーザが指している座標値や引数名、引数値、また実行
しようとしているプログラム名等の情報を、ユーザに呈
示する処理をおこなう。座標情報の呈示は、座標情報処
理部３において実行するプログラムを判定する際におこ
なう。

【００１９】座標情報設定部５は、座標情報処理部３で
の処理に必要な情報を設定する処理をおこなう。

【００２０】ＯＳ６はＧＵＩを含んだオペレーティング
システムで、座標情報処理部３でなされる情報処理に応
答して、画面表示を変えたり画面から情報を取ってきた
りする。ＧＵＩを含むオペレーティングシステムの例と
しては、マイクロソフト社のＭＳ−Ｗｉｎｄｏｗｓ等が
ある。これは、外部記憶装置、メモリ、ＣＰＵ、座標情
報処理部３でおこなう処理を実行する際に使う。入力装
置は、タッチパネル装置以外の入力装置を指し、キーボ
ードやマウス等を含む。表示装置は、入出力一体型のタ
ッチパネル装置やコンピュータディスプレイ、あるいは
スピーカー等を含む。

【００２１】図２は第一の実施例における座標情報検出
部２の一例を示すものである。手検出部１１は、座標入
力部１に接触した手の熱や圧力などを検出し、一定時間
Δｔ毎に、ユーザの手が接触した位置座標を手パターン
格納部１２に格納する。また、入力された座標が座標情
報設定開始をあらわすものであるかどうかを判定する。

【００２２】手パターン格納部１２には、手検出部１１
で得られたタッチパネルに接触したユーザの手の位置を
表す座標を格納する。代表座標検出部１３は、手パター
ン格納部１２に格納されているパターンから、タッチパ
ネルに接触した指の個数と各指の接触点を代表する座標
を検出し、代表座標格納部１４に格納する。

【００２３】代表座標格納部１４には、代表座標検出部
１３で得た各指とタッチパネルの接触点をあらわす座標
を格納する。

【００２４】接触順番判定部１５では、代表座標格納部
１４の座標を接触された順番に応じて並べ替え、接触順
番格納部１６に格納する。接触順番格納部１６には、接
触順番判定部１５で得られた結果を格納する。

【００２５】図３に、手パターン格納部１２の一例を示
す。タッチパネルの解像度に合わせた要素数を持つ二次
元行列とする。行列の各要素に対応するドットが接触さ
れていたら接触フラグ１、接触されていなければ非接触
フラグ０を格納する。例えば図３は、解像度が横Ｗ×縦
Ｈドットのタッチパネルにおいて、座標（３，１）
（３，２）（２，２）（４，２）（５，２）（２，３）
（３，３）（４，３）が接触されていることを表してい
る。

【００２６】図４を使って、代表座標検出部１−３にお
ける代表座標の検出方法の一例を説明する。図４（ａ）
は代表座標検出部１３の構成例の一つである。グループ
分割部３１は、手パターン格納部１２で接触フラグ１が
格納されているすべての座標について、隣接している座
標同士が同じグループになるようにグループ分けする。
グループ分けの例として、図４（ｂ）では隣接する上下
左右と右斜め上、左斜め上、右斜め下、左斜め下の８方
向のいずれかに接触フラグ１が入っているもの同士を同
じグループとみなしている。

【００２７】グループ格納部３２には、グループ分割部
３１で計算されたグループ分け結果が格納される。グル
ープ格納部３２の例として、図４（ｃ）のように各座標
に対応する行列値にグループ名（１，２など）を格納す
る方法が考えられる。

【００２８】代表座標計算部３３は、各グループの代表
座標を求める。グループに属するすべての座標の重心値
を代表座標としてもよいし、縦方向、横方向の中心値を
代表座標としてもよい。このように求めた代表座標は、
代表座標格納部１４に格納する。

【００２９】図５を使って、代表座標格納部１４の一例
を説明する。代表座標検出部１３で求めた順に、座標値
を代表座標格納部１４に格納する。例えば図５では、グ
ループ１の代表座標として（３，２）が、グループ２の
代表座標として（６３８，２）が格納されていることを
表している。

【００３０】以下、説明のために代表座標格納部１４に
はｍ個の座標（Ｐｉ．ｘ，Ｐｉ．ｙ）（１≦ｉ≦ｍ）が
格納されているものとするが、説明上（Ｐｉ．ｘ，Ｐ
ｉ．ｙ）をＰｉと省略して記述する場合もある。

【００３１】図６を使って、接触順番格納部１６につい
て説明する。接触順番格納部１６には、代表座標格納部
１４の座標値を接触した順番に並べ替えた結果を格納す
る。また、各座標が現時点で初めて接触されたものであ
るのか、あるいはΔｔ前から接触されていたものである
のか、あるいは現時点で放されてしまったものであるか
を判定した結果を、フラグとして格納する。

【００３２】例えば、初めて接触されたものであれば
１、Δｔ前から接触されていたものであれば２、放され
てしまったものであれば−１を格納する。さらに接触順
番格納部１６には、現時点より１回前、つまり現時点よ
りΔｔ前に接触されていた座標の情報も格納しておく。

【００３３】図６の例は、Δｔ前の時点で、新しい座標
として、１番目（８０，１００）、２番目（４８０，２
００）、３番目（１４０，３００）という順番で各座標
が接触されたことを表している。さらに現時点では（８
０，１００）の指が少しずれて（９０，９０）となり、
（１４０，３００）の指が少しずれて（１５０，３３
０）となり、（４８０，２００）の指の接触が放され、
新たに（６００，３６０）が接触されたことを表してい
る。

【００３４】以下、説明のために接触順番格納部１６に
はｎ個の座標（Ｑｊ．ｘ，Ｑｊ．ｙ）とフラグＱｊ．ｆ
ｌｇ（１≦ｊ≦ｎ）が格納されているものとするが、説
明上（Ｑｊ．ｘ，Ｑｊ．ｙ）のことをＱｊと省略し、Ｑ
ｊ．ｆｌｇのことをｆｌｇＱｊと省略して記述する場合
もある。また、Ｑ１ｊとｆｌｇＱ１ｊは現時点の情報を
表し、Ｑ０ｊとｆｌｇＱ０ｊは現時点より１回前、つま
り現時点よりΔｔ前の情報を表しているものとする。

【００３５】次に、接触順番判定部１５における接触順
番の判定方法の一例を説明する。接触順番判定部１５で
は、代表座標格納部１４の座標値を接触した順番に並べ
替える。接触順番に応じた並べ替えは、現時点での接触
点を表す代表座標格納部１−４の座標Ｐｉと、Δｔ前の
接触点を表す接触順番格納部１６の座標Ｑ０ｊを比較し
ておこなう。具体的には、代表座標格納部１４の座標が
現時点で初めて接触されたものであるのか、あるいはΔ
ｔ前から接触されていたものであるのかを判定しておこ
なう。

【００３６】以下、図７を使って処理の流れを説明す
る。まず代表座標格納部１４の各座標Ｐｉについて、接
触順番格納部１６に格納されている座標Ｑ０ｊの中か
ら、Ｐｉから最も近い距離にある座標を選び、距離をｄ
ｊとする（Ｓ６１）。

【００３７】ｄｊが任意に設定した閾値Δｄ以下である
かどうかで処理を分岐する（Ｓ６２）。ｄｊがΔｄ以下
である場合には、ＰｉはΔｔ前からＱ０ｊとして接触さ
れていたものであると判定し、接触順番格納部１６のｊ
番目に該当する部分Ｑ１ｊにＰｉの値を代入する。ま
た、ｆｌｇＱ１ｊにフラグ２を格納する（Ｓ６３）。

【００３８】ｄｊがΔｄより大きい場合には、Ｐｉは新
たに接触された座標であると判定し、接触順番格納部１
６のｊ番目に該当するＱ１ｊに新しい座標としてＰｉの
値を代入する。また、ｆｌｇＱ１ｊにフラグ１を格納す
る（Ｓ６４）。

【００３９】すべてのＰｉについて（Ｓ６３）と（Ｓ６
４）の処理が終わった時点で、いずれのＰｉもフラグも
格納されていないＱ１ｊについては接触が放されたと判
定し、ｆｌｇＱ１ｊにはフラグ−１を格納し、Ｑ１ｊに
は放された座標値を示すという意味でＱ０ｊの値を代入
する（Ｓ６５）。すべてのＱ１ｊについて（Ｓ６５）の
処理をおこなったら、Ｑ１ｊの値をＱ０ｊに移し替える
（Ｓ６６）。

【００４０】このように、接触順番判定部１５では、代
表座標格納部１４の座標値を接触した順番に並べ替えて
接触順番格納部１６のＱ０ｊに格納する。接触順番判定
部１５での処理が終わったら、座標情報処理部３に処理
を移す。

【００４１】次に、第一の実施例における座標情報処理
部３について説明する。図８（ａ）を用いて、座標情報
処理部３の構成について説明する。引数名判定部７１
は、接触順番格納部１６のＱ０ｊに割り当てる引数名を
接触順番−引数名対応表７２に基づいて決定し、引数格
納部７５に格納する。さらにＱ０ｊとｆｌｇＱ０ｊの値
も引数格納部７５に格納する。

【００４２】引数値判定部７３は、接触位置に対応する
引数値を、位置−引数値対応表７４から読み出して、引
数格納部７５に格納する。軌跡検出部７６は、接触順番
格納部１６のＱ０ｊを、対応する接触順番の軌跡格納部
７７に格納する。

【００４３】プログラム判定部７８は、接触順格納部１
６のｆｌｇＱ０ｊ（１≦ｊ≦ｎ）のいずれかに０が入っ
ている場合、つまりいずれかの指が放された場合に、放
された位置に対応するプログラムを、軌跡格納部７７と
位置−プログラム対応表７９に基づいて実行するプログ
ラムを判定し、実行プログラム格納部７１０に格納す
る。

【００４４】実行確認部７１１は、ユーザに呈示する確
認メッセージを、ダイアログボックスの形で生成する。
確認メッセージの呈示位置は、例えば複数の接触点の重
心点でもよいし、一番目に接触した座標でもよい。「変
更」が選ばれた場合には、引数を変更することができ
る。

【００４５】出力イベント生成部７１２は、実行プログ
ラム格納部７１０の実行コマンド名と書式、さらに引数
格納部７３に格納されている引数とに基づいて、プログ
ラムを実行するために必要なコマンドスクリプトを生成
してＯＳ５に渡す。

【００４６】図８（ｂ）に、位置−プログラム対応表７
９の一例を示す。実行コマンド名とＣＰＵ装置に渡す実
行書式を、位置情報と組にして格納する。位置−プログ
ラム対応表７９は後述する座標情報設定部５においてユ
ーザが自由に設定できるようにする。

【００４７】図８（ｃ）に、実行プログラム格納部７１
０の一例を示す。位置−プログラム対応表７９から読み
取ってきた実行コマンド名と実行書式を格納する。

【００４８】図９に、引数格納部７５の一例を示す。引
数格納部７５には、引数判定部７１で決定した各指の接
触順番に応じた引数を格納する。さらに接触順番格納部
１−６から、各指に対応する座標値とＱ０ｊとフラグｆ
ｌｇＱ０ｊの値も引数格納部７５に格納する。図９の例
では、接触順番が一番の指には引数１としてファイルＡ
が割り当てられており、その座標は（９０，９０）であ
り、Δｔ前から接触されていた座標であることを表して
いる。

【００４９】図１０に、接触順番−引数名対応表７２の
一例を示す。接触順番−引数名対応表７２には、ある接
触数の時に各接触順番の指に割り当てられた引数名が格
納されている。図１０の例では、接触数が２の時の一番
目の接触点には引数１が割り当てられており、二番目の
接触点には引数２が割り当てられていることを表してい
る。

【００５０】接触順番−引数名対応表７２は、ユーザが
マウスやキーボード等を利用して自由に設定できるもの
とする。設定は、後述する座標情報設定部５でおこな
う。

【００５１】図１１に、軌跡格納部７７の一例を示す。
軌跡格納部７７には、接触順番格納部１６に格納されて
いる座標を、対応する接触順番毎に分けて格納する。接
触が放された場合には軌跡格納部７７の値をクリアす
る。

【００５２】次に、座標情報呈示部４について説明す
る。座標情報呈示部４では、座標情報検出部２または座
標情報処理部３から得られるユーザが指している座標値
や引数名、引数値、また実行しようとしているプログラ
ム名等の情報を、ユーザに呈示する処理をおこなう。

【００５３】例えば、ユーザが引数アイコンに指を接触
させた時に、その接触順番・引数名・引数値を、接触さ
せた指の先端にあたる表示装置上にポップアップウィン
ドウとして呈示したりする。

【００５４】図１２は、座標情報呈示部４の構成例であ
る。呈示情報種類格納部１１１には、ユーザに呈示する
ことができる情報の種類と、それをどのタイミングで呈
示させるかを設定したフラグを格納する。

【００５５】呈示情報読取り部１１２は、呈示情報種類
格納部１２１にしたがって、必要な呈示情報を、座標情
報検出部２あるいは座標情報処理部３から読み取って、
呈示情報格納部１１３に格納する。呈示情報格納部１１
３には、呈示情報読取部１２２で読み取った呈示に必要
な情報を格納する。

【００５６】呈示情報生成部１１４は、呈示情報格納部
１２３のデータに基づいてユーザに呈示するデータを生
成し、ＯＳ５に渡して呈示を促す。

【００５７】図１３に、呈示情報種類格納部１１１の一
例を示す。ユーザに呈示できる各情報（引数名、引数
値、プログラム名、接触順番等）を、それぞれの呈示可
能なタイミング（指を接触させた時、指を移動する時、
指を放す等）で、ユーザに呈示するかどうかを格納す
る。図１３の例では、指を接触させた時には引数名・引
数値・接触順番をポップアップウィンドウのようにユー
ザからの入力（ＯＫ／キャンセルなど）を求めない形で
呈示し（図１４）、プログラム名は呈示しないことを表
している。

【００５８】また、接触した指を移動させた時には引数
名・引数値をポップアップウィンドウのようにユーザか
らの入力（ＯＫ／キャンセルなど）を求めない形で呈示
し、プログラム名と接触順番は呈示しないことを表して
いる。

【００５９】また、接触した指を放した時には、引数名
・引数値・プログラム名・接触順番を、ダイアログボッ
クスのように、ユーザからの確認入力（ＯＫ／キャンセ
ルなど）を求める形で呈示（図１５）することを表して
いる。ユーザからの確認入力でキャンセルが選択された
場合には、処理をキャンセルする。

【００６０】次に、座標情報設定部５について説明す
る。座標情報設定部５では、座標情報処理部３での処理
に必要な情報、例えば接触順番−引数名対応表７２や位
置−引数値対応表７４や位置−プログラム対応表７９の
値を設定するためのＧＵＩをユーザに呈示し、ユーザに
入力させた設定値を各対応表に格納する。

【００６１】座標情報設定の開始は、例えば図１６
（ａ）のように画面の右上に常に座標情報設定ボタンを
設けておいて、そのボタンが押されたら開始する方法が
ある。座標情報設定ボタンを押したか否かは、座標情報
検出部２で判定する。

【００６２】図１６（ｂ）は、接触順番−引数名対応表
７２をユーザが設定するためのＧＵＩ画面の一例であ
る。

【００６３】引数指定をおこなうプログラムを入力する
ためのプログラム入力部１５１と、プログラムの実行に
必要な引数の個数を表示する引数個数表示部１５２と、
接触順番に応じて引数の種類を割り当てる引数設定部１
５３が表示されている。

【００６４】プログラム入力部１５１で引数指定をおこ
なうプログラムを選択すると、そのプログラムに必要な
引数の数が１５２に表示される。さらに引数の個数に相
当する接触順番が８３のように表示され、各接触順番に
どの引数を割り当てるかをリストボックスで選ぶことが
できる。すべての設定項目を決めたら実行開始ボタン１
５４を押し、ＧＵＩで設定した結果を接触順番−引数名
対応表７２の該当部分に格納する。

【００６５】上記設定方法では、同じ個数の引数を必要
とするプログラムに関しては、各接触順番に割り当てる
引数種類は同じであることを仮定しているが、別に同じ
でなくてもよく、このような場合には、実行するプログ
ラムを識別するフラグを持つように接触順番−引数名対
応表７２を拡張すればよい。

【００６６】図１７に、処理の流れを示す。一定の時間
Δｔ毎に、手検出部１１でユーザの手が接触した位置座
標を検出し、手パターン格納部１２に格納する（Ｓ１６
１、Ｓ１６２）。座標情報設定開始が指示されているか
どうかを判定する（Ｓ１６３）。

【００６７】座標情報設定開始の場合には、座標情報設
定部５で接触順番−引数名対応表７２や位置−引数値対
応表７４や位置−プログラム対応表７９の値を設定する
ためのＧＵＩを表示し、ユーザに入力させた設定値を各
対応表に格納する（Ｓ１６４）。

【００６８】代表座標検出部１３において、手パターン
格納部１２に接触フラグが格納されている座標の代表座
標を定め、代表座標格納部１４に格納する（Ｓ１６
５）。

【００６９】座標設定開始でない場合には、接触順番判
定部１５において、代表座標格納部１４の各座標が何番
目に接触されたものであるかを判定し、結果を接触順番
格納部１６に格納する（Ｓ１６６）。

【００７０】引数名判定部７１、引数値判定部７３にお
いて、接触順番格納部１６の各座標に対応する引数を決
定し、引数格納部７５に格納する（Ｓ１６７）。軌跡検
出部７６で軌跡を検出し、軌跡格納部７７に追加する
（Ｓ１６８）。プログラム判定部７８で実行するプログ
ラムを判定し、実行プログラム格納部７１０に格納する
（Ｓ１６９）。

【００７１】呈示情報読取り部１１２において、呈示に
必要な情報を読み取り、呈示情報格納部に格納する（Ｓ
１６１０）。呈示情報生成部１１４において呈示情報を
生成する（Ｓ１６１１）。ＯＳ６に呈示情報を渡して呈
示を実行する（Ｓ１６１２）。実行確認部７１１で、ユ
ーザが設定した引数とプログラムで実行をおこなうかど
うかを確認する（Ｓ１６１３）。実行確認部７１１でプ
ログラム実行が指示された場合、出力イベント生成部７
１２で出力イベントを生成する（Ｓ１６１４）。

【００７２】［第一の実施例の座標入力部における接触
点指定方法の変形例］第一の実施例において、接触点の
指定は片手でおこなったものでも両手でおこなったもの
でも、さらに一人でおこなったものでも複数人が同時に
おこなったものでも構わない。

【００７３】［第一の実施例の座標情報検出装置におけ
る、手検出方法の変形例］座標情報検出部１において、
入力に関係ない接触座標を排除する機構を設けてもよ
い。例えば、指で引数を指定する時にタッチパネル装置
に手首が接触していた場合、手首に相当する座標を排除
する機構を設ける。排除する手段の一例として、例えば
図１８のように、各接触グループの面積を求め、面積が
あるΔＳ以上であった場合には、そのグループを排除す
る方法がある。図１８では、領域１７１、領域１７２、
領域１７３の面積はΔＳ以下なので検出され、領域１７
４はΔＳより大きいので排除されるものとする。

【００７４】また、一定面積以上の接触座標が一定面積
以下の接触座標と十分な距離以上離れていた場合に、検
出された接触座標を排除してもよい。

【００７５】［第一の実施例の座標情報処理装置におけ
る、ジェスチャの変形例１］第一の実施例では、ドラッ
グ＆ドロップという単純なジェスチャを用いてプログラ
ムを実行する例を説明したが、ジェスチャはドラッグ＆
ドロップに限るものではなく、ダブルクリックをした
り、○や×などの印を描くなどのジェスチャを用いても
よい。

【００７６】例えば第一の実施例では、引数が割り当て
られた複数の指をプログラムアイコンにドラッグ＆ドロ
ップすることでプログラムが実行されたが、○や〆など
の印を描くことでプログラムを実行するようにしてもよ
い。

【００７７】このような場合には、座標情報処理部３の
プログラム判定部７８の中に、軌跡格納部７７に格納さ
れている軌跡データをパターン認識エンジンで解析する
ことによって、プログラムを識別する機構を設ければよ
い。

【００７８】また、描いた印の種類により、呼び出すプ
ログラムを変えてもよい。例えば、複数のファイルを選
んで右回りに○を描いた場合にはプログラムＡを実行
し、左回りに○を描いた場合にはプログラムＢを実行す
る等の方法で区別してもよい。

【００７９】また、位置−プログラム対応表７９に、軌
跡パターンと対応するプログラムをペアにして格納して
おけばよい。位置−プログラム対応表７９の設定は、座
標情報設定部５において、図１９のようなＧＵＩでユー
ザが実際に軌跡を描いて設定できるようにする。その
際、書き順を有効にするか否か、あるいはどの指でジェ
スチャをおこなうか等を設定することができる。ここで
は引数指定をおこなうプログラムを入力するためのプロ
グラム入力部１８１と、プログラムの実行に必要な引数
の個数を表示する引数個数表示部１８２と、接触順番に
応じて引数の種類を割り当てる引数設定部１８３が表示
されている。

【００８０】プログラム入力部１８１で引数指定をおこ
なうプログラムを選択すると、そのプログラムに必要な
引数の数が１８２に表示される。さらに引数の個数に相
当する接触順番が１８３のように表示され、各接触順番
にどの引数を割り当てるかをリストボックスで選ぶこと
ができる。補助表示部１８４にジェスチャを表示し、す
べての設定項目を決めたら実行開始ボタン１８５を押す
ようになっている。

【００８１】［第一の実施例の座標情報処理装置におけ
る、ジェスチャの変形例２］第一の実施例では、接触し
ている全ての指をプログラムアイコンにドラッグ＆ドロ
ップすることでプログラム実行スクリプトを発生させる
トリガーとする例を説明したが、必ずしもそれに限るも
のではなく、接触している指の中の一本だけでドラッグ
＆ドロップをおこない、残りの指は途中で放してもよ
い。また、ジェスチャの変形例１に述べたようにドラッ
グ＆ドロップ以外のジェスチャを使う場合においても、
印の描画等のジェスチャを接触した全ての指でおこなわ
ず、代表の一本だけでおこなってもよい。

【００８２】このような場合には、座標情報処理部３の
プログラム判定部７８でプログラム検出をおこなうタイ
ミングを「すべての指が放された時」とすればよい。

【００８３】［第一の実施例の座標情報処理装置におけ
る、引数指定の変形例１］第一の実施例では、暗号化な
どのプログラム実行に必要な引数を接触順番で区別して
指定し、ドラッグ＆ドロップ等のジェスチャでプログラ
ム実行を指示したが、接触順番で「描画モード」「オブ
ジェクト移動モード」などの入力モードを区別してもよ
い。

【００８４】例えば、図形を描くときには、点や線等の
オブジェクトを描く描画モードと、描いたオブジェクト
を任意の場所に移動するオブジェクト移動モードがあ
る。従来はこれらのモードを切り替えるのはメニューや
ボタンで切り替えていたが、接触する指の本数で入力モ
ードを区別してもよい。具体的には、（１）一本で触った場合には描画モード。一本目の指で
描画。一本目の指を放すと描画終了（２）二本で触った場合にはオブジェクト移動モード。
一本目の指でオブジェクト移動。二本目の指を放すと移
動終了。そのまま一本の指で描画を続けてもよいという
ように接触する指の本数で入力モードを区別してもよ
い。

【００８５】このような場合には、座標情報処理部３の
接触順番−引数名対応表７２に対応する入力モードを格
納しておき、それを参考にして引数名判定部で対応する
入力モードを判定すればよい。また、座標情報処理部３
のプログラム判定部７８でプログラム検出をおこなうタ
イミングを「接触した指が移動した時」とすればよい。

【００８６】［第一の実施例の座標情報処理装置におけ
る、引数指定の変形例２］第一の実施例では、暗号化な
どのプログラム実行に必要な引数を接触順番で区別して
指定し、ドラッグ＆ドロップ等のジェスチャでプログラ
ム実行を指示したが、複数の指でジェスチャをおこなえ
る点を生かして、複数の指でアイコンの一括移動や、ウ
ィンドウの拡大縮小等の操作をおこなってもよい。

【００８７】例えばウィンドウの拡大縮小では、ウィン
ドウの上端と下端を異なる指で押さえ、それぞれを上下
に広げることでウィンドウの拡大縮小をおこなってもよ
い。具体的には、（１）一本でウィンドウの端を触った場合には、触った
一つの端を拡大縮小（２）二本目の指で同じウィンドウの別の端を触った場
合には、それぞれが触った二つの端を拡大縮小（３）以下、三本目、四本目も同様というように、複数の指でジェスチャをおこなってもよ
い。

【００８８】例えばアイコンの一括移動では、複数のア
イコンを同時に選択してそれぞれを所望の位置に再配置
してもよい。

【００８９】このような場合には、座標情報処理部３の
接触順番−引数名対応表７２に対応する入力モードを格
納しておき、それを参考にして引数名判定部で対応する
入力モードを判定すればよい。また、座標情報処理部３
のプログラム判定部７８でプログラム検出をおこなうタ
イミングを「接触した指が移動した時」とすればよい。
以上のような変形は、すべて本発明に含まれる。

【００９０】また、本願発明の実施例における処理をコ
ンピュータで実行可能なプログラムで実現し、このプロ
グラムをコンピュータで読み取り可能な記憶媒体として
実現することも可能である。

【００９１】なお、本願発明における記憶媒体として
は、磁気ディスク、フロッピー（登録商標）ディスク、
ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−
Ｒ，ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メ
モリ等、プログラムを記憶でき、かつコンピュータが読
み取り可能な記憶媒体であれば、その記憶形式は何れの
形態であってもよい。

【００９２】また、記憶媒体からコンピュータにインス
トールされたプログラムの指示に基づきコンピュータ上
で稼動しているＯＳ（オペレーションシステム）や、デ
ータベース管理ソフト、ネットワーク等のＭＷ（ミドル
ウェア）等が本実施形態を実現するための各処理の一部
を実行してもよい。

【００９３】さらに、本願発明における記憶媒体は、コ
ンピュータと独立した媒体に限らず、ＬＡＮやインター
ネット等により伝送されたプログラムをダウンロードし
て記憶または一時記憶した記憶媒体も含まれる。

【００９４】また、記憶媒体は１つに限らず、複数の媒
体から本実施形態における処理が実行される場合も、本
発明における記憶媒体に含まれ、媒体の構成は何れの構
成であってもよい。

【００９５】なお、本願発明におけるコンピュータは、
記憶媒体に記憶されたプログラムに基づき、本実施形態
における各処理を実行するものであって、パソコン等の
１つからなる装置、複数の装置がネットワーク接続され
たシステム等の何れの構成であってもよい。

【００９６】また、本願発明におけるコンピュータと
は、パソコンに限らず、情報処理機器に含まれる演算処
理装置、マイコン等も含み、プログラムによって本願発
明の機能を実現することが可能な機器、装置を総称して
いる。

【００９７】

【発明の効果】本発明では、座標情報検出装置において
タッチパネル画面に同時に接触させた複数の指の情報を
検出することができるので、それらの軌跡パターンをジ
ェスチャとして利用することが可能となる。

【図面の簡単な説明】

【図１】本願発明の一実施形態にかかる全体構成図。

【図２】本願発明の一実施形態にかかる座標情報検出部
２の一例を示す。

【図３】本願発明の一実施形態にかかる手パターン格納
部１２の一例を示す。

【図４】本願発明の一実施形態にかかる代表座標検出部
１３の構成例。

【図５】本願発明の一実施形態にかかる代表座標格納部
１４の一例を示す。

【図６】本願発明の一実施形態にかかる接触順番格納部
１６の一例を示す。

【図７】本願発明の一実施形態にかかる接触順番の判定
方法の手順を示す図である。

【図８】本願発明の一実施形態にかかる座標情報処理部
３の一例を示す。

【図９】本願発明の一実施形態にかかる引数格納部７５
の一例を示す。

【図１０】本願発明の一実施形態にかかる接触順番−引
数名対応表７２の一例を示す。

【図１１】本願発明の一実施形態にかかる軌跡格納部７
７の一例を示す。

【図１２】本願発明の一実施形態にかかる座標情報呈示
部４の構成例である。

【図１３】本願発明の一実施形態にかかる呈示情報種類
格納部１１１の一例を示す。

【図１４】本願発明の一実施形態にかかる指を接触させ
た時のポップアップウィンドウの例。

【図１５】本願発明の一実施形態にかかる指を放した時
のポップアップウィンドウの例。

【図１６】本願発明の一実施形態にかかる座標情報設定
部５の一例を示す。

【図１７】本願発明の一実施形態にかかる全体の処理の
流れを示す。

【図１８】本願発明の一実施形態にかかる手首に相当す
る座標を排除する例を示す。

【図１９】本願発明の一実施形態にかかる座標情報設定
部５の一例を示す。

【符号の説明】

１…座標入力部２…座標情報検出部３…座標情報処理部４…座標情報呈示部５…座標情報設定部６…ＯＳ

───────────────────────────────────────────────────── フロントページの続き (72)発明者後藤和之神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内 (72)発明者大盛善啓神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内Ｆターム(参考） 5B068 AA05 AA14 BD20 BD26 CC12 CC18 5B087 AA10 AB02 AE06 DD02 DD05 DD10

Claims

【特許請求の範囲】

【請求項１】タブレットやタッチパネル画面を直接接
触して指示する入力装置であって、複数の接触点を検出する検出手段と、この検出手段によって検出された複数の接触点の接触の
順番を検出する順番検出手段と、この順番検出手段によって検出された接触の順番に対応
するプログラムを判定するプログラム判定手段と、このプログラム判定手段によって判定されたプログラム
の実行を指示するための出力命令を生成する生成手段と
を有することを特徴とする入力装置。
【請求項２】前記プログラム判定手段は、接触順番の
違いで引数の種類を区別する手段を有し、この手段によって区別され引数をもとに、複数の引数を
必要とするプログラムを判定することを特徴とする請求
項１記載の入力装置。
【請求項３】前記プログラム判定手段は、接触数に応
じて異なる入力モードを割り当て、対応する入力モード
に切替えをおこなうことを特徴とする請求項１記載の入
力装置。
【請求項４】タブレットやタッチパネル画面を直接接
触して位置を指示する入力方法であって、複数の接触点を検出し、検出された前記複数の接触点の接触の順番を検出し、検出された前記接触の順番に対応するプログラムを判定
し、判定されたプログラムの実行を指示するための出力命令
を生成することを特徴とする入力方法。
【請求項５】タブレットやタッチパネル画面を直接接
触して指示された情報を入力情報として認識するコンピ
ュータ読取り可能なプログラムを記憶した記憶媒体であ
って、複数の接触点を検出させ、検出された前記複数の接触点の接触の順番を検出させ、検出された前記接触の順番に対応するプログラムを判定
させ、判定されたプログラムの実行を指示するための出力命令
を生成させるプログラムを記憶した記憶媒体。