JP2002259002A - ドキュメント操作システム - Google Patents

Abstract

(57)【要約】 【課題】 ジェスチャを用いて柔軟な操作を実現する一
方で、ストローク種別の判断にともなう問題を解消で
き、操作性に優れ、操作の対象となるオブジェクトの判
別が容易で、かつ入力処理時間が短いドキュメント操作
システムの実現を課題とする。 【解決手段】 ドキュメントを視覚的に表示するドキュ
メント表示部１と、ユーザからのポインティング操作を
受け付けるポインティング入力部２と、このポインティ
ング入力部２を通じて入力されたストロークを処理する
ストローク処理部３と、ジェスチャ入力エリアを表示す
るジェスチャ入力エリア表示部７と、このジェスチャ入
力エリアに入力されたストロークを判別するジェスチャ
判別部８と、ドキュメントに対する操作を定義するドキ
ュメント編集アプリケーション４と、ドキュメントを管
理するドキュメント管理部５と、ドキュメントを蓄積す
るドキュメント蓄積部６とを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ドキュメント操作
システムに関し、特に、ドキュメントを表示し、その編
集や、すでに含まれている内容に対する注釈の付与など
の機能を提供するドキュメント操作システムに関するも
のである。

【０００２】

【従来の技術】コンピュータを応用して、電子化された
ドキュメントを蓄積し表示し、その蓄積されたドキュメ
ントスクロールし、拡大・縮小して表示し、内容の移
動、複写などの操作を可能とするようなシステムでは、
表示画面上で、一度に複数のドキュメントが表示される
ものが一般的である。あるいは、ドキュメントが１つ表
示された場合であっても、その構成要素として複数のオ
ブジェクトが含まれており、その個々に対して操作が可
能となっていることが一般的である。

【０００３】このようなシステムでは、マウスやペンと
いったポインティング入力装置を用いて、各ドキュメン
ト、各オブジェクトに対する指示および操作方法が提供
されている。特に、ペンを用いたポインティング入力装
置は、ユーザが注釈の書き込みを手書きによって行うこ
とができるため、自然で効率的な操作を提供することが
できる。また、ペンを利用せず、手指など身体の一部を
用いてポインティングが行える場合にも、同様に自然な
操作が可能となる。

【０００４】ペン、あるいは手指など身体の一部を用い
てポインティング入力を実現する手段としては、電界を
利用する方法(Applying electric field sensing to hu
man-computer interfaces., Zimmerman, Smith, Paradi
so, Allport, and Gershenfeld, In Proc. of CHI'95,
pp.280-287, ACM, 1995.) などが知られている。ところ
で、ペンを用いた操作入力では一般に、マウスを用いた
場合に比べ、ユーザが正確なポインティングを行うこと
に困難があり、また、マウスよりも大きな身体運動を必
要とするという問題がある。このような問題を解決する
ため、ジェスチャを用いた操作入力方法が検討されてい
る。ジェスチャによる操作では、ユーザの任意の位置で
操作を入力することが可能になるため、上記の問題が解
決される。

【０００５】ジェスチャを用いた操作の方法として、特
開平７−１０４９６４号公報には、スタイラスペンを用
いた選択決定操作に、ジェスチャを応用した方法が示さ
れている。ジェスチャの認識方法としては、ジェスチャ
ストロークの生成された位置（領域）および、その長さ
を用いている。また、特開平９−２３０９９３号公報に
は、パネル面に円や円弧のジェスチャストロークを描く
ことによって、１次元の変異方向およびその量を入力す
る方法が示されている。さらに、ジェスチャによる操作
作法を電子ホワイトボードに応用し実装した事例も報告
されている。例えば、Flatlandシステムの研究(Flatlan
d: New dimensions in office whiteboards., Mynatt,
Igarashi, Edwards, and LaMarca, In Proc. of CHI'9
9, ACM, 1999.) では、ジェスチャ操作によってオブジ
ェクトの移動や削除を行ったり、指定されたジェスチャ
を行うことによって制御メニューを表示したりといった
操作が実現されている。

【０００６】このように、ジェスチャ入力を用いた操作
方法を提供する場合、まず、入力されたストロークがジ
ェスチャを意図したものか、それ以外（描画など）の操
作として入力されたものかを判断する必要がある。ジェ
スチャとそれ以外とを区別するためには、一連の座標値
から、ストロークの長さや含まれる曲率の分布などを算
出し、それとある基準値とを比較する方法が一般的であ
る。しかし、この判別処理は、一連の座標値のサンプリ
ングを必要とし、また、煩雑な処理を要求するものであ
るため、判別が決定するまでに一定の時間を要すること
になる。ストローク判別に時間がかかることによって、
ユーザは、入力したジェスチャが正しく認識されている
かどうか知らされないまま、ストロークを入力する必要
がある。また、ジェスチャを用いた操作入力方式では、
操作の対象となるドキュメントやオブジェクトが明確に
示されないため、ユーザは操作が実行されるまでジェス
チャ操作の対象を確認することができない。これらの特
性によって、誤ったストロークを入力してしまったり、
操作結果の確認を行うために操作が滞ったりといった問
題が生じがちである。ジェスチャストロークの占める領
域を算出し、その領域の大きさや形状を正規化するなど
の処理を行う必要がある場合には、処理時間はさらに多
く必要とされる。

【０００７】本発明は、ジェスチャを用いて柔軟な操作
を実現する一方で、上記のような、ストローク種別の判
断にともなう問題を解消することを目的としている。さ
らに、前述のように、ドキュメント操作システムでは複
数のオブジェクトが画面上に混在した状況となっている
場合、ユーザはジェスチャによって入力された操作の対
象となるオブジェクトを明瞭に認識することが可能なド
キュメント操作システムの実現を目的としている。

【０００８】

【発明が解決しようとする課題】上述のごとく、従来の
ジェスチャ入力を用いた操作方法では、ユーザは入力し
たジェスチャが正しく認識されているかどうか知らされ
ないままストロークを入力する必要があったり、ジェス
チャ操作の対象を確認することができないで入力しなけ
ればならないなど操作性に不具合があり、また処理時間
がかかるなどの問題があった。本発明は、比較的簡単な
方法でこの問題を解決して、ジェスチャを用いて柔軟な
操作を実現する一方で、ストローク種別の判断にともな
う問題を解消することが可能で、操作性に優れ、操作の
対象となるオブジェクトの判別が容易で、かつ入力処理
時間が短いドキュメント操作システムの実現を課題とす
る。

【０００９】

【課題を解決するための手段】上記課題を達成するた
め、本発明は、電子化されたドキュメントの閲覧および
操作を支援するドキュメント操作システムにおいて、ド
キュメントを視覚的に表示するドキュメント表示部と、
ユーザからのポインティング操作を受け付けるポインテ
ィング入力部と、このポインティング入力部を通じて入
力されたストロークを処理するストローク処理部と、ジ
ェスチャ入力エリアを表示するジェスチャ入力エリア表
示部と、このジェスチャ入力エリアに入力されたストロ
ークを判別するジェスチャ判別部と、ドキュメントに対
する操作を定義するドキュメント編集アプリケーション
と、ドキュメントを管理するドキュメント管理部と、ド
キュメントを蓄積するドキュメント蓄積部とを有するこ
とを特徴とする。これにより、ジェスチャを用いた柔軟
な操作が可能で、操作性に優れ、かつ入力処理時間が短
く、操作の対象の判別が容易なドキュメント操作システ
ムを実現することができる。

【００１０】

【発明の実施の形態】以下、本発明にかかるドキュメン
ト操作システムを添付図面を参照にして詳細に説明す
る。

【００１１】図１は、本発明によるドキュメント操作シ
ステムの構成を示すものである。このドキュメント操作
システムは、ドキュメントを表示するドキュメント表示
部１、ユーザからのポインティング操作を受け付けるポ
インティング入力部２、ポインティング入力部を通じて
入力されたストロークを処理するストローク処理部３、
ドキュメントに対する操作を定義するドキュメント編集
アプリケーション４、ドキュメントを管理するドキュメ
ント管理部５、ドキュメントを蓄積するドキュメント蓄
積部６、ジェスチャ入力エリアを表示するジェスチャ入
力エリア表示部７、および、ジェスチャ入力エリアに入
力されたストロークを判別するジェスチャ判別部８を備
えている。この構成は請求項１に記載したシステムの全
体構成を示したものである。請求項２ないし請求項４
は、この全体構成の一部をなす発明であるため、以下、
関連する内容を適宜示すことにする。

【００１２】ドキュメント表示部１には、ＣＲＴディス
プレイなどの表示装置を用いる。ポインティング入力部
２には、マウスやペン・タブレットなどを用いることが
可能である。タッチパネルを用いる場合は、ユーザがド
キュメント表示部に表示されたドキュメントに対し直接
操作を行っているような感覚を醸成することによって効
率的な知的作業を可能とし、またスタイラス、手指など
によって細かな制御を要するストロークを入力しやすく
する効果をもたらすことができるため、特に好ましい。
ポインティング入力部は、座標データの処理を効率化す
るため、入力検知した座標データを一時的に保持する機
能を有するものとする。

【００１３】ストローク処理部３は、ポインティング入
力部２を用いて入力された座標データを用い、ストロー
クの種別を判断する。処理の結果はドキュメント編集ア
プリケーション４へ通知され、そこでドキュメントやそ
の構成要素に対して必要な処理が実行される。ドキュメ
ント編集アプリケーション４が定義する操作の例として
は、ドキュメントの移動（表示位置の指定）、ドキュメ
ントのクローズ、スクロールなどがある。ドキュメント
に対する編集の結果は、ドキュメント表示部１によって
ユーザに示される。ストローク処理部３では、一連の座
標データをストロークとして保持し、その種別を判断す
る。まず、ストロークの開始点座標から、そのストロー
クがジェスチャ入力エリア内で生成されたものかどうか
を判別する。ストロークがジェスチャであると判別され
た場合には、そのストロークデータ（一連の座標デー
タ）がジェスチャ判別部８に渡される。

【００１４】ここで、請求項３に示したように、特定の
性質を持ったストロークが入力されたときに、ドキュメ
ント編集アプリケーション４に対しジェスチャ入力エリ
アの表示を指示することも可能である。例えば、長さが
一定の基準以下であるストローク（タップ）が検出され
たときに、タップが行われた位置に表示されているオブ
ジェクトに対する操作を行うためのジェスチャ入力エリ
アを表示させることができる。

【００１５】ドキュメント管理部５では、ドキュメント
編集アプリケーション４からの要求に応じて、その内容
を編集したり、位置関係などの構成を変更したりといっ
た処理を行う。このとき、ドキュメント管理部５からの
指令により、ドキュメント蓄積部６の保持する情報が更
新される。ドキュメントを蓄積するドキュメント蓄積部
６としては、一般的な文書データベースおよびハードデ
ィスク装置等のストレージ装置を利用することができ
る。ここでドキュメントは、任意の数のドキュメント要
素を含むことができる。ドキュメント要素の保存形式と
しては視覚的な表現を記述可能なデータ形式であればよ
く、任意のドキュメント、画像データ形式を利用するこ
とができる。

【００１６】ストローク処理部３が、ジェスチャ入力エ
リア内でストロークが生成されたことを検出した場合に
は、ジェスチャ入力エリア表示部７が表示される。ジェ
スチャ入力エリア表示部７にはドキュメント表示部と同
一の表示装置を用いる。ジェスチャ入力エリアの表示形
式としては、例えば図２に示すものが好適である。これ
は請求項４に示したジェスチャ入力エリアを提供するた
めの表示例を示すものであり、図中で、中央の矩形領域
および、その上下左右に配された点線がホットスポット
を示す。

【００１７】請求項２に記載したドキュメント操作シス
テムでは、ジェスチャ入力エリアの表示は、そこで入力
されたジェスチャが対象とするオブジェクトとの関係の
表現を伴なう。これは例えば、図３に示す形式とするこ
とで実現される。このとき、ジェスチャ入力エリア９が
透過し、その下に位置するオブジェクト（図の場合、三
角形）が操作対象となっていることが示されている。ま
た、異なる例として、図４に示す形式では、操作の対象
となるオブジェクトを包含するようにジェスチャ入力エ
リア９を表示している。さらに図５では、ジェスチャ入
力エリア９は操作対象オブジェクト（図中の三角形）と
は異なる位置に表示されるが、短点を持った線分がジェ
スチャ入力エリア９と対象オブジェクトとの関連性を表
現している。画面表示が煩雑になっている場合には、こ
のような表示形式とすることが好ましい。

【００１８】ジェスチャ入力エリア９を表示することに
よって、その位置に表示されている操作対象を隠蔽する
可能性がある。これに関しては例えば、ジェスチャ入力
エリア９を、半透明の色で示される領域とし、ドキュメ
ント上でその領域と重なった部分は、ジェスチャ入力エ
リア９を透過して見えているかのように表示することに
よって、これを回避することができる。図３、図４では
この点を考慮し、透過性を持ったジェスチャ入力エリア
９の表示例を示している。

【００１９】ジェスチャ判別部８は、ジェスチャである
と判別されたストロークデータから、ドキュメント編集
アプリケーション４に対して指示すべき操作を判別す
る。ジェスチャ判別方法としては、請求項４に示したよ
うに、ジェスチャ入力エリア内にいくつかのホットスポ
ットを設け、このホットスポットに対しどのような方位
でストロークが通過したかを検出することによってジェ
スチャを判別することが可能である。具体的には、例え
ばホットスポットによってジェスチャ入力エリアがＡ、
Ｂ、Ｃに区切られる場合、ＡからＢに向けて行われたス
トロークは「オブジェクトの削除」、ＢからＣに向けて
行われたストロークは「オブジェクトの拡大」というよ
うにジェスチャを定義しておき、座標データからポイン
ティング位置の変化を調べることによって、ストローク
がいずれのジェスチャに該当するかを判別することがで
きる。

【００２０】この方法では、ストロークに含まれる曲率
などを算出する必要はなく、ポインティング位置の変化
のみを利用するため、処理の煩雑さが軽減される。ま
た、この方式を用いることにより、ジェスチャとして入
力すべきストロークをユーザの好みに応じて調整するこ
とができる。例えば、ホットスポットを横切る短い直線
のストロークを繰り返し入力することによって、同じ操
作を繰り返し入力することができる。

【００２１】入力されたストロークの処理を表すフロー
チャート図を図６に示す。この一連の処理は、ストロー
ク処理部３によって行われ、ユーザがポインティング入
力を開始し、ポインティング入力部が座標データの取得
を開始したことによって起動される。ステップ１では、
ポインティング入力部よりストローク始点の座標を取得
する。

【００２２】ステップ２では、ストローク始点の座標を
用いて、入力されたストロークがジェスチャか否かを判
別する。この処理では、例えば表示されたジェスチャ入
力エリア表示部が座標（Ｘ０，Ｙ０）−（Ｘ１，Ｙ１）
の範囲を占める矩形である場合、始点座標（Ｘｓ，Ｙ
ｓ）が

【００２３】 Ｘ０＜＝Ｘｓ＜＝Ｘ１かつ、Ｙ０＜＝Ｙｓ＜＝Ｙ１ の関係を満たす場合には「ジェスチャである」と判断し
てステップ８へ進み、それ以外の場合には「ジェスチャ
でない」と判断してステップ３へ進む。

【００２４】ステップ３では、ポインティング入力部が
次の座標データを保持しているかどうかを判別する。次
の座標データがない場合にはストロークが終了したと判
断し、ステップ６へ進む。一方、次の座標データが存在
する場合には、ステップ４において次の座標データを取
得し、さらにステップ５において描画の処理を実行す
る。描画の処理は、ストローク処理部からドキュメント
操作アプリケーションへメッセージを送信することによ
って起動し、ドキュメント操作アプリケーションによっ
て実行する。ステップ５において描画処理が実行された
後、再びステップ３へと移る。

【００２５】ステップ６では、ストロークがタップであ
るか否かの判断を行う。この処理では、取得した一連の
座標データから、ストロークの長さを算出し、それをあ
らかじめ設定された基準値と比較する。ストロークがタ
ップであると判断された場合は、ステップ７においてジ
ェスチャ入力エリアの表示を起動する。この処理はジェ
スチャ入力エリア表示部によって行われる。なお、ステ
ップ６でタップであるか否かを判断する際に、ストロー
クの長さではなくストロークが入力されていた時間の長
さを利用することも考えられる。この場合には、タイマ
ーを利用してステップ４を一定の時間間隔で起動し、一
定のサンプリング時間間隔ごとに座標データの取得を行
い、座標データの個数によってストローク入力持続時間
を求めればよい。

【００２６】図６のステップ２において、入力されたス
トロークがジェスチャであると判別された場合の処理を
図７に示す。ステップ１１では、ポインティング入力部
から１点の座標データを取得する。ステップ１２では、
入力されたストロークがジェスチャとして判別可能かど
うかを判断する。この処理では、例えば、一つ前に取得
した座標データと、今回取得した座標データとを結ぶ線
が、いずれかのホットポイントを横断しているか否かを
調べ、横断している場合には判別可能であると判断す
る。

【００２７】ステップ１３では、上記横断したものがい
ずれのホットポイントであるかを調べ、それに割り当て
られている操作を調べることにより、適切な処理を起動
する。ステップ１４では、これによって起動されたいず
れかの処理が実行される。ステップ１５では、ポインテ
ィング入力部が次の座標データを保持しているかどうか
を調べることによって、ストローク入力が終了したか否
かの判断を行う。ストローク入力が終了している場合に
は、ジェスチャストローク処理を終了する。一方ストロ
ーク入力が終了していないと判断された場合には、再び
ステップ１１に移り、座標データの取得を繰り返す。

【００２８】

【発明の効果】以上説明したように本発明の請求項１の
発明は、所定の構成となっているために、ユーザがポイ
ンティング操作によってドキュメントの編集を行うドキ
ュメント操作システムを実現することができる。特に、
ジェスチャ入力エリアを表示し、その領域内で生成され
たストロークをジェスチャとして処理することにより、
システムが入力ストロークをジェスチャとして認識する
ための処理を軽減させ、ユーザの操作を効率化すること
ができる。なお、ペンによるダブルタップを用いたジェ
スチャ入力方式に関しては、同じ位置で２度のタップを
行うことが困難であるといった問題が指摘されている。
ジェスチャ入力エリアを表示し、その領域内でのタップ
やストロークをジェスチャとして解釈する方式とするこ
とにより、ユーザが行う操作の困難さを軽減することが
できる。

【００２９】本発明の請求項２の発明は、入力するジェ
スチャによって操作が行われる対象オブジェクトをユー
ザに示すことができるため、表示画面上に複数のオブジ
ェクトが混在する場合でも、ユーザは操作対象オブジェ
クトを確認しながら、安心してジェスチャの入力を行う
ことができる。

【００３０】本発明の請求項３の発明は、ポインティン
グ入力のみの操作によってジェスチャ入力エリアの表示
を制御することができるため、ユーザは入力装置の持ち
替えなどを行うことなく、スムーズに操作を継続するこ
とができる。

【００３１】本発明の請求項４の発明は、ユーザはジェ
スチャ入力エリア内に表示されたホットポイントを手が
かりとしてジェスチャの入力を行うことが可能であるた
め、操作が認識される部位やタイミングを理解しなが
ら、入力操作を調整することができる。また、ホットス
ポットとの関係のみを利用してジェスチャを判別するた
め、処理を効率化することができる。

【図面の簡単な説明】

【図１】本発明のドキュメント操作システムの構成を示
すブロック図。

【図２】ジェスチャ入力エリアの表示例。

【図３】複数オブジェクトが表示された画面におけるジ
ェスチャ入力エリアの表示例。

【図４】他のジェスチャ入力エリアの表示例。

【図５】他のジェスチャ入力エリアの表示例。

【図６】ストローク処理を示すフローチャート。

【図７】ジェスチャストローク処理を示すフローチャー
ト。

【符号の説明】

１ ドキュメント表示部 ２ ポインティング入力部 ３ ストローク処理部 ４ ドキュメント編集アプリケーション ５ ドキュメント管理部 ６ ドキュメント蓄積部 ７ ジェスチャ入力エリア表示部 ８ ジェスチャ判別部 ９ ジェスチャ入力エリア

Claims (4)

【特許請求の範囲】
1. 【請求項１】 電子化されたドキュメントの閲覧および
   操作を支援するドキュメント操作システムにおいて、 ドキュメントを視覚的に表示するドキュメント表示部
   と、 ユーザからのポインティング操作を受け付けるポインテ
   ィング入力部と、 このポインティング入力部を通じて入力されたストロー
   クを処理するストローク処理部と、 ジェスチャ入力エリアを表示するジェスチャ入力エリア
   表示部と、 このジェスチャ入力エリアに入力されたストロークを判
   別するジェスチャ判別部と、 ドキュメントに対する操作を定義するドキュメント編集
   アプリケーションと、 ドキュメントを管理するドキュメント管理部と、 ドキュメントを蓄積するドキュメント蓄積部とを有する
   ことを特徴とするドキュメント操作システム。
2. 【請求項２】 前記ジェスチャ入力エリア表示部は、そ
   のジェスチャ入力エリアと、そのジェスチャ入力エリア
   に入力されたジェスチャによって操作が行われる対象と
   の関係を具体的に表現するような形式で表示を行うこと
   を特徴とする請求項１に記載のドキュメント操作システ
   ム。
3. 【請求項３】 前記ストローク処理部は、特定の性質を
   持った前記ストロークが入力されたことを検出し、それ
   に応じて、前記ジェスチャ入力エリア表示部の前記ジェ
   スチャ入力エリアの表示を起動させることを特徴とする
   請求項１または請求項２に記載のドキュメント操作シス
   テム。
4. 【請求項４】 前記ジェスチャ入力エリア表示部は、前
   記ジェスチャ入力エリア内に、前記ストロークの入力お
   よびその描画方向がジェスチャとして解釈されることを
   示すホットポイントを表示し、前記ジェスチャ判別部
   は、前記ジェスチャ入力エリア内で入力された前記スト
   ロークとそのホットポイントとの相互関係によって、前
   記ドキュメント編集アプリケーションに対して行う操作
   を決定することを特徴とする請求項１または請求項２に
   記載のドキュメント操作システム。