JPH06242885A - 文書編集方法 - Google Patents

文書編集方法

Info

Publication number
JPH06242885A
JPH06242885A JP2645293A JP2645293A JPH06242885A JP H06242885 A JPH06242885 A JP H06242885A JP 2645293 A JP2645293 A JP 2645293A JP 2645293 A JP2645293 A JP 2645293A JP H06242885 A JPH06242885 A JP H06242885A
Authority
JP
Japan
Prior art keywords
function
displayed
gesture
names
editing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2645293A
Other languages
English (en)
Inventor
Masayoshi Kuroda
昌芳 黒田
Michihiro Mese
道弘 目瀬
Tsukasa Yamauchi
司 山内
Yasumasa Matsuda
泰昌 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2645293A priority Critical patent/JPH06242885A/ja
Publication of JPH06242885A publication Critical patent/JPH06242885A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • Document Processing Apparatus (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【目的】ジェスチャーで機能を指定する場合、規定通り
のジェスチャー操作をしなかった場合でも、意図する機
能を選択できる文書編集方法を提供する。 【構成】ユーザによりジェスチャーが入力された際、そ
の入力されたジェスチャーの軌跡703に応じて可能性
がある複数の候補名710を同時に表示する。ユーザー
は、この複数の候補名710の中から所望の機能名71
1を選択する。そして、選択された時点で、その選択さ
れた編集機能の実行を行う。 【効果】ジェスチャーをうろ覚えであるなど、規定通り
のジェスチャーが入力できなかった場合でも、1ステッ
プのメニュー選択で簡単に意図する機能を実行でき、再
入力する手間もない。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ワープロやパソコンな
どの情報処理装置で用いられるポインティングデバイ
ス、その中でも特にタブレットやタッチパネルとペンま
たは指を用いたジェスチャーを利用した文書編集方法に
関する。
【0002】
【従来の技術】従来、ポインティングデバイスを用いて
機能選択を行う場合、予め表示画面または入力パネル上
に機能名が表示されているか、もしくは画面上の特定の
位置を指定するなどの操作で画面上に機能名を表示し、
ポインティングデバイスで該表示位置を指示して選択す
るものがある。また、座標位置などを指定する場合、編
集画面上または入力パネル上で座標点や始点・終点や対
角点など規定された位置をポインティングデバイスで指
示して位置や範囲を設定するものがある。
【0003】また、「日経エレクトロニクス」199
1.4.15号(通巻525号の)128〜129ペー
ジに示されているように、編集画面上または入力パネル
上のポインティングデバイスの動きまたは軌跡のパター
ンを認識し、予め定められている標準的なパターンと比
較し、一致した場合に該パターンに対応する機能を実行
したり、前記ポインティングデバイスの軌跡情報から編
集範囲などを指定するジェスチャーと呼ばれる入力また
は編集方法がある。
【0004】その他、ジェスチャーの入力デバイスとし
ては、特開平3−129513号公報、特開平4−77
26号公報が、認識方法としては、特開昭55−115
478号公報、特開平4−52720号公報、特開平4
−52720号公報が挙げられる。
【0005】
【発明が解決しようとする課題】前記従来技術では、前
者の場合、常に機能名が表示されているか、必要に応じ
て画面上に表示させる必要があるため、画面上の一定面
積を占有したり機能名を表示させるための操作が必要と
いった問題点があった。
【0006】また、前記問題を解決するために後者のジ
ェスチャー入力もしくはジェスチャー編集を用いる場合
があるが、この場合ジェスチャーをあいまいな形で入力
したり類似したジェスチャーが定義されている場合は、
入力したジェスチャーを操作者が意図したとおり正しく
認識できず、意図していない別の機能と判断して実行し
てしまう場合がある。特にジェスチャーで実行できる機
能が多くなるほどジェスチャーが類似する可能性が高く
なり、正しく認識できなくなったり機能とジェスチャー
操作の関連が薄くなるという問題点があった。
【0007】本発明の目的は、ジェスチャーで入力また
は編集をする場合に、該ジェスチャー操作から考えられ
る機能が複数ある場合、誤った機能が実行されないよう
な入力または編集方法を提供することにある。
【0008】
【課題を解決するための手段】前記目的を達成するため
に本発明は、以下のような手順を用いる。
【0009】入力装置に入力があるか検知し、タブレッ
トまたはタッチパネルから入力があった場合は、カーソ
ル位置指定やメニュー選択操作かジェスチャー操作かを
調べて、ジェスチャー入力であった場合、その移動量、
移動方向、および該移動量および移動方向の変化などの
情報を基に該ジェスチャー入力が、予め登録されている
各機能に対応するジェスチャー操作とどれだけ一致して
いるかを比較する。そして、その一致度が所定の値より
大きい機能または一致度が高い方から所定の数の機能、
つまり前記ジェスチャー操作から考えられうる機能の機
能名をメニュー形式等で表示し、操作者が意図していた
機能を選択して機能を実行するものである。また、予
め、類似した機能をグループ付けしておき、最も近いと
認識された機能と同じグループにある機能名をメニュー
形式等で表示し、操作者が意図していた機能を選択して
機能を実行する。
【0010】
【作用】本発明は入力装置に入力があるか検知し、タブ
レットまたはタッチパネルから入力があった場合は、カ
ーソル位置指定やメニュー選択操作かジェスチャー操作
かを調べる。そして、入力パネル上でジェスチャーを入
力後、その移動量、移動方向、および該移動量および移
動方向の変化などの情報を基に該ジェスチャー入力がど
のような機能を実行させようとする操作であるかを認識
する。そのために、予め登録されている各機能に対応す
るジェスチャー操作と実際に入力されたジェスチャー操
作を比較し、その一致度が所定の値より大きい機能また
は一致度が高い方から所定の数の機能、つまり前記ジェ
スチャー操作から考えられうる機能の機能名をメニュー
形式等で表示し、操作者が意図していた機能を選択して
機能を実行するものである。また、予め、類似した機能
をグループ付けしておき、最も近いと認識された機能と
同じグループにある機能名をメニュー形式等で表示し、
操作者が意図していた機能を選択して機能を実行する。
【0011】
【実施例】以下、本発明の一実施例を図を用いて説明す
る。
【0012】図1は、本実施例を適用する情報処理装置
の外観図の一例を示したものである。図1において、1
1は情報処理装置本体で、12は例えばタブレットまた
はタッチパネルのような位置情報入力装置で、13は表
示装置であるが、本実施例では位置情報入力装置12と
表示装置13は一体型になっている。14は位置情報入
力装置を操作するためのペンであるが、位置情報入力装
置12が専用のペンを用いなくても、感圧式や静電容量
式のタッチパネルのように指などで操作可能な方式の場
合はペン14はなくてもよい。
【0013】なお、機器構成は図2のように、表示装置
15と位置情報入力装置16を別筐体にして該位置情報
入力装置を外付けにしてもよい。また17のマウスのよ
うなポインティングデバイスを位置情報入力装置16に
換えて、もしくは併用してジェスチャー操作に用いても
よい。
【0014】図3は、ハードウェア構成の一例を示した
ものである。図3において、21は中央演算装置(CP
U)で全体の動作の制御を行う。22はメモリで装置を
動作させるプログラムや入力されたデータ、表示データ
などを記憶する。23は表示制御部で表示データの制御
などを行い液晶やCRTなどの表示装置24に表示す
る。25は入力制御部でタッチパネル26、必要に応じ
てキーボード27およびマウス28などの入力装置から
の入力を制御する。これらはシステムバス29で接続さ
れていて相互にデータのやり取りを行う。
【0015】編集画面での文字・図形などの編集処理は
図4のような手順で行われる。
【0016】まず、ステップ101の初期処理で変数の
初期化や初期画面表示などの編集準備処理を行う。この
時点でのメモリの内容は図14の550に示すような値
になっている。
【0017】次に、ステップ102でタブレット入力が
あるかを判定し、タブレット入力があった場合は、その
座標値を図7のメモリ構成図中の軌跡情報テーブル51
0内の先頭の511、512の領域に書き込み、ステッ
プ103のタブレット入力解析処理を行う。該タブレッ
ト入力解析処理の中で入力された操作に対応する機能番
号を図7の501の領域に書き込みステップ106の処
理に進む。
【0018】タブレット入力がなかった場合は、ステッ
プ104でキーボード入力があったかを判定し、キーボ
ード入力があった場合は、入力されたキーの機能名に対
応する機能番号を図8に示したような対応表を参照して
取得し、図7の501の領域に書き込みステップ106
の処理に進む。キーボード入力がなかった場合はステッ
プ102の処理に戻る。
【0019】ステップ106で図7のメモリ構成図の5
01の領域に書き込まれている機能番号を判定し、該機
能番号が「01」であった場合は、図8の対応表でわか
るように「編集終了」を示すので編集処理を終了する。
上記機能番号が「01」でなく編集終了以外の機能であ
った場合は、ステップ107に進み上記機能番号に応じ
た処理を実行してステップ102の処理に戻る。例え
ば、キーボード上の機能キーで「削除」を入力した場合
(操作1)は、ステップ106の時点でのメモリの内容
は図14の551に示すような値になっていて、ステッ
プ107で「削除」処理を行う。
【0020】なお、上記処理が画面制御などカーソル移
動を伴う機能の場合は、図7のメモリ構成図の502、
503の領域のカーソル位置情報を更新する処理も行
う。
【0021】ここで、図4のステップ103のタブレッ
ト入力解析処理の詳細は、図5のような手順になってい
る。
【0022】まず、ステップ201でタブレットでの入
力が終了したかを判定する。具体的にはタブレットの接
触の有無を検知し、接触していない場合はタブレット入
力が終了したと考えステップ204の処理に進む。
【0023】接触している場合はまだタブレット入力が
継続していると考え、ステップ202で現在の接触位置
の座標値と、直前の接触位置の座標値を示す図7の51
5、516の値を比較して接触位置が変化したか調べ
る。変化した場合は図7の軌跡情報テーブル510の末
尾の517、518に上記現在の接触位置の座標値を書
き込み、再びステップ201のタブレットの接触の有無
を検知する処理に戻る。
【0024】ステップ204では、タブレット入力が終
了した位置、つまり上記軌跡情報テーブル510の末尾
の517、518に格納されている座標の値が画面上の
どの位置かを調べる。例えば、図9に示すような編集画
面上の機能名を表示してある位置、図9の例では座標が
(527,52)の「移動」の位置を指定した場合(操
作2)、該座標値が図10の機能名表示位置テーブルの
(X1,Y1)と(X2,Y2)で囲まれる矩形内の範
囲にあるかどうかを調べ、この場合(500,40)と
(564,58)の矩形中にあるので「移動」のメニュ
ー項目内にあることがわかり、ステップ205で対応す
る機能番号「11」を図7の機能番号501の領域に書
き込む。この時点でのメモリの内容は図14の552に
示すような値になっていて、タブレット入力内容解析処
理を終了する。
【0025】ステップ204で、図10の機能名表示位
置テーブルのいずれの項目とも一致しなかった場合は、
ステップ206で入力した軌跡の量を調べる。軌跡の量
が所定の量よりも少ない場合はほとんど軌跡が描画され
ていないので、編集画面上の一点を指示してカーソルの
設定操作を行った(操作3)と考え、入力内容解析処理
を終了する。この時点でのメモリの内容は図14の55
3に示すような値になっていて、ステップ107に到達
した時点でカーソル位置502、503の値を参照して
カーソルを設定する。上記操作時の画面は図12のよう
になり、編集画面600上の601の位置にあったカー
ソルが、図12(a)のようにペン14で、または図1
2(b)のように指でさわった場合に602の位置に移
動する。
【0026】図13のようなジェスチャー入力(操作
4)があった場合は、ステップ204の時点でメモリの
内容が図14の554に示すような値になっていて、例
えば所定値が3とすると軌跡の量が所定値よりも多いと
判断され、ステップ207でジェスチャーを解析して対
応する機能名を取得し、さらに図8の対応表を利用して
対応する機能番号に変換し図7の機能番号501の領域
に書き込み、タブレット入力内容解析処理を終了する。
【0027】ここで、図5のステップ207のジェスチ
ャー解析処理の詳細は、図6のような手順になってい
る。
【0028】まず、ステップ301でジェスチャー候補
テーブルなど変数の初期化を行う。
【0029】次にステップ302で登録されているジェ
スチャーパターンのn番目と入力したジェスチャーの軌
跡を比較し一致度(類似度)を算出する。次にステップ
303で一致度が基準値以上であるか判定し、一致度が
基準値以下の場合はステップ305の処理に進み、基準
値以上の場合はステップ304で、比較した機能名と一
致度を図11のジェスチャー候補テーブルに書き込む。
【0030】次にステップ305で、一致度の算出が済
んだジェスチャーパターンの数n+1とジェスチャーパ
ターンの総数Nを比較し、n+1<Nが成り立ちまだ比
較していないジェスチャーパターンがある場合はステッ
プ306でカウンターnの値を1増やしてステップ30
2に戻る。
【0031】n+1<Nが成り立たず、すべてのジェス
チャーパターンとの比較が終了した場合は、ステップ3
07でジェスチャーパターンの候補を表示および選択す
る処理を行い、ステップ308で選択された機能番号を
設定するようになっている。
【0032】上記例では、一致度が基準値以上の場合に
図11のジェスチャー候補テーブルに機能名と一致度を
書き込んでいるが、基準値を定める代わりに表示する機
能名の数を定め、一致度が高い上位一定数の機能を書き
込むようにしてもよい。この場合、該テーブルのサイズ
が固定になるとともに、メニューを表示する場合の機能
名の数も一定になるのでユーザが選択しやすくなる。
【0033】次に、図6のステップ307のジェスチャ
ー候補表示選択操作の詳細について、行桁の単位で文字
編集を行う編集画面におけるジェスチャー操作を行った
場合を例にとり説明する。
【0034】図15のように文字が入力および表示され
ている編集画面600上に701を始点、702を終点
とする横方向に線を引いたジェスチャーの軌跡700が
描画され、ジェスチャー候補テーブルの内容が図17の
ようになったとすると、図16の機能候補メニュー71
0に示すように機能候補をメニュー形式で表示する。こ
のとき、最も一致度が高く最上部に表示しているメニュ
ー項目を図17のように網かけ表示または反転表示し選
択状態にあることを示している。
【0035】上記実施例では、上記機能候補メニュー7
10をジェスチャー終了地点702の右下に自動的に表
示しているが、ジェスチャーの終点の位置によっては右
下に表示できないのでジェスチャーの終点より左側また
は上側に表示されるようになっている。また、ジェスチ
ャーの入力位置にかかわらず常に画面の一定の位置に表
示するようにしてもよい。また、装置側が位置を自動的
に決めず、ジェスチャー入力後最初にタッチした位置に
機能候補メニュー710を表示するようにしてもよい。
また、表示された機能候補メニュー710メニューの外
周をタッチした場合は、該メニューの表示位置を移動で
きるようにしてもよい。
【0036】上記メニューの中から本来実行しようとし
ていた機能を、キーボード入力の場合は上下カーソルキ
ーでメニュー項目を選択して、タブレット入力の場合は
そのまま機能名の領域をタッチすることで、マウスの場
合は機能名の領域にマウスカーソルを移動することで指
定する。このとき、最後に指定された機能名1個が例え
ば反転表示され、選択されている機能名がわかるように
なっている。
【0037】機能名を選択した後、キーボード入力の場
合は実行キーを押すことで、タブレット入力の場合はペ
ンまたは指をタブレットから離すことで、マウスの場合
はボタンをクリックすることで選択操作を実行する。
【0038】選択したメニュー項目によって次のような
動作をする。
【0039】711の「編集範囲指定」を選択した場合
は、図17の始点701を含む文字から終点702を含
む文字までの範囲が範囲指定され、図18の範囲720
のように網かけ表示または反転表示により選択状態にあ
ることが示される。同時に、ジェスチャーの軌跡703
と機能候補メニュー710を消去し、図18の721に
示すように範囲指定を必要とする機能をメニューの形で
表示する。
【0040】712の「削除」を選択した場合は、図1
7の始点701を含む文字から終点702を含む文字ま
での範囲が範囲指定され、図19の範囲730のように
網かけ表示または反転表示により選択状態にあることが
示される。同時に、ジェスチャーの軌跡と機能候補メニ
ュー710を消去し、消去確認のメッセージ731を表
示する。なお、ペンにスイッチが設けられている場合
は、上記選択操作が行われたときにスイッチがONの状
態になっていた場合は、上記メッセージ表示処理を省略
し、直接文字列を削除するようにしてもよい。
【0041】713の「アンダーライン」を選択した場
合は、図17の始点701を含む文字から終点702を
含む文字までの範囲に、図20の740のようにアンダ
ーラインが仮に描画され、ジェスチャーの軌跡と機能候
補メニュー710を消去し、図20の741に示すよう
にアンダーラインの種類をメニューの形で表示する。な
お、ペンにスイッチが設けられている場合は、上記メニ
ュー741を表示して選択する代わりに、スイッチを押
すたびにアンダーラインの種類を順に変更して描画し直
すようにしてもよい。
【0042】714の「ケイ線」を選択した場合は、図
17の始点701を含む文字から終点702を含む文字
までの範囲に、図21のようにケイ線が仮に描画され、
ジェスチャーの軌跡と機能候補メニュー710を消去
し、図21の750に示すようにケイ線の線種および太
さの種類を選択するメニュー751が表示される。な
お、ペンにスイッチが設けられている場合は、上記メニ
ュー751を表示して選択する代わりに、スイッチを押
すたびにケイ線の種類を順に変更して描画し直すように
してもよい。
【0043】また、図17の機能候補メニュー710を
図22(a)のように761「その他」というメニュー
項目を設け、意図した機能名が機能候補メニューに存在
しない場合、該メニュー項目を選択するようにしてもよ
い。この場合、例えば図23のように機能名一覧メニュ
ー760が第2のメニューとして新たに表示され、操作
が1ステップ増えるが実行したい機能が必ず表示され、
どの機能でも選択することが可能なので入力し直す必要
がない。従って、ポインティングデバイスを用いて機能
一覧表を表示させたい場合、画面上に例えば「機能一
覧」といったメニュー項目を用意しなくても機能一覧を
出したいときに、何らかのジェスチャーを行えば表示で
きるという利点がある。なお、ペンにスイッチが設けら
れている場合は、上記メニュー項目761を設けず、機
能候補メニュー710の選択時にスイッチを押すと機能
名一覧メニュー760を表示するようにしてもよい。
【0044】また、図17の機能候補メニュー710を
図22(b)のように762「取消」というメニュー項
目を設け、ジェスチャー入力を取り消したい場合、該メ
ニュー項目を選択するようにしてもよい。この場合、カ
ーソルの指定をするつもりでジェスチャーと認識された
場合など、誤って入力したジェスチャーを取り消したい
とき、「取消」のメニューを編集画面外に表示する場合
よりも、ジェスチャーの終了地点の702から近く操作
しやすくなる。
【0045】機能候補メニューの表示形態は、図17の
表示例では一致度が高い順に上から表示しているが、図
24の機能候補メニュー770のようにジェスチャー番
号の小さい順に表示するようにしてもよい。この場合、
表示される機能の上下関係は変わらないので、ジェスチ
ャー入力した軌跡の状態にかかわらず機能候補の表示順
序が入れ替わることがなく、意図する機能を探しやす
い。
【0046】以上で述べたような実施例では、入力する
たびにジェスチャーの軌跡は異なるので、その都度表示
される機能候補メニューの数、表示される機能や順序が
異なり操作する側は選択しにくい。そこで、図25の機
能候補メニュー781、782、783ように予め類似
する機能を分類しておき、一致度が最も高かった機能が
含まれるグループの機能候補メニューを表示するように
してもよい。この場合、図11のジェスチャー候補テー
ブルは最も一致度が高い機能だけを記憶すればよいので
メモリの使用量が少なくて済む。
【0047】例えば、図15に示したジェスチャーを入
力した場合、図16にあるように最も一致度が高い機能
は「編集範囲指定」なので、一致度が2番目以降の候補
の内容によらず図25の機能候補メニューの中の781
を表示する。
【0048】上記例で「その他」を選択し、表示された
機能一覧表の中から機能候補メニューの中にない機能を
選択した場合は、該機能を意図して上記ジェスチャーを
入力したことになるので、機能候補メニュー781に該
機能を加えるようにしてもよい。また、グループ内のメ
ニュー項目に学習情報を加え、頻度情報を記憶するよう
にして、該メニュー項目の表示順を変更したり、頻度が
低いものは機能候補メニューから外すようにしてもよ
い。
【0049】また、すべてのジェスチャーパターンと比
較して、一致度が基準値に達した機能がただ一つであっ
た場合、または第1位の候補と第2位の候補の差が一定
の値より大きかった場合は、機能候補メニューを表示せ
ず、直接該機能を実行するようにしてもよい。この場
合、該機能実行後に次の操作がなされるまでの間に、ガ
イダンスエリアなどに設けた「UNDO」や「機能取
消」といったメニュー項目を選択した場合は、実行した
機能を取り消して、実行前の状態に回復するようになっ
ていて、ユーザの意図に反した機能を実行した場合でも
被害がないようになっている。また、回復後に機能名一
覧メニュー760を表示し、本来意図した機能をすぐに
選択できるようにしてもよい。
【0050】また、どのジェスチャーと比較しても一致
度が基準値を超えず、機能候補メニューに表示する機能
がない場合、または、軌跡データの量が多過ぎて、図1
1のジェスチャー候補テーブルに入りきらない場合がな
ど、比較するジェスチャーパターンとの長さが大きく異
なり正常なジェスチャー認識ができない場合は、直接機
能名一覧760を表示するか、またはエラーとして異常
音を鳴らしジェスチャー入力を取り消すようになってい
る。ただし、後者の場合で文字認識手段を備えている場
合は、文字入力と考え文字入力認識部に入力データを転
送するようにしてもよい。また、ジェスチャー認識はし
ないが、文書中に一時的なメモとして入力したと考え軌
跡データをそのまま記憶および表示するようにしてもよ
い。
【0051】また、ユーザがジェスチャーを誤った形で
覚えている場合でも、本発明を用いれば正しい機能を実
行出来るが、図26のように機能選択時にそれぞれの機
能を選択する場合のジェスチャーを同時に表示し、ユー
ザがなぜ今入力したジェスチャーが正しく認識されなか
ったのかがわかるようにし、かつどのようなジェスチャ
ーで入力すれば正しく認識されるかがわかるようにして
もよい。
【0052】また、図27のように機能候補メニューを
表示するために用いたジェスチャー候補テーブルの一致
度を機能名とともに表示してユーザが自分が入力した入
力がどの程度正しいかったのかがわかるようにしてもよ
い。この場合、図26の例に比べ表示が容易であるとと
もに、高得点を競うゲーム感覚でジェスチャーを使用で
きる。
【0053】また、図26のジェスチャーパターンと図
27の一致度を機能名とともに同時に表示するようにし
てもよい。
【0054】以上、ペンまたは指でタブレット上を操作
してジェスチャー入力する場合を例にとって説明した
が、マウスのドラッギング操作で軌跡を描画し、クリッ
ク操作でメニューを選択するようにし、タブレットをも
たないシステムで利用できるようにしてもよい。
【0055】
【発明の効果】本発明によれば、ペンのようなポインテ
ィングデバイスを用いる場合、位置指定以外だけでな
く、ジェスチャーと呼ばれる該ポインティングデバイス
のタブレット上での動きまたは軌跡の形状の違いに応じ
て編集機能などの操作を指示するときに、類似する動き
または軌跡の形状の場合に誤った判定がなされ、本来意
図していない編集機能などの操作を実行してしまい取消
して再入力しなければならない状態になってしまう可能
性をなくすことができるという効果がある。また、編集
範囲指定を先に指定し、後から編集機能を選択したり、
ケイ線等のパターンを設定することができる。また、機
能一覧メニューを表示したい場合、適当なジェスチャー
を入力すればよいという使い方もできる。
【図面の簡単な説明】
【図1】本発明の一実施例における外観図である。
【図2】本発明の別の実施例における外観図である。
【図3】本発明の機器構成図である。
【図4】本発明における編集画面での処理手順を示すフ
ローチャートである。
【図5】本発明におけるタブレット入力内容解析の処理
手順を示すフローチャートである。
【図6】本発明におけるジェスチャー解析の処理手順を
示すフローチャートである。
【図7】本発明における入力情報を記憶するメモリの構
成図である。
【図8】本発明における機能番号と機能名の対応表の一
例を示す図である。
【図9】本発明における編集画面例と選択操作例を示す
図である。
【図10】本発明における機能名表示位置テーブルの例
を示す図である。
【図11】本発明におけるジェスチャー候補テーブルの
例を示す図である。
【図12】本発明におけるカーソル移動操作例を示す図
である。
【図13】本発明におけるジェスチャー操作の軌跡例を
示す図である。
【図14】本発明においてメモリに格納されるデータ例
を示す図である。
【図15】本発明におけるジェスチャー操作例を示す図
である。
【図16】本発明におけるジェスチャー候補テーブルの
データ例を示す図である。
【図17】本発明におけるジェスチャー操作後のメニュ
ー表示例を示す図である。
【図18】本発明における「編集範囲指定」指定後の表
示例を示す図である。
【図19】本発明における「削除」指定後の表示例を示
す図である。
【図20】本発明における「アンダーライン」指定後の
表示例を示す図である。
【図21】本発明における「ケイ線」指定後の表示例を
示す図である。
【図22】本発明における機能候補メニューの別の例を
示す図である。
【図23】本発明における機能名一覧表の表示画面例を
示す図である。
【図24】本発明におけるジェスチャー番号と表示順の
関係を示す図である。
【図25】本発明における機能候補分類の例を示す図で
ある。
【図26】本発明におけるジェスチャー表示機能候補メ
ニューの例を示す図である。
【図27】本発明における一致度表示付き機能候補メニ
ューの例を示す図である。
【符号の説明】
11…情報処理装置本体、12…タブレットまたはタッ
チパネルのような位置情報入力装置、13…表示装置、
14…位置情報入力装置を操作するためのペン、15…
表示装置、16…位置情報入力装置、17…ポインティ
ングデバイス、21…中央演算装置(CPU)、22…
メモリ、23…表示制御部、24…表示装置、25…入
力制御部、26…タッチパネル、27…キーボード、2
8…マウス、29…システムバス、501…軌跡情報テ
ーブル、701…ジェスチャー軌跡の始点、702…ジ
ェスチャー軌跡の終点、703…ジェスチャー軌跡、7
10…機能候補メニュー。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 G06F 15/20 530 A 7315−5L 586 E 7315−5L G06K 9/62 G 8219−5L (72)発明者 山内 司 神奈川県横浜市戸塚区吉田町292番地株式 会社日立製作所マイクロエレクトロニクス 機器開発研究所内 (72)発明者 松田 泰昌 神奈川県横浜市戸塚区吉田町292番地株式 会社日立製作所マイクロエレクトロニクス 機器開発研究所内

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】情報処理装置を用いた文書及びイメージ情
    報の入力および編集を、ポインティングデバイスの動き
    または軌跡の形状に対応する編集機能に応じて行う文書
    編集方法において、 操作者により前記ポインティングデバイスの操作を行
    い、 前記ポインティングデバイスの操作完了を検知または判
    断し、 前記検知または判断時、前記ポインティングデバイスの
    動きまたは軌跡の形状から考えられる複数の機能名をメ
    ニュー形式で表示し、 前記複数の機能名から所望の機能名を操作者の操作によ
    り選択し、 該選択が行われた時点で選択された機能名に応じた機能
    を実行することを特徴とする文書編集方法。
  2. 【請求項2】前記複数の機能名を表示するときに、前記
    複数の機能名のうち最も可能性が高いと判断された機能
    名を、前記ポインティングデバイスの操作が終了した地
    点から最も近い場所に配置して表示し、該判断された機
    能名に応じた機能を初期選択状態とすることを特徴とす
    る請求項1記載の文書編集方法。
  3. 【請求項3】前記複数の機能名を表示するときに、前記
    複数の機能名のうち最も可能性が高いと判断された機能
    名を、他の機能名と異なる形態で表示し、該判断された
    機能名に応じた機能を初期選択状態とすることを特徴と
    する請求項1記載の文書編集方法。
  4. 【請求項4】前記他の機能名と異なる形態での表示は、
    網かけ表示である請求項3記載の文書編集方法。
  5. 【請求項5】前記他の機能名と異なる形態での表示は、
    反転表示である請求項3記載の文書編集方法。
  6. 【請求項6】前記複数の機能名を表示するときに、併せ
    て所定のメニュー項目が表示され、表示されていない機
    能を操作者が選択したい場合、操作者が該所定のメニュ
    ー項目を選択すると、前記ポインティングデバイスの動
    きまたは軌跡の形状にかかわらず機能名の一覧を表示
    し、該一覧の中から所望の機能名操作者の操作により選
    択することを特徴とする請求項1記載の文書編集方法。
  7. 【請求項7】前記複数の機能名を表示するときに、併せ
    て正しい標準的なジェスチャー入力の軌跡例を表示する
    ことを特徴とする請求項1記載の文書編集方法。
  8. 【請求項8】前記複数の機能名を表示するときに、併せ
    て正しい標準的なジェスチャー入力との一致度を表示す
    ることを特徴とする請求項1記載の文書編集方法。
  9. 【請求項9】前記複数の機能名を表示するときに、正し
    い標準的なジェスチャー入力との一致度がいずれの機能
    も基準値に達しなかった場合、機能名の一覧をメニュー
    形式で表示し、該一覧の中から操作者が所望の機能を選
    択することを特徴とする請求項1記載の文書編集方法。
  10. 【請求項10】前記複数の機能名を表示するときに、正
    しい標準的なジェスチャー入力との一致度で、基準値に
    達した機能がただ一つであった場合、機能名を表示せ
    ず、直接当該機能を実行することを特徴とする請求項1
    記載の文書編集方法。
  11. 【請求項11】前記複数の機能名を表示するときに、第
    1位の候補の機能と第2位の候補の、正しい標準的なジ
    ェスチャー入力との一致度の差が一定の値より大きかっ
    た場合は、機能名を表示せず、直接当該機能を実行する
    ことを特徴とする請求項1記載の文書編集方法。
  12. 【請求項12】前記ポインティングデバイスは、感圧方
    式または静電容量方式のタッチパネルを用いてた指によ
    るものであることを特徴とする請求項1記載の文書編集
    方法。
  13. 【請求項13】前記複数の機能名を表示するときに、予
    めグループ付けされた類似した機能のうち、最も近いと
    認識された機能と同じグループにある複数の機能名を表
    示することを特徴とする請求項1記載の文書編集方法。
JP2645293A 1993-02-16 1993-02-16 文書編集方法 Pending JPH06242885A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2645293A JPH06242885A (ja) 1993-02-16 1993-02-16 文書編集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2645293A JPH06242885A (ja) 1993-02-16 1993-02-16 文書編集方法

Publications (1)

Publication Number Publication Date
JPH06242885A true JPH06242885A (ja) 1994-09-02

Family

ID=12193900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2645293A Pending JPH06242885A (ja) 1993-02-16 1993-02-16 文書編集方法

Country Status (1)

Country Link
JP (1) JPH06242885A (ja)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08185480A (ja) * 1994-12-28 1996-07-16 Nec Corp 手書文字入力装置および手書文字入力方法
JPH08241164A (ja) * 1995-03-06 1996-09-17 Sony Corp コンピュータ装置の制御方法及びコンピュータ装置
JPH09171499A (ja) * 1995-12-20 1997-06-30 Hitachi Ltd 情報処理装置の節電方法、および節電機能を持つ情報処理装置
JPH09231003A (ja) * 1996-02-23 1997-09-05 Casio Comput Co Ltd ペン入力電子機器
JP2000112599A (ja) * 1998-10-01 2000-04-21 Sharp Corp 文書画像処理装置及び文書画像処理方法
JP2001076092A (ja) * 1999-09-06 2001-03-23 Toshiba Corp 文字読取装置、文字読取結果の修正方法、文字読取結果の修正プログラムを記録したコンピュータ読取り可能な記憶媒体
JP2001216472A (ja) * 2000-02-04 2001-08-10 Hitachi Kokusai Electric Inc 手書き文字認識機能を有する携帯型電子機器
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2001282785A (ja) * 2000-03-30 2001-10-12 Sharp Corp 文書画像処理装置およびそのための方法、ならびに文書画像処理プログラムを記録したコンピュータで読取可能な記録媒体
JP2003303047A (ja) * 2002-03-22 2003-10-24 Xerox Corp 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
JP2004303207A (ja) * 2003-03-28 2004-10-28 Microsoft Corp ジェスチャの動的フィードバック
JP2004343344A (ja) * 2003-05-14 2004-12-02 Nec Corp 移動体通信端末装置およびデータ操作処理プログラム
JP2005174356A (ja) * 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
JP2005339420A (ja) * 2004-05-31 2005-12-08 Sony Corp 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
JP2006065754A (ja) * 2004-08-30 2006-03-09 Toshiba Corp 情報処理装置、情報処理方法及びプログラム
JP2006331406A (ja) * 2005-04-25 2006-12-07 Canon Inc 情報処理装置及び方法
JP2008027082A (ja) * 2006-07-19 2008-02-07 Fujitsu Ltd 手書き入力装置、手書き入力方法、及びコンピュータプログラム
JP2008165451A (ja) * 2006-12-28 2008-07-17 Sharp Corp 表示装置一体型入力装置
JP2008186120A (ja) * 2007-01-29 2008-08-14 Seiko Epson Corp ユーザの指示に従って処理を実行するための処理装置、処理方法、および、プログラム
JP2010010845A (ja) * 2008-06-24 2010-01-14 Nec Corp 端末機器、該端末機器に用いられる動作モード変更方法及び動作モード変更制御プログラム
JP2010015238A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
JP2011076563A (ja) * 2009-10-02 2011-04-14 Mitsubishi Electric Corp 監視制御装置の端末装置
JP2012194850A (ja) * 2011-03-17 2012-10-11 Seiko Epson Corp 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
JP2012198939A (ja) * 2008-08-22 2012-10-18 Fuji Xerox Co Ltd 情報処理装置及びプログラム
JP2013022986A (ja) * 2011-07-17 2013-02-04 Denso Corp 車両用の操作入力装置及び制御システム
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
JP2013175018A (ja) * 2012-02-24 2013-09-05 Kddi Corp 表示装置、表示方法およびプログラム
JP2014521172A (ja) * 2011-07-14 2014-08-25 マイクロソフト コーポレーション 動的コンテキストベースメニュー
JP2014521171A (ja) * 2011-07-14 2014-08-25 マイクロソフト コーポレーション コンテキストベースメニュー用ランチャ
JP2014241143A (ja) * 2014-07-17 2014-12-25 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
US9239675B2 (en) 2011-08-22 2016-01-19 Fuji Xerox Co., Ltd. Input display apparatus and method, image forming apparatus, imaging apparatus, and computer readable medium
JP2016042394A (ja) * 2016-01-04 2016-03-31 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US9619141B2 (en) 2011-06-07 2017-04-11 Sony Corporation Information processing terminal and method, program, and recording medium
JP2017211847A (ja) * 2016-05-26 2017-11-30 コニカミノルタ株式会社 情報処理装置及びプログラム
KR20180081247A (ko) * 2017-01-06 2018-07-16 김찬기 터치스크린을 포함하는 스마트 디바이스 상에서의 문자 편집 방법 및 이를 구현한 스마트 디바이스

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08185480A (ja) * 1994-12-28 1996-07-16 Nec Corp 手書文字入力装置および手書文字入力方法
JPH08241164A (ja) * 1995-03-06 1996-09-17 Sony Corp コンピュータ装置の制御方法及びコンピュータ装置
JPH09171499A (ja) * 1995-12-20 1997-06-30 Hitachi Ltd 情報処理装置の節電方法、および節電機能を持つ情報処理装置
JPH09231003A (ja) * 1996-02-23 1997-09-05 Casio Comput Co Ltd ペン入力電子機器
JP2000112599A (ja) * 1998-10-01 2000-04-21 Sharp Corp 文書画像処理装置及び文書画像処理方法
JP2001076092A (ja) * 1999-09-06 2001-03-23 Toshiba Corp 文字読取装置、文字読取結果の修正方法、文字読取結果の修正プログラムを記録したコンピュータ読取り可能な記憶媒体
JP2005174356A (ja) * 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2001216472A (ja) * 2000-02-04 2001-08-10 Hitachi Kokusai Electric Inc 手書き文字認識機能を有する携帯型電子機器
JP2001282785A (ja) * 2000-03-30 2001-10-12 Sharp Corp 文書画像処理装置およびそのための方法、ならびに文書画像処理プログラムを記録したコンピュータで読取可能な記録媒体
JP4637455B2 (ja) * 2002-03-22 2011-02-23 ゼロックス コーポレイション ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
JP2003303047A (ja) * 2002-03-22 2003-10-24 Xerox Corp 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
JP2004303207A (ja) * 2003-03-28 2004-10-28 Microsoft Corp ジェスチャの動的フィードバック
JP2004343344A (ja) * 2003-05-14 2004-12-02 Nec Corp 移動体通信端末装置およびデータ操作処理プログラム
US8041397B2 (en) 2003-05-14 2011-10-18 Nec Corporation Mobile communication terminal apparatus and recording medium which records data operation process program
JP2005339420A (ja) * 2004-05-31 2005-12-08 Sony Corp 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
US8458618B2 (en) 2004-05-31 2013-06-04 Sony Corporation Vehicle-mounted apparatus, information providing method for use with vehicle-mounted apparatus, and recording medium recorded information providing method program for use with vehicle-mounted apparatus therein
US9285955B2 (en) 2004-05-31 2016-03-15 Sony Corporation Vehicle-mounted apparatus, information providing method for use with vehicle-mounted apparatus, and recording medium recorded information providing method program for use with vehicle-mounted apparatus therein
US10503358B2 (en) 2004-05-31 2019-12-10 Sony Corporation Vehicle-mounted apparatus, information providing method for use with vehicle-mounted apparatus, and recording medium recorded information providing method program for use with vehicle-mounted apparatus therein
US8151210B2 (en) 2004-05-31 2012-04-03 Sony Corporation Vehicle-mounted apparatus, information providing method for use with vehicle-mounted apparatus, and recording medium recorded information providing method program for use with vehicle-mounted apparatus therein
JP2006065754A (ja) * 2004-08-30 2006-03-09 Toshiba Corp 情報処理装置、情報処理方法及びプログラム
JP2006331406A (ja) * 2005-04-25 2006-12-07 Canon Inc 情報処理装置及び方法
JP2008027082A (ja) * 2006-07-19 2008-02-07 Fujitsu Ltd 手書き入力装置、手書き入力方法、及びコンピュータプログラム
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
JP2008165451A (ja) * 2006-12-28 2008-07-17 Sharp Corp 表示装置一体型入力装置
JP2008186120A (ja) * 2007-01-29 2008-08-14 Seiko Epson Corp ユーザの指示に従って処理を実行するための処理装置、処理方法、および、プログラム
JP2010010845A (ja) * 2008-06-24 2010-01-14 Nec Corp 端末機器、該端末機器に用いられる動作モード変更方法及び動作モード変更制御プログラム
JP2010015238A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
US8327295B2 (en) 2008-07-01 2012-12-04 Sony Corporation Information processing apparatus and method for displaying auxiliary information
JP2012198939A (ja) * 2008-08-22 2012-10-18 Fuji Xerox Co Ltd 情報処理装置及びプログラム
JP2011076563A (ja) * 2009-10-02 2011-04-14 Mitsubishi Electric Corp 監視制御装置の端末装置
JP2012194850A (ja) * 2011-03-17 2012-10-11 Seiko Epson Corp 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
US9665273B2 (en) 2011-06-07 2017-05-30 Sony Corporation Information processing terminal and method, program, and recording medium
US9619141B2 (en) 2011-06-07 2017-04-11 Sony Corporation Information processing terminal and method, program, and recording medium
US9582187B2 (en) 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
JP2014521172A (ja) * 2011-07-14 2014-08-25 マイクロソフト コーポレーション 動的コンテキストベースメニュー
JP2014521171A (ja) * 2011-07-14 2014-08-25 マイクロソフト コーポレーション コンテキストベースメニュー用ランチャ
US9746995B2 (en) 2011-07-14 2017-08-29 Microsoft Technology Licensing, Llc Launcher for context based menus
JP2013022986A (ja) * 2011-07-17 2013-02-04 Denso Corp 車両用の操作入力装置及び制御システム
US9241083B2 (en) 2011-08-22 2016-01-19 Fuji Xerox Co., Ltd. Apparatus, method, and computer readable medium for displaying gesture guidance information
US9239675B2 (en) 2011-08-22 2016-01-19 Fuji Xerox Co., Ltd. Input display apparatus and method, image forming apparatus, imaging apparatus, and computer readable medium
JP2013175018A (ja) * 2012-02-24 2013-09-05 Kddi Corp 表示装置、表示方法およびプログラム
JP2014241143A (ja) * 2014-07-17 2014-12-25 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
JP2016042394A (ja) * 2016-01-04 2016-03-31 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP2017211847A (ja) * 2016-05-26 2017-11-30 コニカミノルタ株式会社 情報処理装置及びプログラム
KR20180081247A (ko) * 2017-01-06 2018-07-16 김찬기 터치스크린을 포함하는 스마트 디바이스 상에서의 문자 편집 방법 및 이를 구현한 스마트 디바이스

Similar Documents

Publication Publication Date Title
JPH06242885A (ja) 文書編集方法
US7283126B2 (en) System and method for providing gesture suggestions to enhance interpretation of user input
US5956021A (en) Method and device for inputting information for a portable information processing device that uses a touch screen
EP0394614B1 (en) Advanced user interface
EP0992877B1 (en) Information processing apparatus
EP0243925B1 (en) Instruction input system for electronic processor
US6104384A (en) Image based keyboard for a small computing device
KR100197037B1 (ko) 정보 처리 장치 및 정보 처리 방법
US6938220B1 (en) Information processing apparatus
JP3535624B2 (ja) 検索装置及び方法
US20060119588A1 (en) Apparatus and method of processing information input using a touchpad
JP3829366B2 (ja) 入力装置、および入力方法
EP0538705A1 (en) Graphical user interface with gesture recognition in a multiapplication environment
EP0917040A2 (en) Method for providing a cue in a computer system
US9189154B2 (en) Information processing apparatus, information processing method, and program
CA2390503C (en) System and method for providing gesture suggestions to enhance interpretation of user input
JPH06131110A (ja) 情報処理装置
US5614926A (en) Word processor with a handwriting text processing function
JPH08137611A (ja) ジェスチャイメージ登録方法及び文書作成装置
JP2001344092A (ja) 情報処理装置
JP3864999B2 (ja) 情報処理装置および情報処理方法
JPH0594253A (ja) 画面タツチ型キー入力装置
JP2003140791A (ja) 情報処理装置及び情報処理装置の制御方法
JPH08314917A (ja) かな漢字変換装置
JPH06301472A (ja) 手書き入力装置