JP2000047809A - ジェスチャ―処理装置及びジェスチャ―処理方法 - Google Patents
ジェスチャ―処理装置及びジェスチャ―処理方法Info
- Publication number
- JP2000047809A JP2000047809A JP11133475A JP13347599A JP2000047809A JP 2000047809 A JP2000047809 A JP 2000047809A JP 11133475 A JP11133475 A JP 11133475A JP 13347599 A JP13347599 A JP 13347599A JP 2000047809 A JP2000047809 A JP 2000047809A
- Authority
- JP
- Japan
- Prior art keywords
- editing
- gesture
- command
- area
- stroke
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
るものであるか否かの確認を容易にし操作性を向上す
る。 【解決手段】 ジェスチャーコマンド判定部36によ
り、抽出された軌跡座標をジェスチャーコマンドテーブ
ル37に格納されているジェスチャーコマンドと照合し
て、軌跡座標の描く線画に対応したジェスチャーコマン
ドを認識する。認識結果としてのジェスチャーコマンド
と、軌跡座標に基づいて認識した編集の対象となる文字
または文字列の位置情報とをテキスト編集部38に与え
る。領域指定手段により領域が指定されている状態では
ジェスチャー認識手段により認識されたコマンドを複数
文字編集コマンドとし、領域指定手段により領域が指定
されていない状態ではジェスチャー認識手段により認識
されたコマンドを単一文字編集コマンドとして処理する
と共に、編集領域を指定している場合には領域編集に有
効なコマンドに限定して認識を行う。
Description
よる手書きでの編集を行えるようにした情報処理装置に
関するものである。
等の情報処理装置においては、キーボードにより入力を
行うのが一般的であった。このような情報処理装置で
は、文書等の編集を行う場合、カーソル移動のキー操作
によりカーソルを移動させて編集箇所や編集領域の指定
を行い、編集用のキー操作により所望の編集処理を実行
させていた。上記の情報処理装置に対し、近年では、座
標入力用のペンを用いて、画面を直接指し示すことによ
り座標入力を行ったり、画面上で文字等の入力を行える
ようにした装置がある。
処理装置で、画面上に手書きにより文字を入力する例に
ついて説明する。
天気です。」という文章の「良い」の前に「大変」を加
える場合、まず、同図の(a)に示す画面51において
文末にあるカーソル52を、同図の(b)に示すように
キーまたはペン等により「良」の位置に移動させる。そ
して、画面51の下部に設けられたガイダンス領域53
内の手書きボタン54が押されると、同図の(c)に示
すように、ガイダンス領域53の上側に手書き認識用入
力ボード55が現れる。その手書き認識用入力ボード5
5内に設けられたウインド56に「大変」と手書きを行
うと、文章中の「良い」の前に「大変」が加えられる。
にした情報処理装置では、手書きにより文書等の編集を
行ういわゆるジェスチャー機能を備えたものがある。こ
の種の情報処理装置は、各種の編集処理を実行させるた
めの複数のコマンドをそれぞれ特有の形状の線画に対応
させて記憶しており、ペン等により画面上に線画が描か
れると、その線画の形状に応じたコマンドを認識して編
集処理を行うようになっている。
に手書きで文字を入力する場合、カーソル52の位置指
定のための操作と手書き認識用入力ボード55を表示さ
せるための手書きボタン54の操作とが必要になってい
た。この場合、カーソル52の位置指定を行う領域と手
書きボタン54の操作を行うガイダンス領域53とが離
れているため、操作性があまり良くないという問題点が
あった。
おいて手書き編集を行う場合、コマンドが正しく認識さ
れたか否か、あるいは意図したコマンドで認識がなされ
たか否かは特にユーザに告知されることがなかった。こ
のため、コマンドが正しく認識された否かは、編集処理
が実行された後にしか確認することができず、入力した
線画が意図したコマンドに対応したものであるか否か
は、線画入力時の画面の表示内容と編集処理実行後にお
ける画面の表示内容とを比較することでしか確認するこ
とができなかった。
状の線画が対応付けられているので、可能となる編集機
能の数だけ線画を用意する必要がある。このため、編集
機能の数が増加すると、描きにくく、覚えにくい複雑な
形状の線画を採用しなければならず、ユーザが編集機能
を使いこなすにはかなりの学習が強いられる。しかも、
線画の数が増加すると、コマンドの認識処理において
も、その処理過程が複雑になり、認識速度や認識率の低
下を招来することになる。
でキーボードによる入力操作も可能なものでは、手書き
編集処理の実行時においてキーボードによる入力が可能
であった。このため、手書き編集処理中にキー入力によ
り誤動作の生じるおそれがあった。例えば、編集処理に
よりスペースを設けようとする場合に、ユーザが不用意
にキーボードに触れたために、一字抹消等の別の処理が
割り込んでしまい、編集の内容が変わってしまうことが
あった。
のであって、手書きによる文字等の入力における操作性
の改善を図るとともに、手書き編集における上記のよう
な各問題点を解決して手書き編集の実用性をより高める
ことを目的としている。
めに本発明は、座標入力手段から入力される連続する座
標のストロークを抽出するストローク抽出手段と、抽出
されたストロークと予め記憶された基本ストロークとを
照合して最も近似する基本ストロークに対応する編集コ
マンドを認識するジェスチャー認識手段と、表示画面に
表示されている文字情報の編集領域を指定する領域指定
手段と、領域指定手段により領域が指定されている状態
においてはジェスチャー認識手段により認識されたコマ
ンドを複数文字編集コマンドとし、領域指定手段により
領域が指定されていない状態においてはジェスチャー認
識手段により認識されたコマンドを単一文字編集コマン
ドとして、表示画面に表示されている文字情報を編集す
るジェスチャー編集処理手段とを備えていることを特徴
とするジェスチャー処理装置である。
文字等の画像情報の編集領域を指定する領域指定手段
と、座標入力手段から入力される連続する座標のストロ
ークを抽出するストローク抽出手段と、抽出されたスト
ロークと予め記憶された基本ストロークとを照合して最
も近似する基本ストロークに対応する編集コマンドを認
識すると共に、編集領域を指定している場合には領域編
集に有効なコマンドに限定して認識を行うジェスチャー
認識手段と、表示画面に表示されている文字情報を認識
された編集コマンドに従って編集するジェスチャー編集
処理手段とを備えていることを特徴とするジェスチャー
処理装置である。
れる連続する座標のストロークを抽出し、抽出されたス
トロークと予め記憶された基本ストロークとを照合して
最も近似する基本ストロークに対応する編集コマンドを
認識し、領域が指定されている状態においてはジェスチ
ャー認識手段により認識されたコマンドを複数文字編集
コマンドとし、領域が指定されていない状態においては
ジェスチャー認識手段により認識されたコマンドを単一
文字編集コマンドとして、表示画面に表示されている文
字情報を編集することを特徴とするジェスチャー処理方
法である。
ている文字等の画像情報の編集領域を指定する領域指定
手段と、座標入力手段から入力される連続する座標のス
トロークを抽出するストローク抽出手段と、抽出された
ストロークと予め記憶された基本ストロークとを照合し
て最も近似する基本ストロークに対応する編集コマンド
を認識するジェスチャー認識手段と、表示画面に表示さ
れている文字情報を認識された編集コマンドに従って編
集するジェスチャー編集処理手段とを備えるジェスチャ
ー処理装置のジェスチャー処理方法であって、前記領域
指定手段によって編集領域が指定されている場合に前記
ジェスチャー認識手段は領域編集に有効なコマンドに限
定して認識を行うよう制御されることを特徴とするジェ
スチャー処理方法である。
って領域指定がなされている場合にはジェスチャー認識
で認識されたコマンドにより指定された領域全体が編集
され、領域指定がなされていない場合には1つの文字の
みが編集されるので、編集効率を向上することができ
る。
ている場合にはジェスチャー認識手段により認識される
コマンドが領域編集に有効なコマンドに限定されるの
で、編集の領域が指定された際に誤動作の原因となる編
集命令が実行されないようにすることができ、操作性を
向上することができる。
いし図12に基づいて説明すれば、以下の通りである。
すように、制御部として、CPU(Central Processing
Unit)1と、RAM(Random Access Memory)2と、R
OM(Read Only Memory)3と、プリンタコントローラ
4と、表示コントローラ5と、FDコントローラ6と、
ICカードインタフェース7と、キーインタフェース8
と、ペンインタフェース9と、手書き編集インタフェー
ス10とを備えている。本情報処理装置は、キーインタ
フェース8に接続されるキーボード15により、カーソ
ル移動、文字の入力、編集等を行う他、ペンインタフェ
ース9に接続される入力ペン16により同様の操作を行
うことができるように構成されている。
する中央制御部であり、メインバスを介して上記の各部
と接続されている。このCPU1は、キーボード15お
よび入力ペン16による入力操作に基づいてカーソル移
動、文字等の入力、編集等を実行するようになってい
る。
手書き編集による手書き入力用の領域を表示する機能を
有している。より具体的には、CPU1は、入力ペン1
6により入力された線画に対応するジェスチャーコマン
ドすなわち編集命令が手書き入力を行うものである場
合、ジェスチャーコマンドが後述する手書き編集インタ
フェース10により認識されると、図3に示すように、
画面21に手書き入力領域としてのウインド22を表示
させるようになっており、手書き入力領域表示手段とし
ての機能を有している。
に、キーボード15のキー入力があった場合にキー入を
無効にするようになっており、キー入力無効手段として
の機能を有している。
する際、ジェスチャーコマンドが認識されると、図示し
ない低音ブザーを鳴らす一方、ジェスチャーコマンドが
認識されないと、図示しない高音ブザーを鳴らすように
なっており、告知手段としての機能を有している。
コマンドが認識されると、図5に示すように、画面21
の下端部に表示されるコマンド名表示領域27に、認識
されたジェスチャーコマンドのコマンド名を表示させる
とともに、編集文字表示領域28に、ジェスチャーの対
象となる文字を少なくとも1文字表示させるようになっ
ており、編集命令表示手段および編集対象表示手段とし
ての機能を有している。
る。
ャーコマンドのコマンド名がJTYPEに0以上の整数
により関連付けられており、表示するコマンド名の文字
数が、そのJTYPEに対応してカウントテーブル(CO
UNTTABLE) に格納されている。また、後述のジェスチャ
ーコマンドテーブル37の各ジェスチャーコマンドが格
納されているアドレスの先頭を示すポインタが、JTY
PEに対応してポインタテーブル(MOJIPTR)に格納され
ている。上記の関係をまとめると、例えば次の表1のよ
うになる。なお、ジェスチャーコマンドと認識できなか
った場合は、JTYPEを−1とする。
れ、ポインタテーブルの値は作業用ポインタに収容され
るようになっており、作業用ポインタの値で示されるコ
マンド名の文字列を作業用カウンタのカウント値だけ上
記のようにして表示するようになっている。
存在するか否かをPCOUNTの値“1”か“0”に対
応させている。PCOUNTの値が“1”であるときに
は、後述するテキストメモリ39内の編集対象となる1
文字または文字列の先頭を示すポインタ(POINTMOJIPT
R) に基づいて、その1文字または文字列の先頭の少な
くとも1文字を上記のように表示するようになってい
る。一方、PCOUNTの値が“0”であるときには、
編集文字表示領域28に空白を1文字分だけ表示するよ
うになっている。なお、編集対象となる文字列と他の文
字列との判別を容易にするため、編集文字表示領域28
に表示する文字数を文字列の先頭から数文字としてもよ
い。
成について説明する。
結果等を一時的に格納する機能を有する随時書込み/読
出し可能なメモリであり、複数のワークエリアが割り当
てられている。ROM3は、本情報処理装置を動作させ
るためのプログラムやデータ等を予め格納している読出
し専用のメモリである。
が接続されており、CPU1の指令に基づいてプリンタ
11の印字動作を制御するようになっている。表示コン
トローラ5は、CPU1からの表示データをビデオ信号
に変換して表示装置12に送出するとともに、CPU1
の指令により表示装置12の表示動作を制御するように
なっている。表示装置12は、後述するディスプレイ3
1およびタブレット32(図1参照)を備えている。
によってフロッピディスク装置13を制御するようにな
っている。ICカードインタフェース7は、ICカード
用スロットを含んでおり、ICカード14内のCPUや
メモリとCPU1との交信を中継するようになってい
る。
が接続されており、キーボード15からのキーデータを
取込むようになっている。ペンインタフェース9は、ス
タイラスペン等の入力手段となる入力ペン16が接続さ
れており、入力ペン16により発生したペンデータを取
込むようになっている。
認識辞書17が接続されており、手書き認識辞書17内
に格納されているジェスチャーコマンドを読出し、ペン
インタフェース9により取込まれたペンデータに基づい
て、入力ペン16により描かれた線画の形状に対応する
ジェスチャーコマンドを認識して特定するようになって
いる。また、手書き編集インタフェース10は、複数の
文字に対し指定された編集領域の文字列に1つのジェス
チャーコマンドで編集処理を行う領域指定モードが設定
される場合に、1つの文字に対し1つのジェスチャーコ
マンドで編集処理を行う通常モードの場合とで手書き認
識辞書17のジェスチャーコマンドの読出しを異ならせ
ている。
ば3種類用意されており、領域指定モードの場合、辞書
17−1・17−2から読出しが行われる一方、通常指
定モードの場合、辞書17−1・17−3から読出しが
行われ、領域指定モードが設定されたときに扱える編集
機能が限定されるようになっている。これにより、例え
ば、キー入力で領域指定を行う際に禁止している文字挿
入等の機能が認識対象から外される。このように、手書
き編集インタフェース10は、編集命令限定手段として
の機能を有している。
実行するための基本構成について図1に基づいて説明す
る。
レイ31、タブレット32、軌跡座標抽出部33、軌跡
描画部34、ビットマップメモリ35、ジェスチャーコ
マンド判定部36、ジェスチャーコマンドテーブル3
7、テキスト編集部38、テキストメモリ39、手書文
字認識部40および手書文字テーブル41を備えてい
る。
は、ディスプレイ31に重ねられており、入力ペン16
のペン先が接触すると、接触した位置に応じた電位の変
化等を軌跡座標として発生するような構造になってい
る。軌跡座標抽出部33は、ペンインタフェース9に含
まれており、タブレット32からの軌跡座標を順次抽出
するようになっている。
同様にCPU1内に設けられ、軌跡座標抽出部33によ
り抽出された軌跡座標をつないだ軌跡イメージを生成す
るようになっている。その軌跡イメージは、RAM2内
に設けられるビットマップメモリ35に供給され、ビッ
トマップメモリ35でディスプレイ31に表示されてい
るイメージと合成され、ディスプレイ31に送出され
る。
の手書き編集インタフェース10内に設けられており、
抽出された軌跡座標をジェスチャーコマンドテーブル3
7に格納されているジェスチャーコマンドの基本ストロ
ークのデータと照合して、軌跡座標が描く線画に最も近
似する基本ストロークに対応するジェスチャーコマンド
を認識するようになっている。ジェスチャーコマンド判
定部36は、上記のコマンド認識の後、認識したジェス
チャーコマンドと、軌跡座標に基づいて認識した編集の
対象となる文字または文字列の位置情報とをテキスト編
集部38に与えるようになっている。
画で表される基本ストロークのデータをジェスチャーコ
マンドと対応付けて格納しており、前記の手書き認識辞
書17内に設けられている。ジェスチャーコマンドとし
ては、例えば、表2に示すようなものが用意されてい
る。
合、Vの字に似た形状で左から右に描かれる線画が基本
ストロークとして対応し、この基本ストロークにおける
ペンダウン座標に位置する文字が削除されるようになっ
ている。複数の文字を消去する部分消去も、一字抹消と
同様にVの字に似た形状の基本ストロークであり、消去
する領域が指定された後に描かれると部分消去として認
識されるようになっている。また、アンダーラインを行
うジェスチャーコマンドの場合、アンダーラインを施す
文字または文字列上に水平方向に左から右に描かれる直
線が基本ストロークとして対応している。
られ、ジェスチャーコマンド判定部36で認識されたジ
ェスチャーコマンドに基づいて、ジェスチャーコマンド
と同時に供給された位置情報に相当するテキストメモリ
39内の文字または文字列に対し編集処理を行うように
なっている。また、テキスト編集部38は、ジェスチャ
ーコマンド判定部36からのジェスチャーコマンドを受
け付けるだけでなく、キーボード15からのコマンドも
受け付けて、キー操作による編集処理を行うようにも構
成されている。
わたる編集領域が指定されてCPU1により領域指定モ
ードが設定されると、その編集領域の文字列に、1文字
に対して編集を行う通常モードの場合と同じジェスチャ
ーコマンドの編集処理を行うようになっている。
に表示される文字または文字列を格納するメモリであ
り、ビットマップメモリ35と同様RAM2内に設けら
れている。テキストメモリ39の文字データは、ビット
マップメモリ35内のイメージと合成されて、ディスプ
レイ31に表示されるようになっている。
ーコマンド判定部36と処理上の同等位置すなわち手書
き編集インタフェース10に設けられている。また、手
書文字テーブル41は、ジェスチャーコマンドテーブル
37と同様に手書き認識辞書17内に設けられている。
3により抽出された軌跡座標と手書文字テーブル41に
格納された複数の基本文字ストロークとを照合し、軌跡
座標が描く線画に最も近似する基本文字ストロークに対
応する文字コードを認識してテキスト編集部38に与え
るようになっている。このように、手書文字認識部40
は、ジェスチャーコマンド判定部36が軌跡座標に基づ
いてジェスチャーコマンドを認識する処理と同様な処理
を行うようになっているが、文字入力の場合は編集箇所
を必要としないので、テキスト編集部38に位置情報を
供給しない点がジェスチャーコマンド判定部36と異な
っている。
る手書き入力の具体例について説明する。
えば、図3の(a)に示すように、画面21に表示され
る「本日は良い天気です。」という文章中の「良い」の
前に「大変」を入力しようとするときの手順について説
明する。まず、同図の(b)に示すように、表1にもあ
る「△」に似た形状の線画を「良」のほぼ中心を基点
(ペンダウンの点)として描いて手書き文字入力の線画
を入力することにより、ジェスチャーから手書き入力に
移行する。これにより、カーソル23が図3の(a)に
示す「す」の位置から「良」の位置に移動し、ガイダン
ス領域25の上段に手書き認識用入力ボード24が現れ
る。
力領域としてのウインド22を有している。このウイン
ド22は、3文字分の入力スペースを有しており、テキ
スト編集部38で生成される。例えば、同図の(c)に
示すように、ウインド22の第1入力エリアに「大」が
書かれると、軌跡座標抽出部33からの「大」の軌跡座
標が抽出される。すると、その軌跡座標に基づいて軌跡
描画部34により描かれたイメージが、ビットマップメ
モリ36で現在ディスプレイ31に表示されているイメ
ージと合成される。したがって、上記のようにして入力
ペン16により書かれる文字は、同時にディスプレイ3
1に表示される。
ら離されると、手書文字認識部40で、座標軌跡と手書
文字テーブル41の基本文字ストロークとの照合により
最適の文字コードが得られる。そして、この文字コード
に基づいてテキスト編集部38の処理により、テキスト
メモリ39内に「大」が加えられ、「良」の前に「大」
が表示される。上記の第1入力エリアの文字認識は、ウ
インド22の第2入力エリアに入力ペン16が置かれる
と同時に実行される。
「変」が書かれると、上記と同様にして入力ペン16の
操作と同時にディスプレイ31に表示され、画面21の
文章中には「大」の次に「変」が加えられる。
力ペン16による手書き文字入力のジェスチャーにより
ウインド22を表示させるようになっているが、従来通
り、画面21の下部に設けられたガイダンス領域25に
表示される手書きボタン26を押すことによりウインド
22を表示させるようにもなっている。
の具体例について説明する。
「え」を一字抹消する場合、入力ペン16にて「え」の
上を基点としてほぼ「V」のように線画が描かれると、
その軌跡座標が軌跡座標抽出部33により抽出される。
すると、その軌跡座標に基づいて軌跡描画部34により
描かれたイメージが、ビットマップメモリ36で現在デ
ィスプレイ31に表示されているイメージと合成され
る。したがって、上記のようにして入力ペン16により
描かれる線画は、同時に画面21に現れる。
ら離されると、ジェスチャーコマンド判定部36で、座
標軌跡とジェスチャーコマンドテーブル37内のジェス
チャーコマンドとの照合により得られた一字抹消のジェ
スチャーコマンドが得られ、このジェスチャーコマンド
とともに位置情報がテキスト編集部38に送出される。
そして、テキスト編集部38の処理により、同図の
(b)に示すように、カーソル23が現在の位置から位
置情報に基づいた位置に移動し、テキストメモリ39内
の「え」がジェスチャーコマンドに基づいて抹消され、
軌跡座標抽出部33等は次のジェスチャー操作に備えて
待機状態となる。
5の(a)に示すように、画面21の下端部にコマンド
名表示領域27と編集文字表示領域28とが並んで表示
される。例えば、一字抹消の場合、ジェスチャーコマン
ド判定部36により一字抹消のジェスチャーコマンドが
認識されると、RAM2に取り込まれたジェスチャーコ
マンドのコードがテキスト編集部38により文字化され
る。また、消去される「あ」の文字コードも一旦RAM
2に取り込まれてテキスト編集部38により文字化され
る。
わち「一字抹消」がコマンド名表示領域27に表示さ
れ、抹消される文字すなわち「あ」が編集文字表示領域
28に表示される。ジェスチャーコマンドが認識された
ときは、上記の表示とともに低音ブザーが鳴らされる。
字を抹消する場合と複数文字を抹消する場合の違いにつ
いて説明する。
説明します。」の文章中で、例えば最初から4文字目の
「編」を抹消する場合、前述したような手順で「編」の
上からほぼ「V」のように線画を描くことにより、
「編」が抹消される。
(b)に示すように、例えば、抹消する「つ」から
「を」までの領域が前記の入力ペン16による入力でカ
ーソル23にて示されると、その位置データがRAM2
に取り込まれる。ジェスチャーコマンドが認識される
と、RAM2内の位置データに基づいて上記の領域の文
字が抹消される。
合、入力ペン16によるポインティング操作を利用する
が、例えば、図7の(a)に示すように、「う」と
「ふ」を入力ペン16によりポインティングすれば、同
図の(b)に示すように、「う」と「ふ」とを結ぶ直線
が対角線となる長方形の領域が指定される。ポインティ
ングを行う場合、ジェスチャーコマンド判定部36によ
り軌跡座標とジェスチャーコマンドとの照合は行われず
位置情報のみ出力される。
力を実行する処理手順について説明する。
ペン16による線画の入力が行われて、その線画に対応
するジェスチャーコマンドが手書き入力に移行するため
のものであるか、すなわち手書き認識用入力ボード24
の表示用のコマンドであるか否かを判断する(S1)。
ここで、そのコマンドでない場合、他のコマンド判断に
移行する。
合、入力ペン16により座標入力された位置へカーソル
23を移動させる(S2)。次いで、手書き認識用入力
ボード24が表示されたときにカーソル23が隠れない
ように、画面21をスクロールし(S3)、手書き認識
用入力ボード24を表示する(S4)。
インド22に書き込まれた手書き文字のデータを読込み
(S5)、読込みが終了したか否かを判断する(S
6)。読込みが終了していれば、そのまま処理を終了
し、読込みが終了していなければ、カーソル23の位置
にデータを入力して(S7)、処理がS5に戻る。
った場合の処理手順について説明する。
に、ペンデータまたはキーデータを取り込む処理が行わ
れる。この処理においては、ペン割込みが生じるとペン
データを取込む一方(S11)、キー割込みが生じると
キーデータを取込み(S12)、取込んだペンデータま
たはキーデータをRAM2内のキーバッファに格納する
(S13)。
了すると、図10のフローチャートに示すように、キー
バッファからデータを取出し(S21)、そのデータが
ペンデータであるか否かを判断する(S22)。上記の
データがペンデータである場合、ジェスチャー処理を実
行して(S23)、処理が終了する。
キーデータであると判断した場合、ジェスチャーの途中
であるか否かを判断する(S24)。ジェスチャーの途
中である場合、ジェスチャーの途中でキーボード15の
キー入力があったことになり、ブザーを鳴らしてエラー
であることを告知する(S25)。一方、ジェスチャー
の途中でない場合、キー操作によるアプリケーション処
理を実行する(S26)。
6により線画が入力されると、その線画に対応するジェ
スチャーコマンドの認識が行われるが、コマンド認識を
ユーザに告知する処理手順を次に説明する。
示すように、JTYPEの値が“−1”であるか否かを
判断する(S31)。JTYPEの値が“−1”でなけ
ればジェスチャーコマンドが認識されたことになるの
で、このことを低音ブザーを鳴らすことにより告知する
(S32)。また、JTYPEの値に応じたコマンド名
の文字数を COUNTTABLE JTYPE から取出して COUNT(作
業用カウンタ)にセットするとともに、上記のコマンド
名のアドレスの先頭を示すポインタを MOJIPTRTABLE JT
YPE から取出して MOJIPTR(作業用ポインタ)にセット
する(S33)。
ド名を COUNTの文字数だけコマンド名表示領域27に表
示し(S34)、PCOUNTが“0”であるか否かを
判断する(S35)。編集対象とする文字または文字列
があればPCOUNTが“1”となり、POINTMOJIPTRに
より指定された文字または文字列の先頭1文字を編集文
字表示領域28に表示する(S36)。
る場合、空白を1文字分だけ編集文字表示領域28に表
示する(S37)。また、S31の判断でJTYPEの
値が“−1”である場合、ジェスチャーコマンドが認識
されなかったことを高音ブザーを鳴らすことにより告知
する(S38)。
認識が確認されると、ジェスチャー処理が実行される
が、本情報処理装置では、1つの線画で1文字および複
数の文字に対し同じ編集処理を実行するように構成され
ている。次にその処理手順について説明する。
力ペン16による描画がなされ、この描画が入力ペン1
6がアップされるか、あるいはキーボード15によるキ
ー入力がなされるまで行われる(S41)。描画が終了
すると、描画により得られたペン座標の全データをジェ
スチャーコマンド判定部36に渡すため、そのデータを
一旦RAM2内の特定の領域に格納する(S42)。
ドを調べ、入力モードが領域指定モードであるか否かを
判断する(S43)。領域指定モードである場合、手書
き編集インタフェース10により手書き認識辞書から認
識辞書17−1・17−2を読出す(S44)。また、
領域指定モードでない場合、手書き認識辞書から認識辞
書17−1・17−3を読出す(S45)。
線画の形状がジェスチャーコマンド判定部36により認
識されると、その認識結果がジェスチャーコマンドとし
て出力される。このとき、線画が認識されなければ、エ
ラーとして処理する。
マンドが一字抹消や部分消去といった消去コマンドであ
るか否かを判断する(S47)。消去コマンドであれ
ば、現在が領域指定モードであるか否かを判断し(S4
8)、ここで領域指定モードでなければ1文字だけ消去
を実行して(S49)、処理が終了する。また、S48
の判断で領域指定モードであれば、複数文字の消去を実
行して(S50)、処理が終了する。そして、S47の
判断でジェスチャーコマンドが消去コマンドでなけれ
ば、その他の各種コマンドによる編集処理を行って(S
51)、処理が終了する。
理装置では、手書き入力を行う線画が入力され、そのジ
ェスチャーコマンドが認識されると、画面21に手書き
認識用入力ボード24を表示させるようになっているの
で、直接手書き入力を行う位置に上記の線画を描くだけ
で、手書き認識用入力ボード24とウインド22が現れ
て文字の手書き入力が可能になり、操作が簡単かつ分か
りやすくなる。
処理装置は、ジェスチャーの実行時に誤ってキー操作が
行われた場合、キー入力を無効とするようになっている
ので、キーデータが割り込んで誤動作が生じることを回
避することができる。また、ジェスチャーコマンドの認
識が正しく行われたか否かをブザーで告知することによ
り、その確認が容易になる。これとともに、ジェスチャ
ーコマンドの認識が正しく行われると、そのコマンド名
と編集対象となる文字とを表示するので、認識を確実に
確認することができる。
域指定された複数文字である場合も、1つのジェスチャ
ーコマンドで編集処理を行うので、コマンド数の増加を
最小限にとどめて、認識速度や認識率の低下を抑制する
ことができる。そのうえ、領域指定モードにおいては、
認識対象となる線画の種類を限定することにより、誤動
作を防止することができる。例えば、領域指定モードで
誤動作の原因となる文字挿入等のジェスチャーコマンド
が実行されないようにすることができる。しかも、上記
のように線画の種類を限定すると、認識処理が簡素化さ
れ、認識速度や認識率の向上を図ることも可能になる。
域指定がなされている場合にはジェスチャー認識により
認識されたコマンドは領域全体を編集し、領域指定がな
されていない場合には1文字のみを編集するので、編集
効率が向上するという特有の効果を奏する。
いる場合にはジェスチャー認識により認識されるコマン
ドが領域編集に有効なコマンドのみに限られるのでご編
集のおそれが無く、編集効率が向上するという特有の効
果を奏する。
ジェスチャーを実行するための基本構成を示すブロック
図である。
ブロック図である。
具体例を示す説明図である。
および編集対象の表示を示す説明図である。
スチャー処理を説明する説明図である。
説明図である。
順を示すフローチャートである。
順を示すフローチャートである。
処理手順を示すフローチャートである。
処理手順を示すフローチャートである。
スチャーの処理手順を示すフローチャートである。
ける手書き入力の画面の表示操作を示す説明図である。
Claims (4)
- 【請求項1】座標入力手段から入力される連続する座標
のストロークを抽出するストローク抽出手段と、 抽出されたストロークと予め記憶された基本ストローク
とを照合して最も近似する基本ストロークに対応する編
集コマンドを認識するジェスチャー認識手段と、 表示画面に表示されている文字情報の編集領域を指定す
る領域指定手段と、 領域指定手段により領域が指定されている状態において
はジェスチャー認識手段により認識されたコマンドを複
数文字編集コマンドとし、領域指定手段により領域が指
定されていない状態においてはジェスチャー認識手段に
より認識されたコマンドを単一文字編集コマンドとし
て、表示画面に表示されている文字情報を編集するジェ
スチャー編集処理手段とを備えていることを特徴とする
ジェスチャー処理装置。 - 【請求項2】表示画面に表示されている文字等の画像情
報の編集領域を指定する領域指定手段と、 座標入力手段から入力される連続する座標のストローク
を抽出するストローク抽出手段と、 抽出されたストロークと予め記憶された基本ストローク
とを照合して最も近似する基本ストロークに対応する編
集コマンドを認識すると共に、編集領域を指定している
場合には領域編集に有効なコマンドに限定して認識を行
うジェスチャー認識手段と、 表示画面に表示されている文字情報を認識された編集コ
マンドに従って編集するジェスチャー編集処理手段とを
備えていることを特徴とするジェスチャー処理装置。 - 【請求項3】座標入力手段から入力される連続する座標
のストロークを抽出し、 抽出されたストロークと予め記憶された基本ストローク
とを照合して最も近似する基本ストロークに対応する編
集コマンドを認識し、 領域が指定されている状態においてはジェスチャー認識
手段により認識されたコマンドを複数文字編集コマンド
とし、領域が指定されていない状態においてはジェスチ
ャー認識手段により認識されたコマンドを単一文字編集
コマンドとして、表示画面に表示されている文字情報を
編集することを特徴とするジェスチャー処理方法。 - 【請求項4】表示画面に表示されている文字等の画像情
報の編集領域を指定する領域指定手段と、 座標入力手段から入力される連続する座標のストローク
を抽出するストローク抽出手段と、 抽出されたストロークと予め記憶された基本ストローク
とを照合して最も近似する基本ストロークに対応する編
集コマンドを認識するジェスチャー認識手段と、 表示画面に表示されている文字情報を認識された編集コ
マンドに従って編集するジェスチャー編集処理手段とを
備えるジェスチャー処理装置のジェスチャー処理方法で
あって、 前記領域指定手段によって編集領域が指定されている場
合に前記ジェスチャー認識手段は領域編集に有効なコマ
ンドに限定して認識を行うよう制御されることを特徴と
するジェスチャー処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13347599A JP3469817B2 (ja) | 1999-05-14 | 1999-05-14 | ジェスチャー処理装置及びジェスチャー処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13347599A JP3469817B2 (ja) | 1999-05-14 | 1999-05-14 | ジェスチャー処理装置及びジェスチャー処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29615592A Division JP2999335B2 (ja) | 1992-11-05 | 1992-11-05 | ジェスチャー処理装置およびジェスチャー処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000047809A true JP2000047809A (ja) | 2000-02-18 |
JP3469817B2 JP3469817B2 (ja) | 2003-11-25 |
Family
ID=15105656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13347599A Expired - Lifetime JP3469817B2 (ja) | 1999-05-14 | 1999-05-14 | ジェスチャー処理装置及びジェスチャー処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3469817B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60204089A (ja) * | 1984-03-28 | 1985-10-15 | Hitachi Ltd | 手書き文字・図形認識装置の認識モ−ド指定方式 |
JPS61107468A (ja) * | 1984-10-31 | 1986-05-26 | Hitachi Ltd | 文書編集方式 |
JPS61223972A (ja) * | 1985-03-29 | 1986-10-04 | Hitachi Ltd | オンライン手書き情報処理装置及び方法 |
JPS6441081A (en) * | 1987-08-06 | 1989-02-13 | Nippon Telegraph & Telephone | System for inputting and editing on-line handwriting character graphic |
-
1999
- 1999-05-14 JP JP13347599A patent/JP3469817B2/ja not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60204089A (ja) * | 1984-03-28 | 1985-10-15 | Hitachi Ltd | 手書き文字・図形認識装置の認識モ−ド指定方式 |
JPS61107468A (ja) * | 1984-10-31 | 1986-05-26 | Hitachi Ltd | 文書編集方式 |
JPS61223972A (ja) * | 1985-03-29 | 1986-10-04 | Hitachi Ltd | オンライン手書き情報処理装置及び方法 |
JPS6441081A (en) * | 1987-08-06 | 1989-02-13 | Nippon Telegraph & Telephone | System for inputting and editing on-line handwriting character graphic |
Also Published As
Publication number | Publication date |
---|---|
JP3469817B2 (ja) | 2003-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0597379B1 (en) | Pen input processing apparatus | |
US5796406A (en) | Gesture-based input information processing apparatus | |
US6938220B1 (en) | Information processing apparatus | |
JP4742132B2 (ja) | 入力装置、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 | |
US5613019A (en) | System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings | |
US5502803A (en) | Information processing apparatus having a gesture editing function | |
US6651221B1 (en) | System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings | |
US7502017B1 (en) | Handwriting recognizer user interface methods | |
JP2817646B2 (ja) | 文書編集装置 | |
JP2001005599A (ja) | 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体 | |
JP3292752B2 (ja) | ジェスチャー処理装置およびジェスチャー処理方法 | |
JP2999335B2 (ja) | ジェスチャー処理装置およびジェスチャー処理方法 | |
JP2963589B2 (ja) | ジェスチャー処理装置およびジェスチャー処理方法 | |
JP3075882B2 (ja) | 文書作成編集装置 | |
JP3388451B2 (ja) | 手書き入力装置 | |
JP3469816B2 (ja) | ジェスチャー処理装置及びジェスチャー処理方法 | |
JP3258978B2 (ja) | ジェスチャー処理装置及びジェスチャー処理方法 | |
JP3874571B2 (ja) | ジェスチャー処理装置及びジェスチャー処理方法 | |
JP2905013B2 (ja) | ジェスチャー処理装置、および、ジェスチャー処理方法 | |
JP2989084B2 (ja) | 情報処理装置 | |
JP3469817B2 (ja) | ジェスチャー処理装置及びジェスチャー処理方法 | |
JPH06324798A (ja) | 手書き編集機能を持つ文書処理装置 | |
JP2723109B2 (ja) | 画像処理方法 | |
JP2006134360A (ja) | 手書き文字入力装置 | |
JP3200249B2 (ja) | 文書処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 10 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 10 |