JP2007109118A - 入力指示処理装置および入力指示処理プログラム - Google Patents

Abstract

【課題】紙面やモニタ画面上の文字列や領域をペンやマウスで指定する方法と、ペンやキーボードなどで命令要素を意味する文字列や記号を書込む方法の任意の組合せを許容する命令解釈手段の提供。
更に、命令要素抽出の不完全性を許容する命令解釈手段の提供。
【解決手段】利用者からの指示入力を受けて複数の命令要素の認識候補を出力する命令要素抽出部と、
上記認識候補の中から命令種類要素を抽出しさらに該命令種類要素の引数となる命令引数要素を判定して、命令種類要素と命令引数要素の組み合わせを決定する命令規則照合部と、
上記決定された命令引数要素に対して上記命令種類要素のコマンドを実行する命令実行部とを有する入力指示処理装置を開示する。抽出した複数の候補に対しての組み合わせを考慮することでユーザ入力への制限を減らすことが可能となる。
【選択図】図１

Description

本発明は、デジタルペンを用いたシステムへの命令指示処理に関する。

紙等への情報加筆を行うとそのデータを電子データとして反映できるデジタルペンがある（例えば、特許文献３）。この利用において利用者は(1)「インターネット検索」や「印刷」など命令の種類を表す要素、(2)検索キーワードや印刷対象範囲などの命令の引数となる要素を入力する。これら要素を以降、命令要素とよび、さらに前者を命令種類要素、後者を命令引数要素とよぶ。
利用者からペンで記入された文字と記号からなる命令を言語解析により解釈する方法１がある (例えば、特許文献１参照)。

また、命令要素に欠落があったり、命令要素の順序が異なっていたりする命令を利用者の履歴や状況情報を利用して解釈する方法２もある(例えば、特許文献２参照)に開示されている。

しかしながら、命令要素の指定方法として、紙面やモニタ画面上の文字列や領域をペンやマウスで指定する方法と、ペンやキーボードなどで命令要素を意味する文字列や記号を書込む方法の任意の組合せを許容する命令解釈手段が存在しなかった。

また、前記従来方法のいずれも、各命令要素が確実に入力されることを前提としていたため、命令要素の抽出の不完全性に対応していない問題があった。従来方法１では、ペンで命令要素となる文字や記号が記入され、それを文字・記号認識することにより命令要素を抽出しているが、実際には文字・記号認識が必ず成功するとは限らず、複数の認識結果候補が存在して一意に認識結果が定まらないことがある。たとえば「IO(アイオー)」の記入を、「IO」と文字認識するのか「10(数字の十)」と文字認識するのかは、この部分だけでは一意に定まらない。また従来方法２でも、命令要素の入力を電子的に選択したりやキーボード入力したりすることを前提としており、命令要素抽出の不完全性に対応していない。紙面上にペンで該当文字列、たとえば「ネット検索」をレ印で命令要素指定する場合、レ印の位置と形によっては「ネット」なのか「検索」なのか「ネット検索」なのか一意に判断できない場合がある。特に紙面上でこのような命令要素の指定を行う場合、モニタ画面上と異なり、計算機が認識した丸囲みやレ印の該当文字列を反転表示するなど、対話型のインターフェースを用いることが出来ないため、このような命令要素抽出の不完全性に対応した命令解釈でなければ、命令を高精度に解釈できない。

特開平6-282566公報

特開平8-110890号公報 国際公開第01/71473号公報

本発明は、このような問題に鑑みてなされたものである。
すなわち、命令要素の指定方法として、紙面やモニタ画面上の文字列や領域をペンやマウスで指定する方法と、ペンやキーボードなどで命令要素を意味する文字列や記号を書込む方法の任意の組合せを許容する命令解釈手段を提供する。更に、こうした柔軟な入力を可能とするために命令要素抽出の不完全性を許容する命令解釈手段を提供することを本発明の課題とする。

本発明では、前記課題を解決するために本願で開示する代表的な発明は以下の通りである。
利用者からの指示入力を受ける入力部と、入力された指示各々について複数の認識候補を出力する命令要素抽出部と、認識候補の中から命令種類要素を抽出しさらに該命令種類要素の引数となる命令引数要素を判定して、命令種類要素と命令引数要素の組み合わせを決定する命令規則照合部と、決定された命令引数要素に対して上記命令種類要素のコマンドを実行する命令実行部とを有する入力指示処理装置。

本発明により、利用者は紙面や画面を閲覧中に、必要な計算機命令を人間の直感にあった操作で容易に実行出来るという効果がある。

ここでは、まず本発明の命令解釈装置の構成例について説明する。その後その命令解釈装置が利用者から指示された命令を解釈し、実行する処理フローについて説明する。最後に、利用者が命令を追加する手順について具体的に説明する。

本発明の命令解釈装置（１００）は図１に示したように以下の構成から構成される。利用者からの紙面上やモニタ画面上におけるペン操作やキーボード操作、マウス操作等の各種入力情報を取得する操作入力部１０１。書類情報(図６)と、それら書類に対し利用者がペンで書込んだりキーボードで文字列入力したりした入力情報(図７)を管理する書類管理部１０２。書類情報と入力情報を命令要素辞書(図４)と照らし合わせて命令要素を抽出し、その結果を命令要素抽出結果(図８)の集合として出力する命令要素抽出部１０３。入力されたペンストロークを文字列として読取る手書き文字列認識部１０４。前記命令要素抽出結果の集合と命令規則辞書(図５)とを照らし合わせ、命令規則辞書記載の命令規則に従った命令要素の列を見つけ出し、命令解釈結果(図９)として出力する命令規則照合部１０５。命令規則照合部から出力された命令解釈結果に従い、利用者が指示した命令を実行する命令実行部１０６。

操作入力部１０１での命令要素の指定方法として、たとえば利用者がある書類を読んでいるときに、実行したい命令の各命令要素を、その書類が印刷された紙面上またはその書類が表示されたモニタ画面上でペンを用いて該当文字列や領域を囲ったり、記入したりすることを想定する。こうすれば、利用者は書類から目を離さずに計算機へ命令を実行できるため、使い勝手のよい命令解釈が実現できる。

なお本実施例では、紙面上でのペンストロークの取得手段として、特許文献３に開示されたデジタルペンを採用することとする。各紙書類はその種類特有、及び、その各位置固有のドットパターンがふされており、利用者がデジタルペンで記入すると、紙書類の識別情報(書類ID、図６の６０１)と記入座標が取得できる。図６の６０２は書類の電子ファイル名、６０３は書類の寸法を意味する。

次に、命令解釈装置１００が利用者からの命令を解釈する処理について、具体的に説明する(図１０)。最初に利用者からのペンやキーボードなどの指示の入力情報を取得する(ステップ１００２)。次に、紙書類を介したデジタルペンでの入力の場合には操作対象となった書類を検索し(ステップ１００３)、操作の対象となった書類情報を取得する。本実施例のデジタルペンの場合、紙面上のドットパターンから紙個体を識別するIDが取得できるため、印刷時に前記紙個体IDと書類IDとの組合せを記録しておけば、ペン記入時に書類ID(７０２)を得ることが出来る。次にステップ１００４で、前記書類情報と入力情報を命令要素辞書(図４)と照らし合わせて命令要素を抽出し、その結果を命令要素抽出結果(図８)の集合を得る。この命令要素抽出処理の詳細は図１１を用いて説明する。そしてステップ１００５で、前記命令要素抽出結果の集合と命令規則辞書(図５)とを照らし合わせ、命令規則辞書記載の命令規則に従った命令要素の列を見つけ出し、命令解釈結果(図９)を得る。最後に、前記命令解釈結果に従い、利用者が指示した命令を実行する(ステップ１００６)。以降、個々のステップの詳細について説明する。

ステップ１００２における利用者から計算機への命令の指定方法として、先に述べたように、紙面やモニタ画面上の文字列や領域をペンやマウスで指定する方法と、ペンやキーボードなどで命令要素を意味する文字列や記号を書込む方法の任意の組合せを許容する。たとえば図２は、紙書類２００において、利用者が「酸化チタン」という文字列をネット検索したい場合、ペン２０１で紙面上にストローク２０２、２０３を書込んで命令を指示した例を示す。命令解釈装置は、図１０に示した命令解釈処理を実行し、命令要素２１１と命令要素２１２からなる命令２１０を解釈し、命令解釈部１０６にてその命令を実行する。

操作入力部１０１で入力された情報を図７に示す。入力情報の型がストロークの場合を表７００に示す。項目７０１は入力情報のID、項目７０２は入力対象の書類ID、項目７０３は入力開始時刻、項目７０４は入力の型(本例では「STROKE」)を表す。項目７０１〜７０４は入力の型によらず、共通項目である。ストロークの場合、加えてストローク本数(項目７０５)や各ストロークのサンプリング点の座標列(項目７１１〜７１３)を有す。また入力の型が、キーボードから入力されたりマウスで選択されたりされた文字列の場合は、表７２０のようになる。入力型はSTRINGとなり、項目７２５は指定された文字列を表す。

ペンにより命令要素を指定する方法には、たとえば図３に３０１〜３２１に示したような方法が利用可能である。方法３０１〜３０５は、紙面上もしくはモニタ画面上に印刷/表示された文字列を指定する方法の例である。指定した文字列の明示方法としては丸や矩形限らず任意の形状が想定される。又、そのほか取り消し線を引いたりするなど、特定の範囲を他から識別できる情報の加筆があればよい。また方法３１１〜３１２は文字列を直接ペンで記入する方法の例である。また方法３１３〜３１６は文字列を記入する代わりに事前に後述の命令要素辞書に登録しておいた図形を認識し該当の文字列を抽出する方法である。この場合の図形としては様々なものが想定されるが、命令要素に関するならばその命令内容を示唆するものであることが使い勝手のよさから望まれる。また方法３２１にように、文字列ではなく、紙面上またはモニタ画面上に印刷/表示された書類内容の一部分領域を指定する方法もある。また利用者が命令解釈装置１００に対し、たとえばネット検索のみの命令に限定して指示した場合などでは、命令種類要素の指定を省略できる。

命令要素抽出処理(ステップ１００４、図１１)は、まず入力情報を、時間特徴を用いて命令要素単位に分割する（１１０２）。更にデジタルペンを利用した入力に関しては各ストロークの配置などの幾何特徴利用することができる(ステップ１１０２)。また命令要素の分割が一意に確定しない場合は、複数の分割候補を出力しても良い。たとえば図１４の例における書込みストローク１４０３において、前半部「Web」と後半部「検索」の記入時間間隔が閾値α未満であった場合には「Web検索」のみを、閾値β以上であった場合には「Web」「検索」の２つを、α以上β未満であった場合には「Web検索」「Web」「検索」の３つを分割候補として出力する(α＜β)。なお入力型が文字列の場合、キーボード入力やマウス選択時に、リターンキー入力やマウスクリック操作によって既に命令要素単位に分割されているため、ステップ１１０２は不要である。

次に、得られた各命令要素に対し、入力情報の入力型の項目(図７の項目７０４)がストロークを表すSTROKEか否かで処理が分岐する(ステップ１１０３)。STROKEの場合は、命令要素辞書照合(ステップ１１０４)と手書き文字列認識(ステップ１１０５)を実行する。

ステップ１１０４の命令要素辞書照合では、入力情報のストロークと、命令要素辞書に定義された命令要素ストロークとの形状を照合する。命令要素抽出部１０３が管理する命令要素辞書には図４の表４００、４１０、４２０に示したようなペンによる書き込みによる命令要素の指示ゼスチャが定義されている。各命令要素定義の該当入力IDの項目で導ける入力情報の形式で格納されたゼスチャのストロークが前述の命令要素ストロークとなる。ここでゼスチャとは対象文字列の指示に用いられる任意の図形、又は、命令要素を意味する特定の入力ストロークをいう。命令要素である文字列自体を記入することは除く。図３において方法３０１〜３０５、３１３〜３１６、３２１の各図形がゼスチャである。方法３１１、３１２は図４にゼスチャとしては登録されていない文字列自体の記入でありゼスチャではない。照合の結果、一致度がある閾値以上であれば、当該命令要素の可能性があると判断し、命令要素辞書で定義された各処理を実行し、その結果を命令要素抽出結果として出力する。命令要素辞書で定義できる処理について、本実施例では、(1)EXTRACT_PRINTED_STRING:ストローク記入範囲内の印刷文字列を抽出、(2)EXTRACT_PRINTED_IMAGE:ストローク記入範囲内の印刷内容を画像として抽出、(3)SET_STRING:右辺で指定の文字列を命令要素抽出結果として出力、の３処理を示した。他にも、たとえば下線による文字列指定に対応するために、EXTRACT_UPPER_PRINTED_STRING:ストローク上部に位置する印刷文字列を抽出などの処理が考えられる。

ステップ１１０４について具体例をあげて説明する。命令要素定義４００は丸囲みによる文字列指定(図３の３０１)を規定しており、該当入力ID４０２から導ける命令要素ストロークは図３のストローク３０１と同じ丸囲みのストロークが登録されている。図３のストローク３０１と３２１に示したように、同じストローク形状に対し、複数の命令要素の指定方法が割当てられていてもよい。命令要素定義４１０は丸囲みによる領域指定(図３の３２１)を規定した定義であり、その該当入力ID４１２が命令要素定義４００の該当入力ID４０２と同じ値、つまり同じストローク形状となっている。命令要素辞書４２０はゼスチャによる命令要素を規定したものであり、該当入力ID４２２から導ける命令要素ストロークは「類似画像検索」を意図する図３のゼスチャ３１３が登録されている。

図２の命令要素２０３において、該当する命令要素辞書が４００であったとすると、命令要素辞書の処理の項目４０４で指定されたEXTRACT_PRINTED_STRINGを実行し、ストロークと重なり合う文字列「ネット検索」を抽出し、その結果を命令要素抽出結果８００として出力する。このとき命令要素抽出結果の確信度８０６は、本実施例では、(1)ストロークの一致度と(2)抽出文字列と入力ストロークとの重なり比率を乗じた値から算出することとする。乗算とすることにより、前記の両指標が共に高い抽出候補が選択されやすくする。

このとき、ステップ１１０２において複数の候補が抽出されている場合にはその候補それぞれに対して１１０４，１１０５のステップを行う。例えば、図２の入力２１１について「ネット検索」だけでなく、命令要素２０３は「ネット」の部分のみを指示したとも命令要素抽出部１０３が判断した場合は、同じ命令要素２０３に対し、更に命令要素抽出結果８１０を出力する。この判断基準は、命令要素抽出結果の確信度が事前設定された閾値を上回るか否かとする。複数候補を出力する理由は、丸囲みなどペンストロークの形状や位置ずれにロバストに対応することによって高精度な命令解釈を実現するためである。各命令要素の入力ストローク形状・位置のみ、つまり確信度のみで命令要素抽出結果を判断すると、たとえば先の例の図８の表８００「ネット検索」と表８１０「ネット」の場合、必ず「ネット検索」の方のみが出力されることとなる。図２の記入例では「ネット検索」で確かに正解ではあるが、ストローク２０３と同じような記入で、「ネット」を利用者が意図した可能性は否定できない。それら可能性のある候補を全て確信度付きで出力することにより、１入力単位に対して出力されるこれら複数の抽出結果は、最終的には命令規則照合１００５で相応しい抽出結果が選択され、出力されることとなる。先の入力分割１１０２で、複数の分割候補を出力する理由も同様である。

またステップ１１０５の手書き文字列認識では、入力情報のストロークを手書き文字列認識してテキスト化し、その結果を命令要素抽出結果として出力する。たとえば、命令要素２０３は、最も近いと思われる文字「Ｖ」と解釈されて命令要素抽出結果として出力されることとなる。なお、本ステップ１１０５においても、文字列認識の不完全性が存在するため、複数の文字列認識結果を命令要素抽出結果として出力しても良い。たとえば命令要素２０３は前述の「Ｖ」の他に、小文字の「ｖ」やカタカナ「レ」といった文字列認識結果も得たならば、それらを命令要素抽出結果として出力する。

ステップ１１０２において、入力情報がストローク情報でなく、たとえばキーボードで入力されたり、マウスで選択されたりした文字列(例：図７の７２０)である場合には、その文字列をそのまま命令要素抽出結果へと変換する(ステップ１１０６)。各入力情報に対し、確信度最大の1.0を付加し、属性STRINGとして命令要素抽出結果を作成する。
これら処理の後、得られた全ての命令要素抽出結果の集合を、次の処理である命令規則照合１００５へ引き渡す。ここまでが、命令要素抽出１００４である。

命令要素抽出後、前記命令要素抽出結果の集合と命令規則辞書(図５)とを照らし合わせ、命令規則辞書記載の命令規則に従った命令要素の列を見つけ出し、命令解釈結果(図９)を得る処理が、ステップ１００５の命令規則照合である。
本実施例では、命令規則辞書を図５のような文脈自由文法で記述する。正規表現やIF-THENルールなどで規定しても構わない。命令規則５００は、命令<net_search>の文法を規定したものであり、<net_search>は、<net_search_type>と<net_search_arg#1>との連接、もしくはその逆順で規定される(命令規則５００の１〜３行目)。<net_search_arg#1>は命令の引数要素を示す。こうした記述によって命令種類要素と命令引数要素の出現順を問わないことを意味する。これによって利用者は命令とその命令対象の指示との順番にとらわれずに自由に入力することが可能となる。次に<net_search_type>は文字列「インターネット検索」または「ネット検索」、「Web検索」のいずれかであることを規定する(命令規則５００の４〜７行目)。<net_search_arg#1>は任意の文字列(命令規則５００の８行目)を規定する。このような命令規則５００に対して、ボトムアップ型構文解析アルゴリズムを適用した命令規則照合を実行する。すなわち命令要素抽出結果集合内の各命令要素抽出結果を命令規則に従い置き換えていき、最終的に命令に達すれば(図１６)、命令を解釈したとみなす。ここで、たとえば命令要素抽出結果STRING:ネット検索は、文字列であるので<net_search_arg#1>としても置き換え可能であるが、その置き換えでは、全体として命令にたどり着く解釈が存在しないため、結局選択されない。また前述のSTRING:ネットの命令要素抽出結果も、同様に全体としての解釈できないため、選択されない。具体的には、図８の表８００と表８１０のように、１つの命令要素２０３から複数の命令要素抽出結果が得られることがあるが、表８１０の「ネット」を抽出結果１６０５とした場合、抽出結果１６０４も１６０５もどちらも命令種類を表す命令要素ではないため、命令規則照合１００５で一致する命令規則が存在しない。したがって表８００の「ネット検索」のみが抽出結果１６０５として残る。命令要素２０２については、「酸化チタン」以外に「酸化」や「チタン」などの抽出結果も存在する。命令規則から「酸化」や「チタン」も命令引数要素となり得るため、これら命令引数要素と命令種類要素「ネット検索」の組合せからなる命令も、命令規則照合１００５で各々出力される。これら命令引数要素の抽出結果の確信度を算出すると、丸囲みの重なり比率から「酸化チタン」の確信度が最も高くなる。本実施例では、命令解釈結果の確信度を、各命令要素の確信度の積とする。命令種類要素「ネット検索」は互いに共通のため、結局「酸化チタン」を命令引数とする命令解釈結果の確信度が最も高くなる。

本実施例では、図９のように命令解釈結果をXML形式で出力する。命令解釈結果の命令種類要素を<type>で、各命令引数要素を<argument>でそれぞれタグ付けすることにより、XMLファイルを作成する。なお、命令要素抽出結果の集合から命令解釈結果が複数個出力された場合は、それらを確信度(図９の９００中のタグscoreの値)で整列し、上位一位、もしくは設定閾値以上の複数の候補を出力する。

命令実行１００７は、命令解釈結果９００を入力とし、該当命令を実行する。このとき複数の解釈結果が出力された場合は、第一位の解釈結果を自動実行してもよいし、それら解釈結果を一覧表示して、利用者に選択させてもよい。また第一位と第二位の解釈結果の確信度の差が、事前設定した閾値以上であれば、自動実行するといった相対閾値型を導入しても良い。

以上の流れにより、命令解釈処理が実行され、利用者が指示した命令を実行することができる。以上の処理により、図２の例だけでなく、図１４に示したようなネット検索や、図１５の類似画像検索(丸字にSは「類似画像検索」を意味するゼスチャとして登録されているとする)などにも対応できる。図１４は、紙面１４００上にペン１４０１で記入された丸囲み１４０２と書込み文字列１４０３から、ステップ１００４によりそれぞれ「チタヒフル」「Web検索」の命令要素を含む命令要素候補集合を得る。ステップ１００５によりその命令要素候補集合と命令規則辞書５００と照し合せ、「チタヒフル」をネット検索する命令解釈候補を得、ステップ１００６で命令を実行し、その結果を表示した応用例である。図１５も同様に、写真１５００上に記入された丸囲み１５０２と類似検索を意味する記号１５０３から、丸囲み１５０２の範囲の画像を類似検索し、その結果として写真１５１１〜１５１３が表示された応用例である。

最後に、利用者が命令を追加する手順について具体的に説明する。図１３の例は、ネット検索の命令指定方法として、WSという文字列を丸で囲んだ形のゼスチャを追加登録する場面である。

まず、命令解釈装置１００のモードを登録モードに設定する。その後、利用者が登録したい命令を、実際に命令するのと同じように紙やペンなどを用いて指示する(図１２のステップ１２０２、図１３Ａ)。

すると、命令解釈装置のモニタ画面上に図１３Ｂのダイアログ１３２０が表示される。本ダイアログで、入力された各命令要素の定義を確定していく。本ダイアログに係る処理としては、まず表示前に、この時点での命令要素辞書を用いて命令要素抽出を実行し(ステップ１２０３)、入力された各命令要素の抽出結果を得ておく。次にダイアログ１３２０を表示し、利用者に各命令要素の意図を確認、訂正させる。第一命令要素の丸囲み１３０２は、ネット検索させたい「文字列」であるので、ダイアログ上の項目１３２２のチェックボックスをオンにして「ABC-123A」が命令要素を表す文字列である旨の入力を行う。また第二命令要素のゼスチャ１３０３は、現時点の命令要素辞書には未登録のゼスチャなので認識に失敗し、項目１３３２に「？？？」が表示されている。これを利用者が訂正し、ネット検索の命令種類要素の文字列の１つである「Web検索」をキーボード入力し、項目１３３２のチェックボックスをオンにして文字列「Web検索」を入力することにより、ゼスチャ１３０３が「Web検索」という命令種類要素を意味する旨の入力を行う(図１３Ｃ)。登録内容に誤りがないことを確認し、OKボタン１３５８をクリックする。ここまでが、命令要素定義１２０４のステップとなる。

次に、命令規則照合(ステップ１２０５)を実行し、現在命令規則辞書に登録されている命令規則と照合するか否かを確認し、結果を図１３のダイアログ１３６０のように表示する(ステップ１２０７)。本例の場合、ネット検索の命令種類は図５に示したように命令規則辞書に登録されているため、その結果が項目１３６１のように表示される。利用者はこの項目１３６１を選択し、OKボタン１３７８をクリックすれば、希望の命令が追加登録されることになる(ステップ１２０７)。本例の場合、命令の種類自体は変更がないため、命令規則辞書には変更が無く、丸字にWSのストロークが、命令要素辞書に追加登録されることとなる(図４の４２０)。

もし図１３の例とは異なり、命令種類自体も追加登録したい場合は、ダイアログ１３６０の新規命令種類登録(項目１３７１)を選択し、適当な命令名を項目１３７２に入力後、開始ボタン１３７３をクリックする。すると命令解釈装置では、利用者の操作をトラッキングし始め、これから利用者が装置を操作する記録を残す。その記録と、各命令要素の定義を照らし合せ、新規命令種類の命令規則を決定し、命令規則辞書に登録することになる。

このように、紙とペンを用いた命令追加手段を提供することにより、利用者が命令解釈処理の詳細や命令文法などの専門知識を習得しなくても、実際の利用シーンに沿った形で命令を容易に追加できる。

本発明の命令解釈方法は、たとえば研究開発・企画職などの知的活動支援といったビジネスユースから、個人で閲覧記事の関連情報に関するブラウジングといったコンシューマユースまで、幅広い分野で利用可能である。

本発明に係る命令解釈装置の構成図である。 利用者の計算機への命令の指示の１例である。 命令要素の指定方法を示す図である。 命令要素辞書のデータ構造を示す図である。 命令規則辞書のデータ構造を示す図である。 書類情報のデータ構造を示す図である。 入力情報のデータ構造を示す図である。 命令要素抽出結果のデータ構造を示す図である。 命令解釈結果のデータ構造を示す図である。 本発明に係る命令解釈処理の説明図である。 命令要素抽出処理の説明図である。 命令定義処理の説明図である。 命令定義作業の流れを示す図である。 本発明で実現可能な命令解釈の１例である。 本発明で実現可能な命令解釈の１例である。 命令規則照合の説明図である。

符号の説明

１００：命令解釈装置、１０１：操作入力部、１０２：書類管理部、１０３：命令要素抽出部、１０４：手書き文字列認識部、１０５：命令規則照合部、１０６：命令実行部、４００：命令要素辞書、５００：命令規則辞書、６００：書類情報、７００：入力情報、８００：命令要素抽出結果、９００：命令解釈結果。

Claims (11)

1. 利用者からの指示入力を受ける入力部と、
   上記入力された指示から複数の命令要素の認識候補を出力する命令要素抽出部と、
   上記認識候補の中から命令種類要素を抽出しさらに該命令種類要素の引数となる命令引数要素を判定して、命令種類要素と命令引数要素の組み合わせを決定する命令規則照合部と、
   上記決定された命令引数要素に対して上記命令種類要素のコマンドを実行する命令実行部とを有することを特徴とする入力指示処理装置。
2. 上記指示入力は、電子ペンを用いた媒体への加筆、表示装置へのポインティングを介した指示又は上記入力指示装置への入力装置を介した入力であることを特徴とする請求項１記載の入力指示処理装置。
3. 上記命令要素抽出部は、上記入力時刻、該入力のストロークの幾何特徴の少なくとも何れかに基いて上記入力された指示入力を分割して命令要素単位候補を生成し、
   上記複数の認識候補を出力することを特徴とする請求項１又は２に記載の入力指示処理装置。
4. ゼスチャとそれに対する指示抽出方法を定義する命令要素辞書を有し、
   上記命令要素抽出部は、上記生成された命令要素単位候補が上記電子ペンによる加筆又は上記ポインティングデバイスを介した指示の何れかである場合に、
   該指示が上記ゼスチャの何れかであるか判定し、該ゼスチャと判定された指示について対応づけられる上記指示抽出方法を実行して上記複数の候補を抽出することを特徴とする請求項３記載の入力指示処理装置。
5. 上記指示抽出方法は、上記ゼスチャの指示箇所をイメージとして切り出す、上記ゼスチャの指示箇所を文字列として抽出する、又は、該指示箇所にあらかじめ対応付けられた命令をセットするの何れかであって、
   上記文字列が抽出された場合には該文字列の文字認識を実行して上記複数の候補を抽出することを特徴とする請求項４記載の入力指示処理装置。
6. 上記命令要素抽出部は上記複数の認識候補を確信度とともに出力し、
   上記命令規則照合部は、上記組み合わせを構成する命令種類要素と命令引数要素の上記確信度に基いて該組み合わせの確信度を決定し、
   該組み合わせの確信度に基いて上記組み合わせを決定することを特徴とする請求項乃至1乃至５の何れかに記載の入力指示処理装置。
7. 上記入力されたゼスチャのストロークと上記ゼスチャとして登録されるストロークとの一致度および上記抽出される候補と該入力されたストロークとの重なり比率を乗じた値から上記確信度を算出することを特徴とする請求項４乃至６の何れかに記載の入力指示処理装置。
8. 命令規則照合部は上記命令種類要素と命令引数要素の組み合わせを定義する命令規則辞書に基づき上記決定を行うものであって、該命令規則辞書は自由文脈法で記述されていることを特徴とする請求項１乃至７の何れかに記載の入力指示処理装置。
9. 上記命令要素抽出部は、表示部に上記抽出した命令種類要素を表示し、上記入力部を介して確認又は修正を受けることを特徴とする請求項１乃至８の何れかに記載の入力指示装置。
10. さらに上記入力部を介して命令種類要素の新たな登録を受け付けることを特徴とする請求項1乃至９の何れかに記載の入力指示装置。
11. 利用者からの指示入力を受ける入力部と、
    入力時刻、該入力のストロークの幾何特徴の少なくとも何れかに基いて上記入力された指示入力を分割して命令要素単位候補を生成して複数の認識候補を出力し、
    上記認識候補の中から命令種類要素を抽出し、
    命令種類要素と命令引数要素の組み合わせを定義する命令規則辞書に基いて上記命令種類要素と命令引数要素の組み合わせを決定し、
    上記決定された命令引数要素に対して上記命令種類要素のコマンドを実行することを特徴とする入力指示処理プログラム。
    

Images